DE102016125075B3

DE102016125075B3 - Method for reducing perceptual conflicts in stereomicroscopic image data

Info

Publication number: DE102016125075B3
Application number: DE102016125075.9A
Authority: DE
Inventors: Christoph Hauger; Alois Regensburger; Christian Beder; Susanne Kohlhammer; Jean-Claude Rosenthal; Niklas Gard; Peter Kauff; Artur Högele
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Carl Zeiss Meditec AG
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Carl Zeiss Meditec AG
Priority date: 2016-12-21
Filing date: 2016-12-21
Publication date: 2018-05-03
Anticipated expiration: 2036-12-22

Abstract

Die Erfindung betrifft ein Verfahren zur Nachbearbeitung eines mittels einer Bilderfassungseinrichtung (50) erzeugten, elektronischen Stereobilds (100) eines Objektbereiches (20), insbesondere eines Stereobilds (100) aus einem Operationsmikroskop, wobei im Strahlengang des Stereomikroskops (10) zwischen dem Objektbereich (20) und der Bilderfassungseinrichtung (50) eine Blende (30) angeordnet ist. Das Stereobild (100) umfasst ein einem rechten Auge eines Betrachters zuzuordnendes rechtes Teilbild (110") sowie ein einem linken Auge des Betrachters zuzuordnendes linkes Teilbild (110'). Dabei wird im rechten und im linken Teilbild (110', 110") ein in beiden Teilbildern (110', 110") dargestellter, durch die Blende (30) definierter Überlappungsbereich (125', 125") bestimmt (Schritt 210). Nachfolgend wird das rechte Teilbild (110") und/oder das linke Teilbild (110') mit einer partiellen Maskierung in einem Bereich außerhalb des Überlappungsbereiches (125', 125") versehen, d.h. die ursprüngliche Bildinformation wird bereichsweise manipuliert, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt. Durch eine geeignete Wahl der partiellen Maskierung können störende Wahrnehmungskonflikte im Stereobild (100), insbesondere sogenannte binokulare Rivalitäten und Rahmenverletzungen, reduziert werden.The invention relates to a method for postprocessing an electronic stereo image (100) of an object area (20), in particular a stereo image (100), generated by an image acquisition device (50) from a surgical microscope, wherein in the beam path of the stereomicroscope (10) between the object area (20 ) and the image capture device (50) a diaphragm (30) is arranged. The stereo image (100) comprises a right partial image (110 ") to be assigned to a right eye of an observer and a left partial image (110 ') to be assigned to a left eye of the observer, in which case the right and left partial images (110', 110") are inserted in both partial images (110 ', 110 "), defined by the diaphragm (30) overlap region (125', 125") determined (step 210). Subsequently, the right field (110 ") and / or the left field (110 ') is provided with a partial masking in an area outside the overlap area (125', 125"), i. the original image information is manipulated in regions, for example, replaced by image information of the other partial image and / or changed in terms of their brightness and / or replaced by a predefined, uniform color. By a suitable choice of the partial masking, disturbing conflicts of perception in the stereo image (100), in particular so-called binocular rivalries and frame violations, can be reduced.

Description

Die Erfindung betrifft ein Verfahren zur Nachbearbeitung von elektronisch erzeugten Stereobildern, insbesondere von Stereobildern aus einem Operationsmikroskop.The invention relates to a method for post-processing of electronically generated stereo images, in particular of stereo images from a surgical microscope.

Operationsmikroskope werden in unterschiedlichen medizinischen Disziplinen wie z.B. der Neurochirurgie, der minimalinvasiven Chirurgie oder auch der Ophthalmologie eingesetzt. Sie dienen insbesondere dazu, einem operierenden Arzt das stereoskopische Betrachten eines Objektbereichs mit Vergrößerung zu ermöglichen. Ein solches Operationsmikroskop ist beispielsweise aus der deutschen Offenlegungsschrift DE 10 2014 107185 A1 bekannt.Surgical microscopes are used in various medical disciplines such as neurosurgery, minimally invasive surgery or ophthalmology. In particular, they serve to enable an operating physician to stereoscopically view an object area with magnification. Such a surgical microscope, for example, from the German patent application DE 10 2014 107185 A1 known.

Ein stereoskopisches Operationsmikroskop umfasst einen ersten (linken) Strahlengang und einen zweiten (rechten) Strahlengang für das stereoskopische Visualisieren eines linken und rechten Teilbildes des Objektbereichs für einen Betrachter. Moderne Operationsmikroskope enthalten eine Stereokamera, mit der das aus den beiden Teilbildern erzeugte Stereobild des Objektbereichs erfasst werden kann, sowie eine mit der Stereokamera verbundene Anzeigeeinrichtung mit einem Display, mit der das von der Stereokamera erfasste Stereobild des Objektbereichs visualisiert werden kann. Weiterhin umfasst das Operationsmikroskop eine Rechnereinheit, mit der die Bilddaten der Stereokamera für die Visualisierung oder eine weiterergehende Analyse aufbereitet werden. Dabei kommen verbreitet Bildverarbeitungsalgorithmen zur intra- oder postoperativen Auswertung der von der Stereokamera erzeugten Bilder zum Einsatz. Das Visualisieren digital erfasster und anschließend in der Rechnereinheit weiterbearbeiteter Daten erleichtert für einen Betrachter (z.B. den operierenden Arzt) die Orientierung in einem Operationsbereich und kann die Handhabbarkeit eines Operationsmikroskops wesentlich verbessern.A stereoscopic surgical microscope comprises a first (left) beam path and a second (right) beam path for the stereoscopic visualization of a left and right partial image of the object area for a viewer. Modern surgical microscopes contain a stereo camera with which the stereo image of the object region generated from the two partial images can be detected, as well as a display device connected to the stereo camera with a display, with which the stereoscopic image of the object region detected by the stereo camera can be visualized. Furthermore, the surgical microscope comprises a computer unit, with which the image data of the stereo camera for the visualization or a further analysis are processed. In this case, image processing algorithms are widely used for the intraoperative or postoperative evaluation of the images produced by the stereo camera. The visualization of digitally acquired and subsequently processed data in the computer unit facilitates orientation in an operating area for a viewer (e.g., the operating physician) and can greatly enhance the handling of a surgical microscope.

Es ist bekannt, dass bei der Betrachtung stereomikroskopischer Bilder beim Betrachter sogenannte Wahrnehmungskonflikte entstehen, die zu einer starken Beeinträchtigung des Seherlebnisses und einer vorschnellen Ermüdung des Betrachters führen können. Solche Wahrnehmungskonflikte treten dann auf, wenn die (dem linken und dem rechten Auge des Betrachters zugeordneten) Teilbilder des Stereobilds Merkmale enthalten, die im Sehempfinden des Betrachters als inkonsistent wahrgenommen werden. In der Stereomikroskopie kommt verbreitet ein Wahrnehmungskonflikt vor, bei der eines der stereoskopischen Teilbilder in einem Randbereich Objektmerkmale enthält, die in dem anderen Teilbild nicht zu sehen sind. Ein Beispiel hierfür ist schematisch in 2a - 2c dargestellt: 2a zeigt ein linkes und rechtes Auge 5', 5" eines Betrachters, die durch eine Blende 3 hindurch auf eine hinter der Blende 3 befindliche Objektoberfläche 2 gerichtet sind. 2b und 2c zeigen die Teilbilder 6' bzw. 6", die dabei vom linken und vom rechten Auge 5', 5" registriert werden. Aufgrund des Stereoblicks durch die Blende 3 sind für das rechte und das linke Auge 5', 5" unterschiedliche Bereiche der Objektoberfläche 2 hinter der Blende 3 sichtbar, was anhand der in der Figur ebenfalls dargestellten Teilstrahlen 15' und 15" verdeutlicht wird. So ist beispielsweise ein Merkmal 7 auf der Objektoberfläche 3, das vom linken Auge 5' in einem rechten Randbereich 8' als Fleck 7' wahrgenommen wird, mit dem rechten Auge 5" nicht sichtbar. Dies führt beim Betrachter zum Eindruck einer scheinbaren Unstimmigkeit in dem von den Augen 5', 5" wahrgenommenen Sinneseindruck. Entsprechendes gilt für den linken Randbereich 8". Mit 9' beziehungsweise 9" ist derjenige Bereich bezeichnet, der für beide Augen sichtbar ist. Ein verwandter Wahrnehmungskonflikt ist aus dem Bericht der Bilddarstellung in 3D-Kinos bekannt - dort entsteht der Konflikt jedoch im Unterschied zum vorliegenden Fall nicht durch eine Blende 3, durch die beide Stereo-Strahlengänge hindurchtreten, sondern durch die Ränder der rechteckigen Bildsensoren bzw. die Ränder der rechteckigen Leinwand.It is well-known that when looking at stereomicroscopic images so-called perception conflicts arise in the viewer, which can lead to a strong impairment of the visual experience and a premature fatigue of the viewer. Such conflicts of perception occur when the partial images of the stereo image (assigned to the left and right eyes of the observer) contain features that are perceived as inconsistent in the viewer's sense of sight. In stereomicroscopy, a perception conflict is widespread, in which one of the stereoscopic partial images contains object features in one edge region which are not visible in the other partial image. An example of this is schematically in 2a - 2c shown: 2a shows a left and right eye 5 ', 5 "of an observer, which are directed through a diaphragm 3 through an object surface 2 located behind the diaphragm 3. 2 B and 2c show the partial images 6 'and 6 ", which are thereby registered by the left and right eye 5', 5". Due to the stereo view through the diaphragm 3, different regions of the object surface 2 behind the diaphragm 3 are visible for the right and the left eye 5 ', 5 ", which is illustrated by the partial beams 15' and 15" also shown in the figure. For example, a feature 7 on the object surface 3 perceived by the left eye 5 'in a right edge region 8' as a spot 7 'is not visible to the right eye 5 " from the eyes 5 ', 5 "perceived sensory impression. The same applies to the left-hand edge region 8 ", where 9 'or 9" denotes that region which is visible to both eyes. A related perceptual conflict is known from the report of the image display in 3D cinemas - there, however, the conflict arises, in contrast to the present case, not by a diaphragm 3, through which both stereo beam paths pass, but by the edges of the rectangular image sensors or the edges the rectangular canvas.

Dort besteht die Herausforderung, Wahrnehmungskonflikte beim Betrachter eines 3D-Kinofilms zu vermeiden. Ein Vorschlag zur Lösung solcher Probleme in der 3D-Kinotechnik ist beispielsweise in der Veröffentlichung „The Dynamic Floating Window - a new creative tool for 3D movies" von Brian R. Gardner in Stereoscopic Displays and Applications XXII, Proceedings of SPIE-IS&T Electronic Imaging, SPIE Vol. 7863, 78631A . Dort wird vorgeschlagen, die stereoskopischen (linken und rechten) Teilfilme mit (künstlich erzeugten) schwarzen Rahmen zu versehen und diese Rahmen je nach Bildinhalt einer solchen Weise lateral zu verschieben, dass Wahrnehmungskonflikte beim Betrachter unterdrückt werden. Zur Erläuterung und Visualisierung wird auf diese Veröffentlichung „The Dynamic Floating Window ...“ verwiesen, deren gesamter Inhalt hiermit in die vorliegende Patentanmeldung übernommen wird.There is the challenge of avoiding perceptual conflicts in the viewer of a 3D movie. A proposal for solving such problems in 3D cinema technology is, for example, in the publication "The Dynamic Floating Window - a new creative tool for 3D movies" by Brian R. Gardner in Stereoscopic Displays and Applications XXII, Proceedings of SPIE-IS & T Electronic Imaging, SPIE Vol. 7863, 78631A , There it is proposed to provide the stereoscopic (left and right) sub-films with (artificially created) black frames and to move these frames laterally depending on the image content in such a way that perceptual conflicts with the observer are suppressed. For explanation and visualization, reference is made to this publication "The Dynamic Floating Window ...", the entire contents of which are hereby incorporated into the present patent application.

Im Folgenden werden beide Problematiken unter den Begriffen „binokulare Rivalität“ und „Rahmenverletzung“ subsumiert.In the following, both problems are subsumed under the terms "binocular rivalry" and "frame violation".

Zusätzlich zur vorgenannten Technik der Einblendung eines schwarzen Rahmens wird in der Kinotechnik optional eine sogenannte „horizontal image translation (HIT)“ (deutsch: horizontale Bildverschiebung) eingesetzt. Hier werden die linken und rechten stereoskopischen Teilbilder relativ zueinander in horizontaler Richtung digital verschoben, um die Disparitäten der Bildpunkte und somit die dargestellte Vergenz für die Bildbetrachtung nachträglich zu verschieben. Durch diese Methode kann insbesondere eine Verletzung der stereoskopischen Komfortzone bei der Bildbetrachtung behoben werden. Details dazu sind den Veröffentlichungen „AMERICAN NATIONAL STANDARD ANSI/SCTE 187-3 2012, Informative Guidance for Stereoscopic Video“ und „3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009“ zu entnehmen, deren gesamter Inhalt hiermit in die vorliegende Patentanmeldung übernommen wird.In addition to the above-mentioned technique of the insertion of a black frame, a so-called "horizontal image translation (HIT)" (German: horizontal image shift) is optionally used in cinema technology. Here, the left and right stereoscopic partial images are shifted digitally relative to one another in the horizontal direction in order to subsequently shift the disparities of the pixels and thus the displayed vergence for the image viewing. In particular, a violation of the stereoscopic comfort zone when viewing the image. Details can be found in the publications "AMERICAN NATIONAL STANDARD ANSI / SCTE 187-3 2012, Informative Guidance for Stereoscopic Video" and "3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009", the entire content of which is included in the this patent application is accepted.

Ähnlich wie in 2a dargestellt, ist auch der Strahlengang eines Stereomikroskops, insbesondere eines Operationsmikroskops, in einer solchen Weise gestaltet, dass der Betrachter durch eine Art „Schlüsselloch“ (Blende) auf eine dahinter liegende Szene, nämlich den Objektbereich, blickt. Auch hier treten Artefakte, insbesondere die oben beschriebene binokulare Rivalität bzw. Rahmenverletzung auf, die zu visuellen Irritationen, Ermüdungserscheinungen und Überanstrengung der Augen beim Betrachter führen können. Solche Artefakte müssen so weit wie möglich reduziert werden, um die Interpretation stereomikroskopischer Bilder, die eine komplexe und herausfordernde Aufgabe für den Benutzer, insbesondere den operierenden Arzt, darstellt, nicht zusätzlich zu erschweren.Similar to in 2a 1, the beam path of a stereomicroscope, in particular a surgical microscope, is also designed in such a way that the viewer looks through a kind of "keyhole" (aperture) onto a scene behind it, namely the object area. Again, artifacts, in particular the above-described binocular rivalry or frame violation occur, which can lead to visual irritation, fatigue and eyestrain in the viewer. Such artefacts must be reduced as much as possible in order to avoid complicating the interpretation of stereomicroscopic images, which is a complex and challenging task for the user, especially the operating physician.

Wegen des Stereoblicks durch das Schlüsselloch sind für die linke und die rechte Kameraperspektive unterschiedliche Bereiche des Objektbereichs hinter dem Schlüsselloch sichtbar. Man spricht hier von unterschiedlichen Teilverdeckungen durch den linken und rechten Rand des Schlüssellochs. In digitalen stereoskopischen Visualisierungssystemen kann es passieren, dass diese Teilverdeckungen nicht mehr perspektivrichtig wiedergegeben werden, weil Aufnahme und Wiedergabe unterschiedlichen Strahlengängen folgen. Dadurch kann ein sehr unnatürlicher, ggf. auch sehr stark störender Bildeindruck entstehen, insbesondere wenn der Betrachter auf den Szeneninhalt hinter dem Schlüsselloch fokussiert. Dieser Wahrnehmungskonflikt soll nun korrigiert werden, insbesondere für den Fall, dass das Schlüsselloch eine beliebige Form besitzt.Due to the stereo view through the keyhole, different areas of the object area behind the keyhole are visible for the left and the right camera perspective. One speaks here of different partial occlusions by the left and right edge of the keyhole. In digital stereoscopic visualization systems, it can happen that these partial occlusions are no longer rendered in the correct perspective, because recording and playback follow different beam paths. This can result in a very unnatural, possibly even very disturbing image impression, especially when the viewer focuses on the scene content behind the keyhole. This perceptual conflict is now to be corrected, especially in the event that the keyhole has any shape.

Ein möglicher Ansatz zur Korrektur des oben dargestellten Wahrnehmungskonfliktes findet sich in der US-Patentschrift US 7,671,888 B2 . Dort ist ein Stereo-Endoskop offenbart, welches stereoskopische Teilbilder erzeugt, die zur Abmilderung der oben genannten Wahrnehmungskonflikte partiell maskiert werden. Verwandte Ansätze sind in den Veröffentlichungen DE 10 2013 209 956 A1 , US 2014/0 029 838 A1 , US 2011/0 193 945 A1 , DE 195 14 549 A1 , US 2010/0 091 097 A1 , US 2010/0 097 447 A1 gezeigt.One possible approach to correcting the perceptual conflict presented above can be found in the US Pat. No. 7,671,888 B2 , There, a stereo endoscope is disclosed, which generates stereoscopic partial images, which are partially masked to alleviate the above-mentioned perceptual conflicts. Related approaches are in the publications DE 10 2013 209 956 A1 . US 2014/0 029 838 A1 . US 2011/0 193 945 A1 . DE 195 14 549 A1 . US 2010/0 091 097 A1 . US 2010/0 097 447 A1 shown.

Allerdings verbleiben auch in den mit den in den genannten Schriften beschriebenen Maßnahmen manipulierten Bildern noch Effekte, welche es beispielsweise einem Operateur erschweren, ermüdungsfrei zu arbeiten.However, even in the images manipulated with the measures described in the abovementioned documents, there are still effects which make it difficult, for example, for an operator to work fatigue-free.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zur Nachbearbeitung stereomikroskopisch erzeugter Bilder zur Verfügung zu stellen, mit welchem sich optische Störeffekte wie z.B. binokulare Rivalität und Rahmenverletzungen vermeiden, zumindest jedoch reduzieren lassen und wobei der Komfort des Benutzers weiter erhöht ist.The object of the present invention is therefore to provide a method for post-processing stereomicroscopically generated images, with which optical interference effects such as. avoid, but at least reduce, binocular rivalry and frame violations and further enhance the user's comfort.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs. Die Unteransprüche betreffen vorteilhafte Weiterbildungen und Varianten der Erfindung.This object is achieved by a method having the features of the independent claim. The subclaims relate to advantageous developments and variants of the invention.

Ein erfindungsgemäßes Verfahren geht aus von einem in einem Stereomikroskop mittels einer Bilderfassungseinrichtung erzeugten Stereobild eines Objektbereichs. Das Stereobild umfasst ein rechtes Teilbild, das einem rechten Auge eines Betrachters zugeordnet wird und ein linkes Teilbild, das einem linken Auge des Betrachters zugeordnet wird. Im Strahlengang des Stereomikroskops ist zwischen dem Objektbereich und der Bilderfassungseinrichtung eine Blende angeordnet. Dabei wird zunächst im rechten und im linken Teilbild ein durch die Blende definierter Überlappungsbereich bestimmt, der einem in beiden Teilbildern sichtbaren Teil des Objektbereiches entspricht. Dies kann beispielsweise mit Mitteln der Bilderkennung erfolgen, indem in beide Teilbilder nach Merkmalen durchsucht werden, die in beiden Teilbildern enthalten sind. Alternativ bzw. zusätzlich können Informationen bezüglich der Optik und Geometrie des Stereomikroskops, insbesondere zur Form und Lage der Blende, verwendet werden, um Lage und/oder Form des Überlappungsbereichs zu bestimmen. Zur Unterbindung bzw. Minimierung von Wahrnehmungskonflikten beim Betrachter werden das rechte Teilbild und/oder das linke Teilbild mit einer partiellen Maskierung in einem Bereich außerhalb des Überlappungsbereichs versehen. Unter einer „Maskierung“ eines Bildelements (Pixels) soll dabei ein Verfahrensschritt verstanden werden, bei dem Farb- bzw. Helligkeitswert dieses Bildelement aktiv verändert wird, indem dem Bildelement beispielsweise ein vordefinierter fester Farb- bzw. Helligkeitswert zugewiesen oder durch Anwendung einer Filteroperation verändert wird, oder indem das Bildelement durch ein Bildelement des anderen Teilbilds ersetzt wird. Der Begriff „partielle Maskierung eines Teilbilds“ bedeutet dann, dass das betreffende Teilbild zusammenhängende Bildbereiche aufweist, in denen die ursprüngliche Bildinformation der Bildelemente (Pixel) mittels einer Bildverarbeitungsoperation manipuliert wurde, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt ist. Durch eine geeignete Wahl der bereichsweisen Maskierung der Teilbilder können Wahrnehmungskonflikte beim Betrachter reduziert bzw. eliminiert werden.A method according to the invention is based on a stereo image of an object region generated in a stereomicroscope by means of an image capture device. The stereo image includes a right partial image assigned to a right eye of a viewer and a left partial image assigned to a left eye of the viewer. In the beam path of the stereomicroscope, a diaphragm is arranged between the object region and the image capture device. In this case, an overlap area defined by the diaphragm is initially determined in the right and in the left partial image, which corresponds to a part of the object region which is visible in both partial images. This can be done, for example, with means of image recognition by searching in both partial images for features that are contained in both partial images. Alternatively or additionally, information relating to the optics and geometry of the stereomicroscope, in particular to the shape and position of the diaphragm, can be used to determine the position and / or shape of the overlapping region. To prevent or minimize perceptual conflicts in the observer, the right-hand sub-image and / or the left-hand sub-image are provided with a partial masking in a region outside the overlapping region. A "masking" of a picture element (pixel) should be understood as a method step in which the color or brightness value of this picture element is actively changed, for example by assigning a predefined fixed color or brightness value to the picture element or by using a filter operation or by replacing the picture element with a picture element of the other part picture. The term "partial masking of a partial image" then means that the relevant partial image has coherent image areas in which the original image information of the picture elements (pixels) has been manipulated by means of an image processing operation, for example replaced by image information of the other partial image and / or in terms of its brightness changed and / or replaced by a predefined, uniform color. By a suitable choice of the areawise masking of the partial images Conflicts of perception in the viewer can be reduced or eliminated.

Erfindungsgemäß werden die Maskenbereiche in einer solchen Weise verschoben, dass die dadurch erzeugte Maske bezüglich ihrer Tiefenebene auf ein vordefiniertes Objektdetail derart angepasst wird, dass sie für den Betrachter räumlich vor dem zu betrachtenden Objektbereich dargestellt wird.According to the invention, the mask regions are displaced in such a way that the mask produced thereby is adjusted with respect to its depth plane to a predefined object detail in such a way that it is displayed spatially in front of the object region to be considered by the viewer.

In einer vorteilhaften Ausführungsform der Erfindung wird weiterhin wird ein Rand des Überlappungsbereichs identifiziert und in ein linkes und ein rechtes Randstück aufgeteilt. Anschließend wird im linken Teilbild ein zwischen einem rechten Bildrand und dem rechten Randstück befindlicher rechter Maskenbereich und im rechten Teilbild ein zwischen einem linken Bildrand und dem linken Randstück befindlicher linker Maskenbereich konstruiert. Danach wird in den auf diese Weise erzeugten Maskenbereichen die Bildinformation des jeweiligen Teilbilds zumindest bereichsweise aktiv verändert und somit eine partielle Maskierung des Teilbilds implementiert.In an advantageous embodiment of the invention, furthermore, an edge of the overlapping area is identified and divided into a left and a right edge piece. Subsequently, in the left partial image, a right mask region located between a right image edge and the right edge element is constructed and in the right partial image a left mask region located between a left image edge and the left edge element. Thereafter, in the mask regions generated in this way, the image information of the respective sub-image is actively changed at least in regions, and thus a partial masking of the sub-image is implemented.

Hierbei ist zu bemerken, dass in einigen Abbildungsoptiken von Stereomikroskopen eine Seitenumkehr zwischen „links“ und „rechts“ stattfindet, so dass Merkmale, die sich im Objektbereich links im Beobachtungsfeld befinden, in den beiden Teilbildern auf der rechten Bildhälfte abgebildet werden und umgekehrt. In diesem Fall wird anstelle der oben beschriebenen Konstruktion im linken Teilbild ein zwischen einem linken Bildrand und dem linken Randstück befindlicher linker Maskenbereich und im rechten Teilbild ein zwischen einem rechten Bildrand und dem rechten Randstück befindlicher rechter Maskenbereich konstruiert. Auch die im Folgenden zu beschreibende weitere Bildverarbeitung erfolgt in diesem Fall der Seitenumkehr durch die Abbildungsoptik seitenverkehrt zu dem hier beschriebenen Verfahren. Während also im Folgenden das erfindungsgemäße Verfahren exemplarisch für den Fall einer „nicht-seitenverkehrten“ Abbildungsoptik beschrieben wird, gilt das Gesagte sinngemäß auch für seitenverkehrte Abbildungsoptiken (und kann dort durch ein Ersetzen von „links“ und „rechts“ entsprechend auf den seitenverkehrten Fall angewendet werden).It should be noted that in some imaging optics of stereomicroscopes, a page reversal between "left" and "right" takes place, so that features that are located in the object area on the left in the observation field, in the two fields on the right half of the image and vice versa. In this case, instead of the construction described above, a left mask area located between a left picture edge and the left edge section is constructed in the left partial picture, and a right mask section located between a right picture edge and the right edge section is constructed in the right partial picture. The further image processing to be described below also takes place in this case, the page reversal by the imaging optics reversed to the method described here. Thus, while the method according to the invention is described below by way of example for the case of a "non-reversed" imaging optics, what has been said also applies mutatis mutandis to reversed imaging optics (and can there by replacing "left" and "right" applied accordingly to the reversed case become).

In einer Weiterentwicklung der Erfindung erfolgt die partielle Maskierung nicht nur in der rechten Bildhälfte des linken Teilbilds und der linken Bildhälfte des rechten Teilbilds, sondern in beiden Teilbildern sowohl links als auch rechts des Überlappungsbereichs. Hierzu wird in jedem Teilbild ein linker und ein rechter Maskenbereich konstruiert, wobei sich der linke Maskenbereich zwischen dem jeweiligen linken Bildrand und dem linken Randstück des Überlappungsbereichs des jeweiligen Teilbilds erstreckt, während der rechte Maskenbereich sich zwischen dem rechten Bildrand und dem rechten Randstück des jeweiligen Teilbilds erstreckt. Hier werden also in jedem Teilbild zwei seitliche Maskenbereiche konstruiert, in denen anschließend zur partiellen Maskierung dieses Teilbilds die Bildinformation zumindest bereichsweise aktiv verändert wird.In a further development of the invention, the partial masking takes place not only in the right half of the left field and the left half of the right field, but in both fields both left and right of the overlap area. For this purpose, a left and a right mask area is constructed in each partial image, wherein the left mask area extends between the respective left picture edge and the left edge part of the overlapping area of the respective partial picture, while the right mask area is between the right picture edge and the right edge piece of the respective partial picture extends. Here, therefore, two lateral mask areas are constructed in each partial image, in which the image information is then actively changed at least in regions for the partial masking of this partial image.

Im einfachsten Fall erfolgt die partielle Maskierung des Teilbilds, indem in allen Maskenbereichen der Farb- und Helligkeitswert der Bildelemente auf einen uniformen Wert gesetzt wird, die Maskenbereiche beispielsweise schwarz oder grau eingefärbt werden, um diese Bereiche für den Betrachter möglichst unauffällig und neutral darzustellen. Auf diese Weise werden Teilbildbereiche, die binokulare Rivalitäten oder Rahmenverletzungen verursachen, abgeschirmt und somit aus dem aktiven Sichtfeld des Betrachters entfernt. Alternativ kann der Maskenbereich auch in einer anderen, beispielsweise einer im Überlappungsbereich vorkommenden Farbe eingefärbt werden. Weiterhin können Teile der Maskenbereiche (oder die gesamten Maskenbereiche) teiltransparent gestaltet werden. Solche teiltransparenten Masken sind geeignet, die Aufmerksamkeit des Betrachters von Bildbereichen, die binokulare Rivalitäten oder irritierende Rahmenverletzungen erzeugen, wegzulenken; sie können somit zu einem angenehmeren Seherlebnis führen. Weiterhin kann es vorteilhaft sein, die Maskenbereiche im Umfeld der Randstücke (d.h. im Übergangsbereich zwischen Maskenbereich und Überlappungsbereich) graduell/diffus zu gestalten, um abrupte Helligkeitsvariationen in diesem - für den Betrachter eher unbedeutenden - Teil des Stereobilds zu vermeiden.In the simplest case, the partial masking of the partial image takes place in that the color and brightness value of the picture elements is set to a uniform value in all mask areas, the mask areas are colored black or gray, for example, in order to present these areas to the observer in the most inconspicuous and neutral manner possible. In this way, sub-image areas that cause binocular rivalries or frame violations are shielded and thus removed from the viewer's active field of view. Alternatively, the mask area can also be colored in another, for example, a color occurring in the overlapping area. Furthermore, parts of the mask areas (or the entire mask areas) can be made partially transparent. Such partially transparent masks are capable of diverting the viewer's attention from image areas that produce binocular rivalries or irritating frame violations; they can thus lead to a more pleasant viewing experience. Furthermore, it may be advantageous to make the mask areas in the vicinity of the edge pieces (i.e., in the transition region between mask area and overlap area) gradual / diffuse, in order to avoid abrupt brightness variations in this part of the stereo image, which is rather insignificant for the viewer.

Ein Stereomikroskop zur Anwendung des erfindungsgemäßen Verfahrens, insbesondere Operationsmikroskop, weist eine stereoskopische Optik mit einem ersten (linken) stereoskopischen Teilstrahlengang und einem zweiten (rechten) stereoskopischen Teilstrahlengang auf und ist dazu ausgelegt, Stereobilder eines im Sichtfeld der Optik befindlichen Objektbereichs mit einem ersten (linken) und einem zweiten (rechten) Teilbild zu erzeugen. Das Stereomikroskop umfasst eine elektronische Bilderfassungseinrichtung, mit der die Teilbilder des Objektbereichs digital erfasst werden können sowie eine mit der Bilderfassungseinrichtung verbundene Anzeigeeinrichtung mit einem Display, mit dem Stereobilder der Bilderfassungseinrichtung visualisiert werden können. Dieses Display kann insbesondere ein 3D-Monitor sein, der mit Polarisationsbrillen betrachtet wird. Auf dem Display wird die (evtl. aufbereitete) Bildinformation online dem Betrachter dargeboten.A stereomicroscope for the application of the method according to the invention, in particular surgical microscope, has a stereoscopic optic with a first (left) stereoscopic partial beam path and a second (right) stereoscopic partial beam path and is designed to form stereo images of an object region located in the visual field of the optics with a first (left ) and a second (right) field. The stereomicroscope comprises an electronic image capture device with which the partial images of the object region can be detected digitally and a display device connected to the image capture device with a display, with which stereo images of the image capture device can be visualized. In particular, this display can be a 3D monitor that is viewed with polarized glasses. On the display, the (possibly processed) image information is presented online to the viewer.

Ferner umfasst das Stereomikroskop eine im Strahlengang des Stereomikroskops zwischen dem Objektbereich und der Bilderfassungseinrichtung angeordnete Blende, durch die ein in beiden Teilbildern dargestellter Überlappungsbereich definiert ist.Furthermore, the stereomicroscope comprises a diaphragm arranged in the beam path of the stereomicroscope between the object region and the image detection device, by means of which an overlapping region shown in both partial images is defined.

Weiterhin umfasst das Stereomikroskop weiterhin eine Maskierungsvorrichtung, die dazu eingerichtet ist, eine partielle Maskierung des rechten und/oder des linken Teilbilds in einem Bereich außerhalb des Überlappungsbereichs zu erzeugen, wobei der Überlappungsbereich in beiden Teilbildern durch die in dem Strahlengang des Stereomikroskops angeordnete Blende definiert ist. Der Begriff „partielle Maskierung eines Teilbilds“ bedeutet dabei, dass das entsprechende Teilbild zusammenhängende Bildbereiche, sogenannte Maskenbereiche, enthält, in denen die ursprüngliche Bildinformation manipuliert, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt ist. Furthermore, the stereomicroscope further comprises a masking device which is adapted to generate a partial masking of the right and / or the left partial image in a region outside the overlapping region, wherein the overlapping region in both partial images is defined by the diaphragm arranged in the beam path of the stereomicroscope , The term "partial masking of a partial image" means that the corresponding partial image contains coherent image regions, so-called mask regions, in which the original image information is manipulated, for example, replaced by image information of the other partial image and / or changed and / or with respect to their brightness a predefined, uniform color is replaced.

Die Maskierungsvorrichtung ermöglicht es insbesondere, Bildbereiche in den Teilbildern zu identifizieren, die binokulare Rivalitäten oder Rahmenverletzungen enthalten und diese Bildbereiche online auszublenden, beispielsweise mit einer geeignet gewählten Blende zu verdecken, so dass der Betrachter sie nicht mehr wahrnimmt. Mittels der Maskierungsvorrichtung können Bildbereiche, die vom Betrachter als störend empfunden werden, entfernt oder verändert dargestellt werden, oder die Teilbilder können in einer solchen Weise modifiziert werden, dass störende Artefakte minimiert werden.In particular, the masking device makes it possible to identify image areas in the sub-images that contain binocular rivalries or frame violations and to hide these image regions online, for example, by obscuring them with a suitably selected aperture, so that the viewer no longer perceives them. By means of the masking device, image areas that are perceived as disturbing by the viewer can be displayed removed or changed, or the partial images can be modified in such a way that disturbing artifacts are minimized.

Die Maskierungsvorrichtung ist eine Rechnereinheit, mit der Bildverarbeitungsoperationen an den Teilbildern durchgeführt werden können, um die Bildinformationen dieser Teilbilder zu manipulieren. Die Maskierungsvorrichtung stellt dabei ein zwischen der Bilderfassungseinrichtung und der Anzeigeeinrichtung angeordnetes Zwischenglied dar und kann insbesondere in die Bilderfassungseinrichtung oder die Anzeigeeinrichtung integriert sein.The masking device is a computer unit with which image processing operations on the partial images can be performed in order to manipulate the image information of these partial images. In this case, the masking device represents an intermediate element arranged between the image capture device and the display device and can in particular be integrated into the image capture device or the display device.

Nachfolgend werden Ausführungsbeispiele und Varianten der Erfindung anhand der Zeichnung näher erläutert. Es zeigen:

1 eine schematische Darstellung eines erfindungsgemäßen Stereomikroskops;
2a eine schematische Darstellung eines Strahlengangs bei einem stereoskopischen Blick durch eine Blende auf eine Objektoberfläche;
2b ein von einem linken Auge wahrgenommenes Teilbild der Objektoberfläche der 1a;
2c ein von einem rechten Auge wahrgenommenes Teilbild der Objektoberfläche der 1a;
3 eine schematische Aufsicht auf einen Objektbereich unter Verwendung des Stereomikroskops der 2;
4a und 4b schematische Darstellungen eines linken/rechten Teilbilds bei der stereoskopischen Aufsicht auf den Objektbereich gemäß 3;
5a und 5b eine Illustration der Konstruktion von Maskenbereichen in den Teilbildern der 4a und 4b;
6a und 6b ein Beispiel einer erfindungsgemäßen partiellen Maskierung der Teilbilder der 4a und 4b;
7a und 7b eine Illustration der Konstruktion von Maskenbereichen bei Teilbildern, in denen ein Überlappungsbereich die Ränder der Teilbilder schneidet.
8 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.

Embodiments and variants of the invention will be explained in more detail with reference to the drawing. Show it:

1 a schematic representation of a stereomicroscope according to the invention;
2a a schematic representation of a beam path in a stereoscopic view through an aperture on an object surface;
2 B a partial image of the object surface perceived by a left eye 1a ;
2c a partial image of the object surface perceived by a right eye 1a ;
3 a schematic plan view of an object area using the stereomicroscope of 2 ;
4a and 4b schematic representations of a left / right partial image in the stereoscopic view of the object area according to 3 ;
5a and 5b an illustration of the construction of mask areas in the partial images of the 4a and 4b ;
6a and 6b an example of a partial masking of the partial images of the invention 4a and 4b ;
7a and 7b an illustration of the construction of mask areas in sub-images in which an overlap area intersects the edges of the sub-images.
8th a schematic representation of a flow chart of a method according to the invention.

1 zeigt in einer schematischen Darstellung ein Stereomikroskop 10, insbesondere ein Operationsmikroskop, mit einem optischen System 12, welches stereoskopische mikroskopische Bilder eines Objektbereichs 20 erzeugt. Hierzu werden zwei zueinander versetzte Teilstrahlen 15', 15" verwendet, die jeweils einen Teil des Objektbereichs 20 unter gegeneinander verkippten Winkeln in einer Bilderfassungseinrichtung 50 mit zwei Kameras 50', 50" abbilden. Die von den beiden Kameras 50', 50" registrierten Teilbilder 110', 110" werden an eine Anzeigeeinrichtung 70 mit zwei Displays 71 weitergeleitet, mit deren Hilfe ein Betrachter, insbesondere ein operierender Arzt, eine stereoskopische Darstellung des Objektbereiches 20 erhält. Zwischen der Bilderfassungseinrichtung 50 und der Anzeigeeinrichtung 70 ist eine Maskierungseinrichtung 60 vorgesehen, mit deren Hilfe Bildverarbeitungsoperationen zur partiellen Maskierung der von den Kameras 50', 50" aufgenommenen Teilbilder 110', 110" durchgeführt wird. Die Maskierungseinrichtung 60 kann dabei in die Bilderfassungseinrichtung 50 oder die Anzeigeeinrichtung 70 integriert sein. 1 shows a schematic representation of a stereomicroscope 10 , in particular a surgical microscope, with an optical system 12 which stereoscopic microscopic images of an object area 20 generated. For this purpose, two mutually offset partial beams 15 ' . 15 " used, each one part of the object area 20 under mutually tilted angles in an image capture device 50 with two cameras 50 ' . 50 " depict. The one from the two cameras 50 ' . 50 " registered partial images 110 ' . 110 ' are sent to a display device 70 with two displays 71 with the help of which a viewer, in particular an operating doctor, a stereoscopic view of the object area 20 receives. Between the image capture device 50 and the display device 70 is a masking device 60 provided with the aid of image processing operations for partial masking of the cameras 50 ' . 50 " recorded partial images 110 ' . 110 ' is carried out. The masking device 60 can do this in the image capture device 50 or the display device 70 be integrated.

Die beiden Kameras 50', 50" - entsprechend den Augen des Arztes - blicken dabei durch ein „Schlüsselloch“ auf den Objektbereich 20, da das Blickfeld der Kameras 50', 50" durch eine zwischen dem Betrachter und dem Objektbereich 20 im Strahlengang angeordnete Blende 30 eingeschränkt ist. Diese Blende 30 kann beispielsweise einer Berandung einer dem Stereomikroskop 10 vorgeschalteten Lupe 13 oder - wenn auf eine solche Lupe 13 verzichtet wird - der Berandung der Pupille im Auge des Patienten entsprechen. In Operationssituationen, in denen durch einen kleinen Zugang operiert wird (beispielsweise einem kleinen Loch in der Schädeldecke bei neurochirurgischen Operationen), kann die Blende 30 beispielsweise durch eine Berandung dieses Zugangs gebildet sein. Die Blende 30 kann zusätzlich zu ihrer die Strahlengänge beschränkenden Wirkung auch die sie durchdringenden Strahlen optisch beeinflussen (insbesondere im Fall der Lupe 13). Dadurch kann insbesondere die binokulare Rivalitäten und Rahmenverletzung beeinflusst werden, da die auftretenden Teilverdeckungen durch die optische Wirkung der Blende 30 verändert werden, wodurch sie noch unnatürlicher erscheinen.The two cameras 50 ' . 50 " - according to the eyes of the doctor - look through a "keyhole" on the object area 20 because the field of view of the cameras 50 ' . 50 " through a between the viewer and the object area 20 arranged in the beam path aperture 30 is restricted. This aperture 30 For example, a boundary of a stereomicroscope 10 upstream magnifier 13 or - if on such a magnifying glass 13 is omitted - correspond to the boundary of the pupil in the eye of the patient. In surgical situations in which surgery is by a small approach (for example, a small hole in the skull in neurosurgical operations), the iris can 30 be formed for example by a boundary of this access. The aperture 30 can in addition to their effect limiting the beam paths optically influence the rays passing through them (especially in the case of the magnifying glass 13 ). As a result, in particular the binocular rivalries and frame violation can be influenced, since the partial occlusions occurring due to the optical effect of the diaphragm 30 be changed, making them even more unnatural.

2 zeigt in einer stark vereinfachten schematischen Aufsicht einen Strahlengang des Stereomikroskops 10 der 1 bei einer Operation an der Netzhaut (Neuroretina) eines menschlichen Auges. Die beiden den Augen 5', 5" eines Betrachters - in diesem Fall des operierenden Arztes - zugeordneten Kameras 50', 50" sind auf den Objektbereich 20 - in diesem Fall die Netzhaut des Patienten - gerichtet. 2 shows a highly simplified schematic plan view of a beam path of the stereomicroscope 10 of the 1 during surgery on the retina (neuroretina) of a human eye. The two eyes 5 ' . 5 ' of an observer - in this case the operating physician - assigned cameras 50 ' . 50 " are on the object area 20 - in this case the retina of the patient - directed.

Die Blende 30 bewirkt nicht nur eine randseitige Begrenzung der Blickfelder der Kameras 50', 50", sondern führt aufgrund des Versatzes der Teilstrahlengänge 15', 15" dazu, dass - wie in 3, die eine stark vergrößerte schematische Aufsicht auf den Objektbereich 20 zeigt, dargestellt - ein Blickfeld 51' der Kamera 50' gegenüber einem Blickfeld 51" der Kamera 50" seitlich versetzt ist. Neben einem Überlappungsbereich 52, der für beide Kameras 50', 50" sichtbar ist, bestehen Seitenbereiche 53', 53" des Objektbereichs 20, die jeweils nur einer der beiden Kameras 50', 50" zugänglich sind, in denen also Teilverdeckungen auftreten. Im Fall einer optischen Wirkung der Blende 30 (z.B. im Fall einer Lupe 13) können die jeweils nur in einer der Perspektiven sichtbaren Seitenbereiche 53', 53" auch vergrößert, verkleinert oder auf der jeweils anderen Seite des Überlappungsbereichs 52 (also seitenverkehrt) auftreten. Das Operationsmikroskop 10 ist dabei in einer solchen Weise eingestellt, dass der für den operierenden Arzt relevante Teil des Objektbereichs 20 im Überlappungsbereich 52 liegt, der sich im Sichtfeld beider Kameras 50', 50" befindet.The aperture 30 does not just cause a peripheral border of the fields of view of the cameras 50 ' . 50 " but leads due to the offset of the partial beam paths 15 ' . 15 " to that - as in 3 which has a greatly enlarged schematic plan view of the object area 20 shows, presented - a field of vision 51 ' the camera 50 ' opposite a field of vision 51 " the camera 50 " laterally offset. In addition to an overlap area 52 for both cameras 50 ' . 50 " is visible, there are page areas 53 ' . 53 " of the object area 20 , each one of the two cameras 50 ' . 50 " are accessible, so where partial occlusions occur. In the case of an optical effect of the aperture 30 (eg in the case of a magnifying glass 13 ) can only visible in each of the perspectives page areas 53 ' . 53 " also enlarged, reduced or on the other side of the overlap area 52 (ie reversed) occur. The surgical microscope 10 is adjusted in such a way that the relevant for the operating doctor part of the object area 20 in the overlap area 52 lies in the field of view of both cameras 50 ' . 50 " located.

4a und 4b zeigen ein mit der Bilderfassungseinrichtung 50 des Stereomikroskops 10 der 2 aufgenommenes Stereobild 100 des in 3 dargestellten Objektbereichs 20 mit dem linken und dem rechten Teilbild 110', 110". Jedes Teilbild 110', 110" umfasst einen Darstellungsbereich 120', 120", in dem ein Teil des Objektbereichs 20 abgebildet ist, sowie einen Rahmenbereich 121', 121", in welchem der Blick auf den Objektbereich 20 durch die Blende 30 verdeckt ist, der also keine Bildinformation des Objektbereichs 20 enthält. Darstellungsbereich 120', 120" und Rahmenbereich 121', 121" sind durch einen Übergangsbereich 122', 122" voneinander getrennt, wobei die Kontur des Übergangsbereichs 122', 122" auf die Kontur der zwischen Kamera 50', 50" und Objektbereich befindlichen Blende 30 zurückzuführen ist (und im vorliegenden Ausführungsbeispiel näherungsweise elliptisch ist). Da die Optik des Stereomikroskops 10 typischerweise auf den Objektbereich 20 fokussiert ist, wird der Rand der Blende 30 in den Teilbildern 110', 110" im Normalfall unscharf abgebildet, was in den 4a und 4b durch einen ringförmigen (kariert dargestellten) Übergangsbereich 122', 122" angedeutet ist. 4a and 4b show with the image capture device 50 of the stereomicroscope 10 of the 2 recorded stereo image 100 of in 3 represented object area 20 with the left and the right part of the picture 110 ' . 110 ' , Each drawing file 110 ' . 110 ' includes a viewport 120 ' . 120 ' in which a part of the object area 20 is pictured, as well as a frame area 121 ' . 121 ' in which the view of the object area 20 through the aperture 30 is hidden, so no image information of the object area 20 contains. viewport 120 ' . 120 ' and frame area 121 ' . 121 ' are through a transition area 122 ' . 122 ' separated from each other, the contour of the transition area 122 ' . 122 ' on the contour of the between camera 50 ' . 50 " and object area located aperture 30 is due (and is approximately elliptical in the present embodiment). Because the optics of the stereomicroscope 10 typically on the object area 20 is focused, the edge of the aperture 30 in the partial pictures 110 ' . 110 ' normally blurred, resulting in the 4a and 4b by an annular (checkered) transition area 122 ' . 122 ' is indicated.

Aufgrund der Disparität unterscheiden sich die Darstellungsbereiche 120', 120" der beiden Teilbilder 110', 110", was bei der stereoskopischen Betrachtung des resultierenden Stereobilds 100 zu Irritationen und einer vorschnellen Ermüdung der Augen des Betrachters führen kann. Im Folgenden wird ein Verfahren beschrieben, mit dem dieser Effekt unterbunden oder zumindest reduziert werden kann. Der Verfahrensablauf 200 ist in 8 in Form eines schematischen Ablaufdiagramms dargestellt.Due to the disparity, the presentation areas differ 120 ' . 120 ' of the two partial images 110 ' . 110 ' what in the stereoscopic viewing of the resulting stereo image 100 may cause irritation and premature fatigue of the eyes of the beholder. The following describes a method by which this effect can be prevented or at least reduced. The procedure 200 is in 8th shown in the form of a schematic flow chart.

In einem ersten Schritt 210 wird zu jedem der Teilbilder 110', 110" ein Überlappungsbereich 125', 125" bestimmt, der demjenigen Teil des Objektbereiches 20 entspricht, dessen Abbild in jedem der beiden Teilbilder 110', 110" sichtbar ist. Hierzu wird zunächst (Schritt 205) in jedem Teilbild 110', 110" die Lage und Form des Darstellungsbereichs 120', 120" ermittelt. Das kann beispielsweise durch Bilderkennung erfolgen, indem - ausgehend von seitlichen Rändern 111', 112', 111", 112" des jeweiligen Teilbilds 110', 110" - schwarze bzw. dunkle zusammenhängende Bildbereiche als zum Rahmenbereich 121', 121" gehörig identifiziert werden und die restlichen Bildbereiche als Darstellungsbereich 120', 120" definiert werden. Die am Übergang zwischen den dunklen/schwarzen Bildbereichen zum Darstellungsbereich 120', 120" gelegenen Bildelemente (Pixel) bilden dann den Übergangsbereich 122', 122".In a first step 210 becomes each of the drawing files 110 ' . 110 ' an overlap area 125 ' . 125 ' determines that of that part of the object area 20 corresponds, whose image in each of the two partial images 110 ' . 110 ' is visible. For this purpose, first (step 205 ) in each field 110 ' . 110 ' the location and form of the presentation area 120 ' . 120 ' determined. This can be done for example by image recognition by - starting from lateral edges 111 ' . 112 ' . 111 ' . 112 ' of the respective partial image 110 ' . 110 ' - Black and dark contiguous image areas as the frame area 121 ' . 121 ' be properly identified and the remaining image areas as a display area 120 ' . 120 ' To be defined. The at the transition between the dark / black image areas to the presentation area 120 ' . 120 ' located pixels (pixels) then form the transition area 122 ' . 122 ' ,

Wenn die Form der Blende 30 bekannt ist, dann kann Lage und Form des Darstellungsbereichs 120', 120" alternativ oder zusätzlich durch einen Fit einer entsprechenden Form (im vorliegenden Fall einer Ellipse) oder über geeignete Segmentierungsalgorithmen bestimmt werden.If the shape of the aperture 30 is known, then location and shape of the viewport 120 ' . 120 ' alternatively or additionally determined by a fit of a corresponding shape (in the present case an ellipse) or via suitable segmentation algorithms.

Alternativ kann die Lage und Form des Darstellungsbereichs 120', 120" bzw. der Überlappungsbereiche 125', 125" mit Hilfe eines Tiefenhistogramms bestimmt werden: Die Blende 30 ist nämlich zwischen der Kamera 50', 50" und dem (im Abbildungsfokus stehenden) Objektbereich 20 angeordnet und ist in retina- und neurochirurgischen Anwendungen tiefenmäßig klar von dem darunter liegenden Objektbereich 20 getrennt (siehe 2). Der Übergangsbereich 122', 122" zwischen Darstellungsbereichs 120', 120" und den dunklen/schwarzen Bildbereichen entspricht dann der Linie, an der der Tiefensprung stattfindet.Alternatively, the location and shape of the viewport 120 ' . 120 ' or the overlapping areas 125 ' . 125 ' be determined using a depth histogram: the aperture 30 is between the camera 50 ' . 50 " and the object area (in the imaging focus) 20 In retinal and neurosurgical applications, it is clearly clear from the underlying object area 20 separated (see 2 ). The transition area 122 ' . 122 ' between presentation area 120 ' . 120 ' and the dark / black image areas then correspond to the line where the depth jump takes place.

Wenn die Blende 30 durch ein Teil des Operationsmikroskops 10 gebildet ist (wie z.B. einer vorgeschalteten Lupe 13 oder einem Tubus), dann ist die Lage und Form der Darstellungsbereiche 120', 120" und entsprechend auch die Lage und Form der Übergangsbereiche 122', 122" in jedem der Teilbilder 110', 110" konstant und kann im Vorfeld bestimmt werden. Befindet sich die Blende 30 jedoch außerhalb, dann kann sich Lage und Form der Darstellungsbereiche 120', 120" ändern. Speziell im Fall einer Retinaoperation wird die Blende 30 durch die Pupille des Patientenauges gebildet und „bewegt sich durch das Bild“, d.h. ändert während der Operation im Regelfall ihre Form und Lage in den Teilbildern 110', 110". In diesem Fall ist es zweckmäßig, ein Bewegungstracking zur Verfolgung der momentanen Lage der Darstellungsbereiche 120', 120" durchzuführen. Zur Vereinfachung dieses Trackings wird vorteilhafterweise vorbekannte Information zur Form bzw. der perspektivischen Projektion der Blende 30 (z.B. der Augenpupille) verwendet.If the aperture 30 through a part of the surgical microscope 10 is formed (such as one upstream magnifier 13 or a tube), then the location and shape of the display areas 120 ' . 120 ' and, accordingly, the location and shape of the transition areas 122 ' . 122 ' in each of the drawing files 110 ' . 110 ' constant and can be determined in advance. Is the aperture 30 however, outside, then may be location and shape of the presentation areas 120 ' . 120 ' to change. Especially in the case of retinal surgery, the iris becomes 30 formed by the pupil of the patient's eye and "moves through the image", ie changes during surgery usually their shape and location in the sub-images 110 ' . 110 ' , In this case, it is convenient to use motion tracking to track the current location of the viewport 120 ' . 120 ' perform. To simplify this tracking is advantageously known information on the shape or the perspective projection of the aperture 30 (eg the eye pupil) used.

Sind in beiden Teilbildern 110', 110" die Darstellungsbereiche 120', 120" identifiziert, dann wird nun im Verfahrensschritt 210 in jedem Teilbild 110', 110" innerhalb des Darstellungsbereichs 120', 120" ein Überlappungsbereich 125', 125" ermittelt, der in beiden Kameras 50', 50" sichtbar ist und somit in beiden Teilbildern 110', 110" enthalten ist. Es wird also ein Ausschnitt mit gleichem Inhalt identifiziert, der in beiden Teilbildern 110', 110" sichtbar ist und somit einer stereoskopischen Konsistenz folgt. Dies erfolgt zweckmäßigerweise mit Hilfe der Bilderkennung, bei der in den Darstellungsbereichen 120', 120" der beiden Teilbilder 110', 110" nach übereinstimmenden bzw. ähnlichen Merkmalen gesucht und die zugehörigen Bildbereiche als Überlappungsbereiche definiert werden. Hierbei ist zu bemerken, dass eine Übereinstimmung in den Überlappungsbereichen 125', 125" nur bei flachen Objekten 20 erreicht werden kann; im Regelfall ähneln sich zwar die im Überlappungsbereich 125', 125" der beiden Teilbilder 110', 110" dargestellten Objektmerkmale, stimmen aber nicht genau überein.Are in both fields 110 ' . 110 ' the presentation areas 120 ' . 120 ' identified, then is now in the process step 210 in every drawing 110 ' . 110 ' within the viewport 120 ' . 120 ' an overlap area 125 ' . 125 ' determined in both cameras 50 ' . 50 " is visible and thus in both partial images 110 ' . 110 ' is included. So a section is identified with the same content, in both fields 110 ' . 110 ' is visible and thus follows a stereoscopic consistency. This is expediently carried out with the aid of image recognition, in the case of display areas 120 ' . 120 ' of the two partial images 110 ' . 110 ' searched for matching or similar features and the associated image areas are defined as overlapping areas. It should be noted that there is a match in the overlap areas 125 ' . 125 ' only for flat objects 20 can be achieved; As a rule, although similar in the overlap area 125 ' . 125 ' of the two partial images 110 ' . 110 ' displayed object features, but do not match exactly.

Die Ermittlung der Überlappungsbereiche 125', 125" in den Teilbildern 110', 110" mit Hilfe der Bilderkennung kann auch direkt - also ohne vorherige Extraktion der Darstellungsbereiche 120', 120" - erfolgen; in diesem Fall entfällt der Verfahrensschritt 205.The determination of the overlapping areas 125 ' . 125 ' in the partial pictures 110 ' . 110 ' With the help of image recognition can also directly - ie without prior extraction of the display areas 120 ' . 120 ' - respectively; in this case, the process step is omitted 205 ,

In einem nächsten Verfahrensschritt 215 werden Ränder 126', 126" der auf diese Weise ermittelten Überlappungsbereiche 125', 125" konstruiert. Im einfachsten Fall werden die Randkonturen der Überlappungsbereiche 125', 125" extrahiert und ggf. zu einer gekrümmten Linie geglättet und als „virtuelles Schlüsselloch“ definiert; Teile von Rändern 126', 126", die auf diese Weise ermittelt wurden, sind in 4a und 4b gestrichelt gekennzeichnet. Alternativ können die Ränder126', 126" beispielsweise durch einen Fit einer vorgegebenen Form (beispielsweise ein Kreisbogen oder eine Ellipse) an die Berandung der Überlappungsbereiche 125', 125" konstruiert werden. Anschließend wird relativ zur Tiefe der zu betrachtenden Szene eine geeignete, relative Tiefenposition für das „virtuelle Schlüsselloch“ bestimmt und daraus zwei stereoskopisch konsistente Teilansichten für das linke und rechte Auge inklusive der dazu passenden, überkreuzenden Teilverdeckungen (siehe 1) abgeleitet.In a next process step 215 become edges 126 ' . 126 ' the overlapping areas determined in this way 125 ' . 125 ' constructed. In the simplest case, the edge contours of the overlapping areas 125 ' . 125 ' extracted and, if necessary, smoothed into a curved line and defined as a "virtual keyhole"; Parts of edges 126 ' . 126 ' that were detected in this way are in 4a and 4b dotted marked. Alternatively, the edges 126 ', 126 "may be attached, for example, by a fit of a given shape (for example, a circular arc or an ellipse) to the boundary of the overlapping regions 125 ' . 125 ' be constructed. Then, relative to the depth of the scene to be considered, a suitable relative depth position for the "virtual keyhole" is determined and therefrom two stereoscopically consistent partial views for the left and right eyes, including the matching cross-over partial occlusions (see 1 ) derived.

Ist die Lage und die Form der Überlappungsbereiche 125', 125" in den beiden Teilbildern 110', 110" bestimmt, dann kann nun optional in einem Verfahrensschritt 220 eine Vergenzverschiebung des Stereobildes 100 erfolgen. Auf diese Weise kann die Tiefenwirkung des Stereobildes 100 verschoben werden. Die Vergenzverschiebung wird vorzugsweise in einer solchen Weise durchgeführt, dass der im Stereobild 100 dargestellte Objektbereich 20 in einen stereoskopisch komfortablen Bereich hinter die Bildschirmebene geschoben wird. Hierzu wird auf die Erläuterungen in den oben erwähnten Veröffentlichungen „AMERICAN NATIONAL STANDARD ANSI/SCTE 187-3 2012, Informative Guidance for Stereoscopic Video“ und „3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009“ verwiesen.Is the location and shape of the overlapping areas 125 ' . 125 ' in the two partial pictures 110 ' . 110 ' determined, then can now be optional in one process step 220 a Vergence shift of the stereo image 100 respectively. In this way, the depth effect of the stereo image 100 be moved. The Vergenceverschiebung is preferably carried out in such a manner that in the stereo image 100 shown object area 20 is pushed into a stereoscopically comfortable area behind the screen level. Reference is made to the explanations given in the above-mentioned publications "AMERICAN NATIONAL STANDARD ANSI / SCTE 187 - 3 2012 , "Informative Guidance for Stereoscopic Video" and "3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009".

Während im Ablaufdiagramm der 8 die (fakultative) Vergenzverschiebung 220 nach den Prozessschritten 210, 215 der Konstruktion der Überlappungsbereiche stattfindet, kann eine Vergenzverschiebung optional auch erst später, insbesondere erst nach einer Konstruktion bzw. einer Tiefenverschiebung der Maske (Prozessschritte 230 bzw. 240, siehe 8) durchgeführt werden.While in the flow chart of 8th the (optional) Vergence shift 220 after the process steps 210 . 215 the construction of the overlap areas takes place, a Vergenzverschiebung can optionally also later, especially after a construction or a depth shift of the mask (process steps 230 respectively. 240 , please refer 8th ) be performed.

Nach der Konstruktion der Ränder (Verfahrensschritt 215) bzw. nach der Vergenzverschiebung (Verfahrensschritt 220) werden in einem Verfahrensschritt 230 in den Teilbildern 110', 110" Maskenbereiche konstruiert, in denen anschließend (Verfahrensschritt 250) - zur Erreichung der partiellen Maskierung der Teilbilder 110', 110" - die ursprüngliche Bildinformation manipuliert wird. Durch die Konstruktion von Maskenbereichen entsteht in jedem der Teilbilder 110', 110" eine Maske 140', 140", die - entsprechend einem virtuellen „Schlüsselloch“ - ein Fenster bildet, durch das hindurch das diesem Teilbild 110', 110" zugeordnete linke/rechte Auge des Betrachters den Objektbereich 20 betrachtet.After the construction of the edges (process step 215 ) or after the Vergence shift (method step 220 ) are in one process step 230 in the partial pictures 110 ' . 110 ' Mask areas designed in which subsequently (step 250 ) - to achieve the partial masking of the partial images 110 ' . 110 ' - The original image information is manipulated. The construction of mask areas results in each of the sub-images 110 ' . 110 ' a mask 140 ' . 140 ' which, corresponding to a virtual "keyhole", forms a window through which this partial image passes 110 ' . 110 ' associated left / right eye of the observer the object area 20 considered.

In Verfahrensschritt 230 wird hierzu, wie in 5a und 5b erkennbar, zunächst in jedem Teilbild 110', 110" ein linker Maskenbereich 141', 141" und ein rechter Maskenbereich 142', 142" konstruiert. Der linke Maskenbereich 141', 141" erstreckt sich von einem linken Rand 111', 111" des jeweiligen Teilbilds 110', 110" bis hin zu dem ihm gegenüberliegenden Teil des Randes 126', 126" des Überlappungsbereichs 125', 125", und der rechte Maskenbereich 142', 142" erstreckt sich von einem rechten Rand 112', 112" des Teilbilds 110', 110" bis hin zu dem ihm gegenüberliegenden Teil des Randes 126', 126" des Überlappungsbereichs 125', 125" (siehe 5a und 5b, in denen die äußeren Ränder der Maskenbereiche 127', 127", 128', 128" als strichpunktierte Linien dargestellt sind). Die Maskenbereiche 141', 142' im linken Teilbild 110' bilden gemeinsam die Maske 140' des linken Teilbilds 110', während die Maskenbereiche 141", 142" im rechten Teilbild 110" gemeinsam die Maske 140" des rechten Teilbilds 110" bilden.In process step 230 will do this, as in 5a and 5b recognizable, first in each field 110 ' . 110 ' a left mask area 141 ' . 141 ' and a right mask area 142 ' . 142 ' constructed. The left mask area 141 ' . 141 ' extends from a left edge 111 ' . 111 ' of the respective partial image 110 ' . 110 ' right up to him opposite part of the edge 126 ' . 126 ' of the overlap area 125 ' . 125 ' , and the right mask area 142 ' . 142 ' extends from a right edge 112 ' . 112 ' of the drawing file 110 ' . 110 ' to the opposite part of the edge 126 ' . 126 ' of the overlap area 125 ' . 125 ' (please refer 5a and 5b in which the outer edges of the mask areas 127 ' . 127 ' . 128 ' . 128 ' are shown as dash-dotted lines). The mask areas 141 ' . 142 ' in the left part of the picture 110 ' together form the mask 140 ' of the left part of the picture 110 ' while the mask areas 141 ' . 142 ' in the right part of the picture 110 ' together the mask 140 ' of the right part of the picture 110 ' form.

Zur Erläuterung der Konstruktion der Maskenbereiche 141', 141", 142', 142" soll hier zunächst ein Sonderfall beschrieben werden, bei dem die Überlappungsbereiche 125', 125" die oberen und unteren Ränder 113', 113", 114', 114" des jeweiligen Teilbildes 110', 110" schneiden (siehe 7a und 7b). In diesem Fall zerfällt der Rand des Überlappungsbereichs 125', 125" in ein linkes Randstück 127', 127" und einen rechtes Randstück 128', 128". Die entsprechenden linken und rechten Maskenbereiche 141', 141", 142', 142" sind in 7a und 7b durch strichpunktierte Linien umrahmt dargestellt.To explain the construction of the mask areas 141 ' . 141 ' . 142 ' . 142 ' Let us first describe a special case in which the overlapping areas 125 ' . 125 ' the upper and lower edges 113 ' . 113 ' . 114 ' . 114 ' of the respective sub-picture 110 ' . 110 ' cut (see 7a and 7b ). In this case, the edge of the overlapping area decays 125 ' . 125 ' in a left margin piece 127 ' . 127 ' and a right edge piece 128 ' . 128 ' , The corresponding left and right mask areas 141 ' . 141 ' . 142 ' . 142 ' are in 7a and 7b framed by dash-dot lines.

Sind - wie in 7a und 7b gezeigt - die linken und die rechten Maskenbereiche 141', 141", 142', 142" definiert, so können nun in einem optionalen Verfahrensschritt 240 die Maskenbereiche 141', 141", 142', 142" relativ zueinander in horizontaler Richtung verschoben werden. Auf diese Weise kann die Tiefenebene, in der der Betrachter der Maske 140', 140" wahrnimmt, aktiv beeinflusst werden. Zur Erläuterung einer solchen Tiefenverschiebung der Maske 140', 140" wird auf die oben genannten Veröffentlichungen „AMERICAN NATIONAL STANDARD ANSI/SCTE 187-3 2012, Informative Guidance for Stereoscopic Video“ und „3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009“ verwiesen. Vorzugsweise werden die Maskenbereiche 141', 141", 142', 142" in einer solchen Weise verschoben, dass die Maske 140', 140" für den Betrachter bei Disparität = 0, also auf der Bildschirmebene, erscheint. Alternativ ist es möglich, die Tiefenebene der Maske 140', 140" auf ausgewählte Teile des Objektbereichs 20 (siehe 2) zu legen. So kann man z.B. die Tiefenebene der Maske 140', 140" auf einen Teil eines in das Stereobild hineinragenden Operationsinstruments legen. Die Tiefenebene der Maske 140', 140" sollte stets in einer solchen Weise gewählt werden, dass sie für den Betrachter räumlich vor dem zu betrachtenden Objektbereich 20 dargestellt wird, dass also keine Bestandteile des Objektbereichs 20 durch die Maske 140', 140" hindurchragen.Are - as in 7a and 7b shown - the left and right mask areas 141 ' . 141 ' . 142 ' . 142 ' defined, so can now in an optional process step 240 the mask areas 141 ' . 141 ' . 142 ' . 142 ' be shifted relative to each other in the horizontal direction. In this way, the depth plane in which the viewer of the mask 140 ' . 140 ' perceives, be actively influenced. To explain such a depth shift of the mask 140 ' . 140 ' will be referred to the above publications "AMERICAN NATIONAL STANDARD ANSI / SCTE 187 - 3 2012 , "Informative Guidance for Stereoscopic Video" and "3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009". Preferably, the mask areas become 141 ' . 141 ' . 142 ' . 142 ' moved in such a way that the mask 140 ' . 140 ' for the viewer at disparity = 0, that is, at the screen level. Alternatively, it is possible to view the depth plane of the mask 140 ' . 140 ' to selected parts of the object area 20 (please refer 2 ). So you can eg the depth of the mask 140 ' . 140 ' on a part of an operating instrument projecting into the stereo image. The depth plane of the mask 140 ' . 140 ' should always be chosen in such a way that they are spatially in front of the object area to be considered by the viewer 20 is shown that so no components of the object area 20 through the mask 140 ' . 140 ' protrude.

Falls die Überlappungsbereiche 125', 125" die oberen und unteren Ränder 113', 113, 114', 114" der Teilbilder 110', 110" nicht schneiden (siehe 5a und 5b), so muss im Verfahrensschritt 230 (Konstruktion der Maskenbereiche) zunächst der Rand 126', 126" des Überlappungsbereichs 125', 125" künstlich in ein linkes und ein rechtes Randstück 127', 127", 128', 128" aufgeteilt werden. Hierzu wird vorzugsweise eine Symmetrieachse 129', 129" des Überlappungsbereichs 125', 125" ermittelt, deren Schnittpunkte mit dem Rand 126', 126" des Überlappungsbereichs 125', 125" den Rand 126', 126" in das linke Randstück 127', 127" und das rechte Randstück 128', 128" aufteilen und deren weiterer Verlauf als Rand zur Konstruktion des linken und rechten Maskenbereichs 141', 141", 142', 142" verwendet wird. Bei einer anschließenden gezielten Verschiebung eines oder mehrerer Maskenbereiche 141', 141", 142', 142" zur Änderungen der Tiefenebene der Maske (Verfahrensschritt 240) ergibt sich nun im linken und rechten Teilbild 110', 110" eine partielle Überschneidung des linken und des rechten Maskenbereichs 141', 141", 142', 142". Bei dieser Überschneidung der linken und der rechten Maskenbereiche 141', 141", 142', 142" sollten beide Bereiche mit der gleichen Disparität dargestellt werden.If the overlapping areas 125 ' . 125 ' the upper and lower edges 113 ' . 113 . 114 ' . 114 ' of the drawing files 110 ' . 110 ' do not cut (see 5a and 5b ), so must in the process step 230 (Construction of the mask areas) first the edge 126 ' . 126 ' of the overlap area 125 ' . 125 ' artificially in a left and a right margin piece 127 ' . 127 ' . 128 ' . 128 ' be split. For this purpose, preferably an axis of symmetry 129 ' . 129 ' of the overlap area 125 ' . 125 ' determines whose intersections with the edge 126 ' . 126 ' of the overlap area 125 ' . 125 ' the edge 126 ' . 126 ' in the left margin piece 127 ' . 127 ' and the right edge piece 128 ' . 128 ' and their further course as an edge to the construction of the left and right mask area 141 ' . 141 ' . 142 ' . 142 ' is used. In a subsequent targeted shift of one or more mask areas 141 ' . 141 ' . 142 ' . 142 ' for changes to the depth plane of the mask (procedural step 240 ) now results in the left and right part of the picture 110 ' . 110 ' a partial overlap of the left and right mask areas 141 ' . 141 ' . 142 ' . 142 ' , At this intersection of the left and right mask areas 141 ' . 141 ' . 142 ' . 142 ' Both areas should be represented with the same disparity.

In einem nun folgenden fakultativen Verfahrensschritt 240 kann eine Tiefenpositionierung der Maske 140', 140" erfolgen. Die Maske 140', 140" (und somit die Kontur des virtuellen „Schlüssellochs“) wird in einer solchen Weise gewählt, dass in Abhängigkeit von der Tiefenpositionierung der Maske 140', 140" perspektivisch korrekte, überkreuzende Teilverdeckungen (siehe 1) dargestellt werden. Zu diesem Zweck wird die in Schritt 230 konstruierte initiale Maske 140', 140" des virtuellen Schlüssellochs entweder auf die Bildschirmebene oder davor oder dahinter positioniert.In a subsequent optional process step 240 can be a depth positioning of the mask 140 ' . 140 ' respectively. The mask 140 ' . 140 ' (and thus the contour of the virtual "keyhole") is chosen in such a way that, depending on the depth positioning of the mask 140 ' . 140 ' perspectively correct, crossing partial coverings (see 1 ) being represented. For this purpose, the in step 230 constructed initial mask 140 ' . 140 ' of the virtual keyhole either at the screen level or in front or behind it.

Hierfür wird, ausgehend von einer angenommenen Betrachterposition, der Strahlengang durch das virtuelle Schlüsselloch verfolgt, und die Maske 140', 140" des virtuellen Schlüssellochs unter Verwendung der berechneten Tiefe in der realen Szene auf die hinter dem virtuellen Schlüsselloch liegende Szene projiziert. Auf diese Weise werden die zu der Tiefenposition des virtuellen Schlüssellochs passenden, überkreuzenden Teilverdeckungen berücksichtigt. Das führt dazu, dass Bildinhalte der hinter dem virtuellen Schlüsselloch liegenden Szene entsprechen der Teilverdeckungen ausgeblendet werden. Der dadurch entstehende zusätzliche Verlust von Bildinformation kann durch ein Feathering der Maske (d.h. graduelles Einblenden an den Rändern bzw. Weichzeichnung der Ränder der Maske) minimiert werden.For this purpose, starting from an assumed viewer position, the beam path through the virtual keyhole is followed, and the mask 140 ' . 140 ' of the virtual keyhole is projected onto the scene behind the virtual keyhole using the calculated depth in the real scene. In this way, the matching to the depth position of the virtual keyhole, cross-part coverage is taken into account. As a result, image content of the scene behind the virtual keyhole is hidden from the partial occlusion. The resulting additional loss of image information can be minimized by feathering the mask (ie, gradually masking at the edges or softening the edges of the mask).

Für die Tiefenpositionierung kann man zwei Fälle unterscheiden:For depth positioning one can distinguish two cases:

Im ersten Fall liegt der für den Betrachter interessante Teil der „Schlüsselloch“-Szene vollständig hinter der Bildschirmebene. Die Maske des virtuellen Schlüssellochs kann vorzugsweise auf die Bildschirmebene oder sogar dahinter gelegt werden, allerdings immer vor die „Schlüsselloch“-Szene. Die Maske hat in diesem Fall eine Disparität >= 0, d.h. sie liegt auf der Bildschirmebene (Null) oder dahinter. Ihre Tiefenposition ist von der Szene entkoppelt und wird bei einer Tiefenverschiebung der Szene nicht mit verschoben. In the first case, the viewer of the interesting part of the "keyhole" scene is completely behind the screen level. The mask of the virtual keyhole may preferably be placed on the screen plane or even behind it, but always in front of the "keyhole" scene. In this case, the mask has a disparity> = 0, ie it lies on the screen level (zero) or behind it. Its depth position is decoupled from the scene and is not moved with a depth shift of the scene.

Im zweiten Fall enthält der für den Betrachter interessante Teil der „Schlüsselloch“-Szene Elemente, die auch aus dem Bildschirm herausragen. Die Schlüssellochmaske wird in diesem Fall vor den Bildschirm gelegt. Die Maske hat dann eine Disparität < 0. Dies ist genau dann sinnvoll, wenn es szenenabhängige Situationen gibt, die ein Anpassen der Maske an einen bestimmten Fixpunkt erfordern. Man legt die Maske dann in der Regel an den vordersten Punkt der „Schlüsselloch“-Szene. Die Maske ist dadurch an die Tiefenstruktur der Szene gekoppelt und wird bei einer Tiefenverschiebung der Szene mit verschoben.In the second case, the viewer of the interesting part of the "keyhole" scene contains elements that also protrude from the screen. The keyhole mask is placed in front of the screen in this case. The mask then has a disparity <0. This is useful if there are scene-dependent situations that require fitting the mask to a specific fixpoint. You usually place the mask at the very front of the "keyhole" scene. The mask is thereby coupled to the depth structure of the scene and is shifted in a depth shift of the scene.

Konkret kann diese Tiefenverschiebung in folgender Weise umgesetzt werden:Specifically, this depth shift can be implemented in the following way:

Für den Fall des in 1 skizzierten Strahlengangs muss die Maske 140', 140" in folgender Weise modifiziert werden, um die überkreuzenden Teilverdeckungen an die gewählte Tiefenposition des virtuellen Schlüssellochs anzupassen:

- Im linken Teilbild 110' muss der rechte Rand 126' des rechten Maskenbereichs 142' nach links verschoben werden, der rechte Maskenbereich 142' also nach links hin vergrößert werden;.
- Im rechten Teilbild 110" muss der linke Rand 126" des linken Maskenbereichs 141" nach rechts verschoben werden, der linke Maskenbereich 141" also nach rechts hin vergrößert werden.

In the case of in 1 Outlined beam path must be the mask 140 ' . 140 ' be modified in the following manner in order to adapt the crossing partial occlusions to the selected depth position of the virtual keyhole:

- In the left part of the picture 110 ' must be the right edge 126 ' of the right mask area 142 ' to the left, the right mask area 142 ' So be enlarged to the left.
- In the right part of the picture 110 ' must be the left edge 126 ' of the left mask area 141 ' to the right, the left mask area 141 ' so be enlarged to the right.

Für den Fall, dass der Strahlengang ein optisches Element enthält, das eine Seitenumkehr bewirkt (so dass die Teilverdeckungen sich - im Unterschied zu dem in 1 gezeigten Fall nicht überkreuzen), muss die Maske in folgender Weise modifiziert werden, um die überkreuzenden Teilverdeckungen an die gewählte Tiefenposition des virtuellen Schlüssellochs anzupassen:

- Im linken Teilbild 110' muss der linke Rand des rechten Maskenbereichs nach rechts verschoben werden, der rechte Maskenbereich also nach rechts hin vergrößert werden;.
- Im rechten Teilbild 110" muss der rechte Rand des linken Maskenbereichs nach links verschoben werden, der rechte Maskenbereich also nach rechts hin vergrößert werden.

In the event that the beam path contains an optical element that causes a page reversal (so that the partial occlusions - in contrast to the in 1 In the case shown, the mask must be modified in the following manner in order to adapt the crossing partial occlusions to the selected depth position of the virtual keyhole:

- In the left part of the picture 110 ' the left edge of the right mask area must be moved to the right, so the right mask area must be enlarged to the right.
- In the right part of the picture 110 ' the right edge of the left mask area must be moved to the left, so the right mask area must be enlarged to the right.

Die Teilverdeckungen durch die Masken 140', 140" müssen bei einer möglichen anschließenden Vergenzverschiebung 220 entsprechend berücksichtigt werden. Vertikale Beschneidungen des Randes können durch eine Extrapolation der Maske kompensiert werden.The partial coverings by the masks 140 ' . 140 ' must be at a possible subsequent Vergenzverschiebung 220 be considered accordingly. Vertical cropping of the edge can be compensated by extrapolating the mask.

In einem Verfahrensschritt 250, der unmittelbar auf die Konstruktion der Maskenbereiche (Verfahrensschritt 230) oder auf die Tiefenverschiebung (Verfahrensschritt 240) folgen kann, wird in den Maskenbereichen 141', 141", 142', 142" die Bildinformation aktiv verändert (manipuliert):In one process step 250 directly related to the construction of the mask areas (method step 230 ) or on the depth shift (method step 240 ) is in the mask areas 141 ' . 141 ' . 142 ' . 142 ' the image information actively changed (manipulated):

Bildbereiche, die sich am Rand 126', 126" des Überlappungsbereichs 125', 125" und außerhalb des Überlappungsbereichs 125', 125" befinden, sind für den Betrachter nicht von Interesse und können daher ganz oder teilweise ausgeblendet werden. Dies empfiehlt sich insbesondere dann, wenn diese Bereiche farbig sind und die Aufmerksamkeit des Betrachters auf sich lenken könnten. Die Ausblendung der außerhalb des Überlappungsbereichs 125', 125" gelegenen Bildteile geschieht beispielsweise, indem die Farb- und Helligkeitswert in den Maskenbereichen 141', 141", 142', 142" auf einen uniformen Wert gesetzt, beispielsweise schwarz oder grau eingefärbt werden. Eine Schwarzfärbung der Maskenbereiche 141', 141", 142', 142" ist in 6a und 6b dargestellt. Alternativ kann der Maskenbereich 141', 141", 142', 142" teiltransparent gestaltet werden, um diesen Bereich der Aufmerksamkeit des Betrachters zu entziehen.Image areas that are on the edge 126 ' . 126 ' of the overlap area 125 ' . 125 ' and outside the overlap area 125 ' . 125 ' are not of interest to the viewer and therefore can be completely or partially hidden. This is particularly recommended if these areas are colored and could attract the attention of the beholder. The suppression of the outside of the overlap area 125 ' . 125 ' For example, located image parts happen by changing the color and brightness values in the mask areas 141 ' . 141 ' . 142 ' . 142 ' set to a uniform value, for example, be colored black or gray. A blackening of the mask areas 141 ' . 141 ' . 142 ' . 142 ' is in 6a and 6b shown. Alternatively, the mask area 141 ' . 141 ' . 142 ' . 142 ' be made partially transparent in order to deprive this area of the viewer's attention.

Ganz allgemein wird im Zuge des Verfahrensschritts 250 in einem oder mehrerer der Maskenbereiche 141', 141", 142', 142" eine Bildverarbeitungsoperation durchgeführt, bei der der Maskenbereich beispielsweise verschwommen dargestellt, neu eingefärbt, in Graustufen umgewandelt etc. wird. Weiterhin können die Ränder 127', 127", 128', 128" der Maskenbereiche 141', 141", 142', 142" scharf oder graduell/diffus gestaltet werden. Insbesondere in Fällen, in denen die Berandung 122', 122" des Darstellungsbereichs 120', 120" nicht ganz scharf abgegrenzt ist (siehe 4a und 4b), kann der Rand 127', 127", 128', 128" der Maskenbereiche 141', 141", 142', 142" diffus gestaltet werden, oder die Maskenbereiche 141', 141", 142', 142" können etwas weiter in den Überlappungsbereich 125', 125" hineinragen, so dass sicherheitshalber größere Bereiche des Teilbilds 110', 110" von der Maske 140', 140" abgedeckt werden als unbedingt notwendig.More generally, in the course of the procedural step 250 in one or more of the mask areas 141 ' . 141 ' . 142 ' . 142 ' an image processing operation is performed in which the mask area, for example, is blurred, retouched, grayscale, etc. Furthermore, the edges can 127 ' . 127 ' . 128 ' . 128 ' the mask areas 141 ' . 141 ' . 142 ' . 142 ' sharp or gradual / diffuse. Especially in cases where the boundary 122 ' . 122 ' of the presentation area 120 ' . 120 ' is not quite sharply demarcated (see 4a and 4b ), the edge can 127 ' . 127 ' . 128 ' . 128 ' the mask areas 141 ' . 141 ' . 142 ' . 142 ' be diffused, or the mask areas 141 ' . 141 ' . 142 ' . 142 ' can go a bit further into the overlap area 125 ' . 125 ' protrude so that for safety's sake larger areas of the sub-image 110 ' . 110 ' from the mask 140 ' . 140 ' be covered as absolutely necessary.

Claims

Method for reworking an electronic stereo image (100) of an object area (20) generated in a stereomicroscope (10) by means of an image capture device (50), wherein in the beam path of the stereomicroscope (10) between the object area (20) and the image capture device (50) Aperture (30) is arranged and wherein the stereo image (100) - to be assigned to a right eye of a viewer right partial image (110 ") and - a left eye of the observer to be assigned left partial image (110 '), wherein in the right and in left partial image (110 ', 110 ") is determined in both partial images (110', 110"), defined by the diaphragm (30) overlap region (125 ', 125 ") is determined (step 210), and that the right partial image ( 110 ") and / or the left partial image (110 ') is provided with a partial masking in a region outside the overlapping region (125'125"), and wherein - in both partial images (110 ', 110 ") an edge (126'; , 126 ") of the Ü overlapping area (125 ', 125 ") is determined with one left edge piece (127', 127") and one right edge piece (128 ', 128 ") (step 215), - in the left frame (110') one between a right Right mask portion (142 ') and the right edge piece (128'), and in the right frame (110 ") a left mask portion (141st) between a left picture edge (111") and the left edge piece (127 ") ") is constructed (step 230), and - in both mask regions (141", 142 '), the image information of the respective sub-image (110', 110 ") is at least partially actively changed (step 250), characterized in that the mask regions ( 141 ', 141 ", 142', 142") are displaced in such a way that the mask (140, 140 ") produced thereby is adjusted with respect to its depth plane to a predefined object detail in such a way that it is spatially ahead of the viewer viewing object area (20) is displayed.

Method according to Claim 1 , characterized in that - in both partial images (110 ', 110 ") a right mask region (142', 142") located between the right image edge (112 ', 112 ") and the right edge fragment (128', 128") and constructing a left mask region (141 ', 141 ") between a left image edge (111', 111") and the right edge piece (127 ', 127 ") (step 230), and that in all mask regions (141', 141 ", 142 ', 142") the image information of the respective partial image (110', 110 ") is actively changed at least regionally (step 250).

Method according to one of Claims 1 or 2 , characterized in that for determining the position and / or size and / or shape of the overlapping region (125 ', 125 ") in the two partial images (110', 110"), information of the optics and geometry of the stereomicroscope (10) used for image generation be used.

Method according to one of Claims 1 to 3 , characterized in that the position, size and shape of the overlapping region (125 ', 125 ") in the two partial images (110', 110") are determined by image recognition means from the partial images (110 ', 110 ").

Method according to one of Claims 1 to 4 , characterized in that for determining the position and / or shape of the overlapping region (125 ', 125 ") in the two partial images (110', 110"), a motion tracking is performed.

Method according to one of Claims 1 to 5 , characterized in that before or after the construction of the mask areas (141 ', 141 ", 142', 142") (step 230), a Vergenzverschiebung of the stereo image (step 220) takes place.

Method according to one of Claims 1 to 6 , characterized in that the mask areas (141 ', 141 ", 142', 142") in the course of the change of the image information (step 250) are changed in their brightness.

Method according to Claim 7 , characterized in that the mask areas (141 ', 141 ", 142', 142") are colored black in the course of the change of the image information (step 250).