DE102016125075B3 - Method for reducing perceptual conflicts in stereomicroscopic image data - Google Patents
Method for reducing perceptual conflicts in stereomicroscopic image data Download PDFInfo
- Publication number
- DE102016125075B3 DE102016125075B3 DE102016125075.9A DE102016125075A DE102016125075B3 DE 102016125075 B3 DE102016125075 B3 DE 102016125075B3 DE 102016125075 A DE102016125075 A DE 102016125075A DE 102016125075 B3 DE102016125075 B3 DE 102016125075B3
- Authority
- DE
- Germany
- Prior art keywords
- image
- partial
- mask
- area
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Nachbearbeitung eines mittels einer Bilderfassungseinrichtung (50) erzeugten, elektronischen Stereobilds (100) eines Objektbereiches (20), insbesondere eines Stereobilds (100) aus einem Operationsmikroskop, wobei im Strahlengang des Stereomikroskops (10) zwischen dem Objektbereich (20) und der Bilderfassungseinrichtung (50) eine Blende (30) angeordnet ist. Das Stereobild (100) umfasst ein einem rechten Auge eines Betrachters zuzuordnendes rechtes Teilbild (110") sowie ein einem linken Auge des Betrachters zuzuordnendes linkes Teilbild (110'). Dabei wird im rechten und im linken Teilbild (110', 110") ein in beiden Teilbildern (110', 110") dargestellter, durch die Blende (30) definierter Überlappungsbereich (125', 125") bestimmt (Schritt 210). Nachfolgend wird das rechte Teilbild (110") und/oder das linke Teilbild (110') mit einer partiellen Maskierung in einem Bereich außerhalb des Überlappungsbereiches (125', 125") versehen, d.h. die ursprüngliche Bildinformation wird bereichsweise manipuliert, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt. Durch eine geeignete Wahl der partiellen Maskierung können störende Wahrnehmungskonflikte im Stereobild (100), insbesondere sogenannte binokulare Rivalitäten und Rahmenverletzungen, reduziert werden.The invention relates to a method for postprocessing an electronic stereo image (100) of an object area (20), in particular a stereo image (100), generated by an image acquisition device (50) from a surgical microscope, wherein in the beam path of the stereomicroscope (10) between the object area (20 ) and the image capture device (50) a diaphragm (30) is arranged. The stereo image (100) comprises a right partial image (110 ") to be assigned to a right eye of an observer and a left partial image (110 ') to be assigned to a left eye of the observer, in which case the right and left partial images (110', 110") are inserted in both partial images (110 ', 110 "), defined by the diaphragm (30) overlap region (125', 125") determined (step 210). Subsequently, the right field (110 ") and / or the left field (110 ') is provided with a partial masking in an area outside the overlap area (125', 125"), i. the original image information is manipulated in regions, for example, replaced by image information of the other partial image and / or changed in terms of their brightness and / or replaced by a predefined, uniform color. By a suitable choice of the partial masking, disturbing conflicts of perception in the stereo image (100), in particular so-called binocular rivalries and frame violations, can be reduced.
Description
Die Erfindung betrifft ein Verfahren zur Nachbearbeitung von elektronisch erzeugten Stereobildern, insbesondere von Stereobildern aus einem Operationsmikroskop.The invention relates to a method for post-processing of electronically generated stereo images, in particular of stereo images from a surgical microscope.
Operationsmikroskope werden in unterschiedlichen medizinischen Disziplinen wie z.B. der Neurochirurgie, der minimalinvasiven Chirurgie oder auch der Ophthalmologie eingesetzt. Sie dienen insbesondere dazu, einem operierenden Arzt das stereoskopische Betrachten eines Objektbereichs mit Vergrößerung zu ermöglichen. Ein solches Operationsmikroskop ist beispielsweise aus der deutschen Offenlegungsschrift
Ein stereoskopisches Operationsmikroskop umfasst einen ersten (linken) Strahlengang und einen zweiten (rechten) Strahlengang für das stereoskopische Visualisieren eines linken und rechten Teilbildes des Objektbereichs für einen Betrachter. Moderne Operationsmikroskope enthalten eine Stereokamera, mit der das aus den beiden Teilbildern erzeugte Stereobild des Objektbereichs erfasst werden kann, sowie eine mit der Stereokamera verbundene Anzeigeeinrichtung mit einem Display, mit der das von der Stereokamera erfasste Stereobild des Objektbereichs visualisiert werden kann. Weiterhin umfasst das Operationsmikroskop eine Rechnereinheit, mit der die Bilddaten der Stereokamera für die Visualisierung oder eine weiterergehende Analyse aufbereitet werden. Dabei kommen verbreitet Bildverarbeitungsalgorithmen zur intra- oder postoperativen Auswertung der von der Stereokamera erzeugten Bilder zum Einsatz. Das Visualisieren digital erfasster und anschließend in der Rechnereinheit weiterbearbeiteter Daten erleichtert für einen Betrachter (z.B. den operierenden Arzt) die Orientierung in einem Operationsbereich und kann die Handhabbarkeit eines Operationsmikroskops wesentlich verbessern.A stereoscopic surgical microscope comprises a first (left) beam path and a second (right) beam path for the stereoscopic visualization of a left and right partial image of the object area for a viewer. Modern surgical microscopes contain a stereo camera with which the stereo image of the object region generated from the two partial images can be detected, as well as a display device connected to the stereo camera with a display, with which the stereoscopic image of the object region detected by the stereo camera can be visualized. Furthermore, the surgical microscope comprises a computer unit, with which the image data of the stereo camera for the visualization or a further analysis are processed. In this case, image processing algorithms are widely used for the intraoperative or postoperative evaluation of the images produced by the stereo camera. The visualization of digitally acquired and subsequently processed data in the computer unit facilitates orientation in an operating area for a viewer (e.g., the operating physician) and can greatly enhance the handling of a surgical microscope.
Es ist bekannt, dass bei der Betrachtung stereomikroskopischer Bilder beim Betrachter sogenannte Wahrnehmungskonflikte entstehen, die zu einer starken Beeinträchtigung des Seherlebnisses und einer vorschnellen Ermüdung des Betrachters führen können. Solche Wahrnehmungskonflikte treten dann auf, wenn die (dem linken und dem rechten Auge des Betrachters zugeordneten) Teilbilder des Stereobilds Merkmale enthalten, die im Sehempfinden des Betrachters als inkonsistent wahrgenommen werden. In der Stereomikroskopie kommt verbreitet ein Wahrnehmungskonflikt vor, bei der eines der stereoskopischen Teilbilder in einem Randbereich Objektmerkmale enthält, die in dem anderen Teilbild nicht zu sehen sind. Ein Beispiel hierfür ist schematisch in
Dort besteht die Herausforderung, Wahrnehmungskonflikte beim Betrachter eines 3D-Kinofilms zu vermeiden. Ein Vorschlag zur Lösung solcher Probleme in der 3D-Kinotechnik ist beispielsweise in der Veröffentlichung
Im Folgenden werden beide Problematiken unter den Begriffen „binokulare Rivalität“ und „Rahmenverletzung“ subsumiert.In the following, both problems are subsumed under the terms "binocular rivalry" and "frame violation".
Zusätzlich zur vorgenannten Technik der Einblendung eines schwarzen Rahmens wird in der Kinotechnik optional eine sogenannte „horizontal image translation (HIT)“ (deutsch: horizontale Bildverschiebung) eingesetzt. Hier werden die linken und rechten stereoskopischen Teilbilder relativ zueinander in horizontaler Richtung digital verschoben, um die Disparitäten der Bildpunkte und somit die dargestellte Vergenz für die Bildbetrachtung nachträglich zu verschieben. Durch diese Methode kann insbesondere eine Verletzung der stereoskopischen Komfortzone bei der Bildbetrachtung behoben werden. Details dazu sind den Veröffentlichungen „AMERICAN NATIONAL STANDARD ANSI/SCTE 187-3 2012, Informative Guidance for Stereoscopic Video“ und „3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009“ zu entnehmen, deren gesamter Inhalt hiermit in die vorliegende Patentanmeldung übernommen wird.In addition to the above-mentioned technique of the insertion of a black frame, a so-called "horizontal image translation (HIT)" (German: horizontal image shift) is optionally used in cinema technology. Here, the left and right stereoscopic partial images are shifted digitally relative to one another in the horizontal direction in order to subsequently shift the disparities of the pixels and thus the displayed vergence for the image viewing. In particular, a violation of the stereoscopic comfort zone when viewing the image. Details can be found in the publications "AMERICAN NATIONAL STANDARD ANSI / SCTE 187-3 2012, Informative Guidance for Stereoscopic Video" and "3d Movie Making - stereoscopic digital cinema from script to screen, Bernard Mendiburu 2009", the entire content of which is included in the this patent application is accepted.
Ähnlich wie in
Wegen des Stereoblicks durch das Schlüsselloch sind für die linke und die rechte Kameraperspektive unterschiedliche Bereiche des Objektbereichs hinter dem Schlüsselloch sichtbar. Man spricht hier von unterschiedlichen Teilverdeckungen durch den linken und rechten Rand des Schlüssellochs. In digitalen stereoskopischen Visualisierungssystemen kann es passieren, dass diese Teilverdeckungen nicht mehr perspektivrichtig wiedergegeben werden, weil Aufnahme und Wiedergabe unterschiedlichen Strahlengängen folgen. Dadurch kann ein sehr unnatürlicher, ggf. auch sehr stark störender Bildeindruck entstehen, insbesondere wenn der Betrachter auf den Szeneninhalt hinter dem Schlüsselloch fokussiert. Dieser Wahrnehmungskonflikt soll nun korrigiert werden, insbesondere für den Fall, dass das Schlüsselloch eine beliebige Form besitzt.Due to the stereo view through the keyhole, different areas of the object area behind the keyhole are visible for the left and the right camera perspective. One speaks here of different partial occlusions by the left and right edge of the keyhole. In digital stereoscopic visualization systems, it can happen that these partial occlusions are no longer rendered in the correct perspective, because recording and playback follow different beam paths. This can result in a very unnatural, possibly even very disturbing image impression, especially when the viewer focuses on the scene content behind the keyhole. This perceptual conflict is now to be corrected, especially in the event that the keyhole has any shape.
Ein möglicher Ansatz zur Korrektur des oben dargestellten Wahrnehmungskonfliktes findet sich in der
Allerdings verbleiben auch in den mit den in den genannten Schriften beschriebenen Maßnahmen manipulierten Bildern noch Effekte, welche es beispielsweise einem Operateur erschweren, ermüdungsfrei zu arbeiten.However, even in the images manipulated with the measures described in the abovementioned documents, there are still effects which make it difficult, for example, for an operator to work fatigue-free.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zur Nachbearbeitung stereomikroskopisch erzeugter Bilder zur Verfügung zu stellen, mit welchem sich optische Störeffekte wie z.B. binokulare Rivalität und Rahmenverletzungen vermeiden, zumindest jedoch reduzieren lassen und wobei der Komfort des Benutzers weiter erhöht ist.The object of the present invention is therefore to provide a method for post-processing stereomicroscopically generated images, with which optical interference effects such as. avoid, but at least reduce, binocular rivalry and frame violations and further enhance the user's comfort.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs. Die Unteransprüche betreffen vorteilhafte Weiterbildungen und Varianten der Erfindung.This object is achieved by a method having the features of the independent claim. The subclaims relate to advantageous developments and variants of the invention.
Ein erfindungsgemäßes Verfahren geht aus von einem in einem Stereomikroskop mittels einer Bilderfassungseinrichtung erzeugten Stereobild eines Objektbereichs. Das Stereobild umfasst ein rechtes Teilbild, das einem rechten Auge eines Betrachters zugeordnet wird und ein linkes Teilbild, das einem linken Auge des Betrachters zugeordnet wird. Im Strahlengang des Stereomikroskops ist zwischen dem Objektbereich und der Bilderfassungseinrichtung eine Blende angeordnet. Dabei wird zunächst im rechten und im linken Teilbild ein durch die Blende definierter Überlappungsbereich bestimmt, der einem in beiden Teilbildern sichtbaren Teil des Objektbereiches entspricht. Dies kann beispielsweise mit Mitteln der Bilderkennung erfolgen, indem in beide Teilbilder nach Merkmalen durchsucht werden, die in beiden Teilbildern enthalten sind. Alternativ bzw. zusätzlich können Informationen bezüglich der Optik und Geometrie des Stereomikroskops, insbesondere zur Form und Lage der Blende, verwendet werden, um Lage und/oder Form des Überlappungsbereichs zu bestimmen. Zur Unterbindung bzw. Minimierung von Wahrnehmungskonflikten beim Betrachter werden das rechte Teilbild und/oder das linke Teilbild mit einer partiellen Maskierung in einem Bereich außerhalb des Überlappungsbereichs versehen. Unter einer „Maskierung“ eines Bildelements (Pixels) soll dabei ein Verfahrensschritt verstanden werden, bei dem Farb- bzw. Helligkeitswert dieses Bildelement aktiv verändert wird, indem dem Bildelement beispielsweise ein vordefinierter fester Farb- bzw. Helligkeitswert zugewiesen oder durch Anwendung einer Filteroperation verändert wird, oder indem das Bildelement durch ein Bildelement des anderen Teilbilds ersetzt wird. Der Begriff „partielle Maskierung eines Teilbilds“ bedeutet dann, dass das betreffende Teilbild zusammenhängende Bildbereiche aufweist, in denen die ursprüngliche Bildinformation der Bildelemente (Pixel) mittels einer Bildverarbeitungsoperation manipuliert wurde, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt ist. Durch eine geeignete Wahl der bereichsweisen Maskierung der Teilbilder können Wahrnehmungskonflikte beim Betrachter reduziert bzw. eliminiert werden.A method according to the invention is based on a stereo image of an object region generated in a stereomicroscope by means of an image capture device. The stereo image includes a right partial image assigned to a right eye of a viewer and a left partial image assigned to a left eye of the viewer. In the beam path of the stereomicroscope, a diaphragm is arranged between the object region and the image capture device. In this case, an overlap area defined by the diaphragm is initially determined in the right and in the left partial image, which corresponds to a part of the object region which is visible in both partial images. This can be done, for example, with means of image recognition by searching in both partial images for features that are contained in both partial images. Alternatively or additionally, information relating to the optics and geometry of the stereomicroscope, in particular to the shape and position of the diaphragm, can be used to determine the position and / or shape of the overlapping region. To prevent or minimize perceptual conflicts in the observer, the right-hand sub-image and / or the left-hand sub-image are provided with a partial masking in a region outside the overlapping region. A "masking" of a picture element (pixel) should be understood as a method step in which the color or brightness value of this picture element is actively changed, for example by assigning a predefined fixed color or brightness value to the picture element or by using a filter operation or by replacing the picture element with a picture element of the other part picture. The term "partial masking of a partial image" then means that the relevant partial image has coherent image areas in which the original image information of the picture elements (pixels) has been manipulated by means of an image processing operation, for example replaced by image information of the other partial image and / or in terms of its brightness changed and / or replaced by a predefined, uniform color. By a suitable choice of the areawise masking of the partial images Conflicts of perception in the viewer can be reduced or eliminated.
Erfindungsgemäß werden die Maskenbereiche in einer solchen Weise verschoben, dass die dadurch erzeugte Maske bezüglich ihrer Tiefenebene auf ein vordefiniertes Objektdetail derart angepasst wird, dass sie für den Betrachter räumlich vor dem zu betrachtenden Objektbereich dargestellt wird.According to the invention, the mask regions are displaced in such a way that the mask produced thereby is adjusted with respect to its depth plane to a predefined object detail in such a way that it is displayed spatially in front of the object region to be considered by the viewer.
In einer vorteilhaften Ausführungsform der Erfindung wird weiterhin wird ein Rand des Überlappungsbereichs identifiziert und in ein linkes und ein rechtes Randstück aufgeteilt. Anschließend wird im linken Teilbild ein zwischen einem rechten Bildrand und dem rechten Randstück befindlicher rechter Maskenbereich und im rechten Teilbild ein zwischen einem linken Bildrand und dem linken Randstück befindlicher linker Maskenbereich konstruiert. Danach wird in den auf diese Weise erzeugten Maskenbereichen die Bildinformation des jeweiligen Teilbilds zumindest bereichsweise aktiv verändert und somit eine partielle Maskierung des Teilbilds implementiert.In an advantageous embodiment of the invention, furthermore, an edge of the overlapping area is identified and divided into a left and a right edge piece. Subsequently, in the left partial image, a right mask region located between a right image edge and the right edge element is constructed and in the right partial image a left mask region located between a left image edge and the left edge element. Thereafter, in the mask regions generated in this way, the image information of the respective sub-image is actively changed at least in regions, and thus a partial masking of the sub-image is implemented.
Hierbei ist zu bemerken, dass in einigen Abbildungsoptiken von Stereomikroskopen eine Seitenumkehr zwischen „links“ und „rechts“ stattfindet, so dass Merkmale, die sich im Objektbereich links im Beobachtungsfeld befinden, in den beiden Teilbildern auf der rechten Bildhälfte abgebildet werden und umgekehrt. In diesem Fall wird anstelle der oben beschriebenen Konstruktion im linken Teilbild ein zwischen einem linken Bildrand und dem linken Randstück befindlicher linker Maskenbereich und im rechten Teilbild ein zwischen einem rechten Bildrand und dem rechten Randstück befindlicher rechter Maskenbereich konstruiert. Auch die im Folgenden zu beschreibende weitere Bildverarbeitung erfolgt in diesem Fall der Seitenumkehr durch die Abbildungsoptik seitenverkehrt zu dem hier beschriebenen Verfahren. Während also im Folgenden das erfindungsgemäße Verfahren exemplarisch für den Fall einer „nicht-seitenverkehrten“ Abbildungsoptik beschrieben wird, gilt das Gesagte sinngemäß auch für seitenverkehrte Abbildungsoptiken (und kann dort durch ein Ersetzen von „links“ und „rechts“ entsprechend auf den seitenverkehrten Fall angewendet werden).It should be noted that in some imaging optics of stereomicroscopes, a page reversal between "left" and "right" takes place, so that features that are located in the object area on the left in the observation field, in the two fields on the right half of the image and vice versa. In this case, instead of the construction described above, a left mask area located between a left picture edge and the left edge section is constructed in the left partial picture, and a right mask section located between a right picture edge and the right edge section is constructed in the right partial picture. The further image processing to be described below also takes place in this case, the page reversal by the imaging optics reversed to the method described here. Thus, while the method according to the invention is described below by way of example for the case of a "non-reversed" imaging optics, what has been said also applies mutatis mutandis to reversed imaging optics (and can there by replacing "left" and "right" applied accordingly to the reversed case become).
In einer Weiterentwicklung der Erfindung erfolgt die partielle Maskierung nicht nur in der rechten Bildhälfte des linken Teilbilds und der linken Bildhälfte des rechten Teilbilds, sondern in beiden Teilbildern sowohl links als auch rechts des Überlappungsbereichs. Hierzu wird in jedem Teilbild ein linker und ein rechter Maskenbereich konstruiert, wobei sich der linke Maskenbereich zwischen dem jeweiligen linken Bildrand und dem linken Randstück des Überlappungsbereichs des jeweiligen Teilbilds erstreckt, während der rechte Maskenbereich sich zwischen dem rechten Bildrand und dem rechten Randstück des jeweiligen Teilbilds erstreckt. Hier werden also in jedem Teilbild zwei seitliche Maskenbereiche konstruiert, in denen anschließend zur partiellen Maskierung dieses Teilbilds die Bildinformation zumindest bereichsweise aktiv verändert wird.In a further development of the invention, the partial masking takes place not only in the right half of the left field and the left half of the right field, but in both fields both left and right of the overlap area. For this purpose, a left and a right mask area is constructed in each partial image, wherein the left mask area extends between the respective left picture edge and the left edge part of the overlapping area of the respective partial picture, while the right mask area is between the right picture edge and the right edge piece of the respective partial picture extends. Here, therefore, two lateral mask areas are constructed in each partial image, in which the image information is then actively changed at least in regions for the partial masking of this partial image.
Im einfachsten Fall erfolgt die partielle Maskierung des Teilbilds, indem in allen Maskenbereichen der Farb- und Helligkeitswert der Bildelemente auf einen uniformen Wert gesetzt wird, die Maskenbereiche beispielsweise schwarz oder grau eingefärbt werden, um diese Bereiche für den Betrachter möglichst unauffällig und neutral darzustellen. Auf diese Weise werden Teilbildbereiche, die binokulare Rivalitäten oder Rahmenverletzungen verursachen, abgeschirmt und somit aus dem aktiven Sichtfeld des Betrachters entfernt. Alternativ kann der Maskenbereich auch in einer anderen, beispielsweise einer im Überlappungsbereich vorkommenden Farbe eingefärbt werden. Weiterhin können Teile der Maskenbereiche (oder die gesamten Maskenbereiche) teiltransparent gestaltet werden. Solche teiltransparenten Masken sind geeignet, die Aufmerksamkeit des Betrachters von Bildbereichen, die binokulare Rivalitäten oder irritierende Rahmenverletzungen erzeugen, wegzulenken; sie können somit zu einem angenehmeren Seherlebnis führen. Weiterhin kann es vorteilhaft sein, die Maskenbereiche im Umfeld der Randstücke (d.h. im Übergangsbereich zwischen Maskenbereich und Überlappungsbereich) graduell/diffus zu gestalten, um abrupte Helligkeitsvariationen in diesem - für den Betrachter eher unbedeutenden - Teil des Stereobilds zu vermeiden.In the simplest case, the partial masking of the partial image takes place in that the color and brightness value of the picture elements is set to a uniform value in all mask areas, the mask areas are colored black or gray, for example, in order to present these areas to the observer in the most inconspicuous and neutral manner possible. In this way, sub-image areas that cause binocular rivalries or frame violations are shielded and thus removed from the viewer's active field of view. Alternatively, the mask area can also be colored in another, for example, a color occurring in the overlapping area. Furthermore, parts of the mask areas (or the entire mask areas) can be made partially transparent. Such partially transparent masks are capable of diverting the viewer's attention from image areas that produce binocular rivalries or irritating frame violations; they can thus lead to a more pleasant viewing experience. Furthermore, it may be advantageous to make the mask areas in the vicinity of the edge pieces (i.e., in the transition region between mask area and overlap area) gradual / diffuse, in order to avoid abrupt brightness variations in this part of the stereo image, which is rather insignificant for the viewer.
Ein Stereomikroskop zur Anwendung des erfindungsgemäßen Verfahrens, insbesondere Operationsmikroskop, weist eine stereoskopische Optik mit einem ersten (linken) stereoskopischen Teilstrahlengang und einem zweiten (rechten) stereoskopischen Teilstrahlengang auf und ist dazu ausgelegt, Stereobilder eines im Sichtfeld der Optik befindlichen Objektbereichs mit einem ersten (linken) und einem zweiten (rechten) Teilbild zu erzeugen. Das Stereomikroskop umfasst eine elektronische Bilderfassungseinrichtung, mit der die Teilbilder des Objektbereichs digital erfasst werden können sowie eine mit der Bilderfassungseinrichtung verbundene Anzeigeeinrichtung mit einem Display, mit dem Stereobilder der Bilderfassungseinrichtung visualisiert werden können. Dieses Display kann insbesondere ein 3D-Monitor sein, der mit Polarisationsbrillen betrachtet wird. Auf dem Display wird die (evtl. aufbereitete) Bildinformation online dem Betrachter dargeboten.A stereomicroscope for the application of the method according to the invention, in particular surgical microscope, has a stereoscopic optic with a first (left) stereoscopic partial beam path and a second (right) stereoscopic partial beam path and is designed to form stereo images of an object region located in the visual field of the optics with a first (left ) and a second (right) field. The stereomicroscope comprises an electronic image capture device with which the partial images of the object region can be detected digitally and a display device connected to the image capture device with a display, with which stereo images of the image capture device can be visualized. In particular, this display can be a 3D monitor that is viewed with polarized glasses. On the display, the (possibly processed) image information is presented online to the viewer.
Ferner umfasst das Stereomikroskop eine im Strahlengang des Stereomikroskops zwischen dem Objektbereich und der Bilderfassungseinrichtung angeordnete Blende, durch die ein in beiden Teilbildern dargestellter Überlappungsbereich definiert ist.Furthermore, the stereomicroscope comprises a diaphragm arranged in the beam path of the stereomicroscope between the object region and the image detection device, by means of which an overlapping region shown in both partial images is defined.
Weiterhin umfasst das Stereomikroskop weiterhin eine Maskierungsvorrichtung, die dazu eingerichtet ist, eine partielle Maskierung des rechten und/oder des linken Teilbilds in einem Bereich außerhalb des Überlappungsbereichs zu erzeugen, wobei der Überlappungsbereich in beiden Teilbildern durch die in dem Strahlengang des Stereomikroskops angeordnete Blende definiert ist. Der Begriff „partielle Maskierung eines Teilbilds“ bedeutet dabei, dass das entsprechende Teilbild zusammenhängende Bildbereiche, sogenannte Maskenbereiche, enthält, in denen die ursprüngliche Bildinformation manipuliert, beispielsweise durch Bildinformation des anderen Teilbilds ersetzt und/oder in Bezug auf ihre Helligkeit verändert und/oder durch eine vordefinierte, uniforme Farbe ersetzt ist. Furthermore, the stereomicroscope further comprises a masking device which is adapted to generate a partial masking of the right and / or the left partial image in a region outside the overlapping region, wherein the overlapping region in both partial images is defined by the diaphragm arranged in the beam path of the stereomicroscope , The term "partial masking of a partial image" means that the corresponding partial image contains coherent image regions, so-called mask regions, in which the original image information is manipulated, for example, replaced by image information of the other partial image and / or changed and / or with respect to their brightness a predefined, uniform color is replaced.
Die Maskierungsvorrichtung ermöglicht es insbesondere, Bildbereiche in den Teilbildern zu identifizieren, die binokulare Rivalitäten oder Rahmenverletzungen enthalten und diese Bildbereiche online auszublenden, beispielsweise mit einer geeignet gewählten Blende zu verdecken, so dass der Betrachter sie nicht mehr wahrnimmt. Mittels der Maskierungsvorrichtung können Bildbereiche, die vom Betrachter als störend empfunden werden, entfernt oder verändert dargestellt werden, oder die Teilbilder können in einer solchen Weise modifiziert werden, dass störende Artefakte minimiert werden.In particular, the masking device makes it possible to identify image areas in the sub-images that contain binocular rivalries or frame violations and to hide these image regions online, for example, by obscuring them with a suitably selected aperture, so that the viewer no longer perceives them. By means of the masking device, image areas that are perceived as disturbing by the viewer can be displayed removed or changed, or the partial images can be modified in such a way that disturbing artifacts are minimized.
Die Maskierungsvorrichtung ist eine Rechnereinheit, mit der Bildverarbeitungsoperationen an den Teilbildern durchgeführt werden können, um die Bildinformationen dieser Teilbilder zu manipulieren. Die Maskierungsvorrichtung stellt dabei ein zwischen der Bilderfassungseinrichtung und der Anzeigeeinrichtung angeordnetes Zwischenglied dar und kann insbesondere in die Bilderfassungseinrichtung oder die Anzeigeeinrichtung integriert sein.The masking device is a computer unit with which image processing operations on the partial images can be performed in order to manipulate the image information of these partial images. In this case, the masking device represents an intermediate element arranged between the image capture device and the display device and can in particular be integrated into the image capture device or the display device.
Nachfolgend werden Ausführungsbeispiele und Varianten der Erfindung anhand der Zeichnung näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines erfindungsgemäßen Stereomikroskops; -
2a eine schematische Darstellung eines Strahlengangs bei einem stereoskopischen Blick durch eine Blende auf eine Objektoberfläche; -
2b ein von einem linken Auge wahrgenommenes Teilbild der Objektoberfläche der1a ; -
2c ein von einem rechten Auge wahrgenommenes Teilbild der Objektoberfläche der1a ; -
3 eine schematische Aufsicht auf einen Objektbereich unter Verwendung des Stereomikroskops der2 ; -
4a und4b schematische Darstellungen eines linken/rechten Teilbilds bei der stereoskopischen Aufsicht auf den Objektbereich gemäß3 ; -
5a und5b eine Illustration der Konstruktion von Maskenbereichen in den Teilbildern der4a und4b ; -
6a und6b ein Beispiel einer erfindungsgemäßen partiellen Maskierung der Teilbilder der4a und4b ; -
7a und7b eine Illustration der Konstruktion von Maskenbereichen bei Teilbildern, in denen ein Überlappungsbereich die Ränder der Teilbilder schneidet. -
8 eine schematische Darstellung eines Ablaufdiagramms eines erfindungsgemäßen Verfahrens.
-
1 a schematic representation of a stereomicroscope according to the invention; -
2a a schematic representation of a beam path in a stereoscopic view through an aperture on an object surface; -
2 B a partial image of the object surface perceived by a left eye1a ; -
2c a partial image of the object surface perceived by a right eye1a ; -
3 a schematic plan view of an object area using the stereomicroscope of2 ; -
4a and4b schematic representations of a left / right partial image in the stereoscopic view of the object area according to3 ; -
5a and5b an illustration of the construction of mask areas in the partial images of the4a and4b ; -
6a and6b an example of a partial masking of the partial images of the invention4a and4b ; -
7a and7b an illustration of the construction of mask areas in sub-images in which an overlap area intersects the edges of the sub-images. -
8th a schematic representation of a flow chart of a method according to the invention.
Die beiden Kameras
Die Blende
Aufgrund der Disparität unterscheiden sich die Darstellungsbereiche
In einem ersten Schritt
Wenn die Form der Blende
Alternativ kann die Lage und Form des Darstellungsbereichs
Wenn die Blende
Sind in beiden Teilbildern
Die Ermittlung der Überlappungsbereiche
In einem nächsten Verfahrensschritt
Ist die Lage und die Form der Überlappungsbereiche
Während im Ablaufdiagramm der
Nach der Konstruktion der Ränder (Verfahrensschritt
In Verfahrensschritt
Zur Erläuterung der Konstruktion der Maskenbereiche
Sind - wie in
Falls die Überlappungsbereiche
In einem nun folgenden fakultativen Verfahrensschritt
Hierfür wird, ausgehend von einer angenommenen Betrachterposition, der Strahlengang durch das virtuelle Schlüsselloch verfolgt, und die Maske
Für die Tiefenpositionierung kann man zwei Fälle unterscheiden:For depth positioning one can distinguish two cases:
Im ersten Fall liegt der für den Betrachter interessante Teil der „Schlüsselloch“-Szene vollständig hinter der Bildschirmebene. Die Maske des virtuellen Schlüssellochs kann vorzugsweise auf die Bildschirmebene oder sogar dahinter gelegt werden, allerdings immer vor die „Schlüsselloch“-Szene. Die Maske hat in diesem Fall eine Disparität >= 0, d.h. sie liegt auf der Bildschirmebene (Null) oder dahinter. Ihre Tiefenposition ist von der Szene entkoppelt und wird bei einer Tiefenverschiebung der Szene nicht mit verschoben. In the first case, the viewer of the interesting part of the "keyhole" scene is completely behind the screen level. The mask of the virtual keyhole may preferably be placed on the screen plane or even behind it, but always in front of the "keyhole" scene. In this case, the mask has a disparity> = 0, ie it lies on the screen level (zero) or behind it. Its depth position is decoupled from the scene and is not moved with a depth shift of the scene.
Im zweiten Fall enthält der für den Betrachter interessante Teil der „Schlüsselloch“-Szene Elemente, die auch aus dem Bildschirm herausragen. Die Schlüssellochmaske wird in diesem Fall vor den Bildschirm gelegt. Die Maske hat dann eine Disparität < 0. Dies ist genau dann sinnvoll, wenn es szenenabhängige Situationen gibt, die ein Anpassen der Maske an einen bestimmten Fixpunkt erfordern. Man legt die Maske dann in der Regel an den vordersten Punkt der „Schlüsselloch“-Szene. Die Maske ist dadurch an die Tiefenstruktur der Szene gekoppelt und wird bei einer Tiefenverschiebung der Szene mit verschoben.In the second case, the viewer of the interesting part of the "keyhole" scene contains elements that also protrude from the screen. The keyhole mask is placed in front of the screen in this case. The mask then has a disparity <0. This is useful if there are scene-dependent situations that require fitting the mask to a specific fixpoint. You usually place the mask at the very front of the "keyhole" scene. The mask is thereby coupled to the depth structure of the scene and is shifted in a depth shift of the scene.
Konkret kann diese Tiefenverschiebung in folgender Weise umgesetzt werden:Specifically, this depth shift can be implemented in the following way:
Für den Fall des in
- - Im linken Teilbild
110' muss der rechte Rand126' des rechten Maskenbereichs142' nach links verschoben werden, der rechte Maskenbereich142' also nach links hin vergrößert werden;. - -
Im rechten Teilbild 110" muss der linkeRand 126" des linkenMaskenbereichs 141" nach rechts verschoben werden, der linke Maskenbereich141" also nach rechts hin vergrößert werden.
- - In the left part of the picture
110 ' must be the right edge126 ' of the right mask area142 ' to the left, the right mask area142 ' So be enlarged to the left. - - In the right part of the picture
110 ' must be the left edge126 ' of the left mask area141 ' to the right, the left mask area141 ' so be enlarged to the right.
Für den Fall, dass der Strahlengang ein optisches Element enthält, das eine Seitenumkehr bewirkt (so dass die Teilverdeckungen sich - im Unterschied zu dem in
- - Im linken Teilbild
110' muss der linke Rand des rechten Maskenbereichs nach rechts verschoben werden, der rechte Maskenbereich also nach rechts hin vergrößert werden;. - -
Im rechten Teilbild 110" muss der rechte Rand des linken Maskenbereichs nach links verschoben werden, der rechte Maskenbereich also nach rechts hin vergrößert werden.
- - In the left part of the picture
110 ' the left edge of the right mask area must be moved to the right, so the right mask area must be enlarged to the right. - - In the right part of the picture
110 ' the right edge of the left mask area must be moved to the left, so the right mask area must be enlarged to the right.
Die Teilverdeckungen durch die Masken
In einem Verfahrensschritt
Bildbereiche, die sich am Rand
Ganz allgemein wird im Zuge des Verfahrensschritts
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016125075.9A DE102016125075B3 (en) | 2016-12-21 | 2016-12-21 | Method for reducing perceptual conflicts in stereomicroscopic image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016125075.9A DE102016125075B3 (en) | 2016-12-21 | 2016-12-21 | Method for reducing perceptual conflicts in stereomicroscopic image data |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016125075B3 true DE102016125075B3 (en) | 2018-05-03 |
Family
ID=61912823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016125075.9A Active DE102016125075B3 (en) | 2016-12-21 | 2016-12-21 | Method for reducing perceptual conflicts in stereomicroscopic image data |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016125075B3 (en) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19514549A1 (en) | 1995-04-20 | 1996-10-24 | Joern Dr Ing Leiber | Stereoscopic picture pair adjustment device |
EP1883242A1 (en) * | 2005-05-20 | 2008-01-30 | Toyota Jidosha Kabushiki Kaisha | Image processor for vehicles |
US7671888B2 (en) | 2003-08-08 | 2010-03-02 | Olympus Corporation | Stereoscopic-endoscope display control apparatus and stereoscopic endoscope system |
US20100091097A1 (en) | 2006-09-25 | 2010-04-15 | Lachlan Pockett | Supporting A 3D Presentation |
US20100097447A1 (en) | 2007-03-30 | 2010-04-22 | Pioneer Corporation | Image Display Device |
US20110193945A1 (en) | 2010-02-05 | 2011-08-11 | Sony Corporation | Image display device, image display viewing system and image display method |
US20130129194A1 (en) * | 2011-11-21 | 2013-05-23 | Robo-team Ltd. | Methods and systems of merging depth data from a plurality of disparity maps |
US20140029838A1 (en) | 2011-04-06 | 2014-01-30 | Sharp Kabushiki Kaisha | Image processing device, image processing method, and recording medium |
DE102013209956A1 (en) | 2013-05-28 | 2014-12-04 | Xion Gmbh | Video endoscopic device |
DE102014107185A1 (en) | 2014-05-21 | 2015-11-26 | Carl Zeiss Meditec Ag | Method for providing a three-dimensional topography model, method for viewing a topography representation of a topography model, visualization device and microscope system |
US20160100908A1 (en) * | 2012-06-27 | 2016-04-14 | Camplex, Inc. | Optics for video camera on a surgical visualization system |
-
2016
- 2016-12-21 DE DE102016125075.9A patent/DE102016125075B3/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19514549A1 (en) | 1995-04-20 | 1996-10-24 | Joern Dr Ing Leiber | Stereoscopic picture pair adjustment device |
US7671888B2 (en) | 2003-08-08 | 2010-03-02 | Olympus Corporation | Stereoscopic-endoscope display control apparatus and stereoscopic endoscope system |
EP1883242A1 (en) * | 2005-05-20 | 2008-01-30 | Toyota Jidosha Kabushiki Kaisha | Image processor for vehicles |
US20100091097A1 (en) | 2006-09-25 | 2010-04-15 | Lachlan Pockett | Supporting A 3D Presentation |
US20100097447A1 (en) | 2007-03-30 | 2010-04-22 | Pioneer Corporation | Image Display Device |
US20110193945A1 (en) | 2010-02-05 | 2011-08-11 | Sony Corporation | Image display device, image display viewing system and image display method |
US20140029838A1 (en) | 2011-04-06 | 2014-01-30 | Sharp Kabushiki Kaisha | Image processing device, image processing method, and recording medium |
US20130129194A1 (en) * | 2011-11-21 | 2013-05-23 | Robo-team Ltd. | Methods and systems of merging depth data from a plurality of disparity maps |
US20160100908A1 (en) * | 2012-06-27 | 2016-04-14 | Camplex, Inc. | Optics for video camera on a surgical visualization system |
DE102013209956A1 (en) | 2013-05-28 | 2014-12-04 | Xion Gmbh | Video endoscopic device |
DE102014107185A1 (en) | 2014-05-21 | 2015-11-26 | Carl Zeiss Meditec Ag | Method for providing a three-dimensional topography model, method for viewing a topography representation of a topography model, visualization device and microscope system |
Non-Patent Citations (3)
Title |
---|
„The Dynamic Floating Window - a new creative tool for 3D movies" von Brian R. Gardner in Stereoscopic Displays and Applications XXII, Proceedings of SPIE-IS&T Electronic Imaging, SPIE Vol. 7863, 78631A |
GARDNER, Brain R. : The Dynamic floating window - a new creative tool for 3D movies. In: Stereoscopic Displays and Applications XXII : 23 January 2011, San Francisco Airport, California, USA / Andrew J. Woods ; Nicolas S. Holliman ; Neil A. Dodgson , editor : SPIE , 2011 (Proceedings of SPIE ; 7863). S. 78631A-1 - 78631A-12. - URL: http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=730450 [abgerufen am 03.04.2017] * |
Norm ANSI/SCTE 187-3 2012. Informative guidance for stereoscopic video * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3108282B1 (en) | Production of an observation image of an object region | |
EP0871913B1 (en) | Microscope | |
DE69433556T2 (en) | Image display device | |
DE102017105941B3 (en) | Surgical microscope with an image sensor and a display and method for operating a surgical microscope | |
EP3121556B1 (en) | Method for correcting an oct image and microscope | |
DE102012212801B4 (en) | Multifocal display device and multifocal display method for three-dimensional display of an object | |
CH693619A5 (en) | Image-representative device and method for displaying image. | |
EP1224499A2 (en) | Stereo operating microscope comprising a single-mirror device providing information | |
DE102016201567A1 (en) | Projection device for a data glasses, method for displaying image information by means of a projection device and control device | |
DE102017108371B4 (en) | Medical optical display system and method for operating the same | |
DE102014223181B3 (en) | Visualization device for a surgical site | |
DE102016200136A1 (en) | Method and device for operating a field of view display device | |
DE102015100765A1 (en) | Surgical microscope and method for highlighting Augenlinsenstücken | |
WO2005098508A2 (en) | Image recording system and image playback system and image recording/playback system | |
DE69708334T2 (en) | IN SITU OPTICAL INFORMATION SYSTEM | |
WO2021175727A1 (en) | Head-mounted visualisation system | |
DE10249338A1 (en) | Arrangement for projecting an image onto a projection surface and associated transformation optics | |
DE102013005869B4 (en) | Patient management module | |
DE19720851A1 (en) | Ophthalmological examination apparatus as slit lamp or fundus camera | |
DE102016125075B3 (en) | Method for reducing perceptual conflicts in stereomicroscopic image data | |
DE10157613A1 (en) | Extended aperture control for image overlays in a stereo microscope | |
DE102012201564B3 (en) | System for representation of stereoscopic microscope image of object on picture screen, replaces computed stereoscopic image in specific region by monoscopic image, if stereoscopic perceptibility is not provided for specific region | |
DE102012108249A1 (en) | Method for processing digital images of stereoscopic camera system, involves receiving two images from two partial cameras of stereoscopic camera system and determining disparities of same image elements between two images | |
DE19537499C2 (en) | Autostereoscopic image display device | |
DE102018110644B4 (en) | Digital microscope and digital microscopy method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R083 | Amendment of/additions to inventor(s) | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |