DE102022210623A1

DE102022210623A1 - Method for calibrating cameras of a multi-channel medical visualization system and medical visualization system

Info

Publication number: DE102022210623A1
Application number: DE102022210623.7A
Authority: DE
Inventors: Richard Bäumer; Marco Wörner; Henrike von Hülsen
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2022-10-07
Filing date: 2022-10-07
Publication date: 2024-04-18
Also published as: CN117857767A; US20240119632A1

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren von Kameras (9L,9R) eines mehrkanaligen medizinischen Visualisierungssystems (1), wobei ein über Kanäle (3L,3R) des mehrkanaligen medizinischen Visualisierungssystems (1) jeweils abgebildeter Erfassungsbereich (20) mittels jeweils einer Kamera (9L,9R) erfasst wird, wobei ein Vergrößerungszentrum (15, 15L, 15R) für jeden der Kanäle (3L,3R) bestimmt wird, wobei hierzu mindestens zwei Vergrößerungsstufen einer gemeinsamen mechanischen Vergrößerungsoptik (5) eingestellt werden und in Abbildungen (12,12L,12R), die mittels der jeweiligen Kamera (9L,9R) auf den Vergrößerungsstufen erfasst werden, für jeden der Kanäle (3L,3R) ein Bildbereich identifiziert wird, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt, und wobei ausgehend von den jeweils bestimmten Vergrößerungszentren (15,15L,15R) für jeden der Kanäle (3L,3R) ein Bildausschnitt (13,13L,13R) in den erfassten Abbildungen (12,12L,12R) mit dem jeweils identifizierten Vergrößerungszentrum (15,15L,15R) als Mittelpunkt festgelegt wird, und wobei eine Ausgabe (13) der erfassten Abbildungen (12,12L,12R) in allen Vergrößerungsstufen auf den für den jeweiligen Kanal (3L,3R) festgelegten Bildausschnitt (13L, 13R) beschränkt wird. Ferner betrifft die Erfindung ein medizinisches Visualisierungssystem (1).The invention relates to a method for calibrating cameras (9L, 9R) of a multi-channel medical visualization system (1), wherein a detection area (20) imaged via channels (3L, 3R) of the multi-channel medical visualization system (1) is recorded by means of a respective camera (9L, 9R), wherein a magnification center (15, 15L, 15R) is determined for each of the channels (3L, 3R), wherein for this purpose at least two magnification levels of a common mechanical magnification optics (5) are set and in images (12, 12L, 12R) recorded by means of the respective camera (9L, 9R) at the magnification levels, an image area is identified for each of the channels (3L, 3R) which does not move or moves the least across the magnification levels, and wherein, starting from the respectively determined magnification centers (15, 15L, 15R), an image section (13, 13L, 13R) is selected for each of the channels (3L, 3R) in the recorded Images (12,12L,12R) are defined with the respectively identified magnification center (15,15L,15R) as the center point, and wherein an output (13) of the captured images (12,12L,12R) in all magnification levels is limited to the image section (13L, 13R) defined for the respective channel (3L,3R). The invention further relates to a medical visualization system (1).

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren von Kameras eines mehrkanaligen medizinischen Visualisierungssystems und ein medizinisches Visualisierungssystem.The invention relates to a method for calibrating cameras of a multi-channel medical visualization system and to a medical visualization system.

Beim Justieren von stereoskopischen medizinischen Visualisierungssystemen werden von Kameras erfasste Abbildungen (Kamerabilder) von zwei optischen Kanälen (bzw. optischen Pfaden) in x-y-Richtung und Rotation zueinander ausgerichtet. Dies kann durch mechanisches Justieren (Verschieben und/oder Rotieren der Kameras) oder digital im Wege von einer Bildbearbeitung erfolgen.When adjusting stereoscopic medical visualization systems, images captured by cameras (camera images) from two optical channels (or optical paths) are aligned with each other in the x-y direction and rotation. This can be done by mechanical adjustment (moving and/or rotating the cameras) or digitally by means of image processing.

Aus der US 10 299 880 B2 sind eine stereoskopische Visualisierungskamera und eine Visualisierungsplattform bekannt. Eine beispielhafte stereoskopische Visualisierungskamera umfasst eine erste Vielzahl von Linsen, die entlang eines ersten optischen Pfads positioniert sind, und einen ersten Bildsensor, um einen ersten Bildstrom einer Zielstelle aus Licht in dem ersten optischen Pfad aufzuzeichnen. Die stereoskopische Visualisierungskamera umfasst auch eine zweite Vielzahl von Linsen, die entlang eines zweiten optischen Pfads parallel zu dem ersten optischen Pfad positioniert sind, und einen zweiten Bildsensor zum Aufzeichnen eines zweiten Bildstroms des Zielorts aus Licht in dem zweiten optischen Pfad. Die stereoskopische Visualisierungskamera umfasst auch einen Prozessor, der dazu konfiguriert ist, eine störende Parallaxe zwischen den ersten und zweiten Bildströmen zu reduzieren, indem Pixelsätze von Pixelgittern der ersten und zweiten Bildsensoren so ausgewählt werden, dass sich Zoomwiederholungspunkte in einer Mitte des jeweiligen Pixelrasters befinden.From the US 10 299 880 B2 A stereoscopic visualization camera and a visualization platform are known. An exemplary stereoscopic visualization camera includes a first plurality of lenses positioned along a first optical path and a first image sensor for recording a first image stream of a target location from light in the first optical path. The stereoscopic visualization camera also includes a second plurality of lenses positioned along a second optical path parallel to the first optical path and a second image sensor for recording a second image stream of the target location from light in the second optical path. The stereoscopic visualization camera also includes a processor configured to reduce spurious parallax between the first and second image streams by selecting pixel sets of pixel grids of the first and second image sensors such that zoom repeat points are located at a center of the respective pixel grid.

Die aus dem Stand der Technik bekannte Lösung hat insbesondere den Nachteil, dass für jede Vergrößerungsstufe ein Parametersatz bestimmt und vorgehalten werden muss, um die Parallaxe über den gesamten Arbeitsbereich der Vergrößerung reduzieren zu können.The solution known from the prior art has the particular disadvantage that a set of parameters must be determined and maintained for each magnification level in order to be able to reduce the parallax over the entire working range of the magnification.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Kalibrieren von Kameras eines medizinischen Visualisierungssystems und ein medizinisches Visualisierungssystem zu verbessern, sodass insbesondere ein Aufwand beim Kalibrieren des medizinischen Visualisierungssystems reduziert werden kann.The invention is based on the object of improving a method for calibrating cameras of a medical visualization system and a medical visualization system, so that in particular the effort involved in calibrating the medical visualization system can be reduced.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein medizinisches Visualisierungssystem mit den Merkmalen des Patentanspruchs 15 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The object is achieved according to the invention by a method having the features of patent claim 1 and a medical visualization system having the features of patent claim 15. Advantageous embodiments of the invention emerge from the subclaims.

Es ist einer der Grundgedanken der Erfindung, ein mehrkanaliges medizinisches Visualisierungssystem über das Bestimmen von Vergrößerungszentren in jedem der Kanäle (welche auch als optische Pfade bezeichnet werden können) zu kalibrieren. Hierzu wird ein über die, insbesondere zwei, Kanäle des mehrkanaligen medizinischen Visualisierungssystems jeweils abgebildeter Erfassungsbereich mittels jeweils einer Kamera erfasst. Ein Bildsensor der Kamera stellt hierbei eine insbesondere auf eine Größe des Bildsensors begrenzte Abbildung bereit. Es wird ein jeweiliges Vergrößerungszentrum für jeden der Kanäle bestimmt. Hierzu ist vorgesehen, dass mindestens zwei Vergrößerungsstufen einer gemeinsamen mechanischen Vergrößerungsoptik (mechanisch) eingestellt werden und in Abbildungen, die mittels der jeweiligen Kamera auf den mindestens zwei Vergrößerungsstufen erfasst werden, für jeden der Kanäle ein Bildbereich identifiziert wird, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt. Dieser Bildbereich bildet für den jeweiligen Kanal das Vergrößerungszentrum (welches auch als Zoomzentrum bezeichnet werden kann). Das Vergrößerungszentrum kann insbesondere als zweidimensionale Bildelementkoordinate (z.B. in x-y-Koordinaten) in der jeweils erfassten Abbildung bestimmt und ausgedrückt werden. Für jeden der, insbesondere zwei, Kanäle ist dann eine Bildelementkoordinate für das jeweilige Vergrößerungszentrum bekannt. Es ist insbesondere vorgesehen, dass mehr als zwei Vergrößerungsstufen eingestellt werden. Es kann auch vorgesehen sein, dass mehrere Vergrößerungsstufen kontinuierlich durchgefahren werden, wobei zeitgleich für jeden der Kanäle ein Videostrom aus aufeinander folgenden Abbildungen erfasst wird; die Vorgehensweise ist hierbei aber grundsätzlich analog. Jeweils ausgehend von den jeweils bestimmten Vergrößerungszentren wird für jeden der Kanäle ein Bildausschnitt in den erfassten Abbildungen mit dem jeweils identifizierten Vergrößerungszentrum als Mittelpunkt festgelegt. Dies erfolgt für jeden der Kanäle insbesondere ausschließlich ausgehend von dem jeweils identifizierten Vergrößerungszentrum. Insbesondere erfolgt das Festlegen ausgehend von den jeweils bestimmten Vergrößerungszentren in jedem Fall unabhängig von den bestimmten Vergrößerungszentren der jeweils anderen Kanäle. Der Bildausschnitt wird insbesondere in Form eines Parametersatzes von Bildelementkoordinaten angegeben, die den Bildausschnitt mit Bezug auf die jeweilige Abbildung eindeutig beschreiben. Beispielsweise kann ein solcher Satz Bildelementkoordinaten von Eckpunkten eines quadratischen oder rechteckigen Bildausschnitts aus der erfassten Abbildung umfassen. Es ist vorgesehen, dass eine Ausgabe der erfassten Abbildungen in allen Vergrößerungsstufen auf die jeweils festgelegten Bildausschnitte beschränkt wird. Anders ausgedrückt werden die erfassten Abbildungen auf den jeweils festgelegten Bildausschnitt beschnitten und der jeweilige Bildausschnitt als Ausgabe bereitgestellt, beispielsweise als analoges oder digitales Bildsignal. Hierdurch kann eine verbesserte Darstellung von mehrkanaligen Abbildungen, insbesondere stereoskopischen Abbildungen, erreicht werden. Hierbei werden für alle Vergrößerungsstufen die gleichen festgelegten Bildausschnitte verwendet, das heißt, pro Kanal existiert ein festgelegter Bildausschnitt, der für alle Vergrößerungsstufen verwendet wird. Für einen Kanal ist ein den festgelegten Bildausschnitt beschreibender Parametersatz für alle Vergrößerungsstufen der gleiche.One of the basic ideas of the invention is to calibrate a multi-channel medical visualization system by determining magnification centers in each of the channels (which can also be referred to as optical paths). For this purpose, a detection area imaged via the, in particular two, channels of the multi-channel medical visualization system is recorded using a camera. An image sensor of the camera provides an image that is limited in particular to a size of the image sensor. A respective magnification center is determined for each of the channels. For this purpose, it is provided that at least two magnification levels of a common mechanical magnification optics are set (mechanically) and in images that are recorded using the respective camera at the at least two magnification levels, an image area is identified for each of the channels that does not move or moves the least across the magnification levels. This image area forms the magnification center (which can also be referred to as the zoom center) for the respective channel. The magnification center can be determined and expressed in particular as a two-dimensional image element coordinate (e.g. in xy coordinates) in the respectively recorded image. For each of the channels, in particular two, a picture element coordinate is then known for the respective magnification center. It is particularly provided that more than two magnification levels are set. It can also be provided that several magnification levels are run through continuously, with a video stream of successive images being recorded simultaneously for each of the channels; the procedure is basically analogous here, however. Starting from the respective magnification centers, an image section is defined for each of the channels in the recorded images with the respectively identified magnification center as the center point. This is done for each of the channels in particular exclusively starting from the respectively identified magnification center. In particular, the definition starting from the respectively identified magnification centers is always independent of the determined magnification centers of the other channels. The image section is specified in particular in the form of a parameter set of picture element coordinates that clearly describe the image section with reference to the respective image. For example, such a set can include picture element coordinates of corner points of a square or rectangular image section from the recorded image. It is intended that the output of the captured images at all magnification levels is limited to the respective specified image sections. In other words, the captured images are displayed on the respective specified image output section is cropped and the respective image section is provided as an output, for example as an analog or digital image signal. This can achieve an improved representation of multi-channel images, in particular stereoscopic images. The same defined image sections are used for all magnification levels, i.e. there is a defined image section for each channel that is used for all magnification levels. For a channel, a parameter set describing the defined image section is the same for all magnification levels.

Insbesondere wird ein Verfahren zum Kalibrieren von Kameras eines mehrkanaligen medizinischen Visualisierungssystems zur Verfügung gestellt, wobei ein über Kanäle des mehrkanaligen medizinischen Visualisierungssystems jeweils abgebildeter Erfassungsbereich mittels jeweils einer Kamera erfasst wird, wobei ein jeweiliges Vergrößerungszentrum für jeden der Kanäle bestimmt wird, wobei hierzu mindestens zwei Vergrößerungsstufen einer gemeinsamen mechanischen Vergrößerungsoptik eingestellt werden und in Abbildungen, die mittels der jeweiligen Kamera auf den mindestens zwei Vergrößerungsstufen erfasst werden, für jeden der Kanäle ein Bildbereich identifiziert wird, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt, und wobei jeweils ausgehend von den jeweils bestimmten Vergrößerungszentren für jeden der Kanäle ein Bildausschnitt in den erfassten Abbildungen mit dem jeweils identifizierten Vergrößerungszentrum als Mittelpunkt festgelegt wird, und wobei eine Ausgabe der erfassten Abbildungen in allen Vergrößerungsstufen auf den für den jeweiligen Kanal festgelegten Bildausschnitt beschränkt wird.In particular, a method is provided for calibrating cameras of a multi-channel medical visualization system, wherein a detection area imaged via channels of the multi-channel medical visualization system is captured by means of a respective camera, wherein a respective magnification center is determined for each of the channels, wherein for this purpose at least two magnification levels of a common mechanical magnification optics are set and in images captured by means of the respective camera at the at least two magnification levels, an image area is identified for each of the channels that does not move or moves the least across the magnification levels, and wherein, starting from the respectively determined magnification centers, an image section is defined for each of the channels in the captured images with the respectively identified magnification center as the center, and wherein an output of the captured images in all magnification levels is limited to the image section defined for the respective channel.

Ferner wird insbesondere ein medizinisches Visualisierungssystem geschaffen, umfassend mehrere Kanäle zum Erfassen und Abbilden eines Erfassungsbereichs, eine Kamera für jeden der mehreren Kanäle, die eingerichtet ist zum Erfassen des jeweils über den Kanal abgebildeten Erfassungsbereichs, eine gemeinsame mechanische Vergrößerungsoptik, und eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist, zum Kalibrieren ein jeweiliges Vergrößerungszentrum für jeden der Kanäle zu bestimmen, und hierzu die gemeinsame mechanische Vergrößerungsoptik derart anzusteuern, dass mindestens zwei Vergrößerungsstufen eingestellt werden und in Abbildungen, die mittels der jeweiligen Kamera auf den mindestens zwei Vergrößerungsstufen erfasst werden, für jeden der Kanäle einen Bildbereich zu identifizieren, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt, und jeweils ausgehend von den jeweils bestimmten Vergrößerungszentren für jeden der Kanäle einen Bildausschnitt in den erfassten Abbildungen mit dem jeweils identifizierten Vergrößerungszentrum als Mittelpunkt festzulegen, und eine Ausgabe der erfassten Abbildungen in allen Vergrößerungsstufen auf den für den jeweiligen Kanal festgelegten Bildausschnitt zu beschränken.Furthermore, in particular, a medical visualization system is created, comprising a plurality of channels for capturing and imaging a detection area, a camera for each of the plurality of channels, which is set up to capture the detection area imaged via the channel, a common mechanical magnification optics, and a control device, wherein the control device is set up to determine a respective magnification center for each of the channels for calibration, and for this purpose to control the common mechanical magnification optics in such a way that at least two magnification levels are set and in images captured by means of the respective camera at the at least two magnification levels, to identify an image area for each of the channels that does not move or moves the least across the magnification levels, and, starting from the respectively determined magnification centers, to define an image section in the captured images for each of the channels with the respectively identified magnification center as the center, and to restrict an output of the captured images in all magnification levels to the image section defined for the respective channel.

Das Verfahren und das medizinische Visualisierungssystem ermöglichen eine unkomplizierte und insbesondere automatisierbare digitale Kalibrierung der mehreren Kanäle des medizinischen Visualisierungssystems. Beschreibt man die Abbildungen mit Hilfe eines zweidimensionalen Koordinatensystems (z.B. in kartesischen x- und y-Koordinaten), so kann mittels des Verfahrens und des medizinischen Visualisierungssystems eine relative Verschiebung in x- und y-Richtung erfolgen. Insbesondere kann hierbei durch Auswählen der Bildausschnitte und Beschränken der Ausgaben auf die Bildausschnitte ein in den jeweiligen Kanälen dargestellter Bildinhalt zueinander in den beiden Richtungen des zweidimensionalen Koordinatensystems verschoben werden. Hierdurch lassen sich insbesondere Fehler in einer gewünschten Parallaxe reduzieren oder vollständig beheben.The method and the medical visualization system enable an uncomplicated and, in particular, automated digital calibration of the multiple channels of the medical visualization system. If the images are described using a two-dimensional coordinate system (e.g. in Cartesian x and y coordinates), a relative shift in the x and y directions can be carried out using the method and the medical visualization system. In particular, by selecting the image sections and restricting the output to the image sections, an image content displayed in the respective channels can be shifted relative to one another in the two directions of the two-dimensional coordinate system. This makes it possible, in particular, to reduce or completely eliminate errors in a desired parallax.

Das Verfahren eignet sich insbesondere für medizinische Visualisierungssysteme, bei denen eine initiale (mechanische) Justierung der Kameras der mehreren Kanäle zueinander erfolgt ist, anschließend aber eine strenge mechanische Toleranzkette vorgesehen ist, bei der eine Position und eine Ausrichtung (Rotation) der Kameras nicht mehr ohne größeren Aufwand verändert werden können. Das Verfahren ermöglicht es hier, das medizinische Visualisierungssystem zu überwachen und im Feld eventuell auftretende Dejustagen zu entdecken, deren Ausmaß zu bestimmen und im Wege der digitalen Bildbearbeitung zu korrigieren. Ferner kann der Nutzer des medizinischen Visualisierungssystems auf die Dejustage aufmerksam gemacht werden. Das Erkennen und Korrigieren der Dejustage kann beispielsweise vom Krankenhauspersonal selbstständig durchgeführt werden. Grundsätzlich kann zusätzlich zur Korrektur im Wege der digitalen Bildbearbeitung auch eine Justage erfolgen, beispielsweise können Bildsensoren der Kameras in Bezug auf die Sensorebene lateral, d.h. insbesondere senkrecht zur optischen Achse, verschoben werden. Auch eine Abbildungsoptik kann zusätzlich justiert werden. Nach dem Justieren sollte das Verfahren erneut ausgeführt werden, sodass verbleibende Korrekturen mittels digitaler Bildbearbeitung durchgeführt werden können.The method is particularly suitable for medical visualization systems in which an initial (mechanical) adjustment of the cameras of the multiple channels to each other has been carried out, but a strict mechanical tolerance chain is then provided in which the position and orientation (rotation) of the cameras can no longer be changed without considerable effort. The method makes it possible to monitor the medical visualization system and to detect any misalignments that may occur in the field, to determine their extent and to correct them using digital image processing. The user of the medical visualization system can also be made aware of the misalignment. The misalignment can be detected and corrected independently by hospital staff, for example. In principle, in addition to the correction using digital image processing, an adjustment can also be carried out using digital image processing. For example, image sensors of the cameras can be moved laterally in relation to the sensor plane, i.e. in particular perpendicular to the optical axis. An imaging optics can also be adjusted additionally. After adjustment, the procedure should be carried out again so that any remaining corrections can be carried out using digital image processing.

Ein Vorteil des Verfahrens und des medizinischen Visualisierungssystems ist, dass ein bei der Kalibrierung verwendetes Objekt sich bei den mehreren Vergrößerungsstufen nicht im Fokus befinden muss, da auch außerhalb des Fokus in jedem Fall ein Vergrößerungszentrum bestimmt werden kann. Ein weiterer Vorteil ist, dass nicht für jede Vergrößerungsstufe ein die Bildausschnitte beschreibender Parametersatz bestimmt und bereitgehalten werden muss, wie es im vorgenannten Stand der Technik der Fall ist. Hingegen ist ein einziger Parametersatz, der die Bildausschnitte beschreibt, ausreichend und gilt für sämtliche Vergrößerungsstufen der gemeinsamen mechanischen Vergrößerungsoptik. Es kann hierdurch eine deutliche Vereinfachung und eine Verringerung des Aufwandes beim Kalibrieren erreicht werden.An advantage of the method and the medical visualization system is that an object used for calibration does not have to be in focus at the multiple magnification levels, since a magnification center can be determined in any case even outside the focus. A further advantage is that a parameter set describing the image sections does not have to be determined and kept ready for each magnification level, as is the case in the aforementioned prior art. On the other hand, a single parameter set describing the image sections is sufficient and applies to all magnification levels of the common mechanical magnification optics. This can significantly simplify and reduce the effort required for calibration.

Das Vergrößerungszentrum fällt insbesondere mit demjenigen Bildbereich zusammen, der sich über die mindestens zwei Vergrößerungsstufen hinweg in den erfassten Abbildungen am wenigsten oder gar nicht bewegt. Dieser Bildbereich fällt insbesondere mit der kanaleigenen optischen Achse in der gemeinsamen mechanischen Vergrößerungsoptik zusammen. Die optischen Elemente der gemeinsamen mechanischen Vergrößerungsoptik werden beim Einstellen der mindestens zwei Vergrößerungsstufen insbesondere entlang der kanaleigenen optischen Achse bewegt. Aus diesem Grund gibt es einen Bildbereich, insbesondere einen punktförmigen Bildbereich, der sich nicht oder nur sehr wenig bewegt. Dieser Bildbereich wird beispielsweise mittels an sich bekannter Verfahren der Computer Vision identifiziert (z.B. durch Bestimmen des optischen Flusses), indem die mehreren erfassten Abbildungen des jeweiligen Kanals ausgewertet werden. Ein Vorteil ist, dass das Bestimmen des Vergrößerungszentrums grundsätzlich ohne das Erkennen von konkreten Merkmalen in den erfassten Abbildungen auskommt.The magnification center coincides in particular with the image area that moves the least or not at all in the captured images over the at least two magnification levels. This image area coincides in particular with the channel's own optical axis in the common mechanical magnification optics. The optical elements of the common mechanical magnification optics are moved in particular along the channel's own optical axis when setting the at least two magnification levels. For this reason, there is an image area, in particular a point-shaped image area, that does not move or moves very little. This image area is identified, for example, using known computer vision methods (e.g. by determining the optical flow) by evaluating the multiple captured images of the respective channel. One advantage is that determining the magnification center basically does not require recognizing specific features in the captured images.

Das Festlegen des Bildausschnitts erfolgt insbesondere, indem ein Bildelementbereich in der erfassten Abbildung um das jeweilige Vergrößerungszentrum herum ausgewählt wird. Der Bildelementbereich (insbesondere eine Größe und/oder eine Form) kann hierbei fest vorgegeben sein oder flexibel angepasst werden. Beispielweise kann eine Bildelementanzahl mit Bezug auf eine Breite und eine Höhe des Bildelementbereichs fest vorgegeben sein. Das flexible Anpassen kann beispielsweise vorsehen, eine Größe des Bildelementbereichs in Abhängigkeit von einer Position des identifizierten Vergrößerungszentrums innerhalb der erfassten Abbildung zu wählen. Befindet sich das identifizierte Vergrößerungszentrum beispielsweise in der Mitte der erfassten Abbildung, so kann der Bildelementbereich größer gewählt werden als wenn sich das identifizierte Vergrößerungszentrum weiter am Rand der erfassten Abbildung befindet. Das Festlegen der Größe und/oder Form der Bildausschnitte für die erfassten Abbildungen der mehreren Kanäle kann auch in miteinander gekoppelter Form erfolgen. Ein Bildausschnitt wird dann in Abhängigkeit von einem Bildausschnitt mindestens eines anderen Kanals festgelegt oder das Festlegen erfolgt für alle Kanäle zusammen. Hierdurch kann insbesondere erreicht werden, dass der kleinste Bildelementbereich auch die Bildelementbereiche des oder der anderen Kanäle vorgibt. Hierdurch kann erreicht werden, dass die als Ausgabe bereitgestellten Bildausschnitte in Bezug auf die Breite und Höhe alle die gleiche Bildelementanzahl aufweisen, also gleich groß sind.The image section is defined in particular by selecting a picture element area in the captured image around the respective magnification center. The picture element area (in particular a size and/or a shape) can be fixed or can be flexibly adapted. For example, a number of picture elements can be fixed with reference to a width and a height of the picture element area. The flexible adaptation can, for example, provide for a size of the picture element area to be selected depending on a position of the identified magnification center within the captured image. If the identified magnification center is in the middle of the captured image, for example, the picture element area can be selected to be larger than if the identified magnification center is further to the edge of the captured image. The size and/or shape of the picture sections for the captured images of the multiple channels can also be defined in a coupled form. A picture section is then defined depending on a picture section of at least one other channel or the definition is made for all channels together. This can in particular ensure that the smallest picture element area also specifies the picture element areas of the other channel(s). This ensures that the image sections provided as output all have the same number of picture elements in terms of width and height, i.e. are the same size.

Das Beschränken der erfassten Abbildungen auf den jeweils festgelegten Bildausschnitt erfolgt insbesondere mit Hilfe von an sich bekannten Verfahren der Bildbearbeitung. Insbesondere werden die erfassten Abbildungen auf den jeweils festgelegten Bildausschnitt zugeschnitten und nur der jeweilige Bildausschnitt wird als Ausgabe bereitgestellt. Der festgelegte Bildausschnitt ist in Bezug auf die Anzahl der Bildelemente sowohl hinsichtlich der Koordinatenrichtungen als auch hinsichtlich einer Gesamtanzahl von Bildelementen insbesondere kleiner als eine von einem Bildsensor bereitgestellte Abbildung.The restriction of the captured images to the respectively defined image section is carried out in particular with the aid of image processing methods known per se. In particular, the captured images are cropped to the respectively defined image section and only the respective image section is provided as output. The defined image section is in particular smaller in terms of the number of image elements, both in terms of the coordinate directions and in terms of a total number of image elements, than an image provided by an image sensor.

Das medizinische Visualisierungssystem ist insbesondere ein medizinisches Mikroskop, insbesondere ein Operationsmikroskop. Das medizinische Visualisierungssystem ist insbesondere ein optisches Visualisierungssystem, das heißt, es basiert auf einer optischen Erfassung des Untersuchungsgegenstandes, insbesondere eines Operationsgebiets. Das medizinische Visualisierungssystem ist insbesondere stereoskopisch. Das medizinische Visualisierungssystem dient insbesondere zur vergrößernden Darstellung eines Operationsgebiets (Situs) bei einem chirurgischen Eingriff. Grundsätzlich kann das medizinische Visualisierungssystem aber auch zur vergrößernden Darstellung bei diagnostischen Anwendungen dienen.The medical visualization system is in particular a medical microscope, in particular a surgical microscope. The medical visualization system is in particular an optical visualization system, which means that it is based on an optical recording of the object under examination, in particular an operation area. The medical visualization system is in particular stereoscopic. The medical visualization system is used in particular for the magnified representation of an operation area (situs) during a surgical procedure. In principle, however, the medical visualization system can also be used for magnified representation in diagnostic applications.

Eine gemeinsame mechanische Vergrößerungsoptik umfasst beispielsweise unterschiedliche Optiken und/oder optische Elemente für die einzelnen Kanäle des mehrkanaligen medizinischen Visualisierungssystems, die elektromechanisch oder deren optischen Glieder zumindest teilweise mechanisch miteinander gekoppelt sind. Es ist insbesondere vorgesehen, dass sich die Kanäle (Strahlengänge) zumindest ein Hauptobjektiv gemeinsam teilen.A common mechanical magnification optics comprises, for example, different optics and/or optical elements for the individual channels of the multi-channel medical visualization system, which are electromechanically coupled or whose optical elements are at least partially mechanically coupled to one another. It is particularly intended that the channels (beam paths) share at least one main objective.

Es ist insbesondere vorgesehen, dass das medizinische Visualisierungssystem derart eingerichtet und/oder justiert ist oder justiert wird, dass die erfassten Abbildungen scharf gestellt sind, wenn die bestimmten Vergrößerungszentren mit dem gleichen Objektpunkt zusammenfallen. Anders ausgedrückt ist vorgesehen, dass die Fokusebene abgebildet wird, wenn die bestimmten Vergrößerungszentren den gleichen Objektpunkt abbilden. Hierdurch wird insbesondere sichergestellt, dass die optischen Achsen der mehreren Kanäle sich in einem Punkt in der Fokusebene treffen. Diese Justage wird insbesondere vor Durchführen des Kalibrierens durchgeführt.In particular, it is intended that the medical visualization system is set up and/or adjusted in such a way that the captured images are in focus when the specific magnification centers coincide with the same object point. In other words, it is intended that the focal plane is imaged when the specific magnification centers coincide with the same object point This ensures in particular that the optical axes of the multiple channels meet at one point in the focal plane. This adjustment is carried out in particular before carrying out the calibration.

Eine Justage oder Justieren bezeichnet insbesondere einen bei einer Montage des medizinischen Visualisierungssystems einmalig und initial vorgenommene Aktion, bei der insbesondere optische Elemente des medizinischen Visualisierungssystems mechanisch zueinander in einer Soll-Anordnung zueinander angeordnet werden. Eine Dejustage bezeichnet insbesondere eine Abweichung von dieser Soll-Anordnung der optischen Elemente. Nach der initialen Justage bezeichnet eine Justage im weiteren Betrieb des medizinischen Visualisierungssystems insbesondere eine erneute mechanische Anordnung insbesondere der optischen Elemente auf die Soll-Anordnung.An adjustment or adjustment refers in particular to an action that is carried out once and initially during assembly of the medical visualization system, in which optical elements of the medical visualization system in particular are mechanically arranged in a target arrangement relative to one another. A misalignment refers in particular to a deviation from this target arrangement of the optical elements. After the initial adjustment, an adjustment during further operation of the medical visualization system refers in particular to a renewed mechanical arrangement, in particular of the optical elements, to the target arrangement.

Kalibrieren bezeichnet insbesondere ein Bestimmen von Kalibrierdaten, welche eine räumliche Beziehung von optischen Elementen und/oder von Gruppen von optischen Elementen zueinander beschreiben. Die Kalibrierdaten können insbesondere dazu dienen, im Rahmen einer digitalen Bildbearbeitung Korrekturen vorzunehmen, die eine aufgetretene Dejustage (zumindest teilweise) kompensieren können. Bei dem in dieser Offenbarung beschriebenen Verfahren umfasst das Kalibrieren insbesondere das Bestimmen der Vergrößerungszentren und das Festlegen der jeweiligen Bildausschnitte. Calibration refers in particular to determining calibration data which describe a spatial relationship between optical elements and/or groups of optical elements. The calibration data can be used in particular to make corrections within the framework of digital image processing which can (at least partially) compensate for a misalignment that has occurred. In the method described in this disclosure, calibration includes in particular determining the magnification centers and defining the respective image sections.

Es kann vorgesehen sein, dass vor dem Bestimmen der Vergrößerungszentren und/oder dem Festlegen der jeweiligen Bildausschnitte eine Verzeichnungskorrektur für jeden der Kanäle durchgeführt wird. Dies erfolgt insbesondere mittels an sich bekannter Verfahren, beispielsweise durch Erfassen eines Schachbrettmusters, anhand dessen die Verzeichnung in den erfassten Abbildungen bestimmt werden kann. Anschließend kann anhand der bestimmten Verzeichnung eine Korrektur durch digitale Bildbearbeitung der erfassten Abbildungen erfolgen.It can be provided that a distortion correction is carried out for each of the channels before determining the magnification centers and/or defining the respective image sections. This is done in particular by means of methods known per se, for example by detecting a checkerboard pattern, based on which the distortion in the captured images can be determined. Subsequently, a correction can be carried out by digital image processing of the captured images based on the determined distortion.

Teile des medizinischen Visualisierungssystems, insbesondere die Steuereinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind.Parts of the medical visualization system, in particular the control device, can be designed individually or in combination as a combination of hardware and software, for example as program code that is executed on a microcontroller or microprocessor. However, it can also be provided that parts are designed individually or in combination as an application-specific integrated circuit (ASIC) and/or field-programmable gate array (FPGA).

In einer Ausführungsform ist vorgesehen, dass Abmessungen der Bildausschnitte für alle Richtungen unter Berücksichtigung von Abmessungen der vom jeweiligen Bildsensor der Kameras bereitgestellten Abbildung festgelegt werden. Hierdurch können die Bildausschnitte flexibel gewählt werden. Insbesondere kann vorgesehen sein, die Bildausschnitte so groß wie möglich zu wählen, das heißt, zumindest bis zu einer durch den Bildsensor vorgegebenen Grenze.In one embodiment, it is provided that dimensions of the image sections are defined for all directions, taking into account dimensions of the image provided by the respective image sensor of the cameras. This allows the image sections to be selected flexibly. In particular, it can be provided that the image sections are selected to be as large as possible, that is, at least up to a limit specified by the image sensor.

In einer Ausführungsform ist vorgesehen, dass die festgelegten Bildausschnitte gleich groß gewählt sind oder gewählt werden. Hierdurch kann sichergestellt werden, dass für die mehreren, insbesondere zwei Kanäle, jeweils ein gleicher Bildausschnitt bereitgestellt wird. Dies ermöglicht insbesondere bei einer stereoskopischen Darstellung eine ungestörte Wahrnehmung durch einen Nutzer, da für die mehreren, insbesondere die zwei, Kanäle jeweils der gleiche Objektbereich dargestellt werden kann und von dem Nutzer ohne Beeinträchtigungen, insbesondere weitgehend deckungsgleich, dargestellt werden kann. Es ist hierbei insbesondere vorgesehen, dass im Falle einer Begrenzung des Bildausschnitts durch die Abmessungen eines der Bildsensoren, der oder die jeweils anderen Bildausschnitt(e) entsprechend begrenzt werden.In one embodiment, it is provided that the defined image sections are or will be selected to be the same size. This ensures that an identical image section is provided for each of the multiple, in particular two, channels. This enables undisturbed perception by a user, particularly in the case of a stereoscopic display, since the same object area can be displayed for each of the multiple, in particular two, channels and can be displayed by the user without impairment, in particular largely congruently. In particular, it is provided that if the image section is limited by the dimensions of one of the image sensors, the other image section(s) are limited accordingly.

In einer Ausführungsform ist vorgesehen, dass zusätzlich eine relative Verdrehung (welche auch als relative Rotation bezeichnet werden kann) der erfassten Abbildungen der Kanäle zueinander bestimmt wird, wobei hierzu mindestens ein Merkmal in den erfassten Abbildungen identifiziert wird und eine Bewegungsrichtung einer über die mindestens zwei Vergrößerungsstufen hinweg erfolgenden Bewegung des mindestens einen identifizierten Merkmals in den erfassten Abbildungen bestimmt und ausgewertet wird, und wobei die bestimmte relative Verdrehung zumindest für die festgelegten Bildausschnitte durch Anpassen mindestens eines der Bildausschnitte und/oder durch Bildbearbeitung korrigiert wird. Hierdurch kann auch eine relative Verdrehung der erfassten Abbildungen der Kanäle zueinander digital korrigiert werden. Insbesondere wird hierbei eine Bewegungsrichtung des mindestens einen Merkmals in Bezug auf das identifizierte Vergrößerungszentrum bestimmt. Bewegt sich ein Merkmal beispielsweise in den erfassten Abbildungen eines der Kanäle relativ zum Vergrößerungszentrum nach oben und in den erfassten Abbildungen eines anderen der Kanäle nach rechts, so sind die erfassten Abbildungen der Kanäle bzw. die Kameras bezüglich des abgebildeten Bildinhalts bzw. Erfassungsbereichs zueinander um 90° gedreht. Auch für weniger große Werte kann auf diese Weise eine relative Verdrehung bestimmt und anschließend durch Anpassen mindestens eines der Bildausschnitte und/oder durch Bildbearbeitung korrigiert werden. Das Anpassen kann beispielsweise eine die relative Verdrehung kompensierende (d.h. entgegengerichtete) Drehung des Bildausschnitts umfassen. Hierbei kann vorgesehen sein, dass der Bildausschnitt neu festgelegt wird, das heißt, erneut in verdrehter Orientierung aus der erfassten Abbildung ausgeschnitten wird. Alternativ kann ein Inhalt des bereits festgelegten und ausgeschnittenen Bildausschnitts lediglich entsprechend der relativen Verdrehung gedreht werden, ohne dass erneut aus der erfassten Abbildung ausgeschnitten wird, wobei dann über den ursprünglichen festgelegten Bildausschnitt überstehende Bereiche verworfen werden und in den ursprünglich festgelegten Bildausschnitt hineinwandernde Bereiche aufgefüllt werden, beispielsweise durch schwarz gefärbte Bildelemente.In one embodiment, it is provided that a relative twist (which can also be referred to as relative rotation) of the captured images of the channels is additionally determined with respect to one another, whereby at least one feature is identified in the captured images and a direction of movement of a movement of the at least one identified feature in the captured images over the at least two magnification levels is determined and evaluated, and whereby the determined relative twist is corrected at least for the defined image sections by adjusting at least one of the image sections and/or by image processing. This also allows a relative twist of the captured images of the channels with respect to one another to be digitally corrected. In particular, a direction of movement of the at least one feature with respect to the identified magnification center is determined. If, for example, a feature moves upwards relative to the magnification center in the captured images of one of the channels and to the right in the captured images of another of the channels, the captured images of the channels or the cameras are rotated by 90° with respect to the image content or detection area depicted. Even for smaller values, a relative rotation can be determined in this way and then corrected by adjusting at least one of the image sections and/or by image processing. The adjustment can, for example, comprise a rotation of the image section that compensates for the relative rotation (ie in the opposite direction). In this case, it can be provided that the image section is redefined, i.e., it is cut out again from the captured image in a rotated orientation. Alternatively, a content of the already defined and cut out image section can only be rotated in accordance with the relative rotation, without being cut out again from the captured image, in which case areas that protrude beyond the originally defined image section are discarded and areas that move into the originally defined image section are filled, for example with black image elements.

In einer Ausführungsform ist vorgesehen, dass zusätzlich für mindestens einen Kanal eine absolute Verdrehung (welche auch als absolute Rotation bezeichnet werden kann) anhand von erfassten Abbildungen bestimmt wird, wobei der mindestens eine Kanal des mehrkanaligen Mikrokops hierzu mittels mindestens einer aktiv bewegbaren Achse des Visualisierungssystems verschoben wird, wobei zumindest einer der festgelegten Bildausschnitte zusätzlich oder alternativ durch Anpassen des Bildausschnitts und/oder durch Bildbearbeitung unter Berücksichtigung der bestimmten absoluten Verdrehung korrigiert wird. Hierdurch kann der mindestens eine Bildausschnitt auch absolut ausgerichtet werden mit Bezug auf die mindestens eine bewegbare Achse. Die mindestens eine bewegbare Achse ist hierbei insbesondere eine Linearachse des medizinischen Visualisierungssystems, welche beispielsweise mittels einer hierfür eingerichteten Aktorik des medizinischen Visualisierungssystems angetrieben werden kann. Insbesondere ist die mindestens eine bewegbare Achse eine Linearachse mit einer Bewegungsrichtung senkrecht zu einem (Haupt-)Strahlengang der Kanäle des medizinischen Visualisierungssystems. Das Anpassen des oder der Bildausschnitte kann dann ebenfalls in der bereits voranstehend beschriebenen Art und Weise erfolgen.In one embodiment, it is provided that an absolute twist (which can also be referred to as absolute rotation) is additionally determined for at least one channel based on captured images, wherein the at least one channel of the multi-channel microscope is moved for this purpose by means of at least one actively movable axis of the visualization system, wherein at least one of the defined image sections is additionally or alternatively corrected by adjusting the image section and/or by image processing taking into account the determined absolute twist. As a result, the at least one image section can also be absolutely aligned with respect to the at least one movable axis. The at least one movable axis is in particular a linear axis of the medical visualization system, which can be driven, for example, by means of an actuator system of the medical visualization system set up for this purpose. In particular, the at least one movable axis is a linear axis with a direction of movement perpendicular to a (main) beam path of the channels of the medical visualization system. The adjustment of the image section(s) can then also take place in the manner already described above.

In einer Ausführungsform ist vorgesehen, dass beim Bestimmen der Vergrößerungszentren und/oder der Verdrehung(en) ein Referenzkalibrierobjekt verwendet wird. Hierdurch kann das Bestimmen verbessert werden, da ein hierfür optimiertes Objekt zum Kalibrieren verwendet wird. Das Referenzkalibrierobjekt kann beispielsweise kontraststarke Merkmale, beispielsweise ein Schachbrettmuster, ein Linienmuster und/oder dergleichen, umfassen, welche in den erfassten Abbildungen gut zu detektieren und auszuwerten sind.In one embodiment, a reference calibration object is used when determining the magnification centers and/or the rotation(s). This can improve the determination because an object optimized for this purpose is used for calibration. The reference calibration object can, for example, include high-contrast features, such as a checkerboard pattern, a line pattern and/or the like, which can be easily detected and evaluated in the captured images.

In einer Ausführungsform ist vorgesehen, dass das Kalibrieren nach einer Inbetriebnahme und/oder vor einem Herunterfahren des medizinischen Visualisierungssystems und/oder in vorgegebenen Zeitabständen und/oder zu vorgegebenen Zeitpunkten und/oder nach einer vorgegebenen Anzahl von Betriebszyklen automatisch durchgeführt wird. Hierdurch kann das Kalibrieren wiederholt und automatisch durchgeführt werden. Dies verbessert eine Kalibrierung des medizinischen Visualisierungssystems. Insbesondere kann das Anwachsen eines Kalibrierungsfehlers verhindert werden, wenn wiederholt, insbesondere regelmäßig, kalibriert wird. Es kann beispielsweise vorgesehen sein, das Kalibrieren automatisch nach dem Einschalten (Inbetriebnahme) des medizinischen Visualisierungssystems durchzuführen. Das medizinische Visualisierungssystem führt das Verfahren dann mindestens einmal aus, bevor es für einen normalen Betrieb einsatzbereit ist. Zusätzlich oder alternativ kann das Verfahren vor dem Abschalten (Herunterfahren) des medizinischen Visualisierungssystems mindestens einmal durchgeführt werden. Erst im Anschluss des Kalibrierens wird das medizinische Visualisierungssystem abgeschaltet und/oder in einen Ruhezustand (Stand-by) versetzt. Ferner kann vorgesehen sein, dass in einem Speicher der Steuereinrichtung ein oder mehrere vorgegebene Zeitabstände hinterlegt sind, in denen das medizinische Visualisierungssystem das Verfahren durchführen soll. Nach Ablauf des oder der festgelegten Zeitabstände wird das Verfahren automatisch ausgeführt. Weiter kann vorgesehen sein, dass vorgegebene Zeitpunkte, zu denen das Kalibrieren ausgeführt werden soll, in dem Speicher der Steuereinrichtung hinterlegt sind. Die Zeitpunkte können hierbei sowohl als reguläre Daten (Datum und Uhrzeit, Wochentag und Uhrzeit etc.) und/oder als Betriebsstunden (z.B. nach 10, 20, 30,... Betriebsstunden etc.) vorgegeben sein. Die vorgegebene Anzahl von Betriebszyklen kann im Speicher der Steuereinrichtung hinterlegt sein. Ein einziger Betriebszyklus umfasst hierbei insbesondere die Inbetriebnahme (Einschalten oder Aktivieren aus dem Ruhezustand) bis zum Abschluss des Herunterfahrens. Die Steuereinrichtung prüft in jedem Fall, ob die jeweils vorgegebene Bedingung oder die jeweils vorgegebenen Bedingungen erfüllt sind und führt das Verfahren aus, wenn dies der Fall ist. Es kann hierbei vorgesehen sein, dass das Ausführen des Kalibrierens verschoben wird und erst dann erfolgt, wenn ein normaler Betrieb beendet wurde, um den normalen Betrieb des medizinischen Visualisierungssystems, das heißt, die Verwendung in der Chirurgie oder Diagnostik, nicht zu beeinträchtigen.In one embodiment, it is provided that the calibration is carried out automatically after commissioning and/or before shutting down the medical visualization system and/or at predetermined time intervals and/or at predetermined times and/or after a predetermined number of operating cycles. This allows the calibration to be carried out repeatedly and automatically. This improves the calibration of the medical visualization system. In particular, the growth of a calibration error can be prevented if calibration is carried out repeatedly, in particular regularly. For example, it can be provided that the calibration is carried out automatically after the medical visualization system is switched on (commissioning). The medical visualization system then carries out the method at least once before it is ready for normal operation. Additionally or alternatively, the method can be carried out at least once before the medical visualization system is switched off (shutdown). Only after calibration is the medical visualization system switched off and/or put into a standby state. Furthermore, it can be provided that one or more predetermined time intervals are stored in a memory of the control device at which the medical visualization system should carry out the method. After the specified time interval(s) has elapsed, the process is carried out automatically. It can also be provided that specified times at which the calibration is to be carried out are stored in the memory of the control device. The times can be specified both as regular data (date and time, day of the week and time, etc.) and/or as operating hours (e.g. after 10, 20, 30,... operating hours, etc.). The specified number of operating cycles can be stored in the memory of the control device. A single operating cycle here includes in particular commissioning (switching on or activating from sleep mode) until shutdown is complete. The control device always checks whether the specified condition or conditions are met and carries out the process if this is the case. It can be provided that the execution of the calibration is postponed and only takes place when normal operation has ended in order not to affect the normal operation of the medical visualization system, i.e. use in surgery or diagnostics.

In einer Ausführungsform ist vorgesehen, dass das Kalibrieren während eines normalen Betriebs des medizinischen Visualisierungssystems ausgeführt wird, wenn eine Vergrößerung geändert wird und hierzu mindestens zwei Vergrößerungsstufen eingestellt werden. Hierdurch kann das Kalibrieren auch während des normalen Betriebs durchgeführt werden, sodass ein kontinuierliches Überprüfen und Korrigieren einer Verschiebung und/oder (relativen) Verdrehung möglich ist.In one embodiment, the calibration is carried out during normal operation of the medical visualization system when a magnification is changed and at least two magnification levels are set for this purpose. This allows the calibration ren can also be carried out during normal operation, so that a continuous checking and correction of any displacement and/or (relative) rotation is possible.

In einer Ausführungsform ist vorgesehen, dass die Vergrößerungszentren und/oder die Verdrehung(en) mittels eines Verfahrens der Künstlichen Intelligenz und/oder mittels Bestimmen des optischen Flusses bestimmt werden. Beispielsweise kann ein trainiertes Maschinenlernverfahren, beispielsweise ein trainiertes Neuronales Netz, hierzu verwendet werden. Das Maschinenlernverfahren wird beispielsweise mit Hilfe von Trainingsdaten trainiert. Jeder Trainingsdatensatz umfasst eine Mehrzahl an Abbildungen, die in unterschiedlichen Vergrößerungsstufen gewonnen wurden, zu denen ein Vergrößerungszentrum als Grundwahrheit bekannt ist, beispielsweise als x-y-Koordinate in einem kartesischen Koordinatensystem, in dem die Abbildungen (bzw. die Bildelemente in den Abbildungen) beschrieben werden können. Anhand dieser Trainingsdaten wird das Maschinenlernverfahren trainiert. Anschließend können dem trainierten Maschinenlernverfahren in einer Anwendungsphase erfasste Abbildungen als Eingangsdaten zugeführt werden, die in unterschiedlichen Vergrößerungsstufen erfasst wurden. Das trainierte Maschinenlernverfahren schätzt dann das Vergrößerungszentrum (in Form einer x-y-Koordinate) ausgehend von diesen Eingangsdaten.In one embodiment, it is provided that the magnification centers and/or the rotation(s) are determined by means of an artificial intelligence method and/or by determining the optical flow. For example, a trained machine learning method, such as a trained neural network, can be used for this purpose. The machine learning method is trained, for example, using training data. Each training data set comprises a plurality of images that were obtained at different magnification levels, for which a magnification center is known as the ground truth, for example as an x-y coordinate in a Cartesian coordinate system in which the images (or the image elements in the images) can be described. The machine learning method is trained using this training data. Images captured at different magnification levels that were captured in an application phase can then be fed to the trained machine learning method as input data. The trained machine learning method then estimates the magnification center (in the form of an x-y coordinate) based on this input data.

In einer Ausführungsform ist vorgesehen, dass eine Wartungsaufforderung und/oder Justieraufforderung erzeugt und ausgegeben wird, wenn mindestens einer der festgelegten Bildausschnitte an einen Rand der vom Bildsensor der jeweiligen Kamera bereitgestellten Abbildung grenzt oder diesen überschreitet. Hierdurch kann eine Wartung und/oder eine Justage veranlasst werden, wenn eine Verschiebung zwischen den Kameras der mehreren Kanäle zu groß ist oder zu groß zu werden droht. Es kann ferner ein jeweiliger Abstand eines Randes der Bildausschnitte zum Rand der jeweils zugehörigen erfassten Abbildung bestimmt und ausgewertet werden und beispielsweise mit einem vorgegebenen Schwellwert verglichen werden, dessen Unterschreiten das Erzeugen und Ausgeben der Wartungsaufforderung und/oder Justieraufforderung veranlasst. Hierbei kann auch ein zeitlicher Trend dieses Abstandes ausgewertet und für eine vorausschauende Wartungsaufforderung und/oder Justieraufforderung nutzbar gemacht werden.In one embodiment, it is provided that a maintenance request and/or adjustment request is generated and output if at least one of the defined image sections borders on or exceeds an edge of the image provided by the image sensor of the respective camera. This can initiate maintenance and/or adjustment if a shift between the cameras of the multiple channels is too large or threatens to become too large. Furthermore, a respective distance of an edge of the image sections to the edge of the respectively associated captured image can be determined and evaluated and, for example, compared with a predetermined threshold value, below which the maintenance request and/or adjustment request is generated and output. A temporal trend of this distance can also be evaluated and used for a predictive maintenance request and/or adjustment request.

In einer Ausführungsform ist vorgesehen, dass mindestens drei Vergrößerungsstufen eingestellt werden, wobei jeweils Vergrößerungszentren durch Berücksichtigung von jeweils zumindest zwei einander benachbarten Vergrößerungsstufen der mindestens drei Vergrößerungsstufen bestimmt werden, wobei eine Streuung der bestimmten Vergrößerungszentren ausgewertet wird. Hierdurch kann ein Gütekriterium zur Beurteilung der Güte der Vergrößerungsoptik bereitgestellt werden, insbesondere für jeden der Kanäle. Nachfolgend wird zur Illustration ein Beispiel für drei Vergrößerungsstufen gegeben: Es werden Abbildungen auf drei Vergrößerungsstufen (1, 2 und 3) erfasst. Durch eine Kombination der Vergrößerungsstufe 1 und Vergrößerungsstufe 2 kann (für jeden Kanal) ein erstes Vergrößerungszentrum in den erfassten Abbildungen bestimmt werden, durch eine Kombination der Vergrößerungsstufe 2 und Vergrößerungsstufe 3 kann (für jeden Kanal) ein zweites Vergrößerungszentrum in den erfassten Abbildungen bestimmt werden. Werden weitere Vergrößerungsstufen eingestellt, so ergeben sich entsprechend weitere Kombinationen. Es können hierbei auch mehr als nur zwei (benachbarte) Vergrößerungsstufen beim Bestimmen eines Vergrößerungszentrums berücksichtigt werden. Im idealen Fall werden die bestimmten Vergrößerungszentren immer die gleichen Koordinaten (Bildelementkoordinaten) aufweisen. Weichen die Koordinaten der bestimmten Vergrößerungszentren jedoch voneinander ab, so kann dies als Gütekriterium für die Vergrößerungsoptik herangezogen werden. Im Rahmen der Auswertung kann die Streuung der bestimmten Vergrößerungszentren (bzw. der zugehörigen Bildelementkoordinaten) um einen Mittelwert herum insbesondere mit einem vorgegebenen Grenzwert verglichen werden. Wird der vorgegebene Grenzwert überschritten, so kann dies einem Nutzer mitgeteilt werden, beispielsweise in Form einer Nachricht und/oder eines Signals (ausgegeben z.B. mittels eines Signalgebers und/oder mittels einer Anzeigeeinrichtung). Ein Nutzer kann dann eine Justage und/oder Kalibrierung vornehmen oder veranlassen und/oder Komponenten können ausgetauscht werden. Alternativ oder zusätzlich kann das Überschreiten des vorgegebenen Grenzwertes auch in einem Speicher der Steuereinrichtung des medizinischen Mikroskops hinterlegt werden, sodass diese Information bei einer nachfolgenden Wartung abgerufen werden kann und/oder eine Wartung geplant werden kann.In one embodiment, it is provided that at least three magnification levels are set, with magnification centers being determined by taking into account at least two adjacent magnification levels of the at least three magnification levels, with a scatter of the determined magnification centers being evaluated. This makes it possible to provide a quality criterion for assessing the quality of the magnification optics, in particular for each of the channels. An example of three magnification levels is given below for illustration purposes: Images are captured at three magnification levels (1, 2 and 3). By combining magnification level 1 and magnification level 2, a first magnification center can be determined in the captured images (for each channel), and by combining magnification level 2 and magnification level 3, a second magnification center can be determined in the captured images (for each channel). If further magnification levels are set, further combinations result accordingly. More than just two (adjacent) magnification levels can also be taken into account when determining a magnification center. Ideally, the specific magnification centers will always have the same coordinates (image element coordinates). However, if the coordinates of the specific magnification centers differ from one another, this can be used as a quality criterion for the magnification optics. As part of the evaluation, the scatter of the specific magnification centers (or the associated image element coordinates) around a mean value can be compared, in particular, with a specified limit value. If the specified limit value is exceeded, this can be communicated to a user, for example in the form of a message and/or a signal (output, for example, by means of a signal generator and/or by means of a display device). A user can then carry out or arrange an adjustment and/or calibration and/or components can be replaced. Alternatively or additionally, the exceedance of the specified limit value can also be stored in a memory of the control device of the medical microscope so that this information can be called up during subsequent maintenance and/or maintenance can be planned.

In einer Ausführungsform ist vorgesehen, dass mindestens drei Vergrößerungsstufen eingestellt werden, wobei jeweils Vergrößerungszentren durch Berücksichtigung von jeweils zumindest zwei einander benachbarten Vergrößerungsstufen der mindestens drei Vergrößerungsstufen bestimmt werden, wobei die Bildausschnitte der Kanäle jeweils ausgehend von einer eingestellten Vergrößerungsstufe und den hierfür jeweils bestimmten Vergrößerungszentren festgelegt werden, wenn unterschiedliche Vergrößerungszentren auf unterschiedlichen Vergrößerungsstufen festgestellt werden und/oder eine Streuung der bestimmten Vergrößerungszentren einen vorgegebenen Grenzwert überschreitet. Hierdurch können Bildausschnitte in Abhängigkeit der eingestellten Vergrößerungsstufe jeweils individuell festgelegt werden, wenn die für die Vergrößerungsstufen (zumindest abschnittsweise) bestimmten Vergrößerungszentren zu stark voneinander abweichen, das heißt, wenn eine Position der bestimmten Vergrößerungszentren zu stark (um einen Mittelwert) streut. Wird anschließend eine Vergrößerungsstufe eingestellt, so werden mit der eingestellten Vergrößerungsstufe korrespondierende, beispielsweise in einem Speicher der Steuereinrichtung des medizinischen Visualisierungssystems hinterlegte, Bildausschnitte festgelegt und die Ausgabe der erfassten Abbildungen entsprechend beschränkt. Zum Feststellen von unterschiedlichen Vergrößerungszentren kann beispielsweise eine Abweichung der Position zwischen zwei bestimmten Vergrößerungszentren bestimmt und mit einem für eine solche Abweichung vorgegebenen Grenzwert verglichen werden. Ist der vorgegebene Grenzwert für die Abweichung (oder die Streuung) überschritten, so werden die jeweiligen Bildausschnitte für jede Vergrößerungsstufe oder für Gruppen von Vergrößerungsstufen individuell festgelegt und eingestellt.In one embodiment, it is provided that at least three magnification levels are set, wherein magnification centers are determined by taking into account at least two adjacent magnification levels of the at least three magnification levels, wherein the image sections of the channels are each determined based on a set magnification level and the magnification centers determined for this purpose, if different magnification centers are determined at different magnification levels and/or a scatter of the determined magnification centers exceeds a predetermined limit value. This allows image sections to be individually defined depending on the magnification level set if the magnification centers defined for the magnification levels (at least in sections) deviate too greatly from one another, i.e. if a position of the defined magnification centers scatters too greatly (around a mean value). If a magnification level is then set, image sections corresponding to the set magnification level, for example stored in a memory of the control device of the medical visualization system, are defined and the output of the captured images is restricted accordingly. To determine different magnification centers, for example, a deviation in the position between two specific magnification centers can be determined and compared with a limit value specified for such a deviation. If the specified limit value for the deviation (or the scatter) is exceeded, the respective image sections are individually defined and set for each magnification level or for groups of magnification levels.

In einer Ausführungsform ist vorgesehen, dass mindestens ein gleiches Merkmal in den für die Kanäle jeweils festgelegten Bildausschnitten erkannt wird, wobei eine jeweilige Position des mindestens einen erkannten gleichen Merkmals in den jeweiligen Bildausschnitten der Kanäle bestimmt wird, wobei eine Abweichung zwischen den für die Kanäle jeweils bestimmten Positionen bestimmt und ausgewertet wird. Hierdurch kann ein Gütekriterium zur Beurteilung der Güte der Vergrößerungsoptik bereitgestellt werden. Ist die bestimmte Abweichung zu groß, bedeutet dies, dass die Vergrößerungsoptik und/oder eine Komponente schlecht justiert sind oder die optischen Komponenten eine mangelhafte Güte aufweisen. Es kann beispielsweise vorgesehen sein, dass die bestimmte Abweichung mit einem hierfür vorgegebenen Schwellwert verglichen wird. Wird der vorgegebene Grenzwert überschritten, so kann dies einem Nutzer mitgeteilt werden, beispielsweise in Form einer Nachricht und/oder eines Signals (ausgegeben z.B. mittels eines Signalgebers und/oder mittels einer Anzeigeeinrichtung). Ein Nutzer kann dann eine Justage vornehmen oder veranlassen und/oder Komponenten können ausgetauscht werden. Es kann vorgesehen sein, dass die Schritte jeweils für einzelne Vergrößerungsstufen durchgeführt werden. Hierdurch kann dann zusätzlich überprüft werden, ob eine Skalierung (Vergrößerung) von beiden Kanälen gleich groß ist.In one embodiment, it is provided that at least one identical feature is recognized in the image sections defined for the channels, wherein a respective position of the at least one identical feature recognized in the respective image sections of the channels is determined, wherein a deviation between the positions defined for the channels is determined and evaluated. This can provide a quality criterion for assessing the quality of the magnification optics. If the determined deviation is too large, this means that the magnification optics and/or a component are poorly adjusted or the optical components are of poor quality. It can be provided, for example, that the determined deviation is compared with a threshold value specified for this purpose. If the specified limit value is exceeded, this can be communicated to a user, for example in the form of a message and/or a signal (output, for example, by means of a signal generator and/or by means of a display device). A user can then carry out or initiate an adjustment and/or components can be replaced. It can be provided that the steps are carried out for individual magnification levels. This also makes it possible to check whether the scaling (magnification) of both channels is the same.

In einer Ausführungsform ist vorgesehen, dass das medizinische Visualisierungssystem als stereoskopisches medizinisches Visualisierungssystem mit mindestens zwei Kanälen ausgebildet ist.In one embodiment, the medical visualization system is designed as a stereoscopic medical visualization system with at least two channels.

Weitere Merkmale zur Ausgestaltung des medizinischen Visualisierungssystems ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des medizinischen Visualisierungssystems sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.Further features for the design of the medical visualization system emerge from the description of embodiments of the method. The advantages of the medical visualization system are the same as in the embodiments of the method.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

1 eine schematische Darstellung einer Ausführungsform des medizinischen Visualisierungssystems;
2a, 2b schematische Darstellungen zur Verdeutlichung des Verfahrens und der medizinischen Visualisierungseinrichtung;
3 eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems;
4 eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems;
5 eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems;
6 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens.

The invention is explained in more detail below using preferred embodiments with reference to the figures.

1 a schematic representation of an embodiment of the medical visualization system;
2a , 2 B schematic representations to illustrate the procedure and the medical visualization device;
3 a schematic representation to illustrate an embodiment of the method and the medical visualization system;
4 a schematic representation to illustrate another embodiment of the method and the medical visualization system;
5 a schematic representation to illustrate another embodiment of the method and the medical visualization system;
6 a schematic flow diagram of an embodiment of the method.

Die 1 zeigt eine schematische Darstellung einer Ausführungsform des medizinischen Visualisierungssystems 1. Das medizinische Visualisierungssystem 1 ist insbesondere ein stereoskopisches medizinisches Visualisierungssystem 2, insbesondere ein stereoskopisches Operationsmikroskop. Das medizinisches Visualisierungssystem 1 weist zwei Kanäle 3L, 3R auf (welche auch als optische Pfade bezeichnet werden können). Die beiden Kanäle 3L, 3R bilden einen Erfassungsbereich 20, insbesondere ein Operationsgebiet, ab.The 1 shows a schematic representation of an embodiment of the medical visualization system 1. The medical visualization system 1 is in particular a stereoscopic medical visualization system 2, in particular a stereoscopic surgical microscope. The medical visualization system 1 has two channels 3L, 3R (which can also be referred to as optical paths). The two channels 3L, 3R form a detection area 20, in particular an operation area.

Das medizinische Visualisierungssystem 1 weist ein Objektiv 4, eine gemeinsame mechanische Vergrößerungsoptik 5, eine Strahlteilereinheit 6, einen Binokulartubus 7 und Okulare 8 auf. Weiter weist das medizinische Visualisierungssystem 1 für jeden der Kanäle 3L, 3R eine Kamera 9L, 9R sowie eine Steuereinrichtung 10 auf. Die Darstellung in der 1 ist stark vereinfacht und dient insbesondere zur Erläuterung und Verdeutlichung des in dieser Offenbarung beschriebenen Verfahrens.The medical visualization system 1 has a lens 4, a common mechanical magnification optics 5, a beam splitter unit 6, a binocular tube 7 and eyepieces 8. The medical visualization system 1 also has a camera 9L, 9R and a control device 10 for each of the channels 3L, 3R. The representation in the 1 is highly simplified and serves in particular to explain and clarify the method described in this disclosure.

Die Strahlteilereinheit 6 weist für jeden der Kanäle 3L, 3R einen Strahlteiler 6L, 6R auf, welche den abgebildeten Bildinhalt bzw. Erfassungsbereich 20 sowohl in Richtung der Okulare 8 als auch in Richtung der Kameras 9L, 9R lenken. Die Kameras 9L, 9R erfassen mit Hilfe von Bildsensoren 11L, 11R den jeweils über das Objektiv 4, die gemeinsame mechanische Vergrößerungsoptik 5 und den jeweiligen Strahlteiler 6L, 6R abgebildeten Erfassungsbereich 20 und stellen die von den Bildsensoren 11 L, 11R erfassten der Steuereinrichtung 10 bereit.The beam splitter unit 6 has a beam splitter 6L, 6R for each of the channels 3L, 3R, which direct the image content or detection area 20 both in the direction of the eyepieces 8 and in the direction of the cameras 9L, 9R. The cameras 9L, 9R use image sensors 11L, 11R to capture the detection area 20 imaged via the lens 4, the common mechanical magnification optics 5 and the respective beam splitter 6L, 6R and provide the images captured by the image sensors 11L, 11R. the control device 10.

Die Steuereinrichtung 10 umfasst eine Recheneinrichtung 10-1 und einen Speicher 10-2. Die Steuereinrichtung 10 ist dazu eingerichtet, zum Kalibrieren ein jeweiliges Vergrößerungszentrum 15L, 15R (2a und 2b) für jeden der Kanäle 3L, 3R zu bestimmen. Hierzu steuert die Steuereinrichtung 10 eine Aktorik der gemeinsamen mechanischen Vergrößerungsoptik 5 mittels eines Steuersignals 40 derart an, dass mindestens zwei Vergrößerungsstufen (nacheinander) mechanisch eingestellt werden. Zeitgleich werden auf den mehreren Vergrößerungsstufen erfasst und der Steuereinrichtung 10 zum Auswerten zugeführt.The control device 10 comprises a computing device 10-1 and a memory 10-2. The control device 10 is designed to calibrate a respective magnification center 15L, 15R ( 2a and 2 B) for each of the channels 3L, 3R. For this purpose, the control device 10 controls an actuator of the common mechanical magnification optics 5 by means of a control signal 40 in such a way that at least two magnification levels are set mechanically (one after the other). At the same time, the multiple magnification levels recorded and fed to the control device 10 for evaluation.

In den , die mittels der jeweiligen Kamera 9L, 9R auf den mindestens zwei Vergrößerungsstufen erfasst werden, identifiziert die Steuereinrichtung 10 für jeden der Kanäle 3L, 3R einen Bildbereich, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt. Ausgehend von den bestimmten Vergrößerungszentren wählt die Steuereinrichtung 10 für jeden der Kanäle 3L, 3R einen Bildausschnitt 13L, 13R in den erfassten mit dem jeweils identifizierten Vergrößerungszentrum als Mittelpunkt aus (vgl. 2a und 2b).In the , which are recorded by the respective camera 9L, 9R at the at least two magnification levels, the control device 10 identifies an image area for each of the channels 3L, 3R that does not move or moves the least across the magnification levels. Based on the determined magnification centers, the control device 10 selects an image section 13L, 13R for each of the channels 3L, 3R in the recorded with the identified magnification center as the center (cf. 2a and 2 B) .

Bei einer Ausgabe 13 beschränkt die Steuereinrichtung 10 dann die erfassten in allen Vergrößerungsstufen auf die für den jeweiligen Kanal 3L, 3R festgelegten Bildausschnitt 13L, 13R. Hierzu beschneidet die Steuereinrichtung 10 die erfassten auf die festgelegten Bildausschnitte 13L, 13R. Anders ausgedrückt wird nach dem Kalibrieren für alle Vergrößerungsstufen stets nur der jeweils festgelegte Bildausschnitt 13L, 13R der erfassten als Ausgabe 13 bereitgestellt. Der festgelegte Bildausschnitt 13L, 13R entspricht hierbei insbesondere einem Ausschnitt von Bildelementen aus den erfassten , der über alle Vergrößerungsstufen hinweg in Bezug auf die umfassten Bildelemente der erfassten gleichbleibt (hat eine erfasste Abbildung beispielsweise 1024x768 Bildelemente, so kann der Bildausschnitt in einem hierdurch definierten Koordinatensystem beispielsweise durch Angabe der folgenden beiden Eckpunkte definiert sein: (250,250) und (850,750); der Bildausschnitt würde sich dann über alle Vergrößerungsstufen hinweg auf der x-Achse des Koordinatensystem vom 250. Bildelement bis zum 850. Bildelement und auf der y-Achse vom 250. Bildelement bis zum 750. Bildelement aufspannen). Selbstverständlich kann ein von dem jeweiligen Bildausschnitt 13L, 13R umfasster Bildinhalt sich bei Ändern der Vergrößerungsstufen ändern, da sich ein erfasster Ausschnitt des Erfassungsbereichs ändert.In the case of an output 13, the control device 10 then limits the detected in all magnification levels to the image sections 13L, 13R defined for the respective channel 3L, 3R. For this purpose, the control device 10 crops the captured to the defined image sections 13L, 13R. In other words, after calibration, for all magnification levels, only the defined image section 13L, 13R of the captured provided as output 13. The defined image section 13L, 13R corresponds in particular to a section of image elements from the recorded , which, across all magnification levels, relates to the image elements included in the captured remains the same (if a captured image has, for example, 1024x768 image elements, the image section can be defined in a coordinate system defined by this, for example, by specifying the following two corner points: (250,250) and (850,750); the image section would then span across all magnification levels on the x-axis of the coordinate system from the 250th image element to the 850th image element and on the y-axis from the 250th image element to the 750th image element). Of course, an image content encompassed by the respective image section 13L, 13R can change when the magnification levels are changed, since a captured section of the detection area changes.

Die Ausgabe 13, das heißt, die beschnittenen erfassten bzw. die Bildausschnitte 13L, 13R, kann beispielsweise auf einer (stereoskopischen) Anzeigeeinrichtung 14 ausgegeben, insbesondere angezeigt, werden.Issue 13, that is, the trimmed captured or the image sections 13L, 13R, can be output, in particular displayed, for example on a (stereoscopic) display device 14.

Die 2a und 2b zeigen schematische Darstellungen zur Verdeutlichung des Verfahrens und der medizinischen Visualisierungseinrichtung. Gezeigt sind schematische Darstellungen der erfassten . Die korrespondieren mit den von den Bildsensoren 11 L, 11R (1) der Kameras 9L, 9R (1) bereitgestellten Daten. In den 2a und 2b schematisch angedeutet sind einzelne Bildelemente 16 (der Übersichtlichkeit halber sind nur einige mit einem Bezugszeichen versehen) der erfassten . Ferner gezeigt sind die identifizierten Vergrößerungszentren 15L, 15R in beiden . Die Vergrößerungszentren 15L, 15R korrespondieren hierbei insbesondere mit demjenigen Bildbereich, der sich über die mindestens zwei Vergrößerungsstufen hinweg nicht oder am wenigsten bewegt. Die Vergrößerungszentren 15L, 15R werden hierbei insbesondere als Bildelementkoordinate in einem Koordinatensystem (z.B. mit einer x-Achse und einer y-Achse) der ausgedrückt.The 2a and 2 B show schematic representations to illustrate the procedure and the medical visualization device. Shown are schematic representations of the recorded . The correspond to the images captured by the image sensors 11 L, 11R ( 1 ) of cameras 9L, 9R ( 1 ) provided data. In the 2a and 2 B schematically indicated are individual image elements 16 (for the sake of clarity only some are provided with a reference symbol) of the recorded Also shown are the identified magnification centers 15L, 15R in both . The magnification centers 15L, 15R correspond in particular to the image area that does not move or moves the least over the at least two magnification levels. The magnification centers 15L, 15R are in particular defined as image element coordinates in a coordinate system (e.g. with an x-axis and a y-axis) of the expressed.

Jeweils ausgehend von den jeweils bestimmten Vergrößerungszentren 15L, 15R wird für jeden der Kanäle ein Bildausschnitt 13L, 13R in den erfassten mit dem jeweils identifizierten Vergrößerungszentrum 15L, 15R als Mittelpunkt festgelegt. Zur Verdeutlichung ist vorliegend der Fall gezeigt, in dem die Kameras nicht perfekt justiert sind, sodass die bestimmten Vergrößerungszentren 15L, 15R nicht im Mittelpunkt der gesamten erfassten angeordnet sind.Starting from the respective magnification centers 15L, 15R, an image section 13L, 13R is captured for each of the channels in the with the identified magnification center 15L, 15R as the center. To illustrate this, the case shown here is one in which the cameras are not perfectly aligned, so that the determined magnification centers 15L, 15R are not in the center of the entire recorded are arranged.

Die werden zur Ausgabe auf die Bildausschnitte 13L, 13R beschränkt, das heißt, die werden insbesondere durch Bildbearbeitung derart beschnitten, dass nur die ausgewählten Bildausschnitte 13L, 13R als Ausgabe bereitgestellt werden.The are limited to the image sections 13L, 13R for output, that is, the are cropped, in particular by image processing, in such a way that only the selected image sections 13L, 13R are provided as output.

Im gezeigten Beispiel sind die Größen der beiden Bildausschnitte 13L, 13R in Bezug auf eine Anzahl der Bildelemente 16 hinsichtlich Breite und Höhe gleich groß gewählt. Grundsätzlich sind aber auch unterschiedliche Größen für die Bildausschnitte 13L, 13R möglich. Dies ist insbesondere von Vorteil, wenn zumindest einer der Bildausschnitte 13L, 13R an die bildsensorbedingten Grenzen der jeweiligen angrenzt. Hier kann der betroffene Bildausschnitt 13L, 13R dann entweder nur bis zur bildsensorbedingten Grenze reichen oder ein über diese Grenze überstehender Teil des Bildausschnitts 13L, 13R wird aufgefüllt mit leeren Bildelementen, welche entsprechend gekennzeichnet werden, z.B. durch Auffüllen mit schwarzen Bildelementen.In the example shown, the sizes of the two image sections 13L, 13R are chosen to be the same in terms of width and height in relation to a number of image elements 16. In principle, however, different sizes for the image sections are also possible. 13L, 13R. This is particularly advantageous if at least one of the image sections 13L, 13R is adjacent to the image sensor-related limits of the respective Here, the affected image section 13L, 13R can then either only extend to the image sensor-related limit or a part of the image section 13L, 13R that extends beyond this limit is filled with empty image elements, which are marked accordingly, e.g. by filling with black image elements.

Es kann insbesondere vorgesehen sein, dass Abmessungen der Bildausschnitte 13L, 13R für alle Richtungen unter Berücksichtigung von Abmessungen der vom jeweiligen Bildsensor 11L, 11 R der Kameras 9L, 9R bereitgestellten festgelegt werden. Die Bildausschnitt 13L, 13R rechen dann insbesondere nur bis zur bildsensorbedingten Grenze der erfassten .In particular, it can be provided that dimensions of the image sections 13L, 13R for all directions are determined taking into account dimensions of the images provided by the respective image sensor 11L, 11R of the cameras 9L, 9R. The image sections 13L, 13R then only calculate up to the image sensor-related limit of the recorded .

Es kann vorgesehen sein, dass zusätzlich eine relative Verdrehung der erfassten der Kanäle zueinander bestimmt wird, wobei hierzu mindestens ein Merkmal in den erfassten identifiziert wird und eine Bewegungsrichtung einer über die mindestens zwei Vergrößerungsstufen hinweg erfolgenden Bewegung des mindestens einen identifizierten Merkmals in den bestimmt und ausgewertet wird, wobei die bestimmte Verdrehung zumindest für die festgelegten Bildausschnitte 13L, 13R durch Anpassen mindestens eines der Bildausschnitte 13L, 13R und/oder durch Bildbearbeitung korrigiert wird. Die Steuereinrichtung 10 ist entsprechend hierzu eingerichtet. Das Anpassen kann beispielsweise ein Drehen des mindestens einen Bildausschnitts 13L, 13R in Bezug auf die zugehörige erfasste um das Vergrößerungszentrum, das heißt den Mittelpunkt, herum umfassen. Diese Ausführungsform ist anhand der 4 näher verdeutlicht, die weiter unten beschrieben ist.It can be provided that in addition a relative rotation of the detected of the channels to each other is determined, whereby at least one feature in the recorded is identified and a direction of movement of the at least one identified feature over the at least two magnification levels in the is determined and evaluated, wherein the determined rotation is corrected at least for the defined image sections 13L, 13R by adjusting at least one of the image sections 13L, 13R and/or by image processing. The control device 10 is set up accordingly for this purpose. The adjustment can, for example, involve rotating the at least one image section 13L, 13R in relation to the associated detected around the magnification center, i.e. the center point. This embodiment is based on the 4 which is described below.

Es kann vorgesehen sein, dass für mindestens einen Kanal 3L, 3R eine absolute Verdrehung anhand von erfassten bestimmt wird, wobei der mindestens eine Kanal 3L, 3R des mehrkanaligen Visualisierungssystems 1 hierzu mittels mindestens einer aktiv bewegbaren Achse 19 (1) des Visualisierungssystems 1 verschoben wird, wobei zumindest einer der festgelegten Bildausschnitte 13L, 13R zusätzlich oder alternativ durch Anpassen des Bildausschnitts 13L, 13R und/oder durch Bildbearbeitung unter Berücksichtigung der bestimmten absoluten Verdrehung korrigiert wird. Die Steuereinrichtung 10 ist entsprechend hierzu eingerichtet. Insbesondere steuert die Steuereinrichtung 10 eine Aktorik der mindestens einen aktiv bewegbaren Achse 19 entsprechend an.It can be provided that for at least one channel 3L, 3R an absolute rotation is determined based on recorded is determined, wherein the at least one channel 3L, 3R of the multi-channel visualization system 1 is for this purpose controlled by means of at least one actively movable axis 19 ( 1 ) of the visualization system 1, wherein at least one of the defined image sections 13L, 13R is additionally or alternatively corrected by adjusting the image section 13L, 13R and/or by image processing taking into account the determined absolute rotation. The control device 10 is set up accordingly for this purpose. In particular, the control device 10 controls an actuator of the at least one actively movable axis 19 accordingly.

Es kann vorgesehen sein, dass beim Bestimmen der Vergrößerungszentren 15L, 15R (2a und 2b) und/oder der Verdrehung(en) ein Referenzkalibrierobjekt verwendet wird. Dieses kann beispielsweise kontraststarke Merkmale aufweisen, welche beim Auswerten der erfassten gut zu erkennen sind. Beispielsweise kann ein solches Referenzkalibrierobjekt bekannte Muster, wie beispielsweise ein Schachbrettmuster, Linien, Keile und/oder sonstiger Marker, umfassen.It may be provided that when determining the magnification centers 15L, 15R ( 2a and 2 B) and/or the rotation(s), a reference calibration object is used. This can, for example, have high-contrast features that are important when evaluating the recorded are easy to recognize. For example, such a reference calibration object can include known patterns, such as a checkerboard pattern, lines, wedges and/or other markers.

Es kann vorgesehen sein, dass das medizinische Visualisierungssystem 1 derart justiert ist oder justiert wird, dass die erfassten scharf gestellt sind, wenn die bestimmten Vergrößerungszentren 15L, 15R mit dem gleichen Objektpunkt zusammenfallen. Anders ausgedrückt bilden die bestimmten Vergrößerungszentren 15L, 15R den gleichen Objektpunkt ab, wenn ein Objekt im Fokus ist. Es kann insbesondere vorgesehen sein, dass dieser Verfahrensschritt, das heißt, eine entsprechende Justage, vor dem Durchführen der anderen Verfahrensschritte des Kalibrierens durchgeführt wird.It can be provided that the medical visualization system 1 is or will be adjusted in such a way that the recorded are in focus when the specific magnification centers 15L, 15R coincide with the same object point. In other words, the specific magnification centers 15L, 15R image the same object point when an object is in focus. In particular, it can be provided that this method step, i.e. a corresponding adjustment, is carried out before carrying out the other method steps of calibration.

Es kann vorgesehen sein, dass das Kalibrieren nach einer Inbetriebnahme und/oder vor einem Herunterfahren des medizinischen Visualisierungssystems 1 und/oder in vorgegebenen Zeitabständen und/oder zu vorgegebenen Zeitpunkten und/oder nach einer vorgegebenen Anzahl von Betriebszyklen automatisch durchgeführt wird. Die Steuereinrichtung 10 ist insbesondere dazu eingerichtet, die vorgegebenen Zeitabstände und/oder vorgegebenen Zeitpunkte und/oder die vorgegebene Anzahl von Betriebszyklen vorzuhalten, beispielsweise in dem Speicher 10-2, und zu überprüfen, ob die jeweils durch diese ausgedrückte Bedingung und/oder der vorgegebene Betriebszustand (Inbetriebnahme oder Herunterfahren) erfüllt ist. Ist die jeweilige Bedingung erfüllt, so startet die Steuereinrichtung 10 das Kalibrieren.It can be provided that the calibration is carried out automatically after commissioning and/or before shutting down the medical visualization system 1 and/or at predetermined time intervals and/or at predetermined times and/or after a predetermined number of operating cycles. The control device 10 is in particular set up to retain the predetermined time intervals and/or predetermined times and/or the predetermined number of operating cycles, for example in the memory 10-2, and to check whether the condition expressed by these and/or the predetermined operating state (commissioning or shutdown) is met. If the respective condition is met, the control device 10 starts the calibration.

Es kann vorgesehen sein, dass das Kalibrieren während eines normalen Betriebs des medizinischen Visualisierungssystems 1 ausgeführt wird, wenn eine Vergrößerung geändert wird und hierzu mindestens zwei Vergrößerungsstufen eingestellt werden. Die Steuereinrichtung 10 ist dazu eingerichtet, das Ändern der Vergrößerung zu erkennen und die während dieser Änderung auf den mindestens zwei Vergrößerungsstufen erfassten für das Kalibrieren in der Weise auszuwerten, wie dies bereits voranstehend beschrieben wurde.It can be provided that the calibration is carried out during normal operation of the medical visualization system 1 when a magnification is changed and at least two magnification levels are set for this purpose. The control device 10 is set up to detect the change in magnification and to record the values recorded during this change on the at least two magnification levels. for calibration in the manner described above.

Es kann vorgesehen sein, dass die Vergrößerungszentren 15L, 15R (2a und 2b) und/oder die Verdrehung(en) mittels eines Verfahrens der Künstlichen Intelligenz und/oder mittels Bestimmen des optischen Flusses bestimmt werden. Die Steuereinrichtung 10 ist entsprechend dazu eingerichtet, das Verfahren der Künstlichen Intelligenz, beispielsweise ein trainiertes Maschinenlernverfahren, beispielsweise ein trainiertes Neuronales Netz, und/oder ein Verfahren zum Bestimmen des optischen Flusses bereitzustellen und anzuwenden.It may be provided that the magnification centers 15L, 15R ( 2a and 2 B) and/or the twist(s) are determined by means of an artificial intelligence method and/or by determining the optical flow. The tax Device 10 is accordingly configured to provide and apply the artificial intelligence method, for example a trained machine learning method, for example a trained neural network, and/or a method for determining the optical flow.

Es kann vorgesehen sein, dass eine Wartungsaufforderung 17 (1) und/oder Justieraufforderung 18 (1) erzeugt und ausgegeben wird, wenn mindestens einer der festgelegten Bildausschnitte 13L, 13R an einen Rand der vom Bildsensor 11L, 11R der jeweiligen Kamera 9L, 9R bereitgestellten grenzt oder diesen überschreitet. Die Steuereinrichtung 10 ist dazu eingerichtet, zu überprüfen, ob mindestens einer der festgelegten Bildausschnitte 13L, 13R an einen Rand der vom Bildsensor 11L, 11R der jeweiligen Kamera 9L, 9R bereitgestellten grenzt oder diesen überschreitet, und bei Vorliegen dieses Falles die Wartungsaufforderung 17 und/oder die Justieraufforderung 18 zu erzeugen und auszugeben. Die Aufforderung 17, 18 kann auch auf der Anzeigeeinrichtung 14 ausgegeben werden.It may be provided that a maintenance request 17 ( 1 ) and/or adjustment request 18 ( 1 ) is generated and output when at least one of the defined image sections 13L, 13R is adjacent to an edge of the image sensor 11L, 11R of the respective camera 9L, 9R. or exceeds it. The control device 10 is designed to check whether at least one of the defined image sections 13L, 13R borders on an edge of the image sensor 11L, 11R of the respective camera 9L, 9R. limits or exceeds it, and if this is the case, to generate and output the maintenance request 17 and/or the adjustment request 18. The request 17, 18 can also be output on the display device 14.

Es kann vorgesehen sein, dass mindestens drei Vergrößerungsstufen eingestellt werden, wobei jeweils Vergrößerungszentren 15, 15L, 15R durch Berücksichtigung von jeweils zumindest zwei einander benachbarten Vergrößerungsstufen der mindestens drei Vergrößerungsstufen bestimmt werden, wobei eine Streuung (um einen Mittelwert herum) der bestimmten Vergrößerungszentren 15, 15L, 15R ausgewertet wird. Es kann beispielsweise vorgesehen sein, dass die Steuereinrichtung 10 die Streuung bestimmt und mit einem vorgegebenen Grenzwert vergleicht. Wird der vorgegebene Grenzwert überschritten, so wird dies beispielsweise einem Nutzer mitgeteilt, beispielsweise in Form einer Nachricht und/oder eines Signals (ausgegeben z.B. mittels eines Signalgebers und/oder mittels der Anzeigeeinrichtung 14).It can be provided that at least three magnification levels are set, with magnification centers 15, 15L, 15R being determined by taking into account at least two adjacent magnification levels of the at least three magnification levels, with a scatter (around a mean value) of the determined magnification centers 15, 15L, 15R being evaluated. It can be provided, for example, that the control device 10 determines the scatter and compares it with a predetermined limit value. If the predetermined limit value is exceeded, this is communicated to a user, for example in the form of a message and/or a signal (output, for example, by means of a signal generator and/or by means of the display device 14).

Es kann vorgesehen sein, dass mindestens drei Vergrößerungsstufen eingestellt werden, wobei jeweils Vergrößerungszentren 15, 15L, 15R durch Berücksichtigung von jeweils zumindest zwei einander benachbarten Vergrößerungsstufen der mindestens drei Vergrößerungsstufen bestimmt werden, wobei die Bildausschnitte 13,13L,13R der Kanäle 3L,3R jeweils ausgehend von einer eingestellten Vergrößerungsstufe und den hierfür jeweils bestimmten Vergrößerungszentren 15, 15L, 15R festgelegt werden, wenn unterschiedliche Vergrößerungszentren 15,15L,15R auf unterschiedlichen Vergrößerungsstufen festgestellt werden und/oder eine Streuung der bestimmten Vergrößerungszentren 15,15L,15R einen vorgegebenen Grenzwert überschreitet. Die Steuereinrichtung 10 wählt bei Einstellen einer Vergrößerungsstufe dann die jeweils hierfür festgelegten Bildausschnitte 13, 13L, 13R.It can be provided that at least three magnification levels are set, with magnification centers 15, 15L, 15R being determined by taking into account at least two adjacent magnification levels of the at least three magnification levels, with the image sections 13, 13L, 13R of the channels 3L, 3R being determined based on a set magnification level and the magnification centers 15, 15L, 15R determined for this purpose, if different magnification centers 15, 15L, 15R are determined at different magnification levels and/or a scatter of the determined magnification centers 15, 15L, 15R exceeds a predetermined limit value. When a magnification level is set, the control device 10 then selects the image sections 13, 13L, 13R determined for this purpose.

Es kann vorgesehen sein, dass mindestens ein gleiches Merkmal in den für die Kanäle 3L,3R jeweils festgelegten Bildausschnitten 13,13L,13R erkannt wird, wobei eine jeweilige Position des mindestens einen erkannten gleichen Merkmals in den jeweiligen Bildausschnitten 13,13L,13R der Kanäle 3R,3L bestimmt wird, wobei eine Abweichung zwischen den für die Kanäle 3R,3L jeweils bestimmten Positionen bestimmt und ausgewertet wird. Insbesondere kann die Steuereinrichtung 10 das mindestens eine gleiche Merkmal in den jeweils festgelegten Bildausschnitten 13, 13L, 13R erkennen, beispielsweise mittels an sich bekannter Verfahren der Computer Vision und/oder der Künstlichen Intelligenz und/oder des Maschinenlernens. Ferner kann die Steuereinrichtung 10 dessen jeweilige Position (als Bildelementkoordinaten in den Bildausschnitten) und eine Abweichung (Differenz der Bildelementkoordinaten) der jeweils für die Kanäle bestimmten Positionen bestimmen. Diese Abweichung vergleicht die Steuereinrichtung 10 im Rahmen der Auswertung mit einem vorgegebenen Grenzwert und gibt in Abhängigkeit eines Vergleichsergebnisses ein Signal und/oder eine Nachricht aus (z.B. mittels eines Signalgebers oder mittels der Anzeigeeinrichtung 14).It can be provided that at least one identical feature is recognized in the image sections 13, 13L, 13R respectively defined for the channels 3L, 3R, wherein a respective position of the at least one recognized identical feature in the respective image sections 13, 13L, 13R of the channels 3R, 3L is determined, wherein a deviation between the positions respectively defined for the channels 3R, 3L is determined and evaluated. In particular, the control device 10 can recognize the at least one identical feature in the respectively defined image sections 13, 13L, 13R, for example by means of known methods of computer vision and/or artificial intelligence and/or machine learning. Furthermore, the control device 10 can determine its respective position (as image element coordinates in the image sections) and a deviation (difference in the image element coordinates) of the positions respectively determined for the channels. As part of the evaluation, the control device 10 compares this deviation with a predetermined limit value and, depending on the comparison result, outputs a signal and/or a message (e.g. by means of a signal generator or by means of the display device 14).

In der 3 ist eine schematische Darstellung zur Verdeutlichung einer Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems gezeigt. Es ist bei dieser Ausführungsform vorgesehen, dass zum Bestimmen des Vergrößerungszentrums 15 gleiche Merkmale 51-x, 52-x, 53-x in den bei verschiedenen Vergrößerungsstufen erfassten erkannt werden und jeweils einander zugeordnet werden, wobei das Zoomzentrum 15 anhand von einem Schnittpunkt 54 von Geraden 55, 56, 57 bestimmt wird, die sich durch Verbinden der jeweils miteinander korrespondierenden Merkmale 51-x, 52-x, 53-x in den übereinandergelegten erfassten ergeben. In der 3 sind zwei bei verschiedenen Vergrößerungsstufen übereinandergelegt. Beim Erhöhen der Vergrößerung wandern die Merkmale 51-x, 52-x, 53-x auf den Geraden 55, 56, 57 in den von innen nach außen. Durch Verbinden der jeweils miteinander korrespondierenden Merkmale 51-x, 52-x, 53-x ergeben sich die Geraden 55, 56, 57, deren Schnittpunkt 54 das Vergrößerungszentrum 15 ergibt. Das Vergrößerungszentrum 15 bewegt sich durch Ändern der Vergrößerung in den verschiedenen Vergrößerungsstufen nicht. Beim Erkennen und/oder bei einer Positionsbestimmung der Merkmale 51-x, 52-x, 53-x können Verfahren der Computer Vision und/oder des Maschinenlernens zum Einsatz kommen.In the 3 a schematic representation is shown to illustrate an embodiment of the method and the medical visualization system. In this embodiment, it is provided that in order to determine the magnification center 15, identical features 51-x, 52-x, 53-x are recorded at different magnification levels. are recognized and assigned to each other, the zoom center 15 being determined by an intersection point 54 of straight lines 55, 56, 57, which are formed by connecting the corresponding features 51-x, 52-x, 53-x in the superimposed recorded In the 3 are two superimposed at different magnification levels. When increasing the magnification, the features 51-x, 52-x, 53-x move along the lines 55, 56, 57 into the from the inside out. By connecting the corresponding features 51-x, 52-x, 53-x, the straight lines 55, 56, 57 are obtained, the intersection point 54 of which is the magnification center 15. The magnification center 15 does not move when the magnification is changed in the different magnification levels. Computer vision and/or machine learning methods can be used to recognize and/or determine the position of the features 51-x, 52-x, 53-x.

In der 4 ist eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems gezeigt. In dieser Ausführungsform ist vorgesehen, dass zusätzlich eine relative Verdrehung der erfassten der Kanäle zueinander bestimmt wird, wobei hierzu mindestens ein Merkmal 52-x in den erfassten identifiziert wird und eine Bewegungsrichtung 30L, 30R einer über die mindestens zwei Vergrößerungsstufen hinweg erfolgenden Bewegung des mindestens einen identifizierten Merkmals 52-x in den bestimmt und ausgewertet wird, wobei die bestimmte Verdrehung zumindest für die festgelegten Bildausschnitte 13L,13R durch Anpassen mindestens eines der Bildausschnitte 13L, 13R und/oder durch Bildbearbeitung korrigiert wird. Die Steuereinrichtung 10 (1) ist entsprechend hierzu eingerichtet. Das Anpassen kann beispielsweise ein Drehen des mindestens einen Bildausschnitts 13L, 13R in Bezug auf die zugehörige erfasste um das Vergrößerungszentrum, das heißt den Mittelpunkt, herum umfassen (vgl. 4 unten). In der 4 oben ist die linke gezeigt, in der Mitte der 4 ist die rechte gezeigt. In beiden wurde das gleiche Merkmal 52-x auf zwei Vergrößerungsstufen erkannt (52-1 und 52-2, wobei die auf den beiden Vergrößerungsstufen erfassten zur Verdeutlichung jeweils übereinander dargestellt sind). Für beide wird die Bewegungsrichtung 30L, 30R des erkannten Merkmals 52-x bestimmt und ausgewertet. In the 4 is a schematic representation to illustrate a further embodiment form of the method and the medical visualization system. In this embodiment, it is provided that in addition a relative rotation of the detected of the channels to each other is determined, whereby at least one feature 52-x in the recorded is identified and a movement direction 30L, 30R of a movement of the at least one identified feature 52-x over the at least two magnification levels in the is determined and evaluated, wherein the determined rotation is corrected at least for the defined image sections 13L, 13R by adjusting at least one of the image sections 13L, 13R and/or by image processing. The control device 10 ( 1 ) is set up accordingly. The adjustment can, for example, involve rotating the at least one image section 13L, 13R in relation to the associated captured around the magnification centre, i.e. the centre (cf. 4 below). In the 4 above is the left shown in the middle of the 4 is the right shown. In both the same feature was detected 52-x at two magnification levels (52-1 and 52-2, with the values detected at the two magnification levels shown one above the other for clarity). For both the direction of movement 30L, 30R of the recognized feature 52-x is determined and evaluated.

Anhand einer Abweichung zwischen den beiden bestimmten Bewegungsrichtungen 30L, 30R kann die relative Verdrehung zwischen den erfassten der Kanäle zueinander bestimmt werden. Zumindest für die festgelegten Bildausschnitte 13L,13R kann die auf diese Weise bestimmte relative Verdrehung durch Anpassen mindestens eines der Bildausschnitte 13L, 13R und/oder durch Bildbearbeitung korrigiert werden. Dies ist in der 4 unten schematisch dargestellt. Hierbei wurde der Bildausschnitt 13R aus der in Bezug auf die derart gedreht, dass die Bewegungsrichtung 30R im Bildausschnitt 13R mit der Bewegungsrichtung 30L im Bildausschnitt 30L zusammenfällt. Die relative Verdrehung, die in den erfassten vorhanden war, ist hierdurch in den Bildausschnitten 30L, 30R korrigiert worden. Eine stereoskopische Wahrnehmung der Bildausschnitte 30L, 30R ist durch die Korrektur verbessert.Based on a deviation between the two specific directions of movement 30L, 30R, the relative rotation between the detected of the channels to each other. At least for the defined image sections 13L, 13R, the relative rotation determined in this way can be corrected by adjusting at least one of the image sections 13L, 13R and/or by image processing. This is described in the 4 shown schematically below. Here, image section 13R was taken from the in relation to the rotated such that the direction of movement 30R in the image section 13R coincides with the direction of movement 30L in the image section 30L. The relative rotation that is recorded in the was present, has been corrected in the image sections 30L, 30R. A stereoscopic perception of the image sections 30L, 30R is improved by the correction.

In der 5 ist eine schematische Darstellung zur Verdeutlichung einer weiteren Ausführungsform des Verfahrens und des medizinischen Visualisierungssystems gezeigt. Bei dieser Ausführungsform ist vorgesehen, dass zum Bestimmen der absoluten Verdrehung 21, insbesondere in Form eines Rotationswinkels, gleiche Merkmale 61-x, 62-x in den erfassten erkannt werden und jeweils einander zugeordnet werden, wobei ausgehend von den gleichen Merkmalen 61-x, 62-x eine Verschiebungsrichtung 63 der gleichen Merkmale 61-x, 62-x mit Bezug auf die übereinandergelegten erfassten bestimmt wird, und wobei die Verdrehung 21 ausgehend von der bestimmten Verschiebungsrichtung 63 bestimmt wird. Die 5 zeigt zwei übereinandergelegte , die bei verschiedenen Achspositionen einer linearen aktiv bewegbaren Achse 19 (1) des medizinischen Visualisierungssystems erfasst wurden. Da die lineare aktiv bewegbare Achse 19 im Beispiel nicht entlang einer Koordinatenachse 64 der Bildelemente des Bildsensors der Kamera verläuft, welche beispielsweise als Sollorientierung und/oder Sollrichtung festgelegt ist, sind die gegenüber der linearen Bewegungsachse gedreht, was sich als (absolute) Verdrehung 21, insbesondere in Form eines Rotationswinkels, aus den erfassten bestimmen lässt. Hierzu wird jeweils die Verschiebungsrichtung 63 bestimmt, indem die gleichen Merkmale 61-x, 62-x jeweils miteinander verbunden werden. Eine Differenz zwischen einer Koordinatenachse 64 des Bildsensors und der Verschiebungsrichtung 63 ergibt die absolute Verdrehung 21 (insbesondere in Form eines Rotationswinkels), welches anschließend korrigiert werden kann.In the 5 a schematic representation is shown to illustrate a further embodiment of the method and the medical visualization system. In this embodiment, it is provided that to determine the absolute rotation 21, in particular in the form of a rotation angle, identical features 61-x, 62-x in the recorded are recognized and assigned to each other, whereby starting from the same features 61-x, 62-x a displacement direction 63 of the same features 61-x, 62-x with respect to the superimposed detected and wherein the rotation 21 is determined based on the determined displacement direction 63. The 5 shows two superimposed , which at different axis positions of a linear actively movable axis 19 ( 1 ) of the medical visualization system. Since the linear actively movable axis 19 in the example does not run along a coordinate axis 64 of the image elements of the image sensor of the camera, which is defined, for example, as the target orientation and/or target direction, the rotated relative to the linear axis of motion, which is determined as (absolute) rotation 21, in particular in the form of a rotation angle, from the recorded can be determined. For this purpose, the direction of displacement 63 is determined in each case by connecting the same features 61-x, 62-x with one another. A difference between a coordinate axis 64 of the image sensor and the direction of displacement 63 results in the absolute rotation 21 (in particular in the form of a rotation angle), which can then be corrected.

Die 6 zeigt ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Kalibrieren von Kameras eines mehrkanaligen medizinischen Visualisierungssystems. Das Verfahren wird beispielsweise mittels eines medizinischen Visualisierungssystems ausgeführt, wie dieses mit Bezug auf die 1 voranstehend beschrieben wurde.The 6 shows a schematic flow diagram of an embodiment of the method for calibrating cameras of a multi-channel medical visualization system. The method is carried out, for example, by means of a medical visualization system as described with reference to the 1 described above.

In einem Verfahrensschritt 100 werden beim Einstellen von mindestens zwei Vergrößerungsstufen der gemeinsamen mechanischen Vergrößerungsoptik auf den unterschiedlichen Vergrößerungsstufen jeweils ein über Kanäle des mehrkanaligen medizinischen Visualisierungssystems jeweils abgebildeter Erfassungsbereich mittels jeweils einer Kamera erfasst. Die Kameras stellen jeweils eine Abbildung auf den verschiedenen Vergrößerungsstufen bereit.In a method step 100, when setting at least two magnification levels of the common mechanical magnification optics at the different magnification levels, a detection area imaged via channels of the multi-channel medical visualization system is recorded using a camera. The cameras each provide an image at the different magnification levels.

In einem Verfahrensschritt 101 wird ein jeweiliges Vergrößerungszentrum für jeden der Kanäle bestimmt. Hierzu wird in den erfassten Abbildungen, die beim Einstellen der mindestens zwei Vergrößerungsstufen mittels der jeweiligen Kamera auf den mindestens zwei Vergrößerungsstufen erfasst wurden, für jeden der Kanäle ein Bildbereich identifiziert, der sich über die Vergrößerungsstufen hinweg nicht oder am geringsten bewegt.In a method step 101, a respective magnification center is determined for each of the channels. For this purpose, in the captured images that were captured when setting the at least two magnification levels using the respective camera at the at least two magnification levels, an image area is identified for each of the channels that does not move or moves the least across the magnification levels.

In einem Verfahrensschritt 102 wird ausgehend von den jeweils bestimmten Vergrößerungszentren für jeden der Kanäle ein Bildausschnitt in den erfassten Abbildungen mit dem jeweils identifizierten Vergrößerungszentrum als Mittelpunkt festgelegt.In a method step 102, based on the respective determined magnification For each of the channels, an image section is defined in the captured images with the identified magnification center as the center.

In einem Verfahrensschritt 103 werden die erfassten Abbildungen (insbesondere auch erfasste Abbildungen, die im Anschluss an das Kalibrieren erfasst werden) in allen Vergrößerungsstufen auf die festgelegten Bildausschnitte beschnitten und die beschnittenen erfassten Abbildungen werden ausgegeben. Das Ausgeben kann das Anzeigen auf einer Anzeigeeinrichtung des medizinischen Visualisierungssystems umfassen.In a method step 103, the captured images (in particular also captured images that are captured after calibration) are cropped to the defined image sections at all magnification levels and the cropped captured images are output. Outputting can include displaying on a display device of the medical visualization system.

Es kann in einem Verfahrensschritt 99 vorgesehen sein, dass das medizinische Visualisierungssystem derart justiert ist oder justiert wird, dass die erfassten Abbildungen scharf gestellt sind, wenn die bestimmten Vergrößerungszentren mit dem gleichen Objektpunkt zusammenfallen.It can be provided in a method step 99 that the medical visualization system is or will be adjusted such that the captured images are in focus when the determined magnification centers coincide with the same object point.

Weitere Ausführungsformen des Verfahrens wurden bereits voranstehend mit Bezug auf das medizinische Visualisierungssystem beschrieben.Further embodiments of the method have already been described above with reference to the medical visualization system.

BezugszeichenlisteList of reference symbols

11: medizinisches Visualisierungssystemmedical visualization system
22: stereoskopisches medizinisches Visualisierungssystemstereoscopic medical visualization system
3L3L: Kanal (linker optischer Pfad)Channel (left optical path)
3R3R: Kanal (rechter optischer Pfad)Channel (right optical path)
44: Objektivlens
55: gemeinsame mechanische Vergrößerungsoptikcommon mechanical magnification optics
66: StrahlteilereinheitBeam splitter unit
77: BinokulartubusBinocular tube
88th: Okulareyepiece
9L9L: Kamera (links)Camera (left)
9R9R: Kamera (rechts)Camera (right)
1010: SteuereinrichtungControl device
10-110-1: RecheneinrichtungComputing device
10-210-2: SpeicherStorage
11L11L: Bildsensor (linke Kamera)Image sensor (left camera)
11R11R: Bildsensor (rechte Kamera)Image sensor (right camera)
1212: erfasste Abbildungcaptured image
12L12L: erfasste Abbildung (links)captured image (left)
12R12R: erfasste Abbildung (rechts)captured image (right)
1313: Bildausschnitt / AusgabeImage section / output
13L13L: Bildausschnitt (links)Image detail (left)
13R13R: Bildausschnitt (rechts)Image detail (right)
1414: AnzeigeeinrichtungDisplay device
1515: VergrößerungszentrumMagnification Center
15L15L: Vergrößerungszentrum (linke Abbildung)Magnification center (left image)
15R15R: Vergrößerungszentrum (rechte Abbildung)Magnification center (right image)
1616: BildelementImage element
1717: WartungsaufforderungMaintenance request
1818: JustieraufforderungAdjustment request
1919: aktiv bewegbare (lineare) Achseactively movable (linear) axis
2020: ErfassungsbereichDetection range
2121: absolute Verdrehungabsolute distortion
30L30L: Bewegungsrichtung (links)Direction of movement (left)
30R30R: Bewegungsrichtung (rechts)Direction of movement (right)
4040: SteuersignalControl signal
51-x51-x: Merkmalcharacteristic
52-x52-x: Merkmalcharacteristic
53-x53-x: Merkmalcharacteristic
5454: SchnittpunktIntersection
5555: GeradeStraight
5656: GeradeStraight
5757: GeradeStraight
61-x61-x: Merkmalcharacteristic
62-x62-x: Merkmalcharacteristic
6363: VerschiebungsrichtungDisplacement direction
6464: Koordinatenachse (Bildsensor/Abbildung)Coordinate axis (image sensor/image)
99-10399-103: VerfahrensschritteProcess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 10299880 B2 [0003]

Claims

Method for calibrating cameras (9L, 9R) of a multi-channel medical visualization system (1), wherein a detection area (20) imaged via channels (3L, 3R) of the multi-channel medical visualization system (1) is recorded by means of a respective camera (9L, 9R), wherein a respective magnification center (15, 15L, 15R) is determined for each of the channels (3L, 3R), wherein for this purpose at least two magnification levels of a common mechanical magnification optics (5) are set and in images (12, 12L, 12R) recorded by means of the respective camera (9L, 9R) at the at least two magnification levels, an image area is identified for each of the channels (3L, 3R) that does not move or moves the least across the magnification levels, and wherein, starting from the respectively determined magnification centers (15, 15L, 15R), an image section is determined for each of the channels (3L, 3R). (13,13L,13R) in the captured images (12,12L,12R) with the respectively identified magnification center (15,15L,15R) as the center point, and wherein an output (13) of the captured images (12,12L,12R) in all magnification levels is limited to the image section (13L, 13R) defined for the respective channel (3L,3R).

Procedure according to Claim 1 , characterized in that dimensions of the image sections (13,13L,13R) are determined for all directions taking into account dimensions of the image (12,12L,12R) provided by the respective image sensor (11L, 11R) of the cameras (9L,9R).

Procedure according to Claim 1 or 2 , characterized in that the defined image sections (13,13L,13R) are or are selected to be of equal size.

Method according to one of the preceding claims, characterized in that a relative rotation of the captured images (12, 12L, 12R) of the channels (3L, 3R) to one another is additionally determined, wherein for this purpose at least one feature in the captured images (12, 12L, 12R) is identified and a direction of movement of a movement of the at least one identified feature in the captured images (12, 12L, 12R) over the at least two magnification levels is determined and evaluated, and wherein the determined relative rotation is corrected at least for the defined image sections (13, 13L, 13R) by adjusting at least one of the image sections (13, 13L, 13R) and/or by image processing.

Method according to one of the preceding claims, characterized in that an absolute rotation (21) is additionally determined for at least one channel (3L, 3R) on the basis of captured images (12, 12L, 12R), wherein the at least one channel (3L, 3R) of the multi-channel visualization system (1) is shifted for this purpose by means of at least one actively movable axis (19) of the visualization system (1), wherein at least one of the defined image sections (13, 13L, 13R) is additionally or alternatively corrected by adjusting the image section (13, 13L, 13R) and/or by image processing taking into account the determined absolute rotation (21).

Method according to one of the preceding claims, characterized in that a reference calibration object is used when determining the magnification centers (15, 15L, 15R) and/or the rotation(s) (21).

Method according to one of the preceding claims, characterized in that the calibration is carried out automatically after commissioning and/or before shutting down the medical visualization system (1) and/or at predetermined time intervals and/or at predetermined times and/or after a predetermined number of operating cycles.

Method according to one of the preceding claims, characterized in that the calibration is carried out during normal operation of the medical visualization system (1) when a magnification is changed and for this purpose at least two magnification levels are set.

Method according to one of the preceding claims, characterized in that the magnification centers (15, 15L, 15R) and/or the rotation(s) (21) are determined by means of an artificial intelligence method and/or by determining the optical flow.

Method according to one of the preceding claims, characterized in that a maintenance request (17) and/or adjustment request (18) is generated and output when at least one of the defined image sections (13, 13L, 13R) borders on or exceeds an edge of the image (12, 12L, 12R) provided by the image sensor (11L, 11R) of the respective camera (9L, 9R).

Method according to one of the preceding claims, characterized in that at least three magnification levels are set, wherein magnification centers (15, 15L, 15R) are determined by taking into account at least two mutually adjacent magnification levels of the at least three magnification levels, and wherein a scatter of the determined magnification centers (15, 15L, 15R) is evaluated.

Method according to one of the preceding claims, characterized in that at least three magnification levels are set, wherein magnification centers (15, 15L, 15R) are determined by taking into account at least two adjacent magnification levels of the at least three magnification levels, and wherein the image sections (13, 13L, 13R) of the channels (3L, 3R) are each determined based on a set magnification level and the magnification centers (15, 15L, 15R) determined for this purpose, if different magnification centers (15, 15L, 15R) are determined at different magnification levels and/or a scatter of the determined magnification centers (15, 15L, 15R) exceeds a predetermined limit value.

Method according to one of the preceding claims, characterized in that at least one identical feature is recognized in the image sections (13, 13L, 13R) respectively defined for the channels (3L, 3R), wherein a respective position of the at least one recognized identical feature in the respective image sections (13, 13L, 13R) of the channels (3R, 3L) is determined, and wherein a deviation between the positions respectively defined for the channels (3R, 3L) is determined and evaluated.

Method according to one of the preceding claims, characterized in that the medical visualization system (1) is designed as a stereoscopic medical visualization system (2) with at least two channels (3L, 3R).

Medical visualization system (1), comprising: several channels (3L, 3R) for capturing and imaging a detection area (20), a camera (9L, 9R) for each of the plurality of channels (3L, 9R), set up to capture the detection area (20) imaged via the channel (3L, 3R), a common mechanical magnification optics (5), and a control device (10), wherein the control device (10) is set up to determine a respective magnification center (15, 15L, 15R) for each of the channels (3L, 3R) for calibration, and to control the common mechanical magnification optics (5) for this purpose in such a way that at least two magnification levels are set and in images (12, 12L, 12R) captured by the respective camera (9L, 9R) at the at least two magnification levels, to identify an image area for each of the channels (3L, 3R) that does not move or moves the least across the magnification levels, and starting from the respective determined magnification centers (15,15L,15R) for each of the channels (3L,3R), to define an image section (13, 13L, 13R) in the captured images (12,12L,12R) with the respectively identified magnification center (15,15L,15R) as the center point, and to limit an output (13) of the captured images (12,12L,12R) in all magnification levels to the image section (13,13L,13R) defined for the respective channel (3L,3R).