EP4551086A1 - Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung - Google Patents

Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung

Info

Publication number
EP4551086A1
EP4551086A1 EP23737958.1A EP23737958A EP4551086A1 EP 4551086 A1 EP4551086 A1 EP 4551086A1 EP 23737958 A EP23737958 A EP 23737958A EP 4551086 A1 EP4551086 A1 EP 4551086A1
Authority
EP
European Patent Office
Prior art keywords
scaling
image capture
holding arm
capture device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23737958.1A
Other languages
English (en)
French (fr)
Inventor
Chang-Hae Kim
Benedikt Köhler
Stephan Schrader
Valery Toda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz SE and Co KG
Original Assignee
Karl Storz SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz SE and Co KG filed Critical Karl Storz SE and Co KG
Publication of EP4551086A1 publication Critical patent/EP4551086A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Definitions

  • the present invention relates to an imaging device and a method for the scalable visual representation of an area to be viewed, in particular an operating area, with an extended zoom functionality and an optimized focus adjustment.
  • Endoscopes and exoscopes for use in diagnostic or surgical procedures on patients are well known from the prior art.
  • the endoscope or exoscope is sometimes arranged on a motorized holding arm, which is placed by the user in such a way that a camera unit of the endoscope or exoscope conveniently displays the area to be captured, usually an operating site, for the treating surgeon.
  • the captured image is then output as a live image on a suitable imaging unit such as a screen.
  • a distance between the holding arm and the patient is generally chosen in such a way that, on the one hand, the image section shown is suitable for the surgeon and at the same time good access to the patient is guaranteed.
  • a focus of the camera unit is usually adjusted manually.
  • the respective camera unit of the endoscope or exoscope is equipped with scaling means, in particular an optical or electronic or digital zoom, with which the user can obtain an image of the captured area before and/or during a treatment or procedure Can be enlarged or reduced as needed.
  • scaling means in particular an optical or electronic or digital zoom
  • the readjustment or tracking of a focus setting of the camera unit represents a challenge, since the depth of field is very small, particularly with microscopic lenses, so that even a small change in the position of the holding arm relative to the captured area or the surgical site can lead to blurring.
  • the provision of continuous autofocus entails the risk of undesirably pulsating image sharpness or the focusing of an undesirable partial area within the overall area captured.
  • Manual or user-triggered focus adjustment is also disadvantageous since the user usually has both hands on the instruments at the site during an intervention or treatment and additional manual operation of the device is undesirable.
  • the US 11,033,338 B2 discloses an imaging system comprising an endoscope with a camera head for image capture and a display connected thereto for the enlarged display of a captured image area during an endoscopic procedure, the endoscope being arranged on a movable holding arm.
  • the system has a control device for controlling the camera head on the endoscope and a control device for controlling the holding arm, the camera head being designed to provide an optical and electronic zoom.
  • a mechanical scaling function is provided by changing the holding arm position along an optical axis of the endoscope.
  • a respective adjustment of the focus setting of the camera head is carried out using an autofocus device, which has the disadvantages outlined above.
  • the US 8,715,167 B1 discloses a telesurgical system for minimally invasive procedures, comprising an input device and a robot system connected thereto, having a first manipulator with an attached endoscope for optical image capture, which is connected to an input console of the telesurgical system for image display, and a second manipulator , which is designed to hold and guide a surgical instrument and which is connected to an input device on the input console.
  • the telesurgical system is designed to change a focus and a scaling factor in response to a movement of the robot system, for example to maintain focusing of the image capture device when the distance to an object to be captured changes.
  • the robot system comprises several sensors which monitor a movement of the robot system elements, determine a change in distance from an initial focus point in a coordinate system of the robot system and, based on this, adjust the focus setting of the image capture device.
  • this enables precise position detection and the adjustment of the focus setting based on this, but on the other hand, this requires a large number of sensors on the robot system and the associated information monitoring of each of these sensors, which not only requires increased hardware effort, but also an increased susceptibility to errors in the focus setting, which is directly dependent on it brings with it.
  • the object of the present invention is therefore to at least partially overcome the above-mentioned disadvantages of the prior art.
  • an imaging device for the scalable visual representation of an area to be viewed, in particular an operating area.
  • the device comprises an optical image capture device for capturing a recorded image of the area to be viewed, optical and/or electronic scaling means assigned to the image capture device for scaling the captured image, as well as an adjustable focusing device assigned to the image capture device, a robotic holding arm for moving the image capture device relative to the image to be viewed Area, wherein the holding arm is designed to provide a mechanical scaling function by adapting an axial distance between the image capture device and the area to be viewed, an input unit for recording a user-side input command for scaling the recorded image on a display unit, and a control device for setting the scaling means of the Image capture device and the mechanical scaling function of the holding arm, as well as the focusing device.
  • control device is designed in such a way that the mechanical scaling function and the focusing device can be adjusted by controlling the holding arm and the focusing device based solely on the input command for scaling the recorded image detected by the input unit, in particular a detected target value for the scaling, to carry out.
  • a method for the scalable visual representation of an area to be viewed, in particular an operating area comprises at least the steps: capturing a recorded image of the area to be viewed with an optical image capture device for display on a display unit; initial focus adjustment of the captured image by manual and/or automatic adjustment of a focusing device assigned to the image capture device; Detecting an input command for scaling the captured image using an input unit; Scaling the recorded image on the display unit by adjusting optical and/or electronic scaling means assigned to the image capture device and setting a mechanical scaling function by moving the image capture device along an optical axis of the image capture device by means of a robotic holding arm; Focusing the scaled recording image by adjusting the focusing device.
  • the mechanical scaling function is set by moving the holding arm and the focusing device to track a focus or an image sharpness of the recorded image by controlling the focusing device based solely on the recorded input command for scaling the recorded image.
  • This is understood to mean that, in contrast to the control of holding arm movement and corresponding focus adjustment known from the prior art, no further input variables, in particular no actual values for position or movement data of the holding arm, are recorded as feedback values for a control of the mechanical scaling function and the focusing device based on this.
  • the present control or activation of the mechanical scaling function and the focusing device takes place without or independently of a detection of feedback values, in particular without detection of further input variables or values, in particular without detection of actual values for positions that can be detected, for example, by appropriate sensors - or movement data of the holding arm.
  • an improved imaging device and a corresponding method are thereby provided, which enables scalable imaging of an operating area with extended scaling or zoom functionality, and at the same time simple and effective or efficient control of the system components and in particular adjustment of the holding arm and Tracking of the image sharpness of the image is permitted.
  • a significantly faster and sufficiently accurate tracking of the focus setting can be carried out based on the measured input variable, without having to provide a control based on a determination of actual values, in particular for position or movement data of the holding arm.
  • control device is designed to control or actuate the scaling means of the image capture device, the mechanical scaling function of the holding arm and the focusing device solely based on the input command recorded by the input unit for scaling the recorded image and in particular without output. reading or evaluating position or movement data of the robotic holding arm to provide a control variable.
  • both the scaling means of the robotic holding arm and the focusing device are controlled only based on the recorded input command and therefore not based on further control values, in particular without recording position or movement data of the robotic holding arm.
  • the control device is preferably further designed to detect a setpoint for the scaling of the recorded image or a desired change in the scaling of the recorded image and to control the scaling means of the image capture device, the mechanical scaling function of the holding arm, and the focusing device based on the setpoint detected by the input unit .
  • a calculation of respective target values for the setting of the scaling means, the mechanical scaling function and the focusing device is preferably carried out based on the recorded target value for a desired scaling of the recorded image, with the control device then making a corresponding adjustment of the individual components based on the calculated target values.
  • the mechanical scaling function of the holding arm is preferably carried out exclusively by changing the position of the image capture device along its optical axis.
  • an axial distance i.e. a distance along the optical axis of the image capture device, is changed between the image capture device and the area to be viewed.
  • the image capture device is advantageously arranged on a holding element or manipulator of the robotic holding arm, which is preferably arranged at the end.
  • the holding element arranged at the end or a manipulator of the robotic holding arm is preferably movable based on a user input by means of an assigned input device.
  • the assigned input can be the device-side input unit, which can be designed selectively for movable control of the robotic holding arm, in addition to controlling the mechanical scaling function. It goes without saying that a separate input unit can also be provided for controlling the holding arm.
  • the holding arm and/or the control device is designed such that a change in the axial distance between the image capture device and the area to be viewed is only possible when the mechanical scaling function is provided.
  • the holding arm and/or the control device is designed in such a way that a change in the axial distance between the image capture device and the area to be viewed is prevented by the device-side input unit or a separate input unit for controlling the holding arm outside the control to provide the mechanical scaling function. Is blocked.
  • the holding arm and/or the control device are preferably designed in such a way that a holding element arranged at the end or a manipulator of the robotic holding arm, on which the image capture device is arranged, is moved and/or rotated by the input unit in one or more dimensions around the area to be viewed can be done, with the axial distance between the image capture device and the area to be viewed being kept constant.
  • the robotic holding arm and/or the control device are preferably designed in such a way that the image capture device arranged on the holding arm can be moved, in particular on a, for example, spherical surface, around the area to be viewed, in particular an operating site or a trocar, while maintaining a constant axial distance between the image capture device and the area to be viewed.
  • the control device of the device can be a central control device, which is connected at least to the input unit, the image capture device and the robotic holding arm. Furthermore, the tax eration device include at least one separate control unit, in particular for controlling the robotic holding arm, or can be selectively connected to it. Here, the separate control unit is designed for preferably bidirectional data communication with the control device of the device.
  • the scaling means is assigned a preferably internal memory and/or control unit for providing a minimum and maximum scaling factor as well as a current actual scaling factor to the control device of the device.
  • scaling factor is understood to mean an enlargement or reduction factor or zoom factor of the captured image.
  • a respective minimum and maximum scaling factor can be stored for a respective image capture device in the storage and/or control unit.
  • a respective minimum and maximum scaling factor can be dependent in particular on a respective optics of the image capture device and/or a respective image sensor of the image capture device.
  • the image capture device can have exchangeable optics, with different sets for a minimum and maximum scaling factor being stored or able to be stored in the storage and/or control unit for different optics.
  • the minimum and/or maximum limits can in particular correspond to a respective lower and/or upper limit for the reduction or enlargement of a zoom lens, which are dependent on the lenses used and their possible travel paths in the lens.
  • a different electronic or digital scaling factor can be stored or can be stored.
  • the values for a minimum and maximum scaling factor for the optical and/or electronic Scaling means can also be configurable, in particular adjustable by user input.
  • the optical scaling means can in particular comprise motor-controllable magnification optics of the image capture device, in order to provide a selectively adjustable optical magnification or zoom functionality of the image capture device.
  • the electronic scaling means can in particular include a software-based enlargement and/or reduction or zoom functionality of the captured image, i.e. a so-called digital zoom.
  • the focusing device of the device is preferably a selectively and preferably motor-driven adjustable focus optics assigned to the image capture device for adjusting the image sharpness of the captured image.
  • the focusing device is assigned a preferably internal memory and/or control unit for providing a minimum and maximum focus value or a focus setting as well as a current actual focus value or an actual focus setting to the control device.
  • the focus setting here includes in particular a position of the focus lens in an optics of the image capture device.
  • the respective values can be stored in the memory and/or control unit analogously to the above statements for a scaling factor for a respective image capture device.
  • a respective minimum and maximum focus value or a focus setting can be particularly dependent on a respective optics of the image capture device and/or a respective image sensor of the image capture device.
  • the storage and/or control unit assigned to the focusing device preferably internal, is designed to provide a focus characteristic curve of the respective image capture device for assigning a respective to provide a specific focus setting for a respective magnification by the scaling means of the image capture device and/or a respective distance to the area to be observed, in particular in the case of the mechanical scaling function.
  • the focus characteristic curve here preferably comprises a curve or characteristic curve, from which a respective focus lens position relative to a respective distance to the area to be viewed for focusing the optics or the captured image emerges.
  • the respective focus characteristic curve can here be assigned to a respective image capture device with an associated focus lens in the memory and/or control unit, wherein the respective setting values for a focus lens assigned to the image capture device can be predefined and/or based on empirical measurement data with the respective image capture device and the associated one learned or can be learned using a robotic holder arm.
  • control device is designed to compare a desired value for scaling detected by the input unit with a minimum and maximum scaling factor, as well as a provided actual scaling factor of the scaling means, ie a current zoom factor of the scaling means, and based on this a selective or combined To control the optical and/or electronic scaling means and the robotic holding arm to provide the mechanical scaling function.
  • control device can further be designed to carry out a preferred control of the optical and/or electronic scaling means and/or the mechanical scaling function based on the detected target value for scaling and a comparison with a current actual scaling factor of the scaling means.
  • control device is designed to first control the optical and/or electronic scaling means until a minimum or maximum scaling factor of the scaling means is reached and only then to carry out a further adjustment of the scaling by controlling the robotic holding arm and thus through the mechanical scaling function .
  • control device is preferably designed to make a necessary change in the holding arm position, in particular a change in position of the image capture device arranged on the holding arm, along an optical axis of the image capture device, based on the detected input command, in particular based on a target value for scaling the recorded image calculate.
  • control device is preferably designed to output one or more target values for a movement, in particular a change in position of the robotic holding arm along the optical axis of the image capture device in order to change its position.
  • the respective position change can then be carried out by controlling the robotic holding arm by the control device itself or a separate control unit of the robotic holding arm, to which the target values are provided or transmitted.
  • control device is designed in such a way that, based on the calculated change in the holding arm position, in particular a change in the axial distance to the area to be viewed, a control of the focusing device and in particular an adjustment of the position of the focus lens of the image capture device is carried out.
  • the focusing device is preferably controlled by reading out a stored focus characteristic curve of the image capture device, as described above.
  • the control device can be designed in such a way that when the recorded image is scaled by adjusting the optical and/or electronic scaling means and/or the mechanical scaling function, a simultaneous and/or downstream control of the focusing device for tracking the focus and preferably based on a stored focus characteristic curve of the respective image capture device to determine.
  • the input unit of the device is designed such that it has a variable, in particular deflection-dependent Allows setpoint capture of a scaling factor.
  • the input unit preferably comprises input means with several degrees of freedom, which are designed to detect a deflection in a respective direction.
  • the input unit can comprise a 3D joystick, which, in addition to detecting lateral input commands in a first movement plane, enables vertical input commands to be detected in a direction perpendicular to the first movement plane.
  • the 3D joystick can be designed to detect a deflection about a vertical axis of rotation and/or a tilt axis that is preferably arranged perpendicular thereto.
  • a setpoint detection for the scaling factor can preferably be carried out by detecting a vertical input command, in particular in a first direction for reduction and in a second direction, opposite to the first, for enlargement.
  • the input unit can be operated by a user by hand or with a foot.
  • the input unit can also be designed to selectively control the image capture device and/or the movable holding arm.
  • the input unit can, for example, have a selective input function, for example a manually operated button or foot switch, by means of which between control of the holding arm by the input unit, in particular for changing the position and/or position of the holding arm, and detection of a desired scaling factor or detection can be distinguished by adjusting the current scaling factor.
  • the image capture device is a known stereo exoscope.
  • the stereo exoscope preferably has at least optical, controllable scaling means, in particular an optical zoom, and a motor-driven focus control.
  • the image capture device can also have a distally arranged mirror unit for a 90° deflection of the viewing or capture direction.
  • the mirror unit can optionally be designed to be movable or rotatable.
  • the image capture device can, for example, have two to four image sensors, which are used for capture a (stereo) recording image with a resolution of preferably 4K or higher.
  • the image capture device comprises an autofocus function, which can be activated and/or controlled by the control device.
  • the control device can be designed to activate a preferably one-time, i.e. non-continuous, autofocus function of the image capture device after a holding arm movement has ended. Since the present control of the mechanical scaling function or the holding arm takes place without feedback of sensor data from a holding arm, the control device is designed, for example, in such a way that, based on the respective calculated target values for a movement of the holding arm, a time estimate is made as to how long the robotic holding arm will last the implementation of the desired or calculated movement is required, and based on this the autofocus function is activated after the previously calculated time interval has expired.
  • An autofocus function of the image capture device can be implemented using means known per se; in particular, the autofocus function can include a contrast measurement, a phase comparison or an active distance measurement.
  • the focusing device or focus tracking of the recorded image is scaled and adjusted by controlling the scaling means, the robotic holding arm and the focusing device based solely on the input command for scaling the recorded image recorded by the input unit and in particular without reading out or Evaluating position or movement data of the robotic holding arm. Scaling of the recorded image and focusing of the recorded image can occur simultaneously or sequentially.
  • scaling is initially carried out by controlling the scaling means of the image capture device and only when a maximum scaling factor of the image capture device is exceeded is scaling by changing the axial Distance between the image capture device and the area to be viewed by changing the position of the holding arm.
  • control can advantageously be carried out in such a way that if the recorded image is reduced in size, first a scaling by changing the axial distance between the image capture device and the area to be viewed by changing the holding arm position, in particular an increase in the axial distance, and only when a predefined scaling factor is exceeded is a control the scaling means of the image capture device takes place.
  • the reverse order is also possible, so that when scaling with the desired magnification, a mechanical scaling is initially carried out by the holding arm, for example if the control recognizes that a desired target scaling is not possible using the scaling means of the image capture device alone. Further scaling then takes place using the optical and/or electronic scaling means. When reducing the size, the order is the same.
  • activation of the focusing device when changing the holding arm position comprises at least the following further steps: determining an initial focus setting before executing a movement of the holding arm; Calculating the necessary change in the holding arm position along the optical axis of the image capture device to provide the captured target value for scaling the captured image; Calculation of a target value for the focus adjustment based on the calculated change in the holding arm position and based on a focus characteristic curve stored for the image capture device; Control of the focusing device to set the determined target value.
  • Fig. 1 a schematic view of an exemplary embodiment of a device according to the invention
  • Fig. 2 a side view of an exemplary embodiment of an image capture device according to the invention
  • FIG. 3 is a block diagram of the device components
  • Fig. 6 is a schematic representation of a focus characteristic.
  • the device 100 is designed for the scalable visual representation of an area 101 to be viewed, in particular an operating area, shown here only as a schematic example.
  • the area 101 to be considered can be an operation site.
  • the device 100 has an image capture device 102, which is designed to capture a recorded image, in particular a live video image.
  • the image capture device 102 can be arranged or can be arranged, for example, at a distance of 20 to 50 cm above an area to be captured.
  • the image capture device 102 is arranged on an end section or manipulator 103a of a robotic holding arm 103.
  • the robotic holding arm 103 can be arranged on a stand element 104 such as a selectively movable cart.
  • the image capture device 102 is further connected to a display unit 105, on which the captured and selectively scalable recorded image is output.
  • the device 100 further comprises an input unit 106 and preferably a foot switch 107 assigned to it.
  • the foot switch 107 can be designed to selectively switch the control of the robotic holding arm 103 or the image capture device 102.
  • the input unit 106 is preferably designed as a 3D joystick and preferably enables, in addition to the detection of lateral input commands (double arrows A, B), the detection of a vertical movement (double arrow C). Furthermore, the input unit 106 can be designed to detect a rotational movement and/or a tilting movement of the 3D joystick (not shown).
  • the input unit 106 is designed in particular to detect an input command for scaling or changing the scaling of the recorded image shown on the display unit 105.
  • the input unit is preferably designed to detect a deflection-dependent setpoint detection of the scaling factor, in particular a deflection-dependent change in a current scaling factor. This means that a greater deflection of the 3D joystick along the double arrow C leads to a greater enlargement or reduction of the recorded image on the display unit 105.
  • a scaling, ie a reduction or enlargement, of the recorded image can be achieved by means of optical and/or electronic scaling means 108, 109 assigned to the image capture device 102 (see FIG.
  • Fig. 2 shows a side view of a preferred exemplary embodiment of the image capture device 102.
  • the image capture device in the present case is a stereo exoscope known per se. This preferably has motor-controllable optical scaling means, i.e. an optical zoom 108 assigned to or encompassed by an optics of the exoscope, as well as a preferably motor-controllable focusing device 112, i.e. a focus lens assigned to or encompassed by an optics of the exoscope.
  • the image capture device 102 further comprises a distally arranged mirror unit 113 for a 90° deflection of the viewing or capture direction.
  • the image capture device 102 can have a filter wheel 114 for holding different, application-specific color filters.
  • the image capture device can additionally have an illumination unit, not shown, for illuminating the area to be viewed.
  • the device 100 comprises a control device 115, which is connected to the image capture device 102, the robotic holding arm 103 and the input unit 106.
  • the control device 115 can include a central control unit with a processor and associated memory means (not shown).
  • the control device is designed in such a way that it adjusts the mechanical scaling function 110 and the focusing device 112 by controlling the holding arm 103 and the focusing device 112 without regulation using sensor values of the holding arm 103, in particular without actual values for position or movement data of the Holding arm 103 carries out.
  • control device 115 should control the holding arm 103 and the focusing device 112 only based on an input command detected by the input unit 106 for scaling the recorded image or for changing the scaling of the recorded image.
  • the control unit 115 is designed to control the mechanical scaling function 110 of the holding arm 103 by varying an axial distance d between the image capture device 102 and the area 101 to be viewed.
  • the control device 115 is designed such that it can control an optical scaling function 108 of the image capture device 102, in particular by adjusting the lens optics, and / or an electronic scaling function 109, in particular by displaying a partial section of the digital image area on the display unit 105.
  • the control device 115 is preferably designed to read out a respective actual value of the optical and/or electronic scaling means 108, 109, in particular a current magnification or zoom factor.
  • the optical and/or electronic scaling means 108, 109 can have an internal memory and/or control unit, which has stored a respective minimum and maximum scaling factor in addition to an actual value for an existing scaling factor.
  • the control device 115 is further designed for selective or combined control of the scaling means 108, 109 and the mechanical scaling function 110 in order to provide an expanded scaling range or an expanded overall zoom range (see also FIG. 5).
  • the control device 115 enables focus tracking of the recorded image by preferably simultaneously or sequentially controlling the focusing device 112.
  • the focusing device 112 preferably also has an internal memory and/or control unit, which can provide a current actual value of a focus setting of the focusing device 112 to the control device.
  • a respective focus characteristic curve 116 for the respective image capture device or an optics or identification number of the image capture device 102 is stored in the focusing device 112 and/or in the control device 115, from which the connection between a respective focus setting or a position of the focus lens Fp in the optics is derived the image capture device 102 to the respective distance d of the image capture device 102 or the optics of the image capture device 102 to the area 101 to be viewed.
  • it can be read from the stored focus characteristic curve to which position of the focus lens the respective focusing device is to be set in order to achieve focusing of the recorded image at a certain distance d between the detection optics and the area 101 to be viewed.
  • FIG. 4 shows a flowchart 200 for an inventive control of optical scaling means 108 of an image capture device 102 and the mechanical scaling function 110 to provide extended scaling, with tracking of a focus setting, for example for an enlargement of the recorded image.
  • the position of the image capture device 102 relative to the area 101 to be viewed is adjusted manually and/or electronically, in particular by a desired orientation of the robotic holding arm 103 and the image capture device 102.
  • the user can select a desired viewing angle and a desired distance d between the image capture device 102 and the area 101.
  • an initial focus adjustment of the captured image is initially carried out by manual and/or electronic adjustment of a focusing device 112 assigned to the image capture device 102.
  • an initial scaling or magnification factor can also be adjusted by manual and/or electronic adjustment, for example the optical scaling means 108.
  • step 202 the scaling means 108 and the focusing device 112 are read out by the control device 115 to provide actual values for a current scaling factor of the image capture device 102 and a focus setting or a set position of the focus lens of the optics of the image capture device 102. This can be done by means of the stored focus characteristic curve, the focus distance or the distance d between the image capture device 102 and the viewing area 101 can be determined (position Po, cf. Fig. 6).
  • Step 202 can be triggered, for example, by pressing a foot switch 107, whereby the foot switch 107 can serve as a trigger for the possibility of changing a scaling by input on the input unit or the 3D joystick 106.
  • step 202 can also be triggered directly on the input unit 106.
  • step 203 the input of a desired scaling factor or a desired change in the scaling factor is recorded using the input unit 106.
  • the input unit 106 can record a setpoint for a desired magnification, which is transmitted to the control device 115.
  • step 204 based on the user input or the desired magnification, a new scaling or magnification factor is calculated, which should be set by the device.
  • a comparison is made with the recorded actual scaling factor and a minimum and maximum value for the scaling factor of the scaling means 108.
  • An increase in size using the scaling means 108 of the image capture device 102 can take place until a stored maximum value of the scaling means 108 is reached, without any control the mechanical scaling function 110 takes place, see iteration loop 205.
  • a necessary change in distance d1 to the area 101 to be viewed is calculated in step 207, which is necessary to achieve the desired remaining magnification. Based on this, a setpoint value is then output in step 208 for controlling the robotic holding arm 103 and thus for changing and in particular shortening the distance d along the optical axis 111 towards a position Pi of the holding arm 103.
  • the focusing device 112 is activated by the control device 115 to track the image sharpness.
  • the focus lens is adjusted based on the stored focus characteristic curve.
  • the control device 115 determines the necessary setting of the focus device or the position Fi of the focus lens in the optics of the image capture device 102 based on the previously determined distance change d1 and thus the new position Pi (see FIG. 6).
  • control is preferably carried out by the control device 115 such that the mechanical scaling function 110 is first activated to reduce the scaling factor.
  • the axial distance d is increased until the previously controlled distance change d1 is reached.
  • the scaling means 108 of the image capture device 102 are then activated.
  • the scaling means 108 are controlled for reduction until a stored minimum value of the scaling means is reached. Once the minimum value of the scaling means 108 has been reached, the mechanical scaling function 110 is then activated by increasing the axial distance d again, i.e. the image capture device 102 is further removed along the optical axis 111.
  • control device 115 The control described above by the control device 115 is explained again below with reference to the schematic representation in FIG. 5, from which a scaling area 120 of the exemplary optical scaling means 108 of the image capture device 102 emerges.
  • the optical scaling means 108 is enlarged (arrow 121) or reduced (arrow 122)
  • the optical scaling means 108 is first activated until a maximum scaling factor Smax or a minimum scaling factor Smin is reached is.
  • the mechanical scaling function 110 is activated, either to increase the size by shortening the axial distance d between the image capture device 102 and the operating area 101 in the area 123 or to reduce the size by increasing the axial distance in the area 124.
  • the mechanical scaling function is first controlled to reduce or increase the scaling factor until a distance is reached which lies within the area 120, at which the optical scaling means 108 can be used.
  • the control described above can be dependent on activation of a foot switch. If, for example, the foot switch has been released after a reduction (arrow 122) in the area 124, the optical scaling means 108 can initially be activated immediately, deviating from the control described above and, for example, if a scaling factor from the area 124 is increased (again). and only when a maximum possible scaling factor of the optical scaling means 108 is reached is the mechanical scaling function 110 activated for further enlargement.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Microscoopes, Condenser (AREA)
  • Lens Barrels (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft eine bildgebende Vorrichtung (100) zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs (101), insbesondere eines Operationsbereichs, aufweisend: eine optische Bilderfassungseinrichtung (102) zur Erfassung eines Aufnahmebildes des zu betrachtenden Bereichs (101), der Bilderfassungseinrichtung (102) zugeordnete optische und/oder elektronische Skalierungsmittel (108,109) zur Skalierung des erfassten Aufnahmebildes, sowie eine der Bilderfassungseinrichtung zugeordnete, einstellbare Fokussiereinrichtung (112), einen robotischen Haltearm (103) zur Bewegung der Bilderfassungseinrichtung (102) relativ zum zu betrachtenden Bereich (101), wobei der Haltearm (103) zur Bereitstellung einer mechanischen Skalierungsfunktion (110) durch Adaption einer axialen Entfernung (d) zwischen Bilderfassungseinrichtung (102) und zu betrachtenden Bereich (101) ausgebildet ist, eine Eingabeeinheit (106) zur Erfassung eines benutzerseitigen Eingabebefehls für eine Skalierung des Aufnahmebildes auf einer Displayeinheit (105), eine Steuerungseinrichtung (115) zur Einstellung der Skalierungsmittel (108,109) der Bilderfassungseinrichtung (102) und der mechanischen Skalierungsfunktion (110) des Haltearms, sowie der Fokussiereinrichtung (112), wobei die Steuerungseinrichtung (115) ausgebildet ist, die Einstellung der mechanischen Skalierungsfunktion (110) und der Fokussiereinrichtung (112) durch eine Steuerung des Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes durchzuführen.

Description

Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung
Die vorliegende Erfindung betrifft eine bildgebende Vorrichtung und ein Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, mit einer erweiterten Zoomfunktionalität und einer optimierten Fokusnachregelung.
Endoskope und Exoskope für den Einsatz bei diagnostischen oder chirurgischen Eingriffen am Patienten sind aus dem Stand der Technik wohl bekannt. Das Endoskop oder Exoskop ist manchmal an einem motorisierten Haltearm angeordnet, welcher durch den Anwender derart platziert wird, dass eine Kameraeinheit des Endoskops oder Exoskops den zu erfassenden Bereich, üblicherweise einen Operationssitus, für den behandelnden Chirurgen geeignet darstellt. Das erfasste Bild wird dann auf einer geeigneten Abbildungseinheit wie einem Bildschirm als Livebild ausgegeben. Ein Abstand zwischen Haltearm und Patient wird im Allgemeinen derart gewählt, dass einerseits der dargestellte Bildausschnitt für den Chirurgen geeignet und gleichzeitig ein guter Zugang zum Patienten gewährleistet ist. Sobald eine geeignete Platzierung und Ausrichtung des Haltearms und daran angeordnetem Endoskop oder Exoskop gefunden ist, wird üblicherweise manuell ein Fokus der Kameraeinheit eingestellt.
Weiterhin ist es Stand der Technik, dass die jeweilige Kameraeinheit des Endoskops oder Exoskops mit Skalierungsmitteln, insbesondere einem optischen oder elektronischen bzw. digitalen Zoom, ausgestattet ist, mit welchen der Anwender vor und/oder während einer Behandlung oder eines Eingriffs eine Abbildung des erfassten Bereichs je nach Bedarf vergrößern oder verkleinern kann. Zur Erweiterung eines Zoombereichs ist es ebenfalls bereits bekannt, zusätzlich zu Skalierungsmitteln der Kameraeinheit eine mechanische Skalierungsfunktion durch eine Veränderung der Haltearmposition entlang einer optischen Achse eines Endoskops und somit durch Veränderung einer Distanz zwischen Kameraeinheit und erfassten Bereich bereitzustellen.
Eine Herausforderung stellt jedoch die Neueinstellung oder Nachführung einer Fokuseinstellung der Kameraeinheit dar, da insbesondere bei mikroskopischen Objektiven die Schärfentiefe sehr gering ist, so dass mithin bereits eine kleine Positionsänderung des Haltearms relativ zum erfassten Bereich bzw. zum Ope- rationssitus zu einer Unschärfe führen kann. So birgt beispielsweise die Bereitstellung eines kontinuierlichen Autofokus das Risiko einer unerwünscht pulsierenden Bildschärfe oder die Scharfstellung eines unerwünschten Teilbereichs innerhalb des erfassten Gesamtbereichs.
Eine manuelle oder anwenderausgelöste Fokuseinstellung ist ebenfalls nachteilig, da der Anwender während eines Eingriffs oder einer Behandlung meist beide Hände an den Instrumenten am Situs hat und eine zusätzliche manuelle Bedienung der Vorrichtung unerwünscht ist.
Die US 11 ,033,338 B2 offenbart beispielsweise ein bildgebendes System, aufweisend ein Endoskop mit einem Kamerakopf zur Bilderfassung und ein damit verbundenes Display zur vergrößerten Darstellung eines erfassten Bildbereichs bei einem endoskopischen Eingriff, wobei das Endoskop an einem beweglichen Haltearm angeordnet ist. Das System weist eine Steuerungseinrichtung zur Ansteuerung des Kamerakopfs am Endoskop und eine Steuerungseinrichtung zur Ansteuerung des Haltearms auf, wobei der Kamerakopf zur Bereitstellung eines optischen und elektronischen Zooms ausgebildet ist. Zusätzlich zur optischen und elektronischen Skalierungsfunktion des Kamerakopfes wird eine mechanische Skalierungsfunktion durch Veränderung der Haltearmposition entlang einer optischen Achse des Endoskops bereitgestellt. Eine jeweilige Anpassung der Fokuseinstellung des Kamerakopfes erfolgt mittels Autofokuseinrichtung, welche die oben ausgeführten Nachteile birgt. Die US 8,715,167 B1 offenbart ein telechirurgisches System für minimalinvasive Eingriffe, umfassend eine Eingabevorrichtung und ein damit verbundenes Robotersystem, aufweisend einen ersten Manipulator mit einem daran befestigten Endoskop zur optischen Bilderfassung, welches mit einer Eingabekonsole des telechirurgischen Systems zur Bilddarstellung verbunden ist, sowie einen zweiten Manipulator, welcher zur Halterung und Führung eines chirurgischen Instruments ausgebildet ist, und welcher mit einem Eingabegerät an der Eingabekonsole verbunden ist. Das telechirurgische System ist zur Änderung eines Fokus und eines Skalierungsfaktors als Reaktion auf eine Bewegung des Robotersystems ausgebildet, beispielsweise um ein Fokussieren der Bilderfassungseinrichtung bei geändertem Abstand zu einem zu erfassenden Objekt aufrechtzuerhalten. Hierbei umfasst das Robotersystem mehrere Sensoren, welche eine Bewegung der Robotersystemelemente überwachen, eine Distanzänderung gegenüber einem initialen Fokuspunkt in einem Koordinatensystem des Robotersystems ermitteln und basierend darauf eine Anpassung der Fokuseinstellung der Bilderfassungseinrichtung vornehmen. Dies ermöglicht zwar einerseits eine genaue Positionserfassung und darauf basierte Anpassung der Fokuseinstellung, andererseits ist hierfür eine Vielzahl von Sensoren am Robotersystem und eine zugehörige Informationsüberwachung jeder dieser Sensoren notwendig, was nicht nur einen erhöhten Hardwareaufwand, sondern auch eine erhöhte Fehleranfälligkeit bei der davon unmittelbar abhängigen Fokuseinstellung mit sich bringt.
Die Aufgabe der vorliegenden Erfindung besteht mithin darin, die vorstehend genannten Nachteile des Standes der Technik wenigstens teilweise zu überwinden. Insbesondere ist es Aufgabe der Erfindung, eine verbesserte bildgebende Vorrichtung und ein entsprechendes Verfahren bereitzustellen, welche bzw. welches eine skalierbare Abbildung eines Operationsbereichs mit erweiterter Zoomfunktionalität unter gleichzeitiger Bereitstellung einer einfachen und effektiven Nachführung der Bildschärfe der Abbildung ermöglicht.
Die vorstehend genannte Aufgabe wird durch eine Vorrichtung mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Ferner wird die Aufgabe durch ein erfindungsgemäßes Verfahren mit den Merkmalen des unabhängigen Anspruchs 16 gelöst.
Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. In den Rahmen der Erfindung fallen sämtliche Kombinationen aus mindestens zwei in der Beschreibung, den Ansprüchen und/oder den Figuren offenbarten Merkmalen. Es versteht sich, dass Ausführungsbeispiele und Ausführungsformen, die in Bezug auf die Vorrichtung gemäß Anspruch 1 beschrieben werden, sich in äquivalenter, wenn auch nicht wortgleicher Form auf das Verfahren nach Anspruch 16 beziehen können, ohne für dieses explizit genannt zu werden. Es versteht sich zudem, dass auch sprachübliche Umformungen und/oder ein sinngemäßes Ersetzen von jeweiligen Begriffl ichkeiten im Rahmen der üblichen sprachlichen Praxis, insbesondere das Verwenden von durch die allgemein anerkannte Sprachliteratur gestützten Synonymen, von dem vorliegenden Offenbarungsgehalt umfasst sind, ohne in ihrer jeweiligen Ausformulierung explizit erwähnt zu werden.
Gemäß einem ersten Aspekt der Erfindung wird eine bildgebende Vorrichtung zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, vorgeschlagen. Die Vorrichtung umfasst eine optische Bilderfassungseinrichtung zur Erfassung eines Aufnahmebildes des zu betrachtenden Bereichs, der Bilderfassungseinrichtung zugeordnete optische und/oder elektronische Skalierungsmittel zur Skalierung des erfassten Aufnahmebildes, sowie eine der Bilderfassungseinrichtung zugeordnete, einstellbare Fokussiereinrichtung, einen robotischen Haltearm zur Bewegung der Bilderfassungseinrichtung relativ zum zu betrachtenden Bereich, wobei der Haltearm zur Bereitstellung einer mechanischen Skalierungsfunktion durch Adaption einer axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich ausgebildet ist, eine Eingabeeinheit zur Erfassung eines benutzerseitigen Eingabebefehls für eine Skalierung des Aufnahmebildes auf einer Displayeinheit, und eine Steuerungseinrichtung zur Einstellung der Skalierungsmittel der Bilderfassungseinrichtung und der mechanischen Skalierungsfunktion des Haltearms, sowie der Fokussiereinrichtung. Erfindungsgemäß ist die Steuerungseinrichtung derart ausgebildet, eine Einstellung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung durch eine Steuerung bzw. Ansteuerung des Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes, insbesondere einem erfassten Soll-Wert für die Skalierung, durchzuführen.
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, vorgeschlagen. Das Verfahren umfasst zumindest die Schritte: Erfassen eines Aufnahmebildes des zu betrachtenden Bereichs mit einer optischen Bilderfassungseinrichtung zur Darstellung auf einer Displayeinheit; initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder automatische Einstellung einer der Bilderfassungseinrichtung zugeordneten Fokussiereinrichtung; Erfassen eines Eingabebefehls für eine Skalierung des Aufnahmebildes mittels einer Eingabeeinheit; Skalierung des Aufnahmebildes auf der Displayeinheit durch Einstellung von der Bilderfassungseinrichtung zugeordneten optischen und/oder elektronischen Skalierungsmitteln und Einstellung einer mechanischen Skalierungsfunktion durch Bewegung der Bilderfassungseinrichtung entlang einer optischen Achse der Bilderfassungseinrichtung mittels eines robotischen Haltearms; Fokussieren des skalierten Aufnahmebildes durch Einstellung der Fokussiereinrichtung.
Im Gegensatz zum Stand der Technik erfolgt erfindungsgemäß die Einstellung der mechanischen Skalierungsfunktion durch Bewegung des Haltearms und der Fokussiereinrichtung zur Nachführung eines Fokus bzw. einer Bildschärfe des Aufnahmebildes durch eine Steuerung der Fokussiereinrichtung lediglich basierend auf dem erfassten Eingabebefehl zur Skalierung des Aufnahmebildes. Hierunter wird verstanden, dass abweichend zu einer aus dem Stand der Technik bekannten Regelung von Haltearmbewegung und entsprechender Fokusnach- führung keine weiteren Eingangsgrößen, insbesondere keine Ist-Werte für Positions- oder Bewegungsdaten des Haltearms, als Rückführungswerte für eine darauf basierte Regelung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung erfasst werden. In anderen Worten erfolgt die vorliegende Steuerung bzw. Ansteuerung der mechanischen Skalierungsfunktion und der Fokussiereinrichtung ohne bzw. unabhängig von einer Erfassung von Rückführungswerten, insbesondere ohne Erfassung von weiteren Eingangsgrößen oder -werten, insbesondere ohne Erfassung von beispielsweise durch entsprechende Sensorik detektierbare Ist-Werte für Positions- oder Bewegungsdaten des Haltearms.
Erfindungsgemäß wird hierdurch eine verbesserte bildgebende Vorrichtung und ein entsprechendes Verfahren bereitgestellt, welche bzw. welches eine skalierbare Abbildung eines Operationsbereichs mit erweiterter Skalierungs- bzw. Zoomfunktionalität ermöglicht, und gleichzeitig eine einfache und effektive bzw. effiziente Steuerung der System komponenten und insbesondere Einstellung des Haltearms und Nachführung der Bildschärfe der Abbildung erlaubt. Dabei kann eine deutlich schnellere und hinreichend genaue Nachführung der Fokuseinstellung basierend auf der gemessenen Eingangsgröße erfolgen, ohne dass eine Regelung basierend auf einer Ermittlung von Ist-Werten, insbesondere für Positions- oder Bewegungsdaten des Haltearms, bereitgestellt werden muss.
Dies ist unabhängig von einer möglichen internen Regelung des robotischen Haltearms oder der Fokussiereinheit, die jeweils für sich genommen auch aus Sicherheitsgründen während der Bewegung ihre eigenen Ist- und Soll-Positionen messen und abgleichen können. Eine Verwendung solcher Informationen für die Steuerung der jeweils anderen Komponente findet jedoch nicht statt.
In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, eine Steuerung bzw. Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung, der mechanischen Skalierungsfunktion des Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Aus- lesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms zur Bereitstellung einer Regelungsgröße durchzuführen. Dabei erfolgt eine Ansteuerung sowohl der Skalierungsmittel des robotischen Haltearms und der Fokussiereinrichtung lediglich basierend auf dem erfassten Eingabebefehl und somit nicht basierend auf weiteren Regelungswerten, insbesondere ohne Erfassung von Positions- oder Bewegungsdaten des robotischen Haltearms.
Die Steuerungseinrichtung ist vorzugsweise weiterhin derart ausgebildet, einen Sollwert für die Skalierung des Aufnahmebildes bzw. eine gewünschte Änderung der Skalierung des Aufnahmebildes zu erfassen und basierend auf dem von der Eingabeeinheit erfassten Sollwert die Skalierungsmittel der Bilderfassungseinrichtung, die mechanische Skalierungsfunktion des Haltearms, sowie die Fokussiereinrichtung anzusteuern. Hierbei erfolgt vorzugsweise eine Berechnung von jeweiligen Soll-Werten für die Einstellung der Skalierungsmittel, der mechanischen Skalierungsfunktion und der Fokussiereinrichtung basierend auf dem erfassten Soll-Wert für eine gewünschte Skalierung des Aufnahmebildes, wobei die Steuerungseinrichtung anschließend eine entsprechende Einstellung der einzelnen Komponenten auf Basis der berechneten Soll-Werte durchführt.
In einer bevorzugten Ausführungsform erfolgt die mechanische Skalierungsfunktion des Haltearms vorzugsweise ausschließlich durch eine Positionsveränderung der Bilderfassungseinrichtung entlang deren optischer Achse. Hierbei wird eine axiale Entfernung, d.h. eine Entfernung entlang der optischen Achse der Bilderfassungseinrichtung, zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich verändert.
Die Bilderfassungseinrichtung ist vorteilhaft an einem vorzugsweise endseitig angeordneten Halteelement oder Manipulator des robotischen Haltearms angeordnet. Das endseitig angeordnete Halteelement bzw. ein Manipulator des robotischen Haltearms ist dabei vorzugsweise basierend auf einer Benutzereingabe mittels einer zugeordneten Eingabeeinrichtung beweglich. Die zugeordnete Ein- gabeeinrichtung kann die vorrichtungsseitige Eingabeeinheit sein, welche selektiv zur beweglichen Steuerung des robotischen Haltearms, zusätzlich zu einer Ansteuerung der mechanischen Skalierungsfunktion, ausgebildet sein kann. Es versteht sich, dass auch eine separate Eingabeeinheit zur Ansteuerung des Haltearms vorgesehen sein kann.
In einer bevorzugten Ausführungsform ist der Haltearm und/oder die Steuerungseinrichtung derart ausgebildet, dass eine Änderung der axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich lediglich bei der Bereitstellung der mechanischen Skalierungsfunktion möglich ist. Mit anderen Worten ist der Haltearm und/oder die Steuerungseinrichtung derart ausgebildet, dass eine Änderung der axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich durch die vorrichtungsseitige Eingabeeinheit oder eine separate Eingabeeinheit zur Ansteuerung des Haltearms außerhalb der Ansteuerung zur Bereitstellung der mechanischen Skalierungsfunktion verhindert wird bzw. gesperrt ist. Der Haltearm und/oder die Steuerungseinrichtung sind hierbei vorzugsweise derart ausgebildet, dass ein endseitig angeordnetes Halteelement oder ein Manipulator des robotischen Haltearms, an welchem die Bilderfassungseinrichtung angeordnet ist, durch die Eingabeeinheit in einer oder mehreren Dimensionen um den zu betrachtenden Bereich bewegt und/oder rotiert werden kann, wobei die axiale Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich konstant gehalten wird. Der robotische Haltearm und/oder die Steuerungseinrichtung sind dabei vorzugsweise derart ausgebildet, dass die an dem Haltearm angeordnete Bilderfassungseinrichtung insbesondere auf einer beispielsweise kugelförmigen Fläche um den zu betrachtenden Bereich, insbesondere einen Operationssitus oder einen Trokar, bewegt werden kann, unter Beibehaltung einer konstanten axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich.
Die Steuerungseinrichtung der Vorrichtung kann eine zentrale Steuerungseinrichtung sein, welche wenigstens mit der Eingabeeinheit, der Bilderfassungseinrichtung und dem robotischen Haltearm verbunden ist. Weiterhin kann die Steu- erungseinrichtung wenigstens eine separate Steuereinheit, insbesondere zur Ansteuerung des robotischen Haltearms, umfassen oder selektiv mit dieser verbindbar sein. Hierbei ist die separate Steuereinheit zur vorzugsweise bidirektionalen Datenkommunikation mit der Steuerungseinrichtung der Vorrichtung ausgebildet.
In einer bevorzugten Ausführungsform ist den Skalierungsmitteln eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Skalierungsfaktors sowie eines aktuellen Ist-Skalierungsfak- tors an die Steuerungseinrichtung der Vorrichtung zugeordnet. Unter Skalierungsfaktor wird vorliegend ein Vergrößerungs- oder Verkleinerungsfaktor bzw. Zoomfaktor des erfassten Aufnahmebildes verstanden.
Ein jeweiliger minimaler und maximaler Skalierungsfaktor kann hierbei für eine jeweilige Bilderfassungseinrichtung in der Speicher- und/oder Steuereinheit hinterlegt sein. Dabei kann ein jeweiliger minimaler und maximaler Skalierungsfaktor insbesondere abhängig von einer jeweiligen Optik der Bilderfassungseinrichtung und/oder eines jeweiligen Bildsensors der Bilderfassungseinrichtung sein. So kann die Bilderfassungseinrichtung beispielsweise eine wechselbare Optik aufweisen, wobei für unterschiedliche Optiken jeweils unterschiedliche Sets für einen minimalen und maximalen Skalierungsfaktor in der Speicher- und/oder Steuereinheit hinterlegt oder hinterlegbar sein können. Die minimalen und/oder maximalen Grenzen können insbesondere einer jeweiligen Unter- und/oder Obergrenze für die Verkleinerung bzw. Vergrößerung eines Zoomobjektivs entsprechen, welche abhängig von den eingesetzten Linsen und deren möglichen Verfahrwegen im Objektiv sind.
Weiterhin kann abhängig von einem jeweiligen Bildsensor und insbesondere abhängig von einer Bildqualität des Bildsensors ein jeweils unterschiedlicher elektronischer bzw. digitaler Skalierungsfaktor hinterlegt oder hinterlegbar sein. In einer weiterhin bevorzugten Ausführungsform können die Werte für einen minimalen und maximalen Skalierungsfaktor für die optischen und/oder elektronischen Skalierungsmittel auch konfigurierbar, insbesondere durch eine Benutzereingabe anpassbar sein.
Die optischen Skalierungsmittel können insbesondere eine motorisch ansteuerbare Vergrößerungsoptik der Bilderfassungseinrichtung umfassen, zur Bereitstellung einer selektiv einstellbaren, optischen Vergrößerung bzw. Zoomfunktionalität der Bilderfassungseinrichtung.
Die elektronischen Skalierungsmittel können insbesondere eine softwarebasierte Vergrößerung und/oder Verkleinerung bzw. Zoomfunktionalität des erfassten Aufnahmebildes, d.h. ein sogenanntes Digitalzoom, umfassen.
Die Fokussiereinrichtung der Vorrichtung ist vorzugsweise eine der Bilderfassungseinrichtung zugeordnete, selektiv und vorzugsweise motorgetrieben einstellbare Fokusoptik zur Einstellung der Bildschärfe des erfassten Aufnahmebildes. In einer bevorzugten Ausführungsform ist der Fokussiereinrichtung eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Fokuswerts bzw. einer Fokuseinstellung sowie eines aktuellen Ist-Fokuswerts bzw. einer Ist-Fokuseinstellung an die Steuerungseinrichtung zugeordnet. Die Fokuseinstellung umfasst hierbei insbesondere eine Position der Fokuslinse in einer Optik der Bilderfassungseinrichtung. Die jeweiligen Werte können hierbei analog zu den obigen Ausführungen für einen Skalierungsfaktor für eine jeweilige Bilderfassungseinrichtung in der Speicher- und/oder Steuereinheit hinterlegt sein. Dabei kann ein jeweiliger minimaler und maximaler Fokuswert bzw. eine Fokuseinstellung insbesondere abhängig von einer jeweiligen Optik der Bilderfassungseinrichtung und/oder eines jeweiligen Bildsensors der Bilderfassungseinrichtung sein.
In einer bevorzugten Ausführungsform ist die der Fokussiereinrichtung zugeordnete, vorzugsweise interne, Speicher- und/oder Steuereinheit ausgebildet, eine Fokuskennlinie der jeweiligen Bilderfassungseinrichtung zur Zuordnung einer je- weiligen Fokuseinstellung zu einer jeweiligen Vergrößerung durch die Skalierungsmittel der Bilderfassungseinrichtung und/oder einer jeweiligen Entfernung zum zu beobachtenden Bereich, insbesondere bei der mechanischen Skalierungsfunktion, bereitzustellen. Die Fokuskennlinie umfasst hierbei vorzugsweise eine Kurve bzw. Kennlinie, aus welcher eine jeweilige Fokuslinsenposition gegenüber einer jeweiligen Distanz zum zu betrachtenden Bereich zur Scharfstellung der Optik bzw. des erfassten Aufnahmebildes hervorgeht. Die jeweilige Fokuskennlinie kann hierbei einer jeweiligen Bilderfassungseinrichtung mit zugeordneter Fokuslinse in der Speicher- und/oder Steuereinheit zugeordnet sein, wobei die jeweiligen Einstellungswerte für eine der Bilderfassungseinrichtung zugeordnete Fokuslinse vordefiniert sein können und/oder basierend auf empirischen Messdaten mit der jeweiligen Bilderfassungseinrichtung und dem damit verbundenen robotischen Halterarm eingelernt bzw. einlernbar sind.
In einer bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, einen durch die Eingabeeinheit erfassten Sollwert für die Skalierung mit einem minimalen und maximalen Skalierungsfaktor, sowie einem bereitgestellten Ist- Skalierungsfaktor der Skalierungsmittel, d.h. einem derzeitigen Zoomfaktor der Skalierungsmittel, zu vergleichen und darauf basierend eine selektive oder kombinierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel sowie des robotischen Haltearms zur Bereitstellung der mechanischen Skalierungsfunktion anzusteuern. Hierbei kann die Steuerungseinrichtung weiterhin ausgebildet sein, basierend auf dem erfassten Sollwert für die Skalierung und einem Vergleich mit einem derzeitigen Ist-Skalierungsfaktor der Skalierungsmittel eine präferierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel und/oder der mechanischen Skalierungsfunktion durchzuführen. In einer besonders bevorzugten Ausführungsform ist die Steuerungseinrichtung ausgebildet, bis zu einem Erreichen eines minimalen oder maximalen Skalierungsfaktors der Skalierungsmittel zunächst die optischen und/oder elektronischen Skalierungsmittel anzusteuern und erst anschließend eine weitere Anpassung der Skalierung durch Ansteuerung des robotischen Haltearms und somit durch die mechanische Skalierungsfunktion auszuführen. Zur Bereitstellung der mechanischen Skalierungsfunktion ist die Steuerungseinrichtung vorzugsweise ausgebildet, basierend auf dem erfassten Eingabebefehl, insbesondere basierend auf einem Sollwert für die Skalierung des Aufnahmebildes, eine notwendige Änderung der Haltearmposition, insbesondere eine Positionsänderung der am Haltearm angeordneten Bilderfassungseinrichtung, entlang einer optischen Achse der Bilderfassungseinrichtung zu berechnen. Hierbei ist die Steuerungseinrichtung vorzugsweise ausgebildet, einen oder mehrere Soll- Werte für eine Bewegung, insbesondere eine Positionsänderung des robotischen Haltearms entlang der optischen Achse der Bilderfassungseinrichtung zu deren Positionsänderung auszugeben. Die jeweilige Positionsänderung kann anschließend durch Ansteuerung des robotischen Haltearms durch die Steuerungseinrichtung selbst oder eine separate Steuereinheit des robotischen Haltearms erfolgen, an welche die Soll-Werte bereitgestellt oder übertragen werden. Weiter bevorzugt ist die Steuerungseinrichtung dabei derart ausgebildet, basierend auf der berechneten Änderung der Haltearmposition, insbesondere einer Änderung der axialen Entfernung zum zu betrachtenden Bereich, eine Ansteuerung der Fokussiereinrichtung und insbesondere eine Einstellung der Position der Fokuslinse der Bilderfassungseinrichtung vorzunehmen. Eine Ansteuerung der Fokussiereinrichtung erfolgt hierbei vorzugsweise unter Auslesen einer hinterlegten Fokuskennlinie der Bilderfassungseinrichtung, wie vorgehend beschrieben.
Die Steuerungseinrichtung kann derart ausgebildet sein, bei einer Skalierung des Aufnahmebildes durch Einstellung der optischen und/oder elektronischen Skalierungsmittel und/oder der mechanischen Skalierungsfunktion eine gleichzeitige und/oder nachgelagerte Ansteuerung der Fokussiereinrichtung zur Nachführung des Fokus und vorzugsweise basierend auf einer hinterlegten Fokuskennlinie der jeweiligen Bilderfassungseinrichtung zu bestimmen.
In einer bevorzugten Ausführungsform ist die Eingabeeinheit der Vorrichtung derart ausgebildet, dass diese eine variable, insbesondere auslenkungsabhängige Sollwerterfassung eines Skalierungsfaktors ermöglicht. Die Eingabeeinheit umfasst vorzugsweise Eingabemittel mit mehreren Freiheitsgraden, welche zur Erfassung einer Auslenkung in eine jeweilige Richtung ausgebildet sind. Insbesondere kann die Eingabeeinheit einen 3D-Joystick umfassen, der neben einer Erfassung von lateralen Eingabebefehlen in einer ersten Bewegungsebene, eine Erfassung von vertikalen Eingabebefehlen in einer Richtung senkrecht zur ersten Bewegungsebene ermöglicht. Weiterhin kann der 3D-Joystick zur Erfassung einer Auslenkung um eine vertikale Rotationsachse und/oder eine vorzugsweise senkrecht dazu angeordnete Kippachse ausgebildet sein. Eine Sollwerterfassung für den Skalierungsfaktor kann vorzugsweise durch Erfassung eines vertikalen Eingabebefehls, insbesondere in eine erste Richtung zur Verkleinerung und in eine zweite, zur ersten entgegengesetzte, Richtung zur Vergrößerung, erfolgen. Die Eingabeeinheit kann von einem Anwender mit der Hand oder mit einem Fuß bedient werden.
Die Eingabeeinheit kann weiterhin zur selektiven Ansteuerung der Bilderfassungseinrichtung und/oder des beweglichen Haltearms ausgebildet sein. Hierbei kann die Eingabeeinheit beispielsweise eine selektive Eingabefunktion aufweisen, beispielsweise eine manuell bedienbare Taste oder Fußschalter, mittels welcher zwischen einer Steuerung des Haltearms durch die Eingabeeinheit, insbesondere zur Lage- und/oder Positionsänderung des Haltearms, und einer Erfassung eines gewünschten Skalierungsfaktors bzw. einer Erfassung einer Anpassung des derzeitigen Skalierungsfaktors unterschieden werden kann.
In einer bevorzugten Ausführungsform ist die Bilderfassungseinrichtung ein an sich bekanntes Stereo-Exoskop. Das Stereo-Exoskop weist vorzugsweise wenigstens optische, ansteuerbare Skalierungsmittel, insbesondere ein optisches Zoom, sowie eine motorgetriebene Fokussteuerung auf. Die Bilderfassungseinrichtung kann weiterhin eine distal angeordnete Spiegeleinheit für eine 90° Umlenkung der Blick- bzw. Erfassungsrichtung aufweisen. Die Spiegeleinheit kann optional beweglich bzw. rotierbar ausgeführt sein. Die Bilderfassungseinrichtung kann beispielsweise zwei bis vier Bildsensoren aufweisen, welche zur Erfassung eines (Stereo-)Aufnahmebildes mit einer Auflösung von vorzugsweise 4K oder höher ausgebildet sind.
In einer weiteren bevorzugten Ausführungsform umfasst die Bilderfassungseinrichtung eine Autofokusfunktion, welche durch die Steuerungseinrichtung aktivierbar und/oder ansteuerbar ist. Beispielsweise kann die Steuerungseinrichtung ausgebildet sein, nach Beendigung einer Haltearmbewegung eine, vorzugsweise einmalige, d.h. nicht kontinuierliche, Autofokusfunktion der Bilderfassungseinrichtung zu aktivieren. Da die vorliegende Ansteuerung der mechanischen Skalierungsfunktion bzw. des Haltearms ohne Rückführung von Sensordaten eines Haltearms erfolgt, ist die Steuerungseinrichtung hierbei beispielweise derart ausgebildet, dass basierend auf den jeweils berechneten Sollwerten für eine Bewegung des Haltearms eine zeitliche Abschätzung erfolgt, wie lange der robotische Haltearm für die Umsetzung der gewünschten bzw. berechneten Bewegung benötigt, und basierend hierauf eine Ansteuerung der Autofokusfunktion nach Ablauf des zuvor berechneten Zeitintervalls erfolgt.
Eine Autofokusfunktion der Bilderfassungseinrichtung kann dabei mit an sich bekannten Mitteln verwirklicht sein, insbesondere kann die Autofokusfunktion eine Kontrastmessung, einen Phasenvergleich oder eine aktive Entfernungsmessung umfassen.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfolgt eine Skalierung und Einstellung der Fokussiereinrichtung bzw. Fokusnachführung des Aufnahmebildes durch Ansteuerung der Skalierungsmittel, des ro- botischen Haltearms und der Fokussiereinrichtung lediglich basierend auf dem durch die Eingabeeinheit erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms. Eine Skalierung des Aufnahmebildes und ein Fokussieren des Aufnahmebildes kann gleichzeitig oder sequenziell erfolgen. In einer bevorzugten Ausführungsform des Verfahrens erfolgt basierend auf einem erfassten Sollwert für eine Skalierung des Aufnahmebildes, insbesondere für eine gewünschte Vergrößerung des Aufnahmebildes, zunächst eine Skalierung durch Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung und erst bei Überschreiten eines maximalen Skalierungsfaktors der Bilderfassungseinrichtung eine Skalierung durch Veränderung der axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich durch Haltearmpositionsänderung. Weiterhin kann vorteilhaft eine Steuerung derart erfolgen, dass bei einer gewünschten Verkleinerung des Aufnahmebildes, zunächst eine Skalierung durch Veränderung der axialen Entfernung zwischen Bilderfassungseinrichtung und dem zu betrachtenden Bereich durch Haltearmpositionsänderung, insbesondere eine Vergrößerung der axialen Distanz, und erst bei Überschreiten eines vordefinierten Skalierungsfaktors eine Ansteuerung der Skalierungsmittel der Bilderfassungseinrichtung erfolgt.
Es ist jeweils jedoch auch die umgekehrte Reihenfolge möglich, so dass bei einer Skalierung mit gewünschter Vergrößerung zunächst eine mechanische Skalierung durch den Haltearm erfolgt, beispielsweise wenn die Steuerung erkennt, dass eine gewünschte Soll-Skalierung durch die Skalierungsmittel der Bilderfassungseinrichtung alleine nicht möglich ist. Danach erfolgt dann die weitere Skalierung durch die optischen und/oder elektronischen Skalierungsmittel. Bei der Verkleinerung ist die Reihenfolge entsprechend.
In einer weiteren bevorzugten Ausführungsform umfasst eine Ansteuerung der Fokussiereinrichtung bei Veränderung der Haltearmposition wenigstens die folgenden weiteren Schritte: Bestimmung einer initialen Fokuseinstellung vor Ausführung einer Bewegung des Haltearms; Berechnung der notwendigen Veränderung der Haltearmposition entlang der optischen Achse der Bilderfassungseinrichtung zur Bereitstellung des erfassten Sollwerts für die Skalierung des Aufnahmebildes; Berechnung eines Sollwerts für die Fokuseinstellung basierend auf der berechneten Veränderung der Haltearmposition und auf Basis einer für die Bilderfassungseinrichtung hinterlegten Fokuskennlinie; Ansteuerung der Fokussiereinrichtung zur Einstellung des ermittelten Sollwerts. Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen der Erfindung sowie anhand von lediglich schematischen Zeichnungen.
Es zeigen:
Fig. 1 : eine schematische Ansicht eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung;
Fig. 2: eine Seitenansicht eines Ausführungsbeispiels einer erfindungsgemäßen Bilderfassungseinrichtung;
Fig. 3: ein Blockdiagramm der Vorrichtungskomponenten; und
Fig. 4: ein schematisches Flussdiagramm zur Skizzierung der Schritte eines bevorzugten Ausführungsbeispiels bei der Skalierung und Fokusnachführung,
Fig. 5 eine schematische Darstellung der Anwendungsbereiche optischer Skalierung und mechanischer Skalierungsmittel; und
Fig. 6 eine schematische Darstellung einer Fokuskennlinie.
Gleich Elemente beziehungsweise Elemente mit gleicher Funktion sind in den Figuren mit den gleichen Bezugsziffern versehen.
Fig. 1 zeigt in einer schematischen Darstellung ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 100. Die Vorrichtung ist zur skalierbaren visuellen Darstellung, eines zu betrachtenden Bereichs 101 , insbesondere eines Operationsbereichs, hier lediglich beispielhaft schematisch dargestellt, ausgebildet. Der zu betrachtende Bereich 101 kann hierbei ein Operationssitus sein. Die Vorrichtung 100 weist eine Bilderfassungseinrichtung 102 auf, welche zur Erfassung eines Aufnahmebildes, insbesondere eines Live-Videobildes, ausgebildet ist. Die Bilderfassungseinrichtung 102 kann hierbei beispielsweise in einer Entfernung von 20 bis 50cm über einem zu erfassenden Bereich angeordnet bzw. anordenbar sein. Die Bilderfassungseinrichtung 102 ist dabei an einem endseitigen Abschnitt oder Manipulator 103a eines robotischen Haltearms 103 angeordnet. Der robotische Haltearm 103 kann an einem Standelement 104 wie beispielsweise einem selektiv verfahrbaren Wagen angeordnet sein. Alternativ ist auch eine Decken- oder Wandmontage in einem Behandlungsraum möglich. Die Bilderfassungseinrichtung 102 ist weiterhin mit einer Displayeinheit 105 verbunden, an welcher eine Ausgabe des erfassten und selektiv skalierbaren Aufnahmebildes erfolgt. Die Vorrichtung 100 umfasst ferner eine Eingabeeinheit 106 und bevorzugt einen dieser zugeordneten Fußschalter 107. Der Fußschalter 107 kann hierbei zur selektiven Umschalten der Ansteuerung des robotischen Haltearms 103 oder der Bilderfassungseinrichtung 102 ausgebildet sein. Die Eingabeeinheit 106 ist vorzugsweise als 3D-Joystick ausgebildet und ermöglicht vorzugsweise neben der Erfassung von lateralen Eingabebefehlen (Doppelpfeile A,B), die Erfassung einer vertikalen Bewegung (Doppelpfeil C). Weiterhin kann die Eingabeeinheit 106 zur Erfassung einer Rotationsbewegung und/oder einer Kippbewegung des 3D-Joysticks ausgebildet sein (nicht gezeigt). Die Eingabeeinheit 106 ist dabei insbesondere zu einer Erfassung eines Eingabebefehls für eine Skalierung bzw. Änderung der Skalierung des auf der Displayeinheit 105 gezeigten Aufnahmebildes ausgebildet. Hierbei ist die Eingabeeinheit vorzugsweise ausgebildet, eine auslenkungsabhängige Sollwerterfassung des Skalierungsfaktors, insbesondere eine auslenkungsabhängige Änderung eines aktuellen Skalierungsfaktors zu erfassen. Dies bedeutet, dass eine stärkere Auslenkung des 3D-Joysticks entlang des Doppelpfeils C zu einer stärkeren Vergrößerung oder Verkleinerung des Aufnahmebildes auf der Displayeinheit 105 führt. Eine Skalierung, d.h. eine Verkleinerung oder Vergrößerung, des Aufnahmebildes kann dabei mittels der Bilderfassungseinrichtung 102 zugeordneten optischen und/oder elektronischen Skalierungsmittel 108, 109 (vgl. Fig. 3) und/oder mittels einer durch den Haltearm bereitgestellten mechanischen Skalierungsfunktion 110 (vgl. Fig. 3) erfolgen, bei welcher der robotische Haltearm die daran gehalterte Bilderfassungseinrichtung 102 relativ zum zu betrachtenden Bereich 101 entlang einer optische Achse 111 der Bilderfassungseinrichtung 102 zur Adaption einer axialen Entfernung zwischen Bilderfassungseinrichtung und zu betrachtenden Bereich bewegt (Doppelpfeil D).
Fig. 2 zeigt eine seitliche Ansicht eines bevorzugten Ausführungsbeispiels der Bilderfassungseinrichtung 102. Die Bilderfassungseinrichtung ist vorliegend ein an sich bekanntes Stereo-Exoskop. Dieses weist vorzugsweise motorisch ansteuerbare optische Skalierungsmittel, d.h. ein einer Optik des Exoskops zugeordnetes bzw. von dieser umfasstes optisches Zoom 108, sowie eine vorzugsweise motorisch ansteuerbare Fokussiereinrichtung 112, d.h. eine einer Optik des Exoskop zugeordnete bzw. von dieser umfasste Fokuslinse auf. Die Bilderfassungseinrichtung 102 umfasst weiterhin eine distal angeordnete Spiegeleinheit 113 für ein 90° Umlenkung der Blick- bzw. Erfassungsrichtung. Weiterhin kann die Bilderfassungseinrichtung 102 ein Filterrad 114 zur Aufnahme unterschiedlicher, anwendungsspezifischer Farbfilter aufweisen. Die Bilderfassungseinrichtung kann zusätzlich eine nicht gezeigte Beleuchtungseinheit zur Beleuchtung des zu betrachtenden Bereichs aufweisen.
Fig. 3 zeigt ein Blockschaltbild der Vorrichtungskomponenten eines Ausführungsbeispiels der Vorrichtung nach Fig. 1. Die Vorrichtung 100 umfasst eine Steuerungseinrichtung 115, welche mit der Bilderfassungseinrichtung 102, dem robo- tischen Haltearm 103 und der Eingabeeinheit 106 verbunden ist. Die Steuerungseinrichtung 115 kann hierbei eine zentrale Steuerungseinheit mit einem Prozessor und zugeordneten Speichermitteln (nicht gezeigt) umfassen. Die Steuerungseinrichtung ist erfindungsgemäß derart ausgebildet, dass diese die Einstellung der mechanischen Skalierungsfunktion 110 und der Fokussiereinrichtung 112 durch eine Steuerung des Haltearms 103 und der Fokussiereinrichtung 112 ohne Regelung unter Rückgriff auf Sensorwerte des Haltearms 103, insbesondere ohne Ist-Werte für Positions- oder Bewegungsdaten des Haltearms 103 durchführt. Insbesondere soll die Steuerungseinrichtung 115 eine Steuerung des Haltearms 103 und der Fokussiereinrichtung 112 lediglich basierend auf einem durch die Eingabeeinheit 106 erfassten Eingabebefehl zur Skalierung des Aufnahmebildes bzw. zur Veränderung der Skalierung des Aufnahmebildes durchführen. Die Steuerungseinheit 115 ist hierbei zur Ansteuerung der mechanischen Skalierungsfunktion 110 des Haltearms 103 durch Variation einer axialen Entfernung d zwischen Bilderfassungseinrichtung 102 und dem zu betrachtenden Bereich 101 ausgebildet.
Die Steuerungseinrichtung 115 ist derart ausgebildet, dass diese ein optische Skalierungsfunktion 108 der Bilderfassungseinrichtung 102, insbesondere durch ein Verstellen der Linsenoptik, und/oder eine elektronische Skalierungsfunktion 109, insbesondere durch Anzeigen eines Teilausschnitts des digitalen Bildbereichs auf der Displayeinheit 105 ansteuern kann. Hierbei ist die Steuerungseinrichtung 115 vorzugsweise derart ausgebildet, einen jeweiligen Ist-Wert der optischen und/oder elektronischen Skalierungsmittel 108,109, insbesondere einen aktuellen Vergrößerungs- bzw. Zoomfaktor, auszulesen. Die optischen und/oder elektronischen Skalierungsmittel 108,109 können hierfür eine interne Speicher- und/oder Steuereinheit aufweisen, welche neben einem Ist-Wert für einen vorliegenden Skalierungsfaktor einen jeweiligen minimalen und maximalen Skalierungsfaktor gespeichert haben.
Die Steuerungseinrichtung 115 ist weiterhin zur selektiven oder kombinierten Ansteuerung der Skalierungsmittel 108,109 sowie der mechanischen Skalierungsfunktion 110 ausgebildet, um einen erweiterten Skalierungsbereich bzw. einen erweiterten Gesamtzoombereich bereitzustellen (vgl. auch Fig. 5). Hierbei er- möglicht die Steuerungseinrichtung 115 durch vorzugsweise gleichzeitig oder sequenziell erfolgende Ansteuerung der Fokussiereinrichtung 112 eine Fokusnachführung des Aufnahmebildes. Die Fokussiereinrichtung 112 weist hierbei vorzugsweise ebenfalls eine interne Speicher- und/oder Steuereinheit auf, welche einen aktuellen Ist-Wert einer Fokuseinstellung der Fokussiereinrichtung 112 an die Steuerungseinrichtung bereitstellen kann. Weiterhin ist in der Fokussiereinrichtung 112 und/oder in der Steuereinrichtung 115 eine jeweilige Fokuskennlinie 116 für die jeweilige Bilderfassungseinrichtung bzw. eine Optik oder Identifikationsnummer der Bilderfassungseinrichtung 102 gespeichert, aus welcher sich der Zusammenhang einer jeweiligen Fokuseinstellung bzw. einer Position der Fokuslinse Fp in der Optik der Bilderfassungseinrichtung 102 zur jeweiligen Entfernung d der Bilderfassungseinrichtung 102 bzw. der Optik der Bilderfassungseinrichtung 102 zum zu betrachtenden Bereich 101 ergibt. Insbesondere kann aus der hinterlegten Fokuskennlinie ausgelesen werden, auf welche Position der Fokuslinse die jeweilige Fokussiereinrichtung einzustellen ist, um bei einer bestimmten Entfernung d zwischen Erfassungsoptik und zu betrachtendem Bereich 101 eine Scharfstellung des Aufnahmebildes zu erreichen.
Eine Ausführungsform der Schritte zur Skalierung und Fokusnachführung mit der erfindungsgemäßen Vorrichtung wird im Folgenden in Zusammenhang mit Fig. 4 beschrieben.
Fig. 4 zeigt ein Flussdiagramm 200 für eine erfindungsgemäße Ansteuerung von optischen Skalierungsmitteln 108 einer Bilderfassungseinrichtung 102 und der mechanischen Skalierungsfunktion 110 zur Bereitstellung einer erweiterten Skalierung, mit Nachführung einer Fokuseinstellung, beispielhaft für eine Vergrößerung des Aufnahmebildes.
Es wird davon ausgegangen, dass vor einer Verwendung der Vorrichtung eine manuelle und/oder elektronische Einstellung der Position der Bilderfassungseinrichtung 102 zum zu betrachtenden Bereich 101 erfolgt, insbesondere durch eine gewünschte Ausrichtung des robotischen Haltearms 103 und der Bilderfassungseinrichtung 102. Der Benutzer kann hierbei einen gewünschten Betrachtungswinkel und einen gewünschten Abstand d zwischen Bilderfassungseinrichtung 102 und Bereich 101 wählen.
In einem ersten Schritt 201 erfolgt zunächst eine initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder elektronische Einstellung einer der Bilderfassungseinrichtung 102 zugeordneten Fokussiereinrichtung 112. Weiterhin kann zusätzlich eine Einstellung eines initialen Skalierungs- bzw. Vergrößerungsfaktors durch manuelle und/oder elektronische Einstellung, beispielsweise der optischen Skalierungsmittel 108, erfolgen.
In Schritt 202 erfolgt ein Auslesen der Skalierungsmittel 108 und der Fokussiereinrichtung 112 durch die Steuerungseinrichtung 115 zur Bereitstellung von Ist- Werten für einen aktuellen Skalierungsfaktor der Bilderfassungseinrichtung 102 und einer Fokuseinstellung bzw. einer eingestellten Position der Fokuslinse der Optik der Bilderfassungseinrichtung 102. Hierdurch kann mittels der hinterlegten Fokuskennlinie die Fokusdistanz bzw. die Distanz d zwischen Bilderfassungseinrichtung 102 und dem Betrachtungsbereich 101 ermittelt werden (Position Po, vgl. Fig. 6).
Der Schritt 202 kann beispielsweise durch Drücken eines Fußschalters 107 ausgelöst werden, wobei der Fußschalter 107 als Auslöser für eine Veränderungsmöglichkeit einer Skalierung durch Eingabe an der Eingabeeinheit bzw. dem 3D Joystick 106 dienen kann. Alternativ kann der Schritt 202 auch direkt an der Eingabeeinheit 106 ausgelöst werden.
In Schritt 203 erfolgt eine Erfassung der Eingabe eines gewünschten Skalierungsfaktors oder einer gewünschten Veränderung des Skalierungsfaktors mittels der Eingabeeinheit 106. Hierbei kann die Eingabeeinheit 106 einen Sollwert für eine gewünschte Vergrößerung erfassen, welcher an die Steuerungseinrichtung 115 übermittelt wird. In Schritt 204 wird basierend auf der Benutzereingabe bzw. der gewünschten Vergrößerung ein neuer Skalierungs- bzw. Vergrößerungsfaktor berechnet, welcher durch die Vorrichtung eingestellt werden soll. Hierbei erfolgt ein Vergleich mit dem erfassten Ist-Skalierungsfaktor und einem Minimal- und Maximalwert für den Skalierungsfaktor der Skalierungsmittel 108. Eine Vergrößerung mittels der Skalierungsmittel 108 der Bilderfassungseinrichtung 102 kann hierbei bis zu einem Erreichen eines hinterlegten Maximalwerts der Skalierungsmittel 108 erfolgen, ohne dass eine Ansteuerung der mechanischen Skalierungsfunktion 110 erfolgt, vgl. Iterationsschleife 205.
Überschreitet der gewünschte Skalierungswert den Maximalwert der Skalierungsmittel 108 (Prüfung in Schritt 206), wird in Schritt 207 eine notwendige Distanzänderung d1 zum zu betrachtenden Bereich 101 berechnet, welche zur Erzielung der gewünschten verbleibenden Vergrößerung notwendig ist. Basierend hierauf erfolgt dann in Schritt 208 eine Sollwertausgabe zur Ansteuerung des ro- botischen Haltearms 103 und somit zur Veränderung und insbesondere Verkürzung der Distanz d entlang der optischen Achse 111 hin zu einer Position Pi des Haltearms 103.
In Schritt 209 erfolgt eine Ansteuerung der Fokussiereinrichtung 112 durch die Steuerungseinrichtung 115 zur Nachführung der Bildschärfe. Hierbei erfolgt basierend auf dem durch die Eingabeeinheit 106 erfassten Eingabebefehl zur Vergrößerung des Aufnahmebildes eine Einstellung der Fokuslinse anhand der hinterlegten Fokuskennlinie. Insbesondere bestimmt die Steuereinrichtung 115 die notwendige Einstellung der Fokuseinrichtung bzw. der Position Fi der Fokuslinse in der Optik der Bilderfassungseinrichtung 102 basierend auf der zuvor ermittelten Distanzänderung d1 und somit der neuen Position Pi (vgl. Fig. 6).
Soll nun ausgehend von der neuen Position Pi wieder eine Verkleinerung des Skalierungsfaktors erwünscht sein bzw. durch die Eingabeeinheit 106 erfasst werden, erfolgt vorzugsweise eine Ansteuerung durch die Steuerungseinrichtung 115 derart, dass zunächst die mechanische Skalierungsfunktion 110 zur Verkleinerung des Skalierungsfaktors angesteuert wird. Insbesondere erfolgt dabei eine Vergrößerung der axialen Entfernung d, bis die zuvor angesteuerte Distanzänderung d1 erreicht ist. Danach erfolgt eine Ansteuerung der Skalierungsmittel 108 der Bilderfassungseinrichtung 102.
Sollte eine weitere Verkleinerung des Skalierungsfaktors erwünscht sein bzw. durch die Eingabeeinheit 106 erfasst werden, werden die Skalierungsmittel 108 so lange zur Verkleinerung angesteuert, bis ein hinterlegter Minimalwert der Skalierungsmittel erreicht ist. Ab Erreichung des Minimalwertes der Skalierungsmittel 108 erfolgt dann eine Ansteuerung der mechanischen Skalierungsfunktion 110 durch erneute Vergrößerung der axialen Entfernung d, d.h. es erfolgt eine weitere Entfernung der Bilderfassungseinrichtung 102 entlang der optischen Achse 111.
Die vorstehend beschriebene Ansteuerung durch die Steuerungseinrichtung 115 wird nachfolgend nochmals mit Verweis auf die schematische Darstellung in Fig. 5 erläutert, wobei aus dieser ein Skalierungsbereich 120 der beispielhaft optischen Skalierungsmittel 108 der Bilderfassungseinrichtung 102 hervorgeht. Ausgehend von einer initial festgelegten Entfernung dini zwischen Bilderfassungseinrichtung 102 und zu betrachtendem Bereich 101 erfolgt bei einer Vergrößerung (Pfeil 121 ) oder Verkleinerung (Pfeil 122) zunächst eine Ansteuerung der optischen Skalierungsmittel 108, so lange bis ein maximaler Skalierungsfaktor Smax oder ein minimaler Skalierungsfaktor Smin erreicht ist. Ab einer Überschreitung des maximalen Skalierungsfaktors oder einer Unterschreitung des minimalen Skalierungsfaktors erfolgt eine Ansteuerung der mechanischen Skalierungsfunktion 110, entweder zur Vergrößerung durch Verkürzung der axialen Entfernung d zwischen Bilderfassungseinrichtung 102 zum Operationsbereich 101 im Bereich 123 oder zur Verkleinerung durch Vergrößerung der axialen Entfernung im Bereich 124.
Sollte eine jeweilige Rückführung des Skalierungsfaktors erfolgen, d.h. von den Bereichen außerhalb der minimalen und maximalen Skalierungsfaktoren Smin, Smax der Bilderfassungseinrichtung 102 hin zum Bereich 120, wird zunächst die mechanische Skalierungsfunktion so lange zur Reduktion oder Vergrößerung des Skalierungsfaktors angesteuert, bis eine Distanz erreichet ist, welche innerhalb des Bereichs 120 liegt, bei welcher auf die optischen Skalierungsmittel 108 zurückgegriffen werden kann.
Die vorgehend beschriebene Ansteuerung kann von einer Aktivierung eines Fußschalters abhängig sein. Sollte beispielsweise der Fußschalter nach einer Verkleinerung (Pfeil 122) in den Bereich 124 losgelassen worden sein, kann abwei- chend von der vorgehend beschriebenen Ansteuerung und bei beispielsweise einer (erneuten) Vergrößerung eines Skalierungsfaktors aus dem Bereich 124 zunächst eine sofortige Ansteuerung der optischen Skalierungsmittel 108 erfolgen und erst bei Erreichung eines maximal möglichen Skalierungsfaktors der optischen Skalierungsmittel 108 eine Ansteuerung der mechanischen Skalierungs- funktion 110 zur weiteren Vergrößerung erfolgen.
Bezugszeichenliste
100 Vorrichtung
101 zu betrachtender Bereich
102 Bilderfassungseinrichtung
103 robotischer Haltearm
103a endseitiger Abschnitt
104 Wagen
105 Display
106 Eingabeeinheit
107 Fußschalter
108 optisches Skalierungsmittel/Zoom
109 elektronische Skalierungsmittel/Zoom
110 mechanische Skalierungsfunktion
111 optische Achse
112 Fokussiereinrichtung
113 Spiegeleinheit
114 Filterrad
115 Steuerungseinrichtung
116 Fokuskennlinie
120 Zoombereich der opt./elektr. Skalierungsmittel
121 Vergrößerung
122 Verkleinerung
123 Vergrößerungsbereich mechanische Skalierungsfunktion
124 Verkleinerungsbereich mechanische Skalierungsfunktion d axiale Entfernung d1 Distanzänderung dini initiale Entfernung
Smax maximaler Skalierungsfaktor opt. Skalierungsmittel
Smin minimaler Skalierungsfaktor opt. Skalierungsmitte
Po,1 Haltearmpositionen Fp Postion Fokuslinse

Claims

Patentansprüche
1. Eine bildgebende Vorrichtung (100) zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs (101 ), insbesondere eines Operationsbereichs, aufweisend: eine optische Bilderfassungseinrichtung (102) zur Erfassung eines Aufnahmebildes des zu betrachtenden Bereichs (101 ), der Bilderfassungseinrichtung (102) zugeordnete optische und/oder elektronische Skalierungsmittel (108,109) zur Skalierung des erfassten Aufnahmebildes, sowie eine der Bilderfassungseinrichtung zugeordnete, einstellbare Fokussiereinrichtung (112), einen robotischen Haltearm (103) zur Bewegung der Bilderfassungseinrichtung (102) relativ zum zu betrachtenden Bereich (101 ), wobei der Haltearm (103) zur Bereitstellung einer mechanischen Skalierungsfunktion (110) durch Adaption einer axialen Entfernung (d) zwischen Bilderfassungseinrichtung (102) und zu betrachtenden Bereich (101 ) ausgebildet ist, eine Eingabeeinheit (106) zur Erfassung eines benutzerseitigen Eingabebefehls für eine Skalierung des Aufnahmebildes auf einer Displayeinheit (105), eine Steuerungseinrichtung (115) zur Einstellung der Skalierungsmittel (108,109) der Bilderfassungseinrichtung (102) und der mechanischen Skalierungsfunktion (110) des Haltearms, sowie der Fokussiereinrichtung (112), dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, die Einstellung der mechanischen Skalierungsfunktion (110) und der Fokussiereinrichtung (112) durch eine Steuerung des Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes durchzuführen. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, eine Ansteuerung der Skalierungsmittel (108,109), der mechanischen Skalierungsfunktion (110) des Haltearms (103) und der Fokussiereinrichtung (112) basierend lediglich auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes, und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms (103) vorzunehmen. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingabeeinheit (106) ausgebildet ist, einen Sollwert für die Skalierung des Aufnahmebildes zu erfassen und dass die Steuerungseinrichtung (115) ausgebildet ist, basierend auf dem von der Eingabeeinheit (106) erfassten Sollwert die Skalierungsmittel der Bilderfassungseinrichtung (108,109), die mechanische Skalierungsfunktion (110) des Haltearms (103), sowie die Fokussiereinrichtung (112) anzusteuern. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die mechanische Skalierungsfunktion (110) des Haltearms (103) durch eine Positionsveränderung der Bilderfassungseinrichtung (102) entlang deren optischer Achse (111 ) erfolgt. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Skalierungsmitteln (108,109) eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Skalierungsfaktors sowie eines aktuellen Ist-Skalierungsfaktors an die Steuerungseinrichtung (115) zugeordnet ist. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fokussiereinrichtung (112) eine vorzugsweise interne Speicher- und/oder Steuereinheit zur Bereitstellung eines minimalen und maximalen Fokuswerts/Fokuseinstellung sowie eines aktuellen Ist-Fokus- werts/Fokuseinstellung an die Steuerungseinrichtung (115) zugeordnet ist. Vorrichtung nach einem der vorgehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) und/oder eine der Fokussiereinrichtung (112) zugeordnete, vorzugsweise interne, Speicher- und/oder Steuerungseinheit ausgebildet ist, eine Fokuskennlinie der Bilder- fassungseinrichtung (102) zur Zuordnung einer jeweiligen Fokuseinstellung zu einer jeweiligen Entfernung (d) zum zu beobachtenden Bereich (101 ) bereitzustellen. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, einen durch die Eingabeeinheit (106) erfassten Sollwert für die Skalierung mit einem minimalen und maximalen Skalierungsfaktor, sowie dem Ist-Skalierungsfaktor der Skalierungsmittel (108,109) zu vergleichen und darauf basierend eine selektive oder kombinierte Ansteuerung der optischen und/oder elektronischen Skalierungsmittel (108,109) und des robotischen Haltearms (103) zur Bereitstellung der mechanischen Skalierungsfunktion (110) anzusteuern. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bis zu einem Erreichen eines minimalen oder maximalen Skalierungsfaktors der Skalierungsmittel (108,109) zunächst die optischen und/oder elektronischen Skalierungsmittel (108,109) anzusteuern und erst anschließend eine weitere Anpassung der Skalierung durch Ansteuerung des robotischen Haltearms (103) auszuführen. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, basierend auf einem Sollwert für die Skalierung des Aufnahmebildes eine notwendige Änderung der Haltearmposition, insbesondere eine Positionsänderung der am Haltearm angeordneten Bilderfassungseinrichtung (102), entlang einer optischen Achse (111 ) der Bilderfassungseinrichtung (102) zu berechnen und basierend auf dieser Änderung der Haltearmposition, insbesondere einer Änderung der axialen Entfernung (d) zum zu betrachtenden Bereich
(101 ), eine Ansteuerung der Fokussiereinrichtung (112) vorzunehmen.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bei einer Skalierung des Aufnahmebildes eine gleichzeitige und/oder nachgelagerte Ansteuerung der Fokussiereinrichtung (112) zur Nachführung des Fokus basierend auf einer hinterlegten Fokuskennlinie der jeweiligen Bilderfassungseinrichtung (102) zu bestimmen.
12. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eingabeeinheit (106) eine variable, insbesondere auslenkungsabhängige Sollwerterfassung eines Skalierungsfaktors ermöglicht und optional zur selektiven Ansteuerung der Bilderfassungseinrichtung
(102) und/oder des beweglichen Haltearms (103) ausgebildet ist.
13. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinrichtung (102) ein Stereo-Exoskop mit vorzugsweise wenigstens optischen Skalierungsmitteln (108) und einer motorgetriebenen Fokussiereinrichtung (112) umfasst.
14. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der bewegliche robotische Haltearm (103) eine eigene Steuereinheit aufweist, welche zur bidirektionalen Datenkommunikation mit der Steuerungseinrichtung (115) der Vorrichtung (100) ausgebildet ist.
15. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerungseinrichtung (115) ausgebildet ist, bei Beendi- gung einer Haltearmbewegung eine vorzugsweise einmalige, d.h. nicht kontinuierliche, Autofokusfunktion der Bilderfassungseinrichtung (102) zu aktivieren.
16. Verfahren zur skalierbaren visuellen Darstellung eines zu betrachtenden Bereichs, insbesondere eines Operationsbereichs, zumindest die folgenden Schritte umfassend:
- Erfassen eines Aufnahmebildes des zu betrachtenden Bereichs (101 ) mit einer optischen Bilderfassungseinrichtung (102) zur Darstellung auf einer Displayeinheit (105),
- initiale Fokuseinstellung des erfassten Aufnahmebildes durch manuelle und/oder automatische Einstellung einer der Bilderfassungseinrichtung zugeordneten Fokussiereinrichtung (112),
- Erfassen eines Eingabebefehls für eine Skalierung des Aufnahmebildes mittels einer Eingabeeinheit (106),
- Skalierung des Aufnahmebildes auf der Displayeinheit (105) durch Einstellung von der Bilderfassungseinrichtung zugeordneten optischen und/oder elektronischen Skalierungsmitteln (108,109) und Einstellung einer mechanischen Skalierungsfunktion (110) durch Bewegung der Bilderfassungseinrichtung (102) entlang einer optischen Achse (111 ) der Bilderfassungseinrichtung (102) mittels eines robotischen Haltearms (103),
- Fokussieren des skalierten Aufnahmebildes durch Einstellung der Fokussiereinrichtung (112), dadurch gekennzeichnet, dass die Einstellung der mechanischen Skalierungsfunktion (110) und der Fokussiereinrichtung (112), durch eine Steuerung des Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes erfolgt.
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass bei einer Skalierung des Aufnahmebildes und Einstellung der Fokussiereinrichtung (112) eine Ansteuerung der Skalierungsmittel (108,109), des robotischen Haltearms (103) und der Fokussiereinrichtung (112) lediglich basierend auf dem durch die Eingabeeinheit (106) erfassten Eingabebefehl zur Skalierung des Aufnahmebildes und insbesondere ohne Auslesen oder Auswerten von Positions- oder Bewegungsdaten des robotischen Haltearms (103) erfolgt.
18. Verfahren nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass eine Skalierung des Aufnahmebildes und ein Fokussieren des Aufnahmebildes vorzugsweise gleichzeitig oder sequenziell erfolgen.
19. Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass basierend auf einem erfassten Sollwert für eine Skalierung des Aufnahmebildes zunächst eine Skalierung durch Ansteuerung der Skalierungsmittel (108,109) der Bilderfassungseinrichtung (102) und erst bei Überschreiten eines maximalen Skalierungsfaktors der Bilderfassungseinrichtung eine Skalierung durch Veränderung der axialen Entfernung (d) zwischen Bilderfassungseinrichtung (102) und dem zu betrachtenden Bereich (101 ) durch Haltearmpositionsänderung erfolgt.
20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass eine Ansteuerung der Fokussiereinrichtung (112) bei Veränderung der Haltearmposition wenigstens die folgenden weiteren Schritte umfasst:
- Bestimmung einer initialen Fokuseinstellung vor Ausführung einer Bewegung des Haltearms (103),
- Berechnung der notwendigen Veränderung der Haltearmposition entlang der optischen Achse (111 ) der Bilderfassungseinrichtung (102) zur Bereitstellung des erfassten Sollwerts für die Skalierung des Aufnahmebildes,
- Berechnung eines Sollwerts für die Fokuseinstellung basierend auf der berechneten Veränderung der Haltearmposition und auf Basis einer für die Bilderfassungseinrichtung (102) hinterlegten Fokuskennlinie,
- Ansteuerung der Fokussiereinrichtung (112) zur Einstellung des ermittelten Sollwerts.
EP23737958.1A 2022-07-04 2023-06-29 Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung Pending EP4551086A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022116672.4A DE102022116672A1 (de) 2022-07-04 2022-07-04 Bildgebende Vorrichtung mit erweiterter Zoomfunktionalität und Fokusnachführung
PCT/EP2023/067941 WO2024008564A1 (de) 2022-07-04 2023-06-29 Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung

Publications (1)

Publication Number Publication Date
EP4551086A1 true EP4551086A1 (de) 2025-05-14

Family

ID=87136935

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23737958.1A Pending EP4551086A1 (de) 2022-07-04 2023-06-29 Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung

Country Status (5)

Country Link
US (1) US20250392821A1 (de)
EP (1) EP4551086A1 (de)
CN (1) CN119486650A (de)
DE (1) DE102022116672A1 (de)
WO (1) WO2024008564A1 (de)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
JP6366295B2 (ja) * 2014-02-21 2018-08-01 キヤノン株式会社 光学機器および制御方法
JP6657933B2 (ja) * 2015-12-25 2020-03-04 ソニー株式会社 医療用撮像装置及び手術ナビゲーションシステム
WO2017145475A1 (ja) 2016-02-24 2017-08-31 ソニー株式会社 医療用情報処理装置、情報処理方法、医療用情報処理システム
US10917543B2 (en) * 2017-04-24 2021-02-09 Alcon Inc. Stereoscopic visualization camera and integrated robotics platform
EP3753519A1 (de) * 2019-06-19 2020-12-23 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753520B1 (de) * 2019-06-19 2025-11-26 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung
EP3753521B1 (de) * 2019-06-19 2025-11-26 Karl Storz SE & Co. KG Medizinische handhabungsvorrichtung zur steuerung einer handhabungsvorrichtung

Also Published As

Publication number Publication date
US20250392821A1 (en) 2025-12-25
CN119486650A (zh) 2025-02-18
DE102022116672A1 (de) 2024-01-04
WO2024008564A1 (de) 2024-01-11

Similar Documents

Publication Publication Date Title
DE4422522B4 (de) Beobachtungs- und/oder Dokumentationseinrichtung mit vorgeschaltetem Endoskop sowie Verfahren zu deren Betrieb
EP3791774B1 (de) Beobachtungsvorrichtung, insbesondere medizinische beobachtungsvorrichtung, mit einer bedieneinheit sowie verwendung eines eingabemoduls
DE102013012839B4 (de) Robotersystem
DE102019114817B4 (de) Bildgebungssystem und Verfahren zur Beobachtung
WO2015014669A1 (de) Verfahren und vorrichtung zum festlegen eines arbeitsbereichs eines roboters
WO2012119694A1 (de) Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops
EP3267235A1 (de) Optisches system eines stereo-videoendoskops, stereo-videoendoskop und verfahren zum betreiben eines optischen systems eines stereo-videoendoskops
EP3204813B2 (de) Mikroskop mit sich automatisch anpassender irisblende
EP2614635A1 (de) Kamerasystem und verfahren zur einstellung eines kamerasystems
DE4304422C1 (de) Endoskop
WO2024008564A1 (de) Bildgebende vorrichtung mit erweiterter zoomfunktionalität und fokusnachführung
DE19504443A1 (de) Stereomikroskop
DE102015216573A1 (de) Digitales Operationsmikroskopiesystem
DE60023015T2 (de) Adapter für eine Mikroskopkamera mit Steuerungsmotoren
DE102017114562B4 (de) Mikroskop und Verfahren zum Mikroskopieren einer Probe unter einem veränderbaren mechanischen Parameter
DE102004052753A1 (de) Verfahren und Operations-Assistenz-System zur Steuerung der Nachführung zumindest eines Hilfsinstrumentes bei einem medizinisch minimal-invasiven Eingriff
DE102010027905B4 (de) Videoendoskopsystem und Verfahren zum Betreiben eines Videoendoskopsystems
DE4204601B4 (de) Vorrichtung zum Erfassen von Lageinformationen mit einer optischen Beobachtungseinheit und Verfahren zur Ermittlung von Lageinformationen
DE102023114945B3 (de) Computerimplementiertes Bildgebungsverfahren und optisches Beobachtungsgerät
EP3922161B1 (de) Endoskop mit schwenkbarer bilderfassungseinrichtung
DE102019009282B4 (de) Bildgebungssystem und Verfahren zur Beobachtung
WO2019038386A1 (de) VORRICHTUNG ZUR AKTORISCHEN VERSTELLUNG DER VERGRÖßERUNGSSTUFEN EINES VERGRÖßERUNGSWECHSLERS
DE102010039263A1 (de) Kamerakopf für ein endoskopisches Instrument und Videoendoskopiesystem
WO2024018011A1 (de) Steuervorrichtung und system, sowie system mit einem medizinischen operationsinstrument, einer datenerfassungsvorrichtung und einer datenverarbeitungseinrichtung
WO2025087816A1 (de) Verfahren zur medizinischen bildgebung und medizinisches bildgebungssystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250127

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: UPC_APP_6240_4551086/2025

Effective date: 20250908