EP2914194A1 - Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung - Google Patents

Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung

Info

Publication number
EP2914194A1
EP2914194A1 EP13786464.1A EP13786464A EP2914194A1 EP 2914194 A1 EP2914194 A1 EP 2914194A1 EP 13786464 A EP13786464 A EP 13786464A EP 2914194 A1 EP2914194 A1 EP 2914194A1
Authority
EP
European Patent Office
Prior art keywords
image data
selection
camera
image
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13786464.1A
Other languages
English (en)
French (fr)
Inventor
Christian WINNE
Sebastian Engel
Erwin Keeve
Eckart Uhlmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Charite Universitaetsmedizin Berlin
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Charite Universitaetsmedizin Berlin
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Charite Universitaetsmedizin Berlin, Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Charite Universitaetsmedizin Berlin
Publication of EP2914194A1 publication Critical patent/EP2914194A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the invention relates to an imaging system, in particular for an operating device, comprising: an image data acquisition unit, an image data processing unit, an image storage unit.
  • the invention further relates to an operating device.
  • the invention also relates to a method for imaging, comprising the steps of: acquiring and providing image data and maintaining the image data, in particular in the medical or non-medical field.
  • an endoscopic navigation or instrument navigation is pursued for displaying a guidance device, in which optical or electromagnetic tracking methods are used for navigation;
  • a guidance device in which optical or electromagnetic tracking methods are used for navigation;
  • modular systems for an endoscope with expanding system modules such as a tracking camera, a computing unit and a visual display unit for displaying a clinical navigation are known.
  • Under tracking is basically a method for tracking or tracking to understand what the tracking of moving objects - namely in the present case the mobile device head - serves.
  • the goal of this tracking is usually the mapping of the observed actual movement, especially relative to a cartographed environment, for technical use.
  • This may be the merging of the tracked (guided) object - the mobile device head - with another object (e.g., a target point or target trajectory in the environment) or simply the knowledge of the current "pose" - ie position and / or Orientation and / or movement state of the tracked object.
  • absolute data relating to the position and / or orientation (pose) of the object and / or the movement of the object are regularly used for the purpose of tracking, as for example in the abovementioned system.
  • the quality of the particular pose and / or movement information depends first of all on the quality of the observation, the tracking algorithm used and on the modeling that serves to compensate for unavoidable measurement errors. Without modeling, however, the quality of the particular position and movement information is usually relatively poor.
  • absolute coordinates of a mobile device head e.g. In the context of a medical application, for example, also from the relative relationship between a patient tracker and a tracker for the device head.
  • the additional effort-spatial and temporal- to represent the required tracker is enormous and proves to be highly problematic in an operating room with a large number of actors.
  • a locator detection system may be maintained, for example, maintained at a tracking camera or other detection module of a locator detection system.
  • This can be, for example, an optical but also an electromagnetic or similar signal connection. Cancels such a particular optical signal connection abz. B. when an actor in the image pick-up line between tracking camera and a patient tracker device missing the necessary navigation information. In this case, support of the guidance of the device header by navigation information is no longer given.
  • the guide of the mobile device head may be interrupted until again Navigation information is available. Particularly in the case of the optical signal connection, this problem is known as the so-called "line of sight" problem.
  • a mobile device that can be improved in this respect is known with a tracking system from WO 2006/131373 A2, wherein the device is advantageously designed for the contactless determination and measurement of a spatial position and / or spatial orientation of bodies.
  • New approaches try to assist the navigation of a mobile device head by means of intraoperative magnetic resonance tomography or computer tomography in general, by coupling these with an imaging unit.
  • the registration of image data obtained, for example, by means of endoscopic video data with a preoperative CT image is described in the article by Mirota et al. "A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery" IEEE Transactions on Medical Imaging, Vol. 31, no. 4, April 2012 or in the article by Burschka et al. "Scale-invariant registration of monocular endoscopic images to CT scans for sinus surgery” in Medical Image Analysis 9 (2005) 413-426.
  • An essential goal of registration of image data obtained by, for example, endoscopic video data is to improve the accuracy of registration.
  • Enhanced visualization for minimally invasive surgery describes that an area of vision of an endoscope may be augmented with a so-called dynamic view expansion, based on previous observations uses a simultaneous localization and mapping (SLAM) approach.
  • SLAM simultaneous localization and mapping
  • registration methods Generally, such and other methods are referred to as so-called registration methods.
  • Registrar systems based on physical pointers regularly include so-called locators, namely a first locator to be attached to the patient to display the patient's coordinate system and an instrument locator to display the coordinate system of a pointer or instrument.
  • locators namely a first locator to be attached to the patient to display the patient's coordinate system and an instrument locator to display the coordinate system of a pointer or instrument.
  • the localizers can be controlled by a 3D measuring camera, eg. B. can be detected with a stereoscopic camera and the two coordinate systems can be associated in the context of Jardineauverarbei- tion and navigation.
  • a problem with the aforementioned approaches using physical pointer means is that the use of physical pointer means is comparatively complicated and also prone to failure in the implementation.
  • a problem with solely visually based registration and navigation approaches is their accuracy, which is ultimately determined by the resolution of the surgical camera used. It would be desirable to have an approach that can be implemented comparatively robustly with respect to disturbances with reduced expenditure and yet is available with comparatively high accuracy.
  • the invention is based on the object of providing an imaging system and an operating device and a method by means of which a surface model of the operating environment can be registered in an improved manner in a volume representation of the operating environment.
  • the handling and availability of registered surgical sites should be improved.
  • the imaging system for the surgical device with a mobile handleable device head comprises: an image data acquisition unit having an image acquisition unit, in particular an operation camera, which is designed to capture image data of an operating environment,
  • an image data processing unit configured to provide the image data
  • an image storage unit configured to store the image data of the operation environment and volume data of one of the operation environment. According to the invention are further provided:
  • Registration means which are designed to localize the image acquisition unit, in particular the surgical camera, relative to the operating environment
  • Virtual pointer means which are adapted to provide a number of pixels of the image data (300) automatically, in particular to identify and / or display, and
  • Assignment means in particular with computing means, which are designed to automatically associate with at least one of the pixels provided a volume location of the volume representation.
  • the pixels can be specified as surface locations.
  • the image data includes surface rendering data and / or the volume data includes volume rendering data.
  • the image data processing unit is designed to create a surface model of the operating environment by means of the image data, and / or an image storage unit is configured to hold the surface model representation data, and / or
  • the registration means are adapted to locate the operation camera relative to the surface model of the operating environment, and / or
  • the virtual pointer means are adapted to provide a number of surface sites in the surface model.
  • the image acquisition unit may basically comprise any type of imaging device.
  • the image acquisition unit may preferably be an operation camera directed to the operation environment.
  • an image acquisition unit may comprise an optical camera.
  • an imaging unit may also include some other form than the optical one in the visible area to image for real or virtual images.
  • the image acquisition unit can operate on the basis of infrared, ultraviolet or X-ray radiation.
  • the image recording unit may also comprise a device which is capable of generating a planar, optionally arbitrarily curved, topography from volume images; insofar a virtual picture.;s- this can also be a sectional plane view of a volume image; z. In a sagittal, frontal or transverse plane of a body.
  • Said operation device may preferably have in a periphery a device head that can be handled mobile.
  • the mobile device head can in particular comprise a tool, an instrument or sensor or the like device.
  • the device head is designed such that it has an image pickup unit, as may be the case with an endoscope, for example.
  • the image pickup unit may also be used remotely from the device head; in particular for observing the device head, in particular a distal end thereof in an operating environment.
  • the surgical device may be a medical device having a medical mobile device head such as an endoscope, a pointing instrument or a surgical instrument or the like; with a distal end for arrangement relative to a body, in particular body tissue, preferably insertion or attachment to the body, in particular to a body tissue, in particular for processing or observation of a biological body, such as a tissue-like body or the like.
  • a said surgical device may be a medical device, such as an endoscope, a pointing instrument, or a peripheral surgical instrument, which may be used, for example, in the context of laparoscopy or other medical examination method with the aid of an optical instrument; Such approaches have proven particularly useful in the field of minimally invasive surgery.
  • the device may be a non-medical device having a non-medical mobile device head such as an endoscope, a pointing instrument or a tool or the like; with a distal end for arrangement relative to a body, in particular a technical object such as a device or a device, preferably attachment or attachment to the body, in particular on a subject, in particular for processing or observation of a technical body, such as an object or Device or the like.
  • a non-medical mobile device head such as an endoscope, a pointing instrument or a tool or the like
  • a distal end for arrangement relative to a body, in particular a technical object such as a device or a device, preferably attachment or attachment to the body, in particular on a subject, in particular for processing or observation of a technical body, such as an object or Device or the like.
  • Device can also be used in a non-medical field of application.
  • the said system may be useful in a non-medical field of application, e.g. B.
  • a camera-based visual inspection from a distance for example, to protect against dangerous content
  • image data e.g., 3D X-ray image data, ultrasound image data or microwave image data, etc.
  • Another exemplary application is the investigation of internal cavities of components or assemblies using the system presented here, for example based on an endoscopic or endoscope-like camera system.
  • the concept of the invention has also proven itself.
  • the use of optical vision instruments is helpful.
  • tools in particular in the field of robotics, can be attached to an operating device that is equipped with an imaging system so that the tools can be navigated by means of the operating device.
  • the system can in particular increase the accuracy in the assembly of industrial robots or make previous assembly activities that are not possible with robots feasible.
  • a worker / mechanic by instruction of a data processing based on the above-mentioned imaging system attached to the tool, the assembly activity can be facilitated.
  • assembly eg, bolting of spark plugs
  • component eg, spark plug or screw
  • the operating device of the type mentioned can preferably be equipped with a manual and / or automatic guide for guiding the mobile device head, wherein a guide device is designed for navigation in order to enable automatic guidance of the mobile device head.
  • a guide device is designed for navigation in order to enable automatic guidance of the mobile device head.
  • the invention is equally applicable in a medical field and in a non-medical field, in particular non-invasive and without physical intervention on a body.
  • the method may preferably be restricted to a non-medical field.
  • the invention is based on the consideration that when registering a volume representation on a surface model of the operating environment, the surgical camera, irrespective of the type of registration, has hitherto only been used as image data acquisition means.
  • the invention has recognized that, in addition, when the operation camera is located relative to the surface model, it is particularly registered with respect to the surface model and the volume representation of the operating environment to produce a virtual pointing device. Accordingly, the invention provides:
  • - registration means adapted to locate the operation camera relative to the surface model
  • Virtual pointer means which are adapted to automatically provide a number of surface sites in the surface model
  • - Calculating means which are designed to automatically assign at least one of the surface areas provided a volume point of the volume representation.
  • the invention has recognized that the use of a physical pointer means is superfluous in the vast majority of cases via a virtual pointer means produced in this way. Rather, a number of surface sites can be made so automated, that an operator or other user need only be enabled to effectively select the surface site of interest; the selection process is more effective and faster than a cumbersome use of a physical pointer. Rather, a number of surface sites in the surface model can be automatically made available automatically and with reasonable effort with a respective assigned volume location of the volume representation. This leads to an effective registration of the surface location on the site of the volume representation assigned to the surface location.
  • the concept of the invention is based on the recognition that the registration of the operating camera relative to the surface model also allows the registration with respect to the volume representation of the operating environment and thus a surface location can be unambiguously assigned to a volume representation. With reasonable computational effort this can be done for a number of sites and these can be effectively provided to the surgeon or other users as a selection. This opens up the possibility for the surgeon or other user of any objects imaged in the image of the operating environment, ie. H. To view objects at specific but arbitrary locations of the operation environment in the surface model and the volume rendering. This also makes access to places in the operating environment that would not be accessible with a physical pointer instrument.
  • This possibility opens up independently of the registration means for the surgical camera; this may include registration by means of an external localization of the surgical camera (eg by tracking and / or pointer / pointer) and / or an internal localization by evaluation of the camera image data (visual method by the camera itself).
  • the registration means preferably comprises a physical patient locator, a physical camera locator and an external optical locator detection system.
  • a particularly preferred embodiment is illustrated in Fig. 3 and Fig. 4 of the drawings.
  • Said further developing first variant considerably increases the accuracy of a registration through the use of physical localizers, ie a registration between image and volume representation or between image data and volume data, in particular between surface model and volume representation of the operating environment.
  • physical registration means may also undergo a change in position relative to the identified body, for example, by slipping or releasing relative to the body during surgery. This can be counteracted because the operation camera is also registered with a locator.
  • the image or the image data, in particular the surface model can advantageously be used to determine the pose of the operating camera relative to the operating environment. Ie. even if a camera localizer is no longer detected by the external, optical localizer detection system for a short time, the pose of the surgical camera to the operating environment can be recalculated from the surface model for the interruption. Thus, a fundamental weakness of a physical registration agent is effectively balanced.
  • the registration means can be designed essentially for virtual localization of the camera.
  • the registration means referred to here as virtual comprise, in particular, the image data acquisition unit, the image data processing unit and a navigation unit.
  • the image data acquisition unit is designed to image data of an environment of Vorrich- tion head, in particular continuously, to detect and provide and
  • the image data processing unit is adapted to create a map of the environment by means of the image data and
  • the navigation unit is formed, by means of the image data and an image data flow to indicate at least one position of the device head in a vicinity of the operating environment using the map, such that the mobile device head is feasible based on the map.
  • Under navigation is basically any type of map creation and arrival of a position in the map and / or the indication of a destination point in the map to understand advantageous in relation to the position; In the following, therefore, the determination of a position with respect to a coordinate system and / or the specification of a destination point, in particular the indication of a route advantageously shown on the map between position and destination point.
  • the development is based on a substantially image data-based mapping and navigation in a map for the environment of the device head in the broader sense; that is, an environment that is not bound to a vicinity of the distal end of the device head, such as the visually detectable proximity at the distal end of an endoscope - the latter visually detectable proximity is referred to herein as the device head's operating environment.
  • a guide means with position reference to the device head this be assigned.
  • the guide means is preferably designed to make information on the position of the device head with respect to the environment in the map, the environment going beyond the proximity environment.
  • the position reference of the guide means to the device head may advantageously be rigid.
  • the position reference need not be rigid as long as the position reference is determinate variable or movable or at least calibrated. This may for example be the case when the device head at the distal end of a robot arm as part of a handling apparatus and the guide means is attached to the robot arm, such. B. caused by errors or strains variants are calibrated in the non-rigid but basically deterministic position reference between the guide means and device head is in this case.
  • An image data flow is understood to be the flow of image data points in time change, which occurs when one considers a number of image data points at a first and a second time while changing the position, the direction and / or speed thereof for a defined passage area.
  • the guide means comprises the image data acquisition.
  • the surface location in the surface model is assigned a surface coordinate of the surface model representation data.
  • the volume location of the volume representation has a volume coordinate associated with volume rendering data.
  • the data may be stored on the image storage unit in a suitable format, such as a data file or stream, or the like.
  • the surface location is preferably fixable as the intersection of a virtual viewing beam emanating from the surgical camera with the surface model.
  • a surface coordinate can be specified as a point of the operating camera assigned to the point of intersection.
  • Such a 2D pixel can be registered after registration of the surgical camera relative to the surface model and registered volume rendering of 3D image data to the patient or the surface model and it can also locate the camera itself in the volume image data or localize relative to them.
  • Preferred further developments also provide advantageous possibilities for making a selection or definition of a surface location relative to a volume location available.
  • a selection and / or monitor means is provided, which is configured to group the freely selectable and automatically provided and fixed number of surface locations into a selection and to visualize the selection in a selection representation.
  • the selection representation may be an image, but also a selection menu or a list or other representation.
  • the selection representation may also be a linguistic representation or a sensor feature.
  • the number of surface sites in the surface model is freely selectable, in particular free of physical Display, ie provided without a physical pointer.
  • the number of surface locations in the surface model is particularly preferably available only by virtual pointing means.
  • the system is also suitable for allowing physical pointing means and for enabling them to locate a surface location relative to a volume representation.
  • the number of surface locations in the surface model can be automatically determined.
  • the selection comprises at least one automatic pre-selection and one automatic final selection.
  • the at least one automatic preselection can comprise a number of cascaded automatic preselections so that, with appropriate interaction between selection and operator or other users, finally, a desired final selection of a registered surface location to a volume location is available.
  • a selection and / or monitor means is designed to group the automatic selection on the basis of the image data and / or the surface model. This concerns in particular the preselection. Additionally or alternatively, however, this may also concern the final selection, in particular an evaluation procedure for the final selection.
  • Grouping may be performed on the basis of first grouping parameters, which include a distance measure, in particular a distance of the operation camera to structures represented in the image data.
  • the grouping parameters preferably also include a 2D and / or 3D topography, in particular a 3D topography of represented structures based on the created surface model; this may include a shape or a depth gradient of a structure.
  • the grouping parameters also include a color, in particular a color or color change of the structure shown in the image data.
  • Such automatic selection grouped essentially on the basis of the image data and / or the surface model can be supplemented by an automatic selection independent of the image data and / or independently of the surface model.
  • second Gruppier parameters which include a Geometry default or a grid preset. For example, a geometric distribution of pixels for selecting surface locations registered with volume locations and / or a rectangular or circular grid may be specified. In this way, it is possible to select locations which correspond to a specific geometric distribution and / or follow a certain shape or lie in a specific grid, for example a specific quadrant or in a specific area.
  • an automatic final selection can be implemented from the locations provided in a preselection by means of evaluation methods;
  • selected positions can be grouped by means of evaluation procedures.
  • the evaluation methods include, for example, methods for statistical evaluation in connection with other image locations or image positions.
  • Mathematical filtering and / or logic methods are suitable here, such as, for example, a Kalman filter, a fuzzy logic and / or a neural network.
  • an interaction with the selection and / or monitor means implement a manual interaction between an operator or other user and the selection and / or monitor means in the context of a manual selection support by one or more input features.
  • An input feature may be, for example, a keyboard means for the hand or foot of the surgeon or other user; for example, this may be a computer mouse, a button, a pointer or the like. It can be used as input means and a gesture sensor that responds to a specific gesture. Also, a voice sensor or a touch-sensitive sensor such as an input pad is possible.
  • other mechanical input devices such as keyboards, buttons or push buttons are suitable.
  • the subject matter of the claims comprises a mobile manageable medical device and a particularly non-invasive method for processing or observation of a biological body such as a tissue or the like.
  • An image acquisition unit may in particular be an endoscope or an ultrasound imaging unit or another imaging unit. in particular a previously mentioned unit z. B. based on an IR, X or UV radiation.
  • 2-D slice images or 3-D volume images can also be registered for the operating environment.
  • a device head may also be a pointer instrument or a surgical instrument or the like. Medical device for processing or observing a body or for detecting the own position, or the instrument position, relative to the environment.
  • the subject matter of the claims comprises in particular a mobile manageable non-medical device and a particularly non-invasive method for processing or observing a technical body such as an object or a device or the like.
  • the concept may be used in industrial processing, Positioning or monitoring processes are successfully applied.
  • a claimed mobile handleable device - such as an instrument, tool or sensor-like system - are used according to the described principle, the described essentially image-based concept is advantageous.
  • Embodiments of the invention will now be described below with reference to the drawing in comparison with the prior art, which is also partly shown, this in the medical application frame, in which the concept is implemented with respect to a biological body. however, the embodiments also apply to a non-medical application framework in which the concept is implemented with respect to a technical body.
  • Fig. 1 shows a basic scheme of a method and an apparatus for
  • Imaging registering a surface model to a volume rendering considering the operation camera optionally based on a physical pointing device, a tracker, or based on a visual navigation method
  • FIG. 2 shows an exemplary embodiment of an operating device with an imaging system, in which the registration of the surgical camera is essentially based on a visual navigation method, in particular as described in the aforementioned DE 10 2012 21 1 378.9, the disclosure of which hereby by citation completely in the disclosure this application is accepted;
  • FIG. 3 shows an alternative embodiment of an operating device with an imaging system in which localizers for localizing not only the patient but also the surgical camera via an endoscope locator, so that a virtual pointing device can be formed, automatically make available a number of surface locations in the surface model
  • an endoscope is shown as a special camera system
  • FIG. 4 shows a modification of the embodiment of an operating device shown in FIG. 3, in which a second locator is mounted directly on the surgical camera instead of on the endoscope - the transformation TKL between camera localizer and camera origin (lens) to be calibrated is shown, wherein the camera is represented by a camera icon, which is generally for any advantageous usable camera;
  • 5 shows a detail X of FIG. 3 or FIG. 4 for illustrating a preferred procedure for determining a surface location as the intersection of a virtual viewing beam emanating from the surgical camera with the surface model;
  • Fig. 6 is a flow chart illustrating a preferred method of implementing automatic pre-selection and automatic final selection by means of a selection and / or monitor means utilizing first and second grouping parameters to provide at least one surface location with associated volume location;
  • FIG. 7 shows a flow chart for a particularly preferred embodiment of a procedure for navigating any pixels in medical camera image data of an operation camera.
  • FIG. 1 shows a schematic diagram of the general structure of a method and a device for clinical navigation.
  • FIG. 1 shows an operating device 1000 with a mobile device head 100 and an imaging system 200.
  • the device head 100 is in the form of an endoscope 110.
  • An image data acquisition unit 210 of the imaging system 200 has at the endoscope an operation camera 21 1, which is designed to continuously capture and provide image data 300 of an operating environment OU of the device head 100, ie in the field of view with a near environment NU of the operation camera 21 1.
  • the image data 300 are processed according to an image data processing unit 220 provided.
  • Objects here are a first, more roundish object OU1 and a second, rather elongated OU2.
  • the image data processing unit 220 is designed to create a surface model 310 of the operating environment OU by means of the image data 300, above all pre-operatively obtained volume representation data of a volume representation 320 of the operating environment can be present.
  • the surface model 310 as well as the volume representation 320 can be stored in suitable storage areas 231, 232 of an image storage unit 230.
  • corresponding representation data of the surface model 310 or representation data of the volume representation 320 are stored in the image memory unit 230.
  • the goal is now to determine certain surface locations OS1, OS2 in the view of the two-dimensional camera image, i. H.
  • the goal is to register the surface model 310 to the volume rendering 320.
  • volume location VP1 actually has the surface location OS1 or the volume location VP2 corresponds to the surface location OS2.
  • it may be, for example, the registration of video data, namely the image data 300 and the surface model derived therefrom 310 preoperatively obtained 3D data such.
  • 3D data such as the image data 300 and the surface model derived therefrom 310 preoperatively obtained 3D data such.
  • CT data so generally the volume representation act. So far, three key approaches to registration have proven useful, some of which are described in detail below.
  • a first approach uses a pointer or pointer, either as a physical hardware instrument (pointer) or, for example, as a laser pointer to identify and locate certain surface locations OS.
  • a second approach uses the identification and visualization of surface place in a video or the like image data 300 and registers it, for example on a CT data set by means of a tracking system.
  • a third approach identifies and visualizes surface locations in a video or the like image data 300 and registers them for volume rendering, such as a CT dataset, by reconstructing and registering the surface model 310 with the volume rendering 320 by suitable computing means.
  • an operation camera 21 1 has hitherto been used to merely monitor or visualize, for example, a pointer instrument or a pointer or other form of manual display of a surface location
  • computing means 240 are provided which are designed to match (register) the surface location OS1, OS2 identified by manual display to a volume location VP1, VP2 and thus to correctly associate the surface model 310 with the volume rendering 320.
  • the method and apparatus described in the present embodiment provides virtual pointing means 250 within the scope of the image data processing unit 220, which are designed to automatically provide a number of surface locations in the surface model 310, in order to eliminate the difficulties associated with the manual interventions ; So not only a single one is displayed manually but any number in the entire OU is displayed.
  • the number of surface locations OS in particular in the surface model 310, can be freely selectable, in particular be free from a physical display. Additionally or alternatively, the number of surface locations OS in the surface model 310 may also be automatically determinable. In particular, the selection may at least partially include an automatic pre-selection and / or an automatic final selection.
  • a selection and / or monitor means 500 is designed to group an automatic selection, in particular in a preselection and / or final selection, on the basis of the image data 300 and / or the surface model 310; z. Based on first grouping parameters: a distance measure, a 2-D or 3D topography, a color. Also, a selection and / or monitor means 500 may be configured to group an automatic selection independently of the image data 300 and / or the surface model 310, in particular based on second grouping parameters comprising: a geometry specification, a raster specification. The selection and / or monitor means 500 comprises a MAN machine interface MMI, which is actuatable for manual selection support. In addition, registration means 260 -as hardware and / or software implementation, e.g.
  • the imaging properties of the image recording unit can be defined in fundamentally different ways, and these and other properties of the image recording can preferably be used to determine position KP2 and position KP1 (pose KP).
  • a combination of spatial coordinates and directional coordinates of the imaging system can be used.
  • a coordinate location for example, a coordinate of a characterizing location of the imaging system, such as a focal point KP1 of an imaging unit, z. B. lens, the image pickup unit.
  • a direction coordinate for example, a coordinate of a direction vector of a visual beam, so z.
  • an orientation KP2 of the sight beam 330 is shown.
  • FIG. 2 this illustrates an example of a video-based third approach mentioned above for registering a volume rendering 320 to a surface model 310.
  • Fig. 2 this illustrates an example of a video-based third approach mentioned above for registering a volume rendering 320 to a surface model 310.
  • the same reference numerals will be used herein.
  • FIG. 2 shows a tissue structure G with objects 01, 02 which are recognizable in a volume representation 320 as a volume location VP or in a surface model as a surface location OS and should be assigned to one another.
  • An advantage of the system 1001 of an operating device illustrated in FIG. 2 is the use of a navigation method, referred to as visual navigation, without additional external position measuring systems.
  • image data 300 ie camera image data of an operation camera 21 1 z. B. in an endoscope 1 10 and / or image data 300 of an external camera 212 from an environment U of the device head 100 a card created. This may be a map of the environment U and / or map comprising the surface model 310 of the operation area OU.
  • SLAM simultaneous localization and mapping
  • image data 300 for orientation in an extended area, namely the operating environment OU using the map of the environment U and / or the map of the operating environment OU.
  • a separate movement of the device head 100 is estimated as well as a map of the area covered by the internal camera 21 1 or external camera 212 is continuously created.
  • map generation and motion detection the currently acquired sensor information is also checked for matches with the previously stored image map data. If a match is found, the system knows its own current position and orientation (pose) within the map.
  • a monocular SLAM method is already suitable as an information source in which feature points in the video image are continuously recorded and their movement in the image is evaluated. If the surface map 310 explained with reference to FIG. 1 can now be registered to a volume data record 320 of the patient, the visualization of positions of objects OS1 in the video image within the 3D image data VP is possible. Likewise, the common use of visual navigation with classical tracking methods is possible to determine the absolute position of the created surface map.
  • a disadvantage of this approach is the accuracy of navigation in the OU operational environment.
  • the navigation surface map to be created should range from the region of image data registration (eg, face on paranasal sinuses) to the surgical environment (eg, ethmoidal cells). Due to the piecewise construction of the map and the addition of new data on the basis of the existing map material, errors in the map structure can accumulate. Problems can also arise if it is not possible to generate video image data with distinctive and traceable image content for certain areas of the surgical area. A safe creation of a precise surface map with the help of the example monocular SLAM Procedure is thus a prerequisite to provide sufficient accuracy of surgical procedures.
  • FIG. 3 shows a modified system 1002 of an operating device 1000 with a device head 100 and an imaging system 200 applied to a tissue structure G in a patient as a particularly preferred embodiment.
  • OU pointer instruments have heretofore been used to acquire a 3D position of objects in OS in an operational environment, to which locators are attached for position sensing;
  • the localizers can be detected with optical or electromagnetic position measuring systems.
  • the background to this is that in surgical interventions with intraoperative real-time imaging-like the endoscopy exemplified in FIG. 3 with an endoscope as the device head 100 or another laparoscopic application-it is often necessary to determine position information for structures shown in the camera image and to the surgeon or to a surgeon or other user.
  • the special navigation instruments referred to as pointers with locator are guided by the surgeon by hand or with a robot arm to touch a tissue structure G in the operating environment OU. From the visualization of the pointer position in the image data 300, the surgeon or other user can conclude a tissue position 02 of the surface location OS.
  • the use of special navigation instruments requires additional instrument change during the procedure and thus complicates the operation and an exact sampling of the tissue G by the surgeon.
  • a new solution for the determination of pixels in current image data 300 of an intra-operative real-time imaging is proposed, which makes it possible to register a surface location OS to a volume location VP or, concretely, a 3D position in the reference coordinate system of the 3D image data (FIG. Volume rendering 320) of the patient, e.g. B. CT image data to bring in correspondence.
  • the position of the surgical camera 21 1 as well as of the patient and thus of the tissue structure G in the operating environment OU is detected by means of a position measuring system 400.
  • the position measuring system has a position measuring unit 410, which can be formed, for example, as an optical, electromagnetic or optical measuring unit; as well as a first locator 420 and a second locator 430.
  • the first locator 420 may be attached to the endoscope 110, as shown in FIG. 3, thereby representing a rigid, at least determinate, connection 422 to the surgical camera 21 1, or preferably directly, as in FIG Fig. 4 shown attached to an externally provided by the endoscope 1 10 provided surgical camera 212 or the like camera system.
  • the localizers 420 or 410 and 430 are designed as so-called optical trackers with localizer balls and can be attached to the object on display of the endoscope 110 or the external surgical camera 212 or to the patient (and thus to the tissue structure G).
  • Possible camera systems are conventional cameras (eg endoscopes), but also 3D time-of-flight cameras or stereoscopic camera systems for executing the surgical camera 21 1, 212.
  • Time-of-flight cameras also provide a picture with depth information in addition to a color or gray value image of the OU operating environment.
  • a surface model 310 can already be generated with a single image such that the calculation of the 3D position relative to the endoscope optics of the surgical camera 21 1 is possible for each 2D position in the image.
  • the transformation of the 3D coordinates supplied by the camera (surface coordinate of the surface model representation data) to the reference coordinate system R421 or R420 of the camera localizer or instrument localizer 421, 420 can be calculated.
  • Stereoscopic camera systems provide camera images of the operating environment simultaneously from two slightly different positions and thus allow a reconstruction of a 3D surface as a surface model 310, the objects shown in the camera images.
  • the surface model 310 which is reconstructed on the basis of one or more pairs of images, may be z.
  • B. can be realized as a point cloud and referenced to the localizer 420, 421; as it does about suitable transformations TLL1, TKL.
  • the surgical camera 21 1, 212 By means of the surgical camera 21 1, 212 thus based on a sequence of one or more consecutive camera images, the representation of a surface model of the operating environment OU, which here is visualized by the detection area KOL) of the camera system, takes place as essentially within the outer limits of the field of vision Operation camera 21 1, 212 is located. On the basis of this surface model 310, the calculation of 3D positions 01 for any 2D image positions 02 in the image data 300 takes place. After then successful registration of the 3D patient image data to the patient locator 430, 3D coordinates can be determined using the position measuring system 400 or the position measuring unit 410 into the reference coordinate system of the 3D image data 320.
  • the reference coordinate system R430 of the object localizer 430 that is, the 3D image data of the patient 320
  • the reference coordinate system R420 or R421 of the camera localizer 420, 421 as well as the reference coordinate system R212 of the operation camera 212 are referred to, which merge into one another by simple transformation TKL.
  • the principle of the navigation method illustrated in FIG. 3 and FIG. 4 is that the pixels in the camera image, ie the image data 300 or the associated surface model, have a corresponding 3D position, namely a volume coordinate of the volume representation data, in the pre- or intraoperative To determine volume image data of the patient.
  • the localization of the endoscope relative to the patient takes place with the aid of an external position measuring system 400 using the described optical measuring unit 410 with the associated reference coordinate system R410.
  • the optical measuring unit can each be realized as required with a different camera technology for generating a surface model 310.
  • the 3D position of a pixel determined from the camera image data is determined using transformations TKL, TLL1 (transformation between the camera locator reference coordinate systems and the position measuring system) transmitted by measurement, registration and calibration, TLL2 (transformation between the reference coordinate systems of the object locator and of the position measuring system) and TLL3 (transformation between the reference coordinate systems of the 3D image data and the object locator) and can then be used for visualization.
  • G designates the object of a tissue structure shown in the camera image data.
  • the localizers 420, 421, 430 have optical trackers 420T, 421T, 430T in the form of spheres, which together with the associated object (endoscope) Skop 1 10, camera 212, tissue structure G) can be detected by the position measuring system 400.
  • FIG. 3 and FIG. 4 show the volume representations 320 with their associated reference coordinate system R320, which results from the reference coordinate system R430 of the tissue structure G due to the indicated transformation TLL3.
  • the reference coordinate system R212 of the image data 300 can be brought into correspondence with the reference coordinate system of the volume representation 320.
  • Volume rendering can be thought of as a collection of volume co-ordinates of volume rendering data, e.g. B. for a CT, DVT or MRI image realize; so far, the volume representation 320, shown as a cube, is an exemplary representation of patient SD image data.
  • FIG. 5 illustrates the objects used by the exemplified concept as well as the principle of operation in connection with an optical position measuring system.
  • the main component of the present concept is, as explained, the operating camera 21 1, 212 with its associated reference coordinate system R 420 or R 421, R 2 12 (FIG. via transformation TKL).
  • the position of the surgical camera can be performed purely computationally via a SLAM method or-as explained with reference to FIG. 3 and FIG. 4 -with the aid of a localizer 420, 421 within the position measuring system 400 become.
  • the position of the camera jump (for example, the main lens) and the orientation or viewing direction of the camera thereby represent the camera coordinate system R212; this results relative to the reference coordinate system R421, R420 of the camera localizer by calibration, measurement or from the construction of the arrangement (dimensions of the camera, imaging geometries and dimensions of the camera, dimension of the endoscope 1 10).
  • the surgical camera 21 1, 212 is aligned by the surgeon or another user on a tissue structure G, the position of which can also be determined with the help of the localizer 430 fixedly connected thereto.
  • the camera image data, ie image data 300, which images the tissue structure G, are evaluated and used to represent the surface model 310 of the surgical area OU shown in FIG.
  • the 3D position can then be determined as a surface coordinate of the surface model representation data for a certain pixel in the reference coordinate system of the camera R212 or R421, R420.
  • a shown in Fig. 5 Viewing beam 330 are calculated for a desired pixel 301 of the image data 300 of the camera image.
  • the desired 3D position as the surface coordinate of the surface model representation data can thus be determined as the intersection of the viewing beam 330 with the surface model 310 as the point 31 1.
  • the image data 300 represents the camera image positioned in the focal plane of the surgical camera 21 1, 212.
  • FIGS. 3 to 5 have considerable advantages over the embodiment shown in FIG. 2 and can continue to be operated even in the event of a short-term failure of the position measuring system 400.
  • a failure of the position measuring system 400 may occur, for example, if there is an interruption of the line of sight of the optical measuring unit 410 to the localizers 420, 430, 421.
  • the previously created surface model 310 can be used to adjust the camera position.
  • H. comprising determining pose KP from focal point coordinates KP1 and orientation KP2 of the viewing beam 330 relative to the patient or the tissue structure G. For this purpose, based on a camera image, i. H.
  • the image data 300 or an image sequence thereof, the current topology of the operating environment OU relative to the operation camera 21 1, 212 are determined.
  • This data, z. B. surface coordinates of a point cloud of the surface model 310 can then be registered to the existing surface model 310. Due to the known transformation of patient localizer 430 to the 3D image data 320 as well as to the existing surface model 310, the 3D positions of arbitrary pixels OS1, OS2 as well as the camera 21 1, 212 itself can be calculated in the volume image data 320 and thus Ensure continuous navigation support for the surgeon or other user.
  • the aim of these methods is to automatically identify one or more image positions of interest, which are then used for a subsequent manual or automatic final selection of the image position.
  • an exemplary selection of steps is explained with reference to FIG. 5, which enables a selection, in particular preselection and final selection, of the navigated image positions.
  • the presented method allows the calculation and visualization of the 3D position in the patient for different 2D positions in the camera image. In this application, it is necessary to select a point for which the navigation information is calculated and displayed.
  • the following automatic and manual methods are suitable for this purpose; The following criteria can be taken into account as a basis for automatic preselection of image positions:
  • a set of image positions can be used as pre-selection, which is specified by the system independently of the image content or the surface model. This is z. B. a geometric distribution of the pixels in a rectangular or circular grid conceivable.
  • the following evaluation methods can be used: Evaluation of the image positions based on the criteria specified in the automatic pre-selection
  • the manual methods are characterized by the involvement of the user.
  • the following methods are suitable for the manual selection of a picture position, if necessary using a previous automatic preselection of picture positions:
  • Image position the corresponding 3D position is subsequently determined and displayed.
  • - Gesture control With the help of suitable sensors (eg PMD camera or Microsoft Kinect) the movement of the user can be recorded and evaluated.
  • the hand movement can be tracked and interpreted as a gesture which allows the selection of the desired 2D image point.
  • z. B a hand movement to the left to move the image position to be controlled also to the left.
  • the final selection of the given image position could be controlled.
  • Image position are controlled. If the surgeon presses on a foot pedal, the output changes. Selects the selected image position, which is used to calculate and visualize an SD position on the patient.
  • the selected picture position can be moved directly by voice commands. So z. For example, the voice command "left" will shift the 2D image position to the left by a predetermined offset.
  • Mechanical input devices If mechanical input devices are connected to the navigation system (eg keyboard, control buttons), the user can control the 2D image position via these input devices. Here either a shift of the current image position or a change of the selection in a set of preselected image positions can be triggered.
  • the novelty of this concept therefore basically lies in the possibility of calculating the corresponding 3D position in the volume image data for any 2D positions in image data of an intraoperatively used and tracked camera. Also new are the methods described for selecting or defining the 2D position in the camera image for which the 3D information is to be calculated and displayed.
  • a navigation system visualizes position information in 3D image data of the patient for any image positions of the camera image data.
  • As a technical application areas include in particular medical technology, but also all other applications in which an instrument-like system according to the principle described is used.
  • FIG. 6 shows an operating device 1000 with a device head 100, as already illustrated with reference to FIG. 1, and an exemplary image representation of a monitor module in versions (A), (B), (C), and in detail a representation either from image data 300, surface model 310, or volume rendering 320, or a combination thereof.
  • the surface model 310 is combined with the volume rendering 320 via a computing means 240.
  • the referenced representation of surface model 310 with volume rendering 320 as well as pose of operation camera 21 1 is achieved because the selection and / or monitor means provides image data 300 with an automatic selection of surface locations OS1, OS2. which can be selected via a mouse pointer 501 of the monitor module 500.
  • the option of a mouse pointer 501 ' is selected in the selection menu 520 of the monitor module 500.
  • a predefinition of the surface locations OS1, OS2 can take place according to the specifications of the monitor module via a distance measure or a topography or a color representation in the image data.
  • a default geometry 521 can be created via the selection menu 510, in this case a circle specification, so that only the surface location OS1 is displayed insofar as the final selection determines.
  • a raster selection 531 can be selected in a selection menu 530, for example to display all structures in the second quadrant x-this only leads to the display of the second surface location OS2.
  • FIG. 7 shows a preferred sequence of steps for carrying out a method for medical navigation of arbitrary pixels in medical camera image data 300. It is to be understood that each of the method steps explained below can also be implemented as an action unit in the context of a computer program product that is designed to be executed of the explained method step.
  • Each of the action units recognizable from FIG. 7 can be realized within the scope of a previously explained image data processing unit, image storage unit and / or navigation unit.
  • the action units are suitable for implementation in a registering means, a virtual pointer means and a correspondingly formed computing means; d. H. Registration means adapted to locate the operation camera relative to the surface model; virtual pointing means adapted to automatically provide a number of surface locations in the surface model; Calculating means which are designed to automatically associate with at least one of the surface points provided a volume location of the volume representation.
  • a preoperative volume rendering 320 with volume representation data is provided, here for example in a memory unit 232 of an image storage unit 230.
  • image data 300 are taken as camera image data of an operation camera 21 1, 212 are provided, from which a surface model 310 can be created via the image data processing unit 220 shown in FIG. 1 and can be stored in a memory unit 231 of the image data storage unit 230 in a method step VS3.
  • a camera registration by means of registration in particular in the context of a position measuring system 400 and / or a visual navigation, for example using a SLAM method.
  • the pose KP of the operation camera 21 1, 212- namely in a method step VS4.1 the focal point coordinate KP1 and in a method steps VS4.2 the orientation KP2- recorded.
  • a virtual pointing means such as for example a sight ray 330, can be made available as a virtual pointing means.
  • a number of surface locations in the surface model can be automatically made available with the virtual pointer means.
  • the surface location 31 1 may be fixable as an intersection of a virtual viewing beam 330 emanating from the surgical camera 21 1, 212 with the surface model 310, in particular a surface coordinate indicating a pixel 301 of the surgical camera 21 1, 212 assigned to the intersection point.
  • a sixth method step VS6 using suitable transformations; previously TKL, TLL1, TLL2, TLL3- via a computing module 240, a referencing of the volume representation 320 and the surface model 310 take place.
  • a preliminary and / or final selection of all possible objects - in particular surface locations and / or volume locations US, VP by means of a selection and / or monitor means available become.
  • the selected locations can be displayed by referencing the camera 21 1 and the volume and surface representations 320, 310 to an output module, as has been explained with reference to FIG. 6, for example.
  • a loop can be made, for example, to the previously explained nodes K1 and / or K2 in order to allow the method to proceed completely from the beginning. It may also be a loop to only one of the nodes K1, K2 formed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein bildgebendes System 200, insbesondere für eine Operationsvorrichtung 1000 mit einem mobil handhabbaren Vorrichtungskopf 100, aufweisend: - eine Bilddatenerfassungseinheit 210 mit einer Bildaufnahmeeinheit, insbesondere einer Operationskamera 211, 212, die ausgebildet ist, Bilddaten 300 einer Operationsumgebung OU zu erfassen, - eine Bilddatenverarbeitungseinheit 220, die ausgebildet ist, die Bilddaten bereitzustellen, - eine Bildspeichereinheit 230, die ausgebildet ist, die Bilddaten 300 der Operationsumgebung und Volumendaten einer der Operationsumgebung zugeordneten Volumendarstellung 320 vorzuhalten. Erfindungsgemäß sind weiter vorgesehen: - Registrierungsmittel 260, die ausgebildet sind, die Bildaufnahmeeinheit, insbesondere Operationskamera 211, 212, relativ zur Operationsumgebung zu lokalisieren, - virtuelle Zeigermittel 250, die ausgebildet sind, eine Anzahl von Oberflächenstellen OS der Bilddaten 300 automatisch zur Verfügung zu stellen, insbesondere zu identifizieren und/oder anzuzeigen, und - Zuordnungsmittel, insbesondere mit Rechenmittel 240, die ausgebildet sind, wenigstens einer der zur Verfügung gestellten Oberflächenstellen OS eine Volumenstelle VP der Volumendarstellung 320 automatisch zuzuordnen.

Description

Bildgebendes System, Operationsvorrichtung mit dem bildgebenden Syst
fahren zur Bildgebung
Die Erfindung betrifft ein bildgebendes System, insbesondere für eine Operationsvorrichtung, das aufweist: eine Bilddatenerfassungseinheit, eine Bilddatenverarbeitungseinheit, eine Bildspeichereinheit. Die Erfindung betrifft weiter eine Operationsvorrichtung. Die Erfindung betrifft auch ein Verfahren zur Bildgebung, aufweisend die Schritte: Erfassen und Bereitstellen von Bilddaten und Vorhalten der Bilddaten, insbesondere im medizinischen oder nicht-medizinischen Bereich.
Insbesondere im medizinischen Bereich haben sich Ansätze zur mobil handhabbaren Vorrichtung der eingangsgenannten Art entwickelt. Zur Zeit wird zur Darstellung einer Führungseinrichtung insbesondere der Ansatz einer endoskopischen Navigation bzw. Instrumentennavigation verfolgt, bei dem optische oder elektromagnetische Tracking- Verfahren zur Navigation verwendet werden; bekannt sind beispielsweise modulare Systeme für eine Endoskop mit erweiternden Systemmodulen wie einer Trackingkamera, einer Recheneinheit und einer visuellen Darstellungseinheit zur Darstellung einer klinischen Navigation. Unter Tracking ist grundsätzlich ein Verfahren zur Spurbildung bzw. Nachführung zu verstehen, was die Verfolgung von bewegten Objekten -nämlich vorliegend dem mobilen Vorrichtungskopf- dient. Ziel dieser Verfolgung ist meist das Abbilden der beobachteten tatsächlichen Bewegung, insbesondere relativ zu einer kartographierten Umgebung, zur technischen Verwendung. Dies kann das Zusammenführen des getrackten (geführten) Objekts -nämlich dem mobilen Vorrichtungskopf- mit einem anderen Objekt (z. B. ein Zielpunkt oder eine Zieltrajektorie in der Umgebung) sein oder schlicht die Kenntnis der momentanen "Pose"— d. h. Position und/oder Orientierung- und/oder Bewegungszustand des getrackten Objektes. Bislang werden zum Tracken regelmäßig Absolutdaten betreffend die Position und/oder Orientierung (Pose) des Objektes und/oder der Bewegung des Objektes herangezogen, wie beispielsweise bei dem obengenannten System. Die Güte der bestimmten Pose und/oder Bewegungsinformation hängt zunächst von der Güte der Beobachtung, dem verwendetem Tracking-Algorithmus sowie von der Modellbildung ab, die der Kompensa- tion unvermeidlicher Messfehler dient. Ohne Modellbildung ist die Güte der bestimmten Lage- und Bewegungsinformation jedoch meist vergleichsweise schlecht. Derzeit werden absolute Koordinaten eines mobilen Vorrichtungskopfes— z. B. im Rahmen einer medizinischen Anwendung- auch beispielsweise aus der Relativbeziehung zwischen einem Patienten-Tracker und einem Tracker für den Vorrichtungskopf geschlossen. Grundsätz- lieh problematisch bei solchen als Tracking-Absolut-Module bezeichneten modularen Systemen ist der zusätzliche Aufwand -räumlich und zeitlich- zur Darstellung der erforderlichen Tracker. Der Platzbedarf ist enorm und erweist sich als höchst problematisch in einem Operationssaal mit einer Vielzahl von Akteuren.
So muss darüber hinaus eine ausreichende Navigationsinformation zur Verfügung ste- hen; d. h. bei Tracking-Verfahren sollte regelmäßig eine Signalverbindung zwischen Tracker— z. B. ein weiter unten erläuterter Lokalisator- und einer Bilddatenerfassungseinheit— z. B. ein Lokalisator-Erfassungssystem- erhalten sein, beispielsweise zu einer Tracking-Kamera -oder ein anderes Erfassungsmodul eines Lokalisator- Erfassungssystems- erhalten bleiben. Dies kann beispielsweise eine optische aber auch eine elektromagnetische oder dergleichen Signalverbindung sein. Bricht eine solche insbesondere optische Signalverbindung ab— z. B. wenn ein Akteur in die Bildaufnahmelinie zwischen Tracking-Kamera und einem Patiententracker gerät- fehlt die nötige Navigationsinformation. In diesem Fall ist eine Unterstützung der Führung des Vorrichtungskopfes durch eine Navigationsinformation nicht mehr gegeben. In einem Ausnahme- fall kann die Führung des mobilen Vorrichtungskopfes zu unterbrechen sein, bis wieder Navigationsinformationen zur Verfügung stehen. Insbesondere bei der optischen Signalverbindung ist diese Problematik als sogenannte„Line of Sighf'-Problematik bekannt.
Eine stabilere Signalverbindung kann zwar beispielsweise mittels elektromagnetischer Tracking-Verfahren zur Verfügung gestellt werden, die weniger anfällig ist als eine opti- sehe Signalverbindung. Anderseits sind solche elektromagnetischen Tracking-Verfahren zwangsläufig jedoch ungenauer und empfindlicher gegenüber elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum; dies ist insbesondere im Falle medizinischer Anwendungen relevant, da die mobil handhabbare Vorrichtung regelmäßig zur Unterstützung bei chirurgischen Eingriffen oder dergleichen dienen soll, sodass die Anwesenheit von elektrisch oder ferromagnetisch leitfähigen Objekten im Messraum, d. h. an der Operationsstelle, die Regel sein kann.
Wünschenswert ist es, für eine mobil handhabbare Vorrichtung eine mit vorbeschriebener klassischer Tracking-Sensorik zur Navigation verbundene Problematik weitgehend zu vermeiden, zu mindern und/oder zu umgehen. Insbesondere betrifft dies die Probleme vorgenannten optischer oder elektromagnetischer Tracking-Verfahren. Dennoch sollte eine Genauigkeit einer Führungseinrichtung zur Navigation möglichst hoch sein, um eine möglichst präzise Robotikanwendung näher der mobil handhabbaren Vorrichtung, insbesondere medizinische Anwendung der mobil handhabbaren Vorrichtung, zu ermöglichen.
Darüber hinaus besteht aber auch das Problem, dass die Beständigkeit einer ortsfesten Position eines Patiententrackers oder Lokators bei der Patientenregistrierung maßgeblich für die Genauigkeit des Trackens ist; dies kann ebenfalls in der Praxis eines Operationssaals mit einer Vielzahl von Akteuren nicht immer gewährleistet werden. Grundsätzlich ist eine dahingehend verbesserte mobil handhabbare Vorrichtung mit einem Tracking- System aus WO 2006/131373 A2 bekannt, wobei die Vorrichtung zum berührungslosen Ermitteln und Vermessen einer Raumposition und/oder Raumorientierung von Körpern vorteilhaft ausgebildet ist.
Neue Ansätze, insbesondere im medizinischen Bereich versuchen mit Hilfe einer intraoperativen Magnetresonanz-Tomographie oder allgemein Computertomographie die Navigation eines mobilen Vorrichtungskopfes zu unterstützen, indem diese mit einer bildgebenden Einheit gekoppelt werden. Die Registrierung von beispielsweise mittels endoskopischen Videodaten gewonnenen Bilddaten mit einer präoperativen CT- Aufnahme ist beschrieben in dem Artikel von Mirota et al. „A System for Video-Based Navigation for Endoscopic Endonasal Skull Base Surgery" IEEE Transactions on Medical Imaging, Vol. 31 , No. 4, April 2012 oder in dem Artikel von Burschka et al. "Scale- invariant registration of monocular endoscopic images to CT-scans for sinus surgery" in Medical Image Analysis 9 (2005) 413 - 426. Ein wesentliches Ziel der Registrierung von beispielsweise mittels endoskopischen Videodaten gewonnenen Bilddaten ist eine Ge- nauigkeitsverbesserung der Registrierung.
Solche Ansätze sind andererseits jedoch vergleichsweise unflexibel, da immer eine zweite Bilddatenquelle vorbereitet werden muss, z. B. in einem präoperativen CT-Scan. Zudem sind CT-Daten mit hohem Aufwand und hohen Kosten verbunden. Die akute und flexible Verfügbarkeit solcher Ansätze zu einem beliebigen gewünschten Zeitpunkt, z. B. spontan während einer Operation, ist daher nicht bzw. nur begrenzt und mit Vorbereitung möglich.
Neueste Ansätze prognostizieren die Möglichkeit, Verfahren zur simultanen Lokalisierung und Kartographierung "in vivo" zur Navigation einzusetzen. Eine grundsätzliche Studie dazu ist beispielsweise beschrieben worden, in dem Artikel von Mountney et al. zur 31 st Annual International Conference of the IEEE EMBS Minneapolis, Minnesota, USA, September 2 - 6, 2009 (978-1-4244-3296-7/09). In dem Artikel von Grasa et al.„EKF monocular SLAM with relocalization for laparoscopic sequences" in 201 1 IEEE International Conference on Robotics and Automation, Shanghai. May 9 - 13, 201 1 (978-1-61284-385- 8/1 1 ) ist eine Echtzeitanwendung bei 30 Hz für ein 3D-Modell im Rahmen einer visuellen SLAM mit einem erweitertem Kaiman Filter (EKF) beschrieben. Die Pose (Position und/oder Orientierung) einer Bilddatenerfassungseinheit wird in einem Drei-Punkt- Algorithmus berücksichtigt. Eine Echtzeitverwendbarkeit und die Robustheit hinsichtlich eines moderaten Pegels an Objektbewegung wurde geprüft.
Ähnlich wie in dem vorgenannten Artikel von Mountney et al. ist in Totz et al. in Int J CARS (2012) 7: 423 - 432„Enhanced visualisation for minimally invasive surgery" beschrieben, dass ein Sichtbereich eines Endoskops mit einer sogenannten dynamischen Sichtbereichserweiterung (dynamic view expansion) erweitert werden kann; dies aufgrund von zuvor gemachten Beobachtungen. Das Verfahren nutzt einen Ansatz zur simultanen Lokalisierung und Kartographie (simultaneous localisation and mapping; SLAM).
Solche Verfahren erweisen sich grundsätzlich als Erfolg versprechend; die Darstellung lassen zur Zeit jedoch noch nicht erkennen, wie eine Handhabbarkeit in der Praxis erfolgen könnte. Insbesondere zeigt der zuvor genannte Artikel von Mirota et al., dass die Registrierung von Bilddaten aus der visuellen Aufnahme einer Operationsumgebung mittels einer Operationskamera zu einem präoperativ gewonnenen Bildmaterial, wie beispielsweise CT-Daten— d. h. die Registrierung der aktuellen zweidimensionalen Oberflächendaten zu einer präoperativen dreidimensionalen Volumendarstellung- auf unter- schiedliche Weise, nämlich basierend auf einem Zeigerinstrument, einem Tracker oder einer visuellen Navigation erfolgen kann.
Allgemein wird auf solche und andere Verfahren als sogenannte Registrierungsverfahren Bezug genommen.
Registriersysteme basierend auf physischen Zeigern umfassen regelmäßig sogenannte Lokalisatoren, nämlich einen ersten am Patienten anzubringenden Lokalisator, um das Koordinatensystem des Patienten anzuzeigen und ein Instrumenten-Lokalisator, um das Koordinatensystem eines Zeigers oder eines Instruments anzuzeigen. Die Lokalisatoren können von einer 3D-Messkamera, z. B. mit einer stereoskopischen Messkamera erfasst werden und die beiden Koordinatensysteme können im Rahmen der Bilddatenverarbei- tung und Navigation in Verbindung gebracht werden.
Problematisch bei den vorgenannten, physische Zeigermittel verwendenden Ansätzen ist, dass die Verwendung von physischen Zeigermitteln vergleichsweise aufwendig und in der Umsetzung auch störanfällig ist. Problematisch bei allein visuell basierten Registrie- rungs- und Navigationsansätzen ist deren Genauigkeit, die letztlich durch die Auflösung der verwendeten Operationskamera bestimmt ist. Wünschenswert wäre ein Ansatz, der vergleichsweise robust gegenüber Störungen mit verringertem Aufwand umsetzbar ist und dennoch mit vergleichsweise hoher Genauigkeit zur Verfügung steht.
An dieser Stelle setzt die Erfindung an, deren Aufgabe es ist, ein bildgebendes System und eine Operationsvorrichtung und ein Verfahren anzugeben, mittels der ein Oberflä- chenmodell der Operationsumgebung auf eine Volumendarstellung der Operationsumgebung in verbessertes Weise zu registrieren ist. Insbesondere soll eine Handhabbarkeit und Verfügbarkeit von registrierten Operationsstellen verbessert sein.
Die Aufgabe betreffend das System wird durch ein bildgebendes System des Anspruchs 1 gelöst. Das bildgebende System für die Operationsvorrichtung mit einem mobil handhabbaren Vorrichtungskopf weist auf: - eine Bilddatenerfassungseinheit mit einer Bildaufnahmeeinheit, insbesondere einer Operationskamera, die ausgebildet ist, Bilddaten einer Operationsumgebung zu erfassen,
- eine Bilddatenverarbeitungseinheit, die ausgebildet ist, die Bilddaten bereitzustellen,
- eine Bildspeichereinheit, die ausgebildet ist, die Bilddaten der Operationsumgebung und Volumendaten einer der Operationsumgebung. Erfindungsgemäß sind weiter vorgesehen:
- Registrierungsmittel, die ausgebildet sind, die Bildaufnahmeeinheit, insbesondere Operationskamera, relativ zur Operationsumgebung zu lokalisieren,
- virtuelle Zeigermittel, die ausgebildet sind, eine Anzahl von Bildpunkten der Bilddaten (300) automatisch zur Verfügung zu stellen, insbesondere zu identifizieren und/oder anzuzeigen, und
- Zuordnungsmittel, insbesondere mit Rechenmittel, die ausgebildet sind, wenigstens einer der zur Verfügung gestellten Bildpunkte eine Volumenstelle der Volumendarstellung automatisch zuzuordnen. Besonders bevorzugt sind die Bildpunkte als Oberflächenstellen angebbar.
Besonders bevorzugt umfassen die Bilddaten Oberflächen-Darstellungsdaten und/oder die Volumendaten umfassen Volumendarstellungs-Daten. Im Rahmen einer besonders bevorzugten Weiterbildung ist die Bilddatenverarbeitungseinheit ausgebildet, mittels der Bilddaten ein Oberflächenmodell der Operationsumgebung zu erstellen, und/oder - eine Bildspeichereinheit ist ausgebildet, die Oberflächenmodell-Darstellungsdaten vorzuhalten, und/oder
- die Registrierungsmittel sind ausgebildet, die Operationskamera relativ zum Oberflächenmodell der Operationsumgebung zu lokalisieren, und/oder
- die virtuellen Zeigermittel sind ausgebildet, eine Anzahl von Oberflächenstellen im Oberflächenmodell zur Verfügung zu stellen.
Die Bildaufnahmeeinheit kann grundsätzlich jede Art einer bildgebenden Vorrichtung umfassen. So kann die Bildaufnahmeeinheit bevorzugt eine Operationskamera sein, die auf die Operationsumgebung gerichtet ist. Vorzugsweise kann eine Bildaufnahmeeinheit eine optische Kamera aufweisen. Eine Bildaufnahmeeinheit kann jedoch auch eine andere Art als die optische im sichtbaren Bereich umfassen, um bildgebend für reale oder virtuelle Bilder zu wirken. Beispielsweise kann die Bildaufnahmeeinheit auf Basis von Infrarot-, Ultraviolett- oder Röntgenstrahlung arbeiten. Auch kann die Bildaufnahmeeinheit eine Einrichtung umfassen, die in der Lage ist aus Volumenbildern eine flächige, ggfs. beliebig gekrümmte, Topographie zu generieren; insofern ein virtuelles Bild. Beispiels- weise kann dies auch eine Schnittebenen-Ansicht eines Volumenbildes sein; z. B. in einer Sagittal-, Frontal- oder Transversal-Ebene eines Körpers.
Die Aufgabe betreffend die Vorrichtung wird durch eine Operationsvorrichtung des Anspruchs 18 gelöst. Eine genannte Operationsvorrichtung kann bevorzugt in einer Peripherie einen mobil handhabbaren Vorrichtungskopf aufweisen. Der mobil handhabbare Vorrichtungskopf kann insbesondere ein Werkzeug, ein Instrument oder Sensor oder dergleichen Gerät aufweisen. Vorzugsweise ist der Vorrichtungskopf derart gestaltet, dass er eine Bildaufnahmeeinheit aufweist, wie dies beispielsweise bei einem Endoskop der Fall sein kann. Die Bildaufnahmeeinheit kann jedoch auch entfernt vom Vorrichtungskopf zum Einsatz kommen; insbesondere zur Beobachtung des Vorrichtungskopfes, insbesondere eines distalen Endes desselben in einer Operationsumgebung.
Insbesondere kann die Operationsvorrichtung eine medizinische Vorrichtung mit einem medizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl. sein; mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere Körpergewebe, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Körpergewebe, insbesondere zur Bearbeitung oder Beobachtung eines biologischen Körpers, wie ein gewebeartiger Körper od. dgl. Körpergewebe. Insbesondere kann eine genannte Operationsvorrichtung eine medizinische Vorrichtung, wie ein Endoskop, ein Zeigerinstrument oder ein chirurgisches Instrument mit Peripherie sein, das beispielsweise im Rahmen der Laparoskopie oder einer anderen medizinischen Untersuchungsmethode mit Hilfe eines optischen Instrumentes einsetzbar ist; solche Ansätze haben sich im Bereich der minimal-invasiven Chirurgie besonders bewährt. Insbesondere kann die Vorrichtung eine nicht-medizinische Vorrichtung mit einem nichtmedizinischen mobilen Vorrichtungskopf, wie ein Endoskop, ein Zeigerinstrument oder ein Werkzeug oder dgl. sein; mit einem distalen Ende zur Anordnung relativ zu einem Körper, insbesondere einem technischen Gegenstand wie einer Vorrichtung oder einem Gerät, vorzugsweise Ein- oder Anbringung am Körper, insbesondere an einem Gegens- tand, insbesondere zur Bearbeitung oder Beobachtung eines technischen Körpers, wie einem Gegenstand oder Gerät oder dgl. Vorrichtung. Das genannte System kann auch in einem nicht-medizinischen Anwendungsfeld verwendet werden. Das genannte System kann in einem nicht-medizinischen Anwendungsfeld nützlich sein z. B. zur Hilfestellung bei der Visualisierung und Analyse von zerstörungsfreien Prüfungsverfahren in der Industrie (bspw. Materialprüfung) oder im Alltag (bspw. Flughafenkontrollen od. Bombenentschärfung). Hier kann beispielsweise eine kamerabasierte Sichtprüfung aus der Distanz (bspw. Zum Schutz vor gefährlichen Inhalten) mithilfe der vorgestellten Erfindung die Analyse und Begutachtung der, aufgrund von zuvor oder gleichzeitig aufgenommenen Bilddaten (bspw. 3D-Röntgenbilddaten, Ultraschall- Bilddaten oder Mikrowellenbilddaten, etc.), innenliegenden Ansichten die Sicherheit erhöhen und/oder den Arbeitsaufwand erleichtern. Eine weitere beispielhafte Anwendung ist die Untersuchung von innenliegenden Kavitäten von Bauteilen oder Baugruppen mithilfe des hier vorgestellten Systems, beispielsweise basierend auf einem endoskopischen oder Endoskop-ähnlichen Kamerasystem.
In nicht-medizinischen Anwendungsgebieten, wo ein Vorrichtungskopf sinnvoll eingesetzt wird, hat sich das Konzept der Erfindung ebenfalls bewährt. Insbesondere in der Montage oder Instandsetzung ist der Einsatz optischer Sichtinstrumente hilfreich. Beispielsweise können Werkzeuge, insbesondere im Bereich der Robotik, an einer Operationsvorrichtung angebracht sein, die mit einem bildgebenden System ausgerüstet ist, sodass die Werkzeuge mittels der Operationsvorrichtung navigiert werden können. Das System kann insbesondere bei der Montage von Industrierobotern die Genauigkeit erhöhen bzw. bisherige mit Robotern nicht mögliche Montagetätigkeiten realisierbar machen. Außerdem kann einem Arbeiter/Mechaniker, durch Anweisung einer Datenverarbeitung auf Basis des eingangs genannten bildgebenden Systems befestigt an dessen Werkzeug, die Montagetätigkeit erleichtert werden. Zum Beispiel kann durch die Verwendung dieser Navigationsmöglichkeit in Verbindung mit einem Montagewerkzeug, beispielsweise einem Akkuschrauber, an einem Aufbau (z. B. einer Fahrzeugkarosserie), die Montage (z. B. Schraubverbindung von Zündkerzen), eines Bauteils (z. B. Zündkerze oder Schraube) mit Hilfe einer Datenverarbeitung der Arbeitsumfang durch Hilfestellung verringert und/oder die Qualität der ausgeführten Tätigkeit durch Überprüfung erhöht wer- den.
Ganz allgemein kann die Operationsvorrichtung der genannten Art bevorzugt mit einer manuell und/oder automatischen Führung zur Führung des mobilen Vorrichtungskopfes ausgestattet, wobei eine Führungseinrichtung zur Navigation ausgebildet ist, um eine automatische Führung des mobilen Vorrichtungskopfes zu ermöglichen. Die Aufgabe betreffend das Verfahren wird durch ein Verfahren des Anspruchs 19 gelöst.
Die Erfindung ist in einem medizinischen Bereich und in einem nicht-medizinischen Bereich gleichermaßen anwendbar, insbesondere nicht-invasiv und ohne physischen Eingriff an einem Körper. Das Verfahren kann vorzugsweise auf einen nicht-medizinischen Bereich beschränkt sein.
In der zum Zeitpunkt der Hinterlegung der vorliegenden Anmeldung nicht veröffentlichten DE 10 2012 21 1 378.9, deren Zeitrang vor dem Anmeldetag der vorliegenden Anmeldung liegt, ist eine mobil handhabbare Vorrichtung mit einem mobilen Vorrichtungskopf, insbe- sondere ein medizinisch mobilen Vorrichtungskopf mit einem distalen Ende zur Anordnung relativ zu einem Körpergewebe, zu entnehmen, der an einer Führungseinrichtung angebracht unter Einbindung einer Bilddatenerfassungseinheit, einer Bilddatenverarbeitungseinheit und einer Navigationseinheit führbar ist. Dazu werden Bilddaten und ein Bilddatenfluss genutzt, um wenigstens eine Position und Orientierung des Vorrichtungs- kopfes in einer Operationsumgebung anhand einer Karte anzugeben.
Die Erfindung geht von der Überlegung aus, dass bei der Registrierung einer Volumendarstellung auf ein Oberflächenmodell der Operationsumgebung die Operationskamera unabhängig von der Registrierungsart bislang lediglich als Bilddatenaufnahmemittel genutzt wird. Die Erfindung hat erkannt, dass sich darüber hinaus die Operationskamera - - wenn sie relativ zum Oberflächenmodell lokalisiert ist, insbesondere in Bezug auf das Oberflächenmodell und die Volumendarstellung der Operationsumgebung registriert istnutzen lässt, um ein virtuelles Zeigermittel zu erzeugen. Dementsprechend ist erfindungsgemäß vorgesehen:
- Registrierungsmittel, die ausgebildet sind, die Operationskamera relativ zum Oberflä- chenmodell zu lokalisieren;
- virtuelle Zeigermittel, die ausgebildet sind, eine Anzahl von Oberflächenstellen im Oberflächenmodell automatisch zur Verfügung zu stellen;
- Rechenmittel, die ausgebildet sind, wenigstens einer der zur Verfügung gestellten Oberflächenstellen eine Volumenstelle der Volumendarstellung automatisch zuzuordnen. Die Erfindung hat erkannt, dass sich über ein so erzeugtes virtuelles Zeigermittel der Einsatz eines physischen Zeigermittels in den allermeisten Fällen erübrigt. Vielmehr kann eine Anzahl von Oberflächenstellen derart automatisiert zur Verfügung gestellt werden, dass ein Operateur oder sonstiger Anwender lediglich in die Lage versetzt werden muss, die ihn interessierende Oberflächenstelle effektiv auszuwählen; der Auswahlvorgang ist effektiver und schneller verfügbar als ein umständlicher Einsatz eines physischen Zeigermittels. Vielmehr kann automatisch und mit vertretbarem Aufwand eine Anzahl von Oberflächenstellen im Oberflächenmodell automatisch zur Verfügung gestellt werden mit einer jeweils zugeordneten Volumenstelle der Volumendarstellung. Dies führt zu einer effektiven Registrierung der Oberflächenstelle auf die der Oberflächenstelle zugeordnete Stelle der Volumendarstellung.
Das Konzept der Erfindung beruht auf der Erkenntnis, dass die Registrierung der Opera- tionskamera relativ zum Oberflächenmodell auch die Registrierung in Bezug auf die Volumendarstellung der Operationsumgebung ermöglicht und damit sich eine Oberflächenstelle eindeutig einer Volumendarstellung zuordnen lässt. Mit vertretbarem Rechenaufwand lässt sich dies für eine Anzahl von Stellen durchführen und diese lassen sich in effektiver Weise dem Operateur oder sonstige Anwender als Auswahl zur Verfügung stellen. Damit eröffnet sich dem Operateur oder sonstiger Anwender die Möglichkeit beliebige im Bild der Operationsumgebung abgebildete Objekte, d. h. Objekte an bestimmten aber freiwählbaren Stellen der Operationsumgebung im Oberflächenmodell und der Volumendarstellung anzusehen. Damit werden auch Stellen zugänglich, in der Operationsumgebung, die mit einem physischen Zeigerinstrument nicht zugänglich wären. Diese Möglichkeit eröffnet sich unabhängig von dem Registrierungsmittel für die Operationskamera; dieses kann eine Registrierung mittels einer externen Lokalisierung der Operationskamera (z. B. durch Tracking und/oder Pointer/Zeiger) umfassen und/oder eine interne Lokalisierung durch Auswertung der Kamerabilddaten (visuelle Methode durch die Kamera selbst) umfassen. Vorteilhafte Weiterbildungen der Erfindung sind den Unteransprüchen zu entnehmen und geben im Einzelnen vorteilhafte Möglichkeiten an, das erläuterte Konzept im Rahmen der Aufgabenstellung, sowie hinsichtlich weiterer Vorteile zu realisieren.
In einer ersten Variante umfasst das Registrierungsmittel bevorzugt einen physischen Patienten-Lokalisator, einen physischen Kamera-Lokalisator und ein externes, optisches Lokalisator-Erfassungssystem. Eine besonders bevorzugte Ausführungsform ist in Fig. 3 und Fig. 4 der Zeichnungen erläutert. Die genannte weiterbildende erste Variante erhöht die Genauigkeit einer Registrierung durch die Verwendung von physischen Lokalisatoren erheblich, d. h. einer Registrierung zwischen Bild und Volumendarstellung bzw. zwischen Bilddaten und Volumendaten, insbesondere zwischen Oberflächenmodell und Volumendarstellung der Operationsum- gebung. Physische Registrierungsmittel können jedoch beispielsweise auch einer Positionsveränderung unterliegen relativ zum gekennzeichneten Körper, beispielsweise durch Verrutschen oder Lösen relativ zum Körper während einer Operation. Diesem kann entgegen gewirkt werden, da die Operationskamera ebenfalls mit einem Lokalisator registriert ist. Insbesondere kann vorteilhaft kann bei einem Ausfall der physischen Registrierungsmittel oder einer Unterbrechung der Sichtverbindung zwischen einem optischen Positionsmesssystem und einem Lokalisator das Bild, bzw. die Bilddaten, insbesondere das Oberflächenmodell, genutzt werden, um die Pose der Operationskamera relativ zur Operationsumgebung zu ermitteln. D. h. auch wenn kurzzeitig ein Kamera-Lokalisator nicht mehr vom externen, optischen Lokalisator-Erfassungssystem erfasst wird, so kann für die Unterbrechung die Pose der Operationskamera zur Operationsumgebung aus dem Oberflächenmodell zurückgerechnet werden. Damit ist eine grundsätzliche Schwäche eines physischen Registrierungsmittels wirksam ausgeglichen.
Insbesondere kann eine Kombination mehrerer Registriermittel— z. B. eines optisches Positionsmesssystem aus der ersten Variante und einer visuellen Navigation aus der nachfolgend erläuterten zweiten Variante- verwendet werden, derart, dass eine Erkennung von Fehlern, beispielsweise das Verrutschen eines Lokalisators, möglich wird. So lassen sich Transformationsfehler schnell beheben und korrigieren, indem zwischen einem Soll-Wert des einen Registrierungsmittels und einem Ist-Wert des anderen Regist- rierungsmittels verglichen wird. Die grundsätzlich unabhängig das Konzept der Erfindung weiterbildenden Varianten können gleichwohl in besonders bevorzugter Weise redundant eingesetzt werden, insbesondere zur genannten Erkennung von Fehlern verwendet werden.
In einer zweiten weiterbildenden Variante kann das Registrierungsmittel im Wesentlichen zur virtuellen Lokalisierung der Kamera ausgebildet sein. Die hier als virtuell bezeichneten Registrierungsmittel umfassen insbesondere die Bilddatenerfassungseinheit, die Bilddatenverarbeitungseinheit und eine Navigationseinheit. Gemäß der zweiten Variante einer Weiterbildung ist insbesondere vorgesehen, dass
- die Bilddatenerfassungseinheit ausgebildet ist, Bilddaten einer Umgebung des Vorrich- tungskopfes, insbesondere kontinuierlich, zu erfassen und bereitzustellen und
- die Bilddatenverarbeitungseinheit ausgebildet ist, mittels der Bilddaten eine Karte der Umgebung zu erstellen und
- die Navigationseinheit ausgebildet ist, mittels der Bilddaten und einem Bilddatenfluss, wenigstens eine Position des Vorrichtungskopfes in einer Nahumgebung der Operationsumgebung anhand der Karte anzugeben, derart, dass der mobile Vorrichtungskopf anhand der Karte führbar ist.
Unter Navigation ist grundsätzlich jede Art der Kartenerstellung und -angäbe einer Position in der Karte und/oder die Angabe eines Zielpunktes in der Karte, vorteilhaft in Relation zur Position zu verstehen; im Weiteren sind also das Feststellen einer Position in Bezug auf ein Koordinatensystem und/oder die Angabe eines Zielpunktes, insbesondere die Angabe einer vorteilhaft auf der Karte ersichtlichen Route zwischen Position und Zielpunkt.
Die Weiterbildung geht aus von einer im Wesentlichen bilddatenbasierten Kartographie und Navigation in einer Karte für die Umgebung des Vorrichtungskopfes im weiteren Sinne; also einer Umgebung, die nicht an eine Nahumgebung des distalen Endes des Vorrichtungskopfes, wie etwa der visuell erfassbaren Nahumgebung am distalen Ende eines Endoskops gebunden ist - letztere visuell erfassbare Nahumgebung wird hier als Operationsumgebung des Vorrichtungskopfes bezeichnet. Besonders vorteilhaft kann ein Führungsmittel mit Positionsbezug zum Vorrichtungskopf diesem zugeordnet sein. Das Führungsmittel ist bevorzugt ausgebildet Angaben zur Position des Vorrichtungskopfes in Bezug auf die Umgebung in der Karte zu machen, wobei die Umgebung über die Nahumgebung hinaus geht.
Der Positionsbezug des Führungsmittels zum Vorrichtungskopf kann vorteilhaft starr sein. Der Positionsbezug muss jedoch nicht starr sein, solange der Positionsbezug determiniert veränderlich oder beweglich ist oder jedenfalls kalibrierbar ist. Dies kann beispielsweise der Fall sein, wenn der Vorrichtungskopf am distalen Ende eines Roboterarm als Teil eines Handhabungsapparats ist und das Führungsmittel am Roboterarm angebracht ist, wie z. B. durch Fehler oder Dehnungen hervorgerufenen Varianten sind in dem nicht starren aber grundsätzlich deterministischen Positionsbezug zwischen Führungsmittel und Vorrichtungskopf ist in diesem Falle kalibrierbar. Unter einem Bilddatenfluss ist der Fluss von Bilddatenpunkten in zeitlicher Veränderung zu verstehen, der entsteht, wenn man eine Anzahl von Bilddatenpunkten zu einem ersten und einem zweiten Zeitpunkt unter Veränderung der Position, der Richtung und/oder Geschwindigkeit derselben für eine definierte Durchtrittsfläche betrachtet. Bevorzugt, jedoch nicht notwendiger Weise, umfasst das Führungsmittel die Bilddatenerfassung.
Im Rahmen einer bevorzugten Weiterbildung ist der Oberflächenstelle im Oberflächenmodell eine Oberflächenkoordinate der Oberflächenmodell-Darstellungsdaten zugeordnet. Bevorzugt weist die Volumenstelle der Volumendarstellung eine Volumenkoordinate auf, die Volumendarstellungsdaten zugeordnet ist. Die Daten können in einem geeigneten Format, wie beispielsweise einer Datendatei oder einem Datenstream oder dergleichen auf der Bildspeichereinheit gespeichert sein.
Die Oberflächenstelle ist bevorzugt als Schnittpunkt eines von der Operationskamera ausgehenden virtuellen Sichtstrahls mit dem Oberflächenmodell festlegbar. Insbesondere lässt sich eine Oberflächenkoordinate als ein dem Schnittpunkt zugeordneter Bildpunkt der Operationskamera angeben. Ein solcher 2D-Bildpunkt lässt sich nach Registrierung der Operationskamera relativ zum Oberflächenmodell und bei registrierter Volumendarstellung von 3D-Bilddaten zum Patienten bzw. zum Oberflächenmodell registrieren und es lässt sich auch die Kamera selbst in den Volumenbilddaten lokalisieren bzw. relativ zu diesen lokalisieren.
Bevorzugte Weiterbildungen geben darüber hinaus vorteilhafte Möglichkeiten an, eine Auswahl oder Festlegung einer Oberflächenstelle relativ zu einer Volumenstelle zur Verfügung zu stellen.
Bevorzugt ist ein Auswahl- und/oder Monitormittel vorgesehen, dass ausgebildet ist, die frei auswählbare und automatisch zur Verfügung gestellte und festgelegte Anzahl von Oberflächenstellen in eine Auswahl zu gruppieren und die Auswahl in einer Auswahldarstellung zu visualisieren. Die Auswahldarstellung kann ein Bild, aber auch ein Auswahlmenü oder eine Liste oder sonstige Darstellung sein. Die Auswahldarstellung kann auch eine sprachliche Darstellung oder ein Sensormerkmal sein. Insbesondere hat es sich als bevorzugt erwiesen, dass die Anzahl von Oberflächenstellen im Oberflächenmodell frei auswählbar ist, insbesondere frei von einer physischen Anzeige, d. h. zur Verfügung gestellt wird ohne ein physisches Zeigermittel. Die Anzahl von Oberflächenstellen im Oberflächenmodell ist besonders bevorzugt nur durch virtuelle Zeigermittel zur Verfügung stellbar. Gleichwohl eignet sich das System, gemäß der vorgenannten Weiterbildung auch dazu, physische Zeigermittel zuzulassen und diese zur Lokalisierung einer Oberflächenstelle relativ zu einer Volumendarstellung zu ermöglichen.
Im Rahmen einer Weiterbildung ist die Anzahl von Oberflächenstellen im Oberflächenmodell automatisch festlegbar. Es bedarf damit, insbesondere keiner weiteren automatischen Bewertung oder Interaktion zwischen Operateur oder sonstiger Anwender und Auswahl, um eine Oberflächenstelle eine Volumenstelle zu registrieren und anzuzeigen. Gleichwohl hat es sich als vorteilhaft erwiesen, dass die Auswahl wenigstens eine automatische Vorauswahl und eine automatische Endauswahl umfasst. Vorteilhaft kann die wenigstens eine automatischen Vorauswahl eine Anzahl von kaskadierten automatischen Vorauswahlen umfassen, sodass mit entsprechender Interaktion zwischen Auswahl und Operateur oder sonstiger Anwender schließlich eine gewünschte Endauswahl einer registrierten Oberflächenstelle auf eine Volumenstelle zur Verfügung steht.
Im Rahmen einer weiteren besonders bevorzugten Weiterbildung hat es sich als vorteilhaft erwiesen, dass ein Auswahl- und/oder Monitormittel ausgebildet ist, die automatische Auswahl auf Basis der Bilddaten und/oder dem Oberflächenmodell zu gruppieren. Dies betrifft insbesondere die Vorauswahl. Zusätzlich oder alternativ kann dies jedoch auch die Endauswahl betreffend, insbesondere ein Bewertungsverfahren für die Endauswahl.
Eine Gruppierung kann auf Basis von ersten Gruppier-Parametern erfolgen, die umfassen ein Entfernungsmaß, insbesondere eine Entfernung der Operationskamera zu im Bilddaten dargestellten Strukturen. Die Gruppier-Parameter umfassen bevorzugt auch eine 2D-und/oder 3D-Topographie, insbesondere eine 3D-Topograhie von dargestellten Strukturen basierend auf dem erstellten Oberflächenmodell; dies kann eine Form oder ein Tiefengradient einer Struktur umfassen. Bevorzugt umfassen die Gruppier-Parameter auch eine Farbe, insbesondere eine Farbe oder Farbänderung der dargestellten Struktur in den Bilddaten.
Solche, im Wesentlichen auf Basis der Bilddaten und/oder dem Oberflächenmodell gruppierten automatische Auswahl kann ergänzt werden durch eine automatischen Auswahl unabhängig von den Bilddaten und/oder unabhängig von dem Oberflächenmodell. Dazu eignen sich insbesondere zweite Gruppier-Parameter, die umfassen eine Geometrievorgabe oder eine Rastervorgabe. Beispielsweise kann eine geometrische Verteilung von Bildpunkten zur Auswahl mit Volumenstellen registrierten Oberflächenstellen und/oder ein rechteckiges oder kreisförmiges Raster vorgegeben werden. Auf diese Weise können Stellen selektiert werden, die einer bestimmten geometrischen Verteilung entsprechen und/oder einer gewissen Form folgen oder in einem bestimmten Raster liegen, wie beispielsweise einem bestimmten Quadranten oder in einem bestimmten Bereich.
Besonders bevorzugt lässt sich eine automatische Endauswahl aus der in einer Vorauswahl zur Verfügung gestellten Stellen mittels Bewertungsverfahren umsetzen; insbeson- dere lassen sich im Rahmen der automatischen Endauswahl dann ausgewählte Stellen mittels Bewertungsverfahren gruppieren. Die Bewertungsverfahren umfassen beispielsweise Verfahren zur statistischen Auswertung im Zusammenhang mit anderen Bildstellen oder Bildpositionen. Hier eignen sich mathematischen Filter- und/oder Logikmethoden, wie beispielsweise ein Kaiman-Filter, eine Fuzzy-Logik und/oder ein neuronales Netz- werk.
Besonders bevorzugt lässt sich eine Interaktion mit dem Auswahl- und/oder Monitormittel, d. h. insbesondere eine manuelle Interaktion zwischen einem Operateur oder sonstiger Anwender und dem Auswahl- und/oder Monitormittel umsetzen im Rahmen einer manuellen Auswahlunterstützung durch eines oder mehrerer Eingabemerkmale. Ein Eingabe- merkmal kann beispielsweise ein Tastaturmittel für Hand oder Fuß des Operateur oder sonstiger Anwenders sein; beispielsweise kann dies eine Computermaus, eine Taste, ein Pointer oder dergleichen sein. Es kann als Eingabemittel auch ein Gestensensor genutzt werden, der auf eine bestimmte Geste reagiert. Auch ist ein Sprachsensor oder ein berührungsempfindlicher Sensor, wie beispielsweise ein Eingabe-Pad möglich. Darüber hinaus eignen sich sonstige mechanische Eingabegeräte wie Tastaturen, Schaltknöpfe oder Druckknöpfe.
Das Konzept oder eine der Weiterbildungen erweist sich in einer Vielzahl von technischen Anwendungsgebieten wie beispielsweise der Robotik als vorteilhaft; insbesondere in der Medizintechnik oder in einem nicht-medizinischen Bereich. So umfasst der Gegen- stand der Ansprüche insbesondere eine mobile handhabbare medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines biologischen Körpers wie ein Gewebe oder dgl.. Eine Bildaufnahmeeinheit kann insbesondere ein Endoskop oder eine Ultraschallbildgebungseinheit oder eine andere bildgebende Einheit, insbesondere eine zuvor genannte Einheit z. B. auf Basis einer IR-, X- oder UV-Strahlung, aufweisen. So kann beispielsweise bei einer getrackten und kalibrierten Ultraschallsonde auch 2-D Schichtbilder oder 3-D Volumenbilder zur Operationsumgebung registriert werden. Beispielsweise durch Segmentierung signifikanter und/oder charakteristischer Grauwertänderungen können aus den Bilddaten auch Oberflächenmo- delle berechnet werden, die als Grundlage für das virtuelle Zeigermittel bzw. das Auswahl- und/oder Monitormittel dienen können. Die Nutzung von Ultraschallbildgebung oder einer anderen Strahlungsbasierten Bildgebung als Bildaufnahmeeinheit ist besonders vorteilhaft. Beispielsweise ein Vorrichtungskopf kann auch ein Zeigerinstrument oder ein chirurgisches Instrument oder dgl. medizinische Vorrichtung zur Bearbeitung oder Be- obachtung eines Körpers sein oder zur Erfassung der eigenen Position, bzw. der Instrumentenposition, relativ zur Umgebung dienen.
So umfasst der Gegenstand der Ansprüche insbesondere eine mobile handhabbare nicht-medizinische Vorrichtung und ein insbesondere nicht-invasives Verfahren zur Bearbeitung oder Beobachtung eines technischen Körpers wie einen Gegenstand oder eine Vorrichtung od. dgl.. Beispielsweise kann das Konzept bei industriellen Bearbei- tungs-, Positionier- oder Monitorprozessen erfolgreich angewendet werden. Aber auch für andere Anwendungen, in denen eine beanspruchte mobile handhabbare Vorrichtung— etwa im Rahmen eines Instrumenten-, Werkzeug oder Sensor-ähnlichen Systems- nach dem beschriebenen Prinzip verwendet werden, ist das beschriebene im wesentlichen auf Bilddaten beruhende Konzept vorteilhaft.
Ausführungsbeispiele der Erfindung werden nun nachfolgend anhand der Zeichnung im Vergleich zum Stand der Technik, welcher zum Teil ebenfalls dargestellt ist, beschrieben -dies im medizinischen Anwendungsrahmen, bei dem das Konzept in Bezug auf einen biologischen Körper umgesetzt ist; gleichwohl gelten die Ausführungsbeispiele auch für einen nicht-medizinische Anwendungsrahmen, bei dem das Konzept in Bezug auf einen technischen Körper umgesetzt ist.
Die Zeichnung soll die Ausführungsbeispiele nicht notwendigerweise maßstäblich darstellen, vielmehr ist die Zeichnung, wo zur Erläuterung dienlich, in schematisierter und/oder leicht verzerrter Form ausgeführt. Im Hinblick auf Ergänzungen der aus der Zeichnung unmittelbar erkennbaren Lehren wird auf den einschlägigen Stand der Technik verwiesen. Dabei ist zu berücksichtigen, dass vielfältige Modifikationen und Änderungen betreffend die Form und das Detail einer Ausführungsform vorgenommen werden können, ohne von der allgemeinen Idee der Erfindung abzuweichen. Die in der Beschreibung, in der Zeichnung sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Weiterbildung der Erfindung wesentlich sein. Zudem fallen in den Rahmen der Erfindung alle Kombinationen aus zumindest zwei der in der Beschreibung, der Zeichnung und/oder den Ansprüchen offenbarten Merkmale. Die allgemeine Idee der Erfindung ist nicht beschränkt auf die exakte Form oder das Detail der im Folgenden gezeigten und- beschriebenen bevorzugten Ausführungsform oder beschränkt auf einen Gegenstand, der eingeschränkt wäre im Vergleich zu dem in den Ansprüchen beanspruchten Gegenstand. Bei angegebenen Bemessungsbereichen sollen auch innerhalb der genannten Grenzen liegende Werte als Grenzwerte Offenbart und beliebig einsetzbar und beanspruchbar sein. Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der bevorzugten Ausführungsbeispiele sowie anhand der Zeichnung; diese zeigt in:
Fig. 1 ein grundsätzliches Schema eines Verfahrens und einer Vorrichtung zur
Bildgebung unter Registrierung eines Oberflächenmodells auf eine Volumendarstellung unter Berücksichtigung der Operationskamera, nämlich wahlweise basierend auf einem physischen Zeigermittel, einem Tracker oder basierend einer visuellen Navigationsmethode;
Fig. 2 eine beispielhafte Ausführungsform einer Operationsvorrichtung mit einem bildgebenden System, bei dem die Registrierung der Operationskamera maßgeblich auf eine visuellen Navigationsmethodik beruht, insbesondere wie in der eingangs genannten DE 10 2012 21 1 378.9 beschrieben ist, deren Offenbarungsgehalt hiermit durch Zitat vollständig in den Offenbarungsgehalt dieser Anmeldung übernommen ist;
Fig. 3 eine alternative Ausführungsform einer Operationsvorrichtung mit einem bildgebenden System, bei dem Lokalisatoren zur Lokalisation nicht nur des Patienten sondern auch der Operationskamera über einen Endoskop-Lokalisator vorgesehen, sodass ein virtuelles Zeigermittel ausgebildet sein kann, eine Anzahl von Oberflächenstellen im Oberflächenmodell automatisch zur Verfügung zu stellen - dazu wird beispielhaft ein Endoskop als spezielles Kamerasystem gezeigt;
Fig. 4 eine Abwandlung, der in Fig.3 dargestellten Ausführungsform einer Operationsvorrichtung, bei dem ein zweiter Lokalisator statt auf dem Endoskop direkt auf der Operationskamera angebracht ist - die zu kalibrierende Transformation TKL zwischen Kameralokalisator und Kameraursprung (Linse) wird ersichtlich, wobei die Kamera durch ein Kamerasymbol dargestellt ist, das allgemein für eine beliebige vorteilhaft einsetzbare Kamera steht; Fig. 5 ein Detail X der Fig. 3 oder Fig. 4 zur Veranschaulichung einer bevorzugten Vorgehensweise zur Bestimmung einer Oberflächenstelle als Schnittpunkt eines von der Operationskamera ausgehenden virtuellen Sichtstrahls mit dem Oberflächenmodell;
Fig. 6 ein Ablaufdiagramm zur Veranschaulichung eines bevorzugten Verfahrens zur Umsetzung einer automatischen Vorauswahl und einer automatischen Endauswahl mittels einem Auswahl- und/oder Monitormittel, das erste und zweite Gruppier-Parameter nutzt, um wenigstens eine Oberflächenstelle mit zugeordneter Volumenstelle zur Verfügung zu stellen;
Fig. 7 ein Flussdiagramm für eine besonders bevorzugte Ausführungsform eines Ablaufs zur Navigation beliebiger Bildpunkte in medizinischen Kamerabilddaten einer Operationskamera.
Es sind in der Figurenbeschreibung unter Verweis auf die korrespondierenden Beschreibungsteile durchweg für identische oder ähnliche Merkmale oder Merkmale identischer oder ähnlicher Funktion gleiche Bezugszeichen verwendet. Nachfolgend wird eine Vor- richtung und ein Verfahren in verschiedenen Ausführungsformen vorgestellt, die sich besonders bevorzugt zur klinischen Navigation eignen, jedoch nicht auf diese beschränkt sind.
Bei einer klinischen Navigation ist es möglich, im Rahmen von bildgestützten Eingriffen, wie z. B. endoskopischen Interventionen oder anderen laparoskopischen Eingriffen, an Gewebestrukturen G an beliebigen Bildpunkten im Kamerabild die korrespondierende Position in 3D-Bilddaten eines Patienten zu berechnen. Im Folgenden werden verschiedene Möglichkeiten zur Bestimmung von 3D-Positionen, der im Kamerabilddaten dargestellten Objekten sowie deren Nutzung zur klinischen Navigation im Einzelnen beschrieben. Fig. 1 zeigt zunächst als Prinzipschaubild die allgemeine Struktur eines Verfahrens bzw. einer Vorrichtung zur klinischen Navigation.
Dazu zeigt Fig. 1 eine Operationsvorrichtung 1000 mit einem mobil handhabbaren Vorrichtungskopf 100 und einem bildgebenden System 200. Der Vorrichtungskopf 100 ist vorliegend in Form eines Endoskops 1 10 gebildet. Eine Bilddatenerfassungseinheit 210 des bildgebenden Systems 200 weist am Endoskop eine Operationskamera 21 1 auf, die ausgebildet ist, Bilddaten 300 einer Operationsumgebung OU des Vorrichtungskopfes 100, d. h. im Sichtbereich mit einer Nahumgebung NU der Operationskamera 21 1 , kontinuierlich zu erfassen und bereitzustellen. Die Bilddaten 300 werden einer Bilddatenverar- beitungseinheit 220 zur Verfügung gestellt. Grundlage des hier vorgestellten Verfahrens und Vorrichtung ist nun die Nutzung der verwendeten intraoperativen Kamerasysteme,— wie hier durch die Operationskamera 21 1 als Teil eines Endoskops 1 10 beispielhaft erläutert- zur Gewinnung von Navigationsinformation von im Kamerabild, d. h. den Bilddaten 300, abgebildeten Objekten im gesamten Bildbereich, d. h. im gesamten abgebildeten Bereich der Operationsumgebung OU.
Als Objekte seihen hier ein erstes, eher rundliches Objekt OU1 und ein zweites, eher längliches OU2 bezeichnet. Während die Bilddatenverarbeitungseinheit 220 ausgebildet ist, mittels der Bilddaten 300 ein Oberflächenmodell 310 der Operationsumgebung OU zu erstellen, so können darüber hinaus vor allem präoperativ gewonnene Volumendarstellungsdaten einer Volumendarstellung 320 der Operationsumgebung vorliegen. Das Oberflächenmodell 310 als auch die Volumendarstellung 320 können in geeigneten Speicherbereichen 231 , 232 einer Bildspeichereinheit 230 vorgehalten werden. Dazu sind in der Bildspeichereinheit 230 entsprechende Darstellungsdaten des Oberflächenmodells 310 bzw. Darstellungsdaten der Volumendarstellung 320 gespeichert. Ziel ist es nun bestimmten Oberflächenstellen OS1 , OS2 in der Ansicht des zweidimensionalen Kamerabildes, d. h. im Oberflächenmodell 310, mit einer entsprechenden Position einer Volumenstelle VP1 , VP2 in den 3D-Bilddaten eines Patienten, d. h. in der Volumendarstellung 320, in Korrespondenz zu bringen; allgemein ist es das Ziel, das Oberflächenmodell 310 auf die Volumendarstellung 320 zu registrieren.
Bislang müssen dazu jedoch zunächst von einem Operateur oder einem sonstigen Anwender geeignete bzw. in Frage kommende Oberflächenstellen OS1 , OS2 oder Volumenstellen VP1 , VP2 separat gezeigt bzw. identifiziert werden - anschließend muss aufwendig geprüft werden, ob tatsächlich die Volumenstelle VP1 mit der Oberflächenstel- le OS1 bzw. die Volumenstelle VP2 mit der Oberflächenstelle OS2 korrespondiert. Im konkreten Fall kann es sich beispielsweise um die Registrierung von Videodaten, nämlich der Bilddaten 300 bzw. das daraus gewonnene Oberflächenmodell 310 auch präoperativ gewonnene 3D-Daten, wie z. B. CT-Daten, also allgemein die Volumendarstellung handeln. Bislang haben sich drei wesentliche Ansätze zur Registrierung bewährt, die zum Teil weiter unten im Detail beschrieben sind. Ein erster Ansatz nutzt einen Zeiger oder Pointer, d. h. entweder als physisches Hardware-Instrument (Zeiger) oder beispielsweise als Laserpointer (Pointer), um gewisse Oberflächenstellen OS zu identifizieren und zu lokalisieren. Ein zweiter Ansatz nutzt die Identifizierung und Visualisierung von Oberflä- chenstellen in einem Video oder dergleichen Bilddaten 300 und registriert diese, beispielsweise auf einen CT-Datensatz mittels eines Tracking-Systems. Ein dritter Ansatz identifiziert und visualisiert Oberflächenstellen in einem Video oder dergleichen Bilddaten 300 und registriert diese auf eine Volumendarstellung, wie beispielsweise einen CT- Datensatz mittels einer Rekonstruktion und Registrierung des Oberflächenmodells 310 auf die Volumendarstellung 320 durch geeignete Rechenmittel. Unabhängig von der Art des Ansatzes zum Matchen des Oberflächenmodells 310 und der Volumendarstellung 320 im Rahmen der Bilddatenverarbeitung wird bislang eine Operationskamera 21 1 genutzt, um beispielsweise ein Zeigerinstrument oder einen Pointer oder eine andere Form einer manuellen Anzeige einer Oberflächenstelle lediglich zu monitoren bzw. zu visualisieren. Danach sind Rechenmittel 240 vorgesehen, die ausgebildet sind, die durch manuelle Anzeige identifizierte Oberflächenstelle OS1 , OS2 auf eine Volumenstelle VP1 , VP2 zu matchen (registrieren) und damit das Oberflächenmodell 310 der Volumendarstellung 320 korrekt zuzuordnen. Das in der vorliegenden Ausführungsform beschriebene Verfahren und Vorrichtung sieht darüber hinausgehend -und zur Beseitigung der mit den manuellen Eingriffen verbundenden Schwierigkeiten- im Rahmen der Bilddatenverarbeitungseinheit 220 virtuelle Zeigermittel 250 vor, die ausgebildet sind, eine Anzahl von Oberflächenstellen im Oberflächenmodell 310 automatisch zur Verfügung zu stellen; es wird also nicht nur eine einzige manuell angezeigt sondern eine beliebige Anzahl in der gesamten Operationsumgebung OU angezeigt. Die Anzahl von Oberflächenstellen OS, insbesondere im Oberflächenmodell 310 kann frei auswählbar sein, insbesondere frei von einer physischen Anzeige, zur Verfügung stellbar sein. Zusätzlich oder alternativ kann die Anzahl von Oberflächenstellen OS im Oberflächenmodell 310 auch automatisch festlegbar sein. Insbesondere kann die Auswahl wenigstens teilweise eine automatische Vorauswahl und/oder eine automatische Endauswahl umfassen. Ein Auswahl- und/oder Monitormittel 500 ist ausgebildet, eine automatische Auswahl, insbesondere in einer Vorauswahl und/oder Endauswahl, auf Basis der Bilddaten 300 und/oder dem Oberflächenmodell 310 zu gruppieren; z. B. auf Basis von ersten Gruppier-Parametern umfassend: ein Entfer- nungsmaß, eine 2-D- oder 3D-Topographie, eine Farbe. Auch kann ein Auswahl- und/oder Monitormittel 500 ausgebildet sein, eine automatische Auswahl unabhängig von den Bilddaten 300 und/oder dem Oberflächenmodell 310 zu gruppieren, insbesondere auf Basis von zweiten Gruppier-Parametern umfassend: eine Geometrie-Vorgabe, eine Raster-Vorgabe. Das Auswahl- und/oder Monitormittel 500 weist ein MAN-Machine- Interface MMI auf, das zur manuellen Auswahl-Unterstützung aktuierbar ist. Darüber hinaus sind Registrierungsmittel 260 -als Hardware- und/oder Softwareimple- mentierung z. B. einer Anzahl von Modulen- vorgesehen, die ausgebildet sind, die Ope- rationskamera 21 1 relativ zum Oberflächenmodell 310 zu lokalisieren. Insbesondere geht in das hier als Ausführungsform beispielhaft vorgestellte Konzept insbesondere die Vermessung der in Fig. 5 beispielhaft gezeigten Lage KP2 und Position KP1 (Pose KP) der verwendeten Operationskamera 21 1 ein.
Zunächst können die Abbildungseigenschaften der Bildaufnahmeeinheit in grundsätzlich verschiedenster Weise definiert und bevorzugt diese wie auch andere Eigenschaften der Bildaufnahme zur Bestimmung von Lage KP2 und Position KP1 (Pose KP) genutzt wer- den. Bevorzugt kann aber für eine Pose KP einer Bildaufnahmeeinheit eine Kombination von Ortskoordinaten und Richtungskoordinaten des bildgebenden Systems verwendet werden. Als Ortskoordinate eignet sich beispielsweise eine Koordinate eines charakterisierenden Ortes des Abbildungssystems, wie beispielsweise ein Brennpunkt KP1 einer abbildenden Einheit, z. B. Objektiv, der Bildaufnahmeeinheit. Als Richtungskoordinate eignet sich beispielsweise eine Koordinate eines Richtungsvektors eines Sichtstrahls, also z. B. mit Bezug auf Fig. 5 eine Ausrichtung KP2 des Sichtstrahls 330.
Dies kann in Bezug auf Fig. 2 mit einer Rechenmethode oder im Rahmen eines in Bezug auf Fig. 3 erläuterten Positionsmesssystems, das z. B. optisch, elektromagnetisch oder mechanisch arbeiten kann. In beiden Fällen gehen in die Analyse die Kenntnis der Abbil- dungseigenschaften des Kamerasystems sowie insbesondere der Operationskamera 21 1 ein. Dieser Ansatz wird weiter in Bezug auf Fig. 4 an einem Beispiel näher erläutert.
Zunächst bezugnehmend auf Fig. 2 verdeutlicht diese ein Beispiel für einen videobasierten ober erwähnten dritten Ansatz zur Registrierung einer Volumendarstellung 320 auf eine Oberflächenmodell 310. Für gleiche oder ähnliche Teile oder Teile gleicher oder ähnlicher Funktion werden vorliegend die gleichen Bezugszeichen verwendet.
In Fig. 2 ist eine Gewebestruktur G mit Objekten 01 , 02 gezeigt, die in einer Volumendarstellung 320 als Volumenstelle VP bzw. in einem Oberflächenmodell als Oberflächenstelle OS erkennbar sind und einander zugeordnet werden sollten. Vorteil des in Fig. 2 dargestellten Systems 1001 einer Operationsvorrichtung ist die als visuelle Navigation bezeichnete Nutzung eines Navigationsverfahrens ohne zusätzliche externe Positionsmesssysteme. Hierbei wird basierend auf Bilddaten 300, d. h. Kamerabilddaten einer Operationskamera 21 1 z. B. bei einem Endoskop 1 10 und/oder Bilddaten 300 einer externen Kamera 212 von einer Umgebung U des Vorrichtungskopfes 100 eine Karte erstellt. Dies kann eine Karte der Umgebung U und/oder Karte umfassend das Oberflächenmodell 310 des Operationsgebietes OU sein. Zur Detailbeschreibung wird dazu auf die zum Zeitpunkt der Hinterlegung der vorliegenden Anmeldung nicht veröffentlichten DE 10 2012 21 1 378.9 verwiesen, deren Zeitrang vor dem Anmeldetag der vorliegenden Anmeldung liegt. Der Inhalt der Anmeldung wird hiermit durch Zitat vollständig in den Offenbarungsgehalt der vorliegenden Anmeldung aufgenommen.
Insbesondere ist im Rahmen des in Fig. 2 beispielhaft verdeutlichten Konzepts der visuellen Navigation die Umsetzung eines SLAM-Verfahrens (simultaneous localisation and mapping) als eine Option beschrieben, die ausschließlich Sensorsignale, insbesondere Bilddaten 300 zur Orientierung in einem ausgedehnten Gebiet, nämlich der Operationsumgebung OU anhand der Karte der Umgebung U und/oder der Karte der Operationsumgebung OU nutzt. Anhand der Sensordaten wird eine eigene Bewegung des Vorrichtungskopfes 100 geschätzt sowie kontinuierlich eine Karte des mit interner Kamera 21 1 oder externer Kamera 212 erfassten Gebiets erstellt. Neben der Kartenerstellung sowie Bewegungserkennung werden gleichzeitig die aktuell erfassten Sensorinformationen auf Übereinstimmungen mit den bisher gespeicherten Bildkartendaten geprüft. Wird eine Übereinstimmung festgestellt, ist dem System die eigene aktuelle Position und Orientierung (Pose) innerhalb der Karte bekannt. Wie in der vorgenannte Anmeldung beschrieben, eignet sich als Informationsquelle bereits ein monokulares SLAM-Verfahren, bei dem kontinuierlich Merkmalspunkte im Videobild erfasst und deren Bewegung im Bild ausgewertet wird. Kann nun die anhand von Fig. 1 erläuterte Oberflächenkarte 310 zu einem Volumendatensatz 320 des Patienten registriert werden, ist die Visualisierung von Positionen von Objekten OS1 im Videobild innerhalb der 3D-Bilddaten VP möglich. Ebenso wird die gemeinsame Nutzung der visuellen Navigation mit klassischen Tracking- Verfahren möglich, um die Absolutposition der erstellten Oberflächenkarte zu bestimmen.
Ein Nachteil dieses Lösungsansatzes stellt die Genauigkeit der Navigation in der Operationsumgebung OU dar. Die zu erstellende Oberflächenkarte für die Navigation sollte von der Region der Bilddatenregistrierung (z. B. Gesicht bei Nasennebenhöhleneingriffen) bis zur Operationsumgebung (z. B. Siebbeinzellen) reichen. Durch den stückweisen Aufbau der Karte und das Hinzufügen neuer Daten anhand des vorhandenen Kartenmaterials können sich Fehler bei dem Kartenaufbau kumulieren. Auch können Probleme auftreten, wenn sich für bestimmte Bereiche des Operationsgebietes keine Videobilddaten mit markanten und nachverfolgbaren Bildinhalten generieren lassen. Eine sichere Erstellung einer präzisen Oberflächenkarte mit Hilfe des beispielsweise monokularen SLAM- Verfahrens ist somit Voraussetzung, um eine ausreichende Genauigkeit chirurgischer Eingriffe zu bieten.
Fig. 3 zeigt ein abgewandeltes System 1002 einer Operationsvorrichtung 1000 mit einem Vorrichtungskopf 100 und einem bildgebenden System 200 in der Anwendung auf eine Gewebestruktur G bei einem Patienten als besonders bevorzugte Ausführungsform. Um die oben erläuterten Genauigkeitsanforderungen zu erreichen werden bislang zur Erfassung einer 3D-Position von Objekten in OS in einer Operationsumgebung OU Zeigerinstrumente verwendet, an denen Lokalisatoren zur Lageerfassung angebracht sind; die Lokalisatoren können mit optischen oder elektromagnetischen Positionsmesssystemen erfasst werden. Hintergrund ist, dass bei chirurgischen Eingriffen mit intraoperativer Echtzeitbildgebung -wie der auch in Fig. 3 beispielhaft dargestellten Endoskopie mit einem Endoskop als Vorrichtungskopf 100 oder einer anderen laparoskopischen Anwendung- es häufig notwendig ist, eine Lageinformation für im Kamerabild dargestellte Stukturen zu bestimmen und dem Operateur oder einem Chirurgen oder einem sonstigen Anwender zur Verfügung zu stellen. Die als Zeiger mit Lokalisator bezeichneten speziellen Navigationsinstrumente (Pointer) werden vom Chirurgen mit der Hand oder mit einem Roboterarm geführt, um eine Gewebestruktur G in der Operationsumgebung OU anzutasten. Aus der Visualisierung der Zeigerposition in den Bilddaten 300 kann der Operateur oder sonstiger Anwender auf eine Gewebeposition 02 der Oberflächenstelle OS schließen. Die Nutzung von speziellen Navigationsinstrumenten erfordert aber zusätzlichen Instrumentenwechsel während des Eingriffs und erschwert somit die Operationsdurchführung sowie ein exaktes Antasten des Gewebes G durch den Chirurgen.
Als Beispiel in Fig. 3 ist ein neuer Lösungsweg zur Bestimmung von Bildpunkten in aktuellen Bilddaten 300 einer intraoperativen Echtzeitbildgebung vorgeschlagen, welche es ermöglicht, eine Oberflächenstelle OS auf eine Volumenstelle VP zu registrieren bzw. konkret eine 3D-Position im Referenzkoordinatensystem der 3D-Bilddaten (Volumendarstellung 320) des Patienten, z. B. CT-Bilddaten, in Korrespondenz zu bringen. Dafür ist vorliegend aus Fig. 3 ersichtlich die Position der Operationskamera 21 1 als auch des Patienten und damit der Gewebestruktur G in der Operationsumgebung OU mit Hilfe eines Positionsmesssystems 400 erfasst. Das Positionsmesssystem weist dazu eine Postionsmesseinheit 410 auf, die beispielsweise als optische, elektromagnetische oder optische Messeinheit gebildet werden kann, auf; als auch einen ersten Lokalisator 420 und einen zweiten Lokalisator 430. Der erste Lokalisator 420 kann wie in Fig. 3 dargestellt am Endoskop 1 10 angebracht sein und dadurch eine starr, jedenfalls determinierte, Verbindung 422 zur Operationskamera 21 1 darstellen oder bevorzugt direkt, wie in Fig. 4 gezeigt, an einer extern vom Endoskop 1 10 zur Verfügung gestellten Operationskamera 212 oder dergleichen Kamerasystem angebracht sein. Die Lokalisatoren 420 bzw. 410 und 430 sind als sogenannte optische Tracker mit Lokalisatorkugeln ausgebildet und können am ausgestellten Objekt des Endoskops 1 10 bzw. der externen Operationskame- ra 212 oder am Patienten (und damit an der Gewebestruktur G) befestigt werden.
Mögliche Kamerasysteme sind konventionelle Kameras (z. B. Endoskope), aber auch 3D- Time-of-Flight-Kameras oder stereoskopische Kamerasysteme zur Ausführung der Operationskamera 21 1 , 212.
Time-of-Flight-Kameras liefern zusätzlich zu einem Färb- oder Grauwertbild der Operati- onsumgebung OU auch ein Bild mit Tiefeninformationen. Damit kann bereits mit einem einzelnen Bild ein Oberflächenmodell 310 erzeugt werden, dass für jede 2D-Position im Bild die Berechnung der 3D-Position relativ zur Endoskopoptik der Operationskamera 21 1 ermöglicht. Mit Hilfe einer geeigneten Kalibrierung kann die Transformation der von der Kamera gelieferten 3D-Koordinaten (Oberflächenkoordinate der Oberflächenmodell- darstellungsdaten) zum Referenzkoordinatensystem R421 bzw. R420 des Kamera- Lokalisators bzw. Instrumenten-Lokalisators 421 , 420 berechnet werden.
Stereoskopische Kamerasysteme liefern Kamerabilder der Operationsumgebung gleichzeitig aus zwei leicht abweichenden Positionen und erlauben somit eine Rekonstruktion einer 3D-Oberfläche als Oberflächenmodell 310, der in den Kamerabildern dargestellten Objekte. Nach einer Kalibrierung des Kamerasystems kann das auf Basis einer oder mehrerer Bildpaare rekonstruierte Oberflächenmodell 310 z. B. als Punktwolke realisiert werden und zum Lokalisator 420, 421 referenziert werden; wie es über geeignete Transformationen TLL1 , TKL.
Konventionelle Kamerasysteme ermöglichen es auf Basis von Bildsequenzen einer kalibrierten und vom Positionsmesssystem getrackten Kamera bei ausreichender Bewegung der Kamera und genügend markanten Bildinhalten ein Oberflächenmodell 310 der in dem Bilddaten 300 dargestellten Objekte OS zu rekonstruieren. Diese Verfahren ähneln dem oben erläuterten monokularen SLAM-Verfahren. Vorliegend muss allerdings die Position, insbesondere Pose der Kamera nicht geschätzt werden sondern kann durch das Positionsmesssystem 400 ermittelt werden. Insofern stellt die Ausführungsform der Fig. 3 und Fig. 4 eine Abwandlung der Ausführungsform Fig. 2 dar. Mittels der Operationskamera 21 1 , 212 also -basierend auf einer Sequenz aus einer oder mehrerer aufeinanderfolgenden Kamerabildern- erfolgt die Darstellung eines Oberflächenmodells der Operationsumgebung OU, die hier vom Erfassungsbereich KOL) des Kamerasystems visualisiert wird, als im Wesentlichen innerhalb der äußeren Grenzen des Sichtbereichs der Operationskamera 21 1 , 212 liegt. Anhand dieses Oberflächenmodells 310 erfolgt die Berechnung von 3D-Positionen 01 für beliebige 2D-Bildpositionen 02 in den Bilddaten 300. Nach dann erfolgreicher Registrierung der 3D- Patientenbilddaten zum Patienten-Lokalisator 430 können 3D-Koordinaten mit Hilfe des Positionsmesssystems 400 bzw. der Positionsmesseinheit 410 in das Referenzkoordina- tensystem der 3D-Bilddaten 320 transformiert werden. Im folgenden Fall ist das Referenzkoordinatensystem R430 des Objekt-Lokalisators 430, also der 3D-Bilddaten des Patienten 320 bezeichnet. Vorliegend ist das Referenzkoordinatensystem R420 bzw. R421 des Kamera-Lokalisators 420, 421 als auch das Referenzkoordinatensystem R212 der Operationskamera 212 bezeichnet, die durch einfache Transformation TKL ineinan- der übergehen.
Das Prinzip, der in Fig. 3 und in Fig. 4 veranschaulichten Navigationsmethode besteht darin, die Pixel im Kamerabild, d. h. den Bilddaten 300 bzw. dem zugeordneten Oberflächenmodell eine korrespondierende 3D-Position, nämlich eine Volumenkoordinate der Volumendarstellungsdaten, in den prä- oder intraoperativen Volumenbilddaten des Pati- enten zu ermitteln. Die Lokalisation des Endoskops relativ zum Patienten erfolgt mit Hilfe eines externen Positionsmesssystems 400 unter Nutzung der beschriebenen optischen Messeinheit 410 mit dem diesem zugeordneten Referenzkoordinatensystem R410. Die optische Messeinheit kann je, wie oben erläutert, nach Bedarf mit einer unterschiedlichen Kameratechnik zur Generierung eines Oberflächenmodells 310 realisiert werden. Die aus den Kamerabilddaten ermittelte 3D-Position eines Bildpunktes wird mit Hilfe von durch Messung, Registrierung und Kalibrierung übermittelter Transformationen TKL, TLL1 (Transformation zwischen den Referenzkoordinatensystemen des Kamera- Lokalisators und des Positionsmesssystems), TLL2 (Transformation zwischen den Referenzkoordinatensystemen des Objekt-Lokalisators und des Positionsmesssystems) und TLL3 (Transformation zwischen den Referenzkoordinatensystemen der 3D-Bilddaten und des Objekt-Lokalisators) transformiert und kann dann zur Visualisierung verwendet werden. G bezeichnet dabei das in den Kamerabilddaten dargestellte Objekt einer Gewebestruktur. Die Lokalisatoren 420, 421 , 430 weisen als Kugeln ausgebildete optische Tracker 420T, 421T, 430T auf, die sich zusammen mit dem zugeordneten Objekt (Endo- skop 1 10, Kamera 212, Gewebestruktur G) vom Positionsmesssystem 400 erfassen lassen.
In Fig. 3 und Fig. 4 sind die Volumendarstellungen 320 mit diesem zugeordneten Referenzkoordinatensystem R320 dargestellt, das sich durch die angezeigte Transformation TLL3 aus den Referenzkoordinatensystem R430 der Gewebestruktur G ergibt. Damit lässt sich schließlich das Referenzkoordinatensystem R212 der Bilddaten 300 mit dem Referenzkoordinatensystem der Volumendarstellung 320 in Korrespondenz bringen. Die Volumendarstellung lässt sich als Ansammlung von Volumenkoordinaten der Volumendarstellungsdaten, z. B. für ein CT, DVT oder MRT-Bild realisieren; insofern ist die als Würfel dargestellte Volumendarstellung 320 eine beispielhafte Darstellung von SD- Bilddaten des Patienten.
Fig. 5 stellt die von dem beispielhaft erläuterten Konzept genutzten Objekte sowie das Funktionsprinzip in Verbindung mit einem optischen Positionsmesssystem dar. Die Hauptkomponente des vorliegenden Konzepts ist, wie erläutert, die Operationskamera 21 1 , 212 mit ihrem zugeordneten Referenzkoordinatensystem R420 bzw. R421 , R212 (über Transformation TKL). Die Lage der Operationskamera kann -wie anhand von Fig. 2 erläutert- beispielsweise rein rechentechnisch über ein SLAM-Verfahren erfolgen oder -wie anhand von Fig. 3 und Fig. 4 erläutert- mit Hilfe eines Lokalisators 420, 421 im Rahmen des Positionsmesssystems 400 erfasst werden. Die Position des Kameraur- sprungs (beispielsweise Hauptlinse) und die Ausrichtung bzw. Blickrichtung der Kamera repräsentiert dabei das Kamerakoordinatensystem R212; dieses ergibt sich relativ zum Referenzkoordinatensystem R421 , R420 des Kamera-Lokalisators durch Kalibrierung, Messung oder aus der Konstruktion der Anordnung (Abmessung der Kamera, Abbildungsgeometrien und Abmessungen der Kamera, Abmessung des Endoskops 1 10). Die Operationskamera 21 1 , 212 wird vom Operateur oder einem sonstigen Anwender auf eine Gewebestruktur G ausgerichtet, deren Lage ebenfalls mit Hilfe des daran festverbundenen Lokalisators 430 ermittelbar ist. Die Kamerabilddaten, d. h. Bilddaten 300, welche die Gewebestruktur G abbilden, werden ausgewertet und genutzt, um das in Fig. 1 gezeigte Oberflächenmodell 310 des Operationsgebiets OU darzustellen. Mit Hilfe des Oberflächenmodells 310 kann dann die 3D-Position als eine Oberflächenkoordinate der Oberflächenmodelldarstellungsdaten für einen gewissen Bildpunkt im Referenzkoordinatensystem der Kamera R212 bzw. R421 , R420 bestimmt werden. Dazu kann beispielsweise basierend auf den Ergebnissen der Kamerakalibrierung ein in Fig. 5 dargestellter Sichtstrahl 330 für einen gewünschten Bildpunkt 301 der Bilddaten 300 des Kamerabildes berechnet werden. Die gesuchte 3D-Position als Oberflächenkoordinate der Oberflä- chenmodelldarstellungsdaten kann so als Schnittpunkt des Sichtstrahls 330 mit dem Oberflächenmodell 310 als Punkt 31 1 ermittelt werden. Die Bilddaten 300 stellen insofern das Kamerabild positioniert in der Brennebene der Operationskamera 21 1 , 212 dar.
Die in Fig. 3 bis Fig. 5 beschriebenen Ausführungsformen haben gegenüber der in Fig. 2 dargestellten Ausführungsform erhebliche Genauigkeitsvorteile und lassen sich auch bei kurzzeitigem Ausfall des Positionsmesssystems 400 weiterbetreiben. Ein Ausfall des Positionsmesssystems 400 kann beispielsweise auftreten, wenn eine Unterbrechung der Sichtverbindung der optischen Messeinheit 410 zu den Lokalisatoren 420, 430, 421 besteht. Dann jedoch kann das vorher erstellte Oberflächenmodell 310 genutzt werden, um die Kameraposition— d. h. umfassend Pose KP aus Brennpunktkoordinaten KP1 und Ausrichtung KP2 des Sichtstrahls 330- relativ zum Patienten bzw. der Gewebestruktur G zu ermitteln. Dazu kann basierend auf einem Kamerabild, d. h. den Bilddaten 300 oder einer Bildsequenz derselben die aktuelle Topologie der Operationsumgebung OU relativ zur Operationskamera 21 1 , 212 ermittelt werden. Diese Daten, z. B. Oberflächenkoordinaten einer Punktwolke des Oberflächenmodells 310, können dann zum bestehenden Oberflächenmodell 310 registriert werden. Aufgrund der bekannten Transformation von Patienten-Lokalisator 430 zu dem 3D-Bilddaten 320 sowie zum bestehenden Oberflä- chenmodell 310 können die 3D-Positionen von beliebigen Bildpunkten OS1 , OS2 als auch der Kamera 21 1 , 212 selbst in den Volumenbilddaten 320 berechnet werden und somit eine fortwährende Navigationsunterstützung für den Operateur oder sonstiger Anwender sicherstellen.
Ziel dieser Verfahren ist es, automatisch eine oder mehrere Bildpositionen von Interesse zu identifizieren, die dann für eine anschließende manuelle oder auch automatische finale Auswahl der Bildposition genutzt werden. Im Folgenden wird in Bezug auf Fig. 5 eine beispielhafte Auswahl von Schritten erläutert, welche eine Auswahl, insbesondere Vorauswahl und Endauswahl, der navigierten Bildpositionen ermöglicht. Die vorgestellte Methode erlaubt es, für verschiedene 2D-Positionen im Kamerabild die Berechnung und Visualisierung der 3D-Position im Patienten durchzuführen. Bei dieser Anwendung ist es notwendig, einen Punkt auszuwählen, für den die Navigationsinformationen berechnet und dargestellt werden. Hierzu eignen sich die folgenden automatischen und manuellen Methoden; als Grundlage zur automatischen Vorauswahl von Bildpositionen können folgende Kriterien berücksichtigt werden:
- Entfernung der Kamera zu den im Bild dargestellten Strukturen - 3D-Topographie der dargestellten Strukturen basierend auf dem erstellten Oberflächenmodell (Form oder Tiefengradienten)
- Farbe oder Farbänderung der dargestellten Strukturen im Videobild. Alternativ kann auch eine Menge von Bildpositionen als Vorauswahl verwendet werden, die vom System unabhängig vom Bildinhalt oder dem Oberflächenmodell vorgegeben wird. Hierbei ist z. B. eine geometrische Verteilung der Bildpunkte in einem rechteckigen oder kreisförmigen Raster denkbar.
Für die automatische finale Auswahl der Bildposition zur Berechnung der 3D-Position in den Volumenbilddaten können folgende Bewertungsverfahren verwendet werden: - Bewertung der Bildpositionen anhand der bei der automatischen Vorauswahl genannten Kriterien
- Bewertung anhand statistischer Auswertung vorheriger ausgewählter Bildpositionen. Hier sind für die Nutzung u. a. folgende mathematischer Methoden denkbar:
- Kaiman Filter oder Fuzzy-Methoden
- Neuronale Netze.
Die manuellen Methoden sind durch die Einbeziehung des Anwenders charakterisiert. Für die manuelle Auswahl einer Bildposition ggf. unter Nutzung einer vorherigen automatischen Vorauswahl von Bildpositionen eignen sich folgende Verfahren:
- Mausinteraktion am Bildschirm des Navigationsgeräts: Der Chirurg oder ein Assistent klickt an die gewünschte Position im angezeigten Videobild. Für diese ausgewählte
Bildposition wird nachfolgend die korrespondierende 3D-Position ermittelt und angezeigt.
- Gestensteuerung: Mit Hilfe passender Sensorik (z. B. PMD-Kamera oder Microsoft Kinect) kann die Bewegung des Anwenders erfasst und ausgewertet werden. So kann damit bspw. die Handbewegung verfolgt und als Geste interpretiert werden, die die Auswahl des gewünschten 2D-Bildpunkt.es erlaubt. So kann z. B. eine Handbewegung nach links die zu steuernde Bildposition ebenfalls nach links verschieben. Alternativ könnte bei einer vorherigen automatischen Vorauswahl von Bildpositionen mit der Gestensteuerung die finale Auswahl der vorgegebenen Bildposition gesteuert werden.
- Fußpedal-Steuerung: Mit Hilfe eines Fußpedals kann der Anwender zwischen Bildposi- tionen einer vorherigen automatischen Vorauswahl die finale Auswahl der vorgegebenen
Bild-Position gesteuert werden. Tritt der Chirurg auf ein Fußpedal, so wechselt die Aus- wähl der selektierten Bildposition, die zur Berechnung und Visualisierung einer SD- Position am Patienten genutzt wird.
- Sprachsteuerung: Ähnlich wie bei der Gestensteuerung kann durch Sprachkommandos die ausgewählte Bildposition direkt verschoben werden. So könnte z. B. das Sprach- kommando„links" ein Verschieben der 2D-Bildposition nach links um einen vorgegebenen Offset bewirken.
- Touchscreen: Wird das Kamerabild auf einem Touchscreen oder Multitouch-Bildschirm angezeigt, so kann der Bediener direkt auf den Bildschirm die 2D-Bildposition durch Antasten an dieser Stelle auswählen.
- Mechanische Eingabegeräte: Sind mechanische Eingabegeräte an das Navigationssystem angeschlossen (z. B. Tastatur, Schaltknöpfe), kann der Anwender über diese Eingabegeräte die 2D-Bildposition steuern. Hier kann entweder eine Verschiebung der aktuellen Bildposition oder eine Änderung der Auswahl in einer Menge an vorausgewählten Bildpositionen ausgelöst werden. Die Neuheit dieses Konzepts liegt also grundsätzlich in der Möglichkeit, für beliebige 2D- Positionen in Bilddaten einer intraoperativ verwendeten und getrackten Kamera die korrespondierende 3D-Position in den Volumenbilddaten zu berechnen. Neu sind weiterhin die beschriebenen Verfahren zur Auswahl bzw. Festlegung der 2D-Position im Kamerabild, für die die 3D-lnformationen berechnet und angezeigt werden sollen. Ein Navigati- onssystem visualisiert für beliebige Bildpositionen der Kamerabilddaten Lageinformationen in 3D-Bilddaten des Patienten. Als technische Anwendungsgebiete zählen insbesondere die Medizintechnik, aber auch alle anderen Anwendungen in den ein instrumenten- ähnliches System nach dem beschriebenen Prinzip verwendet wird.
Im Einzelnen zeigt Fig. 6 eine Operationsvorrichtung 1000 mit einem Vorrichtungskopf 100, wie er anhand Fig. 1 bereits dargestellt wurde, und eine beispielhafte Bilddarstellung eines Monitormoduls in den Versionen (A), (B), (C) sowie im Einzelnen eine Darstellung entweder von Bilddaten 300, Oberflächenmodell 310 oder Volumendarstellung 320 oder einer Kombination daraus.
Für die Version (A) ist das Oberflächenmodell 310 mit der Volumendarstellung 320 über ein Rechenmittel 240 kombiniert. Im vorliegenden Fall kommt die referenzierte Darstellung von Oberflächenmodell 310 mit der Volumendarstellung 320 als auch Pose der Operationskamera 21 1 zustande, weil das Auswahl- und/oder Monitormittel Bilddaten 300 mit einer automatischen Auswahl von Oberflächenstellen OS1 , OS2 zur Verfügung stellt, welche über einen Mauszeiger 501 des Monitormoduls 500 ausgewählt werden können. Dazu wird in dem Auswahlmenü 520 des Monitormoduls 500 die Option eines Mauszeigers 501 ' gewählt. Eine Vorgabe der Oberflächenstellen OS1 , OS2 kann nach der Maßgabe des Monitormoduls über ein Entfernungsmaß oder eine Topographie oder eine Farbdarstellung in den Bilddaten erfolgen.
In der Version (B) lässt sich über das Auswahlmenü 510 eine Geometrievorgabe 521 anlegen, hier eine Kreisvorgabe, sodass nur die Oberflächenstelle OS1 angezeigt wird, insofern die Endauswahl festlegt. In einer dritten Abwandlung kann in einem Auswahlmenü 530 eine Rasterauswahl 531 angewählt werden, beispielsweise zur Anzeige aller Strukturen im zweiten Quadranten x - dies führt nur zur Anzeige der zweiten Oberflächenstelle OS2.
Fig. 7 zeigt eine bevorzugte Abfolge von Schritten zur Durchführung eines Verfahrens zur medizinischen Navigation beliebiger Bildpunkte in medizinischen Kamerabilddaten 300. Es ist zu verstehen, dass jede der im Folgenden erläuterten Verfahrensschritte auch als Handlungseinheit im Rahmen eines Computerprogrammprodukts realisierbar ist, das ausgebildet ist zur Durchführung des erläuterten Verfahrensschrittes. Jedes der aus Fig. 7 erkenntlichen Handlungseinheiten lässt sich im Rahmen einer zuvor erläuterten Bilddatenverarbeitungseinheit, Bildspeichereinheit und/oder Navigationseinheit realisieren. Insbesondere eignen sich die Handlungseinheiten zur Implementierung bei einem Regist- rierungsmittel, einem virtuellen Zeigermittel und einem entsprechend ausgebildeten Rechenmittel; d. h. Registrierungsmitteln, die ausgebildet sind, die Operationskamera relativ zum Oberflächenmodell zu lokalisieren; virtuelle Zeigermittel, die ausgebildet sind, eine Anzahl von Oberflächenstellen im Oberflächenmodell automatisch zur Verfügung zu stellen; Rechenmittel, die ausgebildet sind, wenigstens einer der zur Verfügung gestellten Oberflächenstellen eine Volumenstelle der Volumendarstellung automatisch zuzuordnen.
Ausgehend von einem Knotenpunkt K1 wird in einem ersten Schritt VS1 des Verfahrens eine präoperativ erstellte Volumendarstellung 320 mit Volumendarstellungsdaten zur Verfügung gestellt, hier beispielsweise in einer Speichereinheit 232 einer Bildspeichereinheit 230. In einem vom Knotenpunkt K2 ausgehenden zweiten Verfahrensschritt VS2 werden Bilddaten 300 als Kamerabilddaten einer Operationskamera 21 1 , 212 zur Verfügung gestellt, aus denen über das in Fig. 1 dargestellte Bilddatenverarbeitungseinheit 220 ein Oberflächenmodell 310 erstellbar und in einer Speichereinheit 231 der Bilddatenspeichereinheit 230 in einem Verfahrensschritt VS3 ablegbar ist. In einem vom Knotenpunkt K3 ausgehenden vierten Verfahrensschritt VS4 erfolgt eine Kameraregistrierung mittels Registrierungsmittel, insbesondere im Rahmen eines Positionsmesssystems 400 und/oder einer visuellen Navigation, beispielsweise unter Verwendung eines SLAM- Verfahrens. Dazu werden insbesondere die Pose KP der Operationskamera 21 1 , 212— nämlich in einem Verfahrensschritt VS4.1 die Brennpunktkoordinate KP1 und in einem Verfahrensschritte VS4.2 die Ausrichtung KP2- festgehalten. In einem fünften Verfahrensschritt VS5 kann ein virtuelles Zeigermittel, wie beispielsweise ein Sichtstrahl 330 als virtuelles Zeigermittel zur Verfügung gestellt werden. Allgemein kann mit dem virtuellen Zeigermittel eine Anzahl von Oberflächenstellen im Oberflächenmodell automatisch zur Verfügung gestellt werden. Dazu ist eine Nutzung der bekannten Abbildungseigenschaf- ten der Kamera und der Form und relativen Position der Oberflächenmodells zur Bestimmung einer Auswahl von Oberflächenstellen vorgesehen. Im konkreten Fall kann die Oberflächenstelle 31 1 als Schnittpunkt eines von der Operationskamera 21 1 , 212 ausgehenden virtuellen Sichtstrahls 330 mit dem Oberflächenmodell 310 festlegbar sein, insbesondere eine Oberflächenkoordinate, welche einen den Schnittpunkt zugeordneten Bildpunkt 301 der Operationskamera 21 1 , 212 angibt. In einem sechsten Verfahrensschritt VS6 kann -unter Nutzung geeigneter Transformationen; zuvor TKL, TLL1 , TLL2, TLL3- über ein Rechenmodul 240 eine Referenzierung der Volumendarstellung 320 und des Oberflächenmodells 310 erfolgen. Alternativ oder in Kombination kann in einem siebten Verfahrensschritt VS7.1 , VS7.2 eine Vor- und/oder Endauswahl von sämtlichen in Frage kommenden Objekten- insbesondere Oberflächenstellen und/oder Volumenstellen US, VP mittels einem Auswahl- und/oder Monitormittel zur Verfügung gestellt werden. In einem achten Verfahrensschritt VS8 kann eine Darstellung der ausgewählten Stellen unter Referenzierung der Kamera 21 1 sowie der Volumen- und Oberflächendarstellung 320, 310 auf ein Ausgabemodul erfolgen, wie es beispielsweise anhand von Fig. 6 erläu- tert wurde. Am Knotenpunkt K3 kann eine Schleife, beispielsweise zu dem zuvor erläuterten Knotenpunkten K1 und/oder K2 erfolgen, um das Verfahren vollständig von vorn ablaufen zulassen. Es kann auch eine Schleife zu nur einem der Knotenpunkte K1 , K2 gebildet sein. Auch kann nur ein Teil des Verfahrens wiederholbar sein, z. B. wenn sich eine Kameraposition ändert, sodass beispielsweise eine Schleife zum Knotenpunkt K3 und dem Verfahrensschritt VS4 umsetzbar ist. Auch kann lediglich die Auswahlabfolge wiederholbar sein, sodass eine Schleife zum Verfahrensschritt VS7 durchführbar ist. Bezuqszeichenliste
100 Vorrichtungskopf
1 10 Endoskop
200 bildgebendes System 210 Bilddatenerfassungseinheit
21 1 , 212 Operationskamera
220 Bilddatenverarbeitungseinheit
230 Bildspeichereinheit
231 , 232 Speicherbereich
240 Rechenmittel
250 Zeigermittel
260 Registrierungsmittel
300 Bilddaten
301 Bildpunkt
310 Oberflächenmodell
31 1 Schnittpunkt
320 Volumendarstellung
330 Sichtstrahl
400 Positionsmesssystem
410 Positionsmesseinheit
420, 421 , 430 Lokalisator
422 determinierte Verbindung
420T, 421T, 430T Tracker
500 Auswahl- und Monitormittel
501 , 501 ' Mauszeiger 510, 520, 530 Auswahlmenü 521 Geometrievorgabe 531 Rastervorgabe 1000 Operationsvorrichtung 1001 System mit einer Operationsvorrichtung 1002 angewandeltes System mit einer Operationsvorrichtung
G Gewebestruktur KP Kameraposition, Pose KP1 Position, Brennpunktkoordinaten KP2 Ausrichtung 02 Gewebeposition
OS, OS1 , OS2 Oberflächenstelle OU Operationsumgebung OU1 rundliches Objekt OU2 längliches Objekt
R212, R320, R410, R420, R421 , R430 Referenzkoordinatensystem
TKL Transformation
TLL1 Transformation zwischen den Referenzkoordinatensystemen des Kamera-Lokalisators und des Positionsmesssystems
TLL2 Transformation zwischen den Referenzkoordinatensystemen des Objekt-Lokalisators und des Positionsmesssystems TLL3 Transformation zwischen den Referenzkoordinatensystemen der 3D-Bilddaten und des Objekt-Lokalisators) U Umgebung
VP, VP1 , VP2 Volumenstellen

Claims

Ansprüche
1. Bildgebendes System (200), insbesondere für eine Operationsvorrichtung (1000) mit einem mobil handhabbaren Vorrichtungskopf (100), aufweisend:
- eine Bilddatenerfassungseinheit (210) mit einer Bildaufnahmeeinheit, insbesondere einer Operationskamera (21 1 , 212), die ausgebildet ist, Bilddaten (300) einer Operationsumgebung (OU) zu erfassen,
- eine Bilddatenverarbeitungseinheit (220), die ausgebildet ist, die Bilddaten bereitzustellen,
- eine Bildspeichereinheit (230), die ausgebildet ist, die Bilddaten (300) der Operationsumgebung und Volumendaten einer der Operationsumgebung zugeordneten Volumendarstellung (320) vorzuhalten, weiter gekennzeichnet durch
- Registrierungsmittel (260), die ausgebildet sind, die Bildaufnahmeeinheit, insbesondere Operationskamera (21 1 , 212), relativ zur Operationsumgebung zu lokalisieren,
- virtuelle Zeigermittel (250), die ausgebildet sind, eine Anzahl von Bildpunkten der Bilddaten (300) automatisch zur Verfügung zu stellen, und
- Zuordnungsmittel, insbesondere mit Rechenmittel (240), die ausgebildet sind, wenigstens einer der zur Verfügung gestellten Bildpunkte eine Volumenstelle (VP) der Volumendarstellung (320) automatisch zuzuordnen.
2. System nach Anspruch 1 dadurch gekennzeichnet, dass die Bildaufnahmeeinheit ausgebildet ist, Bilddaten (300) der Operationsumgebung (OU) kontinuierlich zu erfassen und/oder die Bilddaten (300) der Operationsumgebung an einem Vorrichtungskopf aufnehmbar sind.
3. System nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass die Bildaufnahmeeinheit als eine Operationskamera (21 1 , 212), insbesondere eine optische Operationskamera (21 1 , 212), gebildet ist.
4. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildpunkte als Oberflächenstellen (OS) aus den Bilddaten (300) gebildet sind und - die Bilddatenverarbeitungseinheit (220) ausgebildet ist, mittels der Bilddaten ein Oberflächenmodell (310) der Operationsumgebung zu erstellen, und/oder
- eine Bildspeichereinheit (230) ausgebildet ist, die Oberflächenmodell-Darstellungsdaten vorzuhalten, und/oder
- die Registrierungsmittel (260) ausgebildet sind, die Operationskamera (21 1 , 212) relativ zum Oberflächenmodell (310) der Operationsumgebung zu lokalisieren, und/oder
- die virtuellen Zeigermittel (250) ausgebildet sind, eine Anzahl von Oberflächenstellen (OS) im Oberflächenmodell zur Verfügung zu stellen.
5. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddaten Oberflächen-Darstellungsdaten, insbesondere eines Oberflächen- Modells, vorzugsweise zur Bestimmung von Oberflächenstellen, und/oder die Volumendaten Volumendarstellungs-Daten umfassen.
6. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuellen Zeigermittel (250) ausgebildet sind, eine Anzahl von Bildpunkten der Bilddaten (300), insbesondere Oberflächenstellen (OS), insbesondere des Oberflächenmodells, automatisch zur Verfügung zu stellen indem diese identifiziert und/oder angezeigt werden.
7. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Registrierungsmittel ein Positionsmesssystem (400), insbesondere ein optisches oder elektro-mag netisches Lokalisator-Erfassungssystem umfasst, das aufweist:
- einen physischen Patienten-Lokalisator (430), einen physischen Kamera-Lokalisator (421 ), insbesondere einen physischen Instrumenten-Lokalisator (420).
8. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass das Registrierungsmittel (260) eine Anzahl von Registriermodulen umfasst, insbesondere als Teil der Bilddatenerfassungseinheit (210), der Bilddatenverarbeitungseinheit (220) und/oder einer Navigationseinheit, wobei:
- ein erstes Registriermodul, insbesondere die Bilddatenerfassungseinheit (210), ausgebildet ist, Bilddaten (300) einer Umgebung (U) des Vorrichtungskopfes, insbesondere kontinuierlich zu erfassen und bereitzustellen, und
- ein zweites Registriermodul, insbesondere die Bilddatenverarbeitungseinheit (220), ausgebildet ist, mittels der Bilddaten (300) eine Karte der Umgebung (U) zu erstellen, und - ein drittes Registriermodul, insbesondere eine Navigationseinheit, ausgebildet ist, mittels der Bilddaten (300) und einem Bildfluss wenigstens eine Position des Vorrichtungskopfes (100) in einer Nahumgebung (NU) der Operationsumgebung anhand der Karte anzugeben, derart, dass der mobile Vorrichtungskopf (100) anhand der Karte führbar ist.
9. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass ein mit Positionsbezug zum Vorrichtungskopf (100), diesem zugeordnetes Führungsmittel ausgebildet ist, Angaben zur Position des Vorrichtungskopfes (100) in Bezug auf die Umgebung (U) in der Karte zu machen, wobei die Umgebung (U) über die Nah- Umgebung (NU) hinausgeht.
10. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Oberflächenstelle (OS) im Oberflächenmodell (310) eine Oberflächen- Koordinate in Oberflächenmodell-Darstellungsdaten zugeordnet ist und der Volumenstelle (VP) der Volumendarstellung (320) eine Volumen-Koordinate in Volumendarstellungs- Daten zugeordnet ist.
1 1. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Oberflächenstelle (OS) als Schnittpunkt (311 ) eines von der Operationskamera (21 1 , 212) ausgehenden Zuordnungsmittels mit den Bilddaten (300) festlegbar ist, insbesondere als Schnittpunkt (31 1 ) eines von der Operationskamera (21 1 , 212) ausgehenden virtuellen Sichtstrahls (330) mit dem Oberflächenmodell (310) festlegbar ist, insbesondere eine Oberflächen-Koordinate einen dem Schnittpunkt zugeordneten Bildpunkt (301 ) der Bilddaten (300) der Operationskamera (21 1 , 212) angibt.
12. System nach einem der vorhergehenden Ansprüche weiter gekennzeichnet durch ein Auswahl- und/oder Monitormittel (500), das ausgebildet ist eine frei auswählbare und automatisch zur Verfügung gestellte und festgelegte Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS), in einer Auswahl zu gruppieren und die Auswahl in einer Auswahldarstellung zu visualisieren.
13. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass
- die Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS) im Oberflächenmodell (310), frei auswählbar, insbesondere frei von einer physischen Anzeige, zur Verfügung stellbar sind und/oder
- die Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS) im Oberflächenmodell (310), automatisch festlegbar sind, und/oder - die Auswahl wenigstens teilweise eine automatische Vorauswahl und/oder eine automatische Endauswahl umfasst.
14. System nach Anspruch 12 oder 13 dadurch gekennzeichnet, dass ein Auswahl- und/oder Monitormittel (500) ausgebildet ist, die automatische Auswahl, insbesondere in einer Vorauswahl und/oder Endauswahl, auf Basis der Bilddaten (300) und/oder dem Oberflächenmodell (310) zu gruppieren, insbesondere auf Basis von ersten Gruppier- Parametern umfassend: ein Entfernungsmaß, eine 2-D- oder 3D-Topographie, eine Farbe.
15. System nach einem der Ansprüche 12 bis 14 dadurch gekennzeichnet, dass ein Auswahl- und/oder Monitormittel (500) ausgebildet ist, eine automatische Auswahl unabhängig von den Bilddaten (300) und/oder dem Oberflächenmodell (310) zu gruppieren, insbesondere auf Basis von zweiten Gruppier-Parametern umfassend: eine Geometrie- Vorgabe, eine Raster-Vorgabe.
16. System nach einem der Ansprüche 12 bis 15 dadurch gekennzeichnet, dass ein Auswahl- und/oder Monitormittel (500) ausgebildet ist, eine automatische Auswahl, insbesondere Endauswahl, mittels Bewertungsverfahren zu gruppieren, insbesondere umfassend: Bewertungsverfahren mit einer statistischen Auswertung und/oder Filterung der vorausgewählten Oberflächenstellen (OS), insbesondere mittels einem Kalmann- Filter, einer Fuzzy-Logik und/oder einem neuronalen Netzwerk.
17. System nach einem der Ansprüche 12 bis 16 dadurch gekennzeichnet, dass das Auswahl- und/oder Monitormittel (500) ein MAN-Machine-Interface (MMI) aufweist, das zur manuellen Auswahl-Unterstützung aktuierbar ist, insbesondere durch eines oder mehrere der Eingabemerkmale ausgewählt aus der Gruppe umfassend: Tastaturmittel für Hand oder Fuß wie Maus, Taste, Pointer oder dergleichen, ein Gestensensor, ein Sprachsensor, ein berührungsempfindlicher Sensor wie ein Eingabepad, ein Touch- screen, ein mechanisches Eingabemittel.
18. Operationsvorrichtung (1000) mit einem bildgebenden System (200) nach einem der vorhergehenden Ansprüche, insbesondere aufweisend einen mobil handhabbaren Vorrichtungskopf (100).
19. Verfahren (Fig. 7) zur Bildgebung, insbesondere für eine Operationsvorrichtung (1000) nach Anspruch 18, aufweisend die Schritte:
- Erfassen und Bereitstellen von Bilddaten (300) einer Operationsumgebung (OU), insbesondere Erstellen eines Oberflächenmodells (310) der Operationsumgebung (OU) mittels der Bilddaten (300),
- Vorhalten der Bilddaten (300) der Operationsumgebung (OU) und Volumendaten einer der Operationsumgebung zugeordneten Volumendarstellung (320),
weiter gekennzeichnet durch die Schritte:
- Lokalisieren einer Bildaufnahmeeinheit, insbesondere der Operationskamera (21 1 , 212) relativ zur Operationsumgebung,
- virtuelles automatisches Anzeigen einer Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS), der Bilddaten (300),
- automatisches Zuordnen wenigstens einer der zur Verfügung gestellten Bildpunkte, insbesondere Oberflächenstellen, zu einer Volumenstelle der Volumendarstellung.
20. Verfahren nach Anspruch 19 dadurch gekennzeichnet, dass die Oberflächenstelle (OS) als Schnittpunkt (31 1 ) eines von der Operationskamera (21 1 , 212) ausgehenden virtuellen Sichtstrahls (330) mit dem Oberflächenmodell (310) festgelegt wird, insbesondere eine Oberflächen-Koordinate einen dem Schnittpunkt (31 1 ) zugeordneten Bildpunkt (301 ) der Bilddaten (300) der Operationskamera (21 1 , 212) angibt.
21. Verfahren nach Anspruch 19 oder 20 weiter gekennzeichnet durch Gruppieren einer frei auswählbaren und automatisch zur Verfügung gestellten und festgelegten Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS), in einer Auswahl und Visualisieren der Auswahl in einer Auswahldarstellung.
22. Verfahren nach einem der Ansprüche 19 bis 21 dadurch gekennzeichnet, dass die Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS) im Oberflächenmodell (310), frei ausgewählt werden, insbesondere frei von einer physischen Anzeige, zur Verfügung gestellt werden.
23. Verfahren nach einem der Ansprüche 19 bis 22 dadurch gekennzeichnet, dass die Anzahl von Bildpunkten, insbesondere Oberflächenstellen (OS) im Oberflächenmodell (310), automatisch festgelegt wird.
EP13786464.1A 2012-11-05 2013-11-04 Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung Withdrawn EP2914194A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012220115.7A DE102012220115A1 (de) 2012-11-05 2012-11-05 Bildgebendes System, Operationsvorrichtung mit dem bildgebenden System und Verfahren zur Bildgebung
PCT/EP2013/072926 WO2014068106A1 (de) 2012-11-05 2013-11-04 Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung

Publications (1)

Publication Number Publication Date
EP2914194A1 true EP2914194A1 (de) 2015-09-09

Family

ID=49546397

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13786464.1A Withdrawn EP2914194A1 (de) 2012-11-05 2013-11-04 Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung

Country Status (4)

Country Link
US (1) US20150287236A1 (de)
EP (1) EP2914194A1 (de)
DE (1) DE102012220115A1 (de)
WO (1) WO2014068106A1 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638477B1 (ko) * 2014-09-19 2016-07-11 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 좌표계 정합 방법
KR101650821B1 (ko) * 2014-12-19 2016-08-24 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법
US11026750B2 (en) * 2015-01-23 2021-06-08 Queen's University At Kingston Real-time surgical navigation
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP6392192B2 (ja) * 2015-09-29 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
FI20155784A7 (fi) * 2015-11-02 2017-05-03 Cryotech Nordic Oue Automatisoitu järjestelmä laser-avusteiseen dermatologiseen hoitoon ja ohjausmenetelmä
US9788770B1 (en) * 2016-04-14 2017-10-17 Verily Life Sciences Llc Continuous monitoring of tumor hypoxia using near-infrared spectroscopy and tomography with a photonic mixer device
DE102016117263B4 (de) * 2016-09-14 2024-05-29 Carl Zeiss Meditec Ag Optisches Beobachtungsgerätsystem
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
EP3621542B1 (de) 2017-05-09 2023-03-15 Brainlab AG Erzeugung eines bildes der erweiterten realität einer medizinischen vorrichtung
US10432913B2 (en) 2017-05-31 2019-10-01 Proximie, Inc. Systems and methods for determining three dimensional measurements in telemedicine application
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
EP3578126B1 (de) 2018-06-08 2023-02-22 Stryker European Operations Holdings LLC Chirurgisches navigationssystem
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
WO2020176401A1 (en) * 2019-02-25 2020-09-03 The Johns Hopkins University Interactive flying frustums visualization in augmented reality
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
KR20220129534A (ko) 2019-10-28 2022-09-23 발데마르 링크 게엠베하 운트 코.카게 3d 스캔을 구현하는 컴퓨터 지원 수술 내비게이션 시스템 및 방법
DE102019132308A1 (de) * 2019-11-28 2021-06-02 Carl Zeiss Meditec Ag Optisches Beobachtungssystem mit kontaktloser Zeigeeinheit, Betriebsverfahren und Computerprogrammprodukt
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
CN115443108A (zh) * 2019-12-23 2022-12-06 柯惠Lp公司 手术程序指导系统
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
JP7812053B2 (ja) * 2021-04-05 2026-02-09 エビデント・インスペクション・テクノロジーズ・ジャパン株式会社 データ処理方法、データ処理装置、およびプログラム
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
EP4388734A4 (de) 2021-08-18 2025-05-07 Augmedics Ltd. Stereoskopische anzeige und digitale lupe für augennahe anzeige mit erweiterter realität
WO2023203521A1 (en) 2022-04-21 2023-10-26 Augmedics Ltd. Systems and methods for medical image visualization
EP4587881A1 (de) 2022-09-13 2025-07-23 Augmedics Ltd. Brille der erweiterten realität für bildgeführte medizinische intervention
EP4732802A1 (de) * 2024-10-24 2026-04-29 Carl Zeiss Meditec AG Kontextinformation für geschätzte patienten-registrierung basierend auf örtlicher referenz
CN119174649B (zh) * 2024-11-22 2025-05-13 浙江大学 一种结合医学影像信息的电磁导航支气管镜术中地图拓展方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644907B2 (en) * 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
DE10262124A1 (de) * 2002-12-04 2005-09-01 Siemens Ag Verfahren zur Visualisierung von dreidimensionalen Datensätzen, Verfahren zum Betrieb eines bildgebenden medizinischen Untersuchugsgeräts und Verfahren zur graphischen Positionierung einer mittels eines bildgebenden medizinischen Untersuchungsgeräts zu messenden Schicht in einem dreidimensionalen Datensatz einer Vorbereitungsmessung
US7492930B2 (en) * 2003-02-04 2009-02-17 Aesculap Ag Method and apparatus for capturing information associated with a surgical procedure performed using a localization device
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
DE112006001514A5 (de) * 2005-06-09 2008-06-05 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtung und Verfahren zum berührungslosen Ermitteln und Vermessen einer Raumposition und/oder einer Raumorientierung von Körpern, Verfahren zum Kalibrieren und zum Prüfen von insbesondere medizinischen Werkzeugen sowie Muster auf oder Strukturen an insbesondere medizinischen Werkzeugen
WO2008017051A2 (en) * 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
JP5527731B2 (ja) * 2007-04-16 2014-06-25 ニューロアーム サージカル エル ティ ディー レジストレーションに有用な方法、デバイス、およびシステム
US8218847B2 (en) * 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
DE102009040430B4 (de) * 2009-09-07 2013-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Überlagerung eines intraoperativen Livebildes eines Operationsgebiets oder des Operationsgebiets mit einem präoperativen Bild des Operationsgebiets
EP2583244B1 (de) * 2010-06-16 2019-07-24 A² Surgical Verfahren zur bestimmung von zugangsarealen aus 3d-patientenbildern
KR20130108320A (ko) * 2010-09-10 2013-10-02 더 존스 홉킨스 유니버시티 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
EP2632382B2 (de) * 2010-10-28 2024-06-26 Intersect ENT International GmbH Navigationsaufsatz für optische geräte in der medizin und verfahren
EP2452649A1 (de) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualisierung anatomischer Daten mittels erweiterter Realität
DE102012220116A1 (de) * 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
US10105149B2 (en) * 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery

Also Published As

Publication number Publication date
DE102012220115A1 (de) 2014-05-22
US20150287236A1 (en) 2015-10-08
WO2014068106A1 (de) 2014-05-08

Similar Documents

Publication Publication Date Title
WO2014068106A1 (de) Bildgebendes system, operationsvorrichtung mit dem bildgebenden system und verfahren zur bildgebung
DE102007059599B4 (de) Vorrichtung für eine medizinische Intervention und Betriebsverfahren für eine Vorrichtung für eine medizinische Intervention
WO2014001536A1 (de) Mobil handhabbare vorrichtung zur bearbeitung oder beobachtung eines körpers
EP3076369B1 (de) Verfahren und vorrichtung zum darstellen eines objektes
EP3626176B1 (de) Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
EP4213755B1 (de) Chirurgisches assistenzsystem
US20190038365A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
EP2632382B1 (de) Navigationsaufsatz für optische geräte in der medizin und verfahren
WO2012107041A1 (de) Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
DE102014102425B4 (de) Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
RU2015110976A (ru) Роботизированное устройство и системное программное обеспечение, аппаратное обеспечение и способы использования для хирургического вмешательства, направляемого по изображению и с применением робота
DE19807884A1 (de) Verfahren und Vorrichtung zur intraoperativen rechnergestützten Bestimmung von räumlichen Koordinaten anatomischer Zielobjekte
DE102008032508B4 (de) Medizinische Untersuchungs- und Behandlungseinrichtung zur Planung und Durchführung einer Punktion eines Patienten sowie zugehöriges Verfahren
DE102023101117A1 (de) Verfahren zur medizintechnischen Navigation
CN121129441A (zh) 一种基于数字孪生的术中实时导航系统
US20230317252A1 (en) Conversion and transfer of real-time volumetric image data for a medical device
CN120826699A (zh) 使用机器学习模型生成高分辨率医学图像
EP1667067B1 (de) Verfahren und Vorrichtung zum Kalibrieren eines medizinischen Instrumentes
DE112022002005T5 (de) Benutzeroberfläche zur Verbindung von Modellstrukturen und zugehörige Systeme und Verfahren
DE102020205976A1 (de) Anpassen einer erweiterten und/oder künstlichen Realität
DE102021207950A1 (de) Verfahren und System zur Bestimmung einer Lage zumindest eines Objekts in einem Operationssaal
US20260120366A1 (en) Method for generating an augmented image representation by a medical visualization system, and medical visualization system
DE102024115529B3 (de) Medizinisches AR-System für einen chirurgischen Eingriff und Verfahren zur Überprüfung einer Navigationsgenauigkeit
Marzi et al. Continuous feature-based tracking of the inner ear for robot-assisted microsurgery
DE102010064320B4 (de) Optischer Zeiger für ein Chirurgieassistenzsystem

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150605

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20161021

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170503