EP2967278A1 - Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten - Google Patents

Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten

Info

Publication number
EP2967278A1
EP2967278A1 EP14718031.9A EP14718031A EP2967278A1 EP 2967278 A1 EP2967278 A1 EP 2967278A1 EP 14718031 A EP14718031 A EP 14718031A EP 2967278 A1 EP2967278 A1 EP 2967278A1
Authority
EP
European Patent Office
Prior art keywords
image data
depth map
user
stereoscopic
viewing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14718031.9A
Other languages
English (en)
French (fr)
Inventor
Anton Schick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP2967278A1 publication Critical patent/EP2967278A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a method and a device for the stereoscopic display of image data, in particular a method and a device for the stereo ⁇ scopic representation of image data in minimally invasive surgery.
  • Endoscopic treatments and examinations in the field of medicine offer a much gentler and less traumatizing treatment than open surgery on the patient. Therefore, this method of treatment is becoming increasingly important.
  • optical chirurgi ⁇ specific instruments endoscopes
  • the surgeon can thus perform an examination and treatment by means of the surgical instruments.
  • this process can be monitored by the optical instruments.
  • Simple endoscopes allow either a direct view through an eyepiece of the endoscope or a view of the area to be operated via a mounted on the endoscope camera and an external monitor. In this simple endoscopic no spatial vision is mög ⁇ Lich.
  • the endoscope has a second observation channel which allows the object to be viewed from a second direction
  • spatial vision can be enabled by guiding both directions outwards by means of two eyepieces for the right and left eyes. Since in a single endoscope, the distance between the observation channels is usually very small (typically at most 6 mm), such a stereoscopic endoscope also provides only a very limited spatial vision in the microscopic ⁇ scopic area. For a spatial view, which corresponds to a human eye distance of about 10 cm, it is therefore required to provide a further spaced access channel. Since a further opening on the body of the patient for an additional access channel, however, is associated with a further traumatization of the patient, an additional access channel should be avoided as far as possible.
  • document DE 10 2006 017 003 A1 discloses an endoscope with an optical depth data acquisition. In this case, modulated light is emitted into the treatment area and, based on the received light signal, depth data of the treatment space is calculated.
  • the present invention provides a method for stereoscopically displaying image data in minimally invasive surgery with the steps of at least partially detecting three-dimensionally a surface; the creation of a depth map of the at least partially dreidi ⁇ dimensionally detected surface; texturing the Create ⁇ th depth map; of calculating stereoscopic Sloda ⁇ th of the textured depth map; and visualizing the calculated stereoscopic image data.
  • the present OF INVENTION ⁇ dung sorvorraum manages a device for stereoscopic display of image data used in minimally invasive surgery with a transmitter which is adapted to detect a surface to be ⁇ least partially three-dimensionally; a Vorrich ⁇ tion for creating a depth map, which is designed to create a depth map of the at least partially dreidimen ⁇ sional recorded surface; a texturing approximately device which is adapted to texture the created Tie ⁇ fen certification; an image data generator configured to calculate stereoscopic image data from the textured depth map; and a visualization device configured to visualize the calculated stereoscopic image data.
  • the three-dimensional measurement of the Beobachtungsbe ⁇ realm by means of a special sensor system may thereby the inaccessible area, such as inside the body of a Patients are detected by a sensor of very small size.
  • the data thus collected can be sent easily to the outside without the need for an Endo ⁇ microscope would be required with a particularly large cross-section.
  • Another advantage is that such a sensor system can detect the area to be detected in a very good spatial resolution and a correspondingly high number of pixels, since the sensor on the endoscope only a single
  • the surgical area to be monitored can be displayed in a very good image quality.
  • a further advantage is that a stereoscopic visualization of the area to be monitored can ⁇ riert from the provided by the sensor system three-dimensional data can be generated which is optimally adapted to the interpupillary distance of a Be ⁇ user.
  • the visualization of the image data can be edited for a user so that an optimal spatial detection is possible.
  • the calculation of stereosko ⁇ european image data regardless of the three-dimensional Erfas- solution of the object surface is carried out by the sensor.
  • a user may also be provided a stereoscopic representation of the treatment area, which differs from the refreshes ⁇ economic position of the endoscope.
  • the calculated stereoscopic image data correspond to two viewing directions of two eyes of a user.
  • the depth map comprises spatial points of the at least partially three-dimensionally detected surface.
  • a depth map allows a very good Rothver ⁇ processing of the three-dimensionally detected surface.
  • the three-dimensional Erfas ⁇ solution of the surface is carried out continuously, and the Tie ⁇ fen certification is adjusted based on the continuously detected dreidimensio ⁇ nal surface. In this way, it is possible to supplement the depth map continuously and if necessary also to correct it so that successively a fully ⁇ constantly three-dimensional model of the area to be observed ⁇ is built.
  • image information can be provided via areas after some time, due to obstructions could be construed to ER ⁇ next or the like not.
  • the inventive method comprises the steps of providing additional picture-in ⁇ formations and combining the further Schminformatio- NEN with the detected three-dimensional surface.
  • the further image information is diagnostic image data, in particular data from a computed tomography, a magnetic resonance tomography, an X-ray and / or sonography.
  • diagnostic image data which were created before or during the treatment and are associated with the treatment area to be observed, provide particularly valuable information for the preparation and visualization of the treatment area.
  • this image data may be provided directly from the imaging diagnostic devices, or a storage device 21.
  • the image data for a predetermined viewing direction is calculated. This viewing direction can be different from the current position of the endoscope with the sensor for three-dimensional detection of the surface.
  • a particularly flexible visualization of the treatment area can be achieved.
  • the inventive method further comprises a step of detecting a user input, wherein the predetermined viewing direction is adapted according to the detected user input.
  • the sensor device is arranged on or in an endoscope.
  • the endoscope further includes at least one surgical instrument.
  • the device according to the invention comprises a sensor device with a time-of-flight camera and / or a device for triangulation, in particular a device for active triangulation. angulation.
  • a particularly good three-dimensional detection of the surface can be achieved.
  • the sensor device comprises a camera, preferably a color camera.
  • digital image data can also be obtained by the sensor device at the same time, which serve to visualize the treatment area.
  • the image data generator computes the image data for a given viewing direction.
  • the inventive device further comprises an input device that is designed to detect a user's input, where ⁇ calculated in the image data generator, the stereoscopic image data for a viewing direction based on the user input.
  • the input device detects a movement of the user, in particular a gesture exerted by the user.
  • this movement or gesture is detected by a camera.
  • FIG. 1 is a schematic representation of an apparatus for stereoscopically displaying image data in accordance with an embodiment of the present invention.
  • FIG. 2 shows a schematic representation of the components of a device according to the invention in accordance with a further embodiment;
  • FIG. 3 and 4 schematic representations of monitor elements for a stereoscopic visualization
  • FIG. 5 shows a schematic representation of a method for the stereoscopic display of image data on which a further embodiment of the present invention is based.
  • 1 shows a schematic representation of a minimal vasiven ⁇ in engagement with an endoscope, comprising a device for stereoscopic display according to an embodiment of the present invention.
  • an endoscope 12 is inserted into the body 2b via an access 2d.
  • the treatment space 2a can be widened, for example, by introducing a suitable gas, after the access 2d has been correspondingly sealed.
  • a sufficiently large treatment space is created in front of the treatment object 2c.
  • a sensor device 10 and, in addition, one or more surgical instruments 11 can be introduced into the treatment space.
  • the surgical instruments 11 can be controlled from the outside by a suitable device IIa in order to carry out the treatment in the interior space 2a.
  • This sensor device 10 is a sensor which can detect the surface of the treatment space 2a and in particular the surface of the treatment ⁇ the object 2c three-dimensional.
  • the sensor device ⁇ 10 may, for example, be a sensor on the principle of time-of-flight camera (ToF camera) works.
  • ToF camera time-of-flight camera
  • mo ⁇ lated light pulses are emitted from a light source and the light scattered from the surface and reflected light from a corresponding sensor, for example a camera evaluated. Based on the speed of light a three-dimensional model can be created on ⁇ back.
  • the sensor device 10 may for example also perform a triangulation in order to determine the three-dimensional position of the surface in the treatment space 2a.
  • a triangulation can take place, for example, by means of passive triangulation by means of two separate cameras.
  • passive triangulation on low-contrast surfaces (eg the liver)
  • the solution of the correspondence problem is difficult and the 3D data density is very low, preferably active triangulation occurs.
  • a known pattern is projected onto the surface in the treatment space 2a by the sensor device 10 and the surface is thereby picked up by a camera.
  • the Projizie- carried tion of the known pattern on the surface by visual ⁇ cash light.
  • the operating area can also be illuminated with light outside the visible wavelength range, for example with infrared or ultraviolet light.
  • the surface of the treatment chamber 2a can be detected three-dimensionally and evaluated.
  • Black / white image of the treatment room 2a are detected.
  • the light sources of the sensor device can 10 may also be used simultaneously to illuminate the treatment room 2a to obtain conventional image data.
  • the data acquired by the sensor device 10 on the three-dimensional position of the surface in the treatment room 2a, as well as the color or black and white image data captured by the camera are led to the outside and are thus available for further processing, in particular visualization.
  • FIG. 2 shows a schematic representation of a device for visualizing stereoscopic image data, as they have been generated, for example, from the example described in connection with FIG.
  • the sensor device 10 ER summarizes doing a surface and located within view of the sensor device 10 whose three-dimensional position single ⁇ ner surface points in space.
  • a conventional acquisition of image data by means of a black-and-white or color camera can take place simultaneously or alternately with the three-dimensional detection of the spatial points.
  • the information about the three-dimensional position of the spatial points is then fed to a device 20 for creating a depth map.
  • This device 20 for creating a depth map evaluates the information about the three-dimensional position of the surface points of the sensor device 10 and generates therefrom a depth map that includes information about the three-dimensional position of the detected by the sensor device 10 points in space. Since the sensor device 10 only has a limited field of view and, moreover, some portions can be detected, for example, on ⁇ due to elevations in the treatment chamber 2a initially due to shadowing not, at the beginning of the three-dimensional detection of the surface in the treatment space, the depth map 2a initially more or have fewer gaps. Further continuous detection of the surface in the treatment space 2a by the sensor device 10 will occur over time and especially when the sensor device 10 moves within the treatment space 2a, the created Tie ⁇ fen certification more and more complete.
  • this depth map information about points in space before that can not currently be detected by the sensor device 10, because they are, for example, outside the field of view or behind shading.
  • the continuous detection of the surface by the sensor device 10 can also be used to correct a change in the surface in the depth map. So ⁇ with the depth map always reflects the currently prevailing condition of the surface in the treatment space 2a.
  • the spatial points of the surface of the treatment space 2a present in the depth map are forwarded to a texturing device 30.
  • the texturing device 30 can combine the information from the depth map with the image data of an endoscopic black / white or color camera.
  • the texturing 30 pro- prises from the points in space of a depth map dreidimensiona ⁇ les object with a continuous surface.
  • the surface can be suitably colored or shaded as needed.
  • CT computed tomography
  • MR Mag ⁇ resonance tomography
  • x-rays ultrasound or the like.
  • gegebe ⁇ gen erzeu- appropriate during the treatment by suitable diagnostic imaging procedure, additional information which are included in the image generation process with Kgs ⁇ NEN.
  • This image data generator 40 generates from the textured dreidimensiona ⁇ len information stereoscopic image data.
  • This stereosko ⁇ European image data comprise at least two mutually slightly offset images that take into account the interpupillary distance of a human observer. Usually, the distance between the two eyes is about 80 mm. A particularly good spatial impression is given to a viewer when it is assumed that the object to be viewed is approximately 25 cm in front of his eyes. Basically, however, other parameters are possible that allow a viewer a spatial impression of the object to be viewed.
  • the image data generator 40 thus calculates at least two image data sets from a given viewing direction, the viewing directions of the two image data sets differing by the eye distance of a viewer.
  • the image data thus generated are then supplied to a visualization device 50. 50 should further information or data for a spatial representation be necessary for the visualization ⁇ approximate device, they can also be generated by the image data generator 40 and provided ⁇ .
  • a visualization device 50 here are any devices that are suitable are, the two eyes of an observer each different image information be ⁇ riding determine.
  • it may be in the visualization ⁇ s istsvoriques 50 be a 3D monitor, or a special pair of glasses that will display different image data for the two eyes of a Benut ⁇ dec.
  • FIG. 3 shows a schematic representation of a section of pixels for a first embodiment of a 3D monitor.
  • alternately dots 51 are arranged for a left eye and pixels 52 for a computationally ⁇ tes eye. Due to an arranged in front of these pixels 51 and 52, slit 53 see thereby the left and the right eye only elements intended for them picture, while the pixels for the other eye of the user through the slit 53 due to the jewei ⁇ time viewing direction obscured become.
  • FIG. 4 shows an alternative form of a 3D monitor.
  • the pixels 51 for the left eye and the image ⁇ points 52 for the right eye respectively small lenses arranged ⁇ 54, which direct the beam path for the left and right Au ⁇ ge so that also each eye only for the ent ⁇ speaking eye certain pixels looks.
  • monitors can be used for example, which emit the lin ⁇ ke and right eyes respectively light having a different polarization chen.
  • the user must wear glasses with a suitable polarizing filter.
  • monitors that output alternately the image data for the left eye and right eye a user must carry an geeigne ⁇ te shutter glasses, the synchronization with the alternately turned images shown only for the left and right
  • the image data generator 40 also possible to generate image data from a viewing angle that does not match the current position of the sensor device 10. It can thus example ⁇ as well as on the display device 50 a representation position of the treatment chamber 2a are displayed 10 and likewise the endoscope end is arrange ⁇ th surgical instruments 11 deviates more or less from the current position of the sensor device. After the Tie ⁇ fen certification has been completed sufficiently, the user can specify the desired viewing direction almost arbitrarily.
  • the user can therefore specify and change the viewing direction according to his wishes. This is beispielswei ⁇ se particularly useful if a particular site is to be found in one organ being treated, or to be supported by the identification of certain blood vessels or the like, an orientation to the corresponding organ.
  • the specification of the desired viewing direction can be effected by a suitable input device 41.
  • This input device 41 can be, for example, a keyboard, a computer mouse, a joystick, a trackball or the like.
  • the control of the viewing direction can also take place without contact.
  • the control of the Viewing direction can be performed via a voice control.
  • a control of the viewing direction by means of special, predetermined movements is possible.
  • the user can control the desired viewing direction by executing certain gestures.
  • the eye movements of the user are monitored and evaluated. Based on the detected eye movements, the viewing direction for the stereoscopic display is then adjusted. Monitoring other parts of the body of the user to control the viewing direction is also possible. Preferably such movements or gestures of the user are monitored by a camera and out ⁇ upgraded.
  • the input device 41 may be a microphone. But also other options for controlling the given viewing direction are conceivable, for example by movement of a foot or the like.
  • FIG. 5 shows a schematic representation of a method 100 for the stereoscopic display of image data on which the present invention is based.
  • a surface of a treatment ⁇ chamber 2a is first detected at least partially three-dimensionally.
  • this three-dimensional detection of the surface of the treatment space 2a can be performed by any suitable sensor 10.
  • a depth map is created in step 120 based on the three-dimensional detection of the object surface. This created depth map contains spatial points of the three-dimensional captured surface. Since the sensor device 10 only has a limited viewing angle and, in addition, subregions may not initially be detected by shading, the depth map thus created may initially be incomplete at the beginning.
  • a depth map has been created with an at least partially three-dimensionally detected surface
  • texturing is carried out with the spatial points present in the depth map in step 130.
  • This texturing can be integrated with optional further image data from a camera of the sensor device 10 and / or further diagnostic image information from imaging modalities such as computed tomography, magnetic resonance imaging, ultrasonography or Rönt ⁇ gen.
  • imaging modalities such as computed tomography, magnetic resonance imaging, ultrasonography or Rönt ⁇ gen.
  • stereoscopic image data comprise at least two representations from a predetermined viewing direction, wherein the representation differs according to the eye distance of a viewer.
  • the previously calculated stereoscopic image data is visualized on a suitable display device.
  • the viewing direction on which the calculation of the stereoscopic image data in step 140 is based can be adapted as desired.
  • the viewing direction for the calculation of the stereoscopic image data may be different from the viewing direction of the sensor device 10.
  • the method according to the invention can comprise a further step in which a user input is detected and then the
  • Viewing direction for the calculation of stereoscopic image data is adjusted according to the user input.
  • the user input for adjusting the direction of view takes place without contact.
  • the Benut ⁇ zereingabe can be done by evaluating a predetermined user gesture.
  • the present invention relates to a vor ⁇ direction and a method for stereoscopic display of image data, in particular for the three-dimensional representation of image information in a minimally invasive surgery, which is performed by means of an endoscope.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung schafft eine Vorrichtung und ein Verfahren zur stereoskopischen Darstellung von Bilddaten, insbesondere zur dreidimensionalen Darstellung von Bildinformationen bei einer minimal invasiven Chirurgie, die mittels eines Endoskops ausgeführt wird. Dabei wird zunächst der Operationsbereich eines Endoskops mittels einer Sensorvorrichtung dreidimensional erfasst. Aus den sensorisch gewonnenen 3D-Daten werden stereoskopische Bilddaten generiert und auf einer geeigneten Anzeigevorrichtung visualisiert.

Description

Beschreibung
Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur stereoskopischen Darstellung von Bilddaten, insbesondere ein Verfahren und eine Vorrichtung zur stereo¬ skopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie .
Endoskopische Behandlungen und Untersuchungen im Bereich der Medizin ermöglichen im Vergleich zu einem offenen Eingriff am Patienten eine deutlich schonendere und weniger traumatisie- rende Behandlung. Daher gewinnt diese Behandlungsmethode zu¬ nehmend große Bedeutung. Bei einem minimal invasiven Eingriff werden von einem Operateur über einen oder mehrere relativ kleine Zugänge am Körper des Patienten optische und chirurgi¬ sche Instrumente (Endoskope) in den Körper eines Patienten eingeführt. Der Operateur kann somit mittels der chirurgischen Instrumente eine Untersuchung und Behandlung durchführen. Gleichzeitig kann dieser Vorgang durch die optischen Instrumente überwacht werden. Einfache Endoskope erlauben dabei entweder einen direkten Blick durch ein Okular des Endoskops oder eine Betrachtung des zu operierenden Bereichs über eine am Endoskop angebrachte Kamera und einen externen Monitor. Bei diesem einfachen Endoskop ist kein räumliches Sehen mög¬ lich. Verfügt das Endoskop darüber hinaus über einen zweiten Beobachtungskanal, der eine Betrachtung des Objektes aus ei¬ ner zweiten Richtung ermöglicht, so kann räumliches Sehen ermöglicht werden, indem beide Richtungen mittels zweier Okulare für das rechte und linke Auge nach außen geführt werden. Da bei einem einzelnen Endoskop der Abstand zwischen den Beobachtungskanälen in der Regel sehr klein ist (typischerweise maximal 6 mm) , liefert ein solches stereoskopisches Endoskop auch nur ein sehr eingeschränktes räumliches Sehen im mikro¬ skopischen Bereich. Für eine räumliche Betrachtung, die einem menschlichen Augenabstand von etwa 10 cm entspricht, ist es daher erforderlich, einen weiteren beabstandeten Zugangskanal zu schaffen. Da eine weitere Öffnung am Körper des Patienten für einen zusätzlichen Zugangskanal jedoch mit einer weiteren Traumatisierung des Patienten verbunden ist, sollte ein zu- sätzlicher Zugangskanal möglichst vermieden werden.
Soll in der minimal invasiven Chirurgie eine räumliche Visua¬ lisierung des Behandlungsbereichs durch ein einzelnes Endo¬ skop ermöglicht werden, so müssen daher entweder innerhalb des Querschnitts des Endoskops zwei Beobachtungsstrahlengänge nach außen geführt werden, oder alternativ an der Endoskop- spitze zwei voneinander beabstandete Kameras angeordnet wer¬ den, wie dies oben ausgeführt wurde. In beiden Fällen ist aufgrund des sehr begrenzten Querschnitts des Endoskops nur eine äußerst geringe räumliche Auflösung möglich, was zu ei¬ ner stark eingeschränkten Auflösung des Darstellungsbereiches führt .
Alternativ ist es auch möglich, mittels eines digitalen Sys- tems den Behandlungsbereich im Inneren des Patienten dreidimensional zu vermessen. Die Druckschrift DE 10 2006 017 003 AI offenbart zum Beispiel ein Endoskop mit einer optischen Tiefendatenaquisition . Hierbei wird moduliertes Licht in den Behandlungsbereich ausgesendet und basierend auf dem empfan- genen Lichtsignal werden Tiefendaten des Behandlungsraumes berechnet .
Dabei bleibt auch nach der Ermittlung der verfügbaren Tiefendaten im Inneren des Behandlungsraumes dem Operateur weiter- hin der unmittelbare räumliche Blick in den Behandlungsbe¬ reich verwehrt. Der Operateur muss basierend auf einem an ei¬ nem zweidimensionalen Bildschirm dargestellten Modell seine Behandlungsschritte planen und ausführen. Es besteht somit ein Bedarf nach einer verbesserten stereoskopischen Darstellung von Bilddaten, insbesondere besteht ein Bedarf nach einer stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie. Die vorliegende Erfindung schafft gemäß einem Aspekt ein Ver¬ fahren zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie mit den Schritten des zumindest teilweisen dreidimensionalen Erfassens einer Oberfläche; des Erstellens einer Tiefenkarte der zumindest teilweise dreidi¬ mensional erfassten Oberfläche; des Texturierens der erstell¬ ten Tiefenkarte; des Berechnens von stereoskopischen Bildda¬ ten aus der texturierten Tiefenkarte; und des Visualisierens der berechneten stereoskopischen Bilddaten.
Gemäß eines weiteren Aspekts schafft die vorliegende Erfin¬ dung eine Vorrichtung zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie mit einer Sen- sorvorrichtung, die dazu ausgelegt ist, eine Oberfläche zu¬ mindest teilweise dreidimensional zu erfassen; einer Vorrich¬ tung zur Erstellung einer Tiefenkarte, die dazu ausgelegt ist, eine Tiefenkarte aus der zumindest teilweise dreidimen¬ sional erfassten Oberfläche zu erstellen; einer Texturie- rungsvorrichtung, die dazu ausgelegt ist, die erstellte Tie¬ fenkarte zu texturieren; einem Bilddatengenerator, der dazu ausgelegt ist, stereoskopische Bilddaten aus der texturierten Tiefenkarte zu berechnen; und einer Visualisierungsvorrichtung, die dazu ausgelegt ist, die berechneten stereoskopi- sehen Bilddaten zu visualisieren .
Es ist eine Idee der vorliegenden Erfindung, einen nicht unmittelbar zugänglichen Bereich durch einen Sensor zunächst dreidimensional zu erfassen und aus dieser dreidimensionalen Erfassung ein digitales Modell in Form einer Tiefenkarte zu erstellen. Aus dieser Tiefenkarte können daraufhin auf einfache Weise automatisch stereoskopische Bilddaten für einen Benutzer generiert werden, die optimal auf den Augenabstand des Benutzers angepasst sind.
Durch die dreidimensionale Vermessung des Beobachtungsbe¬ reichs mittels eines speziellen Sensorsystems kann dabei der unzugängliche Bereich, beispielsweise im Körperinneren eines Patienten durch einen Sensor mit nur sehr geringer Baugröße erfasst werden. Die so erfassten Daten können auf einfache Weise nach außen geleitet werden, ohne dass hierzu ein Endo¬ skop mit besonders großem Querschnitt erforderlich wäre.
Somit wird eine ausgezeichnete räumliche Erfassung des Be¬ handlungsbereiches erzielt, ohne dass hierzu ein Endoskop mit außergewöhnlich großem Querschnitt oder weitere Zugänge zu dem Operationsbereich im Körperinneren des Patienten erfor- derlich sind.
Ein weiterer Vorteil besteht darin, dass ein solches Sensorsystem den zu erfassenden Bereich in einer sehr guten räumlichen Auflösung und einer entsprechend hohen Anzahl von Pixeln erfassen kann, da der Sensor am Endoskop nur eine einzelne
Kamera erfordert. Somit kann bei nur geringer Traumatisierung des Patienten der zu überwachende Operationsbereich in einer sehr guten Bildqualität dargestellt werden. Ein weiterer Vorteil besteht darin, dass aus dem vom Sensorsystem bereitgestellten dreidimensionalen Daten eine stereoskopische Visualisierung des zu überwachenden Bereiches gene¬ riert werden kann, die optimal auf den Augenabstand eines Be¬ nutzers angepasst ist. Somit kann die Visualisierung der Bilddaten so für einen Benutzer aufbereitet werden, dass eine optimale räumliche Erfassung möglich ist.
Weiterhin vorteilhaft ist, dass die Berechnung der stereosko¬ pischen Bilddaten unabhängig von der dreidimensionalen Erfas- sung der Objektoberfläche durch den Sensor erfolgt. Somit kann einem Benutzer auch eine stereoskopische Darstellung des Behandlungsbereiches bereitgestellt werden, die von der aktu¬ ellen Position des Endoskops abweicht. Durch geeignete Aufbereitung der Tiefenkarte aus den dreidi¬ mensional erfassten Objektdaten kann somit einem Benutzer eine Darstellung des Behandlungsbereiches bereitgestellt wer¬ den, die den realen Gegebenheiten sehr nahe kommt. Gemäß einer Ausführungsform korrespondieren die berechneten stereoskopischen Bilddaten zu zwei Blickrichtungen zweier Augen eines Benutzers. Durch die Aufbereitung der stereoskopi- sehen Bilddaten entsprechend den Blickrichtungen der Augen des Benutzers kann eine für den Benutzer optimale stereosko¬ pische Visualisierung des Behandlungsbereiches ermöglicht werden . In einer Ausführungsform umfasst die Tiefenkarte Raumpunkte der zumindest teilweise dreidimensional erfassten Oberfläche. Eine solche Tiefenkarte ermöglicht eine sehr gute Weiterver¬ arbeitung der dreidimensional erfassten Oberfläche. Gemäß einer Ausführungsform wird die dreidimensionale Erfas¬ sung der Oberfläche kontinuierlich ausgeführt, und die Tie¬ fenkarte wird basierend auf der kontinuierlich dreidimensio¬ nal erfassten Oberfläche angepasst. Auf diese Weise ist es möglich, die Tiefenkarte kontinuierlich zu ergänzen und gege- benenfalls auch zu korrigieren, so dass sukzessive ein voll¬ ständig dreidimensionales Modell des zu beobachtenden Berei¬ ches aufgebaut wird. Somit können nach einiger Zeit auch Bildinformation über Bereiche bereitgestellt werden, die zu¬ nächst aufgrund von Abschattungen oder ähnlichem nicht er- fasst werden konnten.
In einer weiteren Ausführungsform umfasst das erfindungsgemäße Verfahren die Schritte des Bereitstellens weiterer Bildin¬ formationen und des Kombinierens der weiteren Bildinformatio- nen mit der erfassten dreidimensionalen Oberfläche. Durch diese Kombination der dreidimensional erfassten Oberfläche mit weiteren Bilddaten kann eine besonders gute und realisti¬ sche Visualisierung der stereoskopischen Bilddaten ermöglicht werden .
In einer speziellen Ausführungsform sind die weiteren Bildinformationen diagnostische Bilddaten, insbesondere Daten aus einer Computertomographie, einer Magnetresonanztomographie, einer Röntgenaufnahme und/oder einer Sonographie. Solche dia¬ gnostischen Bilddaten, die vor oder während der Behandlung erstellt wurden und im Zusammenhang mit dem zu beobachtenden Behandlungsbereich stehen, liefern besonders wertvolle Infor- mationen für die Aufbereitung und Visualisierung des Behandlungsbereiches. Beispielsweise können diese Bilddaten direkt von den bildgebenden Diagnosevorrichtungen, oder einer Speichervorrichtung 21 bereitgestellt werden. In einer weiteren Ausführungsform werden in dem Schritt zur Berechnung der stereoskopischen Bilddaten die Bilddaten für eine vorgegebene Blickrichtung berechnet. Diese Blickrichtung kann von der aktuellen Position des Endoskops mit dem Sensor zur dreidimensionalen Erfassung der Oberfläche verschieden sein. Somit kann eine besonders flexible Visualisierung des Behandlungsbereiches erreicht werden.
In einer speziellen Ausführungsform umfasst das erfindungsgemäße Verfahren ferner einen Schritt zum Erfassen einer Benut- zereingabe, wobei die vorgegebene Blickrichtung entsprechend der erfassten Benutzereingabe angepasst wird. Somit ist es dem Benutzer möglich, die Blickrichtung individuell an seine Bedürfnisse anzupassen. In einer weiteren Ausführungsform der erfindungsgemäßen Vorrichtung ist die Sensorvorrichtung an oder in einem Endoskop angeordnet .
In einer speziellen Ausführungsform umfasst das Endoskop fer- ner mindestens ein chirurgisches Instrument. Somit ist es möglich, durch einen einzigen Zugang gleichzeitig einen chirurgischen Eingriff auszuführen und dabei diesen Eingriff optisch zu überwachen. In einer Ausführungsform der vorliegenden Erfindung umfasst die erfindungsgemäße Vorrichtung eine Sensorvorrichtung mit einer Time-of-Flight-Kamera und/oder eine Vorrichtung zur Triangulation, insbesondere eine Vorrichtung zur aktiven Tri- angulation. Durch solche Sensorvorrichtungen kann eine besonders gute dreidimensionale Erfassung der Oberfläche erreicht werden . In einer weiteren Ausführungsform umfasst die Sensorvorrichtung eine Kamera, vorzugsweise eine Farbkamera. Somit können durch die Sensorvorrichtung neben der dreidimensionalen Erfassung der Oberfläche auch gleichzeitig digitale Bilddaten gewonnen werden, die zur Visualisierung des Behandlungsberei- ches dienen.
In einer weiteren Ausführungsform berechnet der Bilddatengenerator die Bilddaten für eine vorgegebene Blickrichtung. In einer speziellen Ausführungsform umfasst die erfindungsgemäße Vorrichtung ferner eine Eingabevorrichtung, die dazu ausgelegt ist, eine Eingabe eines Benutzers zu erfassen, wo¬ bei der Bilddatengenerator die stereoskopischen Bilddaten für eine Blickrichtung basierend auf der Eingabe des Benutzers berechnet.
In einer weiteren speziellen Ausführungsform erfasst die Eingabevorrichtung dabei eine Bewegung des Benutzers, insbesondere eine durch den Benutzer ausgeübte Geste. Vorzugsweise wird diese Bewegung oder Geste durch eine Kamera erfasst.
Weitere Merkmale und Vorteile von Ausführungsformen der Er¬ findung ergeben sich aus der nachfolgenden Beschreibung mit Bezug auf die beigefügten Zeichnungen.
Kurze Beschreibung der Zeichnungen Es zeigen: Figur 1: eine schematische Darstellung einer Vorrichtung zur stereoskopischen Darstellung von Bilddaten gemäß einer Ausführungsform der vorliegenden Erfindung; Figur 2: eine schematische Darstellung der Komponenten einer erfindungsgemäßen Vorrichtung gemäß einer weiteren Ausführungsform;
Figur 3 und 4: schematische Darstellungen von Monitorelementen für eine stereoskopische Visualisierung; und Figur 5: eine schematische Darstellung eines Verfahrens zur stereoskopischen Darstellung von Bilddaten, wie es einer weiteren Ausführungsform der vorliegenden Erfindung zugrunde liegt. Figur 1 zeigt eine schematische Darstellung eines minimal in¬ vasiven Eingriffs mit einem Endoskop, das eine Vorrichtung zur stereoskopischen Darstellung gemäß einer Ausführungsform der vorliegenden Erfindung umfasst. In den Körper 2 eines Patienten ist dabei über einen Zugang 2d ein Endoskop 12 in den Körper 2b eingeführt. Dabei kann der Behandlungsraum 2a beispielsweise durch Einbringen eines geeigneten Gases geweitet werden, nachdem der Zugang 2d entsprechend abgedichtet wurde. Somit entsteht vor dem behandelnden Objekt 2c ein ausreichend großer Behandlungsraum. Durch das Endoskop 12 kann in dem Be- handlungsraum 2a einerseits eine Sensorvorrichtung 10 und darüber hinaus ein oder mehrere chirurgische Instrumente 11 in den Behandlungsraum eingebracht werden. Die chirurgischen Instrumente 11 können dabei durch eine geeignete Vorrichtung IIa von außen gesteuert werden, um die Behandlung im Innen- räum 2a durchzuführen.
Die optische Überwachung dieser Behandlung erfolgt dabei durch die Sensorvorrichtung 10. Diese Sensorvorrichtung 10 ist dabei ein Sensor, der die Oberfläche des Behandlungsraums 2a und dabei insbesondere auch die Oberfläche des behandeln¬ den Objekts 2c dreidimensional erfassen kann. Bei der Sensor¬ vorrichtung 10 kann es sich beispielsweise um einen Sensor handeln, der nach dem Prinzip einer Time-of-Flight-Kamera (ToF-Kamera) arbeitet. Dabei werden von einer Lichtquelle mo¬ dulierte Lichtpulse ausgesendet und das von der Oberfläche gestreute und zurückgeworfene Licht von einem entsprechenden Sensor, beispielsweise einer Kamera ausgewertet. Basierend auf der Ausbreitungsgeschwindigkeit des Lichtes kann darauf¬ hin ein dreidimensionales Modell erstellt werden.
Alternativ kann die Sensorvorrichtung 10 beispielsweise auch eine Triangulation durchführen, um die dreidimensionale Lage der Oberfläche im Behandlungsraum 2a zu ermitteln. Grundsätzlich kann eine solche Triangulation beispielsweise mittels passiver Triangulation durch zwei separate Kameras erfolgen. Da jedoch bei passiver Triangulation bei kontrastarmen Oberflächen (z.B. die Leber) die Lösung des Korrespondenzproblems schwierig ist und die 3D-Datendichte sehr gering ist, erfolgt vorzugsweise eine aktive Triangulation. Hierbei wird von der Sensorvorrichtung 10 ein bekanntes Muster auf die Oberfläche im Behandlungsraum 2a projiziert und die Oberfläche dabei von einer Kamera aufgenommen. Vorzugsweise erfolgt die Projizie- rung des bekannten Musters auf der Oberfläche mittels sicht¬ baren Lichtes. Zusätzlich oder alternativ kann der Operationsbereich jedoch auch mit Licht außerhalb des sichtbaren Wellenlängenbereiches beleuchtet werden, beispielsweise mit infrarotem oder ultraviolettem Licht.
Durch einen Vergleich des von der Kamera aufgenommenen Musters an der Oberfläche des Behandlungsraums 2a mit dem be¬ kannten von dem Projektor ausgesendeten idealen Muster kann daraufhin die Oberfläche des Behandlungsraumes 2a dreidimen- sional erfasst und ausgewertet werden.
Dabei kann gleichzeitig oder alternierend zur dreidimensiona¬ len Erfassung der Oberfläche auch der Behandlungsraum 2a und dessen Oberfläche von der Kamera konventionell erfasst wer- den. Auf diese Weise kann ein entsprechendes Färb- oder
Schwarz/Weiß-Bild vom Behandlungsraum 2a erfasst werden. Vorzugsweise können dabei die Lichtquellen der Sensorvorrichtung 10 auch gleichzeitig zur Beleuchtung des Behandlungsraums 2a verwendet werden, um konventionelle Bilddaten zu erhalten.
Die von der Sensorvorrichtung 10 erfassten Daten über die dreidimensionale Lage der Oberfläche im Behandlungsraum 2a, sowie die von der Kamera erfassten Färb- oder Schwarz/Weiß- Bilddaten werden nach außen geführt und stehen somit für eine Weiterverarbeitung, insbesondere einer Visualisierung zur Verfügung .
Figur 2 zeigt eine schematische Darstellung einer Vorrichtung zur Visualisierung stereoskopischer Bilddaten, wie sie beispielsweise aus dem im Zusammenhang mit Figur 1 beschriebenen Beispiel generiert worden sind. Die Sensorvorrichtung 10 er- fasst dabei eine im Sichtbereich der Sensorvorrichtung 10 befindliche Oberfläche und deren dreidimensionale Lage einzel¬ ner Oberflächenpunkte im Raum. Wie zuvor beschrieben, kann dabei gleichzeitig oder alternierend zu der dreidimensionalen Erfassung der Raumpunkte auch eine konventionelle Erfassung von Bilddaten mittels Schwarz/Weiß- oder Farbkamera erfolgen. Die Information über die dreidimensionale Lage der Raumpunkte wird daraufhin einer Vorrichtung 20 zur Erstellung einer Tiefenkarte zugeführt. Diese Vorrichtung 20 zur Erstellung einer Tiefenkarte wertet die Informationen über die dreidimensiona- le Lage der Oberflächenpunkte von der Sensorvorrichtung 10 aus und erzeugt daraus eine Tiefenkarte, die Information über die dreidimensionale Lage der von der Sensorvorrichtung 10 erfassten Raumpunkte umfasst. Da die Sensorvorrichtung 10 nur einen eingeschränkten Sichtbereich besitzt und darüber hinaus auch beispielsweise auf¬ grund von Erhebungen im Behandlungsraum 2a einige Teilbereiche zunächst aufgrund von Abschattungen nicht erfasst werden können, wird zu Beginn der dreidimensionalen Erfassung der Oberfläche im Behandlungsraum 2a die Tiefenkarte zunächst noch mehr oder weniger große Lücken aufweisen. Durch weitere kontinuierliche Erfassung der Oberfläche im Behandlungsraum 2a durch die Sensorvorrichtung 10 wird sich im Laufe der Zeit und insbesondere dann, wenn die Sensorvorrichtung 10 sich innerhalb des Behandlungsraumes 2a bewegt, die erstellte Tie¬ fenkarte mehr und mehr vervollständigen. Somit liegen nach einiger Zeit in dieser Tiefenkarte auch Informationen über Raumpunkte vor, die aktuell nicht von der Sensorvorrichtung 10 erfasst werden können, weil sie beispielsweise außerhalb des Sichtbereiches oder hinter einer Verschattung liegen. Darüber hinaus kann durch die kontinuierliche Erfassung der Oberfläche durch die Sensorvorrichtung 10 auch eine Verände- rung der Oberfläche in der Tiefenkarte korrigiert werden. So¬ mit spiegelt die Tiefenkarte stets den aktuell vorliegenden Zustand der Oberfläche im Behandlungsraum 2a wider.
Die in der Tiefenkarte vorliegenden Raumpunkte der Oberfläche des Behandlungsraums 2a werden an eine Texturierungsvorrich- tung 30 weitergegeben. Gegebenenfalls kann die Texturierungs- vorrichtung 30 dabei die Informationen aus der Tiefenkarte mit den Bilddaten einer endoskopischen Schwarz/Weiß- oder Farbkamera kombinieren. Die Texturierungsvorrichtung 30 er- zeugt aus den Raumpunkten der Tiefenkarte ein dreidimensiona¬ les Objekt mit einer zusammenhängenden Oberfläche. Durch Kombination der dreidimensionalen Raumdaten der Tiefenkarte mit den endoskopischen Kameradaten kann dabei die Oberfläche bei Bedarf geeignet eingefärbt oder schattiert werden.
Weitergehend ist es darüber hinaus möglich, zusätzliche dia¬ gnostische Bilddaten mit einzubeziehen . Beispielsweise können bereits präoperativ von dem behandelnden Bereich Aufnahmen erstellt werden. Hierzu eignen sich beispielsweise bildgeben- de diagnostische Verfahren wie Computertomographie (CT) , Mag¬ netresonanztomographie (MR oder MRT) , Röntgenaufnahmen, Sonographie oder ähnliches. Ebenso ist es auch denkbar, gegebe¬ nenfalls während der Behandlung durch geeignete bildgebende diagnostische Verfahren zusätzliche Informationen zu erzeu- gen, die mit in den Bildgenerierungsprozess einfließen kön¬ nen . Nachdem aus den Raumdaten der Tiefenkarte und gegebenenfalls den weiteren Bilddaten in der Texturierungsvorrichtung 30 eine Texturierung der Oberfläche des Behandlungsraumes 2a durchgeführt wurde, werden die so aufbereiteten Informationen an einen Bilddatengenerator 40 weitergegeben. Dieser Bilddatengenerator 40 erzeugt aus den texturierten dreidimensiona¬ len Informationen stereoskopische Bilddaten. Diese stereosko¬ pischen Bilddaten umfassen zumindest zwei zueinander leicht versetzte Bilder, die den Augenabstand eines menschlichen Betrachters berücksichtigen. Üblicherweise beträgt dabei der verwendete Abstand zwischen den beiden Augen ca. 80 mm. Einen besonders guten räumlichen Eindruck erhält ein Betrachter dabei, wenn angenommen wird, dass das zu betrachtende Objekt sich ca. 25 cm vor seinen Augen befindet. Grundsätzlich sind jedoch auch andere Parameter möglich, die für einen Betrachter einen räumlichen Eindruck des zu betrachtenden Objektes ermöglichen. Der Bilddatengenerator 40 berechnet somit aus einer vorgegebenen Blickrichtung heraus mindestens zwei Bilddatensätze, wobei sich die Blickrichtungen der beiden Bildda- tensätze um den Augenabstand eines Betrachters unterscheiden. Die so generierten Bilddaten werden daraufhin einer Visualisierungsvorrichtung 50 zugeführt. Sollte für die Visualisie¬ rungsvorrichtung 50 noch weitere Information oder Daten für eine räumliche Darstellung erforderlich sein, so können diese ebenfalls durch den Bilddatengenerator 40 erzeugt und bereit¬ gestellt werden.
Als Visualisierungsvorrichtung 50 eignen sich dabei alle Vorrichtungen, die dazu geeignet sind, den beiden Augen eines Betrachters jeweils unterschiedliche Bildinformationen be¬ reitzustellen. Beispielsweise kann es sich bei der Visuali¬ sierungsvorrichtung 50 um einen 3D-Monitor handeln, oder um eine spezielle Brille, die für die beiden Augen eines Benut¬ zers unterschiedliche Bilddaten anzeigt.
Figur 3 zeigt eine schematische Darstellung eines Ausschnitts von Pixeln für eine erste Ausführungsform eines 3D Monitors. Auf dem Bildschirm sind dabei nebeneinander abwechselnd Bild- punkte 51 für ein linkes Auge und Bildpunkte 52 für ein rech¬ tes Auge angeordnet. Aufgrund einer vor diesen Bildpunkten 51 und 52 angeordneten Schlitzblende 53 sehen dabei das linke und das rechte Auge jeweils nur die für sie bestimmten Bild- elemente, während die Bildpunkte für das jeweils andere Auge des Benutzers durch die Schlitzblende 53 aufgrund der jewei¬ ligen Blickrichtung verdeckt werden.
Figur 4 zeigt eine alternative Form eines 3D Monitors. Dabei sind vor den Bildpunkten 51 für das linke Auge und den Bild¬ punkten 52 für das rechte Auge jeweils kleine Linsen 54 ange¬ ordnet, die den Strahlengang für das linke und das rechte Au¬ ge so lenken, dass ebenfalls jedes Auge nur die für das ent¬ sprechende Auge bestimmten Bildpunkte sieht.
Grundsätzlich sind darüber hinaus auch alle anderen Arten von 3D-fähigen Monitoren denkbar und geeignet. So können beispielsweise auch Monitore eingesetzt werden, die für das lin¬ ke und das rechte Auge jeweils Licht mit einer unterschiedli- chen Polarisation aussenden. Hierbei muss der Benutzer jedoch eine Brille mit einem geeigneten Polarisationsfilter tragen. Auch bei Monitoren, die abwechselnd Bilddaten für das linke und das rechte Auge ausgeben, muss ein Benutzer eine geeigne¬ te Shutterbrille tragen, die synchron zu den abwechselnd an- gezeigten Bildern jeweils nur für das linke und das rechte
Auge abwechselnd den Blick auf den Monitor freigibt. Aufgrund der Komforteinbußen, die das Tragen einer Brille mit sich bringt, werden jedoch Visualisierungsvorrichtungen, die nach dem Prinzip der Figuren 3 und 4 arbeiten, von einem Benutzer eher akzeptiert werden, als Anzeigesysteme, die von einem Be¬ nutzer das Tragen spezieller Brillen erfordern.
Da die Tiefenkarte und die sich daran anschließende Texturie- rung, wie zuvor beschrieben, nach und nach sukzessive ver- vollständigt werden, liegt nach einiger Zeit ein nahezu voll¬ ständiges Modell des Behandlungsraumes 2a vor, der auch In¬ formationen über aktuell gerade nicht sichtbare und ver¬ schattete Bereiche enthält. Daher ist es für den Bilddatenge- nerator 40 auch möglich, Bilddaten aus einem Betrachtungswinkel zu generieren, der nicht mit der aktuellen Position der Sensorvorrichtung 10 übereinstimmt. Es kann somit beispiels¬ weise auch auf der Visualisierungsvorrichtung 50 eine Dar- Stellung des Behandlungsraums 2a angezeigt werden, die mehr oder weniger stark von der aktuellen Position der Sensorvorrichtung 10 und auch der ebenfalls am Endoskopende angeordne¬ ten chirurgischen Instrumente 11 abweicht. Nachdem die Tie¬ fenkarte ausreichend vervollständigt wurde, kann der Benutzer die gewünschte Blickrichtung nahezu beliebig vorgeben. Insbe¬ sondere durch die Kombination der räumlichen Informationen aus der Tiefenkarte mit den weiteren Bilddaten der endoskopi¬ schen Kamera und zusätzlichen diagnostischen Bildinformationen kann einem Benutzer somit auf der Visualisierungsvorrich- tung 50 eine Darstellung angezeigt werden, die einer Darstel¬ lung eines geöffnetem Körpers sehr nahe kommt.
Für eine bessere Orientierung während des chirurgischen Eingriffs kann der Benutzer daher die Blickrichtung nach seinen Wünschen beliebig vorgeben und ändern. Dies ist beispielswei¬ se insbesondere dann hilfreich, wenn an einem zu behandelnden Organ eine bestimmte Stelle gefunden werden soll, oder durch die Identifizierung bestimmter Blutgefäße oder ähnlichem eine Orientierung an dem entsprechenden Organ unterstützt werden soll.
Das Vorgeben der gewünschten Blickrichtung kann dabei durch eine geeignete Eingabevorrichtung 41 erfolgen. Bei dieser Eingabevorrichtung 41 kann es sich beispielsweise um eine Tastatur, eine Computermaus, einen Joystick, einen Trackball oder ähnliches handeln. Da der Benutzer während des chirurgischen Eingriffs jedoch normalerweise mit beiden Händen das Endoskop und die daran enthaltenen chirurgischen Mittel 11 bedienen muss, wird er in vielen Fällen keine Hand frei ha- ben, um die Eingabevorrichtung 41 zur Steuerung der vorzugebenden Blickrichtung zu bedienen. Daher kann die Steuerung der Blickrichtung in einer bevorzugten Ausführungsform auch berührungslos erfolgen. Beispielsweise kann die Steuerung der Blickrichtung über eine Sprachsteuerung durchgeführt werden. Darüber hinaus ist auch eine Steuerung der Blickrichtung mittels spezieller, vorgegebener Bewegungen möglich. Beispielsweise kann der Benutzer durch Ausführen bestimmter Gesten die gewünschte Blickrichtung steuern. Insbesondere ist es denk¬ bar, dass die Augenbewegungen des Benutzers überwacht und ausgewertet werden. Basierend auf den erfassten Augenbewegungen wird daraufhin die Blickrichtung für die stereoskopische Darstellung angepasst. Eine Überwachung anderer Körperteile des Benutzers zur Steuerung der Blickrichtung ist jedoch ebenso möglich. Vorzugsweise werden solche Bewegungen oder Gesten des Benutzers durch eine Kamera überwacht und ausge¬ wertet. Alternativ kann im Falle einer Sprachsteuerung die Eingabevorrichtung 41 ein Mikrofon sein. Aber auch weitere Möglichkeiten zur Steuerung der vorgegebenen Blickrichtung sind denkbar, beispielsweise durch Bewegung eines Fußes oder ähnliches .
Figur 5 zeigt eine schematische Darstellung eines Verfahrens 100 zur stereoskopischen Darstellung von Bilddaten, wie es der vorliegenden Erfindung zugrunde liegt. In einem ersten Schritt 110 wird zunächst eine Oberfläche eines Behandlungs¬ raumes 2a mindestens teilweise dreidimensional erfasst. Wie zuvor beschrieben, kann diese dreidimensionale Erfassung der Oberfläche des Behandlungsraumes 2a durch einen beliebigen geeigneten Sensor 10 erfolgen. Weiterhin wird in Schritt 120 basierend auf der dreidimensionalen Erfassung der Objektoberfläche eine Tiefenkarte erstellt. Diese erstellte Tiefenkarte enthält Raumpunkte der dreidimensional erfassten Oberfläche. Da die Sensorvorrichtung 10 nur einen begrenzten Blickwinkel aufweist und darüber hinaus gegebenenfalls Teilbereiche durch Verschattungen zunächst nicht erfasst werden können, kann die so erstellte Tiefenkarte zu Beginn zunächst unvollständig sein. Durch Bewegen des Endoskops und somit auch der Sensor- Vorrichtung 10 innerhalb des Behandlungsraums 2a können kon¬ tinuierlich weitere Raumpunkte der Oberfläche dreidimensional erfasst werden und diese Informationen in die Tiefenkarte mit integriert werden. Ebenso können bei Veränderungen an der er- fassten Oberfläche entsprechende Informationen in der Tiefenkarte korrigiert werden.
Nachdem eine Tiefenkarte mit einer zumindest teilweise drei- dimensional erfassten Oberfläche erstellt wurde, wird mit dem in der Tiefenkarte vorhandenen Raumpunkten in Schritt 130 eine Texturierung durchgeführt. Dieser Texturierung können gegebenenfalls vorhandene weitere Bilddaten aus einer Kamera der Sensorvorrichtung 10 und/oder weiteren diagnostischen Bildinformationen von bildgebenden Verfahren wie Computertomographie, Magnetresonanztomographie, Sonographie oder Rönt¬ gen mit integriert werden. Auf diese Weise entsteht zunächst ein dreidimensionales farbiges oder schwarz-weißes Bild der Oberfläche des Behandlungsraums 2a. Aus der so texturierten Tiefenkarte werden daraufhin in Schritt 140 stereoskopische Bilddaten errechnet. Diese stereoskopischen Bilddaten umfassen mindestens zwei Darstellungen aus einer vorgegebenen Blickrichtung, wobei sich die Darstellung entsprechend dem Augenabstand eines Betrachters unterscheiden. Abschließend werden in Schritt 150 die zuvor berechneten stereoskopischen Bilddaten auf einem geeigneten Anzeigegerät visualisiert .
Die Blickrichtung, die der Berechnung der stereoskopischen Bilddaten in Schritt 140 zugrunde liegt, kann dabei beliebig angepasst werden. Insbesondere kann die Blickrichtung für die Berechnung der stereoskopischen Bilddaten von der Blickrichtung der Sensorvorrichtung 10 verschieden sein. Zur Einstellung der Blickrichtung, die der Berechnung der stereoskopischen Bilddaten in Schritt 140 zugrunde liegt, kann das er- findungsgemäße Verfahren einen weiteren Schritt umfassen, in dem eine Benutzereingabe erfasst wird und daraufhin die
Blickrichtung für die Berechnung der stereoskopischen Bilddaten entsprechend der Benutzereingabe angepasst wird. Vorzugs¬ weise erfolgt die Benutzereingabe zur Anpassung der Blick- richtung dabei berührungslos. Beispielsweise kann die Benut¬ zereingabe durch Auswertung einer vorgegebenen Benutzergeste erfolgen . Zusammenfassend betrifft die vorliegende Erfindung eine Vor¬ richtung und ein Verfahren zur stereoskopischen Darstellung von Bilddaten, insbesondere zur dreidimensionalen Darstellung von Bildinformationen bei einer minimal invasiven Chirurgie, die mittels eines Endoskops ausgeführt wird. Dabei wird zu¬ nächst der Operationsbereich eines Endoskops mittels einer Sensorvorrichtung dreidimensional erfasst. Aus den sensorisch gewonnenen 3D-Daten werden stereoskopische Bilddaten generiert und auf einer geeigneten Anzeigevorrichtung visuali- siert .

Claims

Patentansprüche
1. Verfahren (100) zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie, mit den Schritten: zumindest teilweise dreidimensionale Erfassung (110) einer Oberfläche ;
Erstellen (120) einer Tiefenkarte der zumindest teilweise dreidimensional erfassten Oberfläche;
Texturierung (130) der erstellten Tiefenkarte;
Berechnen (140) von stereoskopischen Bilddaten aus der tex- turierten Tiefenkarten;
Visualisierung (150) der berechneten stereoskopischen Bilddaten .
2. Verfahren (100) nach Anspruch 1, wobei die berechneten stereoskopischen Bilddaten zu zwei Blickrichtungen zweier Augen eines Benutzers korrespondieren.
3. Verfahren (100) nach Anspruch 1 oder 2, wobei die Tiefen- karte Raumpunkte der zumindest teilweise dreidimensional er¬ fassten Oberfläche umfasst.
4. Verfahren (100) nach einem der vorherigen Ansprüche 1 bis 3, wobei die dreidimensionale Erfassung (110) der Oberfläche kontinuierlich ausgeführt wird; und die Tiefenkarte basierend auf der kontinuierlichen dreidimensionalen Erfassung der Oberfläche angepasst wird.
5. Verfahren (100) nach einem der vorherigen Ansprüche 1 bis 4, ferner umfassend die Schritte des Bereitstellens weiterer
Bildinformationen und des Kombinierens der weiteren Bildinformationen mit der erfassten dreidimensionalen Oberfläche.
6. Verfahren (100) nach Anspruch 5, wobei die weiteren Bildinformationen diagnostische Bilddaten, insbesondere Daten aus einer Computertomographie, einer Magnetresonanztomographie, einer Röntgenaufnahme, einer Sonographie, umfassen.
7. Verfahren (100) nach einem der vorherigen Ansprüche 1 bis 6, wobei der Schritt zur Berechnung der stereoskopischen Bilddaten die Bilddaten für eine vorgegebene Blickrichtung berechnet .
8. Verfahren (100) nach Anspruch 7, ferner umfassend einen Schritt zum Erfassen einer Benutzereingabe, wobei die vorge¬ gebene Blickrichtung basierend auf der erfassten Benutzereingabe angepasst wird.
9. Vorrichtung (1) zur stereoskopischen Darstellung von Bilddaten in der minimal invasiven Chirurgie, mit einer Sensorvorrichtung (10), die dazu ausgelegt ist, eine Oberfläche zumindest teilweise dreidimensional zu erfassen; einer Vorrichtung (20) zur Erstellung einer Tiefenkarte, die dazu ausgelegt ist, eine Tiefenkarte aus der zumindest teilweise dreidimensional erfassten Oberfläche zu erstel- len; einer Texturierungsvorrichtung (30), die dazu ausgelegt ist, die erstellte Tiefenkarte zu Texturieren; einem Bilddatengenerator (40), der dazu ausgelegt ist, ste¬ reoskopischen Bilddaten aus der texturierten Tiefenkarte zu berechnen; und einer Visualisierungsvorrichtung (50), die dazu ausgelegt ist, die berechneten stereoskopischen Bilddaten zu visuali- sieren .
10. Vorrichtung nach Anspruch 9, wobei die Sensorvorrichtung (10) in einem Endoskop (12) angeordnet ist.
11. Vorrichtung nach Anspruch 10, wobei das Endoskop (12) ferner mindestens ein chirurgisches Instrument (11) umfasst.
12. Vorrichtung nach einem der Ansprüche 9 bis 11, wobei die Sensorvorrichtung (10) eine Time-of-Flight-Kamera und/oder eine Vorrichtung zur Triangulation, insbesondere eine Vor- richtung zur aktiven Triangulation umfasst.
13. Vorrichtung nach einem der Ansprüche 9 bis 12, wobei der Bilddatengenerator (40) die Bilddaten für eine vorgegebene Blickrichtung berechnet.
14. Vorrichtung nach Anspruch 13, ferner umfassend eine Eingabevorrichtung (41), die dazu ausgelegt ist, eine Eingabe eines Benutzers zu erfassen; wobei der Bilddatengenerator (40) die stereoskopischen Bilddaten für eine Blickrichtung basierend auf der Eingabe des Benutzers berechnet.
15. Vorrichtung nach Anspruch 14, wobei die Eingabevorrichtung (41) eine Bewegung, insbesondere eine Geste, des Benut¬ zers erfasst.
EP14718031.9A 2013-04-17 2014-04-10 Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten Withdrawn EP2967278A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013206911.1A DE102013206911A1 (de) 2013-04-17 2013-04-17 Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
PCT/EP2014/057231 WO2014170194A1 (de) 2013-04-17 2014-04-10 Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten

Publications (1)

Publication Number Publication Date
EP2967278A1 true EP2967278A1 (de) 2016-01-20

Family

ID=50513225

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14718031.9A Withdrawn EP2967278A1 (de) 2013-04-17 2014-04-10 Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten

Country Status (7)

Country Link
US (1) US20160081759A1 (de)
EP (1) EP2967278A1 (de)
JP (1) JP6116754B2 (de)
KR (1) KR101772187B1 (de)
CN (1) CN105208909B (de)
DE (1) DE102013206911A1 (de)
WO (1) WO2014170194A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143427A1 (en) * 2016-02-25 2017-08-31 Synaptive Medical (Barbados) Inc. System and method for scope based depth map acquisition

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168878B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
KR102188334B1 (ko) * 2015-12-23 2020-12-09 한국전자기술연구원 깊이 측정 센서를 이용한 수술 동작 분석 장치 및 방법
CN106308730B (zh) * 2016-11-14 2018-05-29 中国科学院深圳先进技术研究院 一种腹腔镜系统
DE102019100820A1 (de) * 2019-01-14 2020-07-16 Lufthansa Technik Aktiengesellschaft Verfahren und Vorrichtung zur Inspektion schwer erreichbarer Komponenten
CN109840943B (zh) * 2019-01-25 2021-06-22 天津大学 三维可视化分析方法及系统
KR102253768B1 (ko) * 2019-04-03 2021-05-24 장호열 의료영상 리코딩 시스템 및 리코딩 로봇의 제어 방법
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
CN114332033A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 基于人工智能的内窥镜图像处理方法、装置、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059217A1 (en) * 1999-10-28 2004-03-25 Paul Kessman Method of detecting organ matter shift in a patient

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19638758A1 (de) * 1996-09-13 1998-03-19 Rubbert Ruedger Verfahren und Vorrichtung zur dreidimensionalen Vermessung von Objekten
US20050018888A1 (en) * 2001-12-14 2005-01-27 Zonneveld Frans Wessel Method, system and computer program of visualizing the surface texture of the wall of an internal hollow organ of a subject based on a volumetric scan thereof
DE10315242B4 (de) * 2003-04-03 2006-02-23 Siemens Ag Verfahren und Vorrichtung zur realitätsnahen dreidimensionalen Bildgebung
DE10357184A1 (de) * 2003-12-08 2005-07-07 Siemens Ag Verfahren zur fusionierten Bilddarstellung
DE10359925A1 (de) * 2003-12-19 2005-07-14 Siemens Ag Verfahren zur Bestimmung der Entfernung von Objekten in der Umgebung und Computerprogrammprodukt
FR2872522B1 (fr) * 2004-07-02 2006-09-15 Lee Sara Corp Procede de tricotage en dejauge et article ainsi obtenu
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
JP2006280921A (ja) * 2005-03-07 2006-10-19 Hitachi Medical Corp 磁気共鳴イメージング装置
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
DE102006017003A1 (de) 2006-04-11 2007-10-18 Friedrich-Alexander-Universität Erlangen-Nürnberg Endoskop zur Tiefendatenakquisition
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
CN102172330B (zh) * 2007-07-10 2013-03-27 株式会社东芝 X射线摄影装置以及图像处理显示装置
DE102008062995A1 (de) * 2008-12-23 2010-06-24 Sick Ag 3D-Kamera zur Raumüberwachung
CN101849813A (zh) * 2009-03-31 2010-10-06 上海交通大学医学院附属新华医院 三维心脏超声虚拟内窥镜系统
DE102009031732B3 (de) * 2009-07-04 2010-11-25 Sick Ag Entfernungsmessender optoelektronischer Sensor
DE102009043523A1 (de) * 2009-09-30 2011-04-07 Siemens Aktiengesellschaft Endoskop
KR102274896B1 (ko) * 2011-08-12 2021-07-09 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술기기 내의 이미지 캡쳐 장치
US8672838B2 (en) * 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
DE102012220116A1 (de) * 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
CN105592784A (zh) * 2013-07-18 2016-05-18 弩莱传感器有限公司 用于监测、诊断的医疗数据获取系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059217A1 (en) * 1999-10-28 2004-03-25 Paul Kessman Method of detecting organ matter shift in a patient

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143427A1 (en) * 2016-02-25 2017-08-31 Synaptive Medical (Barbados) Inc. System and method for scope based depth map acquisition
US10188468B2 (en) 2016-02-25 2019-01-29 Synaptive Medical (Barbados) Inc. Focused based depth map acquisition

Also Published As

Publication number Publication date
DE102013206911A1 (de) 2014-10-23
WO2014170194A1 (de) 2014-10-23
KR20150143703A (ko) 2015-12-23
KR101772187B1 (ko) 2017-08-25
US20160081759A1 (en) 2016-03-24
JP2016524478A (ja) 2016-08-18
CN105208909A (zh) 2015-12-30
JP6116754B2 (ja) 2017-04-19
CN105208909B (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
EP2967278A1 (de) Verfahren und vorrichtung zur stereoskopischen darstellung von bilddaten
DE69432961T2 (de) Anordnung zur Bestimmung der gegenseitigen Lage von Körpern
EP3108282B1 (de) Operationsmikroskop und erzeugung eines beobachtungsbildes eines objektbereichs in einem operationsmikroskop
EP2926733B1 (de) Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP2260784B1 (de) System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
EP2236104B1 (de) Medizintechnische Navigations-Bildausgabe mit virtuellen Primärbildern und realen Sekundärbildern
DE102005030646B4 (de) Verfahren zur Kontur-Visualisierung von zumindest einer interessierenden Region in 2D-Durchleuchtungsbildern
EP2165215B1 (de) Bilderzeugungsapparat und -methode zur nuklearbildgebung
DE112019004340T5 (de) Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
DE10015826A1 (de) System und Verfahren zur Erzeugung eines Bildes
DE102005023194A1 (de) Verfahren zur Erweiterung des Darstellungsbereiches von 2D-Bildaufnahmen eines Objektbereiches
DE102004030836A1 (de) Verfahren zur Bilddarstellung eines in einen sich rhythmisch oder arhythmisch bewegenden Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments, insbesondere eines Katheters
DE102006017003A1 (de) Endoskop zur Tiefendatenakquisition
DE19842239A1 (de) Medizintechnische Einrichtung
DE112018003204T5 (de) Chirurgisches Bildgebungssystem und -verfahren
DE102011120937B4 (de) Anordnung und Verfahren zur Registrierung von Gewebeverschiebungen
DE112017001315T5 (de) Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes
DE102011087357A1 (de) Aktualisierung von präoperativ aufgenommenen 3D-Bilddaten eines Körpers
EP3598948B1 (de) Bildgebendes system und verfahren zum erzeugen einer stereoskopischen darstellung, computerprogramm und datenspeicher
DE10334074A1 (de) System und Verfahren zur Erzeugung eines virtuellen Beobachtungs- und Zugangskanals in medizinischen 3D-Bildern
DE19542605A1 (de) Anzeigesystem zur Verbesserung der Darstellung von Körperstrukturen während medizinischer Verfahren
DE102007029888B4 (de) Bildgebendes Verfahren für die medizinische Diagnostik und nach diesem Verfahren arbeitende Einrichtung
DE112019004308T5 (de) Medizinisches system, informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
DE102006020398B4 (de) Medizintechnisches Diagnosesystem
DE102020126029A1 (de) Chirurgisches Assistenzsystem und Darstellungsverfahren

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20151012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20161104

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20191101