EP3377916A1 - Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren - Google Patents

Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren

Info

Publication number
EP3377916A1
EP3377916A1 EP16787445.2A EP16787445A EP3377916A1 EP 3377916 A1 EP3377916 A1 EP 3377916A1 EP 16787445 A EP16787445 A EP 16787445A EP 3377916 A1 EP3377916 A1 EP 3377916A1
Authority
EP
European Patent Office
Prior art keywords
distance
data set
unit
coordinate measuring
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16787445.2A
Other languages
English (en)
French (fr)
Inventor
Tobias Pfeifer
Holger Broers
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aesculap AG
Original Assignee
Aesculap AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aesculap AG filed Critical Aesculap AG
Publication of EP3377916A1 publication Critical patent/EP3377916A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Definitions

  • the invention relates to a medical-technical radiation-based coordinate measuring device, comprising a first image sensor unit and a second image sensor unit for providing a first brightness image data set or a second brightness image data set and a data processing unit for determining the object coordinates of object images in space by means of electromagnetic radiation by triangulation from the brightness image data sets.
  • the invention relates to a medical radiation-based coordinate measuring method using such a coordinate measuring device.
  • a coordinate measuring device of the type mentioned is used for example during a navigation-assisted surgical procedure.
  • the goal is to determine the coordinates (position) and the orientation of object points to each other. Depending on the time, changes in the coordinates and the orientation can be determined and thus the object points in the room can be tracked (tracked).
  • the marking device has luminescent or reflective marking elements, which can be detected and tracked particularly well by the coordinate measuring device.
  • Such tracking methods prove themselves in practice, but the requirements for the images of the marking elements are not inconsiderable, and there is a restriction to a comparatively small number of object points.
  • a respective direction to object points can be determined on the basis of a respective brightness image data set comprising brightness or intensity information.
  • spatial forward cut the two directions are superimposed in triangulation in order to determine the position of the object point in space.
  • image sensor units have a comparatively high resolution, ambiguities in the interpretation of the position of the object points can occur (so-called "ghost points").
  • the use of stereo coordinate measuring devices is limited without the use of marking devices which have redundant marking elements to remedy the above-mentioned problem.
  • the object of the present invention is to provide a generic coordinate measuring device and a coordinate measuring method with which a more reliable determination of the object coordinates is possible.
  • the coordinate measuring device comprises at least one distance measuring unit for the object points for providing at least one distance data set, and that the data processing unit is designed and programmed such that it is before the Trian Gulation at least the first brightness image data set on the basis of a distance data set adds a distance information.
  • the invention incorporates the consideration that ambiguities in the determination of the coordinates of the object points can be avoided and the accuracy can be increased if additional information is provided in addition to the brightness image data sets.
  • at least one distance data record is provided by means of at least one distance measuring unit.
  • the data processing unit can supplement at least the first brightness image data set and expand it by a spatial depth information.
  • the original first brightness image data set contains with high accuracy an indication of the respective direction of object points starting from the first image sensor unit. Due to the additional distance information from the at least one distance data set, the position of the object point can already be approximately determined. In particular, ambiguities can be ruled out before they occur.
  • the first brightness image data set allows to avoid any restrictions on the significance of the distance data set and to preclude erroneous determinations of the object points before they arise. In the case of a distance measurement, restrictions can arise with resulting measurement errors in the case of edge progressions, which can be remedied by the additional information of the first brightness image data record.
  • the at least one distance unit can preferably be located in be positioned finely spatial relationship with the image sensor units. Based on the relative orientation, it is possible for the data processing unit to associate image areas in the brightness image data sets with each other or to associate image areas in the brightness image data sets with an area in the distance data set.
  • the data processing unit is designed and programmed such that it adds distance information to the second brightness image data record based on a distance data record before triangulation.
  • the data processing unit can expand the second brightness image data record by the additional distance information.
  • For the object points there are respective direction vectors as well as information about their lengths, based on a respective brightness image data set, extended by a distance information. The accuracy of the determination of the position of the object points can be increased thereby.
  • the data processing unit is designed and programmed in such a way that it triangulates the first brightness image data set supplemented by the distance information with the second brightness image data set.
  • the at least one distance measuring unit is or comprises a time-of-flight (TOF) measuring unit which generates the distance data record on the basis of a light transit time method.
  • the TOF measuring unit comprises, for example, a PMD sensor (Photonic Mixing Device) which provides at least distance information via a distance data record.
  • the distance information comes from a transit time measurement for light, which is used to illuminate the object points, reflected by them and detected by the PMD sensor.
  • the distance of an object point to the PMD sensor is proportional to the transit time of the light, so that the distance information can be created on the basis of the transit time.
  • the TOF measuring unit may, in particular via the PMD sensor, provide a brightness image data set in addition to the distance data set. This will be discussed below.
  • the time-of-flight (TOF) measuring unit preferably has a lighting unit for illuminating the object points with light of a spectral range that differs from a spectral range to which the image sensor units are sensitive.
  • a lighting unit for illuminating the object points with light of a spectral range that differs from a spectral range to which the image sensor units are sensitive.
  • the illumination unit By means of the illumination unit, light of a certain spectral range can be emitted, which is detected by the PMD sensor after reflection on the object.
  • the use of a different spectral range in the image sensor units offers the advantage that the TOF measuring unit is not disturbed by any illumination for the image sensor units and they are not disturbed by the light of the lighting unit. The accuracy of the measurements in the image data sets and in the distance data set can thereby be increased.
  • a distance measuring unit spatially separate from the image sensor units is provided, in particular a time-of-flight (TOF) measuring unit.
  • TOF time-of-flight
  • the image sensor units are positioned in a stereo arrangement and a spatially separated distance measuring unit and in particular TOF measuring unit is provided, which provides a distance data record.
  • the coordinate measuring device comprises at least one combined image sensor distance measuring unit which forms an image sensor unit for providing a brightness image data set and a distance measuring unit for providing a distance data set, in particular a time-of-flight (TOF) measuring unit, and if that Brightness image data set is added on the basis of the distance image data record, the distance information.
  • a combined unit may be provided which includes both a brightness image data set and provides a distance data set to extend the brightness image data set before the triangulation by a distance information.
  • the coordinate measuring device can make do with only two units, namely it suffices a combined image sensor distance measuring unit and a further unit, which provides at least one further brightness image data set.
  • the coordinate measuring device comprises two combined image sensor distance measuring units, which in particular form time-of-flight (TOF) measuring units, and that the respective distance information is added to the respective brightness image data record on the basis of the respective distance data set .
  • the triangulation can be based on data sets of two distance measuring units and in particular TOF measuring units with a respective distance data record and a respective brightness image data set. These are provided, for example, by PMD sensors. A separate distance measuring unit can be saved.
  • the data processing unit may be designed and programmed in such a way that it identifies pixels in the brightness image data record of the combined image sensor distance measuring unit with pixels in the brightness image data record of the second image sensor unit. Images of object points can thereby be detected and assigned to each other via a brightness analysis of a respective brightness image data set of the image sensor units and the brightness image data set of the distance measuring unit. This makes it possible by redundant information to increase the accuracy with which signal contributions in the brightness image data records are provided with the distance information resulting from the at least one distance data record.
  • the data processing unit is designed and programmed in such a way that it transmits the first brightness image data set, the second brightness image data set and / or the at least one distance data set processed in real time to determine the position of the object points in space in real time.
  • first image sensor unit and the second image sensor unit have a common image sensor which has two image sensor areas, each of which supplies a brightness image data record.
  • Each image sensor area can be assigned its own optics, via which the object points are imaged onto the image sensor area.
  • two distance measuring units have a common image sensor which has two image sensor areas, each of which supplies a distance data record.
  • each image sensor region can be assigned its own optics, via which the object points on the image sensor region are imaged.
  • a resolution of optical sensors of the image sensor units and / or distance measuring units is identical.
  • the image sensor units and / or the distance measuring unit are sensitive in at least one of the following spectral ranges at least over a predefinable or predefined wavelength range:
  • the coordinate measuring device comprises more than two image sensor units, it being possible to produce a brightness image data record with a respective image sensor unit.
  • a respective image data set can be pre-triangulated by the data processing unit on the basis of the min.
  • At least one distance data set to be supplemented by the distance information can be provided in particular that the more than two units combined image sensor distance measuring units are in particular comprising a TOF measuring unit.
  • the coordinate measuring device comprises a memory unit which can be coupled to or integrated in the data processing unit.
  • features of observable object points are stored in the memory unit, wherein the data processing unit is designed and programmed such that it uses these features in the identification and tracking of the object points. Based on the stored features, the data processing unit can more easily identify the object points in the data sets. This also facilitates the tracking of the object points.
  • the features can be regarded as a kind of constraint for or as a necessary property of the object points.
  • Examples of features of observable object points stored in the memory unit are their relative position, their shape, their brightness and / or their spectral sensitivity.
  • the features may relate to at least one of the following:
  • the instrument and / or the implant is preferably deposited thanks to the data processing unit
  • the coordinate measuring device is expediently designed as a measuring system or comprises such, with a housing, the image sensor units and possibly at least one distance measuring unit receiving.
  • the image sensor units and possibly a distance measuring unit are positioned in a defined spatial and immovable relationship to each other.
  • the housing can also accommodate the illumination unit of the at least one distance measuring unit.
  • the data processing unit can be integrated in the housing.
  • the data processing unit at least partially, is positioned in a separate housing of the coordinate measuring device.
  • the data exchange can be provided wirelessly or wired.
  • the image sensor units and optionally the at least one distance measuring unit are freely positionable relative to one another.
  • a calibration of the coordinate measuring device can be made using additional information for recorded (test) objects.
  • the brightness image data sets can be processed simultaneously, in particular by means of a bundle triangulation. Taking into account the additional information, the imaging properties of the coordinate measuring device are determined for later measurements.
  • the coordinate measuring device can be designed for extra and / or intracorporeal use (it can have an exoscope, endoscope, navigation camera, etc., or be designed as such).
  • the present invention also relates to a medical radiation-based coordinate measuring method.
  • the object mentioned at the outset is achieved by a coordinate measuring method in which, according to the invention, a first brightness image data set or a second brightness image data set is provided with a data processing unit and object coordinates of object points in the space imaged by electromagnetic radiation are determined by triangulation from the brightness image data sets wherein at least one distance data set is provided with at least one distance measuring unit and the data processing unit adds, before the triangulation, at least to the first image data record on the basis of the distance data record.
  • TOF time-of-flight
  • At least one combined image sensor distance measuring unit which at the same time forms an image sensor unit for providing a brightness image data set and a distance measuring unit for providing a distance data set, in particular a time-of-flight (TOF) measuring unit.
  • TOF time-of-flight
  • Figure 1 a schematic representation of a coordinate measuring device according to the invention
  • FIG. 2 a schematic representation of another invention
  • Figure 3 a schematic representation of a third invention
  • FIG. 4 shows schematically a bundle triangulation using five image sensor units for calibrating a coordinate measuring device.
  • FIG. 1 shows a schematic representation of a medical-technical radiation-based coordinate measuring device according to the invention, which is designated by the reference numeral 10, for carrying out a coordinate measuring method according to the invention.
  • the coordinate measuring device 10 can be used intraoperatively to image object points and to track them in space (tracking).
  • the drawing shows an object point 12, which is a marking element 14 of a surgical marking device which is otherwise not shown.
  • the marking element 14 may be designed to be self-luminous or reflective to electromagnetic radiation, the emitted by a lighting device 16 of the coordinate measuring device 10.
  • the marking device can be fixed to a body part of a patient in a manner known per se, for example, not shown, and form a reference coordinate system on the body part.
  • Another object 18 to be detected and tracked comprises a multiplicity of individual object points.
  • the object 18 is a body part 20 of a patient, for example a limb.
  • the drawing shows schematically how an exemplary, selected object point 22 is imaged with the coordinate measuring device 10.
  • object points 12, 22 are examples of the object points observable by the coordinate measuring device 10 as a whole. Accordingly, the object space is not sampled point by point, but the observable scene as a whole is recorded.
  • the object point 22 is therefore also an example of the body part 20, the other object points, as far as the coordinate measuring device 10 visible, are recorded simultaneously.
  • the coordinate measuring device 10 is configured as an optical measuring system 24, which has a housing 26. Housed in the housing 26 is a stereo camera system 28 having a first image sensor unit 30 and a second image sensor unit 32.
  • the image sensor units 30, 32 comprise optical image sensors 34 and 36, respectively.
  • the image sensors 34, 36 are sensitive to electromagnetic radiation emitted by the lighting device 16 is reflected from the object point 12 and the object 18, or is emitted from the marking element 14. Both image sensors 34, 36 have a high resolution, which preferably matches.
  • the image sensor units 30, 32 are arranged in a known spatial orientation to one another on the coordinate measuring device 10.
  • the coordinate measuring device 10 comprises a data processing unit 38, which is also accommodated in the housing 26.
  • the image sensors 34, 36 are coupled to the data processing unit 38 in such a way that brightness image data sets that can be generated by the image sensor units 32, 34 and that contain a respective brightness information are forwarded to the data processing unit 38 and processed by the latter.
  • an executable computer program is stored in the data processing unit 38.
  • the data processing unit 38 can determine the coordinates of the object points 12, 22 by triangulation from the brightness image data sets. If the object points move in space, they can be tracked by the coordinate measuring device 10 (tracking).
  • the drawing shows schematically how the object points 12, 22 can be seen by the first image sensor unit 30 under directional vectors 40 and 42, respectively.
  • the object points 12, 22 are viewed by the image sensor unit 32 under direction vectors 44 and 46, respectively.
  • the accuracy with which the directional vectors 40 to 46 can be indicated on the basis of the image data sets is relatively high in the usual way.
  • the coordinate measuring device 10 comprises at least one distance measuring unit 48.
  • the distance measuring unit 48 is designed as a time-of-flight (TOF) measuring unit 50 and comprises an image sensor in FIG Shape of a PMD sensor 52.
  • the time-of-flight (TOF) measuring unit 50 is a lighting unit 54 for illuminating objects to be imaged.
  • the PMD sensor 52 provides at least one distance data set but may additionally provide a brightness image data set.
  • the illumination unit 54 and the lighting device 16 emit light of different spectral ranges.
  • the object points 12, 22 can be imaged such that the distance of the object points 12, 22 from the TOF measuring unit 50 is determined.
  • the lighting unit 54 illuminates the object points 12, 22.
  • the transit time of the light is measured from the emission to the detection so that spatially resolved distance information can be determined based on the transit time with the PMD sensor 52.
  • the TOF measuring unit 50 may provide a distance data set and transmit it to the data processing unit 38.
  • the TOF measuring unit 50 is preferably synchronized with the use of self-luminous marking elements in order to trigger them, or vice versa.
  • the drawing exemplarily shows range vectors 56 and 58 from the TOF measuring unit 50 to the object points 12 and 22, respectively.
  • the distance information in the range vectors 56, 58 has increased accuracy.
  • the spatial orientation of the TOF measuring unit 50 and the image sensor units 30, 32 relative to one another is preferably fixed and is preferably known to the data processing unit 38.
  • the data processing unit 38 processes the first brightness image data record of the first image sensor unit 30 on the basis of at least the distance data. Tensatzes the TOF measuring unit 50 before the triangulation. In this case, the first brightness image data set can be supplemented by a distance information that can be taken from the distance data record.
  • the supplemented first brightness image data set therefore has additional distance information in addition to the direction information.
  • the data processing unit 38 also knows the length of the direction vectors and thus the distances of the object points 12, 22 from the first image sensor unit 30 in the brightness image data set thus supplemented. These distances
  • the data processing unit 38 may refer to the distance information of the TOF measuring unit 50 in consideration of the relative arrangement of the TOF measuring unit 50 and the first image sensor unit 30.
  • the data processing unit 38 preferably also processes the second brightness image data set of the second image sensor unit 32 before triangulation with the distance data set of the TOF measuring unit 50.
  • Distance information is added to the second brightness image data set in addition to the direction information from the directional vectors 44, 46 as their length (FIG. n) flows into the second image data set.
  • the distances of the object points 12, 22 can be determined by the data processing unit 38 from the distance data set with the distance vectors 56, 58 and on the basis of the relative position of the TOF measuring unit 50 and the second image sensor unit 32.
  • the data processing unit 38 can identify the pixels of the object points 12, 22 in the brightness image data set with pixels of the object points 12, 22 in the image data records. This allows for redundant information create, so that an assignment of the distance data set to the brightness image data sets is facilitated.
  • the data processing unit 38 determines the coordinates of the object points 12, 22 in space by triangulation. Since the respective brightness image data sets are supplemented by the distance information from the distance data set, a substantially more accurate determination of the object points 12, 22 can take place than with conventional coordinate measuring devices. Ambiguities, such as Ghost Points, which can occur with conventional stereo camera systems, are largely avoidable even before triangulation.
  • the coordinate measuring apparatus 10 comprises a memory unit 60, which may be integrated in the data processing unit 38.
  • the memory unit 60 features for observable object points may be stored.
  • the geometry of the marking device can be stored with the relative positions of the marking elements to one another.
  • the memory unit 60 includes features about the anatomy of the patient, especially about the body part 20.
  • the data processing unit 38 can use the features stored in the memory unit 60 to identify the images of the object points in the image data records and in the distance data record. Depending on the time, the characteristics can be taken into account when tracking the object points.
  • FIG. 2 shows a coordinate measuring device according to the invention with the reference numeral 70 for carrying out a method according to the invention.
  • the reference numeral 70 for carrying out a method according to the invention.
  • identical reference numerals are used for identical or equivalent features and components of the coordinate measuring devices 10 and 70.
  • the coordinate measuring device 70 differs from the coordinate measuring device 10 in that combined image sensor distance measuring units 72, 74 are provided instead of the image sensor units 30, 32 providing only brightness image data records. These form, in particular, time-of-flight (TOF) measuring units 76, 78 with PMD sensors 80, 82. The TOF measuring unit 50 is omitted.
  • TOF time-of-flight
  • the combined image sensor distance measuring units 72, 74 are designed in such a way that a brightness image data record and a distance data set can be provided in each case via the PMD sensors 80 and 82.
  • the data records are supplied to the data processing unit 38.
  • the brightness image data set and the distance data set of a respective combined unit 72, 74 can be evaluated by the data processing unit 38. It is possible to add the distance information from the corresponding distance data set to each brightness image data record in order to provide a respective three-dimensional data record.
  • a direction vector 40, 44 or 42, 46 and at the same time the associated distance vector can be determined, ie. H. the length of the direction vectors.
  • FIG. 3 shows a coordinate measuring device according to the invention with the reference numeral 90 for carrying out a method according to the invention.
  • identical reference numerals are used for identical or equivalent features and components of the coordinate measuring devices 10, 70 and 90 identical reference numerals.
  • the coordinate measuring apparatus 90 employs the combined image sensor pitch measuring unit 72 that forms the TOF measuring unit 76 with the PMD sensor 80. This provides both a brightness image data set and a distance image data set, which can be transmitted to the data processing unit 38, as with the coordinate measuring device 70.
  • the data processing unit 38 may add the distance information to the brightness image data set and create a three-dimensional data record. In addition to the information about the direction vectors 40, 42 to the object points 14, 22 in this way a distance vector, i. h the length of a respective direction vector. Ambiguities can be avoided even before triangulation.
  • the image sensor unit 32 having the image sensor 36 is used.
  • the data processing unit 38 can determine the direction vectors 44, 46 relative to the object points 14, 22.
  • the coordinates of the object points 12, 22 in space can be determined more accurately than is the case with a conventional coordinate measuring device.
  • FIG. 4 shows schematically how a camera system 100, which may comprise a plurality of cameras 102, can be calibrated.
  • the cameras 102 may be freely positionable.
  • five cameras 102 which may correspond to the image sensor units 30, 32, the TOF measuring unit 50 or the combined image sensor distance measuring units 72, 74.
  • FIG. 4 schematically illustrates a respective imaging center 104 and an image plane 106 of a camera 102, as well as an object 108 having a plurality of object points 110.
  • the data processing unit knows the relative orientation of the object points 110.
  • This additional information is stored in the storage unit.
  • the measurements from the image data can be assigned to the object points 110.
  • a distance information of the object point can also be taken into account as described above.
  • the respective image data of the cameras 102 can be simultaneously processed by the data processing unit.
  • the image beams 112, 114 of a respective object point 110 intersect at the same point. In this way, the imaging property of the camera system 100 can be determined, in particular the relative orientation of the cameras 102 and the orientation of the cameras 102 to the object 108.

Abstract

Die Erfindung betrifft eine medizintechnische strahlungsbasierte Koordinatenmessvorrichtung, umfassend eine erste Bildsensoreinheit (30; 72) und eine zweite Bildsensoreinheit (32; 74) zum Bereitstellen eines ersten Helligkeitsbilddatensatzes bzw. eines zweiten Helligkeitsbilddatensatzes sowie eine Datenverarbeitungseinheit (38) zum Ermitteln der Objektkoordinaten von mittels elektromagnetischer Strahlung abbildbaren Objektpunkten (12, 22) im Raum durch Triangulation aus den Helligkeitsbilddatensätzen. Um eine gattungsgemäße Koordinatenmessvorrichtung bereitzustellen, mit der eine zuverlässigere Bestimmung der Objektkoordinaten möglich ist, wird erfindungsgemäß vorgeschlagen, dass die Koordinatenmessvorrichtung (10) mindestens eine Abstandsmesseinheit (48; 72, 74) für die Objektpunkte (12, 22) umfasst zum Bereitstellen mindestens eines Abstandsdatensatzes, und dass die Datenverarbeitungseinheit (38) derart ausgebildet und programmiert ist, dass sie vor der Triangulation zumindest dem ersten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt. Außerdem betrifft die Erfindung ein Koordinatenmessverfahren.

Description

MEDIZINTECHNISCHE KOORDINATENMESSVORRICHTUNG UND MEDIZINTECHNISCHES KOORDINATENMESSVERFAHREN
Die Erfindung betrifft eine medizintechnische strahlungsbasierte Koordinaten- messvorrichtung, umfassend eine erste Bildsensoreinheit und eine zweite Bildsensoreinheit zum Bereitstellen eines ersten Helligkeitsbilddatensatzes bzw. eines zweiten Helligkeitsbilddatensatzes sowie eine Datenverarbeitungseinheit zum Ermitteln der Objektkoordinaten von mittels elektromagnetischer Strahlung abbildbaren Objektpunkten im Raum durch Triangulation aus den Helligkeitsbilddatensätzen.
Außerdem betrifft die Erfindung ein medizintechnisches strahlungsbasiertes Koordinatenmessverfahren unter Einsatz einer derartigen Koordinatenmess- vorrichtung .
Eine Koordinatenmessvorrichtung der eingangs genannten Art wird beispielsweise während eines navigationsunterstützten chirurgischen Eingriffes eingesetzt. Dabei ist das Ziel, die Koordinaten (Lage) und die Orientierung von Objektpunkten zueinander zu ermitteln. Zeitabhängig können Änderungen der Koordinaten und der Orientierung ermittelt und dadurch die Objektpunkte im Raum verfolgt (getrackt) werden. Bekannt ist es, mittels einer chirurgischen Markiereinrichtung, die an einem Patienten festgelegt ist, ein Referenzkoordinatensystem zu definieren. Die Markiereinrichtung weist zu diesem Zweck selbstleuchtende oder reflektierende Markierelemente auf, die von der Koordinatenmessvorrichtung besonders gut erfasst und verfolgt werden können. Derartige Trackingverfahren bewähren sich in der Praxis, jedoch sind die Anforderungen an die Abbildungen der Markierelemente nicht unbeträchtlich, und es besteht eine Beschränkung auf eine vergleichsweise geringe Zahl von Objektpunkten. Darüber hinaus bestehen auf Seiten der Patienten oder Operateure Vorbehalte gegen den Einsatz von Markiereinrichtungen, weil diese in der Regel invasiv an einem Knochen des Patienten festzulegen sind. Allerdings existieren Vorschläge zur Ausgestaltung nicht-invasiver Markiereinrichtungen, wie sie beispielsweise in der DE 10 2013 112 375 AI oder in der DE 10 2014 104 800 AI beschrieben sind .
Wünschenswert wäre es, dass bei medizintechnischen Koordinatenmessverfah- ren eine Vielzahl von Objektpunkten, gewissermaßen ein flächiges Objekt, gleichzeitig verfolgt werden könnten/könnte, um den Informationsgehalt des Trackingverfahrens zu steigern und nach Möglichkeit ohne gesonderte Markiereinrichtung auszukommen.
Bei gattungsgemäßen medizintechnischen Koordinatenmessvorrichtungen mit einem Stereo- Kamerasystem kann anhand eines jeweiligen, eine Helligkeitsoder Intensitätsinformation umfassenden Helligkeitsbilddatensatzes eine jeweilige Richtung zu Objektpunkten ermittelt werden. Durch einen sogenannten "räumlichen Vorwärtsschnitt" werden bei der Triangulation die beiden Richtungen überlagert, um die Lage des Objektpunktes im Raum festzustellen. Selbst dann, wenn die Bildsensoreinheiten ein vergleichsweise hohes Auflösungsvermögen besitzen, kann es dabei zu Mehrdeutigkeiten bei der Deutung der Lage der Objektpunkte kommen (sogenannte "Ghost Points"). Auch aus diesem Grund ist die Verwendung von Stereo-Koordinatenmessvorrichtungen ohne den Einsatz von Markiereinrichtungen beschränkt, die zur Behebung des vorstehend genannten Problems redundante Markierelemente aufweisen.
Aufgabe der vorliegenden Erfindung ist es, eine gattungsgemäße Koordinaten- messvorrichtung und ein Koordinatenmessverfahren bereitzustellen, mit der bzw. dem eine zuverlässigere Bestimmung der Objektkoordinaten möglich ist.
Diese Aufgabe wird bei einer gattungsgemäßen Koordinatenmessvorrichtung erfindungsgemäß dadurch gelöst, dass die Koordinatenmessvorrichtung mindestens eine Abstandsmesseinheit für die Objektpunkte umfasst zum Bereitstellen mindestens eines Abstandsdatensatzes, und dass die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie vor der Trian- gulation zumindest dem ersten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt.
In die Erfindung fließt die Überlegung mit ein, dass Mehrdeutigkeiten bei der Ermittlung der Koordinaten der Objektpunkte vermieden und die Genauigkeit erhöht werden können, wenn zusätzlich zu den Helligkeitsbilddatensätzen weitere Informationen bereitgestellt werden. Zu diesem Zweck wird mittels mindestens einer Abstandsmesseinheit mindestens ein Abstandsdatensatz bereitgestellt. Die Datenverarbeitungseinheit kann anhand des mindestens einen Abstandsdatensatzes zumindest den ersten Helligkeitsbilddatensatz ergänzen und um eine räumliche Tiefeninformation erweitern. Der ursprüngliche erste Helligkeitsbilddatensatz enthält mit hoher Genauigkeit eine Angabe über die jeweilige Richtung von Objektpunkten ausgehend von der ersten Bildsensoreinheit. Durch die zusätzliche Abstandsinformation aus dem mindestens einen Abstandsdatensatz kann die Lage des Objektpunktes bereits näherungsweise bestimmt werden. Insbesondere können Mehrdeutigkeiten ausgeschlossen werden, bevor sie auftreten. Zusätzlich zur Information über die Richtung der Objektpunkte liegt eine Abstandsinformation vor, d .h. für jeden Objektpunkt ein Richtungsvektor und eine Information über dessen Länge. Bei der anschließenden Triangulation ergibt sich im Ergebnis unter Einsatz der erfindungsgemäßen Koordinatenmessvorrichtung eine höhere Genauigkeit bei der Ermittlung der Lage der Objektpunkte als bei der gattungsgemäßen Koordinatenmessvorrichtung. Entsprechend zu den vorstehenden Überlegungen erlaubt es der erste Helligkeitsbilddatensatz, etwaige Einschränkungen der Aussagekraft des Abstandsdatensatzes zu vermeiden und Fehlbestimmungen der Objektpunkte auszuschließen, bevor sie entstehen. Bei einer Abstandsmessung können Einschränkungen mit sich daraus ergebenden Messfehlern bei Kantenverläufen auftreten, die sich durch die zusätzliche Information des ersten Helligkeitsbilddatensatzes beheben lassen.
Ebenso wie die Bildsensoreinheiten in definierter räumlicher Beziehung zueinander stehen kann die mindestens eine Abstandseinheit vorzugsweise in de- finierter räumlicher Beziehung zu den Bildsensoreinheiten positioniert sein. Anhand der Relativorientierung ist es der Datenverarbeitungseinheit möglich, Bildbereiche in den Helligkeitsbilddatensätzen einander zuzuordnen bzw. Bildbereiche in den Helligkeitsbilddatensätzen einem Bereich im Abstandsdatensatz zuzuordnen.
Vorteilhafterweise ist die Datenverarbeitungseinheit derart ausgebildet und programmiert, dass sie vor der Triangulation dem zweiten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt. Entsprechend wie beim ersten Helligkeitsbilddatensatz kann die Datenverarbeitungseinheit den zweiten Helligkeitsbilddatensatz um die zusätzliche Abstandsinformation erweitern . Für die Objektpunkte liegen jeweilige Richtungsvektoren sowie Informationen über deren Längen vor, basierend auf einem jeweiligen Helligkeitsbilddatensatz, erweitert um eine Abstandsinformation. Die Genauigkeit der Bestimmung der Lage der Objektpunkte kann dadurch erhöht werden.
Alternativ kann vorgesehen sein, dass die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie den um die Abstandsinformation ergänzten ersten Helligkeitsbilddatensatz mit dem zweiten Helligkeitsbilddatensatz trianguliert.
Von Vorteil ist es, wenn die mindestens eine Abstandsmesseinheit eine Time- of-Flight (TOF)-Messeinheit ist oder umfasst, die den Abstandsdatensatz anhand eines Lichtlaufzeitverfahrens erstellt. Die TOF-Messeinheit umfasst beispielsweise einen PMD-Sensor (Photonic Mixing Device) der zumindest eine Abstandsinformation über einen Abstandsdatensatz bereitstellt. Die Abstandsinformation stammt aus einer Laufzeitmessung für Licht, das zum Beleuchten der Objektpunkte eingesetzt wird, von diesen reflektiert und vom PMD-Sensor detektiert wird. Die Distanz eines Objektpunktes zum PMD-Sensor ist proportional zur Laufzeit des Lichtes, so dass anhand der Laufzeit die Abstandsinformation erstellt werden kann. Die TOF-Messeinheit kann, insbesondere über den PMD-Sensor, zusätzlich zum Abstandsdatensatz einen Helligkeitsbilddatensatz bereitstellen. Darauf wird nachfolgend noch eingegangen.
Die Time-of-Flight (TOF)-Messeinheit weist vorzugsweise eine Beleuchtungseinheit zum Beleuchten der Objektpunkte mit Licht eines Spektralbereiches auf, der sich von einem Spektralbereich unterscheidet, auf den die Bildsensoreinheiten sensitiv sind . Mittels der Beleuchtungseinheit kann Licht eines gewissen Spektralbereiches emittiert werden, das nach Reflexion am Objekt vom PMD-Sensor detektiert wird. Die Nutzung eines unterschiedlichen Spektralbereiches in den Bildsensoreinheiten bietet den Vorteil, dass TOF-Messeinheit nicht durch eine etwaige Beleuchtung für die Bildsensoreinheiten gestört wird und diese nicht durch das Licht der Beleuchtungseinheit gestört werden. Die Genauigkeit der Messungen in den Bilddatensätzen und im Abstandsdatensatz kann dadurch gesteigert werden.
Es kann vorgesehen sein, dass eine von den Bildsensoreinheiten räumlich getrennte Abstandsmesseinheit vorgesehen ist, insbesondere eine Time-of-Flight (TOF)-Messeinheit. Bei einer derartigen Vorrichtung kann vorgesehen sein, dass die Bildsensoreinheiten in Stereoanordnung positioniert sind und eine räumlich getrennte Abstandsmesseinheit und insbesondere TOF-Messeinheit vorgesehen ist, die einen Abstandsdatensatz bereitstellt.
Als vorteilhaft erweist es sich, wenn die Koordinatenmessvorrichtung mindestens eine kombinierte Bildsensor-Abstandsmesseinheit umfasst, die eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of-Flight (TOF)-Messeinheit, und wenn die dem Helligkeitsbilddatensatz unter Zugrundelegung des Abstandsbilddatensatzes die Abstandsinformation hinzugefügt wird . Dementsprechend kann eine kombinierte Einheit vorgesehen sein, die sowohl einen Helligkeitsbilddatensatz als auch einen Abstandsdatensatz liefert, um den Helligkeitsbilddatensatz vor der Triangulation um eine Abstandsinformation zu erweitern. Auf diese Weise kann die Koordinatenmessvorrichtung mit lediglich zwei Einheiten auskommen, nämlich es reicht eine kombinierte Bildsensor-Abstandsmesseinheit und eine weitere Einheit, die zumindest einen weiteren Helligkeitsbilddatensatz bereitstellt.
Bei einer vorteilhaften Ausführungsform der Koordinatenmessvorrichtung ist günstigerweise vorgesehen, dass diese zwei kombinierte Bildsensor-Abstands- messeinheiten umfasst, die insbesondere Time-of-Flight (TOF)-Messeinheiten ausbilden, und dass dem jeweiligen Helligkeitsbilddatensatz unter Zugrundelegung des jeweiligen Abstandsdatensatzes die jeweilige Abstandsinformation hinzugefügt wird. Die Triangulation kann dabei auf Datensätzen von zwei Ab- standsmesseinheiten und insbesondere TOF-Messeinheiten beruhen mit einem jeweiligen Abstandsdatensatz und einem jeweiligen Helligkeitsbilddatensatz. Diese werden beispielsweise von PMD-Sensoren bereitgestellt. Eine gesonderte Abstandsmesseinheit kann dadurch eingespart werden.
Die Datenverarbeitungseinheit kann derart ausgebildet und programmiert sein, dass sie Bildpunkte im Helligkeitsbilddatensatz der kombinierten Bildsensor- Abstandsmesseinheit mit Bildpunkten im Helligkeitsbilddatensatz der zweiten Bildsensoreinheit identifiziert. Abbildungen von Objektpunkten können dadurch über eine Helligkeitsanalyse eines jeweiligen Helligkeitsbilddatensatzes der Bildsensoreinheiten und des Helligkeitsbilddatensatzes der Abstandsmesseinheit erkannt und einander zugeordnet werden. Dies erlaubt es, durch redundante Informationen die Genauigkeit zu steigern, mit der Signalbeiträge in den Helligkeitsbilddatensätzen mit der aus dem mindestens einen Abstandsdatensatz stammenden Abstandsinformation versehen werden.
Bevorzugt ist die Datenverarbeitungseinheit derart ausgebildet und programmiert, dass sie den ersten Helligkeitsbilddatensatz, den zweiten Helligkeits- bilddatensatz und/oder den mindestens einen Abstandsdatensatz in Echtzeit verarbeitet, um die Lage der Objektpunkte im Raum in Echtzeit zu ermitteln.
Es kann vorgesehen sein, dass die erste Bildsensoreinheit und die zweite Bildsensoreinheit einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Helligkeitsbilddatensatz liefern. Jedem Bildsensorbereich kann eine eigene Optik zugeordnet sein, über die die Objektpunkte auf den Bildsensorbereich abgebildet werden.
In entsprechenderweise kann vorgesehen sein, dass zwei Abstandsmessein- heiten einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Abstandsdatensatz liefern. Jedem Bildsensorbereich kann bei einer beispielhaften Ausführungsform eine eigene Optik zugeordnet sein, über die die Objektpunkte auf dem Bildsensorbereich abgebildet werden.
Günstigerweise ist ein Auflösungsvermögen von optischen Sensoren der Bildsensoreinheiten und/oder von Abstandsmesseinheiten identisch.
Von Vorteil ist es, wenn zwei oder mehr Bildsensoreinheiten und/oder zwei oder mehr Abstandsmesseinheiten identisch ausgestaltet sind .
Günstig ist es, wenn die Bildsensoreinheiten und/oder die Abstandsmessein- heit in zumindest einem der folgenden Spektralbereiche zumindest über einen vorgebbaren oder vorgegebenen Wellenlängenbereich sensitiv sind :
Infrarot;
sichtbares Licht;
- Ultraviolett.
Vorteilhafterweise umfasst die Koordinatenmessvorrichtung mehr als zwei Bildsensoreinheiten, wobei mit einer jeweiligen Bildsensoreinheit ein Helligkeitsbilddatensatz erstellbar ist. Ein jeweiliger Bilddatensatz kann vor der Triangulation von der Datenverarbeitungseinheit unter Zugrundelegung des min- destens einen Abstandsdatensatzes um die Abstandsinformation ergänzt werden. Dabei kann insbesondere vorgesehen sein, dass die mehr als zwei Einheiten kombinierte Bildsensor-Abstandsmesseinheiten insbesondere umfassend eine TOF-Messeinheit sind.
Von Vorteil ist es, wenn die Koordinatenmessvorrichtung eine Speichereinheit umfasst, die mit der Datenverarbeitungseinheit gekoppelt oder in diese integriert sein kann. In der Speichereinheit sind vorzugsweise Merkmale beobachtbarer Objektpunkte gespeichert, wobei die Datenverarbeitungseinheit derart ausgebildet und programmiert ist, dass sie diese Merkmale bei der Identifikation und Verfolgung der Objektpunkte heranzieht. Anhand der gespeicherten Merkmale kann die Datenverarbeitungseinheit die Objektpunkte einfacher in den Datensätzen identifizieren. Dies erleichtert auch das Tracken der Objektpunkte. Die Merkmale können gewissermaßen als Zwangsbedingung für die oder als notwendige Eigenschaft der Objektpunkte angesehen werden.
Beispiele für Merkmale beobachtbarer Objektpunkte, die in der Speichereinheit gespeichert sind, sind deren relative Lage, deren Form, deren Helligkeit und/oder deren spektrale Empfindlichkeit.
Die Merkmale können zumindest eines der Folgenden betreffen :
die Anatomie eines Patienten;
ein medizinisches Instrument;
ein Implantat.
Bei der Anatomie des Patienten, dem Instrument und/oder dem Implantat wird bevorzugt dank in der Datenverarbeitungseinheit hinterlegter
3D-Matching-Algorithmen und unter Zugrundelegung der Merkmale in der Speichereinheit ein Tracking des Patienten, des Instrumentes und/oder des Implantates selbst dann ermöglicht, wenn diese nicht mit einer Markiereinrichtung versehen sind. Die Koordinatenmessvorrichtung ist günstigerweise als Messsystem ausgestaltet oder umfasst ein solches, mit einem die Bildsensoreinheiten und ggf. mindestens eine Abstandsmesseinheit aufnehmenden Gehäuse. Im Gehäuse sind die Bildsensoreinheiten und ggf. eine Abstandsmesseinheit in definierter räumlicher und unverrückbarer Beziehung zueinander positioniert. Das Gehäuse kann auch die Beleuchtungseinheit der mindestens einen Abstandsmesseinheit aufnehmen.
Die Datenverarbeitungseinheit kann in das Gehäuse integriert sein.
Alternativ kann vorgesehen sein, dass die Datenverarbeitungseinheit, zumindest teilweise, in einem getrennten Gehäuse der Koordinatenmessvorrichtung positioniert ist. Der Datenaustausch kann kabellos oder kabelgebunden vorgesehen werden.
Bei einer andersartigen vorteilhaften Ausführungsform kann vorgesehen sein, dass die Bildsensoreinheiten und ggf. die mindestens eine Abstandsmesseinheit frei relativ zueinander positionierbar sind . Je nach Anwendungsfall kann es, beispielsweise zur Erzielung einer höheren Genauigkeit, bevorzugt sein, die Bildsensoreinheiten und ggf. mindestens eine Abstandsmesseinheit frei zu positionieren.
Eine Kalibrierung der Koordinatenmessvorrichtung kann unter Einsatz von Zusatzinformationen für aufgenommene (Test-) Objekte vorgenommen werden. Nach der Anordnung der Bildsensoreinheiten und ggf. der mindestens einen Abstandsmesseinheit können die Helligkeitsbilddatensätze simultan verarbeitet werden, insbesondere mittels einer Bündeltriangulation. Unter Berücksichtigung der Zusatzinformationen werden die Abbildungseigenschaften der Koordinatenmessvorrichtung für spätere Messungen bestimmt. Die Koordinatenmessvorrichtung kann für den extra- und/oder den intrakorpo- ralen Einsatz ausgelegt sein (sie kann ein Exoskop, Endoskop, eine Navigationskamera etc. aufweisen oder als solche(s) ausgestaltet sein).
Wie eingangs erwähnt, betrifft die vorliegende Erfindung auch ein medizintechnisches strahlungsbasiertes Koordinatenmessverfahren.
Die eingangs genannte Aufgabe wird durch ein Koordinatenmessverfahren gelöst, bei dem erfindungsgemäß mit einer ersten Bildsensoreinheit und einer zweiten Bildsensoreinheit ein erster Helligkeitsbilddatensatz bzw. ein zweiter Helligkeitsbilddatensatz bereitgestellt und mit einer Datenverarbeitungseinheit Objektkoordinaten von mittels elektromagnetischer Strahlung abgebildeten Objektpunkten im Raum durch Triangulation aus den Helligkeitsbilddatensätzen ermittelt werden, wobei mit mindestens einer Abstandsmesseinheit mindestens ein Abstandsdatensatz bereitgestellt wird und die Datenverarbeitungseinheit vor der Triangulation zumindest dem ersten Bilddatensatz unter Zugrundelegung des Abstandsdatensatzes eine Abstandsinformation hinzufügt.
Die Vorteile, die bereits im Zusammenhang mit der Erläuterung der erfindungsgemäßen Koordinatenmessvorrichtung erwähnt wurden, können unter Einsatz der Koordinatenmessverfahren ebenfalls erzielt werden. Zur Vermeidung von Wiederholungen kann auf die voranstehenden Äußerungen verwiesen werden.
Von Vorteil ist es, wenn als Abstandsmesseinheit eine Time-of-Flight (TOF)- Messeinheit verwendet wird.
Insbesondere ist es günstig, wenn mindestens eine kombinierte Bildsensor- Abstandsmesseinheit verwendet wird, die zugleich eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of-Flight (TOF)- Messeinheit. Weitere vorteilhafte Ausführungsbeispiele des erfindungsgemäßen Koordinate nmess verfahre ns ergeben sich aus den Merkmalen vorteilhafter Ausführungsformen der erfindungsgemäßen Koordinatenmessvorrichtung, so dass diesbezüglich auf die voranstehenden Ausführungen verwiesen werden kann.
Die nachfolgende Beschreibung bevorzugter Ausführungsformen der Erfindung dient im Zusammenhang mit der Zeichnung der näheren Erläuterung der Erfindung . Es zeigen :
Figur 1 : eine schematische Darstellung einer erfindungsgemäßen Koordinatenmessvorrichtung;
Figur 2 : eine schematische Darstellung einer weiteren erfindungsgemäßen
Koordinatenmessvorrichtung;
Figur 3 : eine schematische Darstellung einer dritten erfindungsgemäßen
Koordinatenmessvorrichtung; und
Figur 4: schematisch eine Bündeltriangulation unter Einsatz von fünf Bildsensoreinheiten zur Kalibrierung einer Koordinatenmessvorrichtung .
Figur 1 zeigt in schematischer Darstellung eine mit dem Bezugszeichen 10 belegte erfindungsgemäße medizintechnische strahlungsbasierte Koordinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Koordinaten- messverfahrens. Die Koordinatenmessvorrichtung 10 kann intraoperativ zum Einsatz kommen, um Objektpunkte abzubilden und im Raum zu verfolgen (Tracking). Beispielhaft zeigt die Zeichnung einen Objektpunkt 12, bei dem es sich um ein Markierelement 14 einer im Übrigen nicht dargestellten chirurgischen Markiereinrichtung handelt. Das Markierelement 14 kann selbstleuchtend ausgestaltet sein oder reflektierend für elektromagnetische Strahlung, die von einer Leuchteinrichtung 16 der Koordinatenmessvorrichtung 10 ausgesandt wird. Die Markiereinrichtung kann beispielsweise in nicht gezeigter, an sich bekannter Weise an einem Körperteil eines Patienten festgelegt sein und ein Referenzkoordinaten System am Körperteil bilden.
Ein weiteres zu erfassendes und zu verfolgendes Objekt 18 umfasst eine Vielzahl einzelner Objektpunkte. Das Objekt 18 ist ein Körperteil 20 eines Patienten, zum Beispiel eine Extremität. Die Zeichnung zeigt schematisch, wie ein exemplarisch, ausgewählter Objektpunkt 22 mit der Koordinatenmessvorrichtung 10 abgebildet wird.
Es wird für die nachfolgenden Ausführungen darauf hingewiesen, dass die weiterführende Erläuterung zum Teil beispielhaft anhand der Objektpunkte 12, 22 vorgenommen wird . Diese Objektpunkte 12, 22 sind Beispiele für die von der Koordinatenmessvorrichtung 10 beobachtbaren Objektpunkte insgesamt. Der Objektraum wird dementsprechend nicht punktweise abgetastet, sondern es wird die beobachtbare Szene als Ganzes aufgenommen. Der Objektpunkt 22 steht daher auch beispielhaft für das Körperteil 20, dessen weitere Objektpunkte, soweit von der Koordinatenmessvorrichtung 10 sichtbar, simultan mit aufgenommen werden .
Die Koordinatenmessvorrichtung 10 ist ausgestaltet als optisches Messsystem 24, das ein Gehäuse 26 aufweist. Im Gehäuse 26 ist ein Stereokamerasystem 28 aufgenommen mit einer ersten Bildsensoreinheit 30 und einer zweiten Bildsensoreinheit 32. Die Bildsensoreinheiten 30, 32 umfassen optische Bildsensoren 34 bzw. 36. Die Bildsensoren 34, 36 sind sensitiv auf elektromagnetische Strahlung, die von der Leuchteinrichtung 16 emittiert und vom Objektpunkt 12 und dem Objekt 18 reflektiert wird, oder die vom Markierelement 14 emittiert wird. Beide Bildsensoren 34, 36 weisen ein hohes Auflösungsvermögen auf, das vorzugsweise übereinstimmt. Die Bildsensoreinheiten 30, 32 sind in bekannter räumlicher Orientierung zueinander an der Koordinatenmessvorrichtung 10 angeordnet.
Die Koordinatenmessvorrichtung 10 umfasst eine Datenverarbeitungseinheit 38, die ebenfalls im Gehäuse 26 aufgenommen ist. Die Bildsensoren 34, 36 sind mit der Datenverarbeitungseinheit 38 so gekoppelt, dass von den Bildsensoreinheiten 32, 34 erstellbare Helligkeitsbilddatensätze, die eine jeweilige Helligkeitsinformation umfassen, an die Datenverarbeitungseinheit 38 weitergeleitet und von dieser verarbeitet werden. Zu diesem Zweck ist in der Datenverarbeitungseinheit 38 ein lauffähiges Computerprogramm gespeichert.
Die Datenverarbeitungseinheit 38 kann durch Triangulation aus den Helligkeitsbilddatensätzen die Koordinaten der Objektpunkte 12, 22 ermitteln. Bewegen sich die Objektpunkte im Raum, können sie von der Koordinatenmessvorrichtung 10 verfolgt werden (Tracking).
Die Zeichnung zeigt schematisch, wie die Objektpunkte 12, 22 von der ersten Bildsensoreinheit 30 unter Richtungsvektoren 40 bzw. 42 gesehen werden können. In entsprechender Weise werden die Objektpunkte 12, 22 von der Bildsensoreinheit 32 unter Richtungsvektoren 44 bzw. 46 gesehen. Die Genauigkeit, mit der anhand der Bilddatensätze die Richtungsvektoren 40 bis 46 angegeben werden können, ist in üblicher Weise relativ hoch. Allerdings besteht bei Stereokamerasystemen 28 wie eingangs erwähnt die Möglichkeit, dass sich durch die Lage unterschiedlicher Objektpunkte 12, 22 zueinander Mehrdeutigkeiten bei der Auswertung der Bilddatensätze ergeben können.
Um die Genauigkeit zu steigern, mit der die Lage von Objektpunkten 12, 22 angegeben werden kann, umfasst die Koordinatenmessvorrichtung 10 mindestens eine Abstandsmesseinheit 48. Die Abstandsmesseinheit 48 ist ausgestaltet als Time-of-Flight (TOF)-Messeinheit 50 und umfasst einen Bildsensor in Gestalt eines PMD-Sensors 52. Weiter umfasst die Time-of-Flight (TOF)-Mess- einheit 50 eine Beleuchtungseinheit 54 zum Beleuchten abzubildender Objekte.
Der PMD-Sensor 52 stellt zumindest einen Abstandsdatensatz bereit, kann aber ergänzend einen Helligkeitsbilddatensatz bereitstellen. Die Beleuchtungseinheit 54 und die Leuchteinrichtung 16 emittieren Licht unterschiedlicher Spektralbereiche.
Mit der TOF-Messeinheit 50 können die Objektpunkte 12, 22 derart abgebildet werden, dass der Abstand der Objektpunkte 12, 22 von der TOF-Messeinheit 50 ermittelt wird . Zu diesem Zweck beleuchtet die Beleuchtungseinheit 54 die Objektpunkte 12, 22. Beispielsweise wird die Laufzeit des Lichtes von der Emission bis zur Detektion gemessen, so dass anhand der Laufzeit mit dem PMD-Sensor 52 ortsaufgelöst eine Abstandsinformation ermittelt werden kann. Die TOF-Messeinheit 50 kann einen Abstandsdatensatz bereitstellen und an die Datenverarbeitungseinheit 38 übermitteln.
Die TOF-Messeinheit 50 ist bei der Verwendung von selbstleuchtenden Markierelementen vorzugsweise mit diesen synchronisiert, um diese zu triggern, oder umgekehrt.
Die Zeichnung zeigt beispielhaft Entfernungsvektoren 56 und 58 von der TOF- Messeinheit 50 zu den Objektpunkten 12 bzw. 22. Die Abstandsinformation in den Entfernungsvektoren 56, 58 weist eine erhöhte Genauigkeit auf.
Die räumliche Orientierung der TOF-Messeinheit 50 und der Bildsensoreinheiten 30, 32 zueinander ist vorzugsweise fest und der Datenverarbeitungseinheit 38 bevorzugt bekannt.
Zur Ermittlung der Lage der Objektpunkte 12, 22 verarbeitet die Datenverarbeitungseinheit 38 erfindungsgemäß den ersten Helligkeitsbilddatensatz der ersten Bildsensoreinheit 30 unter Zugrundelegung zumindest des Abstandsda- tensatzes der TOF-Messeinheit 50 vor der Triangulation. Dabei kann der erste Helligkeitsbilddatensatz um eine Abstandsinformation ergänzt werden, die dem Abstandsdatensatz entnommen werden kann.
Für die von der ersten Bildsensoreinheit 30 abgebildeten Objektpunkte 12, 22 weist der ergänzte erste Helligkeitsbilddatensatz daher außer der Richtungsinformation eine zusätzliche Abstandsinformation auf. Über die Ermittlung der anhand der Richtungsvektoren 40, 42 symbolisierten Richtungen zu den Objektpunkten 12, 22 hinaus kennt die Datenverarbeitungseinheit 38 in den so ergänzten Helligkeitsbilddatensatz auch die Länge der Richtungsvektoren und damit die Abstände der Objektpunkte 12, 22 von der ersten Bildsensoreinheit 30. Diese Abstände kann die Datenverarbeitungseinheit 38 der Abstandsinformation der TOF-Messeinheit 50 unter Berücksichtigung der Relativanordnung der TOF-Messeinheit 50 und der ersten Bildsensoreinheit 30 entnehmen.
In entsprechender Weise verarbeitet die Datenverarbeitungseinheit 38 bevorzugt auch den zweiten Helligkeitsbilddatensatz der zweiten Bildsensoreinheit 32 vor der Triangulation mit dem Abstandsdatensatz der TOF-Messeinheit 50. Dem zweiten Helligkeitsbilddatensatz wird eine Abstandsinformation hinzugefügt, die zusätzlich zur Richtungsinformation aus den Richtungsvektoren 44, 46 als deren Länge(n) in den zweiten Bilddatensatz einfließt. Die Abstände der Objektpunkte 12, 22 kann die Datenverarbeitungseinheit 38 aus dem Abstandsdatensatz mit den Entfernungsvektoren 56, 58 und unter Zugrundelegung der Relativposition der TOF-Messeinheit 50 und der zweiten Bildsensoreinheit 32 ermitteln.
Es kann vorgesehen sein, dass die TOF-Messeinheit 50 über den Abstandsdatensatz hinaus einen Helligkeitsbilddatensatz bereitstellt, der Helligkeitsinformationen über die beobachteten Objektpunkte 12, 22 umfasst. Die Datenverarbeitungseinheit 38 kann die Bildpunkte der Objektpunkte 12, 22 im Helligkeitsbilddatensatz mit Bildpunkten der Objektpunkte 12, 22 in den Bilddatensätzen identifizieren. Dies erlaubt es, eine redundante Information zu schaffen, damit eine Zuordnung des Abstandsdatensatzes zu den Helligkeitsbilddatensätzen erleichtert wird.
Anschließend ermittelt die Datenverarbeitungseinheit 38 die Koordinaten der Objektpunkte 12, 22 im Raum durch Triangulation. Da die jeweiligen Helligkeitsbilddatensätze um die Abstandsinformation aus dem Abstandsdatensatz ergänzt sind, kann eine wesentlich genauere Bestimmung der Objektpunkte 12, 22 als bei herkömmlichen Koordinatenmessvorrichtungen erfolgen. Mehrdeutigkeiten, wie beispielsweise Ghost Points, wie sie bei herkömmlichen Stereokamerasystemen auftreten können, sind bereits vor der Triangulation weitestgehend vermeidbar.
Die Koordinatenmessvorrichtung 10 umfasst eine Speichereinheit 60, die in die Datenverarbeitungseinheit 38 integriert sein kann. In der Speichereinheit 60 können Merkmale für beobachtbare Objektpunkte gespeichert sein. Beispielsweise kann die Geometrie der Markiereinrichtung mit den Relativpositionen der Markierelemente zueinander gespeichert sein. Insbesondere umfasst die Speichereinheit 60 Merkmale über die Anatomie des Patienten, speziell über das Körperteil 20.
Die Datenverarbeitungseinheit 38 kann bei der Datenauswertung die in der Speichereinheit 60 gespeicherten Merkmale zum Identifizieren der Bilder der Objektpunkte in den Bilddatensätzen und im Abstandsdatensatz heranziehen. Zeitabhängig können die Merkmale beim Tracken der Objektpunkte berücksichtigt werden.
Dies gibt beispielsweise die Möglichkeit, in der Datenverarbeitungseinheit 38 3D-Matching-Algorithmen zu hinterlegen und ein Tracken der Anatomie des Patienten durchzuführen, ohne dass hierfür eine Markierung des Körperteils 20 mit einer Markiereinrichtung erforderlich ist. Dies erlaubt es, mit geringerer Invasivität zu operieren. Insgesamt sind Oberflächenmessungen und -tracking, bei denen die Oberfläche durch ein engmaschiges Netz von stützenden Objektpunkten aufgenommen wird, mit vergleichsweise geringer Rechenleistung möglich.
Figur 2 zeigt eine mit dem Bezugszeichen 70 belegte erfindungsgemäße Koor- dinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens. Für gleiche oder gleichwirkende Merkmale und Bauteile der Koordinaten- messvorrichtungen 10 und 70 werden identische Bezugszeichen benutzt.
Die Koordinatenmessvorrichtung 70 unterscheidet sich von der Koordinaten- messvorrichtung 10 dadurch, dass anstelle der lediglich Helligkeitsbilddatensätze bereitstellenden Bildsensoreinheiten 30, 32 kombinierte Bildsensor- Abstandsmesseinheiten 72, 74 vorgesehen sind. Diese bilden insbesondere Time-of-Flight (TOF)-Messeinheiten 76, 78 mit PMD-Sensoren 80, 82 aus. Die TOF-Messeinheit 50 entfällt.
Die kombinierten Bildsensor-Abstandsmesseinheiten 72,74 sind so ausgestaltet, dass über die PMD-Sensoren 80 bzw. 82 jeweils ein Helligkeitsbilddatensatz und ein Abstandsdatensatz bereitstellbar sind . Die Datensätze werden der Datenverarbeitungseinheit 38 zugeführt. Der Helligkeitsbilddatensatz und der Abstandsdatensatz einer jeweiligen kombinierten Einheit 72, 74 kann von der Datenverarbeitungseinheit 38 ausgewertet werden. Dabei ist es möglich, jedem Helligkeitsbilddatensatz die Abstandsinformation aus dem entsprechenden Abstandsdatensatz hinzuzufügen, um einen jeweiligen dreidimensionalen Datensatz bereitzustellen. Für jeden Objektpunkt 12, 22 kann dadurch ein Richtungsvektor 40, 44 bzw. 42, 46 sowie gleichzeitig der dazugehörige Entfernungsvektor bestimmt werden, d . h. die Länge der Richtungsvektoren.
Mehrdeutigkeiten können bereits vor der Triangulation durch die Datenverarbeitungseinheit 38 ausgeschlossen werden. Bei der Triangulation kann die Datenverarbeitungseinheit 38 die Koordinaten der Objektpunkte 12, 22 im Raum auf diese Weise genauer ermitteln, als dies mit einer herkömmlichen Koordinatenmessvorrichtung der Fall ist. Figur 3 zeigt eine mit dem Bezugszeichen 90 belegte erfindungsgemäße Koor- dinatenmessvorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens. Für gleiche oder gleichwirkende Merkmale und Bauteile der Koordinaten- messvorrichtungen 10, 70 und 90 werden identische Bezugszeichen benutzt.
Bei der Koordinatenmessvorrichtung 90 kommt die kombinierte Bildsensor- Abstandsmesseinheit 72 zum Einsatz, die die TOF-Messeinheit 76 mit dem PMD-Sensor 80 ausbildet. Dieser stellt wie bei der Koordinatenmessvorrichtung 70 sowohl einen Helligkeitsbilddatensatz als auch einen Abstandsbild- datensatz bereit, die an die Datenverarbeitungseinheit 38 übertragen werden können. Die Datenverarbeitungseinheit 38 kann dem Helligkeitsbilddatensatz die Abstandsinformation hinzufügen und einen dreidimensionalen Datensatz kreieren. Zusätzlich zur Information über die Richtungsvektoren 40, 42 zu den Objektpunkten 14, 22 kann auf diese Weise gleichzeitig ein Entfernungsvektor, d . h die Länge eines jeweiligen Richtungsvektors, bestimmt werden. Mehrdeutigkeiten lassen sich bereits vor der Triangulation vermeiden.
Zusätzlich kommt in der Koordinatenmessvorrichtung 90 die Bildsensoreinheit 32 mit dem Bildsensor 36 zum Einsatz. Anhand des vom Bildsensor 36 bereitgestellten Helligkeitsbilddatensatzes kann die Datenverarbeitungseinheit 38 die Richtungsvektoren 44, 46 zu den Objektpunkten 14, 22 ermitteln.
Bei der Triangulation des um die Abstandsinformation ergänzten ersten Helligkeitsbilddatensatzes des PMD-Sensors 80 mit dem Helligkeitsbilddatensatz des Bildsensors 36 können die Koordinaten der Objektpunkte 12, 22 im Raum genauer ermittelt werden, als dies mit einer herkömmlichen Koordinatenmessvorrichtung der Fall ist.
Die Figur 4 zeigt schematisch, wie ein Kamerasystem 100, das eine Mehrzahl von Kameras 102 umfassen kann, kalibriert werden kann. Die Kameras 102 können frei positionierbar sein. Vorliegend sind beispielhaft fünf Kameras 102 gezeigt, die den Bildsensoreinheiten 30, 32, der TOF-Messeinheit 50 oder den kombinierten Bildsensor-Abstandsmesseinheiten 72, 74 entsprechen können.
Die Figur 4 stellt dabei schematisch ein jeweiliges Abbildungszentrum 104 und eine Bildebene 106 einer Kamera 102 dar, sowie ein Objekt 108 mit einer Mehrzahl von Objektpunkten 110.
Der in der Figur 4 nicht gezeigten Datenverarbeitungseinheit ist die relative Orientierung der Objektpunkte 110 bekannt. Diese Zusatzinformation ist in der Speichereinheit gespeichert. Mit Hilfe der Zusatzinformation können die Messungen aus den Bilddaten den Objektpunkten 110 zugeordnet werden. Bei Vorhandensein zumindest einer TOF-Messeinheit kann dabei neben der Lage des Objektpunktes (Richtungsvektor) auch noch eine Abstandsinformation des Objektpunktes (Entfernungsvektor) wie vorstehend beschrieben berücksichtigt werden. Durch eine Bündeltriangulation können die jeweiligen Bilddaten der Kameras 102 von der Datenverarbeitungseinheit simultan verarbeitet werden. Idealerweise schneiden sich die Bildstrahlen 112, 114 eines jeweiligen Objektpunktes 110 an demselben Punkt. Auf diese Weise kann die Abbildungseigenschaft des Kamerasystems 100 ermittelt werden, insbesondere die Relativorientierung der Kameras 102 und die Orientierung der Kameras 102 zum Objekt 108.
Bezugszeichenliste:
10 Koordinatenmessvorrichtung
12 Objektpunkt
14 Markierelement
16 Leuchteinrichtung
18 Objekt
20 Körperteil
22 Objektpunkt
24 Messsystem
26 Gehäuse
28 Stereokamera System
30 erste Bildsensoreinheit
32 zweite Bildsensoreinheit
34 Bildsensor
36 Bildsensor
38 Datenverarbeitungseinheit
40 Richtungsvektor
42 Richtungsvektor
44 Richtungsvektor
46 Richtungsvektor
48 Abstandsmesseinheit
50 TOF-Messeinheit
52 PMD-Sensor
54 Beleuchtungseinheit
56 Entfernungsvektor
58 Entfernungsvektor
60 Speichereinheit
70 Koordinatenmessvorrichtung
72 kombinierte Bildsensor-Abstandsmesseinheit
74 kombinierte Bildsensor-Abstandsmesseinheit
76 TOF-Messeinheit 78 TOF-Messeinheit
80 PMD-Sensor
82 PMD-Sensor
100 Kamerasystem
102 Kamera
104 Abbildungszentrum
106 Bildebene
108 Objekt
110 Objektpunkt
112 Bildstrahl
114 Bildstrahl

Claims

PATENTANSPRÜCHE
1. Medizintechnische strahlungsbasierte Koordinatenmessvorrichtung, umfassend eine erste Bildsensoreinheit (30; 72) und eine zweite Bildsensoreinheit (32; 74) zum Bereitstellen eines ersten Helligkeitsbilddatensatzes bzw. eines zweiten Helligkeitsbilddatensatzes sowie eine Datenverarbeitungseinheit (38) zum Ermitteln der Objektkoordinaten von mittels elektromagnetischer Strahlung abbildbaren Objektpunkten (12, 22) im Raum durch Triangulation aus den Helligkeitsbilddatensätzen, d ad u rch g eke n nze ich n et, dass die Koordinatenmessvorrichtung (10) mindestens eine Abstandsmesseinheit (48; 72, 74) für die Objektpunkte (12, 22) umfasst zum Bereitstellen mindestens eines Abstandsdatensatzes, und dass die Datenverarbeitungseinheit (38) derart ausgebildet und programmiert ist, dass sie vor der Triangulation zumindest dem ersten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt.
2. Koordinatenmessvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (38) derart ausgebildet und programmiert ist, dass sie vor der Triangulation dem zweiten Helligkeitsbilddatensatz unter Zugrundelegung eines Abstandsdatensatzes eine Abstandsinformation hinzufügt.
3. Koordinatenmessvorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (38) derart ausgebildet und programmiert ist, dass sie den um die Abstandsinformation ergänzten ersten Helligkeitsbilddatensatz mit dem zweiten Helligkeitsbilddatensatz tri- anguliert.
4. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Abstandsmesseinheit (48; 72, 74) eine Time-of-Flight (TOF)-Messeinheit (50; 76, 78) ist oder umfasst, die den Abstandsdatensatz anhand eines Lichtlaufzeitverfahrens erstellt.
Koordinatenmessvorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die Time-of-Flight (TOF)-Messeinheit (50; 76, 78) eine Beleuchtungseinheit (54) zum Beleuchten der Objektpunkte (12, 22) mit Licht eines Spektralbereiches aufweist, der sich von einem Spektralbereich unterscheidet, auf den die Bildsensoreinheiten (30, 32; 72, 74) sensitiv sind .
Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass eine von den Bildsensoreinheiten (30, 32) räumlich getrennte Abstandsmesseinheit (48) vorgesehen ist, insbesondere eine Time-of-Flight (TOF)-Messeinheit (50).
Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Koordinatenmessvorrichtung (10) mindestens eine kombinierte Bildsensor-Abstandsmesseinheit (72, 74) umfasst, die eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of-Flight (TOF)- Messeinheit (76, 78), und dass dem Helligkeitsbilddatensatz unter Zugrundelegung des Abstandsdatensatzes die Abstandsinformation hinzugefügt wird .
Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Koordinatenmessvorrichtung (10) zwei kombinierte Bildsensor-Abstandsmesseinheiten (72, 74) umfasst, die insbesondere Time-of-Flight (TOF)-Messeinheiten (76, 78) ausbildet, und dass dem jeweiligen Helligkeitsbilddatensatz unter Zugrundelegung des jeweiligen Abstandsdatensatzes die jeweilige Abstandsinformation hinzugefügt wird.
9. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die erste Bildsensoreinheit und die zweite Bildsensoreinheit einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Helligkeitsbilddatensatz liefern.
10. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass zwei Abstandsmesseinheiten einen gemeinsamen Bildsensor aufweisen, der zwei Bildsensorbereiche aufweist, die jeweils einen Abstandsdatensatz liefern.
11. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Auflösungsvermögen von optischen Sensoren der Bildsensoreinheiten (30, 32; 72, 74) und/oder von Abstandsmesseinheiten (48; 72, 74) identisch ist.
12. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass zwei oder mehr Bildsensoreinheiten (30, 32; 72, 74) und/oder zwei oder mehr Abstandsmesseinheiten (72, 74) identisch ausgestaltet sind.
13. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildsensoreinheiten(30, 32; 72, 74) und/oder die mindestens eine Abstandsmesseinheit (48; 72, 74) in zumindest einem der folgenden Spektralbereiche zumindest über einen vorgebbaren oder vorgegebenen Wellenlängenbereich sensitiv sind :
Infrarot;
sichtbares Licht;
Ultraviolett.
14. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, gekennzeichnet durch mehr als zwei Bildsensoreinheiten, wobei mit einer jeweiligen Bildsensoreinheit ein Helligkeitsbilddatensatz erstellbar ist.
15. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, gekennzeichnet durch eine Speichereinheit (60), in der Merkmale beobachtbarer Objektpunkte gespeichert sind, insbesondere deren relative Lage, Form, Helligkeit und/oder spektrale Empfindlichkeit, wobei die Datenverarbeitungseinheit (38) derart ausgebildet und programmiert ist, dass sie diese Merkmale bei der Identifikation und Verfolgung der Objektpunkte heranzieht.
16. Koordinatenmessvorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Merkmale zumindest eines der folgenden betreffen :
die Anatomie eines Patienten;
ein medizinisches Instrument;
ein Implantat.
17. Koordinatenmessvorrichtung nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Koordinatenmessvorrichtung (10) als Messsystem (24) ausgestaltet ist oder ein solches umfasst, mit einem die Bildsensoreinheiten (30, 32; 72, 74) und ggf. mindestens eine Abstands- messeinheit (48; 72, 74) aufnehmenden Gehäuse.
18. Koordinatenmessvorrichtung nach Anspruch 17, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (38) in das Gehäuse (26) integriert ist oder dass die Datenverarbeitungseinheit (38) in einem getrennten Gehäuse der Koordinatenmessvorrichtung positioniert ist.
19. Koordinatenmessvorrichtung nach einem der Ansprüche 1 bis 16,
dadurch gekennzeichnet, dass die Bildsensoreinheiten und ggf. die min- destens eine Abstandsmesseinheit frei relativ zueinander positionierbar sind .
20. Medizintechnisches strahlungsbasiertes Koordinatenmessverfahren, bei dem mit einer ersten Bildsensoreinheit und einer zweiten Bildsensoreinheit ein erster Helligkeitsbilddatensatz bzw. ein zweiter Helligkeitsbilddatensatz bereitgestellt und mit einer Datenverarbeitungseinheit Objektkoordinaten von mittels elektromagnetischer Strahlung abgebildeten Objektpunkten im Raum durch Triangulation aus den Helligkeitsbilddatensätzen ermittelt werden, wobei mit mindestens einer Abstandsmesseinheit mindestens ein Abstandsdatensatz bereitgestellt wird und die Datenverarbeitungseinheit vor der Triangulation zumindest dem ersten Bilddatensatz unter Zugrundelegung des Abstandsdatensatzes eine Abstandsinformation hinzufügt.
21. Koordinatenmessverfahren nach Anspruch 20, dadurch gekennzeichnet, dass als Abstandsmesseinheit eine Time-of-Flight (TOF)-Messeinheit verwendet wird .
22. Koordinatenmessverfahren nach Anspruch 20 oder 21, dadurch gekennzeichnet, dass mindestens eine kombinierte Bildsensor-Abstandsmess- einheit verwendet wird, die eine Bildsensoreinheit zum Bereitstellen eines Helligkeitsbilddatensatzes und eine Abstandsmesseinheit zum Bereitstellen eines Abstandsdatensatzes ausbildet, insbesondere eine Time-of- Flight (TOF)-Messeinheit.
EP16787445.2A 2015-11-19 2016-10-26 Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren Withdrawn EP3377916A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015120068 2015-11-19
DE102016109173.1A DE102016109173A1 (de) 2015-11-19 2016-05-19 Medizintechnische Koordinatenmessvorrichtung und medizintechnisches Koordinatenmessverfahren
PCT/EP2016/075801 WO2017084843A1 (de) 2015-11-19 2016-10-26 Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren

Publications (1)

Publication Number Publication Date
EP3377916A1 true EP3377916A1 (de) 2018-09-26

Family

ID=58693673

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16787445.2A Withdrawn EP3377916A1 (de) 2015-11-19 2016-10-26 Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren

Country Status (4)

Country Link
US (1) US20180368919A1 (de)
EP (1) EP3377916A1 (de)
DE (1) DE102016109173A1 (de)
WO (1) WO2017084843A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016113000A1 (de) * 2016-07-14 2018-01-18 Aesculap Ag Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
DE102017130897A1 (de) * 2017-12-21 2019-06-27 Pilz Gmbh & Co. Kg Verfahren zum Bestimmen von Entfernungsinformation aus einer Abbildung eines Raumbereichs
CN110132229B (zh) * 2019-05-10 2021-06-25 西南交通大学 一种铁路轨道控制网三角高程测量与数据处理的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584339B2 (en) * 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
US6974373B2 (en) * 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
DE102007063626A1 (de) * 2007-04-19 2009-09-10 Carl Zeiss Surgical Gmbh Verfahren und Vorrichtung zum Darstellen eines Feldes eines Gehirns eines Patienten und Navigationssystem für Gehirnoperationen
DE102009046108B4 (de) * 2009-10-28 2022-06-09 pmdtechnologies ag Kamerasystem
WO2013155388A1 (en) * 2012-04-12 2013-10-17 University Of Florida Research Foundation, Inc. Ambiguity-free optical tracking system
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
DE102013200898A1 (de) * 2013-01-21 2014-07-24 Siemens Aktiengesellschaft Endoskop, insbesondere für die minimal-invasive Chirurgie
DE102013112375A1 (de) 2013-11-11 2015-05-13 Aesculap Ag Chirurgische Referenzierungsvorrichtung, chirurgisches Navigationssystem und Verfahren
DE102014104800A1 (de) 2014-04-03 2015-10-08 Aesculap Ag Medizinische Befestigungseinrichtung sowie Referenzierungsvorrichtung und medizinisches Instrumentarium

Also Published As

Publication number Publication date
WO2017084843A1 (de) 2017-05-26
US20180368919A1 (en) 2018-12-27
DE102016109173A1 (de) 2017-05-24

Similar Documents

Publication Publication Date Title
DE69819363T2 (de) System zur bestimmung der räumlichen position und orientierung eines körpers
DE102010042540B4 (de) Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems
EP1420264B1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Messsystems
EP2742319B1 (de) Messgerät zur bestimmung der räumlichen lage eines messhilfsinstruments
DE102012108567B4 (de) Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
DE102010042278A1 (de) Operationsnavigationssystem mit strukturiertem Licht
DE112014003278B4 (de) Laserliniensonde mit verbessertem großen Dynamikbereich
EP2850388B1 (de) Registrierverfahren und -vorrichtung für ein positionserfassungssystem
DE102016118562A1 (de) Dreidimensionales bildgerät, das eine dichroitische kamera umfasst
EP2914974B1 (de) Verfahren und vorrichtung zur bestimmung einer orientierung eines objekts
WO2017084843A1 (de) Medizintechnische koordinatenmessvorrichtung und medizintechnisches koordinatenmessverfahren
WO2003105709A1 (de) Verfahren und instrument zur chirurgischen navigation
DE112014001268T5 (de) Kompensation eines Scanners mit strukturiertem Licht, der in sechs Freiheitsgraden verfolgt wird
EP1886641A1 (de) Verfahren und System zum Bestimmen der relativen Lage eines medizinischen Instruments relativ zu einer Körperstruktur
DE102009032771B4 (de) Messeinrichtung und Verfahren zum dreidimensionalen optischen Vermessen von Objekten
EP2618175A1 (de) Lasertracker mit Funktionalität zur graphischen Zielbereitstellung
DE102013200898A1 (de) Endoskop, insbesondere für die minimal-invasive Chirurgie
EP1066497A1 (de) Verfahren zur bestimmung der position und drehlage eines objektes
DE102013203399A1 (de) Verfahren und Projektionsvorrichtung zur Markierung einer Oberfläche
DE102013007886B3 (de) Time-of-Flight-System mit räumlich voneinander getrennten Time-of-Flight-Empfangseinrichtungen und Verfahren zur Abstandsmessung von einem Objekt
DE102018108936A1 (de) Formmesssystem und Formmessverfahren
DE102018119343A1 (de) Verfahren zur Kalibrierung von Objekten in einem Referenzkoordinatensystem und Verfahren zum Tracking von Objekten
DE102016219632A1 (de) Chromatisch konfokaler Sensor zur Bestimmung von Koordinaten mindestens eines Messobjekts
EP1813911A1 (de) Positionsbestimmungssystem
DE102019131693A1 (de) Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180517

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210315

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230815