EP3319508A1 - System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses - Google Patents

System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses

Info

Publication number
EP3319508A1
EP3319508A1 EP16748268.6A EP16748268A EP3319508A1 EP 3319508 A1 EP3319508 A1 EP 3319508A1 EP 16748268 A EP16748268 A EP 16748268A EP 3319508 A1 EP3319508 A1 EP 3319508A1
Authority
EP
European Patent Office
Prior art keywords
scanner
screen
scanning
anatomical structures
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP16748268.6A
Other languages
English (en)
French (fr)
Inventor
Severin STALDER
Markus Berner
Konrad Klein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirona Dental Systems GmbH
Original Assignee
Sirona Dental Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirona Dental Systems GmbH filed Critical Sirona Dental Systems GmbH
Publication of EP3319508A1 publication Critical patent/EP3319508A1/de
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6886—Monitoring or controlling distance between sensor and tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Definitions

  • the present invention relates to a system for scanning anatomical structures, such as teeth or the jaw of patients, to provide an optical,
  • the present invention particularly relates to
  • the invention provides the scan results in a natural way and thus simplifies the handling of the
  • the present invention can be used in the field of augmented reality, but differs
  • Mini / BMW is planning a kind
  • Augmented reality The endoscopic instruments need to be precisely navigated to a specific point with what Augmented reality can be simplified.
  • the invention presented here differs from other augmented reality applications also in the way in which the position of the artificial data is determined to be reality. This positioning is done very accurately and in a simple way about the position of the scanner and the scan result.
  • US 2007/0172101 AI describes a similar system. According to this invention is a
  • the two-dimensional image is from an intraoral camera.
  • the three-dimensional model is the combination of the three-dimensional images of the
  • a single scan may be imperfect in certain situations. For example, a scan may be incomplete (holey), faulty, or noisy at certain, hard-to-measure areas. Such imperfections may possibly be caused by the
  • the method of joining is usually one
  • Model matches typically a variant of the ICP (Iterative Closest Point) method.
  • the new scan is added to the already scanned scan data, that is, set so that the new scan data cling to the existing scan data with minimal error. Now it has to be checked on a regular basis, if this appendix was also successful. This will be
  • the found minimum error for example, the found minimum error or the
  • the degree of overlap should be large enough. If such a
  • Criteria are met, the new scan is also part of the model, otherwise it must be discarded, at least for the moment.
  • the user has moved the scanner too fast, so the new scan does not overlap or overlap with the model too little. - The user moves the scanner so that the object to be scanned is outside the scanning range of the scanner.
  • the scan data has too many perturbations, so the ICP error is too big.
  • the scanned structure is not rigidly connected and has deformed. So the new scan does not work with the Match Model.
  • such parts are, for example, the tongue or the cheek, which can move independently of the rigid teeth.
  • the scanner can only be used to some extent as a tool to display the virtual model in the correct position relative to the anatomical structure. It lacks the information where the current scan is relative to the model.
  • the scan and the scanned model can not be scanned simultaneously.
  • the scanner will project
  • WO 2004/100067 A2 describes a system that has a
  • WO 2015/181454 A1 describes a system that has a
  • Augmented reality eyewear allow a calculation of a sufficiently accurate point cloud of anatomical structures for a precise blending.
  • US 2012/0056993 AI, WO 2010/067267 AI and WO 2014/120909 AI are further documents describing systems for displaying scan results. It is the object of the present invention to provide a system for scanning anatomical structures and displaying the scan result and an associated method for
  • the presentation of the scan result should allow easier handling of the scanner.
  • the task is solved by a system as it is in
  • a system for scanning anatomical structures and displaying the scan result comprising: an intraoral scanner having an anatomical image
  • Registration unit which determines the spatial position of the
  • a computing unit that sets when scanning the scanner with a screen and the detection unit and a scan result based on the intraoral acquired image of the anatomical structures and the
  • Scan pauses position, orientation and scaling of anatomical structures and estimates an appropriate image of the anatomical structures as
  • 3D video-enabled surface imaging for real-time superimposition of reality with captured 3D data using the acquisition device to determine the
  • An anatomical structure can be used in particular as teeth
  • the properties needed for matching are selected from a variety of properties during the successful addition of scans to the model.
  • the properties needed for matching are selected from a variety of properties during the successful addition of scans to the model.
  • the screen is included in an augmented reality goggle to be located directly in the field of view of a person to be scanned, the detection unit being provided in the immediate vicinity of the screen and ideally rigidly connected thereto.
  • a dentist can thus easily examine the teeth of a patient without having his eyes move back and forth between a patient's mouth and a screen.
  • the detection unit and the screen may be rigidly attached to the head of the scanning person.
  • the system further comprises an eye camera that detects movements of the eyes and / or the head of the scanning person relative to the detection unit and the screen, wherein the arithmetic unit adapted to the detected on the screen scan result
  • Recalibration of the screen can be avoided and the usable angle range can be increased.
  • the system also includes position sensors that detect movements of the scanning person. It also has position sensors on the scanner, which detect the movements of the scanner.
  • the processing unit takes into account the detected movements in the generation of the on the
  • the position sensors also make a representation of a scan result displayed on the screen even more accurate than without these. Due to the position sensors, the robustness of the
  • the arithmetic unit performs transformations between coordinate systems. These include a coordinate system of the intraoral acquired image, a coordinate system of the scanner, a coordinate system of the detection unit and a coordinate system of the
  • the coordinate systems may further comprise a respective coordinate system of the screen for a left and a right eye of the scanning person and a respective coordinate system for a left and a right eye of the scanning person.
  • the screen continues to display clues as to successful scanning. This ensures that it is always ensured that an unsuccessful scan is immediately recognizable.
  • the arithmetic unit processes the from
  • Scanner intraoral captured image of the anatomical structures such that it is displayed on the screen at the head of the scanner.
  • This makes it possible to use the scanner as a virtual mirror.
  • Virtual in this context means that there is no conventional optical mirror, but that the captured image when
  • Scanner head is displayed and only visible through the screen.
  • the mirror is not physically present - only by the display on the screen is the
  • the detection unit may be, for example, a simple 3D camera which displays the three-dimensional position of the Scanners detected, or even just a 2D camera, with which under certain conditions, the
  • the scanner is optical
  • Position marks provided. Due to the position marks is a location of the scanner through the
  • Detecting unit in the scanner in a particularly simple manner possible with a common 2D camera as a detection unit by a distance between the position marks with the 2D camera is determined and because of this
  • Transformations between the coordinate systems, and displaying the generated scan result on the screen By means of the method according to the invention, it is possible to improve a representation of a scan result on a screen and to facilitate further use of the representation.
  • a scan result is formed by merging individual intraorally acquired images of the anatomical structures.
  • the anatomical structures are teeth, an entire jaw can be readily visualized.
  • the respective position of the scanner is tracked and detected by means of the extraoral detection unit. This makes it possible to display a scan result together with a representation of the position of the scanner together with an extraorally acquired image.
  • the respective position of the scanner is tracked using position marks on the scanner.
  • position markers on the scanner an exact position determination of the scanner and thus a precise tracking (English, “tracking") of the scanner possible.
  • the arithmetic unit estimates position, orientation and scaling of the anatomical structures by an invasive or a non-invasive method, wherein the invasive method involves attaching markers or another tracking sensor to the scan
  • anatomical structure includes and non-invasive
  • Method comprises a pairing of optical two-dimensional or three-dimensional properties of the anatomical structure. For better estimation of position, orientation and scaling of anatomical structures
  • Orientation and scaling of the anatomical structures during a successful append of scans to a model undergoes a learning phase which helps during scan pauses to display the virtual model, with transformations between the virtual model and the features on or close to the anatomical structures during a successful scan are known or learned can be and being two- or three-dimensional
  • Properties can be selected to make the virtual model stable and robust during scan pauses
  • the intraorally acquired image of the anatomical structures and / or the scan result relative to the position of the scanner is displayed on the screen.
  • a comprehensive and accurate representation of a scan result is possible.
  • FIG. 1 shows a system according to the present invention
  • Figure 2 is a display of a screen of the system according to the present invention
  • Figure 3 is an overview of the imaging chain of the system according to the present invention
  • FIG. 4 shows a coordinate system of a detected scan according to the present invention
  • FIG. 5 shows a coordinate system of the scanner according to the present invention
  • FIG. 6 shows a coordinate system of the detection unit according to the present invention
  • Figure 7 illustrates coordinate systems of the left and right eye screen of a scanning person according to the present invention
  • FIG. 8 Coordinate systems of a viewer as
  • FIG. 9 shows a calibration according to the present invention
  • Figure 10 illustrates a correspondence between real teeth and a virtual model of the teeth with position marks on the scanner according to the present invention
  • FIG. 11 shows a cross-linked, standardized scan instruction for achieving reproducible scan results according to the present invention
  • FIG. 12 shows superimposed markings which disappear after successful detection, according to FIG. 12
  • Figure 13 illustrates a blended reference to gaps in the model or a low dot density according to the present invention
  • Figure 14 shows a display of an image of the intraoral scanner at the head of the scanner according to the present invention.
  • Figure 1 shows a system in which a screen 40 is placed in the form of augmented reality glasses directly into the field of view of a person scanning. Real teeth as an anatomical structure and a scan result are visible to a scanning person at a glance.
  • Screen 40 fades in a display unit virtual content in the real field of view (advanced
  • Augmented reality goggles will soon be commercially available.
  • the present invention can be used, for example, with a
  • a detection unit 20 of the spatial position of the scanner is a 3D depth camera with an associated 2D color image.
  • the screen 40 and also the computer unit 30 are integrated in the glasses.
  • the system has as a central element the screen 40, on which scan results and notes are visible.
  • the screen 40 allows the user, the scanning person, to see teeth as a scan and scan results simultaneously and superimposed on each other.
  • the screen 40 may be implemented in various ways. For example, in a semi-transparent screen as a first example, a virtual content of the
  • the virtual content is superimposed on a video of the environment. This video is shot from a natural perspective.
  • the virtual content can also be projected directly onto the retina of a person to be scanned.
  • any combination of the first example and the second example are conceivable:
  • the considered environment can also be displayed semi-transparent and / or the cross-fading can be done by not fading in the two screens in front of the eyes the same content. It is also conceivable that the degree of crossfading is set individually by each user.
  • the system further comprises a detection unit 20 which detects the spatial position of the intraoral scanner 10 and which is connected in the immediate vicinity of the screen 40 and as rigidly as possible with the screen 40
  • a two- or optionally a three-dimensional camera is often integrated. This camera may function as a capture unit 20 and capture the scene from a similar viewpoint as the user of the scanner 10 as the scanning person.
  • the detection unit 20 is used to detect the spatial position of the scanner 10 and the
  • intraoral scan result at a particular location relative to the interoral scanner 10. It is for
  • Example makes sense to blend the real anatomical structures with the virtual scan result.
  • the system may also include an eye camera 21
  • Detected detection unit 20 and the screen 40 For example, if the distance between the head and the Screen 40 changed, must also have an indicator
  • the display may also need to be changed.
  • the system may also include optional position sensors 22 which detect movements of the user and help stably display the contents of the screen 40.
  • the system has a scanner 10, which is designed as a two- and / or three-dimensional, digital detection device. This can be carried out in various ways.
  • the two-dimensional image can be carried out in various ways.
  • the two-dimensional image can be carried out in various ways.
  • the three-dimensional model can be captured using triangulation under structured illumination, stereo cameras, confocal, time-of-flight, or other principles.
  • the system according to the invention has in particular a computing unit 30 which stores the scanner 10, the screen 40 and the computer
  • Detection unit 20 connects to each other.
  • the arithmetic unit 30 determines the superimposition of the scan result and reality taking into account the viewing angle of the
  • Transformation chain between 3D data and user visual field possible there are different coordinate systems in the system according to the invention.
  • a coordinate system shown in FIG. 4 is determined by the detected scan, the result of the intraoral scanner 10. Another coordinate system is this
  • Coordinate system of the scanner 10 shown in FIG. Another coordinate system is a
  • Coordinate system of the detection unit (hereinafter also referred to as overview camera 20), which detects the position of the scanner 10, which is shown in Figure 6.
  • Another co-ordinate system is the coordinate system of a room shown in Figure 7, as seen by the user or person being scanned, such as a dentist, for each eye a system, i. two
  • a transformation concerns a transformation of the
  • Another transformation concerns a transformation of the reality to the scanner 10, which is known during scanning.
  • the scanner 10 creates the relationship between the reality and the digital model with typically very high accuracy.
  • Another transformation relates to a transformation of the scanner 10 to the overview camera 20.
  • the location of the scanner 10 relates to a transformation of the scanner 10 to the overview camera 20.
  • Scanner 10 can be detected by easily recognizable position marks 11 on the scanner 10. These position marks 11 may also be any illustrations of known texture, such as a company or company
  • Optical position marks may be, for example, known textures and according to "M. Ozuysal et al .: Feature Harvesting for
  • Another transformation relates to a transformation of overview camera 20 to the screen 40.
  • Correspondence can be stably determined in advance, for example, by a fixed geometry of the overview camera 20 to the screen 40.
  • Another transformation concerns a transformation from the eye of a scanning person to the screen 40. This correspondence varies from person to person and must be preceded by a personal calibration before a first
  • This picture chain can be used for example with
  • Transformations are calculated in homogeneous coordinates.
  • ⁇ ⁇ ' can be expressed in linear algebra in matrix notation, where A represents the mapping matrix:
  • Scope of a calibration for example, to a mean solid angle of the field of view of a
  • Geometry to be displayed leaves this solid angle, so the overlay can be hidden.
  • the transformation instruction makes it possible to transfer the movements of teeth as anatomical structure of a patient into the coordinate system of a respective eye of a user and detected by the scanner 10 3D geometries on the screen 40 in the correct position with respect to a naturally seen by the eye image for display bring to. For example, to calibrate the entire system (especially eye-to-screen), the scanner 10 may do so
  • This position is preferably determined by:
  • Teeth of the upper jaw of a patient are firmly attached to his head.
  • the observation of facial features, such as the eyes, may indicate a
  • Faulty observations may be incorporated into a model of movement of teeth as an anatomical structure, such as a caiman filter to pass through Computing unit to calculate a stable estimate of the situation, which can be similar to a position estimate of a car in a GPS signal loss.
  • anatomical structure such as a caiman filter to pass through Computing unit to calculate a stable estimate of the situation, which can be similar to a position estimate of a car in a GPS signal loss.
  • scan logs can be displayed during routine scanning. For example, from “Ender and Flour: The Influence of Scanning Strategies on the Accuracy of Digital Intraoral Scanning Systems, International Journal of
  • Scan protocols can increase the accuracy of the model. Such protocols are usually taught to users in a training phase.
  • the proposed ⁇ Sys "TBM allows to propose such scanning protocols during scanning and display. These instructions can be easily applied because the correspondence between the scanner and the model is obvious.
  • the scanning protocols must not be permanently fixed in advance, but can also be proposed interactively be around
  • Scan instructions can be made, for example, by arrows which show the scanning direction, as can be seen in FIG. It is also conceivable that numbered
  • Landmarks are displayed as help. These landmarks disappear as soon as this region was successfully scanned. This possibility can be seen in FIG.
  • the quality of a scan can be virtually blended, such as by a particular color scheme, which can be seen in FIG.
  • the quality of the scan is bad if, for example, gaps are found in the model. These regions can then
  • Visualize the scanner 10 acts as a virtual
  • the view viewable is virtually mirrored at the head of the scanner 10, as shown in FIG.
  • the mirror is virtual - so it can be positioned as desired, such as according to Figure 14 directly on the scanner 10 or also next to the scanner 10.
  • the mirror can also, if necessary, work as a magnifying glass or magnifying concave mirror.
  • Another virtual magnifier can be added to enlarge critical regions.
  • the virtual mirror can also function as an electronic dental mirror of the model or real teeth.
  • the virtual mirror can also function as an electronic dental mirror of the model or real teeth.
  • the image of the displayed scan is displayed by introducing artificial lighting.
  • the corresponding virtual light source is preferably positioned where a dentist as a scanning person
  • the light source must be able to position the light source correctly
  • the overview camera 20 is rigidly connected to the head of the dentist.
  • Teeth of a patient is known by scanning.
  • a representation must be done in real time, ideally with a maximum latency of 0.1 seconds. Higher latencies do not generally limit the applicability of the method, but a user is one
  • a presentation with a short latency requires a correspondingly powerful computing hardware.
  • the computer hardware can be distributed.
  • a CPU and a GPU may be located between the display 40 and the acquisition unit 20. More CPUs and GPUs can be found in the
  • Arithmetic unit 30 which connects the screen 40, the detection unit 20 and the scanner 10.
  • the objects must be in the immediate vicinity the teeth are segmented. This segmentation can be done, for example, by matching the optical flow of the virtually covered real teeth and the virtual model.
  • Covered 2D view must match the flow of the estimated virtual model. If not
  • these moving perturbations are spatially displayed in front of the virtual model. If the intraoral scanner 10 provides an RGB image and the virtual model can be colored in this way, the color deviations between real teeth and model could also be used for a segmentation. If the color values are not
  • this option can also be turned off to show, for example, gaps in the model behind the head of the scanner 10.
  • Orientation and scaling of the anatomical structures with tools estimated by the computing unit 30 One can distinguish invasive and non-invasive methods, with non-invasive methods being preferred.
  • An invasive method is to attach markers or another tracking sensor to the anatomical structure to be scanned.
  • a non-invasive method is the pairing of optical 2D or 3D properties of the
  • 2D or 3D properties may be a sparse number of conspicuous, local points, or even a number of larger regions that are densely distributed over the object.
  • Local 2D properties include: Local color differences on anatomical structures. In the described application typically tooth-gum transitions.
  • Local 3D properties include: - Local differences in shape on anatomical structures, which can be described with curvature masses, for example.
  • Local 2D or 3D properties can also be examined for their spatial distribution, so a
  • Color data or 3D data of the environment Color data or 3D data of the environment. The matching of the properties is the easier, the more similar the
  • the head or parts of the head can be used to determine the parameters of the teeth.
  • Invasive markers can be applied to the face, for example.
  • Non-invasive, for example, certain aspects or a face mask can be tracked.
  • an automated learning phase during scanning with the scanner 10 with the method described as the supervisor when creating an image. While scanning and the
  • the data from the overview camera are continuously analyzed and evaluated so that later during scan breaks the virtual model is as correctly as possible blended with the real anatomical structures.
  • this learning phase it is automatically recognized which properties that are tracked with the overview camera are suitable for estimating the position, orientation and scaling of the virtual model. These properties should, for example, enable the most stable tracking possible. From a variety of
  • the automated learning phase makes it possible to match properties that are only close to the scanned anatomical structures with the estimated parameters. For example, the relationship between the position, orientation and scaling of the virtual model relative to the position, orientation and scaling of a face mask (tracked with the
  • the face mask may still be tracked and the anatomical structures may be displayed at the learned position, orientation and scaling relative to the face mask.
  • the virtual model can also be placed manually by the user over the true anatomical structures. In this manual calibration step can then also the relationship between the traced properties and the position, orientation and scaling of the
  • Calibration step can be done once or repeatedly to obtain a higher robustness.
  • the present invention provides a system and method for scanning anatomical structures and displaying the scan result which, with ease of operation, provides improved rendering of scan results.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

Es wird ein System zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses zur Verfügung gestellt, wobei das System folgendes aufweist: einen intraoralen Scanner (10), der ein Bild der anatomischen Strukturen intraoral erfasst, eine extraorale Erfassungseinheit (20), die eine räumliche Position des intraoralen Scanners (10) relativ zu einem Beobachter bzw. einer scannenden Person erfasst, und eine Recheneinheit (30), die beim Scannen den Scanner (10) mit einem Bildschirm (40) und der Erfassungseinheit (20) in Verbindung setzt und ein Scanresultat basierend auf dem intraoral erfassten Bild der anatomischen Strukturen und der erfassten räumlichen Position des intraoralen Scanners (10) relativ zu dem Beobachter erzeugt, und die während Scanpausen Position, Orientierung und Skalierung der anatomischen Strukturen schätzt und ein der Schätzung entsprechendes Bild der anatomischen Strukturen als Scanresultat erzeugt, wobei der Bildschirm (40) das von der Recheneinheit (30) erzeugte Scanresultat anzeigt.

Description

Beschreibung
System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
Die vorliegende Erfindung betrifft ein System zum Scannen von anatomischen Strukturen, wie beispielsweise von Zähnen bzw. des Kiefers von Patienten, um einen optischen,
intraoralen Abdruck zu erstellen, und zum Anzeigen und Darstellen des Scanergebnisses, und ein zugehöriges
Verfahren . Die vorliegende Erfindung betrifft insbesondere das
interaktive und inkrementelle Scannen. Während dem
Scanvorgang werden einzelne Scans zu einem Modell einer anatomischen Struktur zusammengefügt. Ein derartiges
Scannen, wie es zum Beispiel in „S. Rusinkiewicz and Marc Levoy: Efficient variants of the ICP algorithm, 3-D Digital Imaging and Modeling, 2001" beschrieben ist, erfolgt mit einem von einem Betrachter bzw. Beobachter bzw. einer scannenden Person und vom Bildschirm losgelösten Scanner. Der Scanner ist von Hand geführt mit dem Ziel so schnell wie möglich einen lückenlosen und eine hochpräzise optische Abformung zu erstellen. Um dieses Ziel zu erreichen, ist eine einfache und intuitive Darstellung des aktuellen
Scanergebnisses äusserst wichtig. Die vorgeschlagene
Erfindung stellt die Scanergebnisse auf eine natürliche Art und Weise dar und vereinfacht so die Handhabung des
Scanners.
Beim heutigen Scannen mit der CEREC-Methode wird ein Gebiss eines Patienten als gescanntes Modell auf einem Bildschirm in der Nähe des Patienten angezeigt. Eine scannende Person, wie beispielsweise ein Zahnarzt, befindet sich beim Scannen in einem ständigen Dilemma, wohin sie ihren Blick richten soll. Auf dem Bildschirm kann man die Qualität des bereits gescannten Modells erkennen. Insbesondere kann man zum Beispiel auch Lücken im Modell erkennen. Um diese Lücken im Modell zu schliessen und den Scanner an die richtige Stelle zu führen, muss der Blick wieder auf das Gebiss des
Patienten und den Scanner gerichtet werden. Viel Erfahrung und Übung sind nötig, um die Korrespondenz von Modell und Gebiss des Patienten herzustellen. Als zusätzliche Hilfe wird bei bestehenden Systemen als nicht-visuelle
Rückmeldung über den Scanerfolg ein eher lästiges
akustisches Signal abgegeben.
Die vorliegende Erfindung kann im Bereich der Augmented Reality angesiedelt werden, unterscheidet sich aber
deutlich von den gängigen Augmented Reality Anwendungen.
Augmented Reality Anwendungen, bei denen äusserlich
unsichtbare Ansichten einblendet werden, gibt es sehr viele. So plant zum Beispiel Mini/BMW eine Art
„Röntgenbrille" , um Verdeckungen der Karosserie
auszublenden und ein breiteres Sehfeld zu ermöglichen. Für Autopsien gibt es ähnliche Systeme. Zum Beispiel gibt es ein System, beschrieben in „Kilgus T et al.: Mobile
markerless augmented reality and its application in
forensic medicine, International Journal of Computer
Assisted Radiology and Surgery, 2015", welches multi-modale Daten, wie zum Beispiel Röntgendaten, auf einem bewegbaren Bildschirm darstellt. Dazu wird eine externe Tiefenkamera verwendet, um die räumliche Lage des Bildschirms zu
erfassen. Bei diesem System wird allerdings kein
inkrementelles Modell erstellt. Der augmentierte Bildschirm zeigt nur vorhandene Daten räumlich sinnvoll an. In der Endoskopie gibt es ähnliche Anwendungen für
Augmented Reality. Die endoskopischen Instrumente müssen präzise zu einem bestimmten Punkt navigiert werden, was mit Augmented Reality vereinfacht dargestellt werden kann.
Wichtige Navigationspunkte und der geplante Eingriffsweg werden interaktiv in das endoskopische Bild eingeblendet. Hingegen wird kein Modell der anatomischen Strukturen interaktiv und inkrementell erstellt. So hilft der
augmentierte Bildschirm in der Endoskopie ausschliesslich bei der groben Navigation der Instrumente auf einem im Voraus geplanten Eingriffsweg.
Die hier vorgestellte Erfindung unterscheidet sich von anderen Augmented Reality Anwendungen auch in der Art, wie die Position der künstlichen Daten zur Realität bestimmt wird. Diese Positionierung erfolgt hier sehr genau und in einfacher Weise über die Position des Scanners und das Scanresultat . Bei dentalen Anwendungen beschreibt US 2007/0172101 AI ein ähnliches System. Gemäss dieser Erfindung wird ein
dreidimensionales Modell einem zweidimensionalen Bild überlagert. Das zweidimensionale Bild stammt von einer intraoralen Kamera. Das dreidimensionale Modell ist die Kombination von den dreidimensionalen Bildern des
intraoralen Scanners. Beide Ansichten entstanden
ursprünglich aus demselben Blickwinkel. Die Position des Betrachters oder des Bildschirmes hat keinen Einfluss auf die Darstellung. Je nach Anwendungsfall ist das Modell das wichtige Resultat des Scanvorganges. Ein einzelner Scan kann in bestimmten Situationen unvollkommen sein. Beispielsweise kann ein Scan an bestimmten, schwer messbaren Bereichen unvollständig (löchrig) , fehlerhaft oder rauschbehaftet sein. Solche Unvollkommenheiten können eventuell durch das
Zusammensetzen von mehreren Scans, welche zum Beispiel aus verschiedenen Blickwinkeln aufgenommen wurden, überwunden werden. Die Beurteilung des Modells als Resultat des
Scanvorganges ist deshalb äusserst wichtig.
Die Methode des Zusammenfügens ist üblicherweise eine
Methode welche die dreidimensionale Form von Scan und
Modell miteinander abgleicht, typischerweise eine Variante von der ICP (Iterative Closest Point) Methode. Beim
Zusammenfügen wird der neue Scan an die bereits gescannten Scandaten angefügt, das heisst so angesetzt, dass sich die neuen Scandaten mit minimalem Fehler an die vorhandenen Scandaten anschmiegen. Nun muss laufend geprüft werden, ob dieses Anfügen auch erfolgreich war. Dazu wird
beispielsweise der gefundene minimale Fehler oder der
Überlappungsgrad untersucht. Typischerweise muss der gefundene minimale Fehler genügend klein und der
Überlappungsgrad genügend gross sein. Falls solche
Kriterien erfüllt sind, so wird der neue Scan auch Teil des Modells, ansonsten muss er, zumindest für den Moment, verworfen werden.
Es gibt verschiedene Gründe, weshalb das Anfügen von Scans an das Modell manchmal nicht erfolgreich ist. Eine Auswahl dieser Gründe ist:
Der Anwender hat den Scanner zu schnell bewegt, so dass der neue Scan sich nicht oder zu wenig mit dem Modell überlappt . - Der Anwender bewegt den Scanner so, dass sich das zu scannende Objekt ausserhalb des Scanbereichs des Scanners befindet .
Die Scandaten weisen zu viele Störungen auf, so dass der Fehler beim ICP zu gross ist. - Die gescannte Struktur ist nicht starr zusammenhängend und hat sich verformt. So kann der neue Scan nicht mit dem Modell zusammenpassen. In der beschriebenen Anwendung sind solche Teile zum Beispiel die Zunge oder die Wange, die sich unabhängig von den rigiden Zähnen bewegen können.
Kann ein Scan aus irgendeinem Grund nicht an das Model angefügt werden, so kann der Scanner auch nur beschränkt als Hilfsmittel eingesetzt werden um das virtuelle Modell an der korrekten Position relativ zur anatomischen Struktur anzuzeigen. Es fehlt nämlich die Information wo sich der aktuelle Scan relativ zum Modell befindet. Beim handgeführten, inkrementellen Scannen muss der
Anwender dafür sorgen, dass neue Scans erfolgreich an das Modell angefügt werden können. Falls der aktuelle Scan nicht an das Modell angefügt werden kann, muss der Anwender korrigierende Massnahmen ergreifen und den Scanner so bewegen, dass ein neuer Scan an das Modell angefügt werden kann. Die Situation stellt für den Anwender ein Problem in der Bedienung dar, da der kontinuierliche Scanvorgang unterbrochen wird. Gerade in einer solchen Situation ist es sehr hilfreich, wenn das virtuelle Model korrekt auf der anatomischen Struktur angezeigt wird. Der Anwender kann so den Scanner leichter an das bestehende Modell heranführen. In einer solchen Situation soll auch der aktuelle Scan an der korrekten Stelle eingeblendet werden.
Es gibt auch andere Situationen, in welchen das virtuelle Modell an der korrekten Stelle angezeigt werden soll und der Scanner nur begrenzt als Hilfsmittel einbezogen werden kann .
Beispielsweise können der Scanvorgang und die Beurteilung des gescannten Modells nicht gleichzeitig erfolgen. Je nach verwendeter Scantechnologie projiziert der Scanner
sichtbares Licht auf die Zähne, welche die Darstellung des Scanmodells stört. In einem solchen Fall kann es nötig sein, den Scanvorgang zu unterbrechen um das Modell genauer zu evaluieren.
WO 2004/100067 A2 beschreibt ein System, das ein
unmittelbares Scanergebnis so darstellt, dass das zu scannende Objekt und das Scanergebnis für die scannende Person auf einen Blick sichtbar sind. Dazu wird ganz ähnlich wie beim System in der laparoskopischen Chirurgie, das in US 6503195 Bl beschrieben ist, der Scanner als
Hilfsmittel zur korrekten Anzeige verwendet. Eine
Unterstützung des Benutzers beim Zusammensetzen von
Einzelscans zu einem grösseren Modell ist in WO 2004/100067 A2 oder in US 6503195 Bl nicht beschrieben. Dieses
Zusammensetzen ist für den Benutzer besonders schwierig wenn der aktuelle Scan nicht an das bestehende Modell angesetzt werden kann. Unsere Erfindung beschreibt ein
System für solche kritische Momente. In WO 2004/100067 A2 werden diese kritischen Momente nicht erwähnt.
WO 2015/181454 AI beschreibt ein System, das ein
Scanergebnis oder zusätzliche Informationen den
anatomischen Strukturen im Mund eines Patienten
überblendet. Die Bilder des intraoralen Scanners und der Übersichtskamera werden einander überlagert, indem man dreidimensionale Punktewolken in Übereinstimmung bringt. Es gibt in der Beschreibung keinen Hinweis darauf, dass die Übersichtskameras der in der Beschreibung erwähnten
Augmented Reality Brillen eine Berechnung einer genügend genauen Punktewolke der anatomischen Strukturen für eine präzise Überblendung zulassen.
US 2012/0056993 AI, WO 2010/067267 AI und WO 2014/120909 AI sind weitere Dokumente, die Systeme zum Darstellen von Scanergebnissen beschreiben. Es ist die Aufgabe der vorliegenden Erfindung, ein System zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses und ein zugehöriges Verfahren zur
Verfügung zu stellen. Die Darstellung des Scanergebnisses soll eine einfachere Handhabung des Scanners erlauben.
Zusätzlich soll ein möglichst präzises Überblenden der gescannten anatomischen Strukturen mit dem digitalen Modell auch während Scanunterbrüchen möglich sein.
Die Aufgabe wird gelöst durch ein System, wie es im
Anspruch 1 angegeben ist, und durch ein Verfahren, wie es im Anspruch 15 angegeben ist. Die jeweils abhängigen
Ansprüche 2 bis 14 und 16 bis 18 zeigen vorteilhafte
Weiterbildungen des Systems des Anspruchs 1 bzw. des
Verfahrens des Anspruchs 15. Es wird ein System zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses zur Verfügung gestellt, wobei das System folgendes aufweist: einen intraoralen Scanner, der ein Bild der anatomischen
Strukturen intraoral erfasst, eine extraorale
Erfassungseinheit, die die räumliche Position des
intraoralen Scanners relativ zu einem Beobachter erfasst, und eine Recheneinheit, die beim Scannen den Scanner mit einem Bildschirm und der Erfassungseinheit in Verbindung setzt und ein Scanresultat basierend auf dem intraoral erfassten Bild der anatomischen Strukturen und der
erfassten räumlichen Position des intraoralen Scanners relativ zu dem Beobachter erzeugt, und die während
Scanpausen Position, Orientierung und Skalierung der anatomischen Strukturen schätzt und ein der Schätzung entsprechendes Bild der anatomischen Strukturen als
Scanresultat erzeugt, wobei der Bildschirm das von der Recheneinheit erzeugte Scanresultat anzeigt. Erfindungsgemäss ist insbesondere die Nutzung einer
videofähigen 3D-Oberflächenbildgebung zur Echtzeit- Überlagerung der Realität mit aufgenommenen 3D-Daten unter Verwendung des Aufnahmegeräts zur Bestimmung der
Transformationskette zwischen 3D-Daten und Anwender- Gesichtsfeld möglich.
Eine anatomische Struktur kann insbesondere Zähne als
Scanvorlage umfassen, die von einem Zahnarzt als scannende Person gescannt und untersucht werden. Auf vorteilhafte Weise kann der Zahnarzt durch das erfindungsgemässe System die reellen Zähne und die gescannten Zähne überlagert betrachten und seine Diagnose stellen. Zum möglichst präzisen Überblenden der gescannten anatomischen Strukturen mit dem digitalen Modell auch während Scanunterbrüchen werden Parameter wie die Position, Orientierung und
Skalierung der echten anatomischen Struktur und des
eingeblendeten virtuellen Modells der anatomischen Struktur in Korrespondenz gebracht.
Im Unterschied zu dem aus WO 2015/181454 AI bekannten
System schlägt die vorliegende Erfindung vorteilhaft die
Verwendung des Scanners während dem Scannen als Hilfsmittel vor, um eine Korrespondenz für eine präzise Überblendung viel genauer zu schätzen, als es bislang erfolgte.
Ausserdem werden erfindungsgemäss die Eigenschaften, welche für die Übereinstimmung gebraucht werden, während dem erfolgreichen Anfügen von Scans an das Modell aus einer Vielzahl von Eigenschaften ausgewählt. Es wird also nicht nur die dreidimensionale Form in Übereinstimmung gebracht, sondern es können beispielsweise auch zweidimensionale Eigenschaften zusammengeführt werden. Es können auch
Eigenschaften, welche nicht mit dem Scanner direkt erfasst wurden, sondern nur in deren Nähe liegen, genutzt werden um eine präzise Übereinstimmung zu erreichen. Dies ist
möglich, da der Zusammenhang zwischen diesen Eigenschaften und der Lage des virtuellen Modells während dem Scannen bekannt ist. Vorzugsweise ist der Bildschirm in einer Augmented Reality Brille umfasst, um sich direkt im Blickfeld einer zu scannenden Person zu befinden, wobei die Erfassungseinheit in unmittelbarer Nähe des Bildschirms und idealerweise starr mit diesem verbunden vorgesehen ist. Ein Zahnarzt kann somit auf einfachste Weise die Zähne eines Patienten untersuchen, ohne seine Blicke zwischen dem Mund eines Patienten und einem Bildschirm hin- und herwandern zu lassen. Insbesondere können die Erfassungseinheit und der Bildschirm starr beim Kopf der scannenden Person befestigt sein.
Bevorzugt weist das System weiterhin eine Augenkamera auf, die Bewegungen der Augen und/oder des Kopfes der scannenden Person relativ zu der Erfassungseinheit und dem Bildschirm erfasst, wobei die Recheneinheit das auf dem Bildschirm angezeigte Scanresultat angepasst an die erfassten
Bewegungen erzeugt. Durch die Augenkamera kann eine
Neukalibrierung des Bildschirms vermieden werden und der nutzbare Winkelbereich vergrössert werden.
Bevorzugt weist das System weiterhin auch Lagesensoren auf, die Bewegungen der scannenden Person erfassen. Es weist weiterhin Lagesensoren beim Scanner auf, die die Bewegungen des Scanners erfassen.. Die Recheneinheit berücksichtigt die erfassten Bewegungen bei der Erzeugung des auf dem
Bildschirm angezeigten Scanresultats berücksichtigt. Auch durch die Lagesensoren wird eine Darstellung eines auf dem Bildschirm angezeigten Scanresultats noch genauer als ohne diese. Durch die Lagesensoren wird die Robustheit des
Systems erhöht.
Vorteilhafterweise führt die Recheneinheit Transformationen zwischen Koordinatensystemen durch. Diese umfassen dabei ein Koordinatensystem des intraoral erfassten Bilds, ein Koordinatensystem des Scanners, ein Koordinatensystem der Erfassungseinheit und ein Koordinatensystem des
Bildschirms. Die Koordinatensysteme können weiterhin jeweils ein Koordinatensystem des Bildschirms für ein linkes und ein rechtes Auge der scannenden Person und jeweils ein Koordinatensystem für ein linkes und ein rechtes Auge der scannenden Person umfassen. Durch die Transformationen zwischen den Koordinatensystemen kann eine genaue, räumlich sinnvolle Darstellung eines Scanresultats als überlagertes Bild auf dem Bildschirm erfolgen.
Bevorzugt zeigt der Bildschirm weiterhin Hinweise in Bezug auf ein erfolgreiches Scannen an. Dadurch wird erreicht, dass immer gewährleistet ist, dass ein nicht erfolgreiches Scannen umgehend erkennbar ist. Besonders bevorzugt verarbeitet die Recheneinheit das vom
Scanner intraoral erfasste Bild der anatomischen Strukturen derart, dass es auf dem Bildschirm beim Kopf des Scanners angezeigt wird. Dadurch ist eine Nutzung des Scanners als virtueller Spiegel möglich. Virtuell bedeutet in diesem Zusammenhang, dass kein herkömmlicher optischer Spiegel vorliegt, sondern dass das aufgenommene Bild beim
Scannerkopf angezeigt wird und nur durch den Bildschirm sichtbar ist. Der Spiegel ist physisch nicht vorhanden - nur durch die Anzeige auf dem Bildschirm wird die
Funktionalität eines Spiegels ersichtlich.
Die Erfassungseinheit kann zum Beispiel eine einfache 3D Kamera sein, welche die dreidimensionale Position des Scanners erfasst, oder auch nur eine 2D Kamera, mit welcher unter bestimmten Voraussetzungen ebenfalls die
dreidimensionale Position des Scanners bestimmt werden kann . Vorteilhafterweise sind an dem Scanner optische
Positionsmarken vorgesehen. Durch die Positionsmarken ist eine Lagebestimmung des Scanners durch die
Erfassungseinheit beim Scanner auf besonders einfache Weise mit einer gewöhnlichen 2D Kamera als Erfassungseinheit möglich, indem eine Distanz zwischen den Positionsmarken mit der 2D Kamera bestimmt wird und aufgrund dieser
bestimmten bzw. gemessenen Distanz auf die Entfernung des Scanners zur 2D Kamera geschlossen wird.
Weiterhin wird erfindungsgemäss ein Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen des
Scanergebnisses unter Verwendung eines nach einem der vorhergehenden Ansprüche ausgebildeten Systems zur
Verfügung gestellt, welches folgende Verfahrensschritte aufweist: Erfassen eines Bildes der anatomischen Strukturen mit dem intraoralen Scanner, Erfassen der räumlichen
Position des intraoralen Scanners, Einblenden des vom
Scanner erfassten 2D und/oder 3D Bildes durch
Transformationen zwischen den Koordinatensystemen, und Anzeigen des erzeugten Scanresultats auf dem Bildschirm. Durch das erfindungsgemässe Verfahren ist es möglich, eine Darstellung eines Scanergebnisses auf einem Bildschirm zu verbessern und eine weitere Nutzung der Darstellung zu erleichtern .
Insbesondere wird ein Scanergebnis durch Zusammenführen von einzelnen vom Scanner intraoral erfassten Bildern der anatomischen Strukturen gebildet. Somit kann in dem Fall, wenn die anatomischen Strukturen Zähne sind, ohne weiteres ein gesamter Kiefer dargestellt werden.
Bevorzugt wird die jeweilige Lage des Scanners mittels der extraoralen Erfassungseinheit verfolgt und erfasst. Damit wird eine Darstellung eines Scanergebnisses zusammen mit einer Darstellung der Lage des Scanners zusammen mit einem extraoral erfassten Bild möglich.
Vorzugsweise wird die jeweilige Lage des Scanners unter Verwendung von Positionsmarken am Scanner verfolgt. Durch die Nutzung von Positionsmarken am Scanner wird eine genaue Positionsbestimmung des Scanners und somit eine präzise Verfolgung (engl, „tracking") des Scanners möglich.
Bevorzugt schätzt die Recheneinheit Position, Orientierung und Skalierung der anatomischen Strukturen durch eine invasive oder eine nicht-invasive Methode, wobei die invasive Methode ein Anbringen von Markern oder einem anderen Verfolgungssensor auf der zu scannenden
anatomischen Struktur umfasst und die nicht-invasive
Methode eine Paarung von optischen zweidimensionalen oder dreidimensionalen Eigenschaften der anatomischen Struktur umfasst. Zur besseren Schätzung von Position, Orientierung und Skalierung der anatomischen Strukturen eine
automatisierte Lernphase durchläuft die Recheneinheit auch ein automatisches Lernen. Das bedeutet, dass die
Recheneinheit zur besseren Schätzung von Position,
Orientierung und Skalierung der anatomischen Strukturen während einem erfolgreichen Anfügen von Scans an ein Modell eine Lernphase durchläuft, welche während Scanpausen hilft, das virtuelle Modell anzuzeigen, wobei Transformationen zwischen dem virtuellen Modell und den Eigenschaften auf den anatomischen Strukturen oder in deren Nähe während einem erfolgreichen Scannen bekannt sind oder gelernt werden können und wobei zwei- oder dreidimensionale
Eigenschaften ausgewählt werden können, um das virtuelle Modell während Scanpausen stabil und robust
weiterzuverfolgen . Durch dieses Schätzen und Lernen können genauere Bilder von anatomischen Strukturen erhalten werden, als es bisher möglich war.
Auf vorteilhafte Weise wird das vom Scanner intraoral erfasste Bild der anatomischen Strukturen und/oder wird das Scanergebnis relativ zu der Position des Scanners auf dem Bildschirm angezeigt. Somit ist eine umfassende und genaue Darstellung eines Scanergebnisses möglich.
Erfindungsgemäss ergibt sich somit der Vorteil eines schnellen, unkomplizierten und präzisen Scannens von anatomischen Strukturen und einer für einen Anwender bequemen Darstellung eines Scanergebnisses.
Die angegebenen und weitere Merkmale und Einzelheiten der Erfindung werden einem Fachmann auf dem Gebiet aus der folgenden detaillierten Beschreibung und den beigefügten Zeichnungen klarer, die Merkmale der vorliegenden Erfindung anhand eines Beispiels darstellen und wobei
Figur 1 ein System gemäss der vorliegenden Erfindung zeigt ,
Figur 2 eine Anzeige eines Bildschirms des Systems gemäss der vorliegenden Erfindung zeigt, Figur 3 einen Überblick über die Abbildungskette des Systems gemäss der vorliegenden Erfindung darstellt,
Figur 4 ein Koordinatensystem eines erfassten Scans gemäss der vorliegenden Erfindung darstellt,
Figur 5 ein Koordinatensystem des Scanners gemäss der vorliegenden Erfindung darstellt, Figur 6 ein Koordinatensystem der Erfassungseinheit gemäss der vorliegenden Erfindung darstellt,
Figur 7 Koordinatensysteme des Bildschirms für ein linkes und ein rechtes Auge einer scannenden Person gemäss der vorliegenden Erfindung darstellt,
Figur 8 Koordinatensysteme eines Betrachters als
scannende Person für ein linkes und ein rechtes Auge der scannenden Person gemäss der vorliegenden Erfindung
darstellt , Figur 9 eine Kalibrierung gemäss der vorliegenden
Erfindung darstellt,
Figur 10 eine Herstellung einer Korrespondenz zwischen echten Zähnen und einem virtuellen Modell der Zähne mit Positionsmarken auf dem Scanner gemäss der vorliegenden Erfindung darstellt,
Figur 11 eine überblendete, standardisierte Scananleitung zum Erzielen reproduzierbarer Scanresultate gemäss der vorliegenden Erfindung darstellt,
Figur 12 überblendete Markierungen, welche nach dem erfolgreichen Erfassen verschwinden, gemäss der
vorliegenden Erfindung darstellt,
Figur 13 einen überblendeten Hinweis auf Lücken im Modell oder eine geringe Punktedichte gemäss der vorliegenden Erfindung darstellt, und Figur 14 eine Anzeige eines Bilds des intraoralen Scanners beim Kopf des Scanners gemäss der vorliegenden Erfindung darstellt .
Im Folgenden wird die vorliegende Erfindung anhand
bevorzugter Ausführungsformen unter Bezugnahme auf die Figuren detailliert erklärt werden. Figur 1 zeigt ein System, bei welchem ein Bildschirm 40 in Form einer Augmented Reality Brille direkt ins Blickfeld einer scannenden Person gestellt ist. Echte Zähne als anatomische Struktur und ein Scanresultat sind für eine scannende Person auf einen Blick ersichtlich. Ein
Bildschirm 40 überblendet in einer Anzeigeeinheit einen virtuellen Inhalt in das reale Sichtfeld (erweiterte
Realität) .
Augmented Reality Brillen werden bald handelsüblich sein. Die vorliegende Erfindung kann zum Beispiel mit einer
Microsoft HoloLens umgesetzt werden. Eine Erfassungseinheit 20 der räumlichen Lage des Scanners ist in diesem Fall eine 3D Tiefenkamera mit einem zugehörigen 2D Farbbild. Der Bildschirm 40 und auch die Rechnereinheit 30 sind in die Brille integriert.
Auf dem Bildschirm 40 sind Scanresultate und hilfreiche Hinweise sichtbar, welche in die Umgebung eingepasst sind. Die zu scannenden Zähne als anatomische Struktur, bereits erfasste Zähne und ein Scanner 10 sind auf einen Blick zu sehen und einander überlagert, wie es in Fig. 2 zu sehen ist .
Das System weist als zentrales Element den Bildschirm 40 auf, auf welchem Scanresultate und Hinweise ersichtlich sind. Durch den Bildschirm 40 wird es dem Benutzer, der scannenden Person, ermöglicht, Zähne als Scanvorlage und Scanresultate gleichzeitig und einander überlagert zu sehen .
Der Bildschirm 40 kann auf verschiedene Weisen ausgeführt sein. Bei einem halbtransparenten Bildschirm als erstes Beispiel wird beispielsweise ein virtueller Inhalt der
Realität überblendet und die Realität erscheint höchstens ein wenig abgedunkelt. Bei einem komplett virtuellen Bildschirm als zweites Beispiel wird der virtuelle Inhalt einem Video der Umgebung überblendet. Dieses Video wird aus einem natürlichen Blickwinkel aufgenommen. Der virtuelle Inhalt kann aber auch direkt auf die Retina einer zu scannenden Person projiziert werden.
Natürlich sind auch beliebige Kombinationen aus dem ersten Beispiel und dem zweiten Beispiel denkbar: Die betrachtete Umgebung kann auch halbtransparent eingeblendet werden und/oder das Überblenden kann erfolgen, indem man in den beiden Bildschirmen vor den Augen nicht den gleichen Inhalt einblendet. Es ist auch denkbar, dass der Überblendungsgrad von jedem Benutzer individuell eingestellt wird.
Das System weist weiterhin eine Erfassungseinheit 20 auf, die die räumliche Position des intraoralen Scanners 10 erfasst und die in unmittelbarer Nähe des Bildschirms 40 und möglichst starr mit dem Bildschirm 40 verbunden
vorgesehen ist. In einer Augmented Reality Brille ist oft eine zwei- oder optional eine dreidimensionale Kamera integriert. Diese Kamera kann als Erfassungseinheit 20 fungieren und die Szene aus einem ähnlichen Blickwinkel wie der Benutzer des Scanners 10 als die scannende Person erfassen. Die Erfassungseinheit 20 wird gebraucht, um die räumliche Lage des Scanners 10 zu erfassen und das
intraorale Scanresultat an einem bestimmten Ort, relativ zu dem interoralen Scanner 10, einzublenden. Es ist zum
Beispiel sinnvoll, die realen anatomischen Strukturen mit dem virtuellen Scanresultat zu überblenden.
Das System kann weiterhin auch eine Augenkamera 21
aufweisen, die eventuelle Bewegungen der Augen und/oder des Kopfs einer scannenden Person relativ zu der
Erfassungseinheit 20 und dem Bildschirm 40 erfasst. Falls sich beispielsweise der Abstand zwischen dem Kopf und dem Bildschirm 40 verändert, muss auch eine Anzeige
entsprechend angepasst werden. Falls sich die Blickrichtung ändert, muss eventuell auch die Anzeige verändert werden.
Das System kann auch optionale Lagesensoren 22 aufweisen, welche Bewegungen des Benutzers erfassen und helfen, den Inhalt des Bildschirms 40 stabil anzuzeigen.
Insbesondere weist das System einen Scanner 10 auf, der als zwei- und/oder dreidimensionales, digitales Erfassungsgerät ausgestaltet ist. Dieses kann auf verschiedene Weisen ausgeführt sein. Das zweidimensionale Bild kann
beispielsweise durch eine intraorale Kamera zustande kommen. Das dreidimensionale Modell kann mit Triangulation unter strukturierter Beleuchtung, mit Stereo-Kameras, konfokal, durch Time-of-Flight oder andere Prinzipien aufgenommen werden.
Auch weist das erfindungsgemässe System, wie es in der Figur 1 gezeigt ist, insbesondere eine Recheneinheit 30 auf, welche den Scanner 10, den Bildschirm 40 und die
Erfassungseinheit 20, und auch eine Augenkamera 21 und Lagesensoren 22, miteinander verbindet. Die Recheneinheit 30 bestimmt die Überlagerung von Scanresultat und Realität unter Berücksichtigung des Betrachtungswinkels des
Benutzers .
Erfindungsgemäss ist insbesondere die Nutzung einer videofähigen 3D-Oberflächenbildgebung zur Echtzeit- Überlagerung der Realität mit aufgenommenen 3D-Daten unter Verwendung des Aufnahmegeräts zur Bestimmung der
Transformationskette zwischen 3D-Daten und Anwender- Gesichtsfeld möglich. Wie es aus den Figuren 4 bis 8 hervorgeht, gibt es bei dem erfindungsgemässen System verschiedene Koordinatensysteme. Ein in Figur 4 gezeigtes Koordinatensystem ist durch den erfassten Scan, das Resultat des intraoralen Scanners 10, bestimmt. Ein weiteres Koordinatensystem ist das
Koordinatensystem des Scanners 10, das in Figur 5 gezeigt ist. Ein weiteres Koordinatensystem ist ein
Koordinatensystem der Erfassungseinheit (im Folgenden auch als Übersichtskamera 20 bezeichnet) , welche die Position des Scanners 10 erfasst, das in Figur 6 gezeigt ist. Als weiteres Koordinatensystem gibt es das in Figur 7 gezeigte Koordinatensystem eines Raums, wie ihn der Benutzer bzw. die scannende Person, wie beispielsweise ein Zahnarzt, sieht, wobei es für jedes Auge ein System, d.h. zwei
Systeme, gibt. Schliesslich gibt es noch ein
Koordinatensystem des Betrachters, das in Figur 8 gezeigt ist.
Um ein vom Scanner 10 erfasstes Bild als virtuellen Inhalt präzise über durch die Übersichtskamera 20 erfasste
anatomische Strukturen als Realität zu legen, wie es in Figur 2 gezeigt ist, sind mehrere bekannte Transformationen zwischen den vorangehend angegebenen Koordinatensystemen nötig, wie es beispielsweise aus der Figur 3 hervorgeht.
Eine Transformation betrifft eine Transformation der
Realität zum Bildschirm 40.
Eine weitere Transformation betrifft eine Transformation der Realität zum Scanner 10, welche während dem Scannen bekannt ist. Der Scanner 10 erstellt den Zusammenhang zwischen der Realität und dem digitalen Modell mit einer typischerweise sehr hohen Genauigkeit.
Eine weitere Transformation betrifft eine Transformation des Scanners 10 zur Übersichtskamera 20. Die Lage des
Scanners 10 kann durch leicht erkennbare Positionsmarken 11 auf dem Scanner 10 ermittelt werden. Diese Positionsmarken 11 können auch irgendwelche Illustrationen mit bekannter Textur sein, wie beispielsweise ein Firmen- oder
Produktlogo. Diese Positionsmarken geben Aufschluss über Lage und Grösse des Scanners 10, da sie in einer bekannten Geometrie und Grösse auf dem Scanner 10 angebracht sind, wie es in Figur 10 zu sehen ist. Die Position des Scanners 10 kann so auch mit einer zweidimensionalen
Übersichtskamera 20 ausreichend erfasst werden. Optische Positionsmarken können zum Beispiel bekannte Texturen sein und gemäss „M. Ozuysal et al.: Feature Harvesting for
Tracking-by-Detection, European Conference on Computer Vision, 2006" verfolgt werden. Spezielle Positionsmarken können zum Beispiel gemäss „D. Wagner et al . : Robust and Unobtrusive Marker Tracking on Mobile Phones, Technical Report, Graz University of Technology" verfolgt werden.
Eine weitere Transformation betrifft eine Transformation von Übersichtskamera 20 zum Bildschirm 40. Diese
Korrespondenz kann im Voraus beispielsweise durch eine fixe Geometrie der Übersichtskamera 20 zum Bildschirm 40 stabil bestimmt werden.
Eine weitere Transformation betrifft eine Transformation vom Auge einer scannenden Person zum Bildschirm 40. Diese Korrespondenz ist von Person zu Person verschieden und muss durch eine persönliche Kalibration vor einer ersten
Benutzung ermittelt werden. Da sich die Augen bewegen und die Blickrichtung sich ändern kann, müssen je nach System auch die Augen verfolgt werden, wie es mit der bereits erwähnten Augenkamera 21 erfolgen kann.
Diese Abbildungskette können zum Beispiel mit
Transformationen in homogenen Koordinaten berechnet werden. Eine lineare Transformation T von einem Koordinatenvektor
—*
Λ' kann in der linearen Algebra in der Matrizenschreibweise ausgedrückt werden, wobei A die Abbildungsmatrix darstellt:
T(x) = Ax
Eine Hintereinanderausführung von linearen Abbildungen entspricht dem Matrizenprodukt der zugehörigen
Abbildungsmatrizen .
Weiterführende Details findet man der Literatur, zum
Beispiel in „Hartley und Zissermann: Multiple View Geometry in Computer Vision, Cambridge University Press".
Zur Vermeidung der Lagebestimmung des Auges kann der
Gültigkeitsbereich einer Kalibrierung zum Beispiel auf einen mittleren Raumwinkel des Gesichtsfeldes eines
Benutzers bzw. einer scannenden Person eingeschränkt werden. Dreht ein Benutzer den Kopf so, dass die
darzustellende Geometrie diesen Raumwinkel verlässt, so kann die Überlagerung ausgeblendet werden.
Mit geeigneten Koordinatentransformationen
(Transformationsanweisungen) werden die verschiedenen
Koordinatensysteme ineinander übergeführt. Zuletzt gibt es eine Transformationsanweisung, welche die obigen
Transformationen in einem Schritt jeweils für ein Auge durchführt, was bedeutet, dass zwei Transformationen durchgeführt werden. Die Transformationsvorschrift erlaubt es, die Bewegungen von Zähnen als anatomische Struktur eines Patienten in das Koordinatensystem eines jeweiligen Auges eines Benutzers zu überführen und durch den Scanner 10 erfasste 3D-Geometrien auf dem Bildschirm 40 lagerichtig in Bezug auf ein durch das Auge natürlich gesehenes Bild zur Anzeige zu bringen. Um das gesamte System zu kalibrieren (insbesondere Auge zu Bildschirm) , kann beispielsweise der Scanner 10 so
ausgerichtet werden, dass er mit der virtuellen Anzeige des Scanners 10 übereinstimmt, wie es in Figur 9 zu sehen ist. Falls die Abbildungskette unterbrochen ist, wie
beispielsweise durch ein fehlerhaftes Scannen, einen
Registrierungsfehler oder durch eine Verdeckung des
Scanners 10, wird der virtuelle Inhalt bei der
bestmöglichen Position angezeigt. Diese Position wird bevorzugt bestimmt durch:
- Beschleunigungssensoren, welche auf dem Scanner 10 angebracht sind. Diese erlauben eine kurzfristige Schätzung der Position des Scanners 10. Längerfristig akkumulieren sich allerdings kleine Fehler und die geschätzte Position wird damit ungenauer.
- Tracking einer zu scannenden anatomischen Struktur. Zähne des Oberkiefers eines Patienten sind fest mit seinem Kopf verbunden. Die Beobachtung von Gesichtsmerkmalen, wie beispielsweise der Augen, können Hinweise auf eine
Lokalisierung der Zähne geben.
- Je nach Auflösung der Übersichtkamera 20 und einer
Distanz zur anatomischen Struktur, wie beispielsweise zu Zähnen eines Patienten, können auch Merkmale auf den Zähnen wiedererkannt werden. Die Korrespondenzen von 2D-Merkmalen zu einer 3D-Modell-Lage können während eines erfolgreichen Scannens gelernt werden. Solche Merkmale können
beispielsweise bestimmte Kantenmuster oder auch eine
Farbverteilung der Zähne sein.
Fehlerbehaftete Beobachtungen können in ein Bewegungsmodell von Zähnen als anatomische Struktur einfliessen, wie beispielsweise in ein Kaiman-Filter, um durch die Recheneinheit eine stabile Schätzung der Lage zu errechnen, was ähnlich einer Positionsschätzung eines Autos bei einem GPS-Signalverlust erfolgen kann.
Nachfolgend wird nun auf den Inhalt des Bildschirms 40 eingegangen.
Um die Reproduzierbarkeit der Scanresultate zu erhöhen, können Scanprotokolle während dem routinemässigen Scannen eingeblendet werden. Beispielsweise aus "Ender and Mehl: Influence of scanning strategies on the accuracy of digital intraoral scanning Systems, International Journal of
Computerized Dentistry, 2013" ist es bekannt, dass
Scanprotokolle die Genauigkeit des Modells erhöhen können. Solche Protokolle werden den Benutzern üblicherweise in einer Schulungsphase gelehrt. Das vorgeschlagene ~Sys"tBm ermöglicht es, solche Scanprotokolle direkt beim Scannen vorzuschlagen und einzublenden. Diese Instruktionen können leicht angewandt werden, da die Korrespondenz zwischen Scanner und Modell offensichtlich ist. Die Scanprotokolle müssen nicht fix im Voraus festgelegt werden, sondern können auch interaktiv vorgeschlagen werden, um
Registrationsfehler zu minimieren. Ringschlüsse, englisch „loop closing", sind üblicherweise besonders wichtig, um kleine Registrationsfehler zu korrigieren, siehe zum
Beispiel: „T. Weise et al.: In-hand Scanning with Online Loop Closure, ICCV Workshops, 2009". Das System kann bestimmte, besonders wertvolle, Ringschlüsse vorschlagen, um die Genauigkeit des Modells zu verbessern. Die
Scananleitung kann beispielsweise durch Pfeile erfolgen, welche die Scanrichtung vorzeigen, wie es in der Figur 11 zu sehen ist. Es ist auch denkbar, dass nummerierte
Orientierungspunkte als Hilfe eingeblendet werden. Diese Orientierungspunkte verschwinden, sobald diese Region erfolgreich gescannt wurde. Diese Möglichkeit ist in der Figur 12 zu sehen.
Als weitere Hilfe kann die Qualität eines Scans virtuell überblendet werden, wie beispielsweise durch eine bestimmte Farbgebung, was in der Figur 13 zu sehen ist. Die Qualität des Scans ist schlecht, falls beispielsweise Lücken im Modell zu finden sind. Diese Regionen können dann
vorgeschlagen werden, um sie als nächstes zu scannen.
Um nicht direkt sichtbare Ansichten des Modells zu
visualisieren, fungiert der Scanner 10 als virtueller
Spiegel. Die vom Blickpunkt eines Anwenders nicht
einsehbare Ansicht wird beim Kopf des Scanners 10 virtuell gespiegelt, wie es in der Figur 14 gezeigt ist. Der Spiegel ist virtuell - er kann also beliebig positioniert werden, wie beispielsweise gemäss Figur 14 direkt auf dem Scanner 10 oder auch neben dem Scanner 10. Der Spiegel kann auch, falls nötig, als Lupe oder vergrössernder Hohlspiegel funktionieren .
Es kann auch eine weitere virtuelle Lupe eingefügt werden, um kritische Regionen vergrössert darstellen zu können.
Falls der Scanner 10 über die Fähigkeit verfügt,
zweidimensionale Scans aufzunehmen, kann der virtuelle Spiegel auch als elektronischer Zahnarztspiegel des Modells oder der echten Zähne funktionieren. Im Fall von
vorliegenden 3D Scanresultaten werden diese verwendet, um die Modelldaten relativ zu der Position des Scanners 10 anzuzeigen. Ohne 3D Scanresultate zeigt der virtuelle
Zahnarztspiegel direkt den zweidimensionalen Scan relativ zu der Position des Scanners 10 an. Das Bild des dargestellten Scans wird dargestellt, indem eine künstliche Beleuchtung eingeführt wird. Die entsprechende virtuelle Lichtquelle wird vorzugsweise dort positioniert, wo ein Zahnarzt als scannende Person
typischerweise seine Beleuchtung positioniert hat, wie beispielsweise an seiner Stirn. Um diese virtuelle
Lichtquelle korrekt positionieren zu können, muss das
System die Position des Zahnarztes relativ zum Patienten kennen. Im einfachsten Fall ist die Übersichtskamera 20 rigide mit dem Kopf des Zahnarztes verbunden. Die
Abbildungskorrespondenz zwischen Übersichtskamera und
Zähnen eines Patienten ist durch das Scannen bekannt.
Eine Darstellung muss in Echtzeit erfolgen, und zwar idealerweise mit einer Latenz von maximal 0.1 Sekunden. Höhere Latenzen schränken die Anwendbarkeit des Verfahrens nicht generell ein, aber ein Anwender ist zu einer
entsprechend langsameren Handhabung des Scanners 10
gezwungen. Eine Latenz ist nicht vollständig vermeidbar, da zur Lagebestimmung des Scanners 10 zuerst das 3D-Bild erzeugt und zur übrigen darzustellenden Geometrie
registriert (Überführung in ein gemeinsames
Koordinatensystem) werden muss.
Eine Darstellung mit kurzer Latenz setzt eine entsprechend leistungsfähige Rechenhardware voraus. Die Rechnerhardware kann verteilt sein. So können sich eine CPU und eine GPU zwischen dem Bildschirm 40 und der Erfassungseinheit 20 befinden. Weitere CPUs und GPUs können sich in der
Recheneinheit 30 befinden, welche den Bildschirm 40, die Erfassungseinheit 20 und den Scanner 10 verbindet.
Nun wird noch auf die räumliche Anordnung von virtuellem Modell und Realität eingegangen. Um das virtuelle Modell von Zähnen als anatomische Struktur möglichst natürlich und räumlich korrekt im Mund
anzuzeigen, müssen die Objekte in unmittelbarer Umgebung der Zähne segmentiert werden. Diese Segmentierung kann beispielsweise durch die Übereinstimmung des optischen Flusses der virtuell überdeckten echten Zähne und des virtuellen Modells erfolgen. Der optische Fluss der
überdeckten 2D-Ansicht muss mit dem Fluss des geschätzten virtuellen Modells übereinstimmen. Falls dies nicht
zutrifft, werden diese bewegten Störungen räumlich vor dem virtuellen Modell angezeigt. Falls der intraorale Scanner 10 ein RGB-Bild mitliefert und das virtuelle Modell so eingefärbt werden kann, könnten auch die Farbabweichungen zwischen echten Zähne und Modell für eine Segmentierung herangezogen werden. Falls die Farbwerte nicht
übereinstimmen, wird das virtuelle Modell in diesen
Bereichen beispielsweise nicht angezeigt. Diese Option kann wahlweise auch ausgeschaltet werden, um beispielsweise Lücken im Modell auch hinter dem Kopf des Scanners 10 anzuzeigen.
Insbesondere werden während Scanpausen Position,
Orientierung und Skalierung der anatomischen Strukturen mit Hilfsmitteln durch die Recheneinheit 30 geschätzt. Man kann invasive und nicht-invasive Methoden unterscheiden, wobei die nicht invasiven Methoden bevorzugt werden.
Eine invasive Methode ist das Anbringen von Markern oder einem anderen Verfolgungssensor auf der zu scannenden anatomischen Struktur. Eine nicht-invasive Methode ist die Paarung von optischen 2D oder 3D Eigenschaften der
anatomischen Struktur. 2D oder 3D Eigenschaften können beispielsweise eine spärliche Anzahl von auffälligen, lokalen Punkten sein oder auch eine Anzahl von grösseren Regionen, welche dicht über das Objekt verteilt sind.
Lokale 2D Eigenschaften sind beispielsweise: Lokale Farbunterschiede auf anatomischen Strukturen. In der beschriebenen Anwendung typischerweise Zahn- Zahnfleisch Übergange.
Lokale Helligkeitsunterschiede. In der beschriebenen Anwendung typischerweise feine Helligkeitsunterschiede auf Zähnen .
Punkte maximaler Helligkeit
Punkte minimaler Helligkeit
Lokale 3D Eigenschaften sind beispielsweise: - Lokale Formunterschiede auf anatomischen Strukturen, welche beispielsweise mit Krümmungsmassen beschrieben werden können.
Lokale 2D oder 3D Eigenschaften können zusätzlich auf ihre räumliche Verteilung untersucht werden, um so eine
robustere Beschreibung zu erreichen. Die
Nachbarsbeziehungen zwischen lokalen Punkten können
beispielsweise mit Distanzmassen beschrieben werden.
Eine Möglichkeit ist es, die Eigenschaften auf dem
virtuellen Modell mit den Eigenschaften, welche von der Übersichtskamera erfasst werden, abzugleichen. Die
Übersichtskamera liefert typischerweise ebenfalls 2D
Farbdaten oder 3D Daten der Umgebung. Die Abgleichung der Eigenschaften fällt umso leichter, je ähnlicher die
Aufnahmebedingungen zwischen der intraoralen Kamera während dem kontinuierlichen Scanvorgang und der Übersichtskamera in Scanpausen sind. So kann die allfällige Beleuchtung, die zum Erfassen der Scans benötigt wird, während der Aufnahme der Bilder mit der Übersichtskamera, ausgeschaltet werden. Es kann auch eine zusätzliche Beleuchtung, vorteilhaft an einem ähnlichen Ort wie die Übersichtskamera, angebracht werden . Es ist auch möglich die nähere Umgebung der anatomischen Strukturen zu erfassen und damit auf die anatomischen
Strukturen zu schliessen. Beispielsweise kann der Kopf oder können Teile des Kopfes zur Bestimmung der Parameter der Zähne herangezogen werden. Auch hier gibt es invasive und nicht-invasive Methoden. Invasiv können beispielsweise Marker auf dem Gesicht angebracht werden. Nicht-invasiv können beispielsweise bestimmte Gesichtspunkte oder eine Gesichtsmaske verfolgt werden. Um auch in Scanpausen das virtuelle Modell möglichst genau über die echten anatomischen Strukturen zu legen, gibt es während dem Scannen mit dem Scanner 10 eine automatisierte Lernphase mit der beim Erzeugens eines Bildes beschriebenen Methode als Supervisor. Während dem Scannen und dem
erfolgreichen Anfügen von Scan an Modell werden also laufend die Daten von der Übersichtskamera analysiert und ausgewertet, um später während Scanpausen das virtuelle Modell möglichst korrekt den echten anatomischen Strukturen zu überblenden. In dieser Lernphase wird automatisch erkannt, welche Eigenschaften, die mit der Übersichtskamera verfolgt werden, dazu geeignet sind, Position, Orientierung und Skalierung des virtuellen Modells zu schätzen. Diese Eigenschaften sollen zum Beispiel eine möglichst stabile Verfolgung ermöglichen. Aus einer Vielzahl der
beschriebenen Eigenschaften, wie z.B. lokalen 2D oder 3D Eigenschaften, werden diejenigen ausgewählt, welche in dieser Situation besonders stabil und robust verfolgt werden können. Mit der automatisierten Lernphase ist es möglich eine beliebige Kombination von verschiedenen
Eigenschaften, welche sich zum Beispiel auf den
anatomischen Strukturen und in deren Nähe befinden, auszuwählen . Diese Eigenschaften sollen auch aussagekräftig bezüglich den Schätzparametern sein. Der Zusammenhang zwischen den ausgewählten Eigenschaften und den während dem Scannen bekannten Schätzparametern wird gelernt. Falls gewisse Eigenschaften nicht hilfreich sind, um die gewünschten Parameter zu schätzen, wird dies während dem Scannen erkannt und diese Eigenschaften können später in Scanpausen ignoriert werden.
Im Falle eines Unterbrechens eines Scans werden diese geschickt ausgewählten Eigenschaften herangezogen um die nun unbekannten Parameter zu schätzen.
Es wird automatisch gelernt, welche Eigenschaften dazu geeignet sind, die gewünschten Parameter zu schätzen. Diese Eigenschaften müssen demnach nicht im Voraus ausgewählt werden, sondern werden adaptiv von Scanprozess zu
Scanprozess angepasst. Durch die automatisierte Lernphase ist es möglich, Eigenschaften, welche sich nur in der Nähe der gescannten anatomischen Strukturen befinden, mit den Schätzparametern abzugleichen. So kann zum Beispiel der Zusammenhang der Position, Orientierung und Skalierung des virtuellen Modells relativ zu der Position, Orientierung und Skalierung einer Gesichtsmaske (verfolgt mit der
Übersichtskamera) gelernt werden. Während Scanunterbrüchen kann die Gesichtsmaske weiterhin verfolgt werden und die anatomischen Strukturen können an der gelernten Position, Orientierung und Skalierung relativ zur Gesichtsmaske angezeigt werden.
Falls der Scanner nicht als Hilfsmittel eingesetzt werden kann, kann das virtuelle Modell auch manuell durch den Benutzer über die echten anatomischen Strukturen gelegt werden. In diesem manuellen Kalibrationsschritt kann dann auch der Zusammenhang zwischen den verfolgten Eigenschaften und der Position, Orientierung und Skalierung des
virtuellen Modells gelernt werden. Der manuelle
Kalibrationsschritt kann einmalig oder auch wiederholt erfolgen um eine höhere Robustheit zu erlangen. Die vorliegende Erfindung zeigt insbesondere ein System und ein Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses, welche bei einfacher Bedienung eine verbesserte Darstellung von Scanergebnissen zur Verfügung stellen.

Claims

Patentansprüche
1. System zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses, wobei das System folgendes aufweist: einen intraoralen Scanner (10), der ein Bild der anatomischen Strukturen intraoral erfasst, eine extraorale Erfassungseinheit (20), die eine räumliche Position des intraoralen Scanners (10) relativ zu einem Beobachter bzw. einer scannenden
Person erfasst, und eine Recheneinheit (30), die beim Scannen den Scanner (10) mit einem Bildschirm (40) und der Erfassungseinheit (20) in Verbindung setzt und ein Scanresultat basierend auf dem intraoral erfassten Bild der anatomischen Strukturen und der erfassten räumlichen Position des intraoralen Scanners (10) relativ zu dem Beobachter erzeugt, und die während Scanpausen Position, Orientierung und
Skalierung der anatomischen Strukturen schätzt und ein der Schätzung entsprechendes Bild der anatomischen Strukturen als Scanresultat erzeugt, und wobei der Bildschirm (40) das von der Recheneinheit (30) erzeugte Scanresultat anzeigt.
2. System nach Anspruch 1, dadurch gekennzeichnet, dass der Bildschirm (40) in einer Augmented Reality Brille umfasst ist, um sich direkt im Blickfeld einer
scannenden Person zu befinden, die Erfassungseinheit (20) eine Kamera ist, die ein zwei- und/oder dreidimensionales Übersichtsbild erstellt, wobei sich die Kamera in unmittelbarer Nähe des Bildschirms (40) befindet und starr mit diesem verbunden ist.
3. System nach Anspruch 2, dadurch gekennzeichnet, dass die Erfassungseinheit (20) und der Bildschirm (40) starr beim Kopf der scannenden Person befestigt ist.
4. System nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass es weiterhin eine Augenkamera (21) aufweist, die Bewegungen der Augen und/oder des Kopfes der scannenden Person relativ zu der Erfassungseinheit (20) und dem Bildschirm (40) erfasst, wobei die Recheneinheit (30) das auf dem Bildschirm (40) angezeigte Scanresultat als überlagertes Bild angepasst an die erfassten Bewegungen erzeugt .
5. System nach Anspruch 4, dadurch gekennzeichnet, dass es weiterhin Lagesensoren (22) aufweist, die die
Bewegungen der scannenden Person erfassen, wobei die Recheneinheit (30) die erfassten Bewegungen bei der Erzeugung des auf dem Bildschirm (40) angezeigten überlagerten Bildes berücksichtigt.
6. System nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass es weiterhin Lagesensoren beim Scanner (10) aufweist, die die Bewegungen des Scanners erfassen, wobei die Recheneinheit (30) die erfassten Bewegungen bei der Erzeugung des auf dem Bildschirm (40)
angezeigten überlagerten Bildes berücksichtigt.
7. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (30)
Transformationen zwischen Koordinatensystemen
durchführt .
8. System nach Anspruch 7, dadurch gekennzeichnet, dass die Koordinatensysteme ein Koordinatensystem des intraoral erfassten Bilds, ein Koordinatensystem des Scanners (10), ein Koordinatensystem der
Erfassungseinheit (20) und ein Koordinatensystem des Bildschirms (40) umfasst.
9. System nach Anspruch 8, wenn er auf Anspruch 5, 6 oder 7 rückbezogen ist, dadurch gekennzeichnet, dass die Koordinatensysteme weiterhin jeweils ein
Koordinatensystem des Bildschirms (40) für ein linkes und ein rechtes Auge der scannenden Person und jeweils ein Koordinatensystem für ein linkes und ein rechtes Auge der scannenden Person umfasst.
10. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Bildschirm (40) weiterhin Hinweise in Bezug auf ein erfolgreiches Scannen
anzeigt .
11. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (30) das vom Scanner (10) intraoral erfasste Bild der anatomischen Strukturen derart verarbeitet, dass es auf dem
Bildschirm (40) beim Kopf des Scanners (10) angezeigt wird .
12. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass an dem Scanner (10)
Positionsmarken (11) vorgesehen sind.
13. System nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (30) Position, Orientierung und Skalierung der anatomischen Strukturen durch eine invasive oder eine nicht-invasive Methode schätzt, wobei die invasive Methode ein Anbringen von Markern oder einem anderen Verfolgungssensor auf der zu scannenden anatomischen Struktur umfasst und die nicht- invasive Methode eine Paarung von optischen
zweidimensionalen oder dreidimensionalen Eigenschaften der anatomischen Struktur umfasst.
14. System nach Anspruch 13, dadurch gekennzeichnet, dass die Recheneinheit (30) zur besseren Schätzung von Position, Orientierung und Skalierung der anatomischen Strukturen während einem erfolgreichen Anfügen von Scans an ein Modell eine Lernphase durchläuft, welche während Scanpausen hilft, das virtuelle Modell anzuzeigen, wobei Transformationen zwischen dem virtuellen Modell und den Eigenschaften auf den anatomischen Strukturen oder in deren Nähe während einem erfolgreichen Scannen bekannt sind oder gelernt werden können und wobei zwei- oder dreidimensionale Eigenschaften ausgewählt werden können, um das virtuelle Modell während Scanpausen stabil und robust weiterzuverfolgen .
15. Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen des Scanergebnisses unter Verwendung eines nach einem der vorhergehenden Ansprüche
ausgebildeten Systems, gekennzeichnet durch folgende Verfahrensschritte :
Erfassen eines Bilds der anatomischen Strukturen mit dem intraoralen Scanner (10),
Erfassen der räumlichen Position bzw. Lage des intraoralen Scanners (10) mit der extraoralen
Erfassungseinheit (20),
Überführen eines Koordinatensystems des mit dem intraoralen Scanner (10) erfassten Bilds in ein
Koordinatensystem des Bildschirms (40) durch Transformation zwischen den Koordinatensystemen beim Scannen, oder
Schätzen von Position, Orientierung und Skalierung der anatomischen Strukturen und Erzeugen eines der
Schätzung entsprechenden Bildes der anatomischen
Strukturen, und
Anzeigen des erzeugten Bilds auf dem Bildschirm (40) .
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass ein Scanergebnis durch Zusammenführen von einzelnen vom Scanner (10) intraoral erfassten Bildern der
anatomischen Strukturen gebildet wird.
17. Verfahren nach Anspruch 15 oder 16, dadurch
gekennzeichnet, dass die jeweilige Lage des Scanners (10) unter Verwendung von Positionsmarken (11) am Scanner (10) verfolgt wird.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass das vom Scanner (10) intraoral erfasste Bild der anatomischen Strukturen und/oder das Scanergebnis relativ zu der Position des Scanners (10) auf dem Bildschirm (40) angezeigt werden/wird.
EP16748268.6A 2015-07-08 2016-07-08 System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses Pending EP3319508A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015212806.7A DE102015212806A1 (de) 2015-07-08 2015-07-08 System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
PCT/EP2016/066259 WO2017005897A1 (de) 2015-07-08 2016-07-08 System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses

Publications (1)

Publication Number Publication Date
EP3319508A1 true EP3319508A1 (de) 2018-05-16

Family

ID=56615937

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16748268.6A Pending EP3319508A1 (de) 2015-07-08 2016-07-08 System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses

Country Status (9)

Country Link
US (1) US11412993B2 (de)
EP (1) EP3319508A1 (de)
JP (1) JP6941060B2 (de)
KR (1) KR102657956B1 (de)
CN (1) CN107735016B (de)
AU (1) AU2016290620B2 (de)
CA (1) CA2991659A1 (de)
DE (1) DE102015212806A1 (de)
WO (1) WO2017005897A1 (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457998B2 (en) 2016-07-29 2022-10-04 Ivoclar Vivadent Ag Recording device
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
DE102018204098A1 (de) * 2018-03-16 2019-09-19 Sirona Dental Systems Gmbh Bildausgabeverfahren während einer dentalen Anwendung und Bildausgabevorrichtung
CN108827151B (zh) * 2018-06-22 2020-05-19 北京大学口腔医学院 数据配准方法及数据配准系统
EP3649919A1 (de) 2018-11-12 2020-05-13 Ivoclar Vivadent AG Dentales bildaufnahmesystem
CN109700531B (zh) * 2018-12-17 2021-07-30 上海交通大学医学院附属第九人民医院 个体化下颌骨导航配准导板及其配准方法
CN109864829A (zh) * 2019-01-28 2019-06-11 苏州佳世达光电有限公司 扫描系统及扫描方法
EP3689288B1 (de) * 2019-01-30 2021-10-20 DENTSPLY SIRONA Inc. Verfahren und system zur dreidimensionalen bildgebung
KR102311389B1 (ko) * 2019-02-15 2021-10-13 주식회사 메디트 스캔 과정 재생 방법
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
CN109770857A (zh) * 2019-03-22 2019-05-21 昆明医科大学附属口腔医院(云南省口腔医院) 一种口腔拍照定位装置
KR102236486B1 (ko) * 2019-04-26 2021-04-06 주식회사 메디씽큐 전자적 루페 장치 및 이를 이용한 진단 방법
US10849723B1 (en) 2019-05-07 2020-12-01 Sdc U.S. Smilepay Spv Scanning device
KR102313319B1 (ko) * 2019-05-16 2021-10-15 서울대학교병원 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
TWI710357B (zh) * 2020-01-17 2020-11-21 東昕精密科技股份有限公司 Ar牙科贋復製造引導系統及其應用方法
CN113223140A (zh) * 2020-01-20 2021-08-06 杭州朝厚信息科技有限公司 利用人工神经网络生成牙科正畸治疗效果的图像的方法
AU2021227914A1 (en) 2020-02-26 2022-09-22 Get-Grin Inc. Systems and methods for remote dental monitoring
USD962437S1 (en) 2020-05-14 2022-08-30 Get-Grin Inc. Dental scope
CN112506343B (zh) * 2020-12-07 2022-07-12 青岛农业大学 动物解剖学教学方法、系统、介质、计算机设备、终端
US11445165B1 (en) 2021-02-19 2022-09-13 Dentsply Sirona Inc. Method, system and computer readable storage media for visualizing a magnified dental treatment site
EP4079258A1 (de) * 2021-04-23 2022-10-26 DENTSPLY SIRONA Inc. Zahnabtastung
WO2024007117A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system
US20240046555A1 (en) * 2022-08-08 2024-02-08 Gustav Lo Arcuate Imaging for Altered Reality Visualization

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US7013191B2 (en) * 1999-11-30 2006-03-14 Orametrix, Inc. Interactive orthodontic care system based on intra-oral scanning of teeth
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US20050020910A1 (en) * 2003-04-30 2005-01-27 Henley Quadling Intra-oral imaging system
US7463757B2 (en) * 2003-12-09 2008-12-09 Carestream Health, Inc. Tooth locating within dental images
US8194067B2 (en) * 2004-02-04 2012-06-05 3M Innovative Properties Company Planar guides to visually aid orthodontic appliance placement within a three-dimensional (3D) environment
US7323951B2 (en) 2005-07-13 2008-01-29 John Mezzalinqua Associates, Inc. Casing for CATV filter
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
KR20080090415A (ko) * 2005-12-08 2008-10-08 피터 에스 러블리 적외선 치아 촬영
US7912257B2 (en) 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
WO2010067267A1 (en) * 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
JP5476036B2 (ja) * 2009-04-30 2014-04-23 国立大学法人大阪大学 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20120056993A1 (en) * 2010-09-08 2012-03-08 Salman Luqman Dental Field Visualization System with Improved Ergonomics
US9237878B2 (en) 2011-04-22 2016-01-19 Mayo Foundation For Medical Education And Research Generation and assessment of shear waves in elasticity imaging
JP5935344B2 (ja) * 2011-05-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム
JP2013034764A (ja) * 2011-08-10 2013-02-21 Akira Takebayashi サージカルガイド装置及びドリルの位置決め方法
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US9517041B2 (en) * 2011-12-05 2016-12-13 Controlrad Systems Inc. X-ray tube
DE102012221374A1 (de) * 2012-11-22 2014-05-22 Sirona Dental Systems Gmbh Verfahren zur Planung einer dentalen Behandlung
US9135498B2 (en) * 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140221819A1 (en) * 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
US9808148B2 (en) * 2013-03-14 2017-11-07 Jan Erich Sommers Spatial 3D sterioscopic intraoral camera system
CN103442169B (zh) * 2013-07-29 2016-10-05 北京智谷睿拓技术服务有限公司 操纵图像采集设备的拍摄功能的方法和图像采集设备
CN103440626B (zh) * 2013-08-16 2016-10-19 北京智谷睿拓技术服务有限公司 照明方法和照明系统
CN103886145B (zh) 2014-03-12 2017-01-04 南京航空航天大学 牙齿预备体数字化模型设计方法
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
US10042937B2 (en) 2014-07-30 2018-08-07 Microsoft Technology Licensing, Llc Adjusting search results based on overlapping work histories
US10504386B2 (en) * 2015-01-27 2019-12-10 Align Technology, Inc. Training method and system for oral-cavity-imaging-and-modeling equipment

Also Published As

Publication number Publication date
JP6941060B2 (ja) 2021-09-29
DE102015212806A1 (de) 2017-01-12
CN107735016A (zh) 2018-02-23
KR102657956B1 (ko) 2024-04-15
WO2017005897A1 (de) 2017-01-12
AU2016290620A1 (en) 2018-02-01
US20180192964A1 (en) 2018-07-12
CA2991659A1 (en) 2017-01-12
CN107735016B (zh) 2022-10-11
US11412993B2 (en) 2022-08-16
KR20180027492A (ko) 2018-03-14
AU2016290620B2 (en) 2021-03-25
JP2018527965A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
WO2017005897A1 (de) System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses
DE102011078212B4 (de) Verfahren und Vorrichtung zum Darstellen eines Objektes
EP2926733B1 (de) Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP0799434B1 (de) Mikroskop, insbesondere stereomikroskop und verfahren zum überlagern zweier bilder
EP2082687B1 (de) Überlagerte Darstellung von Aufnahmen
EP2176833B1 (de) Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt
EP2289061B1 (de) Ophthalmoskop-simulator
WO2017174525A1 (de) Verfahren und vorrichtung zum bestimmen von parametern zur brillenanpassung
DE112009000100T5 (de) Navigieren zwischen Bildern eines Objekts im 3D-Raum
DE112004000902T5 (de) Kalibrierung von tatsächlichen und virtuellen Ansichten
EP2937058A1 (de) Kopfgetragene plattform zur integration von virtualität in die realität
DE112010006052T5 (de) Verfahren zum Erzeugen stereoskopischer Ansichten von monoskopischen Endoskopbildern und Systeme, die diese verwenden
DE112017001315T5 (de) Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes
WO2018224655A1 (de) Verfahren, vorrichtungen und computerprogramm zum bestimmen eines nah-durchblickpunktes
WO2017220667A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
CN116419715A (zh) 用于牙科治疗系统的双向镜显示器
DE102020215559A1 (de) Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
DE102012100848B4 (de) System und Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
DE102021206565A1 (de) Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
EP3349178A1 (de) Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers
EP3274753A1 (de) Verfahren zum betreiben einer operationsmikroskopanordnung
EP4124283A1 (de) Messverfahren und eine messvorrichtung
DE102020126029A1 (de) Chirurgisches Assistenzsystem und Darstellungsverfahren
DE102018102252A1 (de) Elektronisches Stereomikroskop oder Stereoendoskop

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210415

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230524