EP4581578A1 - Vorrichtung und verfahren zur durchführung eines intraoralen scans - Google Patents

Vorrichtung und verfahren zur durchführung eines intraoralen scans

Info

Publication number
EP4581578A1
EP4581578A1 EP23768788.4A EP23768788A EP4581578A1 EP 4581578 A1 EP4581578 A1 EP 4581578A1 EP 23768788 A EP23768788 A EP 23768788A EP 4581578 A1 EP4581578 A1 EP 4581578A1
Authority
EP
European Patent Office
Prior art keywords
images
color
cameras
scanning device
patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23768788.4A
Other languages
English (en)
French (fr)
Inventor
René Fischli
Martin Steiner
Lorenz Sulzberger
Sebastian Pinzello
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bruetsch Elektronik Ag
Original Assignee
Bruetsch Elektronik Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bruetsch Elektronik Ag filed Critical Bruetsch Elektronik Ag
Publication of EP4581578A1 publication Critical patent/EP4581578A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • WO201 9085402A1 describes an intraoral scanner that uses at least one camera. For this reason, it is basically a scanner that is based on the triangulation process.
  • stereo vision The basic principle of stereo vision is that the same points on an object to be scanned are recorded by at least two cameras from different “viewing directions”. Due to the disparity identified here A depth map can be created and ultimately a 3D image of the object to be scanned can be created. As with the triangulation process, there are many different versions of stereo vision.
  • passive stereo vision there is active and passive stereo vision. Unlike active stereo vision, passive stereo vision does not require light projection onto the object to be scanned.
  • EP2166303A1 describes an intraoral scanner with a large number of cameras which are arranged alternately with light projectors on the device.
  • WO2016142917A1 describes a scanning device that partially covers the teeth during scanning.
  • At least 2 of the at least 3 images recorded at the same time are then compared with each other in the computing unit.
  • These 2 images in a group of images that are compared with each other are referred to below as an image pair.
  • an algorithm is used that is designed to recognize corresponding patterns in the pair or pairs of images.
  • Corresponding patterns mean individual image pixels or areas of the image pairs, which are depicted in the image pairs offset from one another.
  • the depth can be calculated directly in the form of a depth map from the shift (disparity) of the patterns or image pixels of the image pair.
  • the depth maps that were created from the images in the image groups are put together and the 3D model is finally formed.
  • the present method differs from the prior art in particular in that the color pattern generated, projected onto the tooth and captured by the cameras has largely constant intensity progressions in the individual color channels. Matching pixels or patterns are then detected through an evaluation in the color space. Matching pixels are determined by comparing the directions and lengths of the color vectors in the color space.
  • the continuity can reduce the noise in the image.
  • “largely continuous” means that jumps can occur due to shadowing of the projection pattern.
  • At least two pairs of images are formed from each group of images and examined for corresponding patterns.
  • the depth maps overlap due to the arrangement of the cameras.
  • a depth map is calculated from the at least two depth maps, with the quality of the points being evaluated and improved in the overlap area.
  • the color patterns can be created in different ways.
  • the color pattern is generated with the help of 3 laser diodes and at least one diffractive optical element.
  • the 3 laser diodes which are located, for example, in a proximal section of a handpiece of the device according to the invention, are connected to the diffractive optical element via optical waveguides.
  • the diffractive optical element DOE is preferably arranged in the distal section of the handpiece or in the headpiece of the device and is positioned in the oral cavity of a patient while the scan is being carried out.
  • the diffractive optical element preferably has 3 areas and ensures that red, green and blue stripes are projected onto the teeth.
  • the color pattern or color stripe pattern is generated by colored LEDs (preferably red, green, blue) and diaphragms.
  • the lighting elements - here LEDs - are preferably arranged in the handpiece of the device and connected via optical fibers to a panel which is arranged in the distal section of the headpiece of the device.
  • the projection pattern is flashed for 1 ms. This results in a high pulse light output in the range of 300mW required for the light source; without taking into account the losses caused by filters or coupling into the optical fiber.
  • the color patterns are intermittently projected onto the surface to be captured and that the images of at least one group of images are captured within this projection time.
  • the light of a white LED illuminates the surface to be detected. This makes the surface to be captured more perceptible to the human eye and/or to a camera for recording and playback on a screen, and the positioning and movement of the distal section of the handpiece of the intraoral scanner in a patient's mouth is facilitated during the scanning process .
  • the light of the white LED, or the light of the white LED reflected from the tooth surface can preferably also be used to determine the color of the teeth or the surface to be scanned and roughly the material being scanned, such as tooth, gum or metal .
  • an image is recorded with the help of one of the cameras while the surface to be scanned is illuminated with the white LED and passed on to a computing unit.
  • the computing unit preferably textures the generated 3D model based on this data.
  • the color and/or material information can also be saved in the 3D model.
  • the color pattern or color stripe pattern is generated with at least 3 colored LEDs (red, green and blue) and apertures. It is also possible to use after an execution Light guides are provided to save space and prevent heat problems. For example, stripe or triangular patterns or tapered stripes can be created by the panels. Surprisingly, it has been shown that apertures that taper in cross-section (from the light entrance to the light exit) optimize the light intensity within the projected strips or within the projected triangle to such an extent that a triangular intensity curve is created, instead of the usual one for apertures. rather trapezoidal intensity curve.
  • wings are provided on the side of the cameras of the scanning device as a guide aid.
  • the wings are designed and aligned in such a way that when the distal section is guided over the edges of the teeth, said edge finds space between the wings.
  • the insides of the wings touch either the front and top or the back of the teeth and the top of the teeth (especially the molars).
  • the wings are therefore designed to support themselves on said sides and to enable scanning over the edge.
  • the term “scan over the edge” in the context of this invention means that the distal section of the scanning device is moved once along the front edge of the teeth and once along the back edge of the teeth.
  • the wings are preferably at a distance of between 1 and 2 mm from one another and preferably run at an angle of approximately 35 degrees relative to the area in which the cameras are arranged. They have a height of preferably between 2 and 4 mm.
  • the distal section of the handpiece can be designed to be pluggable onto the proximal part of the handpiece and can be autoclaved as a whole.
  • Figure 2 shows a representation of the intraoral scanner with LEDs and apertures
  • Figure 4 shows the application of the intraoral scanner on teeth
  • Figure 8 shows the recorded disparity of the left and middle cameras, as well as the middle and right cameras, as well as a composite disparity map in the middle.
  • the laser diodes 32b are connected via a coupling 33 to the optical waveguides 21, which run through the neck piece 20 of the scanner.
  • the optical waveguides 21 are optically coupled to a diffractive optical element 16 via a focusing or lens 17 housed in the head piece 10, a 90° deflection by means of a prism 12.
  • the lens is preferably a GRIN lens.
  • the diffractive optical element has 3 areas (RGB) and ultimately creates a color pattern for projection onto a patient's teeth.
  • the cameras of the intraoral scanner cannot be seen in this illustration.
  • Figure 2 shows an embodiment of the intraoral scanner, which has at least 3 colored LEDs (red, green and blue) instead of the laser diodes.
  • the LEDs 32a are preferably arranged in the handpiece 30 and are optically connected to the optical waveguide 21 arranged in the neck piece 20.
  • One optical fiber is provided for each aperture.
  • a 90° deflection 12 (prism) and apertures 14 are arranged in the head piece 10 of the intraoral scanner.
  • the diaphragms are arranged in a diaphragm body 19, as shown in Figure 3c. Ultimately, up to 100 mW of power per color emerges from the projection 15 during the light pulse. The cameras of the intraoral scanner cannot be seen in this illustration.
  • Figure 5b shows a projection 15 of a triangular pattern on a white background.
  • the projection distance is preferably between 5 and 15mm.
  • This variant is produced with LEDs and corresponding diaphragms 14 with a triangular cross section, which are arranged laterally on two diaphragm bodies 19 offset from one another, preferably half the width of the base side of the triangle.
  • Figure 5c shows the intensity curves of the middle line of the middle camera image 52 (at optimal aperture) when projecting the triangular color pattern of Figure 5b on a white background.
  • the aperture or the light source with which a triangle is created is located in the wide part of the triangle in relation to the distance to the center of the camera (see aperture arrangement in Fig. 3b.). Therefore, towards the top the intensity decreases noticeably as the distance increases.
  • Figure 5d shows the intensity curves of a lower line of the middle camera image 52 (at optimal aperture) when projecting the triangular color pattern of Figure 5b on a white background.
  • the intensity peak is also smaller because the distance to the aperture is greater.
  • the differences in intensity peaks can be reduced by optimizing the aperture.
  • the peaks should have the same intensity.
  • 6 are three camera images 51, 52 and 53, on which the projection according to FIG. 5a was recorded on the surface of a tooth model 40.
  • the individual color stripes red 111, green 112 and blue 113 are additionally smoothed by the optical properties of the tooth and therefore run more into one another. Due to the uneven surface of the teeth, the individual strips in the projection no longer run purely parallel to one another.
  • a camera line is shown with the straight line 50, which is analyzed in FIG. 7 with regard to the color gradient.
  • Figure 8 shows three disparity maps - one (left map) from the left camera to the middle camera and (right map) from the middle to the right camera and (middle map) a combined disparity map.
  • the disparity was calculated for the middle camera.
  • the depth can be determined from the disparity. Dark dots mean that the disparity cannot be determined or cannot be determined with sufficient precision. Bright values show a high disparity or the proximity to the camera.
  • the left disparity map is limited to the right side, the right to the left side, since the disparity can only be determined for areas that the corresponding cameras “see”.
  • the two disparity maps have an overlap area where one can obtain two disparity values per image pixel. This allows the middle map to be calculated, which has disparity or depth values with higher accuracy in the overlap area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erstellen von 3- dimensionalen Bildern mit Hilfe einer Intra-Oral-Scan-Vorrichtung. Bei dem erfindungsgemäßen Verfahren wird ein Farbmusters (111, 112, 113) auf eine zu erfassende Oberfläche – insbesondere die Zähne (40) – projiziert. Während der Projektion wird eine Mehrzahl von Bildern mit Hilfe von wenigstens 3 voneinander beabstandeter und in einer Ebene auf der Scan-Vorrichtung angeordneter Kameras (13) aufgenommen. Über die Verschiebung korrespondierender Pixel kann direkt eine Tiefenkarte berechnet werden. In einem anschließenden Schritt werden die berechneten Tiefenkarten zusammengefügt und schlussendlich ein 3D-Modell berechnet. Kern der Erfindung liegt darin, dass das projizierte Farbmuster möglichst stetige Intensitätsverläufe in den einzelnen Farbkanälen erzeugt und übereinstimmende Pixel oder Muster über die Auswertung der vektoriellen Differenzen im Farbraum detektiert werden. Die Projektion des Farbmusters erfolgt intermittierend. Zur Realisierung von Mikro-Projektion mit hoher Lichtintensität im Blitzbetrieb mussten neue Lösungsansätze erfunden werden

Description

Titel:
Vorrichtung und Verfahren zur Durchführung eines intraoralen Scans
Beschreibung:
Die vorliegende Erfindung betrifft ein Verfahren zum Erfassen von Tiefendaten in der Mundhöhle eines Patienten, sowie eine Vorrichtung zur Durchführung dieser Scans und zur Erzeugung eines 3-D Modells des erfassten Bereiches.
Derartige Vorrichtungen werden auch unter dem Begriff Intraoralscanner zusammengefasst.
Durch die Erzeugung eines 3-D Modells des erfassten Bereiches in der Mundhöhle des Patienten können insbesondere die Zähne, Zahnprothesen Kronen, Brücken dargestellt und zahnmedizinische Produkte ohne die konventionelle Abformung mit Hilfe einer Abdruckmasse hergestellt werden. Bislang notwendige Zwischenschritte, wie die Herstellung eines Gips-Modells und die Verwendung eines extraoralen Scansystems können durch einen intraoralen Scan eingespart werden.
Die mit Hilfe eines Intraoral-Scans gewonnenen 3-D Modelle können anschließend in der computergestützten Herstellung eines Zahnersatzes - wie Kronen oder Brücken - oder auch für die computergestützte dentale Diagnostik verwendet werden. Dies ist ein wachsender Markt.
Auf dem Markt ist eine Vielzahl unterschiedlicher Verfahren und Vorrichtungen zum Durchführen eines Intraoral-Scans erhältlich. Dabei haben alle unterschiedlichen Verfahren ihre Vorteile und ihre Nachteile.
Eine Möglichkeit zur Erfassung von Entfernungsdaten bietet die Triangulation.
Hierbei ist es möglich, mit Hilfe nur einer Kamera und eines projizierten Musters, eine Entfernungsmessung vorzunehmen. Bei einem Ansatz mit nur einer Kamera ist es erforderlich, die Übereinstimmung zwischen den von der Lichtquelle projizierten Mustern, z.B. Streifen und den im Bild beobachteten Streifen zu kalibrieren.
Im Allgemeinen sind die von der Kamera aufgenommenen Muster aufgrund der unterschiedlichen optischen Eigenschaften der zu scannenden Objekte bzw. Materialien unterschiedlich zum projizierten Muster. Dies ist besonders bei Zähnen der Fall. So können beispielsweise scharfe Kanten des Musters verlaufen, die genaue Triangulation und Zuordnung zum Muster wird somit erschwert.
Um möglichst viele Tiefeninformationen berechnen zu können, müssen möglichst viele Linien dargestellt werden und ausgewertet werden können. Problem ist hier, dass einerseits die Anzahl der auswertbaren Linien durch die optischen Eigenschaften der Zähne begrenzt ist, andererseits lässt sich die Zuordnung zur projizierten Linie nicht mehr herstellen. Um die Zuordnung zur projizierten Linie zu gewährleisten, werden meist mehrere Bilder mit unterschiedlich breiten Streifen aufgenommen und ausgewertet, mit dem Nachteil, dass sich der Intraoralscanner zwischen den Bildern bewegt und dies in der Auswertung berücksichtigt werden muss. Bekannte alternative Verfahren, die Aufgrund der Eigenschaften der Zähne nicht geeignet erscheinen, wären die Streifen zu codieren oder farbige Streifen zu verwenden.
Ein weiterer Ansatz ist die Stereovision, bei der mit Hilfe von zwei Kameras ein räumliches Sehen ermöglicht wird. Hierbei sei aber angemerkt, dass es auch Triangulationsverfahren gibt, bei denen zwei Kameras zum Einsatz kommen.
WO201 9085402A1 beschreibt einen Intraoralscanner, welcher mit wenigstens einer Kamera auskommt. Aus diesem Grunde handelt es sich im Prinzip um einen Scanner, welcher auf dem Verfahren der Triangulation beruht.
Grundprinzip bei der Stereovision ist, dass die gleichen Punkte auf einem zu scannenden Gegenstand durch wenigstens zwei Kameras aus unterschiedlichen „Blickrichtungen“ aufgenommen werden. Durch die hierbei festgestellte Disparität kann eine Tiefenkarte erzeugt werden und schlussendliche ein 3D Bild des zu scannenden Objektes erzeugt werden. Wie beim Triangulationsverfahren gibt es auch bei der Stereovision viele unterschiedliche Ausführungen.
Beispielsweise gibt es die aktive und die passive Stereovision. Die passive Stereovision kommt entgegen der aktiven Stereovision ohne eine Lichtprojektion auf den zu scannenden Gegenstand aus.
Bei der aktiven Stereovision wird mittels einer Lichtprojektion ein Muster auf den zu scannenden Gegenstand projiziert, was erlaubt die Disparität eindeutiger und genauer zu bestimmen. Daher werden hier häufig zufällige Muster verwendet.
Gerade bei Zähnen, die zudem im Mund des Patienten auch noch feucht sind, treten viele optische Effekte, verbunden mit teilweiser Transluzenz auf. Fein strukturierte, zufällige Muster könnten nicht mehr eindeutig erkannt werden. Daher sind Muster gefragt, die auf den Zähnen möglichst eindeutig sind und die Zuordnung von Bildausschnitten zwischen dem linken und rechten Bild ermöglichen.
Eine Möglichkeit ist nebst Schwarz/Weiss Mustern, Farben und Farbverlaufe zu verwenden. So lassen sich die Farben sehr gut identifizieren und ermöglichen eine gute Zuordnung. Die Verwendung von Farbstreifen erlaubt maximale Kontraste.
Die Anordnung der Kameras, Projektoren und insgesamt die Geometrie insbesondere des distalen Abschnittes der Scanvorrichtung, welche in die Mundhöhle eines Patienten eingeführt wird, ist bei den bekannten Intraoralscannern häufig unterschiedlich ausgebildet und angepasst auf das jeweils verwendete Scan- Verfahren.
Gegenüber den in der Technik ansonsten bekannten 3D-Scanverfahren ist in Hinblick auf Intraoralscanner jedoch zu berücksichtigen, dass die geometrischen und optischen Eigenschaften in der Mundhöhle eines Patienten hohe technische Hürden darstellen und der distale Teil des Interoralscanners sehr klein sein muss. Hierfür wurden im Stand der Technik für Intraoralscanner spezielle Lösungen entwickelt.
So beschreibt EP2166303A1 einen Intraoralscanner mit einer Vielzahl von Kameras die abwechselnd mit Lichtprojektoren auf dem Gerät angeordnet sind.
WO2016142917A1 beschreibt eine Scan-Vorrichtung, welche die Zähne während des Scannens teilweise umhüllt.
Aufgabe der vorliegenden Erfindung ist es, einen verbesserten Scanner und eine verbesserte Vorrichtung der eingangs angegebenen Art vorzuschlagen, welche ein schnelles und genaues Scannen ermöglicht. Durch die Anordnung der Kameras und Projektors im distalen Bereich des Intraoralscanner sind diese in der Größe eingeschränkt. Zur Realisierung des Mikroprojektors müssten neue Lösungsansätze gefunden werden.
Erfindungsgemäß wird diese Aufgabe durch ein Scan -Verfahren nach Anspruch 1 und eine Scan-Vorrichtung nach Anspruch 1 1 gelöst. Die Unteransprüche stellen bevorzugte Ausführungen der Erfindung dar. Die Scan-Vorrichtung dient insbesondere zur Abtastung eines oder mehrerer Zähne.
In einem ersten Schritt des erfindungsgemäßen Verfahrens wird für den Scanvorgang bevorzugt mit Hilfe wenigstens eines Projektors ein Farbmuster oder Farbstreifenmuster auf die zu erfassende Oberfläche projiziert. Während der Projektion des Farbmusters auf die Oberfläche der Zähne wird mit Hilfe von wenigstens 3 Kameras, die in einer Ebene und seitlich voneinander beabstandet angeordnet sind, fortlaufend oder in kurzen Intervallen eine Gruppe von Bildern bzw. Bildergruppe zeitgleich aufgenommen.
Diese Mehrzahl von Bildern umfasst entsprechend eine Mehrzahl von Bildergruppen, wobei die Bilder der jeweiligen Bildergruppe zeitgleich aufgenommen sind. Diese Mehrzahl von Bildern wird daraufhin oder kontinuierlich an eine Recheneinheit weitergegeben. Es können ggf. auch nur bestimmte Informationen aus diesen Bildern an die Recheneinheit weitergegeben werden. Diese Variante ist bevorzugt in dem Begriff der Weitergabe der Bilder an die Recheneinheit mit eingeschlossen.
In der Recheneinheit werden dann wenigstens 2 der von den wenigsten 3 zeitgleich aufgenommenen Bilder miteinander verglichen. Diese jeweils 2 miteinander verglichenen Bilder einer Bildergruppe werden im Folgenden als Bilderpaar bezeichnet. Beim Vergleichen der Bilder wird ein Algorithmus verwendet, der dazu ausgebildet ist, korrespondierende Muster in dem Bilderpaar bzw. den Bilderpaaren zu erkennen.
Mit korrespondierenden Mustern sind einzelne Bildpixel oder Bereiche der Bilderpaare gemeint, welche entsprechend voneinander verschoben in den Bilderpaaren abgebildet sind. Aus der Verschiebung (Disparität) der Muster bzw. der Bildpixel des Bilderpaars kann direkt die Tiefe in Form einer Tiefenkarte errechnet werden. Durch Ausrichtung der Kamera lässt sich der Suchraum für korrespondierende Pixel auf eine Zeile reduzieren.
In einem letzten Schritt werden die Tiefenkarten, die aus den Bildern der Bildergruppen erzeugt wurden, zusammengefügt und schlussendlich das 3D-Modell gebildet.
Das vorliegende Verfahren grenzt sich vom Stand der Technik insbesondere auch dadurch ab, dass das erzeugte, auf den Zahn projizierte und von den Kameras erfasste Farbmuster weitgehend stetige Intensitätsverläufe in den einzelnen Farbkanälen aufweist. Übereinstimmende Pixel oder Muster werden dann durch eine Auswertung im Farbraum detektiert. Dabei werden übereinstimmende Pixel durch Vergleich der Richtungen und Länge der Farbvektoren im Farbraum bestimmt.
Durch die Stetigkeit kann das Rauschen im Bild reduziert werden. Mit „weitgehend stetig“ ist erfindungsgemäß gemeint, dass durch Abschattungen des Projektionsmusters Sprünge auftreten können.
Bevorzugt werden von jeder Bildergruppe wenigstens zwei Bilderpaare gebildet und auf korrespondierende Muster untersucht. Somit können durch die Disparitätsermittlung wenigstes zwei Tiefenkarten erzeugt werden. Durch die Anordnung der Kameras überschneiden sich die Tiefenkarten. Aus den wenigstens zwei Tiefenkarten wird eine Tiefenkarte berechnet, wobei im Überschneidungsbereich die Qualität der Punkte bewertet und verbessert werden.
Die Erzeugung der Farbmuster kann auf unterschiedliche Weise erfolgen. Gemäß einer bevorzugten Variante der Erfindung, wird das Farbmuster mit Hilfe von 3 Laserdioden und wenigstens einem diffraktiven optischen Element erzeugt. Nach einer Ausführung sind die 3 Laserdioden, welche sich beispielsweise in einem proximalen Abschnitt eines Handstücks der erfindungsgemäßen Vorrichtung befinden, über Lichtwellenleiter mit dem diffraktiven optischen Element verbunden. Das diffraktive optische Element (DOE) ist bevorzugt im distalen Abschnitt des Handstücks, bzw. in dem Kopfstück der Vorrichtung angeordnet und wird während der Durchführung des Scans in der Mundhöhle eines Patienten positioniert. Das diffraktive optische Element besitzt bevorzugt 3 Bereiche und sorgt dafür, dass rote, grüne und blaue Streifen auf die Zähne projiziert werden.
Gemäß einer zweiten Variante der Erfindung wird das Farbmuster oder Farbstreifenmuster durch farbige LEDs (bevorzugt rot, grün, blau) und Blenden erzeugt. Auch in dieser Ausführung sind die Leuchtelemente - hier LEDs - bevorzugt im Handstück der Vorrichtung angeordnet und über Lichtwellenleiter mit Blendenverbunden, welche im distalen Abschnitt des Kopfstücks der Vorrichtung angeordnet ist.
Um Bewegungsunschärfe im Bild zu vermeiden, wird das Projektionsmuster für 1 ms geblitzt dargestellt. Dadurch wird eine hohe Puls-Lichtleistung im Bereich von 300mW für die Lichtquelle benötigt; ohne Berücksichtigung der Verluste durch Filter oder Einkopplung in den Lichtwellenleiter.
Erfindungsgemäß ist vorgesehen, dass die Farbmuster intermittierend auf die zu erfassende Oberfläche projiziert werden und innerhalb dieser Zeit der Projektion die Bilder wenigstens einer Bildergruppe erfasst werden.
Versetzt zu der intermittierenden Projektion der Farbmuster ist bevorzugt vorgesehen, dass das Licht einer weißen LED die zu erfassende Oberfläche beleuchtet. Hierdurch wird die zu erfassende Oberfläche für das menschliche Auge und/oder für eine Kamera zur Aufzeichnung und Wiedergabe auf einem Bildschirm besser wahrnehmbar gemacht, und die Positionierung und Bewegung des distalen Abschnittes des Handstücks des Intraoralscanners im Mund eines Patienten wird während des Scan-Vorgangs erleichtert.
Das Licht der weißen LED, bzw. das von der Zahnoberfläche reflektierte Licht der weißen LED kann bevorzugt auch dazu verwendet werden, die Farbe der Zähne, bzw. der zu scannenden Oberfläche und grob das gescannte Material zu bestimmen, wie z.B. Zahn, Zahnfleisch oder Metalle. Hierfür kann vorgesehen sein, dass ein Bild mit Hilfe einer der Kameras während der Beleuchtung der zu scannenden Oberfläche mit der weißen LED aufgenommen und an eine Recheneinheit weitergegeben wird. Die Recheneinheit texturiert bevorzugt das erzeugte 3D-Modell auf Basis dieser Daten. Analog hierzu kann nach einer anderen Ausgestaltung die Färb- und/oder Materialinformation ebenfalls im 3D-Modell gespeichert werden. Mittels Farb- und/oder Materialinformationen kann nach einer noch weiteren Ausgestaltung der Erfindung das Stereomatching optimiert, und/oder die Leuchtstärke des strukturierten Lichtes reguliert und/oder das Projektionsmuster zur Laufzeit an Material bzw. Farbe angepasst werden. Der Scanner kann in diesem Zusammenhang eine Steuereinheit aufweisen bzw. damit verbunden sein, die entsprechend zur Durchführung dieser Schritte ausgebildet ist.
Die Speicherung der Färb- und Materialinformationen im 3D-Modell ermöglicht, während des Scanvorgangs das Gebiss zu Segmentieren, Zahnfleisch, Gaumen, Spangen, Metallimplantate oder störende Daten wie Backe oder Zunge zu identifizieren. Mittels all dieser Informationen ist es möglich die Genauigkeit des Scanvorgangs zu schätzen und dem Benutzer Hinweise für eine ungenügende Scanqualität zu liefern respektive in der 3D-Darstellung aufzuzeigen.
Bevorzugt verfügt die erfindungsgemäße Scan-Vorrichtung über einen Beschleunigungssensor. Liegt die festgestellte Beschleunigung respektive Bewegung über einem vorherbestimmten Schwellwert, wird der Scan-Vorgang gemäß einer Ausführungsform unterbrochen oder beendet. Hierdurch wird der Scanvorgang bei zu heftigen Bewegungen unterbrochen und kann bei sanfteren Bewegungen wieder fortgesetzt werden.
Nach einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung ist vorgesehen, dass die vom Beschleunigungssensor erfassten Bewegungsänderungen von einem Prozessor mit vorgegebenen, in einer Speichereinheit abgelegten Bewegungsänderungsdaten verglichen werden. Hierdurch kann eine Gestensteuerung durch den Anwender vorgenommen werden.
Das erfindungsgemäße Verfahren kommt im Gegensatz zu Triangulationsverfahren prinzipiell ohne ständige Kalibrierungen aus. Ausschließlich eine werksmäßige Kalibrierung der Kameraoptik ist vorgesehen.
Zum Erstellen von 3-dimensionalen Bildern insbesondere der Zähne eines Patienten mit Hilfe des voranstehend beschriebenen Verfahrens wird eine erfindungsgemäße Scan-Vorrichtung vorgeschlagen.
Die erfindungsgemäße Scan-Vorrichtung umfasst dabei ein Handstück, welches über einen proximalen Abschnitt und einen distalen Abschnitt zum Einführen in die Mundhöhle eines Patienten verfügt. Zudem umfasst die Scan-Vorrichtung über eine Recheneinheit und eine Steuereinheit. Das Handstück ist dabei zum Austausch von Informationen mit einer Steuereinheit, und mit einer Recheneinheit verbunden. Die Steuereinheit und/oder die Recheneinheit können auch im Handstück angeordnet sein. Nach einer Ausführung ist das Handstück über ein Kabel mit der Steuereinheit und/oder Recheneinheit verbunden. Nach einer weiteren Ausführung kann aber auch ein System zur drahtlosen Übertragung von Informationen zwischen dem Handstück und der Recheneinheit und/oder der Steuereinheit vorgesehen sein.
Auf dem distalen Abschnitt des Handstücks befinden sich wenigstens 2, typischerweise 3 Kameras, die zur Durchführung eines Scans verwendet werden. Dabei sind die 3 Kameras in einer Ebene angeordnet. Neben der Ausführung mit 3 Kameras sind aber auch Ausführungen mit 4 oder mehr Kameras möglich.
Auf dem distalen Abschnitt befindet sich ebenfalls ein System zur Erzeugung eines Farbstreifenmusters bzw. zumindest Komponenten hiervon. Bevorzugt wird das Farbstreifenmuster mit Hilfe eines diffraktiven optischen Elementes (DOE) zusammen mit wenigstens 3 Laserdioden erzeugt. Vorzugsweise sind die wenigstens 3 Laserdioden in dem proximalen Abschnitt des Handstücks angeordnet und über Lichtwellenleiter mit dem DOE auf dem distalen Abschnitt des Handstücks verbunden.
Das DOE hat bevorzugt 3 unterschiedliche Bereiche, sodass jedes der 3 Laser- Dioden optisch jeweils in einen Bereich des DOEs eingekoppelt ist. Bevorzugt sind die 3 Laserdioden rot, grün und blau.
Das DOE ist nach einer besonders bevorzugten Ausführung so gestaltet, dass es rote, grüne und blaue Farbstreifen mit einer Breite von 700 bis 1800 Mikrometern in einem Abstand von 5-15mm auf die zu scannenden Oberfläche, insbesondere den Zähnen projiziert.
Gemäß einer alternativen Ausführungsform ist vorgesehen, dass das Farbmuster oder Farbstreifenmuster mit wenigstens 3 farbigen-LEDs (rot, grün und blau) und Blenden erzeugt wird. Es ist auch nach einer Ausführung die Verwendung von Lichtleitern vorgesehen, um Platz zu sparen und Wärmeproblemen vorzubeugen. Es können beispielsweise Streifen- oder Dreiecksmuster oder sich verjüngende Streifen durch die Blenden erzeugt werden. Überraschender weise hat sich gezeigt, dass durch sich im Querschnitt verjüngende Blenden (vom Lichteintritt hin zum Lichtaustritt) die Licht-Intensität innerhalb der projizierten Streifen oder innerhalb des projizierten Dreiecks soweit optimiert wird, dass ein dreieckiger Intensitätsverlauf entsteht, anstelle eines ansonsten bei Blenden üblichen, eher trapezförmigen Intensitätsverlaufes.
Die Steuereinheit der Scan-Vorrichtung ist dazu ausgebildet, die auf dem distalen Abschnitt angeordneten Kameras anzusteuern, um währen des Scan-Vorgangs zeitgleich eine Reihe von Aufnahmen zu tätigen und an eine Recheneinheit weiterzuleiten. Die Recheneinheit ist erfindungsgemäß dazu ausgebildet, die aufgenommenen Bilder in Anwendung eines Stereo-Matching-Verfahrens auszuwerten. Dadurch ist es möglich, Tiefenkarten der Bilder zu erzeugen, welche durch die Recheneinheit der Vorrichtung oder durch eine externe Recheneinheit in ein 3D-Modell überführt werden.
Kern der Erfindung besteht darin, dass die DOEs zusammen mit den Laserdioden oder die LEDs zusammen mit den Blenden ein Muster erzeugen, welches stetige Intensitätsübergänge aufweist. Das Muster kann durch Farbstreifen, ein Dreiecksmuster oder auch eine Kombination von weissen Licht mit Farbelementen wie Linien oder Streifen umgesetzt werden.
Die Recheneinheit ist erfindungsgemäß dazu ausgebildet, Änderungen im Farbraum zur Erkennung übereinstimmender Muster in den Bilderpaaren zu verwenden.
Zudem wird versetzt zu der intermittierenden Projektion der Farbstreifenmuster die zu erfassende Oberfläche mit einer weißen LED beleuchtet, wie weiter oben ausgeführt. Gemäß einer Ausführungsform verfügt die Scan-Vorrichtung in dem Handstück über einen Drehvibrations-Mechanismus. Dieser Vibrationsmechanismus ist dazu ausgebildet, das auf dem distalen Abschnitt befindliche DOE in Bewegung zu setzen. Die von dem DOE erzeugten und auf die zu scannende Oberfläche projizierten Farbstreifen verwischen hierdurch, was gleichzusetzen ist mit der Erzeugung stetiger Intensitätsübergänge des Farbstreifenmusters. Bevorzugt ist der Intensitätsübergang sinusförmig oder annähernd sinusförmig. Ein weiterer wichtiger Effekt hierbei ist auch die Reduktion von Speckles jeglicher Art, die durch den Laser entstehen.
Nebst der Möglichkeit, um einen Achse zu vibrieren kann auch um 2-Achsen vibriert werden. Dies ermöglicht, mit und ohne DOE Muster zu erzeugen. Ohne DOE - also nur mit dem Punkt des Lasers - können Geraden oder Lissajou-Figuren erzeugt werden. Mit einem DOE können mehrere Streifen und Lissajou-Figuren erzeugt werden. Die Amplitude und Frequenz der Vibrationen kann während dem Scanvorgang angepasst werden; so kann das Muster insbesondere dessen Breite an das zu scannende Material angepasst werden. Die Materialdetection ist mittels der intermittierenden weißen Beleuchtung möglich.
Ein Vibrationsmechanismus kann auch in einer 90° Umlenkung in Form eines Prismas oder Spiegels ausgebildet sein.
Bei beiden Ausführungsformen werden die Laserdioden bzw. die LEDs mit einer Pulslänge von zwischen 0,1 und 2.5 ms betrieben. Besonders bevorzugt etwa 1 ms. Diese Zeit reicht aus, damit wenigstens eine Bildergruppe, also 3 zeitgleich aufgenommene Bilder aufgenommen werden können. Durch die kurze Beleuchtungszeit kann die Unschärfe durch die Bewegung reduziert werden, auch ermöglicht dies die Verwendung von Rolling-Shutter Kamera-Sensoren.
Als Kameras der Scan-Vorrichtung kommen bevorzugt so genannte Rolling-Shutter Sensoren aufgrund ihrer Größe
Gemäß einer weiteren Variante der Erfindung ist vorgesehen, dass die Steuereinheit dazu ausgebildet ist, die Lichtstärke der Laserdioden oder LEDs während des Scanvorgangs zu variieren. Nach einer weiteren Ausführung der Erfindung ist vorgesehen, dass die Steuereinheit die Lichtstärke der Laserdioden bzw. LEDs in Abhängigkeit der Intensitätswerte der Farben anpasst, welche von wenigstens einer Kamera aufgenommenen wurden.
Ein Vorteil der erfindungsgemäßen Scan-Vorrichtung ist in der geringen Scan- Distanz zu sehen. Um diese Distanz weiter zu verringern, ist gemäß einer Ausgestaltung der Erfindung ein Prisma vorgesehen, welches in optischer Richtung vor den Kameras angeordnet ist.
Ein weiterer Vorteil der Erfindung ist darin zu sehen, dass bei der Verwendung von mindestens 3 Kameras - insbesondere, wenn der Scan-Vorgang über die Innen- und Außenkanten der Zähne erfolgt - der distale Abschnitt des Handstücks nur einmal über die Außenkante und einmal über die Innenkante der Zähne geführt werden muss (jeweils für den Ober- bzw. Unterkiefer).
Um ein Führen des distalen Abschnittes des Handstücks über die Kanten der Zähne besser zu ermöglichen, sind nach einer Ausführungsform der Erfindung seitlich zu den Kameras der Scan-Vorrichtung „Flügel“ als Führungshilfe vorgesehen. Die Flügel sind dabei so ausgebildet und ausgerichtet, dass beim Führen des distalen Abschnittes über die Kanten der Zähne, besagte Kante zwischen den Flügeln Platz finden. Dabei berühren die Innenseiten der Flügel entweder die Vorderseite und die Oberseite oder die Rückseite der Zähne sowie die Oberseite der Zähne (insbesondere der Backenzähne). Die Flügel sind also dazu ausgebildet, sich auf besagten Seiten abzustützen und zu ermöglichen, dass über die Kante gescannt werden kann. Der Begriff „über die Kante scannen“ bedeutet im Kontext dieser Erfindung, dass mit dem distalen Abschnitt der Scan-Vorrichtung einmal entlang der vorderen Kante der Zähne und einmal entlang der hinteren Kante der Zähne gefahren wird. Die Flügel haben hierfür bevorzugt einen Abstand von zwischen 1 und 2 mm voneinander und verlaufen bevorzugt in einem Winkel von etwa 35 Grad gegenüber der Fläche, in der die Kameras angeordnet sind. Sie haben eine Höhe von bevorzugt zwischen 2 und 4 mm.
Um ein Beschlagen der Optik der Kameras und der weiteren optisch wirksamen Komponenten auf dem distalen Abschnitt des Kopfstück der Scan-Vorrichtung zu verhindern, verfügt der distale Abschnitt des Handstücks bzw. das Kopfstück bevorzugt über ein Heizelement und einen Temperatur-Sensor. Das Heizelement zusammen mit dem Temperatursensor und der Steuereinheit sorgen dafür, dass die optisch funktionalen Komponenten über 32° warm bleiben. Hierdurch kann ein Beschlagen der äußeren Oberflächen dieser Komponenten verhindert werden. Durch die Aufrechterhaltung einer konstanten Temperatur für die Kamera und die optischen Elemente verbessert sich zudem die Messgenauigkeit.
Nach dem Scan-Vorgang im Mund eines Patienten muss zumindest der distale Abschnitt des Handstücks der Scan-Vorrichtung autoklaviert werden und ist dementsprechend ausgebildet. Gemäß einer besonders effizienten Ausführungsform kann die Scan-Vorrichtung jedoch auch über eine aufsteckbare Schutzhülle verfügen, die nach jedem Einsatz der Vorrichtung entsorgt oder einzeln autoklaviert werden kann.
Alternativ kann der distale Abschnitt des Handstücks auf den proximalen Teil des Handstücks aufsteckbar ausgestaltet sein und im Ganzen autoklavierbar sein.
Nach einer weiteren Ausgestaltung kann die Vorrichtung neben der Scan-Funktion für den Nahbereich noch einen Modus zur Aufnahme eines Fernbereichs besitzen, sodass auch ein intraoraler Übersichtsscan des Zahnbogens oder eine Aufnahme des Gesichtes bzw. eines Gesichtsbereiches außerhalb der Mundhöhle erfolgen kann. Im Folgenden wird die Erfindung anhand von Zeichnungen näher beschrieben. Dabei stellen die Zeichnungen nur bevorzugte Ausführungen dar und sollen nicht als limitierend aufgefasst werden.
Es zeigen:
Fig. 1 eine schematische Darstellung des Intraoralscanners in einer Ausführung mit diffraktivem optischem Element, sowie Laserdioden;
Figur 2 eine Darstellung des Intraoralscanners mit LEDs und Blenden;
Figur 3a eine Darstellung des Kopfes mit Lichtleiter, DOE und 3 Kameras;
Figur 3b eine Darstellung des Kopfes mit Lichtleiter, Umlenkung, Blendenkörper und 3 Kameras;
Figur 3c einen Querschnitt durch einen Blendenkörper gemäß einer Ausführung;
Figur 4 eine Darstellung der Anwendung des Intraoralscanners auf Zähnen;
Figuren 5a), b) zwei bevorzugte Projektionsmuster auf eine ebene weiße Oberfläche projiziert;
Figuren 5c), d) die Intensitätsverläufe einer von den Kameras aufgenommenen Bildzeile bei Verwendung eines Projektionsmusters nach Figur 5b);
Figur 6 Bildergruppe mit auf einen Zahn projiziertem Muster; Figur 7 Farbverlauf der Zeile 50 im linken und mittleren Bild mit den mit den Intensitäten von rot, grün und blau;
Figur 8 die erfasste Disparität der linken und der mittleren Kamera, sowie der mittleren und rechten Kamera, sowie eine zusammengesetzte Disparitätenkarte in der Mitte dargestellt.
Bezugszeichenliste:
10 Kopfstück
12 Umlenkung mit Prisma oder Spiegel
13 Kamera
14 Blende(n)
15 Projektion
16 Diffraktives optisches Element
17 Fokussierung/ Linse
18 Flügel
19 Blendenkörper
20 Halsstück
21 Lichtleiter
22 Eintrittsöffnung Blende
23 Austrittsöffnung Blende
30 Handstück
31 Stromsteller
32a LEDs
32b Laserdioden
33 Einkopplung in Lichtleiter
40 Zahnoberfläche/ Modell
50 Kamerazeile
51 linkes Kamerabild
52 mittleres Kamerabild
53 rechtes Kamerabild 111 Farbfilterstreifen rot
112 Farbfilterstreifen grün
113 Farbfilterstreifen blau
121 Farbintensität rot
122 Farbintensität grün
123 Farbintensität blau
211 Maxima rot
212 Maxima grün
213 Maxima blau
214 gleiche Intensität rot/grün
215 gleiche Intensität rot/ blau
216 gleiche Intensität grün/ blau
Figur 1 zeigt eine Ausführung des erfindungsgemäßen Intraoralscanners. Insgesamt ist der Intraoralscanner aufgeteilt in ein Handstück 30, ein Halsstück 20, sowie ein Kopfstück 10. Im Handstück 30 ist nach dieser Ausführung ein Stromsteller 31 , untergebracht, welche die ebenfalls im Handstück 30 untergebrachten Laserdioden 32b mit Strom versorgt, sodass diese gepulstes Licht mit einer Pulslänge von ca.
1 ms erzeugen. Die Laserdioden 32b sind über eine Kopplung 33 mit den Lichtwellenleitern 21 verbunden, welche durch das Halsstück 20 des Scanners verlaufen. Die Lichtwellenleiter 21 sind optisch über eine im Kopfstück 10 untergebrachte Fokussierung bzw. Linse 17, eine 90° Umlenkung mittels Prisma 12 mit einem diffraktiven optischen Element 16 gekoppelt. Die Linse ist vorzugsweise eine GRIN-Linse. Das diffraktive optische Element hat dabei 3 Bereiche (RGB) und erzeugt schlussendlich ein Farbmuster zur Projektion auf die Zähne eines Patienten. Nicht zu sehen sind in dieser Darstellung die Kameras des Intraoralscanners. Figur 2 zeigt eine Ausführungsform des Intraoralscanners, welche anstelle der Laserdioden über mindestens 3 farbige LEDs verfügt (rot, grün blau). Diese sind wie in Figur 1 mit einem gepulsten Strom von etwa 1 ms beaufschlagt, um entsprechende Lichtblitze zu erzeugen. Auch in dieser Ausführung sind im Handstück 30 bevorzugt die LEDs 32a angeordnet und sind optisch mit dem im Halsstück 20 angeordneten Lichtwellenleiter 21 verbunden. Dabei ist pro Blende jeweils ein Lichtwellenleiter vorgesehen. Im Kopfstück 10 des Intraoralscanners sind eine 90° Umlenkung 12 (Prisma) und Blenden 14 angeordnet. Die Blenden sind dabei in einem Blendenkörper 19 angeordnet, wie in Figur 3c abgebildet ist. Schlussendlich treten bis zu 100 mW Leistung pro Farbe bei der Projektion 15 während des Lichtpulses aus. Nicht zu sehen sind in dieser Darstellung die Kameras des Intraoralscanners.
Figur 3a ist eine Darstellung des Kopfstücks 10 des Intraoralscanners mit 3 Kameras 13. An die Lichtwellenleiter 21 (hier sind für jede Farbe ein Lichtwellenleiter vorgesehen) sind die zylinderförmigen Linsen 17 zur Fokussierung angebracht. Die Laserstrahlen werden hierdurch auf das diffraktive optische Element (DOE) 16 über ein Prisma 12 gesendet. Im DOE 16 entsteht das Farbmuster und wird auf die zu scannende Oberfläche - hier die Zähne 40 eines Patienten - projiziert. Das von den Zähnen reflektierte Licht wird daraufhin von den 3 Kameras 13 eingefangen. Die erhaltenen Signale werden dann ganz - oder zumindest teilweise - an eine Recheneinheit zur Bestimmung der Disparitäten der einzelnen Pixel weitergegeben.
Figur 3b zeigt eine Darstellung der Komponenten im Kopfstück 10 gemäß einer anderen Ausführungsform des Intraoralscanners mit LEDs. Die Ausführung mit LEDs umfasst zwei Blendenkörper 19 in welchen eine Mehrzahl von Blenden 14 (Durchtrittsöffnungen) angeordnet ist. Die Blenden 14 bzw. Durchtrittsöffnungen haben bevorzugt eine rechteckige, trapezförmige oder dreieckige Querschnittsfläche. Es hat sich gezeigt, dass die Farbmuster, insbesondere ein Farbstreifenmuster oder ein Dreiecksmuster besonders vorteilhaft mit zwei Blendenkörpern gebildet werden können, wobei die jeweils korrespondierenden Blenden 14 der beiden Blendenkörper 19 im Falle der Farbstreifenmuster ineinander fluchten, also die Linie fortsetzen, oder im Falle eines Dreiecksmusters versetzt zueinander angeordnet sind. Jede Blende 14 ist (hier wegen der Übersichtlichkeit nicht gezeigt) über einen Lichtwellenleiter 21 mit bevorzugt einer roten, blauen oder grünen LED verbunden.
Die Verwendung von wenigsten 2 Blendenkörpern 19, welche eine Mehrzahl von Blenden 14 umfassen, die zusammen die Projektion erzeugen, ist besonders bei Intraoralscannern vorteilhaft, weil hierdurch eine geringe geometrische Größe des Kopfstücks 10 möglich ist.
Das von den Blenden emittierte und von den Zähnen im Behandlungsfalle zurückgeworfene/ reflektierte Licht wird von den drei Kameras 13 aufgefangen.
Figur 3c zeigt einen Querschnitt durch den Blendenkörper 19 in der Ebene der Blenden 14/ Durchtrittsöffnungen. Es hat sich überraschenderweise gezeigt, dass eine besonders vorteilhafte, stetige Intensitätsverteilung der Projektion dann erzielt werden kann, wenn die Blenden von der Eintrittsöffnung 22 gegenüber der Austrittsöffnung 23 eine Querschnittsverkleinerung erfahren, sich der Querschnitt der Durchtrittsöffnung also verjüngt. Hierdurch kann eine bevorzugte dreieckige Intensitätsverteilung erreicht werden. Diese dreiecksförmige Intensitätsverteilung hat viel bessere optische Eigenschaften für die Durchführung eines Scans, als bisher bekannte bzw. in diesem Bereich verwendete Blenden, sodass eine derartige Blende insbesondere im Zusammenhang mit Intraoralscannern oder anderen bevorzugt medizinischen Anwendungen, bei denen eine möglichst kleine Dimensionierung erreicht werden soll, als selbständig erfinderischer Aspekt angesehen werden kann.
Figur 4 zeigt den Intraoralscanner im Anwendungsfall auf einem Zahnmodell 40. In dieser Darstellung wird deutlich, dass mit Hilfe des Scanners über die Kante der Zähne gescannt wird. Um den Scanner entsprechend führen zu können, besitzt das Kopfstück zwei Flügel 18, die seitlich die Ebene der Kameras begrenzen. Während des Scannens wird dann eine Kante der Zähne - d.h. die innere oder äußere Kante der Zähne zwischen den Flügeln 18 positioniert. Die Flügel sind entsprechend bevorzugt zwischen 1 und 2 mm voneinander beanstandet und weisen einen Winkel von 35 Grad gegenüber der Ebene der Kameras auf. Figur 5a zeigt eine Projektion 15 des Streifenmusters auf einem weißen Hintergrund. Gemäß der hier gezeigten Ausführung weist die Projektion 15 rote, grüne und blaue Farbstreifen 111 , 112, 113 auf. Die Projektionsdistanz beträgt bevorzugt zwischen 5 und 15mm. Die Streifen werden bevorzugt durch jeweils korrespondierende und ineinander fluchtende Blenden 14 in zwei Blendenkörpern 19 gebildet.
Figur 5b zeigt eine Projektion 15 eines Dreiecksmusters auf einem weißen Hintergrund. Die Projektionsdistanz beträgt bevorzugt zwischen 5 und 15mm. Diese Variante wird mit LEDs und entsprechenden, im Querschnitt dreieckigen Blenden 14 erzeugt, die seitlich bevorzugt eine halbe Breite der Grundseite des Dreiecks versetzt zueinander auf zwei Blendenkörpern 19 angeordnet sind.
Insgesamt sind bei dieser versetzt dreiecksförmigen Projektion mehr Farbübergange mit wenigen Lichtquellen möglich, als bei einer Streifenprojektion, bei der die Streifen, von jeweils zwei korrespondierenden und ineinander fluchtenden Blenden 14 auf zwei Blendenkörpern 19 erzeugt werden. Im Vergleich zu den Streifen ergeben sich hier auch in Querrichtung - also von der Dreiecksgrundfläche in Richtung der Spitze Farbänderungen.
Figur 5c zeigt den Intensitätsverläufe der mittleren Zeile des mittleren Kamerabildes 52 (bei optimaler Blende) bei der Projektion des dreieckigen Farbmusters von Figur 5b auf einem weißen Hintergrund. Die Blende respektive die Lichtquelle mit denen ein Dreieck erzeugt wird, liegt bezüglich Abstand zur Kameramitte im breiten Teils des Dreieckes, (siehe Blendenanordnung in Fig. 3b.). Daher nimmt in Richtung Spitze die Intensität merklich ab, da die Distanz grösser wird.
Figur 5d zeigt den Intensitätsverläufe einer unteren Zeile des mittleren Kamerabildes 52 (bei optimaler Blende) bei der Projektion des dreieckigen Farbmusters von Figur 5b auf einem weißen Hintergrund. Im Vergleich zu 5c ist die Intensitätsspitze ebenfalls kleiner, da die Distanz zur Blende grösser wird. Die Unterschiede der Intensitätsspitzen kann durch Optimierung der Blende verkleinert werden. Im Idealfall sollten die Spitzen gleiche Intensität aufweisen. Figur 6 sind 3 Kamerabilder 51 , 52 und 53, auf denen die Projektion gemäß Figur 5a auf der Oberfläche eines Zahnmodells 40 aufgenommen wurde. Die einzelnen Farbstreifen rot 111 , grün 112 und blau 113 werden durch die optischen Eigenschaften des Zahnes zusätzlich geglättet und verlaufen dadurch mehr ineinander. Durch die unebene Oberfläche der Zähne verlaufen die einzelnen Streifen in der Projektion nicht mehr rein parallel zueinander. Mit der Gerade 50 ist eine Kamerazeile dargestellt, die in Figur 7 bezüglich des Farbverlaufs analysiert wird.
Figur 7 zeigt bei zwei Kameras den Intensitätsverlauf der einzelnen Farben entlang der Kamerazeile 50 aus Figur 6. Zu erkennen ist, dass die Farbstreifen 111 , 112 und 113 in einer Kamerazeile 50 Minima und Maxima erzeugen. Vergleicht man den Intensitätsverlauf der einzelnen Farben so sieht man ähnliche Verläufe und korrespondierende Punkte Maxima (211 , 212, 213) oder Schnittpunkte (214, 215, 216). Weitere Werte dazwischen lassen sich ebenfalls zuordnen. Die Verschiebung der einzelnen Bildpixel (Disparität) innerhalb der Zeile kann so Punkt für Punkt ermittelt werden. Der Stereomatching-Algorthmus ist komplexer, basiert aber auf dieser Zuordnung. Er analysiert nicht nur Punkte für Punkt, sondern ganze Bereiche
Figur 8 zeigt drei Disparitätenkarten - einmal (linke Karte) von der linken Kamera zur mittleren Kamera und (rechte Karte) von der mittleren zur rechten Kamera und (mittlere Karte) eine kombinierte Disparitätskarte. Die Disparität wurde jeweils zur mittleren Kamera berechnet. Aus der Disparität kann die Tiefe ermittelt werden. Dunkle Punkte bedeuten, dass die Disparität nicht bestimmt oder nicht genügend genau bestimmt werden kann. Helle Werte zeigen eine hohe Disparität respektive die Nähe zur Kamera Die linke Disparitätskarte ist begrenzt auf der rechten Seite, die rechte auf der linken Seite, da die Disparität nur für Bereiche bestimmt werden kann, die die entsprechende Kameras „sehen“.
Die beiden Disparitätskarten haben einen Überlappungsbereich, bei dem man zwei Disparitätswerte je Bildpixel erhalten kann. Dadurch lässt sich die mittlere Karte berechnen, die im Überlappungsbereich Disparitäts- respektiveTiefenwerte mit höherer Genauigkeit aufweist.

Claims

Ansprüche:
1 . Verfahren zum Erstellen von 3-dimensionalen Bildern mit Hilfe einer Scan- Vorrichtung umfassend die Schritte:
- Projizieren eines Farbmusters (111 , 112, 113) auf eine zu erfassende Oberfläche (40),
- Aufnahme einer Mehrzahl von Bildern mit Hilfe wenigstens 3 voneinander beabstandeter und in einer Ebene angeordneter Kameras (13), wobei die Mehrzahl von Bildern eine Mehrzahl von Bildergruppen umfasst, die jeweils zeitgleich mit Hilfe der wenigstens 3 Kameras (13) aufgenommene Bilder enthalten,
- Weiterleiten der Mehrzahl von Bildern an eine Recheneinheit,
- Vergleichen von wenigstens 2 der von den wenigstens 3 Kameras (13) gleichzeitig aufgenommenen Bildern (Bilderpaar),
- Erkennen von korrespondierenden Mustern in dem Bilderpaar, die jeweils demselben Teilbereich der zu erfassenden Oberfläche (40) entsprechen,
- Berechnen der Verschiebung einzelner Bildpixel der übereinstimmenden Muster bzw. der Bildpixel des Bilderpaars,
- Erstellen wenigstens einer Tiefenkarte mit Tiefeninformationen aus wenigstens einem Bilderpaar,
- Zusammenfügen der aus den Bildern der Bildergruppen erzeugten Tiefenkarten, wobei das auf eine Oberfläche (40) projizierte und von den Kameras (13) erfasste Farbmuster (111 , 112, 113) weitgehend stetige Intensitätsverläufe in den einzelnen Farbkanälen erzeugt, und wobei übereinstimmende Pixel oder Muster in den Bilderpaaren durch einen Vergleich der Richtungen und Längen der Farbvektoren im Farbraum erkannt werden, dadurch gekennzeichnet, dass die Farbmuster (111 , 112, 113) intermittierend auf die zu erfassende Oberfläche (40) projiziert werden und innerhalb der Projektionsdauer die Bilder wenigstens einer Bildergruppe erfasst werden. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass versetzt intermittierend zu der Projektion des Farbmusters (111 , 112, 113) eine weiße LED die zu erfassende Oberfläche (40) beleuchtet. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Reflexion des von der weißen LED ausgestrahlten Lichtes aufgefangen und zur Bestimmung der Farbe und/oder des Materials der zu scannenden Oberfläche (40) verwendet wird. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Reflexion des von der weißen LED ausgestrahlten Lichtes aufgefangen und zusätzlich zur Erstellung einer Tiefenkarte verwendet wird. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass von jeder Bildergruppe wenigstens zwei Bilderpaare gebildet werden und jeweils auf korrespondierende Muster untersucht werden. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Tiefeninformationen von wenigstens zwei Bilderpaaren einer Bildergruppe miteinander verglichen werden, um eine höhere Informationsqualität und Sicherheit zu erreichen. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Farbmuster mit Hilfe von 3 Laserdioden (32b) und wenigstens einem diffraktiven optischen Element (16) oder durch farbige LEDs (32a) und (verjüngenden) Blenden erzeugt wird. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Scanvorgang unterbrochen wird, wenn die festgestellte Bewegung der Kameras (13) über einem festgelegten Grenzwert liegt und automatisch fortgesetzt wird, wenn die mit Hilfe eines Beschleunigungssensors festgestellte Bewegung der Kameras (13) unterhalb eines vorherbestimmten Schwellenwertes liegt. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Scan-Verfahren über einen Vergleich von aufgenommenen Beschleunigungsmustern mit - in einem Speicher abgelegten - Beschleunigungsmustern gesteuert wird (Gesten). Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass im Gegensatz zu Triangulationsverfahren keine Kalibrierung vor oder während der Durchführung des Scans erfolgen muss. Scan-Vorrichtung zur Durchführung eines intraoralen Scans für zahnmedizinische Zwecke, umfassend: eine Steuereinheit, im Handstück (30) des Intraoralscanners befindlich eine Recheneinheit, ein mit der Recheneinheit zum Austausch von Informationen verbundenes Handstück (30) mit einem zur Einführung in die Mundhöhle eines Patienten vorgesehenen distalen Abschnitt (10), wobei auf dem distalen Abschnitt wenigstens 3 in einer Ebene angeordnete Kameras (13) und zumindest ein diffraktives optisches Element (16) oder wenigstens eine Blende (14) angeordnet sind, wobei das oder die diffraktiven optischen Elemente (16) zusammen mit wenigstens einer Laserdiode (32b) oder die Blenden (14) zusammen mit wenigstens 3 LEDs (32a) dazu ausgebildet sind, während des Scan- Vorgangs ein Farbmuster (111 , 112, 113) auf die zu scannende Oberfläche (40) zu projizieren, und wobei die Recheneinheit dazu ausgebildet ist, mit Hilfe der während des Scan-Vorgangs aufgenommenen Bilder unter Anwendung des stereomatching Verfahrens Tiefenkarten zu erzeugen und an ein Verfahren zur Zusammensetzung der Tiefenkarten zu übergeben, dadurch gekennzeichnet, dass das auf eine Oberfläche (40) projizierte und von den Kameras (13) erfasste Farbmuster (111 , 112, 113) weitgehend stetige Intensitätsverläufe in den einzelnen Farbkanälen erzeugt, und die Recheneinheit dazu ausgebildet ist, Änderungen im Farbraum zur Erkennung übereinstimmender Muster in den Bilderpaaren zu verwenden. Scan-Vorrichtung nach Anspruch 11 , wobei zur Erzeugung der Farbmuster (111 , 112, 113) ein diffraktives optisches Element (16) mit 3 Bereichen über Lichtwellenleiter mit 3 in einem proximalen Abschnitt des Handstücks (30) angeordneten Laserdioden (32b) (rot, grün, blau) optisch verbunden sind. Scan-Vorrichtung nach Anspruch 11 , wobei zur Erzeugung stetiger Intensitätsübergänge des Farbmusters (111 , 112, 1 13) ein Vibrationsmechanismus vorgesehen ist, welcher das diffraktive optische Element oder eine 90° Umlenkung Mikro-Spiegel auf MEMS-Basis) in Schwingung versetzt und die Farbmuster dadurch „verwischt“ und die Speckle reduziert. Scan-Vorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass die Laserstrahlen direkt und ohne Lichtwellenleiter (21 ) in das oder die diffraktiven optischen Elemente (16) eingekoppelt sind. Scan-Vorrichtung nach Anspruch 11 , wobei die LEDs jeweils über Lichtwellenleiter mit jeweils wenigstens einer Blende (14) pro Farbe verbunden sind. Scan-Vorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass auf dem Kopfstück (10) der Scan-Vorrichtung seitlich zu den Kameras (13) der Scan- Vorrichtung „Flügel“ als Führungshilfe (18) angeordnet sind, die insbesondere eine Führung des Kopfstücks (10) entlang der Innenkante und entlang der Außenkante der Backenzähne ermöglicht.
EP23768788.4A 2022-09-02 2023-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans Pending EP4581578A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22193629.7A EP4332897A1 (de) 2022-09-02 2022-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans
PCT/EP2023/074098 WO2024047253A1 (de) 2022-09-02 2023-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans

Publications (1)

Publication Number Publication Date
EP4581578A1 true EP4581578A1 (de) 2025-07-09

Family

ID=83447730

Family Applications (2)

Application Number Title Priority Date Filing Date
EP22193629.7A Pending EP4332897A1 (de) 2022-09-02 2022-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans
EP23768788.4A Pending EP4581578A1 (de) 2022-09-02 2023-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP22193629.7A Pending EP4332897A1 (de) 2022-09-02 2022-09-02 Vorrichtung und verfahren zur durchführung eines intraoralen scans

Country Status (4)

Country Link
EP (2) EP4332897A1 (de)
JP (1) JP2025529079A (de)
CA (1) CA3258374A1 (de)
WO (1) WO2024047253A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026054500A1 (ko) * 2024-09-04 2026-03-12 아크리얼 주식회사 구강 내부 모델을 생성하기 위한 태스크 관리 방법 및 이를 수행하는 전자 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
DE102008047816B4 (de) 2008-09-18 2011-08-25 Steinbichler Optotechnik GmbH, 83115 Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
US9844426B2 (en) 2015-03-12 2017-12-19 Align Technology, Inc. Digital dental tray
EP3658069B1 (de) * 2017-07-26 2024-06-26 Dentlytec G.P.L. Ltd. Intraoraler scanner
CN108261171B (zh) 2017-10-30 2019-09-20 先临三维科技股份有限公司 口内三维扫描装置和方法

Also Published As

Publication number Publication date
WO2024047253A1 (de) 2024-03-07
EP4332897A1 (de) 2024-03-06
JP2025529079A (ja) 2025-09-04
CA3258374A1 (en) 2025-04-08

Similar Documents

Publication Publication Date Title
EP3154469B1 (de) Messvorrichtung und verfahren zum dreidimensionalen ausmessen eines mundraums
EP2079981B1 (de) Vorrichtung und verfahren zum berührungslosen erfassen einer dreidimensionalen kontur
EP3298344B1 (de) Verfahren und kamera zur dreidimensionalen vermessung eines dentalen objekts
EP3467432B1 (de) Verfahren zum betreiben einer vorrichtung zum erfassen der dreidimensionalen geometrie von objekten
EP2786696B1 (de) Dentalkamerasystem
DE102008047816B4 (de) Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE4218219C2 (de) Vorrichtung zum berührungslosen Vermessen eines schlecht zugänglichen, dreidimensionalen medizinischen oder zahntechnischen Objektes
EP3568667B1 (de) Messsystem und verfahren zur kombinierten erfassung der oberflächentopografie und hyperspektralen bildgebung
EP3280972B1 (de) Vermessungssystem und verfahren zur optischen vermessung eines objekts
EP4100694B1 (de) Verfahren und intraoralscanner zum erfassen der topographie der oberfläche eines transluzenten, insbesondere dentalen, objektes
DE3829925A1 (de) Optische sonde zur 3d-vermessung von zaehnen in der mundhoehle
DE102015209402A1 (de) Vorrichtung zur optischen 3D-Vermessung eines Objekts
DE102014204243A1 (de) Endoskop mit Tiefenbestimmung
EP0447531B1 (de) Verfahren und vorrichtung zur dreidimensionalen optischen vermessung von insbesondere zähnen in der mundhöhle von patienten
WO2024047253A1 (de) Vorrichtung und verfahren zur durchführung eines intraoralen scans
DE102017109128B4 (de) Endoskop zur 3D-Vermessung von Objekten sowie zugehöriger Baukasten und Verwendung
EP2499992B1 (de) Vorrichtung zum Aufnehmen von Bildern von dreidimensionalen Objekten
EP2279693B1 (de) Vorrichtung und Verfahren zum Erfassen der Gestalt eines Ohrabschnitts
DE102020127894B4 (de) Verfahren und Vorrichtung zur optischen dreidimensionalen Vermessung von Objekten
DE102020008179B4 (de) Verfahren und Vorrichtung zur optischen dreidimensionalen Vermessung von Objekten
DE102023123458A1 (de) Vorrichtung zum Durchführen von Intraoralscans
DE102023120051A1 (de) Vorrichtung zum Durchführen von Intraoralscans
DE4314602A1 (de) Verfahren und Vorrichtung zur Herstellung von Paßkörpern
AT511251B1 (de) Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
DE102006039803A1 (de) Verfahren und Anordnung zur optischen Vermessung des Oberflächenprofils von Ojekten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250331

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)