EP2486542B1 - Verfahren zur aufnahme dreidimensionaler abbilder - Google Patents

Verfahren zur aufnahme dreidimensionaler abbilder Download PDF

Info

Publication number
EP2486542B1
EP2486542B1 EP10767905.2A EP10767905A EP2486542B1 EP 2486542 B1 EP2486542 B1 EP 2486542B1 EP 10767905 A EP10767905 A EP 10767905A EP 2486542 B1 EP2486542 B1 EP 2486542B1
Authority
EP
European Patent Office
Prior art keywords
image
camera
determined
cameras
epipolar line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP10767905.2A
Other languages
English (en)
French (fr)
Other versions
EP2486542A1 (de
Inventor
Christoph Nowak
Horst Koinig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A Tron3d GmbH
Original Assignee
A Tron3d GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A Tron3d GmbH filed Critical A Tron3d GmbH
Publication of EP2486542A1 publication Critical patent/EP2486542A1/de
Application granted granted Critical
Publication of EP2486542B1 publication Critical patent/EP2486542B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the invention relates to a method for recording three-dimensional images of objects according to the preamble of patent claim 1 and to an arrangement for recording three-dimensional images of objects according to the preamble of patent claim 8.
  • Inventive methods and arrangements are used in particular in the field of three-dimensional recording of teeth.
  • the scope of application extends to the acquisition of digital dental impressions and jaw impressions, assistance with the diagnosis, the monitoring of dental treatments and the reliable control of implants used.
  • Background of the invention is the stereometric recording of hard to reach objects, such as teeth in the oral cavity of a human.
  • a family of epipolar lines of the camera and a family of epipolar lines of the projector are determined, each of which is assigned to the epipolar line of the camera in each case one-to-one with an epipolar line of the projector.
  • the article describes " A Multibaseline Stereo System with Active Illumination and Realtime Image Acquisition "(KANG, SB et al., Proc. IEE Fifth Intl. Conf. On Computer Vision, pp. 88-93, 1995 ) a device consisting of four mounted on a support cameras and a projector, it is on the zu projecting a varying pattern of light, thus improving the discrimination of the individual pixels taken.
  • Tooth gauging devices which provide three-dimensional images are already known from the prior art.
  • a major disadvantage of these devices is that the sensor parts that penetrate to the objects to be imaged are usually bulky and bulky, since sometimes a lot of different components in the receiving area is required.
  • the object of the invention is therefore to provide an arrangement and a method that provide three-dimensional images with high precision, wherein the arrangement has a compact design possible.
  • the invention solves this problem in a method of the type mentioned above with the features of the characterizing part of claim 1.
  • the invention solves this problem in an arrangement of the type mentioned above with the features of the characterizing part of claim 8.
  • the arrangement of the two cameras is calibrated beforehand, whereby the position and orientation of the two cameras relative to each other is determined and a transformation is determined, each one image position of an image recorded with the camera and an image position of one recorded with the other camera Assigns exactly one space position in a three-dimensional recording space. Furthermore, in the course of the calibration process, a family of epipolar lines is determined for each of the cameras, wherein in each case one epipolar line of one camera is assigned to exactly one epipolar line of the other camera. It is provided that a predetermined random image is projected onto the object to be recorded, the individual pixels of the random image having one of at least two different color values and / or intensity values.
  • a first environment is determined for each pixel of the first camera and an epipolar line found for the first camera and comprising the respective pixel is determined.
  • the second epipolar line of the second camera assigned to this first epipolar line is subsequently determined.
  • a second environment is determined which is congruent with the first environment, the intensity values of the first and second environments are compared with each other, a match measure for the two environments is determined and the image position on the second epipolar line is determined for which the degree of agreement is greatest, and with the comparison unit a transformation based on the image position of the pixel of the first camera and the determined Image position on the second epipolar line a spatial position can be determined, and this spatial position is stored in a memory.
  • a particular embodiment of the invention provides that immediately before or after the recording of the set of spatial positions, the projection of the random image is made inactive and optionally an additional illumination of the object takes place, with at least one camera an image of the object to be recorded is recorded.
  • Each of the determined spatial points is assigned the intensity value or the image position by means of which the spatial position of the spatial point has been determined on the basis of the transformation.
  • the recorded three-dimensional images of the object can be provided with a color representation and optionally displayed in their color.
  • a surface laying or a spatial decomposition is carried out with a number of spatial elements or surface elements.
  • a particular aspect of the invention provides that the surface elements of the surface decomposition are assigned and possibly displayed an intensity value determined from the intensity values of the spatial points of the point set, in particular by interpolation. This allows a particularly realistic color representation of the recorded objects.
  • a particularly advantageous aspect of the invention provides that three-dimensional images of objects are continuously recorded, the objects are moved relative to the arrangement to the cameras, wherein the relative movement takes place so slowly that an overlap of the recorded space area in time.
  • the images which are usually made from a very small distance, can be assembled in a simple manner and thus an overall picture can be created from several sub-images whose size exceeds the size of the receiving area of the two cameras.
  • the first environment fails to match the second environments of the pixels on an epipolar line of the image of the second camera, a fluid matting the surface of the male object is sprayed onto the objects to be picked up and the process of finding matching environments after spraying the liquid is continued. This allows a precise three-dimensional recording especially for very highly reflective or very smooth objects.
  • a projection unit for imaging a random image wherein the individual pixels of the random image have one of at least two different color values and / or intensity values, with the projection unit the random image can be projected into the overlapping receiving areas of the two cameras.
  • the random image is selected so that the pixels that come to rest on the same epipolar line 9a, 9b in the image of the two cameras 1a, 1b have unique surroundings. With such an arrangement, images can be taken which are easily convertible into a three-dimensional image.
  • a particular aspect of this invention provides a preferably switchable light source that illuminates the overlapping receiving area of the two cameras.
  • the invention can be further developed by an atomizer, with which a mattierende fluid can be applied to the objects to be recorded. This allows you to capture frosted images that are easier to achieve a three-dimensional image.
  • a further preferred aspect of the invention provides that the cameras are followed by a calibration unit, by means of which the position and orientation of the two cameras can be determined relative to one another and a transformation can be determined, in each case one image position, in particular one pixel, of an image recorded with the one camera and an image position, in particular a pixel, of an image recorded with the other camera assigns exactly one spatial position, in particular a voxel, in a three-dimensional recording space, and by means of which one set of epipolar lines can be determined for each of the cameras, one epipolar line of each Camera is assigned in each case exactly one Epipolarline the other camera, that the cameras downstream of an evaluation, by means of each pixel of the first camera, a first environment, for example of 3x3 pixels or 5x5 pixels, determinable, one for this first camera and found j eectomy pixel comprehensive first epipolar line can be determined, the second epipolar line of the other camera associated with this found first epipolar line can be determined, for all pixels of the image of the second camera, which are located on
  • Fig. 1 shows an example of the basic structure of an inventive arrangement with an instrument 10 in the form and the dimensions of an oral mirror.
  • This arrangement comprises an instrument 10, on whose end part 11 two cameras 1a, 1b and a projection unit 2 are arranged.
  • Alternative embodiments may include endoscopes, surgical tools or in general tool carriers that can penetrate to the inaccessible objects 30 to be recorded, for example teeth, and on which two cameras 1a, 1b and a projection unit 2 which will be described below can be arranged. These two cameras 1a, 1b have image areas 3a, 3b which partially overlap.
  • the receiving areas of the two cameras 1a, 1b are chosen to be the same size, the receiving areas being selected such that the largest possible part of the objects 30 in the overlapping area 4 of the receiving areas 3a, depending on the typical predetermined distance of the objects 30 to be picked up by the cameras 1a, 1b. 3b of both cameras 1a, 1b is located.
  • a projection unit 2 is arranged, which casts a random image 40 into at least a partial area of the overlapping area 4 of the two cameras 1a, 1b.
  • the random image 40 is projected onto the entire overlapping area 4 of the two image areas 3a, 3b of the two cameras 1a, 1b.
  • the random image 40 with the projection unit 2 is projected into a projection area 5, which includes the overlapping area 4 of the two image areas 3a, 3b of the two cameras 1a, 1b.
  • a calibration is performed for the arrangement of the two cameras 1a, 1b.
  • the projection unit 2 is not required and can remain switched off during the entire calibration process.
  • the mutual position and orientation of the two cameras 1a, 1b relative to one another are first determined.
  • Such an approach can be realized in different ways, an advantageous possibility is in J. Heikkilä: Geometric camera calibration using circular control points, IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (10), 1066-1077, 2000 or Faugeras, Toscani: Camera calibration for 3D computer vision, Proc. Int'l Workshop on Industrial Applications of Machine Vision and Machine Intelligence, Tokyo, Japan, pp. 240-247, Feb. 1987 described.
  • a transformation is obtained which associates a pixel 17 of an image of the first camera 1a and a pixel 8b of an image of the second camera 1b with a spatial point 17 in the overlapping recording area of the two cameras 1a, 1b.
  • Each pixel is reversibly uniquely associated with a pixel 8a, 8b.
  • pixels can also be between the individual pixels, which makes the method described below suitable for the use of subpixel arithmetic.
  • such an assignment can not be made for arbitrary pixels 8a, 8b, but only a spatial point 17 can be determined for those pixels 8a, 8b which lie on mutually associated epipolar lines 9a, 9b.
  • a random image 40 is projected onto the overlapping region 4 of the cameras 1a, 1b.
  • the random image is, for example, a digital image having a predetermined height and width and a number of rectangular grid-shaped pixels or image areas. These pixels have one of a number of predetermined color and / or intensity values.
  • Background of the use of a random image 40 is that, for the method described below, the environment of each pixel, for example a 3x3 or 5x5 environment, within the entire random image should be uniquely assignable to the respective pixel. Due to the uniqueness of the environment, a point in space at different locations in two, each with one of the two cameras 1a, 1b recorded digital images are found.
  • an embodiment of the projection unit 2 can be made with a diffraction grating for space optimization, wherein much smaller dimensions of the information of the digital image bearing diffraction grating are possible as in the use of slides.
  • the design of diffraction gratings for displaying digital images is well known to the skilled person and z. In JR Leger, MG Moharam, and TK Gaylord: Diffractive Optics - An Introduction to the Feature Issue. Applied Optics, 1995, 34 (14) p. 2399-2400 described.
  • a light source for example a laser diode, whose light is projected onto the objects 30 through the slide or the diffraction grating.
  • first pixels 8a are referred to below as first pixels 8a. If appropriate, the number of these pixels 8a can be reduced by those pixels whose respective receiving area is not covered by the receiving area of the other camera, referred to below as the second camera 1b.
  • the pixels 8b recorded with the second camera 1b are referred to below as second pixels 8b.
  • a first environment 13a is determined for each of the first pixels 8a. This can be, for example, an environment with a size of 5 ⁇ 5 pixels, wherein the respective pixel 8a is preferably located at the central location of the first environment 13a.
  • the epipolar line 9a becomes, as in FIG Fig. 4 represented, the first camera 1a and the associated epipolar line 9b of the second camera 1b used.
  • these epipolar lines 9a, 9b have already been determined during the calibration of the cameras 1a, 1b.
  • a second neighborhood 13b of 5x5 pixels is determined and compared with the first neighborhood 13a. In the course of the comparison, a match measure is determined, which indicates whether there is a match of the intensity values of the two environments 13a, 13b.
  • the measure of conformity will, depending on its formulation, yield the highest or lowest value, in particular - in the case of a toleral match - zero.
  • the Euclidean distance can be used as a measure of agreement for two environments, with all intensity values of the environment being compared on a pixel-by-pixel basis.
  • Other methods of forming a match score may be used Reinhard Klette, Andreas Koschan, Karsten Schlüns: Computer Vision - Spatial Information from Digital Images, 1st edition (1996), Friedr. Vieweg & Sohn Verlag be removed.
  • the match amount is formed for the respective surroundings 13a, 13b of two pixels, one of which is in the image of the first camera 1a and the other is on the second epipolar line 9b associated with the first epipolar line 9a on which the first pixel 8a in the picture of the first camera 1a is located. Since there are typically 100 to 1000 pixels on every other epipolar line 9b, in each case the degree of agreement is formed for all points located on the second epipolar line 9b.
  • These matching measures, together with the picture position of the respective pixel are entered into a discretely defined function whose definition range is extended to the entire second epipolar line 9b by means of an interpolation function 20. This discretely defined function of the correspondence measures and an associated interpolating function 20 are shown in FIG Fig. 5 shown.
  • the maximum is searched by this interpolating function 20, and the image position 14 at which the maximum has been found is regarded as the image position corresponding to the pixel 8a from the image of the first camera. It is assumed that the same subject area is imaged on this image position 14 as well as the image position of the pixel 8a from the image of the first camera 1a due to the very similar environments as well as the uniqueness of the environment in the image area.
  • the two determined image positions are subjected to transformation during the calibration, which provides a spatial position 17.
  • This spatial position 17 corresponds to the position in the space that has been imaged in the images of the two cameras in the course of the recording on both determined image positions.
  • FIG. 1 An extension of the arrangement according to the invention is in Fig. 1 shown, which additionally has a switchable light source 6, which illuminates the objects 30 to be imaged in the overlapping region 4 of the receiving areas 3a, 3b of the two cameras.
  • This light source 6 can be switched on as short as possible before switching on the projection unit 2.
  • an image is respectively created with one or both cameras 1a, 1b and the intensity values for one or more color channels are recorded.
  • the light source 6 is turned off and the projection unit 2 is turned on and the above-described method for determining the spatial positions 17 is performed. It is assumed that the position of the arrangement between the recording of the image with the light of the light source 6 and the subsequent recording of the spatial positions 17 remains unchanged.
  • each spatial point 17 can be assigned the intensity value of the pixels 8a and / or the associated second pixel 8b on the second epipolar line 9b which determine it via the transformation.
  • a further additional improvement of the procedure according to the invention is achieved by applying a meshing step to the determined point cloud of the obtained spatial points 17 after the determination of the points.
  • the determined spatial points 17 are regarded as points on the surface of a three-dimensional object which is represented by tetrahedrons.
  • the representation can also be made with other types of elements such as prisms or cubes or it can also be represented only the surface by triangles or squares.
  • a comprehensive presentation of meshing algorithms can be found, for example, in Joe, Simpson: Triangular Meshes for Regions of Complicated Shape, International Journal of Numerical Methods in Engineering, Wiley, Vol 23, pp.
  • the arrangement shown in the figures makes about ten to twenty images of the object 30 to be imaged per second.
  • the arrangement, as in Fig. 6 shown, compared to the objects to be imaged, here teeth, so slowly moved that in two successive time intervals overlapping subject areas are recorded, it is possible to convert the overlapping image areas by an isometric transformation into each other so that they come to rest in the same space area.
  • Such methods are for example in Timothee Jost, Heinz Hügli: Fast ICP algorithms for shape registration, Proceedings of the 24th DAGM Symposium on Pattern Recognition, pp. 91 - 99, 2002 described.
  • a larger three-dimensional image can be composed of several smaller images. By doing so, the entire in Fig.
  • the improvement of the arrangement according to the invention described below leads to an improvement in the contrast of the images taken with the cameras. If the surface of the objects to be recorded has a very high reflectivity, the images are sometimes not displayed correctly or there are some unintentional reflections on the images, which can considerably impair the quality of the image. For this reason, a matting liquid, for example alginate, can be sprayed onto the teeth, which considerably facilitates the recording of three-dimensional images with the described procedure. For this reason, the arrangement has an atomizer 7, with which a mattierende fluid can be applied to the objects to be recorded.
  • the handle of the device carrying the assembly 10 has on its back a cable, by means of which the arrangement is connected to a processing unit.
  • This processing unit supplies the cameras 1a, 1b, the projection unit 2, the light source 6 with the supply voltage and receives the detected data from the cameras 1a, 1b. Furthermore, the liquid can be guided via a liquid line through the handle of the instrument 10 to the atomizer 7.
  • a WLAN interface may be used to communicate the data to the processing unit.
  • the instrument 10 has a battery for powering the cameras, the projection unit and the light source and a tank for the matting liquid.
  • the random image 40 is selected such that the pixels which come to lie on the same epipolar line 9a, 9b in the image of the two cameras 1a, 1b have unique surroundings 13a, 13b.
  • a random image 40 differs from a "structured light pattern" known per se in that the surroundings 13a, 13b of the individual pixels are different from one another and, in particular, are unique on an epipolar line 9a, 9b.
  • Structured light patterns comprise a plurality of pixels, each having identical environments 13a, 13b.
  • a recognition method can thereby be carried out by simultaneous recognition of identical spatial points in the recorded camera images with a single image recording step. This is particularly advantageous since this results in several successive recordings with multiple structured light patterns occurring motion artifacts can be avoided. Thus, a faster and easier detection of three-dimensional images is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Endoscopes (AREA)
  • Measurement Of Optical Distance (AREA)

Description

  • Die Erfindung betrifft ein Verfahren zur Aufnahme dreidimensionaler Abbilder von Gegenständen gemäß dem Oberbegriff des Patentanspruchs 1 sowie eine Anordnung zur Aufnahme dreidimensionaler Abbilder von Gegenständen gemäß dem Oberbegriff des Patentanspruchs 8.
    Erfindungsgemäße Verfahren und Anordnungen werden insbesondere im Bereich der dreidimensionalen Aufnahme von Zähnen verwendet. Der Anwendungsbereich erstreckt sich dabei auf die Aufnahme von digitalen Zahn- und Kieferabdrücken, die Hilfestellung bei der Diagnose, die Überwachung von Zahnbehandlungen sowie die zuverlässige Kontrolle von eingesetzten Implantaten. Neben weiteren Einsatzgebieten im Bereich der Medizin- und Industrietechnik, beispielsweise im Bereich der Endoskopie, können generell Raumbereiche stereometrisch vermessen werden, die schwer zugänglich sind. Hintergrund der Erfindung ist die stereometrische Aufnahme von schwer zugänglichen Gegenständen, beispielsweise Zähnen in der Mundhöhle eines Menschen. Probleme bestehen hierbei zum einen in der erforderlichen Miniaturisierung der Aufnahmeeinheit und zum anderen in den hohen Anforderungen an die Zuverlässigkeit des Verfahrens. Insbesondere im Bereich der Zahnheilkunde sind oft Abmessungen von etwa 0,1mm relevant, sodass eine Auflösung von im Bereich von etwa 0,01mm erforderlich ist, um sämtliche Details der abzubildenden Gegenstände mit hinreichender Auflösung zu erfassen.
  • Aus dem Artikel "Real-Time Depth Warping for 3-D Scene Reconstruction" (SEALS, W. BRENT et Al, Proc IEE Conf. On Computer Vision and Pattern Recognition, Vol. 1, pp. 195-2012, 2003) ist eine Vorrichtung zur Aufnahme dreidimensionaler Bilder bekannt, die jeweils einen Projektor und eine Kamera umfasst. Die gemeinsame Kalibrierung der Kamera mit dem Projektor erfolgt derart, dass eine Transformation zwischen dem Kamerakoordinatensystem und dem Koordinatensystem des Projektors ermittelt wird. In einem weiteren Schritt wird eine Epipolargeometrie zwischen der Kamera und dem Projektor ermittelt. Es wird in diesem Zusammenhang eine Schar von Epipolarlinien der Kamera und eine Schar von Epipolarlinien des Projektors ermittelt, von denen jede der Epipolarlinie der Kamera jeweils eineindeutig einer Epipolarlinie des Projektors zugeordnet ist. Weiters beschreibt der Artikel "A Multibaseline Stereo System with Active Illumination and Realtime Image Acquisition "(KANG, S. B. et al. , Proc. IEE Fifth Intl. Conf. On Computer Vision, pp. 88 -93, 1995) eine Vorrichtung bestehend aus vier auf einem Träger befestigten Kameras und einem Projektor, dabei wird auf den zu beobachtenden Bildbereich ein variierendes Lichtmuster projiziert und so die Unterscheidung der einzelnen aufgenommenen Pixel verbessert.
  • Aus dem Stand der Technik sind bereits Zahnvermessungsvorrichtungen bekannt, die dreidimensionale Bilder liefern. Ein wesentlicher Nachteil dieser Vorrichtungen ist, dass die Sensorteile, die zu den abzubildenden Gegenständen vordringen, meist unhandlich und sperrig sind, da mitunter eine Menge unterschiedlicher Komponenten im Aufnahmebereich erforderlich ist.
    Aufgabe der Erfindung ist es daher, eine Anordnung sowie ein Verfahren zur Verfügung zu stellen, die dreidimensionale Abbilder mit hoher Präzision liefern, wobei die Anordnung eine möglichst kompakte Bauform aufweist.
    Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art mit den Merkmalen des Kennzeichens des Anspruchs 1. Die Erfindung löst diese Aufgabe bei einer Anordnung der eingangs genannten Art mit den Merkmalen des Kennzeichens des Anspruchs 8.
    Erfindungsgemäß ist vorgesehen, dass vorab die Anordnung der beiden Kameras kalibriert wird, wobei die Position und Orientierung der beiden Kameras zueinander festgestellt wird und eine Transformation bestimmt wird, die jeweils einer Bildposition eines mit der Kamera aufgezeichneten Bildes und einer Bildposition eines mit der anderen Kamera aufgezeichneten Bildes genau eine Raumposition in einem dreidimensionalen Aufnahmeraum zuordnet. Ferner wird im Zuge des Kalibrierungsverfahrens für jede der Kameras jeweils eine Schar von Epipolarlinien ermittelt, wobei jeweils eine Epipolarlinie der einen Kamera jeweils genau einer Epipolarlinie der anderen Kamera zugeordnet wird. Dabei ist vorgesehen, dass ein vorgegebenes Zufallsbild auf den aufzunehmenden Gegenstand projiziert wird, wobei die einzelnen Bildpunkte des Zufallsbilds einen von zumindest zwei voneinander abweichenden Farbwerten und/oder Intensitätswerten aufweisen. Dann wird für jedes Pixel der ersten Kamera jeweils eine erste Umgebung bestimmt und eine für die erste Kamera aufgefundene und das jeweilige Pixel umfassende Epipolarlinie bestimmt. Anschließend wird die dieser aufgefundenen ersten Epipolarlinie zugeordnete zweite Epipolarlinie der zweiten Kamera bestimmt. Für sämtliche Pixel des Bildes der zweiten Kamera, die sich auf der zweiten Epipolarlinie befinden, wird eine zweite Umgebung bestimmt die kongruent zur ersten Umgebung ist, es werden die Intensitätswerte der ersten und zweiten Umgebung miteinander verglichen, es wird ein Übereinstimmungsmaß für die beiden Umgebungen bestimmt und es wird diejenige Bildposition auf der zweiten Epipolarlinie bestimmt, für die das Übereinstimmungsmaß am größten ist und mit der Vergleichseinheit eine Transformation ausgehend von der Bildposition des Pixels der ersten Kamera und der ermittelten Bildposition auf der zweiten Epipolarlinie eine Raumposition bestimmbar ist, und diese Raumposition in einem Speicher abspeicherbar ist. Mit der Transformation wird ausgehend von der Bildposition des Pixels der ersten Kamera und der ermittelten Bildposition auf der zweiten Epipolarlinie eine Raumposition bestimmt und diese Raumposition abgespeichert, wobei das Abbild des aufgenommenen Gegenstands durch die Menge der aufgefundenen Raumpositionen bestimmt und für eine weitere Verarbeitung zur Verfügung gehalten wird.
    Dieses Vorgehen ermöglicht eine einfache und effiziente dreidimensionale Aufnahme und Abbildung von Gegenständen und dabei wird die Zuordnung zweier denselben Pixelbereich darstellender Pixel der beiden Kameras gegenüber den bisher bekannten Verfahren erheblich vereinfacht und die erforderlichen Rechenschritte zum Auffinden zweier denselben Bildbereich abbildender Pixel erheblich beschleunigt.
  • Eine besondere Ausführungsform der Erfindung sieht vor, dass unmittelbar vor oder nach der Aufnahme der Menge der Raumpositionen die Projektion des Zufallsbilds inaktiv gestellt wird und gegebenenfalls eine zusätzliche Beleuchtung des Gegenstandes erfolgt, wobei mit zumindest einer Kamera ein Bild des aufzunehmenden Gegenstandes aufgezeichnet wird. Es wird jedem der ermittelten Raumpunkte der Intensitätswert oder die Bildposition zugeordnet, mittels derer basierend auf der Transformation die Raumposition des Raumpunktes ermittelt worden ist. Mit einem derartigen Vorgehen können die aufgenommenen dreidimensionalen Abbilder des Gegenstandes mit einer Farbdarstellung versehen werden und gegebenenfalls in ihrer Farbe dargestellt werden. Ferner kann vorgesehen werden, dass mittels eines Meshing-Verfahrens basierend auf der aufgezeichneten Punktmenge eine Oberflächenverlegung oder eine Raumzerlegung mit einer Anzahl von Raumelementen oder Oberflächenelementen durchgeführt wird. Dies hat den erheblichen Vorteil, dass eine dreidimensionale Darstellung der aufgenommenen Punktmenge einfach möglich ist und nachfolgende Berechnungen einfach durchgeführt werden können.
    Ein besonderer Aspekt der Erfindung sieht vor, dass den Oberflächenelementen der Oberflächenzerlegung ein aus den Intensitätswerten der Raumpunkte der Punktmenge, insbesondere durch Interpolation, ermittelter Intensitätswert zugeordnet und gegebenenfalls angezeigt wird. Dies ermöglicht eine besonders realistische Farbdarstellung der aufgenommenen Gegenstände.
    Ein besonders vorteilhafter Aspekt der Erfindung sieht vor, dass laufend dreidimensionale Abbildungen von Gegenständen aufgenommen werden, die Gegenstände relativ zur Anordnung zu den Kameras bewegt werden, wobei die Relativbewegung derart langsam erfolgt, dass eine Überlappung des aufgenommenen Raumbereichs zeitlich aufeinander folgender Abbildungen besteht und die ermittelten Punktmengen, Oberflächenzerlegungen oder Raumzerlegungen durch isometrische Transformation zur Deckung gebracht werden. Damit wird eine zusammengesetzte Aufnahme aus einer Vielzahl von Aufnahmen erstellt. Vorteilhaft ist dabei, dass die Aufnahmen, die üblicherweise aus sehr geringer Distanz gemacht werden, auf einfache Weise zusammengesetzt werden können und somit ein Gesamtbild aus mehreren Teilbildern erstellt werden kann, dessen Größe die Größe des Aufnahmebereichs der beiden Kameras übersteigt.
    Ferner kann vorgesehen werden, dass bei mangelnder Übereinstimmung der ersten Umgebung mit den zweiten Umgebungen der Pixel auf einer Epipolarlinie des Bildes der zweiten Kamera ein die Oberfläche des aufzunehmenden Gegenstandes mattierendes Fluid auf die aufzunehmenden Gegenstände aufgesprüht wird und der Vorgang des Auffindens übereinstimmender Umgebungen nach dem Aufsprühen der Flüssigkeit fortgesetzt wird. Dies ermöglicht insbesondere bei sehr stark reflektierenden oder sehr glatten Gegenständen eine präzise dreidimensionale Aufnahme.
  • Ferner ist erfindungsgemäß bei einer Anordnung zur Aufnahme dreidimensionaler Abbilder von Gegenständen mit zwei Kameras mit einander überlappenden Aufnahmebereichen eine Projektionseinheit zur Abbildung eines Zufallsbilds vorgesehen, dass die einzelnen Pixel des Zufallsbilds einen von zumindest zwei voneinander abweichenden Farbwerten und/oder Intensitätswerten aufweisen, wobei mit der Projektionseinheit das Zufallsbild in die überlappenden Aufnahmebereiche der beiden Kameras projizierbar ist. Bei dieser Anordnung ist vorgesehen, dass das Zufallsbild so gewählt ist, dass die Pixel, die im Bild der beiden Kameras 1a, 1b auf der selben Epipolarlinie 9a, 9b zu liegen kommen, eindeutige Umgebungen aufweisen. Mit einer derartigen Anordnung können Bilder aufgenommen werden, die sehr leicht in ein dreidimensionales Bild umwandelbar sind.
    Ein besonderer Aspekt dieser Erfindung sieht eine, vorzugsweise schaltbare Lichtquelle vor, die den überlappenden Aufnahmebereich der beiden Kameras beleuchtet. Durch die Beleuchtung mit dieser Lichtquelle können neben den zur Aufnahme der dreidimensionalen Bilder benötigten Kamerabilder auch weitere Kamerabilder erstellt werden, die entweder unmittelbar angesehen werden können oder aber zur Einfärbung eines nach der Aufnahme ermittelten dreidimensionalen Gegenstandsbildes dienen. Ferner kann die Erfindung durch einen Zerstäuber weitergebildet werden, mit dem ein mattierendes Fluid auf die aufzuzeichnenden Gegenstände aufgebracht werden kann. Dies ermöglicht die Aufnahme von mattierten Bildern, mit denen eine dreidimensionale Abbildung leichter erzielt werden kann.
  • Ein weiterer bevorzugter Aspekt der Erfindung sieht vor, dass den Kameras eine Kalibriereinheit nachgeschaltet ist, mittels der die Position und Orientierung der beiden Kameras zueinander feststellbar und eine Transformation bestimmbar ist, die jeweils einer Bildposition, insbesondere einem Pixel, eines mit der einen Kamera aufgezeichneten Bildes und einer Bildposition, insbesondere einem Pixel, eines mit der anderen Kamera aufgezeichneten Bildes genau eine Raumposition, insbesondere ein Voxel, in einem dreidimensionalen Aufnahmeraum zuordnet, und mittels der für jede der Kameras jeweils eine Schar von Epipolarlinien ermittelbar ist, wobei jeweils einer Epipolarlinie der einen Kamera jeweils genau eine Epipolarlinie der anderen Kamera zugeordnet ist, dass den Kameras eine Auswerteeinheit nachgeschaltet ist, mittels der für jedes Pixel der ersten Kamera eine erste Umgebung, beispielsweise von 3x3 Pixel oder 5x5 Pixel, bestimmbar ist, eine für diese erste Kamera aufgefundene und das jeweilige Pixel umfassende erste Epipolarlinie bestimmbar ist, die dieser aufgefundenen ersten Epipolarlinie zugeordnete zweite Epipolarlinie der anderen Kamera bestimmbar ist, für sämtliche Pixel des Bildes der zweiten Kamera, die sich auf der zweiten Epipolarlinie befinden, eine zweite Umgebung bestimmbar ist, die kongruent zur ersten Umgebung ist, wobei die Intensitätswerte der ersten und der zweiten Umgebung mittels einer Vergleichseinheit miteinander vergleichbar sind, mittels der Vergleichseinheit ein Übereinstimmungsmaß für die beiden Umgebungen bestimmbar ist, und diejenige Bildposition, insbesondere desjenigen Pixels, auf der zweiten Epipolarlinie bestimmbar ist, auf der das Übereinstimmungsmaß am größten ist, mittels der Transformation ausgehend von der Bildposition des Pixels der ersten Kamera und der ermittelten Bildposition auf der zweiten Epipolarlinie eine Raumposition bestimmbar ist, und diese Raumposition in einem Speicher abspeicherbar ist.
    Mit einer derartigen Anordnung können auf einfache und resourcen-schonende Weise dreidimensionale Abbilder von Gegenständen aufgenommen werden.
  • Weiters kann vorgesehen sein, dass die optischen Achsen der beiden Kameras annähernd parallel ausgerichtet sind. Dies ermöglicht ein besonders einfaches Auffinden der Transformation und verbessert die Genauigkeit der aufgenommenen dreidimensionalen Bilder.
    Ein weiterer vorteilhafter Aspekt der Erfindung sieht vor, dass die beiden Kameras und die Projektionseinheit auf dem selben Träger oder Instrument angeordnet sind. Dies ermöglicht eine einfache Handhabung, insbesondere an platzbegrenzten Orten. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen erläutert.
    Die Erfindung wird beispielhaft anhand der folgenden Abbildungen beschrieben.
    • Fig. 1 zeigt ein Instrument in der Form und den Abmessungen eines Mundspiegels mit zwei Kameras und einer Projektionseinheit in Vorderansicht.
    • Fig. 2 zeigt das Instrument mit zwei Kameras und einer Projektionseinheit in Seitenansicht.
    • Fig. 3 zeigt Bilder der beiden Kameras mit einander zugeordneten Epipolarlinien.
    • Fig. 4 zeigt eine erste Epipolarlinie, eine zweite Epipolarlinie sowie auf diesen Epipolarlinien liegende Punkte mit deren Umgebungen.
    • Fig. 5 zeigt eine diskrete Darstellung des Übereinstimmungsmaßes sowie eine Interpolation des Übereinstimmungsmaßes auf einer der zweiten Epipolarlinien.
    • Fig. 6 zeigt eine Aufnahme eines Gebisses als zusammengesetzte Aufnahme aus mehreren Einzelaufnahmen.
    • Fig. 7 zeigt die Wirkung einer kalibrierten Transformationsfunktion bei zwei gegebenen Bildpositionen auf den mit den beiden Kameras erzeugten Bildern.
    • Fig. 8 zeigt ein Zufallsbild.
  • Fig. 1 zeigt beispielhaft den grundsätzlichen Aufbau einer erfindungsgemäßen Anordnung mit einem Instrument 10 in Form und den Abmessungen eines Mundspiegels. Diese Anordnung umfasst ein Instrument 10, auf dessen Endteil 11 zwei Kameras 1a, 1b und eine Projektionseinheit 2 angeordnet sind. Alternative Ausführungsformen können Endoskope, chirurgische Werkzeuge oder generell Werkzeugträger umfassen, die zu den aufzuzeichnenden unzugänglichen Gegenständen 30, beispielsweise Zähnen, vordringen können und auf denen zwei Kameras 1a, 1b und eine im Folgenden noch beschriebene Projektionseinheit 2 angeordnet werden können.
    Diese beiden Kameras 1a, 1b weisen Bildbereiche 3a, 3b auf, die teilweise überlappen. Die Aufnahmebereiche der beiden Kameras 1a, 1b sind gleich groß gewählt, wobei je nach typischem vorgegebenem Abstand der aufzunehmenden Gegenstände 30 von den Kameras 1a, 1b die Aufnahmebereiche derart gewählt werden, dass ein möglichst großer Teil der Gegenstände 30 im Überlappungsbereich 4 der Aufnahmebereiche 3a, 3b beider Kameras 1a, 1b liegt.
    Im Bereich zwischen den beiden Kameras 1a, 1b ist eine Projektionseinheit 2 angeordnet, die ein Zufallsbild 40 in zumindest einen Teilbereich des Überlappungsbereichs 4 der beiden Kameras 1a, 1b wirft. Insbesondere ist es vorteilhaft, wenn das Zufallsbild 40 auf den gesamten Überlappungsbereich 4 der beiden Bildbereiche 3a, 3b der beiden Kameras 1a, 1b projiziert wird. In dem in Fig. 2 dargestellten Beispiel wird das Zufallsbild 40 mit der Projektionseinheit 2 in einen Projektionsbereich 5 projiziert, der den Überlappungsbereich 4 der beiden Bildbereiche 3a, 3b der beiden Kameras 1a, 1b einschließt.
  • Vor der Aufnahme der Gegenstände wird für die Anordnung der beiden Kameras 1a, 1b eine Kalibrierung vorgenommen. Für die Kalibrierung der beiden Kameras 1a, 1b ist die Projektionseinheit 2 nicht erforderlich und kann während des gesamten Kalibrierungsvorgangs ausgeschaltet bleiben. Bei der Kalibrierung wird zunächst die gegenseitige Position und Orientierung der beiden Kameras 1a, 1b zueinander bestimmt. Ein solches Vorgehen kann auf unterschiedliche Art realisiert werden, eine vorteilhafte Möglichkeit ist in J. Heikkilä: Geometric camera calibration using circular control points, IEEE Transcations on Pattern Analysis and Machine Intelligence 22(10), 1066-1077, 2000 oder Faugeras, Toscani: Camera calibration for 3D computer vision, Proc. Int'l Workshop on Industrial Applications of Machine Vision and Machine Intelligence, Tokyo, Japan, pp. 240-247, Feb. 1987 beschrieben. Als Resultat wird eine Transformation erhalten, die einem Bildpunkt 8a eines Bildes der ersten Kamera 1a und einem Bildpunkt 8b eines Bildes der zweiten Kamera 1b einen Raumpunkt 17 im überlappenden Aufnahmebereich der beiden Kameras 1a, 1b zuordnet.
    Jedem Pixel ist umkehrbar eindeutig ein Bildpunkt 8a, 8b zugeordnet. Bildpunkte können jedoch auch zwischen den einzelnen Pixeln liegen, was das im Folgenden beschriebene Verfahren für die Verwendung von Subpixel-Arithmetik geeignet macht. Selbstverständlich kann eine derartige Zuordnung nicht für beliebige Bildpunkte 8a, 8b erfolgen, sondern es kann lediglich ein Raumpunkt 17 für jene Bildpunkte 8a, 8b ermittelt werden, die auf einander zugeordneten Epipolarlinien 9a, 9b liegen. Aus diesem Grund ist es im Zuge der Kalibrierung erforderlich, Scharen von Epipolarlinien 9a, 9b, dargestellt in Fig. 3, der beiden Kameras 1a, 1b aufzufinden und jede der Epipolarlinien 9a der einen Kamera 1a umkehrbar eindeutig jeweils einer Epipolarlinie 9b der jeweils anderen Kamera 1b zuzuordnen. Das Auffinden und die gegenseitige Zuordnung der Epipolarlinien 9a, 9b ist dem Fachmann bekannt und kann beispielsweise aus Zhengyou Zhang: Determining the Epipolar Geometry and its Uncertainty: A Review, International Journal of Computer Vision, volume 27 pages 161-195, 1996 entnommen werden.
    Wie bereits erwähnt, wird im Zuge des erfindungsgemäßen Verfahrens ein Zufallsbild 40 auf den Überlappungsbereich 4 der Kameras 1a, 1b projiziert. Das Zufallsbild ist beispielsweise ein Digitalbild mit einer vorgegebenen Höhe und Breite und einer Anzahl von rechteckigen rasterförmig angeordneten Pixeln bzw. Bildbereichen. Diese Pixel weisen einen aus einer Anzahl von vorgegebenen Farb- und/oder Intensitätswerten auf. Hintergrund der Verwendung eines Zufallsbild 40 ist, dass für das im Folgenden beschriebene Verfahren die Umgebung jedes Pixels, beispielsweise eine 3x3 oder 5x5-Umgebung, innerhalb des gesamten Zufallbilds dem jeweiligen Pixel eindeutig zuordenbar sein soll. Aufgrund der Eindeutigkeit der Umgebung kann ein Raumpunkt an unterschiedlichen Stellen in zwei mit jeweils einer der beiden Kameras 1a, 1b aufgenommenen Digitalbildern aufgefunden werden. Werden pro Pixel zwei voneinander abweichende Helligkeitswerte, beispielsweise weiß und schwarz, als mögliche Zufallswerte vorgegeben, stehen bei Verwendung einer Umgebung von 5x5 Pixeln etwa 32 Millionen unterschiedlicher Umgebungen zur Verfügung, sodass ohne weitere Einschränkungen des Verfahrens Bilder mit bis zu 32 Millionen Pixeln aufgenommen werden können und jedem aufgenommenen Pixel eine eindeutige Umgebung zugeordnet werden kann.
    Das Zufallsbild kann bereits mit sehr einfachen Mitteln hergestellt werden und liegt beispielsweise als Dia vor. Die Berechnung der einzelnen den Pixeln zugeordneten Zufallswerte kann dabei mittels eines bereits bekannten Algorithmus, beispielsweise eines Mersenne Twister - Algorithmus erfolgen, der hinlänglich bekannt ist und in M. Matsumoto and T. Nishimura: Mersenne twister: A 623-dimensionally equidistributed uniform pseudorandom number generator. ACM Trans. on Modeling and Computer Simulations, 1998. beschrieben ist.
    Alternativ kann zur Platzoptimierung eine Ausgestaltung der Projektionseinheit 2 mit einem Beugungsgitter vorgenommen werden, wobei wesentlich geringere Abmessungen des die Information des Digitalbilds tragenden Beugungsgitters möglich sind als bei der Verwendung von Dias. Die Ausgestaltung von Beugungsgittern zur Darstellung von Digitalbildern ist dem Fachmann hinlänglich bekannt und z. B. in JR Leger, MG Moharam, and TK Gaylord: Diffractive Optics - An Introduction to the Feature Issue. Applied Optics, 1995, 34 (14) p. 2399-2400 beschrieben. Im Bereich des Dias oder des Beugungsgitters befindet sich eine Lichtquelle, beispielsweise eine Laserdiode, deren Licht durch das Dia oder das Beugungsgitter auf die Gegenstände 30 projiziert wird.
    Um ein dreidimensionales Bild des Gegenstands 30 zu erhalten, werden die im folgenden beschriebenen Verfahrensschritte für jedes einzelne der Pixel 8a der aufgenommenen Bilder einer der beiden Kameras, im Folgenden die erste Kamera 1a genannt, durchgeführt. Diese mit der ersten Kamera 1a aufgenommenen Pixel 8a werden im Folgenden erste Pixel 8a genannt. Gegebenenfalls kann die Anzahl dieser Pixel 8a um diejenigen Pixel reduziert werden, deren jeweiliger Aufnahmebereich nicht vom Aufnahmebereich der anderen Kamera, im Folgenden zweite Kamera 1b genannt, umfasst ist. Die mit der zweiten Kamera 1b aufgenommenen Pixel 8b werden im Folgenden zweite Pixel 8b genannt.
    Zunächst wird für jedes der ersten Pixel 8a eine erste Umgebung 13a bestimmt. Dies kann beispielsweise eine Umgebung mit einer Größe von 5x5 Pixeln sein, wobei sich das jeweilige Pixel 8a bevorzugterweise an der zentralen Stelle der ersten Umgebung 13a befindet.
  • Für jedes der ersten Pixel 8a der ersten Kamera 1a wird die Epipolarlinie 9a, wie in Fig. 4 dargestellt, der ersten Kamera 1a sowie die dieser zugeordnete Epipolarlinie 9b der zweiten Kamera 1b herangezogen. Wie bereits erwähnt, sind diese Epipolarlinien 9a, 9b bereits im Zuge der Kalibrierung der Kameras 1a, 1b ermittelt worden. Anschließend wird für die zweiten Pixel 8b auf dem Bild der zweiten Kamera 1b, die auf der Epipolarlinie 9b liegen, eine zweite Umgebung 13b von 5x5 Pixeln ermittelt und mit der ersten Umgebung 13a verglichen. Im Zuge des Vergleichs wird ein Übereinstimmungsmaß ermittelt, das angibt, ob eine Übereinstimmung der Intensitätswerte der beiden Umgebungen 13a, 13b besteht.
    Stimmen die beiden Umgebungen 13a, 13b in Bezug auf die ihnen zugeordneten Intensitätswerte überein, liefert das Übereinstimmungsmaß - abhängig von seiner Formulierung - den größten oder den kleinsten Wert, insbesondere - bei tolaler Übereinstimmung - null. Beispielsweise kann als Übereinstimmungsmaß für zwei Umgebungen der euklidische Abstand verwendet werden, wobei pixelweise sämtliche Intensitätswerte der Umgebung miteinander verglichen werden. Weitere Methoden zur Bildung eines Übereinstimmungsmaßes können aus Reinhard Klette, Andreas Koschan, Karsten Schlüns: Computer Vision - Räumliche Information aus digitalen Bildern, 1.Auflage (1996), Friedr. Vieweg & Sohn Verlag entnommen werden.
    Das Übereinstimmungsmaß wird für die jeweiligen Umgebungen 13a, 13b von zwei Pixeln gebildet, von denen das eine im Bild der ersten Kamera 1a liegt und das andere auf derjenigen zweiten Epipolarlinie 9b liegt, die der ersten Epipolarlinie 9a zugeordnet ist, auf der das erste Pixel 8a im Bild der ersten Kamera 1a liegt. Da auf jeder zweiten Epipolarlinie 9b typischerweise 100 bis 1000 Pixel liegen, wird jeweils das Übereinstimmungsmaß für sämtliche auf der zweiten Epipolarlinie 9b gelegenen Punkte gebildet. Diese Übereinstimmungsmaße werden gemeinsam mit der Bildposition des jeweiligen Pixels in eine diskret definierte Funktion eingetragen, deren Definitionsbereich mittels einer Interpolationsfunktion 20 auf die gesamte zweite Epipolarlinie 9b ausgedehnt wird. Diese diskret definierte Funktion der Übereinstimmungsmaße und eine zugehörige interpolierende Funktion 20 sind in Fig. 5 dargestellt. Von dieser interpolierenden Funktion 20 wird das Maximum gesucht und diejenige Bildposition 14, an der das Maximum aufgefunden worden ist, wird als die dem Pixel 8a aus dem Bild der ersten Kamera entsprechende Bildposition angesehen. Es wird davon ausgegangen, dass auf diese Bildposition 14 sowie die Bildposition des Pixels 8a aus dem Bild der ersten Kamera 1a aufgrund der sehr ähnlichen Umgebungen sowie der Eindeutigkeit der Umgebung im Bildbereich derselbe Gegenstandsbereich abgebildet ist.
  • Die Suche der denselben Gegenstandsbereich abbildenden Bildposition des Bildes der zweiten Kamera 1b für ein Pixel des Bildes der ersten Kamera 1a wird somit auf die zweiten Epipolarlinien 9b beschränkt. Daher kann von dem sehr strengen Kriterium der Eindeutigkeit der Umgebung für das gesamte Zufallsbild abgegangen werden und es muss lediglich die Eindeutigkeit der Umgebung für die Pixel gefordert werden, die im Bild der beiden Kameras 1a, 1b auf derselben Epipolarlinie 9a, 9b zu liegen kommen. Aufgrund dieser Erweiterung des Bereichs der zulässigen Zufallsbild muss für die meisten Fälle lediglich eine 3x3-Umgebung ermittelt werden. Zur Erhöhung der Zuverlässigkeit bzw. zur Erhöhung der Präzision kann die numerisch aufwendigere 5x5-Umgebung herangezogen werden.
  • Die beiden ermittelten Bildpositionen werden der im Zuge der Kalibrierung Transformation unterworfen, die eine Raumposition 17 liefert. Diese Raumposition 17 entspricht der Position im Raum, die im Zuge der Aufnahme auf beide ermittelte Bildpositionen in den Bildern der beiden Kameras abgebildet worden ist.
  • Wird diese Vorgehensweise für eine Anzahl der Bildpunkte 8a eines Bildes der ersten Kamera 1a angewendet, erhält man eine ebenso große Anzahl von Bildpositionen 14 im gleichzeitig aufgenommenen Bild der zweiten Kamera sowie eine ebenso große Anzahl von Raumpunkten 17, die auf der Oberfläche des aufgenommenen Gegenstands 30 liegen.
  • Eine Erweiterung der erfindungsgemäßen Anordnung ist in Fig. 1 dargestellt, wobei diese zusätzlich über eine schaltbare Lichtquelle 6 verfügt, welche die abzubildenden Gegenstände 30 im Überlappungsbereich 4 der Aufnahmebereiche 3a, 3b der beiden Kameras beleuchtet. Diese Lichtquelle 6 kann so kurz wie realisierbar vor dem Einschalten der Projektionseinheit 2 eingeschaltet werden. Anschließend wird mit einer oder beiden Kameras 1a, 1b jeweils ein Bild erstellt und die Intensitätswerte für einen oder mehrere Farbkanäle aufgenommen. Danach wird die Lichtquelle 6 ausgeschaltet und die Projektionseinheit 2 eingeschaltet und das oben beschriebene Verfahren zur Ermittlung der Raumpositionen 17 durchgeführt. Es wird davon ausgegangen, dass die Position der Anordnung zwischen der Aufnahme des Bildes mit dem Licht der Lichtquelle 6 und der anschließenden Aufnahme der Raumpositionen 17 unverändert bleibt. Nachdem die Bildpositionen 14 und die zugehörigen Raumpunkte 17 bestimmt sind, kann jedem Raumpunkt 17 der Intensitätswert des ihn über die Transformation festlegenden Pixel 8a und/oder des zugehörigen zweiten Pixels 8b auf der zweiten Epipolarlinie 9b zugewiesen werden.
  • Eine weitere zusätzliche Verbesserung der erfindungsgemäßen Vorgehensweise wird dadurch erzielt, dass nach der Ermittlung der Punkte ein Meshing-Schritt auf die ermittelte Punktwolke der erzielten Raumpunkte 17 angewendet wird. Dabei werden die ermittelten Raumpunkte 17 als Punkte der Oberfläche eines dreidimensionalen Gegenstands angesehen, der durch Tetraeder dargestellt wird. Gegebenenfalls kann die Darstellung auch mit anderen Typen von Elementen wie Prismen oder Würfeln erfolgen oder es kann auch nur die Oberfläche durch Dreiecke oder Vierecke dargestellt werden. Eine umfassende Darstellung von Meshing-Algorithmen kann beispielsweise in Joe, Simpson: Triangular Meshes for Regions of Complicated Shape, International Journal for Numerical Methods in Engineering, Wiley, Vol 23, pp.751-778, 1986 oder Borouchaki, Lo: Fast Delaunay triangulation in three dimensions, Computer methods in applied mechanics and engineering, Elsevier, Vol 128, pp.153-167, 1995 gefunden werden.
    Sind zuvor bereits den einzelnen Raumpunkten 17 Intensitätswerte zugewiesen worden, können die Intensitätswerte durch Interpolation auf die Elemente der Oberfläche übertragen werden, wodurch eine durchgängige Farbgebung der Oberfläche erzielt wird.
  • Die in den Figuren dargestellte Anordnung fertigt etwa zehn bis zwanzig Abbilder des abzubildenden Gegenstands 30 pro Sekunde an. Wird die Anordnung, wie in Fig. 6. dargestellt, gegenüber den abzubildenden Gegenständen, hier Zähnen, derart langsam bewegt, dass in zwei aufeinanderfolgenden Zeitschritten überlappende Gegenstandsbereiche aufgenommen werden, besteht die Möglichkeit, die überlappenden Bildbereiche durch eine isometrische Transformation derart ineinander überzuführen, dass diese im selben Raumbereich zu liegen kommen. Derartige Verfahren sind beispielsweise in Timothee Jost, Heinz Hügli: Fast ICP algorithms for shape registration, Proceedings of the 24th DAGM Symposium on Pattern Recognition, pp. 91 - 99, 2002 beschrieben. Durch die Aufnahme mehrerer Bilder zu unterschiedlichen Zeitpunkten kann ein größeres dreidimensionales Abbild aus mehreren kleineren Abbildern zusammengesetzt werden. Durch dieses Vorgehen kann die gesamte in Fig. 6 dargestellte Zahnreihe dreidimensional abgebildet werden. Während des Aufnahmeprozesses wird das jeweils aktuell aufgenommene dreidimensionale Gesamtabbild auf einem Bildschirm dargestellt. Der Messvorgang wird dahingehend zusätzlich unterstützt, dass während der Messung gleichzeitig die optimale Ausrichtung (virtueller Horizont) und die aktuelle Ausrichtung des Messkopfes anhand des jeweiligen dreidimensionalen Abbilds dargestellt werden.
  • Die im Folgenden beschriebene Verbesserung der erfindungsgemäßen Anordnung führt zu einer Verbesserung des Kontrasts der mit den Kameras aufgenommenen Bilder. Weist die Oberfläche der aufzunehmenden Gegenstände eine sehr hohe Reflexivität auf, werden die Bilder mitunter nicht richtig dargestellt bzw. befinden sich einige unbeabsichtigte Reflexionen auf den Bildern, welche die Qualität der Aufnahme erheblich beeinträchtigen können. Aus diesem Grund kann eine mattierende Flüssigkeit, beispielsweise Alginat, auf die Zähne aufgesprüht werden, welche die Aufnahme von dreidimensionalen Bildern mit der beschriebenen Vorgehensweise erheblich erleichtert. Aus diesem Grund weist die Anordnung einen Zerstäuber 7 auf, mit dem ein mattierendes Fluid auf die aufzuzeichnenden Gegenstände aufgebracht werden kann.
  • Der Handgriff des die Anordnung tragenden Instruments 10 weist an seiner Rückseite ein Kabel auf, mittels dessen die Anordnung mit einer Verarbeitungseinheit verbunden ist. Diese Verarbeitungseinheit versorgt die Kameras 1a, 1b, die Projektionseinheit 2, die Lichtquelle 6 mit der Versorgungsspannung und empfängt die ermittelten Daten von den Kameras 1a, 1b. Weiters kann die Flüssigkeit über eine Flüssigkeitsleitung durch den Handgriff des Instruments 10 zum Zerstäuber 7 geführt sein.
  • Als Alternative kann zur Übermittlung der Daten an die Verarbeitungseinheit eine WLAN-Schnittstelle verwendet werden. Diese bietet den Vorteil, dass keine Kabelführungen erforderlich sind. In dieser Ausführungsform verfügt das Instrument 10 über eine Batterie zur Spannungsversorgung der Kameras, der Projektionseinheit und der Lichtquelle sowie einen Tank für die mattierende Flüssigkeit.
  • Vorteilhafterweise kann vorgesehen sein, dass das Zufallsbild 40 so gewählt ist, dass die Pixel, die im Bild der beiden Kameras 1a, 1b auf derselben Epipolarlinie 9a, 9b zu liegen kommen, eindeutige Umgebungen 13a, 13b aufweisen.
    Ein solches Zufallsbild 40 unterscheidet sich von einem an sich bekannten "structured light pattern" dadurch, dass die Umgebungen 13a, 13b der einzelnen Pixel voneinander unterschiedlich sind und insbesonders auf einer Epipolarlinie 9a, 9b einzigartig sind. Structured light patterns weisen eine Vielzahl von Pixeln auf, die jeweils identische Umgebungen 13a, 13b aufweisen. Im Gegensatz zu den structured light patterns kann ein Erkennungsverfahren dadurch eine gleichzeitige Erkennung von gleichen Raumpunkten in den aufgenommenen Kamerabildern mit einem einzigen Bildaufnahmeschritt vorgenommen werden. Dies ist insbesondere vorteilhaft, da hierdurch die bei mehreren hintereinander durchgeführten Aufnahmen mit mehreren structured light patterns auftretenden Bewegungsartefakte vermieden werden können. Somit wird eine schnellere und einfachere Detektion von dreidimensionalen Bildern möglich.

Claims (13)

  1. Verfahren zur Aufnahme dreidimensionaler Abbilder von Gegenständen mit zwei Kameras (1a, 1b) mit einander überschneidenden Aufnahmebereichen,
    wobei vorab die Anordnung der beiden Kameras (1a, 1b) kalibriert wird, wobei die Position und Orientierung der beiden Kameras (1a, 1b) zueinander festgestellt wird und eine Transformation bestimmt wird, die jeweils einer Bildposition (8a), insbesondere die Position eines Pixels, eines mit der einen Kamera (1a) aufgezeichneten Bildes und einer Bildposition (8b), eines mit der anderen Kamera (1b) aufgezeichneten Bildes genau eine Raumposition (17), in einem dreidimensionalen Aufnahmeraum zuordnet,
    und ferner im Zuge des Kalibrierverfahrens für jede der Kameras (1a, 1b) jeweils eine Schar von Epipolarlinien (9a, 9b) ermittelt wird, wobei jeweils eine Epipolarlinie (9a) der einen Kamera (1a) jeweils genau einer Epipolarlinie (9b) der anderen Kamera (1b) zugeordnet wird,
    wobei
    ein vorgegebenes Zufallsbild (40) auf den aufzunehmenden Gegenstand (30) projiziert wird, wobei die einzelnen Bildpunkte des Zufallsbilds (40) einen von zumindest zwei voneinander abweichenden Farbwerten und/oder Intensitätswerten aufweisen, und die Umgebung jedes Pixels innerhalb des gesamten Zufallbilds dem jeweiligen Pixel eindeutig zuordenbar ist,
    und anschließend für jedes Pixel der ersten Kamera (1a)
    - eine erste Umgebung (13a) bestimmt wird,
    - eine für diese erste Kamera (1a) aufgefundene und das jeweilige Pixel (8a) umfassende erste Epipolarlinie (9a) bestimmt wird,
    - die dieser aufgefundenen ersten Epipolarlinie (9a) zugeordnete zweite Epipolarlinie (9b) der zweiten Kamera (1b) bestimmt wird,
    - für sämtliche Pixel (8b) des Bildes der zweiten Kamera (1b), die sich auf der zweiten Epipolarlinie (9b) befinden,
    - eine zweite Umgebung (13b) bestimmt wird, die kongruent zur ersten Umgebung (13a) ist,
    - die Intensitätswerte der ersten und der zweiten Umgebung (13a, 13b) miteinander verglichen werden,
    - ein Übereinstimmungsmaß für die beiden Umgebungen bestimmt wird, und
    - diejenige Bildposition (14) auf der zweiten Epipolarlinie (9b) bestimmt wird, für die das Übereinstimmungsmaß am größten ist, und
    - wobei mittels der Transformation ausgehend von der Bildposition des Pixels (8a) der ersten Kamera (1a) und der ermittelten Bildposition (14) auf der zweiten Epipolarlinie (8b) eine Raumposition (17) bestimmt wird, und diese Raumposition (17) abgespeichert wird, wobei das Abbild des aufgenommenen Gegenstands (30) durch die Menge der aufgefundenen Raumpositionen (17) bestimmt wird und für eine weitere Verarbeitung zur Verfügung gehalten wird.
  2. Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass unmittelbar vor oder nach der Aufnahme der Menge der Raumpositionen (17) die Projektion des Zufallsbilds inaktiv gestellt wird, und gegebenenfalls eine zusätzliche Beleuchtung der aufzunehmenden Gegenstände (30) erfolgt, wobei mit zumindest einer Kamera (1a, 1b) ein Bild des aufzunehmenden Gegenstands (30) aufgezeichnet wird,
    wobei jedem der ermittelten Raumpunkte (17) der, gegebenenfalls interpolierte, Intensitätswert oder die, gegebenenfalls interpolierten, Intensitätswerte derjenigen Bildposition (14), insbesondere die Bildposition eines Pixels (8a, 8b), zugeordnet werden, mittels derer basierend auf der Transformation die Raumposition des Raumpunkts (17) ermittelt worden ist.
  3. Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass mittels eines Meshing-Verfahrens basierend auf der aufgezeichneten Punktmenge eine Oberflächenzerlegung oder einer Raumzerlegung mit einer Anzahl von Raumelementen oder Oberflächenelementen durchgeführt wird.
  4. Verfahren gemäß den Ansprüchen 2 und 3, dadurch gekennzeichnet, dass den Oberflächenelementen der Oberflächenzerlegung ein aus den Intensitätswerten der Raumpunkte der Punktmenge, insbesondere durch Interpolation, ermittelter Intensitätsverlauf zugeordnet und gegebenenfalls angezeigt wird.
  5. Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass laufend dreidimensionale Abbildungen von Gegenständen (30) aufgenommen werden,
    die Gegenstände relativ zur Anordnung der Kameras (1a, 1b) bewegt werden, wobei die Relativbewegung derart langsam erfolgt, dass eine Überlappung des aufgenommenen Raumbereichs zweier zeitlich aufeinanderfolgender Abbildungen besteht, und
    die ermittelten Punktmengen, Oberflächenzerlegungen oder Raumzerlegungen durch isometrische Transformation zur Deckung gebracht werden, und damit eine zusammengesetzte Aufnahme aus einer Vielzahl von Aufnahmen erstellt wird.
  6. Verfahren gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei mangelnder Übereinstimmung der ersten Umgebung (13a) mit einer zweiten Umgebung (13b) eines zweiten Pixels (8b) auf einer Epipolarlinie (9b) des Bilds der zweiten Kamera (1b) ein die Oberfläche des aufzunehmenden Gegenstands (30) mattierendes Fluid auf die aufzunehmenden Gegenstände aufgesprüht wird und der Vorgang des Auffindens übereinstimmender Umgebungen nach dem Aufsprühen der Flüssigkeit fortgesetzt wird.
  7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Zufallsbild (40) so gewählt ist, dass die Pixel, die im Bild der beiden Kameras (1a, 1b) auf derselben Epipolarlinie (9a, 9b) zu liegen kommen, eindeutige Umgebungen (13a, 13b) aufweisen.
  8. Anordnung zur Aufnahme dreidimensionaler Abbilder von Gegenständen mit zwei Kameras (1a, 1b) mit einander überlappenden Aufnahmebereichen
    umfassend eine Projektionseinheit (2) zur Abbildung eines Zufallsbilds (40), wobei die einzelnen Pixel des Zufallsbilds (40) einen von zumindest zwei voneinander abweichenden Farbwerten und/oder Intensitätswerten aufweisen und die Umgebung jedes Pixels innerhalb des gesamten Zufallbilds dem jeweiligen Pixel eindeutig zuordenbar ist, und
    wobei mit der Projektionseinheit (2) das Zufallsbild (40) in die überlappenden Aufnahmebereiche beider Kameras (1a, 1b) projizierbar ist,
    dadurch gekennzeichnet, dass
    a) den Kameras (1a, 1b) eine Kalibriereinheit nachgeschaltet ist, mittels der
    - die Position und Orientierung der beiden Kameras (1a, 1b) zueinander und eine Transformation bestimmbar ist, die jeweils einer Bildposition, eines mit der einen Kamera (1a) aufgezeichneten Bildes und einer Bildposition eines mit der anderen Kamera (1b) aufgezeichneten Bildes genau eine Raumposition in einem dreidimensionalen Aufnahmeraum zuordnet, und
    - mittels der für jede der Kameras (1a, 1b) jeweils eine Schar von Epipolarlinien (9a, 9b) ermittelbar ist, wobei jeweils einer Epipolarlinie (9a) der einen Kamera (1a) jeweils genau eine Epipolarlinie (9b) der anderen Kamera (1b) zugeordnet ist,
    b) den Kameras eine Auswerteeinheit nachgeschaltet ist, mittels der für jedes Pixel eines mittels der ersten Kamera (1a) aufgenommenen Bilds
    - eine erste Umgebung (13a) bestimmbar ist,
    - eine für diese erste Kamera (1a) aufgefundene und das jeweilige Pixel (1a) der ersten Kamera umfassende erste Epipolarlinie (9a) bestimmbar ist,
    - die dieser aufgefundenen ersten Epipolarlinie (9a) zugeordnete zweite Epipolarlinie (9b) der anderen Kamera (1b) bestimmbar ist,
    - für sämtliche Pixel des Bildes der zweiten Kamera (1b), die sich auf der zweiten Epipolarlinie (9b) befinden,
    - eine zweite Umgebung (13b) bestimmbar ist, die kongruent zur ersten Umgebung (13a) ist, und
    c) eine Vergleichseinheit vorgesehen ist, mit der die Intensitätswerte der ersten und der zweiten Umgebung (13a, 13b) miteinander vergleichbar sind, wobei
    - mit der Vergleichseinheit ein Übereinstimmungsmaß für die beiden Umgebungen bestimmbar ist, und diejenige Bildposition, insbesondere eines Pixels, auf der zweiten Epipolarlinie (9b) bestimmbar ist, für die das Übereinstimmungsmaß am größten ist, und
    - mit der Vergleichseinheit eine Transformation ausgehend von der Bildposition des Pixels (8a) der ersten Kamera (1a) und der ermittelten Bildposition (14) auf der zweiten Epipolarlinie (9b) eine Raumposition (17) bestimmbar ist, und diese Raumposition (17) in einem Speicher abspeicherbar ist.
  9. Anordnung gemäß Anspruch 8, gekennzeichnet durch eine, vorzugsweise schaltbare, Lichtquelle (6), die den überlappenden Aufnahmebereich der beiden Kameras beleuchtet.
  10. Anordnung gemäß Anspruch 8 oder 9, gekennzeichnet durch einen Zerstäuber (7), zum Aufbringen eines mattierendesn Fluids auf die aufzuzeichnenden Gegenstände.
  11. Anordnung gemäß einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die optischen Achsen der beiden Kameras (1a, 1b) annähernd parallel ausgerichtet sind.
  12. Anordnung gemäß einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass die beiden Kameras (1a, 1b) und die Projektionseinheit (2) auf demselben Träger oder Instrument (10) angeordnet sind.
  13. Anordnung nach einem der vorangehenden Ansprüche 8 bis 12, dadurch gekennzeichnet, dass das Zufallsbild (40) so gewählt ist, dass die Pixel, die im Bild der beiden Kameras (1a, 1b) auf derselben Epipolarlinie (9a, 9b) zu liegen kommen, eindeutige Umgebungen (13a, 13b) aufweisen.
EP10767905.2A 2009-10-07 2010-10-06 Verfahren zur aufnahme dreidimensionaler abbilder Active EP2486542B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AT0158509A AT508563B1 (de) 2009-10-07 2009-10-07 Verfahren zur aufnahme dreidimensionaler abbilder
PCT/AT2010/000372 WO2011041812A1 (de) 2009-10-07 2010-10-06 Verfahren zur aufnahme dreidimensionaler abbilder

Publications (2)

Publication Number Publication Date
EP2486542A1 EP2486542A1 (de) 2012-08-15
EP2486542B1 true EP2486542B1 (de) 2018-07-04

Family

ID=43430905

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10767905.2A Active EP2486542B1 (de) 2009-10-07 2010-10-06 Verfahren zur aufnahme dreidimensionaler abbilder

Country Status (7)

Country Link
US (1) US9050158B2 (de)
EP (1) EP2486542B1 (de)
JP (1) JP5328985B2 (de)
KR (1) KR101395234B1 (de)
AT (1) AT508563B1 (de)
BR (1) BR112012008009A2 (de)
WO (1) WO2011041812A1 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT511251B1 (de) 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
AT510554B1 (de) 2011-03-18 2012-05-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
AT511223B1 (de) 2011-03-18 2013-01-15 A Tron3D Gmbh Vorrichtung zum aufnehmen von bildern von dreidimensionalen objekten
DE102012100953B4 (de) 2012-02-06 2020-01-09 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
DE102012100955A1 (de) 2012-02-06 2013-08-08 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten
DE102012100959A1 (de) 2012-02-06 2013-08-08 A.Tron3D Gmbh Verfahren zum Darstellen optisch ermittelter Oberflächengeometrien
JP6015501B2 (ja) * 2012-06-01 2016-10-26 ソニー株式会社 歯用装置及び医療用装置
EP2672461A1 (de) 2012-06-05 2013-12-11 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
US9080856B2 (en) * 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US9268012B2 (en) 2013-07-12 2016-02-23 Princeton Optronics Inc. 2-D planar VCSEL source for 3-D imaging
EP2886043A1 (de) * 2013-12-23 2015-06-24 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
IL235952A0 (en) 2014-11-27 2015-02-26 Imaging Solutions Ltd Ab Intraoral 3D scanner
KR102042024B1 (ko) 2017-12-14 2019-11-07 주식회사 바텍 구강 스캐너
KR102033426B1 (ko) 2018-03-20 2019-10-17 주식회사 바텍 구강 스캐너
US11896461B2 (en) * 2018-06-22 2024-02-13 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
US10849723B1 (en) 2019-05-07 2020-12-01 Sdc U.S. Smilepay Spv Scanning device
KR102385076B1 (ko) * 2020-07-10 2022-04-11 주식회사 메디트 데이터 잠금 시스템 및 데이터 잠금 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007079805A1 (de) * 2006-01-08 2007-07-19 Hermann Tropf Erstellung eines abstandsbildes

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194126A (ja) * 2000-01-14 2001-07-19 Sony Corp 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
JP2002013918A (ja) * 2000-06-29 2002-01-18 Fuji Xerox Co Ltd ３次元画像生成装置および３次元画像生成方法
JP3975736B2 (ja) 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP3626144B2 (ja) 2002-03-01 2005-03-02 株式会社セルシス 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム
EP1506745A1 (de) * 2003-08-15 2005-02-16 Jeanette Mörmann Rohling und Verfahren zur Herstellung einer Zahnrestauration
EP1524622A1 (de) * 2003-10-17 2005-04-20 Koninklijke Philips Electronics N.V. Verfahren und Anordnung zur Analyse eines Objektkonturbildes, Verfahren und Anordnung zur Objekterkennung, Anordnung zur industriellen Bildverarbeitung, intelligente Kamera, Bildanzeige, Sicherheitssystem und Computerprogrammprodukt
US20070165243A1 (en) * 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7986321B2 (en) * 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
DE112009000093T5 (de) 2008-01-04 2010-12-09 3M Innovative Properties Co., St. Paul Hierarchische Verarbeitung unter Nutzung von Bildverformung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007079805A1 (de) * 2006-01-08 2007-07-19 Hermann Tropf Erstellung eines abstandsbildes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Three-Dimensional Computer Vision", 1 January 1999, MIT PRESS, article OLIVIER FAUGERAS, pages: 189 - 194, XP055171782 *

Also Published As

Publication number Publication date
US20120218389A1 (en) 2012-08-30
BR112012008009A2 (pt) 2019-09-24
WO2011041812A1 (de) 2011-04-14
US9050158B2 (en) 2015-06-09
EP2486542A1 (de) 2012-08-15
JP2013507601A (ja) 2013-03-04
JP5328985B2 (ja) 2013-10-30
KR101395234B1 (ko) 2014-05-15
AT508563B1 (de) 2011-02-15
KR20120081185A (ko) 2012-07-18
AT508563A4 (de) 2011-02-15

Similar Documents

Publication Publication Date Title
EP2486542B1 (de) Verfahren zur aufnahme dreidimensionaler abbilder
EP2212646B1 (de) Verfahren zur optischen vermessung von objekten unter verwendung eines triangulationsverfahrens
DE102012112322B4 (de) Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE102015011914B4 (de) Konturlinienmessvorrichtung und Robotersystem
DE102012108567B4 (de) Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
DE19536297C2 (de) Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten und Vorrichtung hierzu
EP3195256B1 (de) Verfahren und vorrichtung zum identifizieren von strukturelementen eines projizierten strukturmusters in kamerabildern
EP2728374B1 (de) Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
EP2886043A1 (de) Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
DE102007060263A1 (de) Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE102007054906A1 (de) Verfahren zur optischen Vermessung der dreidimensionalen Geometrie von Objekten
DE102016002398A1 (de) Optischer 3D-Sensor zur schnellen und dichten Formerfassung
WO2004076970A1 (de) Verfahren und optisches system zur vermessung der topographie eines messobjekts
DE10137241A1 (de) Registrierung von Tiefenbildern mittels optisch projizierter Marken
DE112010005008T5 (de) System und Verfahren zur Laufzeitbestimmung von Kamerafehlkalibrierung
DE102008031942A1 (de) Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts
DE19525561C2 (de) 3D-Meßvorrichtung
EP3775767B1 (de) Verfahren und system zur vermessung eines objekts mittels stereoskopie
EP2026034B1 (de) Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE4143193A1 (de) System zur mathematischen erfassung dreidimensionaler oberflaechen
WO2017017103A1 (de) System zur stereoskopischen darstellung von aufnahmen eines endoskops
EP3985608B1 (de) Computer-implementiertes verfahren zur erstellung von mehrdimensionalen gegenstands-datenstrukturen
DE102012100848A1 (de) System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
DE102015209284A1 (de) Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung
WO2021016644A1 (de) Verfahren zur erstellung dreidimensionaler abbilder von kavitäten

Legal Events

Date Code Title Description
TPAC Observations filed by third parties

Free format text: ORIGINAL CODE: EPIDOSNTIPA

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120507

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20130806

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502010015137

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06T0007000000

Ipc: G06T0007800000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: A61C 19/04 20060101ALI20180112BHEP

Ipc: G06T 7/521 20170101ALI20180112BHEP

Ipc: G06T 7/80 20170101AFI20180112BHEP

Ipc: G06T 7/593 20170101ALI20180112BHEP

INTG Intention to grant announced

Effective date: 20180205

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1015311

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180715

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502010015137

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180704

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181104

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181004

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181004

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181005

REG Reference to a national code

Ref country code: CH

Ref legal event code: PK

Free format text: BERICHTIGUNGEN

RIC2 Information provided on ipc code assigned after grant

Ipc: G06T 7/593 20170101ALI20180112BHEP

Ipc: G06T 7/521 20170101ALI20180112BHEP

Ipc: G06T 7/80 20170101AFI20180112BHEP

Ipc: A61C 19/04 20060101ALI20180112BHEP

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502010015137

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20190405

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20181031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181006

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181031

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181031

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181031

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181006

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1015311

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181006

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20101006

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180704

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180704

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 502010015137

Country of ref document: DE

Representative=s name: MUELLER, THOMAS, DIPL.-ING., DE

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20201022

Year of fee payment: 11

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20211006

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211006

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20231020

Year of fee payment: 14