Verfahren zur optischen Erfassung der Raumform von Innenraumen sowie eine Anordnung zur Durchführung des Verfahrens Process for the optical detection of the spatial shape of interior spaces and an arrangement for carrying out the process
Die Erfindung betrifft ein Verfahren zur optischen Erfassung der Raumform von Innenräumen sowie eine Anordnung zur Durchfuhrung des Verfahrens.The invention relates to a method for optically detecting the spatial shape of interiors and an arrangement for carrying out the method.
Für die Herstellung von an den menschlichen Körper angepassten Produkten wie Bekleidung, Schuhwerk, orthopädische Artikel wie Orthesen und Prothesen ist es oft erforderlich, die drei-dimensionale Raumform dieses Körpers oder Körperteils zu erfassen. Hierfür sind unterschiedliche optische Abtastverfahren bekannt, von aufwendigen Laser-Triangulationsverfahren bis hin zu Streifenprojektionssystemen. Insbesondere ist ein kostengünstiges photogra metrisches Verfahren bekannt, bei welchem das zu digitalisierende Körperteil mit einem markierten, elastischen Überzug bekleidet, aus verschiedenen, sich überlappenden Aufhahmepositionen mit einer oder mehreren 2D Kameras aufgenommen wird und durch eine automatische photogrammetrische Auswertung dieser Ansichten ein 3D Modell dieses Körperteils ermittelt wird (Robert Massen: Verfahren und Anordnung zur Erfassung der Raumform von Körpern und Körperteilen, EP 0 760 622)For the manufacture of products adapted to the human body such as clothing, footwear, orthopedic articles such as orthoses and prostheses, it is often necessary to record the three-dimensional spatial shape of this body or part of the body. Different optical scanning methods are known for this, from complex laser triangulation methods to fringe projection systems. In particular, an inexpensive photometric method is known, in which the body part to be digitized is covered with a marked, elastic cover, is recorded from different, overlapping recording positions with one or more 2D cameras and, through an automatic photogrammetric evaluation of these views, a 3D model of this body part is determined (Robert Massen: Method and arrangement for determining the spatial shape of bodies and body parts, EP 0 760 622)
Bei der Herstellung von am Körper eng anliegenden Produkten wie Schuhe,When manufacturing tight-fitting products such as shoes,
Handschuhe, Prothesenstümpfe u.a. stimmt die Raumform des Produktes nicht direkt mit der Raumform des Körperteils überein. So ist z.B. der zur Anfertigung eines Maßschuhs benötigte Leisten wesentlich schmäler als der dazu gehörige Fuß, da der mit Hilfe des Leistens gefertigte Schuh den Fuß etwas komprimieren und formen muss. um einen gute Passform zu ergeben.Gloves, prosthetic stumps etc. the spatial shape of the product does not directly match the spatial shape of the body part. For example, the last needed to make a custom shoe is much narrower than the corresponding foot, because the shoe made with the last has to compress and shape the foot somewhat. to make a good fit.
Dieser Unterschied in der Raumform des Leistens zur Raumform des Fußes lässt sich heute noch nicht analytisch berechnen. Ähnlich schwierige Verhältnisse
gelten auch für maßgefertigte Prothesentrichter zur Aufnahme der Gliedstümpfe. Oft erfordern daher diese mit Hilfe von 3D Abtastdaten des Körperteils produzierten Maßanfertigungen trotzdem noch ein aufwendiges, mehrfach wiederholtes Nacharbeiten, um endlich auf die passende Raumform zu kommen.This difference in the spatial shape of the last to the spatial shape of the foot cannot yet be calculated analytically. Similar difficult conditions also apply to custom-made prosthesis funnels for receiving the limb stumps. Therefore, these custom-made products, which are produced with the aid of 3D scan data of the body part, still require time-consuming, repeated repairs in order to finally find the right spatial shape.
Es sind auf der anderen Seite oft solche passenden Produkte bereits vorhanden, z.B. ein bereits eingelaufener und gut passender Schuh, Handschuh, Prothesenteil usw.. Wenn die Raumform dieses Produktes bekannt wäre, hätte der Produzent diejenigen 3D Daten zur Verfügung, mit denen er ein sofort passendes Produkt herstellen könnte. Leider hat es bisher keine funktionierenden und kostengünstigen Verfahren zur optischen 3D Erfassung des Innenraums solcher oft hüllformigen Produkte gegeben. Zwar ist es bekannt, mit 3D Endoskopen Innenräume mit Verfahren der Stereotechnik oder der Streifenprojektion zu digitalisieren; allerdings sind diese Verfahren aufwendig und verlangen eine feste Einspannung von zu digitalisierendem Objekt und den endoskopischen Systemen, um die einzelnen 3D Ansichten zu einem vollständigen Modell vereinigen zu können. Diese Einspannung sowie die Forderung, jeweils die genaue 3- dimensionale Aufhahmeposition des endoskopischen Systems in Bezug auf den Innenraum zu kennen, verteuert und erschwert erheblich die Anwendung dieser Verfahren und stellt sie daher außerhalb der Möglichkeiten eines orthopädischen Fachgeschäftes oder des Schuhhandels.On the other hand, such suitable products are often already available, e.g. an already worn and well fitting shoe, glove, prosthesis part, etc. If the spatial shape of this product were known, the producer would have the 3D data available with which he could produce an immediately fitting product. Unfortunately, there have so far been no functioning and cost-effective methods for the optical 3D detection of the interior of such often envelope-shaped products. It is known to digitize interiors with 3D endoscopes using methods of stereo technology or strip projection; However, these methods are complex and require a fixed clamping of the object to be digitized and the endoscopic systems in order to be able to combine the individual 3D views into a complete model. This restraint and the requirement to know the exact 3-dimensional recording position of the endoscopic system in relation to the interior, makes the use of these methods considerably more difficult and more difficult and therefore puts them outside the scope of an orthopedic specialist shop or shoe store.
Es besteht daher ein Bedarf nach einem kostengünstigen und einfachen System zur Erfassung der Raumform von Innenräumen von Produkten, insbesondere von solchen , welche an die Form eines Körperteils angepasst sind.There is therefore a need for an inexpensive and simple system for detecting the spatial shape of interior spaces of products, in particular those which are adapted to the shape of a body part.
Bei dem erfindungsgemäßen Verfahren wird in einem ersten Schritt der zu erfassende Innenraum mit einem dünnen, eng an die innere Raumform anliegenden Überzug ausgekleidet, welche zum Innenraum hin mit photogrammetrisch auswertbaren Marken versehen ist. In einem zweiten Schritt wird mit Hilfe eines oder mehrerer in den Innenraum eingeführter Bildgeber eine Reihe sich überlappender 2D Aufnahmen des markierten Überzugs angefertigt. In
einem dritten Schritt wird dann mit Hilfe photogrammetrischer Methoden aus diesen Aufnahmen die 3D Raumform des Innenraums ermittelt.In the method according to the invention, in a first step, the interior to be detected is lined with a thin, closely fitting coating which is provided with marks that can be evaluated photogrammetrically towards the interior. In a second step, a series of overlapping 2D images of the marked coating are made with the help of one or more imagers inserted into the interior. In In a third step, the 3D spatial shape of the interior is then determined using photogrammetric methods from these recordings.
Dieses Verfahren wird beispielhaft dargestellt an der Erfassung der innerenThis method is illustrated using the example of capturing the inner one
Raumform von Schuhwerk im Rahmen der Herstellung von gut passenden Schuhen. Diese Beschreibung ist beispielhaft zu verstehen und schränkt dieThree-dimensional shape of footwear as part of the production of well-fitting shoes. This description is to be understood as an example and limits the
Anwendung des Erfindungsgedanken auf die Erfassung der Raumform andererApplication of the inventive idea to the detection of the spatial shape of others
Innenräume, auch solche technischer Natur, in keiner Weise ein.Interiors, even those of a technical nature, in no way.
Eine Anordnung zur Durchführung des Verfahrens ist in den Patentansprüchen angegeben.An arrangement for carrying out the method is specified in the patent claims.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen. In den Zeichnungen zeigen:Further features and advantages of the invention will become apparent from the following description with reference to the accompanying drawings. The drawings show:
Fig. 1 eine schematische Darstellung des Innenraums eines Schuhs mit einer inneren Auskleidung durch einen dünnen, elastischen Überzug, der photogrammetrisch auswertbare Marken aufweist;Figure 1 is a schematic representation of the interior of a shoe with an inner lining by a thin, elastic coating that has marks that can be evaluated photogrammetrically.
Fig. 2 das Einbringen eines Bildgebers in den Innenraum des Schuhs;2 shows the introduction of an imaging device into the interior of the shoe;
Fig. 3 die Bewegung des Bildgebers im Innenraum des Schuhs; und3 shows the movement of the imaging device in the interior of the shoe; and
Fig. 4 eine besondere Ausführungsform eines in den Innenraum des Schuhs eingebrachten Bildgebers.Fig. 4 shows a special embodiment of an imager introduced into the interior of the shoe.
Fig. 1 zeigt beispielhaft, wie der Innenraum eines Schuhs 1 mit einem dünnen eng anliegenden Überzug 2 bekleidet wird, welcher auf der zum Innenraum zeigenden Oberfläche mit photogrammetrisch auswertbaren Marken 3 versehen ist. Dies kann beispielhaft dadurch geschehen, dass ein elastischer, markierter Strumpf so gewendet wird, dass die Markierung auf die Innenseite zu liegen kommt. Die Aussenseite des gewendeten Strumpfes wird mit einem leichten Sprühkleber besprüht . Danach wird der Strumpf z.B. mit Hilfe eines aufblasbaren Ballons oder einer aufblasbaren Hülle in das Schuhinnere geschoben und durch
den aufgeblasenen Ballon an die Innenseite des Schuhs gedrückt und dort mit Hilfe des Klebers an der Innenwand fixiert. Danach wird der Ballon entleert und entfernt Der Schuh ist jetzt im Innern mit einer dünnen Haut ausgekleidet, welche photogrammetrisch auswertbare Marken 3 aufzeigt.1 shows, by way of example, how the interior of a shoe 1 is clad with a thin, tight-fitting cover 2, which is provided with marks 3 that can be evaluated photogrammetrically on the surface facing the interior. This can be done, for example, by turning an elastic, marked stocking so that the marking comes to lie on the inside. The outside of the inverted stocking is sprayed with a light spray adhesive. Then the stocking is pushed into the inside of the shoe, for example with the help of an inflatable balloon or an inflatable sleeve, and through press the inflated balloon against the inside of the shoe and fix it there with the help of the adhesive on the inside wall. The balloon is then emptied and removed. The inside of the shoe is now lined with a thin skin, which shows marks 3 that can be evaluated photogrammetrically.
Der markierte Strumpf kann ebenfalls dadurch in das Schuhinnere gebracht werden, dass der Fuß des Schuhbesitzers mit dem gewendeten Strumpf bekleidet wird, von aussen mit einem Sprühkleber belegt wird und dann der Schuh angezogen wird. Sobald der Sprühkleber haftet, wird der nackte Fuss aus dem Strumpf Schuh heraus gezogen. Falls erforderlich kann der Fuss vorher mit einem Gleitmittel versehen werden, damit er besser aus dem Strumpf schlüpft. Dies sind nur zwei beispielhafte Auslegungen, um einen Innenraum mit einer dünnen, photogrammetrisch markierten Hülle zu bekleiden.The marked stocking can also be brought into the inside of the shoe by covering the foot of the shoe owner with the turned-over stocking, covering it with spray adhesive from the outside and then putting on the shoe. As soon as the spray adhesive sticks, the bare foot is pulled out of the stocking shoe. If necessary, the foot can be lubricated beforehand so that it slips better out of the stocking. These are just two exemplary designs for covering an interior with a thin, photogrammetrically marked cover.
Fig. 2 verdeutlicht den zweiten Verfahrensschritt. Es wird eine Miniaturkamera 4 in den ausgekleideten Schuh 1 eingeführt, und aus beliebigen Raumpositionen wird eine Anzahl sich überlappender Bilder erstellt, welche den gesamten oder auch nur den interessierenden Teil des Innenraums abdecken. Die genaue Raumposition und Orientierung der Kamera braucht dabei nicht bekannt zu sein. Bei einer vorteilhaften Ausführung der Erfindung wird die Miniaturkamera durch mehrere gefederte Abstandshalter 5, die hier als Rollen ausgebildet sind, in etwa zentrisch geführt und per Hand von der Aufhahmeposition in der Schuhspitze bis in den Schuhschaft anhand eines flexiblen Kabels 6 herausgezogen, während sich überlappende Aufnahmen der Innenwand erstellt werden.2 illustrates the second process step. A miniature camera 4 is inserted into the lined shoe 1, and a number of overlapping images are created from any position in the room, which cover all or only the part of the interior that is of interest. The exact spatial position and orientation of the camera need not be known. In an advantageous embodiment of the invention, the miniature camera is guided approximately centrally by several spring-loaded spacers 5, which are designed here as rollers, and pulled out by hand from the pick-up position in the tip of the shoe to the shoe upper using a flexible cable 6, while overlapping recordings the inner wall.
Die Kamera kann automatisch oder manuell über durch das Führungskabel laufende Steuerungselemente so geneigt und gedreht werden, so dass sich überlappende Aufnahmen des Innenraums erstellt werden .The camera can be tilted and rotated automatically or manually via control elements running through the guide cable, so that overlapping images of the interior are created.
Es ist ein weiterer, in Fig. 3 verdeutlichter Erfindungsgedanke, dass sich hierbei die geneigte Kamera 4 um eine Achse 7 so dreht, dass fortlaufend
streifenfδrmige Panoramaansichten des Innenraums erstellt werden, wobei diese Ansichten sich sowohl radial als auch axial überlappen.It is a further inventive idea, illustrated in FIG. 3, that the inclined camera 4 rotates about an axis 7 in such a way that it continues Strip-shaped panoramic views of the interior are created, these views overlapping both radially and axially.
Ein weiterer Erfindungsgedanke ist es, dass die Kamera eine Videokamera ist, welche fortlaufend Bildsequenzen aus sich überlappenden Einzelansichten erstellt.Another idea of the invention is that the camera is a video camera that continuously creates image sequences from overlapping individual views.
Erfindungsgemäß kann die panoramische Sicht des Innenraums nach Fig. 4 auch dadurch erreicht werden, dass der Innenraum in einem radialen Streifen über einen Kragenspiegel 8 auf den Bildsensor 9 abgebildet wird und dass nach jeder Aufnahme die Einheit Kragenspiegel 8 - Bildsensor 9 so axial verschoben wird, dass sich diese Panoramaaufhahmen axial überlappen.According to the invention, the panoramic view of the interior according to FIG. 4 can also be achieved in that the interior is imaged in a radial stripe via a collar mirror 8 on the image sensor 9 and that after each exposure the collar mirror 8-image sensor 9 unit is displaced axially, that these panoramic shots overlap axially.
Selbstverständlich kann sich der Bildgeber auch ausserhalb des Innenraums befinden. In diesem Fall werden die Aufnahmen des Innenraumes über ein endoskopische System aus lichtleitenden Fasern, Stablinsen oder Spiegel zur Kamera geleitet.Of course, the imager can also be located outside the interior. In this case, the images of the interior are directed to the camera via an endoscopic system made of light-conducting fibers, rod lenses or mirrors.
Im dritten Schritt wird anhand der Sequenz der Bilder des markierten Innenraums mit Hilfe photogrammetrischer Verfahren die 3D Raum des Innenraums berechnet. Solche Verfahren können automatisch ausgeführt werden und sind z.B. in den folgenden Schutzrechten beschrieben:In the third step, the 3D space of the interior is calculated based on the sequence of the images of the marked interior using photogrammetric methods. Such procedures can be carried out automatically and are e.g. described in the following property rights:
Robert Massen, Verfahren und Anordnung zur photogrammetrischen Erfassung der Raumform eines Objektes, PCT/EP01/05935;Robert Massen, method and arrangement for the photogrammetric detection of the spatial shape of an object, PCT / EP01 / 05935;
Robert Massen , Verfahren und Anordnung zur photogrammetrischenRobert Massen, method and arrangement for photogrammetric
Erfassung der Raumform eines Objektes, PCT/EP02/02875.Detection of the spatial shape of an object, PCT / EP02 / 02875.
Das erfindungsgemäße Verfahren gilt für alle Innenräume, welche mit einem eng anliegenden, photogrammetrisch auswertbar markierten Überzug ausgekleidet werden können. Dies können auch Körperöffnungen wie z.B. der Gehörgang sein, um die 3D Form für die Herstellung einer Hörhilfe zu gewinnen.
Der Erfindungsgedanke ist nicht auf biologische Körper beschränkt, sondern kann ebenso auf technische Innenräume, welche entsprechend markiert werden können, angewandt werden.
The method according to the invention applies to all interiors which can be lined with a closely fitting, photogrammetrically evaluable marked cover. These can also be body openings such as the ear canal in order to gain the 3D shape for the production of a hearing aid. The idea of the invention is not limited to biological bodies, but can also be applied to technical interiors that can be marked accordingly.