DE19757773A1

DE19757773A1 - Verfahren zur dreidimensionalen, detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien

Info

Publication number: DE19757773A1
Application number: DE1997157773
Authority: DE
Inventors: Bernward Maehner
Original assignee: Bernward Maehner
Current assignee: MAEHNER, BERNWARD, 82275 EMMERING, DE
Priority date: 1997-12-24
Filing date: 1997-12-24
Publication date: 1999-07-01

Description

Die Erfindung betrifft ein Verfahren zur dreidimensionalen, detaillierten Simulation plasti scher Veränderungen an menschlichen Körperpartien, insbesondere Gesichtern.

In der präoperativen Vorbereitung von kosmetischen Korrekturen werden die ins Auge gefaßten Änderungen üblicherweise durch Retuschieren von Fotomaterial durchgeführt. In den letzten Jahren wurden hierzu auch spezielle Bildverarbeitungsprogramme entwic kelt, die die Simulation von plastischen Veränderungen durch interaktives Verändern von digitalisierten Bildern ermöglichen, wobei die Ergebnisse zum Teil sogar in Echtzeit an gezeigt werden. Solche Bildverarbeitungsprogramme werden auch zur Retuschierung von digitalisierten Fotografien vor deren Veröffentlichung verwendet, um z. B. die abgebildete Person jünger aussehen zu lassen.

Zur dreidimensionalen Digitalisierung von Gesichtern oder des ganzen Körpers gibt es Laserscanning-Systeme. Der namhafteste Hersteller solcher Meßsysteme ist die Fa. Cyberware, 2110 Del Monte Avenue, Monterey California (USA). Sie gibt für ihren La serscanner Typ 3030 RGB eine Digitalisierrate von 50 000 Punkten pro Sekunde an. Der Preis dieses Systems liegt bei etwa 57 000 US-$.

Der in Patentanspruch 1 angegebenen Erfindung liegt das Problem zugrunde, daß eine kostengünstige Simulation plastischer Veränderungen anhand von Bildern oder Fotogra fien nur zweidimensional erfolgen kann, so daß die Auswirkungen bzw. Ergebnisse der Veränderungen nicht von beliebigen Blickwinkeln aus begutachtet werden können, son dern jeweils nur aus der Perspektive, aus der das ursprüngliche Foto gemacht wurde. Der Einsatz eines Laserscanning-Systems ist hingegen mit hohen Kosten verbunden und die erzielbaren Auflösungen sind im Vergleich zu Aufnahmen mit einer normalen Film- oder Videokamera entweder relativ gering oder nur mit sehr langen Aufnahmezeiten zu errei chen. Will man auch nur die einer Standard CCIR-Videokamera entsprechende Auflösung erzielen (768 × 576 = 442 368 Bildpunkte), so muß bei einer Digitalisierrate von 50 000 Punkten pro Sekunde bereits ca. 9 Sekunden lang aufgenommen werden. Während dieser Aufnahmezeit muß die zu vermessende Person in absoluter Ruhe verharren.

Die erfindungsgemäße Aufgabe des neuen Verfahrens besteht darin, die interessierende Karperpartie mit einer sehr hohen Auflösung dreidimensional zu vermessen, die Meßda ten in ein anschauliches dreidimensionales Modell überzuführen und die detailgenaue Si mulation plastischer Veränderungen an diesem dreidimensionalen Modell zu ermöglichen. Das Verfahren soll darüber hinaus die Betrachtung der simulierten Ergebnisse aus unter schiedlichsten Perspektiven, bei verschiedenen Lichtverhältnissen usw. über Computer animation ermöglichen. Ferner soll insbesondere bei der Vorbereitung kosmetischer Kor rekturen, der Chirurg eine dreidimensionale Analyse bezüglich der durchzuführenden plastischen Veränderungen durchführen können.

Das Problem, die dreidimensionale Simulation geometrischer Veränderungen an mensch lichen Körperpartien durchzuführen wird durch das in Patentanspruch 1 aufgeführte Ver fahren gelöst.

Erfindungsgemäß wird die interessierende Körperpartie mittels eines optischen, flächen haft arbeitenden Streifenprojektionsverfahrens in ein oder mehreren Abschnitten vermes sen. Die Verwendung eines solchen Verfahrens ermöglicht die dreidimensionale Former fassung der interessierenden Körperpartie in kurzer Zeit und mit einer sehr hohen Meß punktdichte, so daß auch Details mit sehr guter Auflösung erfaßt werden. Es ist insbe sondere der Einsatz absolut messender Streifenprojektionsverfahren zweckmäßig, die dem Verfahren des codierten Lichtansatzes oder einem davon abgeleiteten Verfahren entsprechen. Der codierte Lichtansatz zeichnet sich nämlich durch eine hohe Robustheit aus, die insbesondere bei den eher als kritisch einzustufenden Reflexionseigenschaften der menschlichen Haut von Vorteil ist.

Aus den Meßpunkten wird erfindungsgemäß mittels Rechnerunterstützung ein dreidi mensionales Modell erzeugt. Diese Modellerzeugung dient dazu, um die zunächst nur als Punktehaufen vorliegenden Meßdaten in eine Beschreibung überzuführen, die einerseits die Darstellung der Meßergebnisse als geschlossene Oberfläche erlaubt und die anderer seits die gezielte Manipulationen der äußeren Form erleichtert.

Im einfachsten Fall wird hierzu ein dreidimensionales Modell der Oberfläche erzeugt, das z. B. aus einem feinmaschigen Netz von Dreieckselementen besteht. Es können aber auch Schalenmodelle oder Volumenmodelle erzeugt werden. Kann die betreffende Körperpar tie nicht auf einmal vermessen werden, so werden mehrere Aufnahmen aus unterschiedli chen Richtungen gemacht, bis die Körperpartie vollständig erfaßt ist. Das dreidimensio nale Modell wird dann aus der Kombination der einzelnen Messungen gewonnen. Erfindungsgemäß erfolgt die Simulation plastischer Veränderungen durch definiertes Ab ändern der geometrischen Form in ausgewählten Bereichen des dreidimensionalen Mo dells mittels Rechnerprogrammen. Die Veränderungen werden im einfachsten Fall inter aktiv durch den Benutzer festgelegt. Es können aber auch Algorithmen wie z. B. Filter funktionen angewendet werden.

Erfindungsgemäß erfolgt gegebenenfalls die Berechnung kontinuierlicher Übergänge ins besondere an den Rändern der plastisch verformten Bereiche durch ein geeignetes Re chenverfahren. Dadurch können die Auswirkungen von Formänderungen, die in bestimm ten Bereichen des Modells durchgeführt werden, auf das Gesamtmodell realistisch nach gebildet werden. Dies ist insbesondere deswegen wichtig, weil bei der Modellierung an einem menschlichen Modell keine schroffen Übergänge oder scharfe Kanten entstehen dürfen, da diese unweigerlich unnatürlich wirken wurden.

Mit der Erfindung ist somit ein Verfahren geschaffen, das es ermöglicht, plastische Ver änderungen dreidimensional zu simulieren. Dabei ist einerseits die Anzahl der gemessenen Oberflächenpunkte so hoch, daß alle Details mit sehr guter Auflösung erfaßt werden, andererseits die Aufnahmezeit zur Erfassung der Meßpunkte so kurz, daß die Messung an lebenden Personen ohne besondere Vorkehrungen durchgeführt werden kann. Im Ergeb nis sind somit Simulationen möglich, die einen absolut realistischen Eindruck der realen Verhältnisse widerspiegeln. Wird die Durchführung der plastischen Veränderungen an dem dreidimensionalen Modell interaktiv durch den Benutzer durchgeführt, so ergibt sich für den Benutzer der große Vorteil, daß jeder Arbeitsschritt in der jeweils günstigsten Ansicht durchgeführt werden kann, da das Modell aus unterschiedlichsten Blickwinkeln betrachtet werden kann.

Zur Erzeugung eines dreidimensionalen Modells aus den Meßdaten wird vorteilhafter weise ein Netz aus finiten Flächenelementen gebildet. Die zur Durchführung der Ver netzung erforderlichen Informationen über die Anordnung der Meßpunkte auf der Ober fläche, insbesondere deren Nachbarschaftsbeziehungen, werden zweckmäßigerweise aus der matrixförmigen Anordnung der den Meßpunkten entsprechenden Bildpunkte auf dem Bildsensor der Kamera gewonnen. Hierbei wird davon ausgegangen, daß benachbarte Bildpunkte auf dem Bildsensor mit hoher Wahrscheinlichkeit auch auf der vermessenen Oberfläche unmittelbar nebeneinander liegen.

Bei einem Modell aus finiten Flächenelementen kann dann zur Berechnung kontinuier licher Übergänge zwischen den Bereichen bekannter und unterschiedlicher Verschiebung die Finite Elemente Methode verwendet werden.

Kann dem Oberflächenmodell ganz oder teilweise eine bestimmte Schichtdicke zugewie sen werden, so kann auf die Formgebung der darunterliegenden Schichten zurückge schlossen werden. So kann beispielsweise bei der Vermessung eines Gesichtes die Form des Nasenbeinrückens oder der Wangenknochen bestimmt werden, und bei einer ge wünschten Änderung der äußeren Form, auf die erforderlichen Formänderungen dieses Knorpels bzw. dieser Knochen geschlossen werden.

Um die Aufnahmezeit so kurz wie möglich zu halten, wird als Lichtmustersequenz vor teilhafterweise eine solche verwendet, die einem der in Patentanmeldung AZ 197 38 179.0-52 offengelegten Verfahren zur Ermittlung absoluter Tiefendaten entspricht, und als Projektionseinrichtung vorteilhafterweise eine solche eingesetzt, die einer der in Pa tentanmeldung AZ 197 49 435.8 offengelegten Einrichtungen entspricht. Werden ferner Personen vermessen, die beispielsweise eine helle Haut aber dunkle Haare besitzen, so ist aufgrund der dadurch hervorgerufenen hohen Schwankungen der Hintergrundintensität in den Abbildungen der aufzunehmenden Lichtmuster auf dem Objekt der Einsatz eines dynamischen Filters gemäß Patentanmeldung AZ 197 38 480.3-52 zweckmäßig. Um die Anschaulichkeit des nach obigem Verfahren erzeugten dreidimensionalen Modells zu verbessern, wird diesem vorteilhafterweise die Originalfarbgebung der aufgenomme nen Körperpartien überlagert. Hierzu ist es notwendig, daß als Meßbildkamera eine Farb kamera eingesetzt wird.

Die Einfärbung des Oberflächenmodells mit den Originalfarben kann des weiteren vorteil hafterweise dazu genutzt werden, um eine Segmentierung der Oberfläche in funktional oder physiologisch trennbare Teilflächen vorzunehmen. So kann beispielsweise bei der Vermessung von Gesichtern eine Aufteilung in Haut, Haare, Lippen, Augen, usw. vorge nommen werden.

Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand von Zeichnungen er läutert.

In den Zeichnungen zeigen:

Fig. 1 Den schematischen Aufbau eines Meßsystems zur dreidimensionalen, optischen Vermessung von Gesichtern

Fig. 2 Die mittels des Systems von Fig. 1 erzeugten Meßdaten eines Gesichtes

Fig. 3 Ein aus den in Fig. 2 dargestellten Meßdaten erzeugtes Oberflächenmodell

Fig. 4 Das in Fig. 3 gezeigte Oberflächenmodell, bei dem im Bereich der Nase Formän derungen durchgeführt wurden

Fig. 5 Das unveränderte Oberflächenmodell aus Fig. 3 aus einer anderen Perspektive

Fig. 6 Das veränderte Oberflächenmodell aus der in Fig. 5 gewählten Perspektive.

Die Fig. 2 bis 4 zeigen die typischen Vorgehensschritte bei der Weiterverarbeitung der mittels des Meßsystems aus Fig. 1 gewonnenen Meßdaten. Die Fig. 5 und 6 sollen die Vorteile des Verfahrens demonstrieren, indem sie die wahlfreien Betrachtungs möglichkeiten der Ergebnisse veranschaulichen.

Die Fig. 1 zeigt den schematischen Aufbau eines Meßsystems zur dreidimensionalen, optischen Vermessung von Gesichtern. Eine Streifenlichtprojektor 1 projiziert Linien muster auf das zu vermessende Gesicht 2 einer Person. Die auf das Gesicht 2 projizierten Linienmuster werden über die beiden Kameras 3 und 4 idealerweise simultan aufgenom men und dem Datenverarbeitungssystem 5 zur Weiterverarbeitung zugeführt. Das Daten verarbeitungssystem 5 kann aus einem Microcomputer mit eingebauter mehrkanaliger Bildeinzugskarte (Framegrabber) bestehen. Das Datenverarbeitungssystem 5 übernimmt ferner die Ansteuerung der Projektionseinrichtung 1, so daß die Projektion der Licht muster und die Aufnahme der Kamerabilder durch die Kameras 3 und 4 in der richtigen zeitlichen Abfolge durchgeführt werden kann. Durch den Einsatz von zwei Kameras, können die linke und die rechte Gesichtshälfte und insbesondere beide Seiten der Nase lückenlos erfaßt werden, ohne daß sich hierzu die Person bewegen muß. Das Datenverar beitungssystem 5 übernimmt ferner die Weiterverarbeitung der Meßdaten.

Die Fig. 2 zeigt die Meßdaten eines Gesichtes, welches mittels des Meßsystems aus Fig. 1 vermessen wurde. Die Meßdaten bestehen zunächst nur aus einem Haufen regellos angeordneter Punkte.

Die Fig. 3 zeigt ein dreidimensionales Oberflächenmodell, welches aus dem in Fig. 1 dargestellten Punktehaufen erzeugt wurde. Durch das erzeugte Netz aus Dreieckselemen ten erhält man eine detailgenaue Beschreibung der vermessenen Oberfläche.

Die Fig. 4 zeigt das in Fig. 3 dargestellte Oberflächenmodell, wobei im Bereich der Nase Veränderungen derart vorgenommen wurden, daß das Nasenbein begradigt und verkürzt wurde. Es sind beide Zustände, nämlich vor und nach der Formänderung darge stellt, so daß die Unterschiede offensichtlich sind.

Die Fig. 5 zeigt das in Fig. 3 abgebildete Oberflächenmodell aus einer anderen Per spektive.

Im Vergleich dazu zeigt die Fig. 6 das im Nasenbereich veränderte Oberflächenmodell aus der in Fig. 5 gewählten Perspektive. Es ist für den Betrachter nun möglich, festzu stellen, wie sich die in Fig. 4 dargestellten Veränderungen aus dieser Perspektive dar stellen.

Claims

1. Verfahren zur detaillierten Simulation plastischer Veränderungen an menschlichen Körperpartien, insbesondere Gesichtern, zur Vorbereitung kosmetischer Korrekturen in der plastischen Chirurgie oder zu Animationszwecken, bei der die betreffende Körper partie dreidimensional vermessen, aus den Meßdaten ein dreidimensionales Modell er zeugt, und dieses Modell manipuliert wird, dadurch gekennzeichnet,
daß eine dreidimensionale Vermessung der interessierenden Körperpartie mittels eines optischen, flächenhaft arbeitenden Streifenprojektionsverfahrens durchgeführt wird,
daß aus den gemessenen Oberflächendaten mittels eines Rechners ein dreidimensionales Modell von der vermessenen Körperpartie erzeugt wird,
daß die Simulation plastischer Veränderungen durch definiertes Abändern der geometri schen Form in ausgewählten Bereichen des dreidimensionalen Modells mittels Rechner programmen erfolgt,
daß gegebenenfalls die Berechnung kontinuierlicher Übergänge insbesondere an den Rän dern der plastisch verformten Bereiche durch ein geeignetes Rechenverfahren erfolgt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die flächenhafte, dreidimensionale, optische Vermessung der interessierenden Kör perpartie mittels des Verfahrens des codierten Lichtansatzes oder eines davon abgeleite ten Verfahrens durchgeführt wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die flächenhafte, dreidimensionale, optische Vermessung der interessierenden Kör perpartie mittels eines der in Patentanmeldung AZ 197 38 179.0-52 offengelegten Ver fahren zur Ermittlung absoluter Tiefendaten durchgeführt wird.

4. Verfahren nach Anspruch 1 bis 3, dadurch gekennzeichnet, daß zur schnellen Projektion und Aufnahme der für die Vermessung erforderlichen Lichtmuster eine solche Einrichtung verwendet wird, die einer der in Patentanmeldung AZ 197 49435.8 offengelegten Einrichtungen entspricht

5. Verfahren nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß zur Beseitigung der Schwankungen der Hintergrundintensität, insbesondere aufgrund ungleichmäßiger Reflexionseigenschaften des zu vermessenden Objekts, ein dynamisches Filterelement entsprechend der Patentanmeldung AZ 197 38 480.3-52 verwendet wird.

6. Verfahren nach Anspruch 1 bis 5, dadurch gekennzeichnet, daß zur Erzeugung des dreidimensionalen Modells aus den gemessenen Oberflächenpunk ten ein Netz aus finiten Flächenelementen gebildet wird.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Bildung und Vernetzung der finiten Flächenelemente unter Ausnutzung der be kannten matrixförmigen Anordnung der Bildpunkte auf dem Bildsensor, aus welchen die Meßpunkte hervorgehen, erfolgt.

8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, daß als Rechenmodell für die Berechnung kontinuierlicher Übergänge zwischen den Be reichen bekannter und unterschiedlicher Verschiebung die Finite Elemente Methode ver wendet wird.

9. Verfahren nach Anspruch 1 bis 8, dadurch gekennzeichnet, daß das erzeugte Oberflächenmodell dazu verwendet wird, um auf die Formgebung unter der Oberfläche liegender Schichten zurückzuschließen.

10. Verfahren nach Anspruch 1 bis 9, dadurch gekennzeichnet, daß als Meßbildkamera zur Aufnahme der Objekte eine Farbkamera verwendet wird und der Oberfläche des erzeugten dreidimensionalen Modells die Echtfarbinformation überla gert wird.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die der Oberfläche des erzeugten dreidimensionalen Modells überlagerte Echtfarbin formation zur Unterstützung der interaktiven oder automatischen Segmentierung des Modells in funktional oder physiologisch trennbare Teilflächen genutzt wird.