DE10114760A1 - Verfahren und System zur Erfassung und Darstellung dreidimensionaler Objekte - Google Patents

Abstract

Es wird ein Verfahren und ein System zur Erfassung und Darstellung dreidimensionaler Objekte (14) vorgestellt. Bei dem Verfahren wird, mit mindestens einer Kamera (12) wenigstens ein Bild von einem zu erfassenden Objekt (14) aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen, wobei zweidimensionale Bilddaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem Aufnahmezeitpunkt ein Bilddatensatz erhalten wird. Das Objekt (14) wird in wenigstens einem Bilddatensatz auf geeignet Weise von dem Hintergrund freigeschnitten, für mindestens einen Bilddatensatz wird eine Tiefeninformation bezüglich des Objekts (14) wiedergebende Tiefenmaske ermittelt und mindestens ein Bilddatensatz wird in Verbindung mit der dazugehörigen Tiefenmaske dargestellt.

Description

Die Erfindung betrifft ein Verfahren und ein System zur Er­ fassung und Darstellung dreidimensionaler Objekte.

Im Stand der Technik ist es bekannt, zum bildhaften Erfas­ sen dreidimensionaler Objekte und der Erzeugung eines drei­ dimensionalen Bilddatensatzes mittels im allgemeinen minde­ stens zweier Kameras eine Abstandsmessung zu dem zu erfas­ senden Objekt durchzuführen und eine "Punktewolke", d. h. eine Vielzahl von Koordinatenpunkten mit zugeordneter Bild­ information, die die Oberfläche des zu erfassenden Objektes darstellen, zu erzeugen. In einem weiteren Schritt werden die ermittelten Punkte mittels eines aufwendigen Rechenver­ fahrens zu Flächen verknüpft, die die Oberfläche des Objek­ tes topologisch beschreiben. Das Ergebnis ist ein 3D-Poly­ gondatensatz des erfaßten Objekts.

Aus der US-PS 5 818 959 ist ein Verfahren zum Erstellen ei­ nes dreidimensionalen Bildes aus mindestens zweidimensiona­ len Bildern bekannt, bei dem ein dreidimensionales Objekt von mindestens zwei horizontal um das Objekt angeordneten Kameras aufgenommen wird. Während der Aufnahme wird das dreidimensionale Objekt mit einem Streifenmuster bestrahlt. Ein erstes der aufgenommenen zweidimensionalen Bilder wird als Referenzbild, ein weiteres Bild als sogenanntes zweites Bild ausgewählt. Auf der Grundlage dieser beiden aus leicht unterschiedlichen Standorten aufgenommenen Bildern wird nach dem sogenannten Binokularprinzip ein dreidimensionales Bild errechnet, wozu der Raum, in dem sich das Objekt be­ findet, in sogenannte Voxels unterteilt wird und die Werte eines jeden Voxels in jedem der beiden zweidimensionalen Bilder miteinander verglichen werden. Eine Identifizierung gleicher Voxels wird durch das eingestrahlte Streifenmuster erzielt. Zur Minimierung des Rechenaufwandes und Umgehung des sogenannten Hintergrundproblems werden zur Überprüfung von Oberflächenpunkten des Objekts weiter entfernt liegende Kameras benutzt.

Aus der US-PS 4 982 438 ist ein Verfahren zum Erkennen der dreidimensionalen Form eines Objektes bekannt, bei dem das aufzunehmende Objekt von vier insbesondere jeweils senk­ recht zueinander angeordneten Kamerapaaren umgeben ist, die in einer horizontalen Ebene angeordnet sind. Die Kamerapaa­ re nehmen jeweils ein binokulares Bild des Objekts auf. Auf der Grundlage dieser Bilder wird die dreidimensionale Form des Objekts berechnet, indem die binokulare Rechenmethode mit der sogenannten Kegel-Silhouettenmethode (Cone-Sil­ houetting Method) kombiniert wird.

Aus der EP 0 631 250 A2 ist ein weiteres Verfahren zur Nachbildung dreidimensionaler Objekte bekannt. Bei diesem Verfahren sind mehrere an unterschiedlichen Positionen auf­ gestellte Kameras vorgesehen, die beweglich angeordnet sind und/oder zur Aufnahme eines bewegten Objekts geeignet sind. Ähnlich wie bei den bereits beschriebenen Verfahren wird eine Kamera als Referenzkamera ausgewählt und es werden im Verhältnis zu dem von dieser Kamera aufgenommenen Bild in den von den anderen Kameras aufgenommenen Bildern überein­ stimmende Punkte gesucht, die als Grundlage für die Berech­ nung der Voxel-Inhalte dienen.

Aus der US-PS 4 825 393, US-PS 5 432 712, US-PS 5 577 130, US-PS 5 561 526 und US-PS 4 654 872 sind jeweils Verfahren zum Ausmessen dreidimensionaler Gegenstände bzw. zur Ab­ standsmessung bekannt, die auf von der Binokularmethode ausgehenden komplexen Berechnungen beruhen.

Die Firma Kaidan, Feasterville, Pennsylvania, USA, bietet unter der Bezeichnung Meridian C-60 ein Fotografiergerüst an, das eine im wesentlichen C-förmige Schiene umfaßt, ent­ lang deren Innenseite eine Kamera verfahrbar angeordnet ist. Das zu fotografierende Objekt wird auf einem Drehtel­ ler derart angeordnet, daß die entlang der Schiene verfahr­ bare Kamera in vertikaler Richtung um das Objekt verstell­ bar ist.

Bei den bekannten Systemen und Verfahren ist nachteilig, daß sie aufgrund der notwendigen komplexen Berechnungsme­ thoden zur Erstellung der dreidimensionalen Polygondaten­ sätze Datenverarbeitungsanlagen mit sehr großer Rechnerlei­ stung benötigen. Ein weiterer Nachteil ist, daß nicht nur zur Berechnung der Polygondatensätze sondern auch auf Sei­ ten des Nutzers große Rechnerleistungen erforderlich sind, um die empfangenen Daten verarbeiten und erfaßte Objekte darstellen zu können.

Demgegenüber wird ein Verfahren mit den Merkmalen des An­ spruchs 1 und ein System mit den Merkmalen des Anspruchs 19 vorgeschlagen. Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen.

Bei dem erfindungsgemäßen Verfahren zur Erfassung und Dar­ stellung dreidimensionaler Objekte wird das zu erfassende Objekt mit mindestens einer Kamera aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt zu mindestens einem Aufnahmezeitpunkt aufgenommen, wobei zwei­ dimensionale Bilddaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem Aufnahme­ zeitpunkt ein Bilddatensatz erhalten wird. Das Objekt wird in wenigstens einem Bilddatensatz auf geeignete Weise von dem Hintergrund freigeschnitten. Für mindestens einen Bild­ datensatz wird eine Tiefeninformationen bezüglich des Ob­ jektes wiedergebende Tiefenmaske ermittelt. Abschließend wird das Objekt mittels mindestens eines Bilddatensatzes mit der dazugehörigen Tiefenmaske dargestellt.

Der aufgenommene Bilddatensatz bzw. die aufgenommenen Bild­ datensätze können mit den dazugehörigen Tiefenmasken direkt an eine Wiedergabeneinrichtung zur Darstellung übertragen werden. So können Ereignisse direkt übertragen und darge­ stellt werden.

Im Gegensatz dazu ist es jedoch auch möglich, die erhalte­ nen Bilddatensätze mit den dazugehörigen Tiefenmasken auf einem Aufzeichnungsträger aufzuzeichnen.

Bei dem erfindungsgemäßen Verfahren wird somit nicht wie bei bekannten Verfahren ein dreidimensionales Modell des Objekts berechnet und zur Darstellung verwendet. Zur Dar­ stellung dienen die aufgenommenen zweidimensionalen Bild­ datensätze mit den entsprechenden Tiefenmasken. Es findet lediglich eine Speicherung zweidimensionaler Daten statt, denen jeweils Informationen zur Tiefe des Objekts in diesem Bilddatensatz zugeordnet sind, anstatt aus einer Fülle auf­ genommener zweidimensionaler Daten einen dreidimensionalen Objektdatensatz zu berechnen.

Bereits ein einziger Bilddatensatz mit zugehöriger Tiefen­ maske erlaubt es dem Betrachter, das dargestellte Objekt um 15 bis 30 Grad zu drehen und dabei eine räumliche Darstel­ lung des Objekts betrachten zu können.

Vorzugsweise wird, wenn ein bewegtes Objekt zu aufeinander­ folgenden Aufnahmezeitpunkten aufgenommen wird, bei jedem Bilddatensatz immer nur die Informationen weitergegeben, die dem zuvorerhaltenen Bilddatensatz nicht zu entnehmen sind. Dies führt zu einer erheblichen Verringerung des Da­ tenaufkommens. Zweckmäßigerweise werden jedoch in regelmä­ ßigen Abständen immer wieder sämtliche Informationen über­ tragen.

Bei dem erfindungsgemäßen Verfahren zur Erfassung dreidi­ mensionaler Objekte wird das zu erfassende Objekt mit min­ destens einer Kamera aus mindestens einer Aufnahmerichtung relativ zu dem zu erfassenden Objekt zu mindestens einem Aufnahmezeitpunkt aufgenommen, wobei zweidimensionale Bild­ daten jeder Aufnahmerichtung zu jedem Aufnahmezeitpunkt aufgenommen werden, so daß für jede Aufnahmerichtung ein Bilddatensatz erhalten wird. Das Objekt wird in wenigstens einem Bilddatensatz auf geeignete Weise von dem Hintergrund freigeschnitten. Für mindestens einen Bilddatensatz wird eine Tiefenmaske ermittelt, die Tiefeninformationen bezüg­ lich des Objekt wiedergibt.

Die Tiefenmaske gibt Informationen zu den Tiefen, somit zur räumlichen Anordnung, der Bilddatenpunkte (Pixel) wieder, die im dazugehörigen Bilddatensatz zu erkennen sind. Es wird somit nicht ein dreidimensionales Modell des gesamten Objekts berechnet, sondern die zweidimensionalen Bilddaten­ sätze durch Überziehen der Tiefenmaske mit Tiefeninforma­ tionen verbunden.

In einer Ausführungsform wird das Objekt mittels des Blue­ box-Verfahrens freigeschnitten. Bei diesem ist darauf zu achten, daß der Hintergrund möglichst einheitlich ist, d. h. eine Hintergrundfläche mit im wesentlichen konstantem Farb­ ton im Farbraum vorgesehen ist.

Bei bewegten Objekten kann das Objekt mittels einer Bewe­ gungsanalyse freigeschnitten werden.

Die Tiefenmaske wird vorzugsweise mit dem Silhouetten­ schnittverfahren ermittelt. Eine weitere Möglichkeit zum Ermitteln der Tiefenmaske stellt das Stereoberechnungsver­ fahren dar. Im Gegensatz zum Stereoberechnungsverfahren ist das Silhouettenschnittverfahren weniger aufwendig und mit diesem sind schneller Ergebnisse zu erzielen.

Weiterhin ist es möglich, für ein bewegtes Objekt die Tie­ fenmaske mit dem Bewegungsverfahren zu ermitteln. Auch das Projektionsverfahren, bei dem ein Muster auf das zu erfas­ sende Objekt projiziert wird, eignet sich zur Ermittlung der Tiefenmaske.

Sind mehrere Kameras vorgesehen, wird vorzugsweise eine der Kameras als Steuerkamera bezüglich eines bewegten Objekts ausgerichtet und die anderen Kameras richten sich dann in Abhängigkeit der Ausrichtung der Steuerkamera aus.

Ein erfindungsgemäßes Computerprogramm weist Programmcode­ mittel auf, um alle Schritte des vorstehend beschriebenen Verfahrens durchzuführen. Dieses Computerprogramm wird auf einem Computer oder einer entsprechenden Recheneinheit zur Ausführung gebracht.

Ein erfindungsgemäßes Computerprogrammprodukt weist Pro­ grammcodemittel auf, die auf einem computerlesbaren Daten­ träger gespeichert sind, um das vorstehend beschriebene Verfahren durchzuführen. Die Programmcodemittel sind auf einem computerlesbaren Datenträger gespeichert. Als geeig­ nete Datenträger können EEPROMs und Flashmemories, aber auch CD-ROMs, Disketten oder Festplattenlaufwerke verwendet werden.

Bei dem erfindungsgemäßen Verfahren zur Darstellung dreidi­ mensionaler Objekte wird ein dreidimensionales Objekt mit­ tels mindestens eines Bilddatensatzes mit einer dazugehöri­ gen Tiefenmaske, die Tiefeninformationen bezüglich des Ob­ jekts wiedergibt, dargestellt.

In einer vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird die Darstellung des Objekts mit einer In­ teraktionseinrichtung derart verändert, daß sich die Blick­ richtung bzw. der Blickwinkel auf das Objekt ändert, d. h. die Betrachtungsperspektive wird geändert.

Das erfindungsgemäße System zur Erfassung und Darstellung dreidimensionaler Objekte weist mindestens eine Kamera auf, mit der aus mindestens einer Aufnahmerichtung ein zu erfas­ sendes dreidimensionales Objekt zu mindestens einem Aufnah­ mezeitpunkt aufgenommen werden kann. Des weiteren sind Be­ rechnungsmittel zum Freischneiden des Objekts in wenigstens einem Bilddatensatz und Rechenmittel zum Ermitteln einer Tiefeninformationen bzgl. des Objekts wiedergebenden Tie­ fenmaske für mindestens einen Bilddatensatz vorgesehen. Ei­ ne Wiedergabeeinrichtung dient zum Darstellen des Objekts mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske.

Sind Übertragungsmittel zur direkten Übertragung der Bild­ datensätze vorgesehen, ist eine direkte Übertragung mög­ lich. Die Erfindung kann somit auch bei Live-Übertragungen, wie bspw. Sportereignisse, eingesetzt werden.

In einer anderen Ausgestaltung der Erfindung ist ein Auf­ zeichnungsträger zum Aufzeichnen des mindestens einen Bild­ datensatzes mit der dazugehörigen Tiefenmaske vorgesehen. Für diesen Aufzeichnungsträger wird ebenfalls Schutz be­ gehrt. Der erfindungsgemäße Aufzeichnungsträger dient zur Anwendung in einem erfindungsgemäßen System. Auf dem Auf­ zeichnungsträger ist mindestens ein Bilddatensatz mit einer dazugehörigen Tiefenmaske aufgezeichnet. Die Tiefenmaske gibt Tiefeninformationen bezüglich des darzustellenden Ob­ jekts wieder, unter Berücksichtigung der entsprechenden Aufnahmerichtung. Die Tiefenmaske ist über den Bilddaten­ satz zu ziehen, so daß eine Darstellung des Objekts aus un­ terschiedlichen Blickrichtungen bzw. Perspektiven möglich ist.

Das erfindungsgemäße System zur Erfassung dreidimensionaler Objekte weist mindestens eine Kamera, mit der aus minde­ stens einer Aufnahmerichtung ein zu erfassendes dreidimen­ sionales Objekt zu mindestens einem Ausnahmezeitpunkt auf­ genommen werden kann, Berechnungsmittel zum Freischneiden des Objekts in wenigstens einem Bilddatensatz und Rechen­ mittel zum Ermitteln einer Tiefenmaske, die Tiefeninforma­ tionen bzgl. des Objekts wiedergibt, auf.

In einer bevorzugten Ausführungsform sind mehrere Kameras vorgesehen. Bei dieser Ausführung dient vorzugsweise eine der Kameras als Steuerkamera, die auf ein bewegtes Objekt ausgerichtet werden kann. Die anderen Kameras richten sich dann in Abhängigkeit der Ausrichtung des Steuerkamera aus, so daß von allen Kameras das Objekt zu jedem Zeitpunkt er­ faßt wird.

Das erfindungsgemäße System zur Darstellung eines dreidi­ mensionalen Objekts weist eine Wiedergabeeinrichtung zum Darstellen des Objekts mittels mindestens eines Bilddaten­ satzes mit dazugehöriger Tiefenmaske auf.

Vorzugsweise ist eine Interaktionseinrichtung vorgesehen, mit der Änderungen der Darstellung des Objekts vorgenommen werden können, so daß die Blickrichtung bzw. der Blickwin­ kel auf das dargestellte Objekt verändert werden kann. Der Benutzer kann auf diese Weise die Betrachtungsperspektive vorgeben und je nach Bedarf ändern.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.

Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung dargestellt und wird im folgenden unter Bezugnah­ me auf die Zeichnung näher erläutert.

Fig. 1 zeigt eine bevorzugte Ausführungsform eines er­ findungsgemäßen Systems zur Erfassung dreidimen­ sionaler Objekte in Draufsicht.

Fig. 2 zeigt eine weitere bevorzugte Ausführungsform des erfindungsgemäßen Systems zur Erfassung dreidimensionaler Objekte anhand eines Anwen­ dungsbeispiels.

Fig. 3 zeigt eine bevorzugte Ausführungsform zur Dar­ stellung dreidimensionaler Objekte.

Die Fig. 1 zeigt zur Veranschaulichung des der Erfin­ dung zugrundeliegenden Prinzips eine bevorzugte Ausfüh­ rungsform eines erfindungsgemäßen Systems 10 zur Erfas­ sung eines dreidimensionalen Objekts. Es sind zwölf Ka­ meras 12 dargestellt, die um ein zu erfassendes Objekt 14, in diesem Fall ein Vieleck, in definiertem Abstand angeordnet sind. Weiterhin ist eine Zentraleinheit 16 gezeigt, die über Verbindungsleitungen 18 mit den zwölf Kameras 12 verbunden ist.

Die zwölf Kameras 12 ermöglichen die Aufnahme des Ob­ jekts aus zwölf verschiedenen Aufnahmerichtungen. Er­ scheint dies nicht ausreichend, kann das Objekt 14 zu­ sätzlich noch gedreht werden, um dieses aus einer belie­ bigen Anzahl von Aufnahmerichtungen aufnehmen zu können. Zum Bewegen des Objekts 14 kann zum Beispiel ein Dreh­ teller dienen.

Zur Erfassung des dreidimensionalen Objekts 14 wird die­ ses mit den zwölf Kameras 12 aus zwölf verschieden Auf­ nahmerichtungen aufgenommen. So wird für jede Aufnahme­ richtung ein Bilddatensatz erhalten. Soll ein bewegtes Objekt 14 erfaßt werden, werden zweckmäßigerweise zu mehreren Aufnahmezeitpunkten jeweils zwölf Bilddatensät­ ze aufgenommen.

Jeder Bilddatensatz enthält somit das Objekt aus einer Aufnahmerichtung betrachtet, mit dem entsprechenden Hin­ tergrund. Zunächst wird üblicherweise in jedem Bild­ datensatz das Objekt von seinem Hintergrund freige­ schnitten. Hierzu dienen gängige Verfahren, wie bspw. das Bluebox-Verfahren. Hierfür weist der Hintergrund ei­ nen im wesentlichen konstanten Farbton im Farbraum auf. Mit einer derartigen Hintergrundfläche, die so ausge­ staltet ist, daß sie in jedem von den Kameras aufgenom­ men Bild im wesentlichen den gesamten Bildhintergrund des aufgenommenen Objekts darstellt, ist eine einfache, klare und eindeutige Abgrenzung des Objekts zum Hinter­ grund gewährleistet.

Bei einem bewegten Objekt 14 kann das Freischneiden mit­ tels einer Bewegungsanalyse freigeschnitten werden.

Vorzugsweise wird für jeden Bilddatensatz eine Tiefen­ maske ermittelt. Die Tiefenmaske gibt Informationen zu der Tiefe, und somit zur räumlichen Anordnung, der Bild­ datenpunkte, die im dazugehörigen Bilddatensatz enthal­ ten sind. Es wird kein dreidimensionales Modell des ge­ samten Objekts 14 berechnet, sondern zu den zweidimen­ sionalen Bilddatensätzen Tiefenmasken ermittelt. Zur Darstellung werden die zweidimensionalen Bilddatensätze durch "Überziehen" der Tiefenmasken mit Tiefeninforma­ tionen verbunden.

Die Tiefenmaske kann bspw. mit dem Silhouettenschnitt­ verfahren ermittelt werden. Hierzu werden zweckmäßiger­ weise die Bilddatensätze aller Kameras 12 miteinander verschnitten, und die erhaltenen Tiefenmasken wieder den entsprechenden Bilddatensätzen zugeordnet. Bei dem Sil­ houettenschnittverfahren ist von Vorteil, daß die Tie­ fenmasken verhältnismäßig schnell ermittelt werden kön­ nen. Vorteilhafterweise werden alle Bilddatensätze zur Berechnung der Tiefenmasken herangezogen. Es kann jedoch vorgesehen sein, daß nicht für alle Bilddatensätze, so­ mit nicht für alle Aufnahmerichtungen Tiefenmasken er­ zeugt werden. Die mit Tiefenmasken verbundenen Bild­ datensätze dienen zur Darstellung des erfaßten Objekts.

Tiefenmasken sind typischerweise sogenannte Grauwertbil­ der, in denen unterschiedliche Grautöne verschiedene Tiefen repräsentieren.

Eine weitere Möglichkeit zur Ermittlung der Tiefenmasken stellt das Stereoverfahren dar. Hierfür benötigt man zu­ mindest zwei Kameras 12 oder eine Stereokamera. Da die relative Position der Kameras 12 zu dem Objekt bei die­ sem Verfahren bekannt ist, kann durch Vergleich einzel­ ner Bildpunkte in den aufgenommen Bildern jedem dieser Punkte eine Tiefe zugeordnet werden. Anhand der Tiefen­ informationen können auch Objekte voneinander und vom Hintergrund getrennt werden. So ist es nicht notwendig, das Objekt zunächst freizuschneiden und anschließend die Tiefenmaske zu ermitteln.

Für bewegte Objekte 14 können die Tiefenmasken auch mit dem Bewegungsverfahren ermittelt werden. Bei diesem wer­ den zeitlich aufeinanderfolgende Bilddatensätze mitein­ ander verglichen und aufgrund der Änderung des Orts be­ stimmter Punkte auf deren Tiefe geschlossen. Durch die Beobachtung und Verarbeitung aufeinanderfolgender Bilder können sich bewegende Objekte von sich anders bewegenden oder stillstehenden Objekten (Hintergrund) getrennt wer­ den. Durch eine Geschwindigkeitsanalyse kann eine Tie­ fenmaske erzeugt werden. Auch bei diesem Verfahren ist es nicht notwendig, zuerst das Objekt vor der Ermittlung der Tiefenmaske freizuschneiden.

Ein weiteres Verfahren zur Ermittlung der Tiefenmasken stellt das sogenannte Projektionsverfahren dar. Hierbei wird ein Muster auf ein Objekt projiziert. Da die Geome­ trie des Musters bekannt ist, kann durch dessen Verzer­ rung auf der Objektoberfläche auf die Tiefe der Bild­ punkte des Bilddatensatzes geschlossen werden. Damit das Muster für einen Betrachter nicht zu erkennen ist, ar­ beitet man im nichtsichtbaren Bereich, z. B. im ultravio­ letten oder im infraroten Bereich des Spektrums.

Es ist möglich, nur eines dieser beschriebenen Verfahren zur Erzeugung der Tiefenmaske anzuwenden. In einer vor­ teilhaften Ausgestaltung der Erfindung werden die Ver­ fahren miteinander kombiniert. Das System kann selbstän­ dig entscheiden, welches Verfahren wann anzuwenden ist. Grundsätzlich können die Verfahren beliebig kombiniert werden. So kann bspw. das Objekt 14 mittels einer Bewe­ gungsanalyse freigeschnitten und die Tiefenmasken mit dem Silhouettenschnittverfahren ermittelt werden.

In der in Fig. 1 gezeigten Ausführungsform des erfin­ dungsgemäßen Systems 10 sind die Berechnungsmittel zum Freischneiden des Objekts und die Rechenmittel zum Er­ mitteln der Tiefenmasken in der Zentraleinheit enthal­ ten. Es ist aber auch durchaus denkbar, daß jeder Kamera 12 eine Recheneinheit zugeordnet ist, die die notwendi­ gen Rechenoperationen durchführt.

Bei dem in Fig. 1 gezeigten System 10 sind alle Kameras 12 in einer horizontalen Ebene angeordnet. Es ist aber auch durchaus möglich, die Kameras 12 vertikal versetzt zueinander anzuordnen.

In Fig. 2 ist eine weiter Ausführungsform eines erfin­ dungsgemäßen Systems 20 dargestellt. Das System 20 dient in der gezeigten Darstellung zur Aufnahme eines Fußball­ spiels. Fig. 2 zeigt stark vereinfacht ein Fußballfeld 22, das von einem Seitenstreifen 24 umgeben ist, auf dem acht Kameras 26 angeordnet sind. Eine der Kameras 26 dient als Steuerkamera 28.

In der Darstellung ist auf dem Fußballfeld 22 lediglich ein Fußball 30 dargestellt.

Die Steuerkamera 28 wird dem bewegten Fußball 30 nachge­ führt. Die anderen Kameras 26 richten sich in Abhängig­ keit der Ausrichtung der Steuerkamera 28 aus, so daß al­ le Kameras 26, 28, nämlich die Steuerkamera 28 und die anderen sieben Kameras 26, einen räumlichen Bereich, in dem sich der Fußball 30 befindet, aufnehmen.

Vorzugsweise wird ein Computerprogramm verwendet, das die verschiedenen Kamerazustände und Ausrichtungen aller Kameras 26, 28 zu jedem Zeitpunkt verfügbar macht. Die­ ses Computerprogramm steuert nicht nur die Aufnahmepro­ zesse (Live-Übertragung) sondern auch die Kameras 26, 28 (Zoom, Bewegung und Objektverfolgung) automatisch oder teilautomatisiert.

Die Steuerkamera 28 und die anderen Kameras 26 liefern in regelmäßigen Abständen Bilddatensätze, die das zu be­ obachtende Objekt, in diesem Fall den Fußball 30, aus unterschiedlichen Aufnahmerichtungen zeigen. Diese In­ formationen werden über Datenleitungen 32 zu einer Zen­ traleinheit 34 übertragen. In dieser Zentraleinheit 34 sind Berechnungsmittel und/oder Rechenmittel zum Frei­ schneiden des Fußballs 30 und zum Ermitteln der Tiefen­ masken enthalten. Das ganze System 20 kann aber auch de­ zentral aufgebaut sein, indem jeder der Kameras 26, 28 eine Recheneinheit zugeordnet ist.

Ein besonderer Vorteil des erfindungsgemäßen Systems ist, daß nur eine relativ geringe Datenmenge übertragen werden muß. Die Informationen bezüglich des Hinter­ grunds, wie Tribüne, Fußballfeld usw. werden nur zu Be­ ginn oder in regelmäßigen Abständen erfaßt und verarbei­ tet.

Die Zentraleinheit 34 ist über eine Verbindung 36 mit einem Übertragungsmittel 38 verbunden. Dies ist übli­ cherweise eine Funkeinheit, mit der die erhaltenen Daten zu beliebig vielen Nutzern übertragen werden können. Die Erfindung ermöglicht somit eine Live-Übertragung.

Weiterhin ist ein Aufzeichnungsgerät 40 mit einem darin befindlichen Aufzeichnungsträger 42 vorgesehen. Die er­ haltenen Daten, die sogenannten Datenstreams, d. h. die Bilddatensätze mit zugehörigen Tiefenmasken, können auf dem Aufzeichnungsträger 42 gespeichert werden. Die Da­ tenübertragung von der Zentraleinheit 34 zum Aufzeich­ nungsgerät 40 erfolgt über eine Verbindungsleitung 44.

Die Datenstreams enthalten zweidimensionale Bilddaten, denen jeweils Informationen zur Tiefe des Fußballs 30 in diesem Bilddatensatz zugeordnet sind. Typischerweise sind alle Tiefeninformationen des gesamten Bildes vor­ handen. Das heißt, daß Tiefeninformationen zu allen Ob­ jekten, also auch zu den in der Figur nicht dargestell­ ten Spielern und zum Fußballfeld 22 vorhanden sind. Vor­ zugsweise ist der Umfang bzw. die Dichte der Tiefenin­ formationen abhängig von der Relevanz des zugehörigen Objekts, so daß ein Gradient in der Tiefeninformations­ dichte zu verzeichnen ist.

Um eine weitere Datenreduktion zu erzielen, werden nicht ständig sämtliche Informationen der Bilddatensätze an das Übertragungsmittel 38 übertragen bzw. auf dem Auf­ zeichnungsträger 42 aufgezeichnet. Zunächst werden im sogenannten Keyframe 100% der Daten übertragen bzw. auf­ gezeichnet. Zum nächsten Aufnahmezeitpunkt werden im so­ genannten p-frame bspw. nur 30% der Daten übertragen und anschließend im sogenannten i-frame bspw. lediglich 10%. Bei dieser inkrementellen Methode werden immer nur die Informationen übertragen, die dem Bilddatensatz des vo­ rigen Aufnahmezeitpunkts nicht zu entnehmen sind. In re­ gelmäßigen Abständen werden aber wieder alle Daten über­ tragen, um eine Fehlerkorrektur vornehmen zu können. Dieses Verfahren ist dem m-peg-Verfahren sehr ähnlich und kann sogar wie dieses aufgebaut sein. Da der gesamte Kameraerfassungsraum bekannt ist, wobei zu beachten ist, daß der virtuelle Kameraraum der bewegten Kamera viel größer ist als der des momentanen Ausschnitts, kann der gesamte Kameraerfassungsraum im Vorfeld, also vor Beginn des Spiels, in maximaler Genauigkeit aufgenommen und übertragen werden. Der später aufgenommene Datenstream bzw. Stream wird dann in dieses viel größere Umfeld (virtuelle Bild) eingeblendet. Dies führt zu einer er­ heblichen Datenreduktion bei Live-Sendedaten.

Für eine weitere Fehlerkorrektur empfiehlt es sich, zu etwa einhundert Aufnahmezeitpunkten pro Sekunde Bild­ datensätze zu erstellen und durch eine Mittelwertbildung die aufgetretenen Fehler zu kompensieren. Zu Darstellung bewegter Objekte sind nur etwa 25 Bilddatensätze pro Se­ kunde notwendig.

Als Kameras 26, 28 dienen vorzugsweise CCD-Kameras oder auch CMOS- oder HDRC-Kameras oder jede andere Art digi­ taler Kamera.

Bei einer Fußballübertragung wird in der Regel die Steu­ erkamera 28 von einem Kameramann bedient. Das vorstehend beschriebene System kann vollautomatisch alle anderen Kameras 26 und die erforderlichen Prozesse steuern, um die notwendigen Datenströme zu erzeugen. Die anderen Ka­ meras 26 werden in ihrer Funktion in Abhängigkeit der Steuerkamera 28 nachgeführt.

Bei der Übertragung können virtuelle oder reale Hinter­ gründe verwendet werden. Ein realer Hintergrund kann vor oder nach dem Sportereignis aufgenommen werden. Es kön­ nen bspw. 360 Bilder eines Stadions aufgenommen werden und später die entsprechende Hintergrundaufnahme im Dar­ stellungsprogramm eingeblendet werden. Dies ist vorteil­ haft, da so im Vorfeld der gesamte Kameraerfassungsraum, der viel größer als der des momentanen Ausschnitts ist, in maximaler Genauigkeit aufgenommen werden kann. Der spätere Stream wird dann in dieses zuvor aufgenommene, virtuelle Bild eingeblendet, so daß eine Datenreduktion für Live-Sendedaten erreicht wird.

Fig. 3 zeigt ein erfindungsgemäßes System 50 zur Dar­ stellung dreidimensionaler Objekte. Zu erkennen ist eine Wiedergabeeinrichtung 52, in diesem Fall ein Monitor. Als System zur Darstellung können auch Standardrechner oder Internetboxen (Settop Box) verwendet werden.

Die Wiedergabeeinrichtung 52 ist über Datenleitungen 54 mit einer Empfangseinheit 56 und einem Abspielgerät 58 verbunden. In dem Abspielgerät 58 befindet sich ein Auf­ zeichnungsträger 60. Über die Empfangseinheit 56 oder von dem Aufzeichnungsträger 60 empfängt die Wiedergabe­ einrichtung die darzustellenden Daten. In diesem Fall ist ein Fußball 62 als darzustellendes, dreidimensiona­ les Objekt zu erkennen. Außerdem zeigt die Wiedergabe­ einheit 52 andere Objekte, wie bspw. die Spieler, das Fußballfeld 22 und auch die Tribüne mit den auf dieser sitzenden Zuschauern.

Die Wiedergabeeinheit 52 empfängt die von einem erfin­ dungsgemäßen System zur Erfassung dreidimensionaler Ob­ jekte erfaßten Datenströme bzw. Datenstreams. Jeder Da­ tenstrom enthält eine Abfolge von Bilddatensätzen mit den dazugehörigen Tiefenmasken. Dabei ist das Datenauf­ kommen sehr gering, da die Zusatzinformationen für die Tiefenmasken beispielsweise lediglich 1/5 der Informati­ onsmenge der Bilddatensätze aufweisen.

Die Wiedergabeeinheit 52 ist über eine Steuerleitung 64 mit einer Interaktionseinrichtung 66, in diesem Fall ei­ ne Computermaus 66, verbunden. Diese Maus 66 kann auf einer Unterlage 68 hin- und herbewegt werden. Mit der Maus 66 kann der Nutzer die Blickrichtung auf den Fuß­ ball 62 bestimmen, d. h. er kann bestimmen, von welcher Position aus er das Spiel betrachtet.

Die Maus 66 weist eine erste Maustaste 70 und eine zwei­ te Maustaste 72 auf. Durch Drücken der ersten Maustaste 70 und Bewegen der Maus 66 kann der Nutzer beispielswei­ se die Blickrichtung ändern. Durch Drücken der zweiten Maustaste 72 und Bewegen der Maus 66 kann er sich in ei­ nem auf dem Aufzeichnungsträger 60 gespeicherten Film zeitlich vor- und zurückbewegen. Es können durchaus auch weitere Interaktionsmöglichkeiten, wie bspw. ein Joy­ stick oder ein Tracker, vorgesehen sein. Diese können die Maus 66 ersetzen oder zusätzlich zu der Maus 66 vor­ gesehen sein.

Die Wiedergabeeinrichtung 52 empfängt ankommende Daten­ ströme. Jede Kamera 26, 28 liefert eine Abfolge von Bilddatensätzen, nämlich einen Film, der Zusatzinforma­ tionen (Tiefenmasken, Kameradaten, Kameraposition, Kame­ raorientierung usw.) mit sich führt. Die Filme werden bevorzugt der Wiedergabeeinrichtung 52 synchron als ein­ zelne Datenströme bzw. Datenstreams zugeführt. Die Wie­ dergabeeinrichtung 52 verwaltet die verschiedenen Kame­ ras 26, 28 und kann die jeweiligen Filme der Kameras 26, 28 und die Zusatzinformationen miteinander verbinden.

Die Wiedergabeeinrichtung 52 stellt den Film der einzel­ nen Kameraperspektiven so dar, daß für den Benutzer ein lückenloser Übergang von der einen Kameraperspektive zur nächsten entsteht. Dabei müssen nicht alle zur Verfügung stehenden Filme berechnet oder übertragen werden. Es reicht sogar ein Film für ein begrenztes Ändern der Be­ obachterperspektive. Es können bspw. die Filme dreier Kameras, die jeweils um 120 Grad zueinander versetzt stehen, verwendet werden. Die Zwischenbilder werden in diesem Fall etwas weniger exakt dargestellt. Der über­ tragene Film bzw. die übertragenen Filme werden mit den zur Verfügung stehenden Zusatzinformationen verzerrt.

Dieses Verzerren kann man sich in etwa so vorstellen:
Der ankommende Film einer Kamera wird auf eine Gummiwand projiziert und diese Gummiwand kann durch Zusatzinforma­ tionen verzerrt werden. Der Benutzer steuert durch Be­ dienung der Maus 66 die Verzerrung der Gummiwand und wechselt so von einer Kameraperspektive zur nächsten und hat auch die Möglichkeit, Zwischenpositionen einzuneh­ men.

Der Benutzer kann mit der Maus 66 an der Wiedergabeein­ richtung 52 interaktiv selbst wählen, welche Perspektive er einnehmen will, um den Film zu betrachten. Er kann zu jedem Zeitpunkt eine beliebige Betrachtungsposition ein­ nehmen.

Im Gegensatz zu bekannten Verfahren wird somit nicht ein dreidimensionales Modell eines Objekts berechnet und zur Darstellung verwendet. Bei dem erfindungsgemäßen Verfah­ ren werden die aufgenommenen zweidimensionalen Bilder mit den ermittelten, dazugehörigen Tiefenmasken benutzt, um erfaßte Objekte darzustellen. Der Nutzer benötigt keine Datenverarbeitungsanlage mit hoher Rechenleistung.

Er kann das Objekt ohne komplizierte Berechnungsverfah­ ren darstellen.

Claims (27)

1. Verfahren zur Erfassung und Darstellung dreidimensiona­ ler Objekte (14), bei dem
das zu erfassende Objekt (14) mit mindestens einer Kame­ ra (12, 26) aus mindestens einer Aufnahmerichtung rela­ tiv zu dem zu erfassenden Objekt (14) zu mindestens ei­ nem Aufnahmezeitpunkt aufgenommen wird, wobei zweidimen­ sionale Bilddaten jeder Aufnahmerichtung aufgenommen werden, so daß für jede Aufnahmerichtung zu jedem Auf­ nahmezeitpunkt ein Bilddatensatz erhalten wird,
das Objekt (14) in wenigstens einem Bilddatensatz von dem Hintergrund freigeschnitten wird,
für mindestens einen Bilddatensatz eine Tiefeninforma­ tionen bezüglich des Objekts (14) wiedergebende Tiefen­ maske ermittelt wird, und
das Objekt (14) mittels mindestens eines Bilddatensatzes mit der dazugehörigen Tiefenmaske dargestellt wird.

2. Verfahren nach Anspruch 1, bei dem mindestens ein aufge­ nommener Bilddatensatz mit der dazugehörigen Tiefenmaske direkt an eine Wiedergabeeinrichtung (52) zur Darstellung übertragen wird.

3. Verfahren nach Anspruch 1, bei dem mindestens ein Bild­ datensatz mit der dazugehörigen Tiefenmaske auf einen Auf­ zeichnungsträger (42, 60) aufgezeichnet wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem ein bewegtes Objekt (14) zu aufeinanderfolgenden Aufnahmezeit­ punkten aufgenommen wird und bei jedem Bilddatensatz immer nur die Informationen weitergegeben werden, die dem zu­ vorerhaltenen Bilddatensatz nicht zu entnehmen sind.

5. Verfahren zur Erfassung dreidimensionaler Objekte (14), bei dem
das zu erfassende Objekt (14) mit mindestens einer Kame­ ra (12, 26) aus mindestens einer Aufnahmerichtung rela­ tiv zu dem zu erfassenden Objekt (14) zu mindestens ei­ nem Aufnahmezeitpunkt aufgenommen wird, wobei zweidimen­ sionale Bilddaten jeder Aufnahmerichtung zu jedem Auf­ nahmezeitpunkt aufgenommen werden, so daß für jede Auf­ nahmerichtung ein Bilddatensatz erhalten wird,
das Objekt (14) in wenigstens einem Bilddatensatz von dem Hintergrund freigeschnitten wird,
für mindestens einen Bilddatensatz eine Tiefeninforma­ tionen bezüglich des Objekts (14) wiedergebende Tiefen­ maske ermittelt wird.

6. Verfahren nach Anspruch 5, bei dem das Objekt (14) mit­ tels des Bluebox-Verfahrens freigeschnitten wird.

7. Verfahren nach Anspruch 5, bei dem ein bewegtes Objekt aufgenommen wird und das Objekt (14) mittels einer Bewe­ gungsanalyse freigeschnitten wird.

8. Verfahren nach einem der Ansprüche 5 bis 7, bei dem das Objekt (14) von mehreren Kameras (12, 26) aufgenommen wird.

9. Verfahren nach einem der Ansprüche 5 bis 8, bei dem die Tiefenmaske mit dem Silhouettenschnittverfahren ermittelt wird.

10. Verfahren nach einem der Ansprüche 5 bis 8, bei dem die Tiefenmaske mit dem Stereoberechnungsverfahren ermittelt wird.

11. Verfahren nach einem der Ansprüche 5 bis 8, bei dem ein bewegtes Objekt aufgenommen wird und die Tiefenmaske mit dem Bewegungsverfahren ermittelt wird.

12. Verfahren nach einem der Ansprüche 5 bis 8, bei dem auf das Objekt ein Muster projeziert wird und die Tiefenmaske mit dem Projektionsverfahren ermittelt wird.

13. Verfahren nach Anspruch 12, bei dem das Muster im nichtsichtbaren Wellenlängenbereich liegt.

14. Verfahren nach einem der Ansprüche 5 bis 13, bei dem mehrere Kameras (12, 26) vorgesehen sind und eine der Kame­ ras (12, 26) als Steuerkamera (28) bezüglich eines bewegten Objekts (14) ausgerichtet wird und die anderen Kameras (12, 26) sich in Abhängigkeit der Ausrichtung der Steuerkamera (28) ausrichten.

15. Computerprogramm mit Programmcodemitteln, um alle Schritte des Verfahrens nach Anspruch 14 durchzuführen, wenn das Computerprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.

16. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach Anspruch 14 durchzuführen, wenn das Com­ puterprogramm auf einem Computer oder einer entsprechenden Recheneinheit ausgeführt wird.

17. Verfahren zur Darstellung dreidimensionaler Objekte (14), bei dem ein dreidimensionales Objekt (14) mittels mindestens eines Bilddatensatzes mit einer dazugehörigen Tiefeninformationen bezüglich des Objekts (14) wiedergeben­ den Tiefenmaske dargestellt wird.

18. Verfahren nach Anspruch 17, bei dem die Darstellung des Objekts (14) mit einer Interaktionseinrichtung (66) so ver­ ändert wird, daß sich die Blickrichtung auf das Objekt (14) ändert.

19. System zur Erfassung und Darstellung dreidimensionaler Objekte (14), mit
mindestens einer Kamera (12, 26), mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensio­ nales Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen werden kann,
Berechnungsmitteln zum Freischneiden des Objekts (14) in wenigstens einem Bilddatensatz,
Rechenmitteln zum Ermitteln einer Tiefeninformationen bezüglich des Objekts wiedergebenden Tiefenmaske für mindestens ein Bilddatensatz,
einer Wiedergabeeinrichtung zum Darstellen des Objekts (14) mittels mindestens eines Bilddatensatzes mit dazu­ gehöriger Tiefenmaske.

20. System nach Anspruch 19, bei dem Übertragungsmittel (38) zur direkten Übertragung mindestens eines aufgenomme­ nen Bilddatensatzes mit der dazugehörigen Tiefenmaske an die Wiedergabeeinrichtung (52) vorgesehen sind.

21. System nach Anspruch 19, bei dem ein Aufzeichnungsträ­ ger (42, 60) zum Aufzeichnen des mindestens einen Bild­ datensatzes mit der dazugehörigen Tiefenmaske vorgesehen ist.

22. Aufzeichnungsträger zur Anwendung in einem System nach Anspruch 21, auf dem mindestens ein Bilddatensatz mit einer dazugehörigen Tiefenmaske, die Tiefeninformationen bezüg­ lich eines darzustellenden Objekts (14) wiedergibt, aufge­ zeichnet ist, wobei die Tiefenmaske auf den Bilddatensatz zu ziehen ist, so daß eine Darstellung des Objekts (14) aus unterschiedlichen Blickrichtungen möglich ist.

23. System zur Erfassung dreidimensionaler Objekte (14), mit
mindestens einer Kamera (12, 26), mit der aus mindestens einer Aufnahmerichtung ein zu erfassendes dreidimensio­ nales Objekt (14) zu mindestens einem Aufnahmezeitpunkt aufgenommen werden kann,
Berechnungsmitteln zum Freischneiden des Objekts (14) in wenigstens einem Bilddatensatz,
Rechenmitteln zum Ermitteln einer Tiefeninformationen bezüglich des Objekts (14) wiedergebenden Tiefenmaske für mindestens ein Bilddatensatz.

24. System nach Anspruch 23, bei dem mehrere Kameras (12, 26) vorgesehen sind.

25. System nach Anspruch 24, bei dem eine der Kameras (12, 26) als Steuerkamera (28) dient, die auf ein bewegtes Ob­ jekt (14) ausrichtet werden kann, und die anderen Kameras (12, 26) sich in Abhängigkeit der Ausrichtung der Steuerka­ mera (28) ausrichten.

26. System zur Darstellung eines dreidimensionale Objekts (14), mit einer Wiedergabeeinrichtung (52) zum Darstellen des Objekts (14) mittels mindestens eines Bilddatensatzes mit dazugehöriger Tiefenmaske.

27. System nach Anspruch 26, bei dem eine Interaktionsein­ richtung (66) zur Änderung der Darstellung des Objekts (14) vorgesehen ist, so daß die Blickrichtung auf das darge­ stellte Objekt (14) verändert werden kann.