DE60309710T2 - Topologisches bildermodell - Google Patents

Topologisches bildermodell Download PDF

Info

Publication number
DE60309710T2
DE60309710T2 DE60309710T DE60309710T DE60309710T2 DE 60309710 T2 DE60309710 T2 DE 60309710T2 DE 60309710 T DE60309710 T DE 60309710T DE 60309710 T DE60309710 T DE 60309710T DE 60309710 T2 DE60309710 T2 DE 60309710T2
Authority
DE
Germany
Prior art keywords
copy
edge
cell
dimensional
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60309710T
Other languages
English (en)
Other versions
DE60309710D1 (de
Inventor
W. Cornelius VAN OVERVELD
E. Fabian ERNST
Peter-Andre Redert
P. Rui RODRIGUES
Piotr Wilinski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE60309710D1 publication Critical patent/DE60309710D1/de
Publication of DE60309710T2 publication Critical patent/DE60309710T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes in ein Computermodell des ersten Objektes.
  • Bei einer weiteren Ausführungsform der vorliegenden Erfindung bezieht sich die Erfindung auf ein Kompressionsverfahren zum Transformieren einer Computerdarstellung eines N-dimensionalen Objekts in ein Kompressionsmodell des Objektes.
  • Bei einer anderen weitern Ausführungsform bezieht sich die vorliegende Erfindung auch auf ein Verfahren zum Dekomprimieren eines komprimierten Videosignals zu einer Computerdarstellung eines N-dimensionalen Objektes.
  • Die vorliegende Erfindung bezieht sich ebenfalls auf ein Computerprogramm zum Durchführen eines Verfahrens zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes in ein Computermodell des ersten Objektes.
  • Bei er weiteren Ausführungsform bezieht sich die vorliegende Erfindung auf ein Computerprogramm zum Durchführen eines Kompressionsverfahrens zum Transformieren einer Computerdarstellung eis N-dimensionalen Objektes in ein Kompressionsmodell des Objektes.
  • Bei einer weiteren Ausführungsform bezieht sich die vorliegende Erfindung auch auf ein Computerprogramm zum Durchführen eines Verfahrens zum Dekomprimieren eines komprimierten Videosignals zu einer Computerdarstellung eines N-dimensionalen Objektes.
  • Die vorliegende Erfindung bezieht sich auch auf ein Gerät zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes in ein Computermodell des ersten Objektes, wobei das Gerät die nachfolgenden Elemente aufweist:
    • – Erfassungsmittel zum Erfassen der Computerdarstellung des ersten Objektes;
    • – Verarbeitungsmittel zum Transformieren der Computerdarstellung des ersten Objektes; und
    • – Ausgangsmittel zum Ausliefern des Computermodells.
  • Bei einer weiteren Ausführungsform bezieht sich die vorliegende Erfindung auf ein Video-Dekompressionsgerät zum Dekomprimieren eines komprimierten Videosignals zu einer Computerdarstellung eines N-dimensionalen Objektes, wobei das Video- Dekompressionsgerät die nachfolgenden Elemente umfasst:
    • – Erfassungsmittel zum Erfassen des komprimierten Videosignals;
    • – Verarbeitungsmittel zum Erzeugen der Computerdarstellung auf Basis des komprimierten Videosignals, und
    • – Ausgangsmittel zum Ausliefern der Computerdarstellung.
  • Die vorliegende Erfindung bezieht sich auch auf ein mit Hilfe des Computers auslesbaren Mediums mit einer Datenstruktur mit einem zellularen Raum zum Darstellen eines digitalisierte N-dimensionalen Objektes.
  • Ein Verfahren zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes ist aus dem Buch von M. Ghanbari mit dem Titel: "Video Coding, an introduction to standard codes", "The Institution of Electrical Engineers", 1999, ISBN 0 85296 762, Seiten 46–48 bekannt.
  • In dieser Ausführungsform ist die Computerdarstellung eine digitalisierte Darstellung eines Satzes von zweidimensionalen Bildern, die Aufzeichnungen von dreidimensionalen Objekten in einem Raum darstellen, aufgezeichnet durch Projektion in der Bildebene einer Kamera, zu unterschiedlichen Zeitpunkten. Die Bilder bestehen aus einer Matrix von Pixelstellen, denen Grauwerte zugeordnet worden sind.
  • In den meisten Applikationen des bekannten Verfahrens, wie bei einer digitalen Fernsehübertragung oder -aufzeichnung auf einer DVD-Disk, werden feste Blöcke mit Pixeln in ein Computermodell transformiert, und zwar entsprechend einem kleinen adaptiven Muster. Ein Beispiel einer Applikation ist eine Aufzeichnung auf einer DVD-Disk, wobei der MPEG2-Standard angewandt wird, wobei das Computermodell u. a. diskrete Kosinuskoeffizienten (DCT) aufweist, berechnet für im voraus feste Blöcke mit Pixeln. Eine andere Applikation des bekannten Systems ist eine Video-Applikation entsprechend dem MPEG4 Standard, der mehr Anpassungsfähigkeit ermöglicht. So können beispielsweise zweidimensionale Objekte auf eine objektbasierte Art und Weise in MPEG4 codiert werden. Der MPEG4 Standard erlaubt auch, ein dreidimensionales Modell eines menschlichen Gesichtes, animiert in Bezug auf die Zeit, als ein Kompressionsmodell eines menschlichen Gesichtes in einer Videosequenz. Es ist ein Nachteil der heutigen MPEG4 Kompressionssysteme, dass es kein befriedigendes Verfahren gibt zum automatischen Modellieren von Voxel-Darstellungen von dreidimensionalen Objekten in einem Videowürfel. Eine Voxel-Darstellung stellt ein dreidimensionales Objekt, wie einen Satz von Würfeln elementa rer Abmessungen, die als Voxel bezeichnet werden. Ein Voxel kann definiert werden als eine dreidimensionale geometrische Position, assoziiert mit einer Zahl, die beispielsweise einen Gauwert eines Pixels in einem Videobild angibt. Ein Videowürfel ist ein Würfel von Voxeln, dadurch gebildet, dass eine Anzahl Videobilder, die in der Zeit aufeinander folgen, hintereinander gesetzt werden.
  • Zellulare Modelle sind aus einem Artikel mit dem Titel: "A cellular model for multi-objects multi-dimensional homotopic deformations" von Yann Cointepas u. a. bekannt, veröffentlicht in "Pattern recognition" 34 (2001) Sein 1785–1798. Dieser Artikel beschreibt ein zellulares Modell in Termen eines Triplets (E, V, P). Darin ist E ein Satz mit Zellen, die Voxeln, Gesichtern von Voxeln, Schnittlinien zwischen den Gesichtern und Schnittpunkten zwischen den Gesichtern entsprechen. V ist eine Satzverbindbarkeitsbeziehung, d.h. ein Satz mit Rändern zwischen den Zellen, der ausdrückt, welche Gesichter Gesichter von welchen Voxeln sind usw. P ist eine von einem modellierten Objekt abhängige Aufteilung der Graphik, definiert durch die Zellen und Ränder, wobei angegeben wird, welche Zellen zu dem Objekt gehören. Dieser Typ eines zellularen Modells liefert keine Information über den Unterschied zwischen inhärenten Objekträndern und Rändern in einem Bild, das durch Verstopfung von Objekten in einem Bild entsteht.
  • Es ist nun, u. a. eine Aufgabe der Applikation, ein Transformationsverfahren zu schaffen zum Modellieren von N-dimensionalen Objekten mit Hilfe eines benutzerfreundlichen Computermodells.
  • Es ist u. a. eine zweite Aufgabe der Applikation, ein effizientes Verfahren zum Komprimieren eines N-dimensionalen Objektes zu schaffen.
  • Es ist u. a. eine dritte Aufgabe der Applikation ein Verfahren zum Dekomprimieren eines effizient komprimierten Videosignals zu schaffen.
  • Es ist u. a. eine vierte Aufgabe der Applikation, ein Verfahren zum Transformieren eines ersten zellularen Raummodells in ein zweites zellulares Raummodell zu transformieren, so dass Transformationen der assoziierten N-dimensionalen Objekte auf effiziente Art und Weise modelliert werden können.
  • Es ist u. a. eine fünfte Aufgabe der Applikation, ein Computerprogramm zum Durchführen des Transformationsverfahrens zu schaffen.
  • Es ist u. a. eine sechste Aufgabe der Applikation, ein Computerprogramm zum Durchführen des Kompressionsverfahrens zu schaffen.
  • Es ist u. a. eine siebente Aufgabe der Applikation, ein Computerprogramm zum Durchführen des Dekompressionsverfahrens zu schaffen.
  • Es ist u. a. eine achte Aufgabe der Applikation ein Gerät zum Durchführen des Transformationsverfahrens zu schaff.
  • Es ist u. a. eine neunte Aufgabe der Applikation, ein Gerät zum Durchführen des Dekompressionsverfahrens zu schaffen.
  • Es ist u. a. eine zehnte Aufgabe der Applikation, eine auf einfache Art und Weise zu verarbeitende Datendarstellung zum Darstellen eines N-dimensionalen Objektes zu schaffen.
  • Die erste Aufgabe wird durch das Verfahren nach Anspruch 1 verwirklicht.
  • Ein "Manifold" ist ein mathematischer Name für eine Sammlung von Punkten mit einer Abmessung D. Ein Beispiel eines Manifolds ist eine Fläche. Ein Beispiel einer Fläche in einem Videowürfel ist die Fläche, die aus den Projektionen in aufeinander folgenden Videobildern aufgebaut ist, wie diese von einer Kamera aufgenommen wurden, von der Oberseite beispielsweise eines rechteckigen Objektes. In jedem einzelnen Videobild bildet diese Projektion eine Linie und alle Linien zusammen bilden eine Fläche. Die durch die oberen Seiten eines Objekts gebildete Fläche kann selbstverständlich auch gekrümmt sein. Nebst zwei räumlichen Dimensionen, die mit einem Videobild assoziiert sind, und der Zeitdimension, kann eine dritte räumliche Dimension in einer dreidimensionalen Fernsehapplikation vorhanden sein. Wenn auch eine Skalierungsdimension hinzugefügt wird, ist die Anzahl Dimensionen N gleich fünf. Zusätzliche Dimensionen können hinzugefügt werden um andere Parameter darzustellen, beispielsweise berechnet auf Basis der Struktur eines Objektes.
  • Ein zellularer Raum ist eine spezifische Instanz einer Graphik. Eine Graphik ist ein mathematisches Konzept und besteht aus Zellen und Rändern. Der zellulare Raum wird im Allgemeinen derart aufgebaut, dass eine Zelle jedem Manifold des N-dimensionalen Objektes entspricht, ausgehend von dem N-dimensionalen Manifold, das das Innere des Objekts bildet und über alle niedriger dimensionalen Manifolds an dem Rand des Randes geht, bis einschließlich Manifolds an dem Rand mit Null Dimension, die Punkte sind. Eine spezifische Eigenschaft eines zellularen Raums ist, dass ein Rand zwischen eine erste Zelle entsprechend einem ersten Manifold mit einer Dimension D, und eine zweite Zelle, entsprechend einem zweiten Manifold mit einer niedrigeren Dimension mit einer Dimensi on weniger, D-1, wenn das zweite Manifold sich an der Grenze des ersten Manifolds befindet, eingefügt wird. Alle niedriger-dimensionalen Manifolds an der Grenze eines anderen Objektes werden auf diese Weise explizit mit Hilfe einer Zelle und eines Randes in dem zellularen Raummodell modelliert. Ein Beispiel des Aufbaus einer zellularen Graphik wird anhand der 3 und 4 illustriert. In dem Transformationsverfahren nach der vorliegenden Erfindung wird einem Rand ein Indikator zugefügt, wobei dieser Indikator angibt, ob das zweite Manifold mit der Dimension D-1 an der Grenze eines ersten Manifolds einen Teil des Objektes des ersten Manifolds bildet. Was gemeint wird mit "einen Teil bildend" wird nachstehend anhand der 2 näher erläutert.
  • Es gibt viele Verfahren zum Modellieren N-dimensionaler Objekte in der Computer-Graphiktechnik. Diese Verfahren aber haben eine metrische Art. Ein Beispiel ist ein Octree, worin ein dreidimensionales Objekt in Würfel verschiedener Größen aufgeteilt wird, bis die kleinsten Würfel die unregelmäßige Außenoberfläche mit einer bestimmten Präzision annähern. Andere Modelle modellieren die Oberfläche eines N-dimensionalen Objektes wie beispielsweise einer dreieckigen Masche oder eines Gausschen Unebenheitenmodells. Der zellulare Raum ist aber eine topologische Darstellung des N-dimensionalen Objektes, was eine Angabe der Komponenten ermöglicht, aus denen das Objekt besteht, wobei diese Komponenten nötigenfalls subsidiär modelliert werden können, und zwar mit Hilfe eines metrischen Modells.
  • Es ist vorteilhaft, wenn für eine Computerdarstellung eines zweiten Objektes eine dritte Zelle, die zu einem dritten Manifold gehört, zu dem zellularen Raummodell hinzugefügt wird. Wenn alle Manifolds der beiden Objekte in einem einzigen zellularen Raum dargestellt werden, ist ihre topologische Beziehung bequem und kann auf einfache Art und Weise verarbeitet werden. Zwei aneinander grenzende Manifolds, die zu einer ersten und einer zweiten Zelle gehören, haben ein gemeinsames Grenzmanifold einer niedrigeren Dimension, das zu einer dritten Zelle gehört. Der zellulare Raum hat einen ersten Rand zwischen der dritten und der ersten Zelle und einen zweiten Rand zwischen der dritten und der zweiten Zelle, welche die Grenzbeziehungen des Grenzmanifolds modellieren. Da das Grenzmanifold im Allgemeinen einen Teil nur eines Manifolds bildet, hat der Indikator eines der Ränder den Wert "einen Teil bildend" und der Indikator des anderen Randes hat den Wert "keinen Teil bildend". Mit Hilfe der Information aller Objekte, die den zellularen Raum umfassen, lässt sich auf einfache Art und Weise beispielsweise die zeitliche Entwick lung eines Objektes voraussagen oder diese in eine Computer-Graphikapplikation ändern. Der Indikator liefert Information über die Tatsache, welches der zwei Objekte in einem dreidimensionalen Raum, der von der Kamera in eine Videosequenz eingefangen wurde, das weiter nach hinten liegende Objekt ist.
  • In einer Ausführungsform wird ein dreidimensionaler Videowürfel, der aus zweidimensionalen Bildern besteht, die mit aufeinander folgenden Zeitpunkten assoziiert sind, und hintereinander gestellt sind, in ein erstes Objekt und ein zweites Objekt aufgeteilt, und die Transformation erzeugt eine erste Zelle und eine dritte Zelle, wobei die Dimension des ersten Manifolds und des dritten Manifolds höchstens drei ist.
  • Diese Ausführungsform tritt beispielsweise in zweidimensionaler Fernsehapplikationen auf. Der Vorteil des Verfahrens nach der vorliegenden Erfindung ist, dass geometrische Transformationen von Objekten einfacher rechtzeitig modelliert werden können, und zwar mit Hilfe des zellularen Raummodells. Alle Voxel in dem Videowürfen sind einem Objekt zugeordnet, beispielsweise ein erstes dreidimensionales Raum-Zeitobjekt stellt eine spazierende Person dar, und das zweite Objekt ist die Umgebung der Person mit allen anderen Voxeln. Wenn ein Videowürfel P Bilder aufweist, gewählt aus einer Videosequenz, kann die Person nur beispielsweise in einer Anzahl von P-K Bildern auftreten, oder auf alternative Weise, er kann auch in weiteren Bildern außerhalb des gewählten Videowürfels auftreten. Jedes Objekt in dem Videowürfel wird in demselben zellularen Raummodell modelliert.
  • Es ist auch interessant, wenn die Transformation dem Indikator einen Wert zuordnet, und zwar auf Basis einer Berechnung wenigstens einer geometrischen Eigenschaft, hergeleitet von Werten der Computerdarstellung. Das zellulare Raummodell wird automatisch auf Basis einer Videosequenz aus dem wirklichen Leben. Alle Arten von Eigenschaften von Objekten in der Videosequenz können gemessen werden, damit dem Indikator den richtigen Wert gegeben werden kann, und zwar mit großer Gewissheit mit Hilfe einer oder mehrerer dieser Eigenschaften.
  • In einer Ausführungsform, wobei eine robuste Berechnung des Indikators angewandt wird, ordnet die Transformation dem Indikator einen Wert zu, und zwar auf Basis einer Berechnung einer Änderung gegenüber der Zeit der Oberfläche, eines Schnittes durch das erste Objekt mit einer Fläche eines zweidimensionalen Bildes in dem Videowürfel zu einem bestimmten Zeitpunkt. Im Wesentlichen ändert sich, wenn ein zweidimensio naler Querschnitt durch ein Objekt in einer Videosequenz erschein oder hinter einem anderen Schnitt durch ein Objekt verschwindet, die Anzahl Bilder, die mit den Querschnittsänderungen assoziiert sind, weil einige Pixel des Objekts unsichtbar sind.
  • Die zweite Aufgabe wird dadurch verwirklicht, dass die Transformation ein zellulares Raummodell verwendet. Zusätzlich zu einem zellularen Raummodell wird auch ein Kompressionsmodell erzeugt. Das Kompressionsmodell enthält metrische Information, beispielsweise über die genaue Form des Innern des ersten Objektes. Der Vorteil des Verfahrens nach der vorliegenden Erfindung ist, dass Objekte in dem Videowürfel mit Hilfe eines dreidimensionalen Modells komprimiert werden, während Objekte in dem Stand der Technik von MPEG4 durch Modellierung und durch Kompression nur zweidimensionaler Scherschnitte in verschiedenen Fernsehbildern zweidimensional komprimiert werden. Durch Verwendung eines dreidimensionalen Kompressionsmodells ist der erzielte Kompressionsfaktor mit derselben Bildqualität höher als bei zweidimensionaler Kompression. Auf alternative Weise ist bei einem festen Kompressionsfaktor die Bildqualität in dreidimensionaler Kompression höher als in zweidimensionaler Kompression. Durch das feste Muster der Aufteilung eines Bildes in 16 × 16 Pixelblöcke und durch die zeitliche Vorhersage von Bildern benutzt MPEG2 nicht völlig den dreidimensionalen Charakter von Objekten in dem Videowürfel. Für eine effiziente Kompression muss die Tatsache, dass Objekte verstopft werden, explizit berücksichtigt werden. Verstopfung tritt dann auf, wenn ein erstes Objekt sich hinter ein vorhergehendes zweites Objekt in einem dreidimensionalen Raum verlagert, oder wenn das erste Objekt von hinter dem zweiten Objekt erscheint.
  • Die Patentanmeldung WO-A-00/64148 beschreibt ein Kompressionsverfahren, das auf dem Übereinstimmen von zweidimensionalen Segmenten basiert. Einige in dieser Patentanmeldung beschriebene Techniken können nützlich sein zum Erhalten eines N-dimensionalen Objektes aus einem Videowürfel, erforderlich für das Verfahren nach der vorliegenden Erfindung. Die Patentanmeldung aber benutzt nicht explizit N-dimensionale Objekte, sondern nur zweidimensionale Projektionen davon.
  • Die dritte Aufgabe wird dadurch verwirklicht, dass das Dekompressionsverfahren ein zellulares Raummodell verwendet. Die explizite Codierung von Objekten in einem zellularen Modell ermöglicht eine weitergehende Kompression und Dekompression. Im Wesentlichen wird während der Regeneration von N-dimensionalen Objekten mit Hilfe des zellularen Raummodells berechnet, welche Pixel von Objekten sichtbar sind.
  • Die vierte Aufgabe wird dadurch verwirklicht, dass die erste Anzahl Zellen anders ist als die zweite Anzahl Zellen. Wenn beispielsweise ein erstes N-dimensionales Objekt mit einem zweiten N-dimensionalen Objekt verglichen werden soll, beispielsweise bei einer Suche nach Bildmaterial im Internet, ist es einfach ihre assoziierten zellularen Raummodelle miteinander zu vergleichen. Bevor Zellen und Ränder der beiden zellularen Raummodelle miteinander assoziiert werden, wird es einfach sein, dass zunächst eines der zellularen Raummodelle transformiert wird. So ist beispielsweise ein Dach eines Objektes, das ein Haus darstellt, für die zellularen Raummodelle, die ein Haus modellieren, wie in einer Abfrage spezifiziert, und spitz für ein zweites Haus in einem Bild im Internet. Die Zelle beispielsweise, die das flache Dach darstellt, kann dann für die erste schräge Seite des spitzen Dachs neu verwendet werden und eine zusätzliche Zelle für die zweite schräge Seite hinzufügen. Techniken der gleichen Art sind für Computer-Graphikapplikationen nützlich.
  • Die fünfte Aufgabe wird dadurch erfüllt, dass ein Code vorgesehen wird, der ein Computerprogramm für das Transformationsverfahren umfasst.
  • Die sechste Aufgabe wird dadurch erfüllt, dass ein Code vorgesehen wird, der ein Computerprogramm für das Dekompressionsverfahren umfasst.
  • Die siebente Aufgabe wird dadurch erfüllt, dass ein Code vorgesehen wird, der ein Computerprogramm für das Dekompressionsverfahren umfasst.
  • Die achte Aufgabe wird dadurch erfüllt, dass die Verarbeitungsmittel imstande sind, ein zellulares Raummodell zu erzeugen, wobei eine erste Zelle zu einem ersten Manifold gehört, das eine höhere Dimension hat, die gleich N ist, und wobei eine zweite Zelle zu einem zweiten Manifold gehört, das eine niedrigere Dimension hat, die gleich N-1 ist, und sich an der Grenze des ersten Manifolds befindet, und einen Rand zwischen der ersten Zelle und der zweiten Zelle, und imstande sind, dem Rand einen Indikator zuzuordnen, der angibt, ob das zweite Manifold einen Teil des Randes des ersten Manifolds bildet.
  • Die neunte Aufgabe wird dadurch verwirklicht, dass die verarbeitungsmittel auf ein zellulares Raummodell zugreifen können.
  • Die zehnte Aufgabe wird dadurch erfüllt, dass einem Rand zwischen einer ersten Zelle und einer zweiten Zelle des zellularen Raumes ein Indikator zugeordnet wird, wobei dieser Indikator angibt, ob das zweite Manifold mit einer niedrigeren Dimension einen Teil eines ersten Manifolds mit einer höheren Dimension bildet, wobei das genannte erste und zweite Manifold durch die erste bzw. zweite Zelle dargstellt wird.
  • Das Transformationsverfahren, das Kompressionsverfahren, das Dekompressionsverfahren, das Gerät, das Videodekompressionsgerät und die Datendarstellung nach der vorliegenden Applikation werden nachstehend al Beispiel anhandder Zeichnung näher erläutert.
  • Es zeigen:
  • 1 ein Blockschaltbild eines Verfahrens zum Transformieren der Computerdarstellung eines Objekts in das Computermodell,
  • 2 ein zweidimensionales Bild einer dreidimensionalen Szene,
  • 3 ein einfaches zweidimensionales Objekt zur Erläuterung der Konstruktion eines zellularen Raummodells,
  • 4 das zellulare Raummodell, assoziiert mit dem Objekt aus 3,
  • 5 zwei ineinander greifende ringförmige Objekte,
  • 6 eine vereinfachte Darstellung des zellularen Raummodells, das mit den ringförmigen Objekten aus 5 assoziiert ist,
  • 7 ein Videowürfel mit zwei Objekten,
  • 8 ein Blockdiagramm eines Dekompressionsverfahrens,
  • 9 ein Gerät zum Schaffen eines zellularen Raummodells eines N-dimensionalen Objektes,
  • 10 ein Video-Dekompressionsgerät,
  • 11 ein T-Knotenpunkt zweier Ränder von drei Objekten,
  • 12 eine symbolische Darstellung von Bildern, die zeitsequentiell aufeinander folgen, und
  • 13 ein dreidimensionales Raum-Zeit-Objekt, assoziiert mit dem Kreis aus 12.
  • In den nachfolgenden Figuren sind Teile, die Teilen von Figuren entsprechen, die bereits beschrieben worden sind, durch dieselben Bezugszeichen bezeichnet. Die Bezugszeichen entsprechender Teile eines Objektes und des assoziierten zellularen Raummodells sind um den Wert Hundert verschieden. Gestrichelt dargestellte Teile sind fakultativ. Die Verfahren und die Geräte werden anhand von drei- oder zweidimensionalen Objekten beschrieben um die Grundgedanken besser zu erläutern. Die beschriebenen Verfahrensschritte können auf eine deutliche Art und Weise für höhere Dimensionen mathematisch formuliert werden.
  • Der zweite Schritt des Transformationsverfahrens nach 1 ist die Erfassung der Computerdarstellung, beispielsweise einer Voxel-Darstellung eines N-dimensionalen Objektes. Es ist möglich, dass ein Aufteilungsschritt 3 vor dem Erfassungsschritt durchgeführt wird, wobei in diesem Aufteilungsschritt das Objekt aus einem Videowürfel aufgeteilt wird. Das Aufteilen ist die Zuordnung jedes Pixels in dem Videowürfel zu nur einem einzigen Objekt. Algorithmen zum Aufteilen eines dreidimensionalen Videowürfels können auf einfache Art und Weise aus Algorithmen hergeleitet werden, die in der Literatur für zweidimensionale Bildsegmentierung beschrieben worden sind. Ein möglicher Algorithmus ordnet Würfel von beispielsweise 8 × 8 × 8 Voxeln ein und demselben Segment zu, wenn ein Kriterium angibt, dass sie von derselben Art sind, was eine selektierte Eigenschaft anbelangt. Ein Beispiel einer Eigenschaft ist der mit einem Voxel assoziierte Grauwert. Ein Beispiel eines Kriteriums ist die absolute Differenz G des mit zwei Würfeln von Voxeln assoziierten Histogramms:
    Figure 00100001
  • In der Formel [1] ist i der Index eines Histogrammbehälters, wobei alle Grauwerte in einem Videowürfel in M Behälter aufgeteilt werden. C ist die Anzahl Grauwerte, assoziiert mit einem Behälter i in den Würfeln K1 und K2. Das Volumen V eines Würfels wird als Normalisationskonstante verwendet. Wenn die Differenz G klein ist, gehören die beiden Würfel zu ein und demselben Segment, und zwar entsprechend dem Segmentierungsalgorithmus. In der Literatur sind Verschiedene Kriterien beschrieben, die je verschiedene Eigenschaften, wie Voxel-Grauwert, Voxel-Farbe, Strukturabmessungen, wie Werte, erhalten durch Gabor-Filterung oder Werte von einer gleichzeitig auftretenden Matrix, usw. verwenden können. In der Literatur gibt es auch verschiedene Segmentierungsalgorithmengruppen, beispielsweise kleine Segmente zu größeren Segmenten oder entgegengesetzt, das Aufteilen größerer Segmente in kleinere Segmente.
  • Das Objekt kann bereits modelliert worden sein entsprechend einem bestimmten Modell, beispielsweise einem Octree. Gewünschtenfalls kann das Octree-Modell während des Erfassungsschrittes zu einer Voxel-Darstellung transformiert werden. Auf alternative Weise kann das zellulare Raummodellauf Basis beispielsweise einer dreieckförmigen Madchendarstellung erzeugt werden.
  • Während des Erzeugungsschrittes 5 in 1 wird ein zellularer Raum aus der Voxel-Darstellung aufgebaut. Dies wird anhand der 3 und 4 näher erläutert.
  • 3 zeigt eine einfache zweidimensionale Figur 510 mit einer Fläche 511, die durch einen eindimensionalen kreisförmigen Rand 513 und drei gerade Ränder 514, 515 und 516 begrenzt wird. Ein gerader Rand wird durch zwei Punkte begrenzt, so wird beispielsweise der erste gerade Rand 514 durch den ersten Punkt 520 und den zweiten Punkt 521 begrenzt.
  • 4 zeigt schematisch das zellulare Raummodell 609, das zu der Figur aus 3 gehört. Es gibt eine Zelle 611 mit der Zellendimension zwei, die zu der Fläche 511 gehört. Für alle Rand-Manifolds an dem Rand der Fläche 511, deren Dimension eine niedriger ist als zwei, wird ein Rand zu dem zellularen Raummodell 609 zwischen die Zelle 611 und die Zelle, die dem Rand-Manifold entspricht, eingefügt, beispielsweise dem Rand 612 zwischen der Zelle 611 und der Zelle 613, assoziiert mit einem kreisförmigen Rand 513. Zwischen die Zellen, die mit Manifolds assoziiert sind, die was die Dimension anbelangt, um mehr als eine Dimension verschieden sind, beispielsweise zwischen der Zelle 611 und der Zelle 620 assoziiert mit dem ersten Punkt 520, wird kein Rand hinzugefügt. Allen Rändern wird ein Indikator zugeordnet, wobei zur Deutlichkeit der Figur nur der Indikator 625 dargstellt ist. Dieser Indikator gibt an, ob der kreisförmige Rand 513 einen Teil der Fläche 511 bildet, oder, mit andern Worten, einen Teil der zweidimensionalen Figur 510 bildet, wobei in diesem Fall beispielsweise dem Indikator der Wert Eins zugeordnet wird. Wenn der kreisförmige Rand 513 nicht einen Teil der Fläche 511 bildet, wird dem Indikator beispielsweise der Wert Null zugeordnet.
  • 2 zeigt was gemeint ist mit "einen Teil Bilden von..." und zeigt ein zweidimensionales Bild einer dreidimensionalen Szene in einem Raum, beispielsweise wie von einer Kamera aufgenommen oder wie in einem Computerzeichenprogramm schematisch gezeichnet. Das Objekt 13 befindet sich in dem Raum vor dem Objekt 15. Die Fläche 16 des Objektes 15 wird durch vier gerade Ränder, u. a. einen ersten geraden Rand 17 und einen zweiten geraden Rand 18 begrenzt. Um dem Indikator den richtigen Wert zu geben, der mit dem Rand assoziiert ist zwischen der Zelle, die zu der Fläche 16 gehört, und der Zelle, die zu dem ersten geraden Rand 17 gehört, soll die Frage beantwortet werden, ob der erste gerade Rand 17 einen Teil der Fläche 16 bildet oder ggf. einen Teil des Objektes 15 bildet. Wenn dieses Objekt beispielsweise die Öffnung einer Tür in einer Wand bildet, ist der erste gerade Rand 17 mit der Türöffnung assoziiert. Ein Kriterium dazu ist beispielsweise, dass, wenn die Türöffnung sich in aufeinander folgenden Videobildern verlagert, beispielsweise aufgenommen durch eine schwenkende Kamera, der erste gerade Rand 17 zusammen mit der Türöffnung sich verlagert. Eine Passung beispielsweise einer geraden Linie, beispielsweise durch Anwendung einer Hough-Transformation, an Stellen des Randes 17, gefunden mit Hilfe des Randdetektors, beispielsweise eines Canny-Randdetektors, der mit der gleichen Geschwindigkeit und in derselben Richtung beweget, gleichzeitig mit der Struktur der Türöffnung, beispielsweise, eines Segmentes mit Pixeln über einem bestimmten Grauwert. Wenn eine Tür genügend Strukturinformation hat kann ein Bewegungsschätzer verwendet werden um die Bewegung der Tür zu ermitteln, wie z.B. der Schätzer, der in der Patentanmeldung WO-A-0188852 beschrieben worden ist. Der zweite gerade Rand 18 begrenzt ebenfalls die Fläche 16. Es wird nun vorausgesetzt, dass der zweite gerade Rand 18 den oberen Rand des Objektes 13 bildet und dass der echte Rand des Objektes 15 versteckt ist, beispielsweise hinter dem Objekt 13. Der zweite gerade Rand 18 wird sich dann zusammen mit dem Objekt 13 verlagern, beispielsweise nach links, wenn beispielsweise das Objekt 13 eine Person ist, die nach links geht, und wird nicht zusammen mit dem Objekt 15 bewegen, beispielsweise nach rechts, beispielsweise unter dem Einfluss der Kamerabewegung. Der zweite gerade Rand 18 begrenzt folglich die Fläche 16, bildet aber keinen Teil der Fläche 16, sondern bildet einen Teil des Objektes 13. Eine andere Heuristik kann angewandt werden um durch Verstopfungsanalyse zu definieren, mit welchem Objekt ein Rand assoziiert ist. Eine erste Heuristik definiert beispielsweise: wenn der Querschnitt eines ersten Objektes in aufeinander folgenden Bildern abnimmt oder zunimmt, während der Querschnitt eines zweiten angrenzenden Objektes konstant bleibt, deckt das zweite Objekt das erste ab und die Rand-Manifolds bilden einen Teil des zweiten Objektes.
  • Eine zweite Heuristik ist anhand der 11 dargestellt. An einem T-Knotenpunkt des Randes 301 und des Randes 303 befindet sich das Objekt 305, das mit dem sich fortsetzenden Rand 301 assoziiert ist, vor den Objekten 307 und 309 und der Rand 310 bildet einen Teil des Objektes 305.
  • Eine dritte Heuristik analysiert, mit welcher angrenzenden Struktur ein Rand sich verlagert. Dies kann mit Hilfe eines Bewegungsschätzers effektuiert werden. Zunächst kann ei Strukturanalyse durchgeführt werden, beispielsweise durch Berechnung von Laws-Parametern oder eines Wavelets oder einer Fraktalanalyse der Struktur oder es kann eine Analyse von Struktureinheiten durchgeführt werden. Weiterhin ist es möglich, Segmente mit einer Struktur von demselben Typ aus den Bildern zu isolieren und einen Bewegungsschätzer auf Segmentbasis zu benutzen.
  • Wenn es ein zweites Objekt gibt, beispielsweise das zweite Objekt 204 zusammen mit dem ersten Objekt 203 in dem Video-Würfel 201 aus 7, werden auch Zellen in dem zellularen Raummodell für das zweite Objekt hinzugefügt. So wurden beispielsweise in 6 Zellen 125 und 127 für das Innere 25 eines ersten Ringes 21 und das Innere 27 eines zweiten Ringes 23 aus 5 hinzugefügt. In 6 ist ein Indikator, durch gestrichelte Linien angegeben, mit dem Wert assoziiert, der die Bedeutung hat: "bildet keinen Teil von...". Der Deutlichkeit in 6 halber sind die assoziierten Zellen von nur zwei Punkten dargestellt.
  • Es ist interessant, wenn nicht nur ein zellulares Raummodell 223 der Voxel-Darstellung erzeugt wird, in dem Erzeugungsschritt 5 in 1, sondern es wird auch ein metrisches Modell 222 erzeugt, in dem Modellierungsschritt 6. So kann beispielsweise die zweidimensionale Umhüllende eines dreidimensionalen Objektes metrisch modelliert werden, und zwar mit Hilfe eines Dreieck-Maschenmodells oder eines anderen Modells, bekannt aus der Computergraphiktechnik. Es ist interessant metrische Algorithmen auch zum Erzeugen von Rand-Manifolds zu verwenden. Zum Definieren der zweidimensionalen Randfläche eines Objektes kann beispielsweise der Schwerpunkt des Objektes zunächst berechnet werden und danach kann ein Punkt, der mit dem Objekt assoziiert ist, das am weitesten von dem Schwerpunkt entfernt ist, als Randpunkt auf einem Radius von dem Schwerpunkt betrachtet werden. Andere Algorithmen zum Identifizieren der Manifolds sind in dem technischen Bereich der konstruktiven Raumgeometrie der Körper bekannt. Die gekrümmte zweidimensionale Randfläche des Objektes, erhalten als die Sammlung aller Randpunkte, kann modelliert werden, beispielsweise mit nur flachen, nicht ebenen Manifolds, die mit Hilfe einer Übereinstimmung mit der zweidimensionalen Randfläche berechnet werden, wobei ein Punkt des flachen, nicht ebenen Manifolds niemals weiter von einem Punkt der zweidimensionalen Randfläche als um einen vorbestimmten Abstand entfernt ist. Ein anderes Beispiel wird anhand der 3 gegeben. Es ist nahe liegend, einen geraden Teil eines Randes nur durch einen einzigen geraden Rand zu beschreiben, beispielsweise 516, aber der gerade Rand 516 kann auch in zwei kleinere gerade Ränder aufgeteilt werden, die dann zu zwei Zellen in dem zellularen Raum 609 gehören. Weiterhin soll eine Strukturfunktion auch dem metrischen Modell zugeordnet werden. Eine Möglich keit ist, allen Voxeln eines Manifolds ein und dieselbe Farbe zu geben. Eine andere Möglichkeit ist beispielsweise zu einem Dreieck in einer dreieckigen Maschendarstellung ein mehrnamiges Strukturmodell hinzuzufügen. Die Parameter des Polynoms werden danach dem Kompressionsmodell hinzugefügt. Das Kompressionsmodell und der zellulare Raum geben alle Information, die notwendig ist um auf effiziente Art und Weise das Objekt zu rekonstruieren.
  • Während des Ausgangsschrittes 7 wird das zellulare Raummodell und, wenn anwendbar, das metrische Modell 222 ausgeliefert, beispielsweise zu einem Speicher 219 oder über eine Datenverbindung. Es ist interessant, wenn die Daten des metrischen Modells und des zellularen Raums zum Erzeugen eines Kompressionsmodells 228 verwendet werden, vorzugsweise eines objektbasierten Kompressionsmodells. So kann beispielsweise ein dreidimensionales Wavelet-Modell der Objekte als Kompressionsmodell verwendet werden, wobei Techniken angewandt werden, die aus der Kompressionstechnik bekannt sind, wie beispielsweise Quantisierung von Wavelet-Koeffizienten, während die Charakteristiken des menschlichen Sehvermögens beispielsweise Huffman-Codierung berücksichtigt werden.
  • Der Vorteil der Verwendung eines zellularen Raummodells ist, dass Kompression und Dekompression effizienter als bei nur einem metrischen Modell durchgeführt werden können. Dies wird in Bezug auf die 12 und 13 dargestellt. In Videofolgen ist es üblich, dass zwei Objekte einander verdecken. Das Quadrat 713 bleibt an derselben Stelle in dem ersten Bild 70-1, in dem zweiten Bild 703 und in dem dritten Bild 705. Der Kreis aber verlagert sich hinter das Quadrat und geht sogar hinter das Frame in dem dritten Bild. 13 stellt die Bewegung de Kreises in den verschiedenen Bildern als ein dreidimensionales Objekt 730 dar. Da Teile des Kreises verdeckt worden sind, d.h. in einigen Bildern unsichtbar sind, ist die Form des dreidimensionalen Objektes 730 unregelmäßig. Der Querschnitt 725, der beispielsweise der dritten Position 714 des Kreises entspricht, ist nicht kreisförmig, weil ein teil des Kreises hinter dem Bild liegt. In dem dreidimensionalen Raum aber, in dem die Verlagerung stattgefunden hat, ist der Kreis nach wie vor kreisförmig. Auf diese Weise ist es möglich, ein zylinderförmiges Modell für den Kreis zu verwenden, wenn die Verdeckung auch modelliert werden kann. Dies wird in unserem Verfahren mit Hilfe der Indikatoren in dem zellularen Raummodell effektuiert. Während der Dekompression, wenn die Bilder des Videowürfels aus dem Kompressionsmodell erzeugt werden sollen, wird die Verdeckung berücksichtigt. Wenn beispielsweise die Bilder regeneriert werden, wird alles, was außer Bild fällt, aufgenommen. Der Rand ist ein Spezialfall eines verdeckenden Objektes. Die Regeneration von Bildern wird in der Beschreibung der 8 weiter ausgearbeitet. Die Änderung von Objekten in zweidimensionalen Bildern kann aus Übersetzungen, Drehungen und Zooms bestehen, mit denen einfache dreidimensionale Objekte assoziiert sind. Komplexere Transformationen modellieren nicht lineare Verwerfungen.
  • Wenn beispielsweise ein Fußball durch ein Bild rollt, kann die Strukturmodellierung ggf. eine drehende Strukturfunktion des Fußballs modellieren, oder eine statische Funktion, die Linearität übersetzt, wobei am Empfänger-Ende der Ball als ein schiebender statt eines rollenden Balls betrachtet wird. Wenn die Strukturfunktion mit der Zeit variiert, beispielsweise durch Änderungen der Beleuchtung, ist eine Option, sehr kurze dreidimensionale Objekte zu verwenden, die nur einen kleinen Teil der Strecke eines Objektes modellieren, beispielsweise durch vier Frames. Eine alternative Option ist die Anwendung von zeitvariablen Strukturfunktionen, beispielsweise, eine mehrnamige Änderung des Grauwertes eines Pixels in einem System von Bezugsachsen, die mit dem Objekt gekoppelt sind.
  • Kompression ist für viele Applikationen wichtig. Unter Transport von Daten als Kompressionsapplikationen wird beispielsweise verstanden, Internet-Video, mobile Kommunikation dritter und vierter Generation, Video-On Demand über DSL ("Digital Subscriber Line") und digitales Fernsehen. Unter Speicherung wird beispielsweise verstanden, Aufzeichnungsträger großer Kapazität, wie beispielsweise HDTV auf digitalen Disks, wie DVD, professionelle Video-Server, PVR ("personal Videorecorder") auf Basis einer Fastplatte, auf der beispielsweise viele Programme aufgezeichnet werden, obschon mit einer niedrigen Qualität, und mit geheimer Kompression in allen Arten von Systemen. Für eine Speicherung mit geringer Kapazität sind Träger wie Video-CD, kleine Disks und Halbleiterspeicher interessant. Videosignale können von allen Arten von Quellen herrühren, und zwar reichend von Satelliten-Fernsehen bis Internet-Video. Das Verfahren kann am Provider-Ende, beispielsweise in einem Fernsehstudio, und an dem Vermittler-Ende, beispielsweise einer Kabelgesellschaft, sowie im Wohnzimmer angewandt werden.
  • Mehr Dimensionen als drei können dadurch erhalten werden, dass ein sog. Skalierungsraum, beispielsweise für jedes Frame konstruiert wird. So kann beispielsweise das Frame mit Gauss-Filtern gefiltert werden, wobei die Standardabweichung σ des Filters ständig ansteigt. Die Standardabweichung bildet dann eine extra Dimension. Auf gleiche Weise kann ein Videowürfel dadurch gebildet werden, dass Frames in der Zeit hintereinander gesetzt werden, wie in 7 dargestellt, die Frames, die als Frames mit einer unterschiedlichen Skalierung, können auch hintereinander gesetzt werden.
  • Eine andere Applikation des zellularen Raummodells ist Computer-Vision. Wenn beispielsweise ein Roboter eine Bewegungsstrecke in einem dreidimensionalen Raum planen muss, und zwar unter Bezugnahme von Bildern, aufgenommen von einer Kamera, kann er das zellulare Raummodell benutzen um zu definieren, welche Manifolds in den Frames zueinander gehören, so dass er die dreidimensionale Struktur und die Lage von Objekten in dem dreidimensionalen Raum besser berechnen kann. Eine andere Applikation ist die Neuschaffung eines Szene aus einem anderen Gesichtspunkt, wie in dreidimensionalem Fernsehen oder bei Video-On-Demand. Weiterhin ist das zellulare Raummodell auch interessant beim Schaffen von Spezialeffekten. Eine andere Applikation ist die strukturelle Zerlegung von Bildern beispielsweise im Internet. Wenn Bilder mit bestimmten Objekten gefunden werden müssen, können diese Objekte mit Hilfe eines zellularen Raummodells beschrieben werden. Es wird dann ein zellulares Raummodell erzeugt, beispielsweise für eine Skizze des gesuchten Objektes, gezeichnet von einem Benutzer eines beispielsweise Bildsuchprogramms, und für Bilder in einer Datenbank im Internet. Die Verwendung eines zellularen Raummodells ist auch in medizinischen Bildverarbeitungsapplikationen interessant.
  • 8 ist ein Blockschaltbild des Verfahrens zum Dekomprimieren eines komprimierten Videosignals. Zunächst wird das komprimierte Signal erfasst 101, beispielsweise das Signal, das über ein Fernsehverteilungskabel eintrifft oder von einem persönlichen Videorecorder herrührt. Nötigenfalls werden Transformationen durchgeführt um ein verwendbares metrisches Modell zu erzielen. So kann beispielsweise ein Teil der Information in dem komprimierten Modell gespeichert werden, beispielsweise differentiell, wobei in diesem Fall die Absolutwerte von Modellparametern zunächst berechnet werden und in dem metrischen Modell gespeichert werden müssen. Bei einer bevorzugten Ausführungsform wird das zellulare Raummodell zusammen mit dem Kompressionsmodell geliefert, obschon das zellulare Raummodell bei einer anderen Ausführungsform am Empfänger-Ende berechnet wird.
  • Daraufhin wird eine Computerdarstellung erzeugt (Schritt in 8) 103, beispielsweise ein Videowürfel 201, wobei das metrische Modell und das zellulare Raummodell verwendet wird. In einer ersten Ausführungsform kann ein dreidimensionaler Videowürfel mit P Frames direkt erzeugt werden. So wird zunächst beispielsweise der Rand der dreidimensionalen Objekte erzeugt und danach wird mit Hilfe beispielsweise eines Strukturmodells das Innere erzeugt. Auf alternative Art und Weise kann in einer zweiten Ausführungsform jedes Frame einzeln erzeugt werden. Die zweite Ausführungsform wird anhand der 12 und 5 erläutert.
  • Wenn beispielsweise das zweite Bild 703 erzeugt wird, werden zunächst die Ränder des Kreises 712 und des Rechtecks 713 berechnet beispielsweise durch Projektion des assoziierten dreidimensionalen Objektes auf eine Fläche des zweiten Bildes 703. Daraufhin sollen die betreffenden Strukturfunktionen angewandt werden um die Pixel des Kreises und des Rechtecks zu färben. Es soll berechnet werden, ob der Kreis oder das Rechteck vorne liegt. Da die Randmanifolds einen teil des Rechtecks bilden, liegt das Rechteck vorne. Daraus folgt, dass die Strukturfunktion des Kreises in der zweiten Lage 712 zunächst gezeichnet und von der Strukturfunktion des Rechtecks 713 überschrieben werden muss.
  • 5 zeigt einen schwierigeren Fall eines ersten Ringes 21 und eines zweiten Ringes 23, die im Raum miteinander verbunden sind. Die eindimensionalen Ränder der Ringe, wie beispielsweise die Ränder 29 und 31 werden mit Hilfe eines Projektionsalgorithmus erzeugt. Daraufhin soll die Strukturfunktion angewandt werden um die Pixel der Ringe zu färben. Dazu wird beispielsweise der Maleralgorithmus angewandt. Dieser ordnet allen Pixeln innerhalb des Randes eines Objektes den richtigen Wert zu. Ein gewählter Algorithmus zeichnet zunächst die Pixel des ersten Ringes 21 und danach die Pixel des zweiten Ringes 23. In dem Gebiet zwischen dem Schnittpunkt 55 und dem Begrenzer 56 werden die Pixel des ersten Ringes 21 unrechtmäßig von Pixeln des zweiten Ringes überschrieben. Wenn der gewählte Algorithmus angewandt wird. Auch wenn ein anderer gewählter Algorithmus zunächst den zweiten Ring zeichnet, gibt es Pixel die falsch sind. Dies ist weil weder der erste Ring 21, noch der zweite Ring 23 irgendwo vorne ist. Dieses Problem kann dadurch gelöst werden, dass ein Zyklusdetektionsalgorithmus auf das zellulare Raummodell angewandt wird. Wenn ein Zyklus detektiert wird, muss ein zusätzliches Randmanifold hinzugefügt werden, das als Schnittpunkt bezeichnet wird, beispielsweise als Schnittpunkte 55. Der Teil des ersten Ringes 21 zwischen dem Schnittpunkt 55 und dem Rand 51 wird danach in einer dritten Zeichenphase über den zweiten Ring gezeichnet. Durch Anwendung eines Algorithmus, der Schnittstellen eingibt und durch Anwendung zusätzlicher Zeichenphasen haben alle Pixel einen einwandfreien Wert.
  • Während des Auslieferungsschrittes 105 wird der Videowürfel geschrieben, beispielsweise in einen Speicher 271, oder die aufeinander folgenden Bilder werden beispielsweise einer Bildwiedergabeanordnung zugeführt.
  • 9 zeigt ein Gerät 211 zum Transformieren einer Computerdarstellung, beispielsweise eine Voxel-Darstellung 221 eines N-dimensionalen ersten Objektes 203 in ein Computermodell des Objektes 203. Dazu umfasst das Gerät 211 Erfassungsmittel 215, beispielsweise eine Datenverbindung zum Erfassen der Voxel-Darstellung 221 des ersten Objektes 203. In einer bevorzugten Ausführungsform ist die Voxel-Darstellung 221 in einem Speicher 219. Weiterhin umfasst das Gerät 211 Verarbeitungsmittel 213 zum Erzeugen des Computermodells auf Basis der Voxel-Darstellung 221. In einer bevorzugten Ausführungsform sind die Verarbeitungsmittel 213 ein Prozessor. Die Auslieferungsmittel 217 zum Ausliefern des Computermodells ist beispielsweise eine Datenverbindung mit dem Speicher 219, in den das zellulare Raummodell 223 und ein metrisches Modell 222 geschrieben sind. Es ist interessant, wenn das Gerät 211 in ein Video-Verarbeitungsgerät 241 einverleibt ist. In einer Ausführungsform hat das Video-Verarbeitungsgerät 241 einen Eingang 233 für ein empfangenes Videosignal 229 und eine Konditionierungseinheit 225, die das empfangene Videosignal verarbeiten kann, beispielsweise von einem PAL-Signal in einen Videowürfel umsetzen kann. Weiterhin ist in der Ausführungsform ein Ausgang 235 für ein ausgehendes Videosignal 231 vorgesehen, wobei dieses Videosignal durch eine Ausgangsverarbeitungseinheit 227 gebildet wird. Es ist u. a. interessant, wenn die Ausgangsverarbeitungseinheit 227 ein Kompressionsmodell 228 erzeugt.
  • 10 zeigt ein Video-Dekompressionsgerät 251 zum Dekomprimieren eines komprimierten Videosignals 261 mit einem Kompressionsmodell zu einer Computerdarstellung 261, beispielsweise einem dreidimensionalen Videowürfel 201. Das Video-Dekompressionsgerät 251 hat einen Eingang 225 für ein komprimiertes Videosignal 261 und einen Ausgang 257 zum Ausliefern eines dekomprimierten Videosignals 263, beispielsweise eines Videowürfels 201. Ggf. ist eine Ausgangsverarbeitungseinheit 265 vorgesehen um Basis-Elektrode den Videowürfel in ein PAL- oder NTSC-Signal umzuwandeln.
  • In einer bevorzugten Ausführungsform des Video-Dekompressionsgeräts 251 ist die Verarbeitungseinheit 253 zum Erzeugen der Computerdarstellung 262 mit einem Speicher 271 verbunden, in dem ein zellulares Raummodell 273 gespeichert ist.
  • 1
  • 3
    Aufteilung
    1
    Erfassung
    5
    Umwandlung
    6
    Modellierung
    7
    Auslieferung

Claims (12)

  1. Verfahren zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes (21), das wenigstens eine erste, zweite und dritte Dimension hat, in ein Computermodell des ersten Objektes (120), wobei die Computermodelltransformation den Schritt der Erzeugung eines zellularen Raummodells umfasst, mit: – einer ersten Zelle (125), die zu einer ersten Kopie (25) gehört, die dem ersten Objekt (21) entspricht, wobei die erste Kopie (25) eine Dimension hat, die N entspricht, und – einer zweiten Zelle (145), die zu einer zweiten Kopie (45) gehört, die eine niedrigere Dimension hat, die N-1 entspricht, vorgesehen an einem Rand eines Bildes des ersten Objektes (21), dadurch gekennzeichnet, dass das zellulare Raummodell weiterhin Folgendes umfasst: – einen Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Rand angibt, dass die zweite Kopie einen Teil eines Randes eines Bildes des Objektes (21) bildet, – einen Indikator, zugeordnet zu dem Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Indikator angibt, ob die zweite Kopie (45) einen Teil eines Randes der ersten Kopie (25) in N Dimensionen bildet.
  2. Verfahren zum Transformieren nach Anspruch 1, dadurch gekennzeichnet, dass eine dritte Zelle (127), die zu einer dritten Kopie (27) gehört, zu dem zellularen Raummodell hinzugefügt wird für eine Computerdarstellung eines N-dimensionalen zweiten Objektes (23) und wobei ein Rand zwischen der dritten Zelle (127) und der zweiten Zelle (145) hinzugefügt wird um anzugeben, dass die zweite Kopie (45) sich an dem Rand eines Bildes des zweiten Objektes (27) befindet.
  3. Verfahren zum Umwandeln nach Anspruch 2, dadurch gekennzeichnet, dass ein dreidimensionaler Videowürfel (21), der aus zweidimensionalen Bildern besteht, die mit aufeinander folgenden Zeitpunkten assoziiert sind und die hintereinander liegen, in Gebiete aufgeteilt wird, die dem ersten Objekt (203) und dem zweiten Objekt (204) entsprechen, und zwar auf Basis geteilter Werte einer Bildeigenschaft, und dass die Transformati on die erste Zelle und die dritte Zelle erzeugt, wobei die Dimension der ersten Kopie und der dritten Kopie höchstens 3 ist.
  4. Verfahren zum Transformieren nach Anspruch 3, dadurch gekennzeichnet, dass die Transformation dem Indikator auf Basis einer Berechnung von wenigstens einer geometrischen Eigenschaft einen Wert zuordnet, hergeleitet von Werten der Computerdarstellung, wobei der Wert entsprechend wenigstens einem der nachfolgenden Kriterien zugeordnet wird – der Wert des Indikators wird zugeordnet um anzugeben, dass die zweite Kopie einen Teil des Randes der ersten Kopie bildet, wenn ein Schnitt durch das erste Objekt in aufeinander folgenden Bildern abnimmt oder zunimmt, während ein Schnitt durch das zweite Objekt konstant bleibt, oder – der Wert des Indikators wird zugeordnet um anzugeben, dass die zweite Kopie einen Teil des Randes der ersten Kopie bildet, wenn das erste Objekt das zweite Objekt deckt, – der Wert des Indikators wird zugeordnet um anzugeben, dass die zweite Kopie einen Teil des Randes der ersten Kopie bildet, wenn die zweite Kopie sich über eine T-Verbindung mit einem anderen Rand fortsetzt, – der Wert des Indikators wird zugeordnet um anzugeben, dass die zweite Kopie einen Teil des Randes der ersten Kopiestruktur bildet, grenzend an einen Rand der ersten Kopie, und mit de zweiten Kopie sich verlagert.
  5. Verfahren zum Transformieren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das zellulare Raummodell in einer komprimierten Darstellung des ersten Objektes verwendet wird.
  6. Verfahren zum Transformieren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren Dekompression eines Videosignals umfasst, wobei das zellulare Raummodell verwendet wird.
  7. Computerprogrammprodukt mit Instruktionen um dafür zu sorgen, dass ein Computer ein Verfahren zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes (21) durchführt, das wenigstens eine erste, eine zweite und eine drit te Dimension hat, zu einem Computermodell des ersten Objektes (120), wobei die Computermodelltransformation den Schritt der Erzeugung eines zellularen Raummodells umfasst, das Folgendes aufweist: mit: – einer ersten Zelle (125), die zu einer ersten Kopie (25) gehört, die dem ersten Objekt (21) entspricht, wobei die erste Kopie (25) eine Dimension hat, die N entspricht, und – einer zweiten Zelle (145), die zu einer zweiten Kopie (45) gehört, die eine niedrigere Dimension hat, die N-1 entspricht, vorgesehen an einem Rand eines Bildes des ersten Objektes (21), dadurch gekennzeichnet, dass das zellulare Raummodell weiterhin Folgendes umfasst: – einen Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Rand angibt, dass die zweite Kopie einen Teil eines Randes eines Bildes des Objektes (21) bildet, – einen Indikator, zugeordnet zu dem Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Indikator angibt, ob die zweite Kopie (45) einen Teil eines Randes der ersten Kopie (25) in N Dimensionen bildet.
  8. Computerprogrammprodukt nach Anspruch 7, wobei das Computerprogramm vorgesehen ist zum Durchführen einer Kompression der Computerdarstellung des ersten Objektes, und zwar unter Verwendung des zellularen Raummodells.
  9. Computerprogrammprodukt nach Anspruch 7, wobei das Computerprogramm ein Verfahren zum Dekomprimieren eines komprimierten Videosignals zu einer Computerdarstellung eines N-dimensionalen Objektes durchführt, dadurch gekennzeichnet, dass die Dekompression das zellulare Raummodell benutzt.
  10. Anordnung zum Transformieren einer Computerdarstellung eines N-dimensionalen ersten Objektes, das wenigstens eine erste, eine zweite und eine dritte Dimension hat, zu einem Computermodell des ersten Objektes, wobei diese Anordnung Folgendes umfasst: – Erwerbungsmittel zum Erwerben der Computerdarstellung des ersten Objektes; – Verarbeitungsmittel zum Transformieren der Computerdarstellung des ersten Objektes; und – Ausgangsmittel zum Liefern des Computermodells, dadurch gekennzeichnet, dass die Verarbeitungsmitten vorgesehen sind zum Erzeugen eines zellularen Raummodells, mit – mit: – einer ersten Zelle (125), die zu einer ersten Kopie (25) gehört, die dem ersten Objekt (21) entspricht, wobei die erste Kopie (25) eine Dimension hat, die N entspricht, und – einer zweiten Zelle (145), die zu einer zweiten Kopie (45) gehört, die eine niedrigere Dimension hat, die N-1 entspricht, vorgesehen an einem Rand eines Bildes des ersten Objektes (21), dadurch gekennzeichnet, dass das zellulare Raummodell weiterhin Folgendes umfasst: – einen Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Rand angibt, dass die zweite Kopie einen Teil eines Randes eines Bildes des Objektes (21) bildet, – einen Indikator, zugeordnet zu dem Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Indikator angibt, ob die zweite Kopie (45) einen Teil eines Randes der ersten Kopie (25) in N Dimensionen bildet.
  11. Anordnung nach Anspruch 10, vorgesehen zum Dekomprimieren eines komprimierten Videosignals zu einer Computerdarstellung eines N-dimensionalen Objektes, wobei die Anordnung Folgendes umfasst: Erwerbungsmittel zum Erwerben des komprimierten Videosignals; Verarbeitungsmittel zum Erzeugen der Computerdarstellung auf Basis des komprimierten Videosignals, und Ausgangsmittel zum Liefern der Computerdarstellung, dadurch gekennzeichnet, dass die Verarbeitungsmittel auf das zellulare Raummodell zugreifen können.
  12. Von einem Computer auslesbares Medium mit einer Datenstruktur mit einem zellularen Raum zum Darstellen eines digitalisierten N-dimensionalen Objektes, das wenigstens eine erste, eine zweite und eine dritte Dimension hat, wobei die Datenstruktur Folgendes umfasst: – eine erste Zelle (125), die zu einer ersten Kopie (25) gehört, die dem ersten Objekt (21) entspricht, wobei die erste Kopie (25) eine Dimension hat, die N entspricht, und – eine zweite Zelle (145), die zu einer zweiten Kopie (45) gehört, die eine niedrigere Dimension hat, die N-1 entspricht, vorgesehen an einem Rand eines Bildes des ersten Objektes (21), dadurch gekennzeichnet, dass das zellulare Raummodell weiterhin Folgendes umfasst: – einen Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Rand angibt, dass die zweite Kopie einen Teil eines Randes eines Bildes des Objektes (21) bildet, – einen Indikator, zugeordnet zu dem Rand zwischen der ersten Zelle (125) und der zweiten Zelle (145), wobei der Indikator angibt, ob die zweite Kopie (45) einen Teil eines Randes der ersten Kopie (25) in N Dimensionen bildet.
DE60309710T 2002-07-04 2003-07-02 Topologisches bildermodell Expired - Fee Related DE60309710T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02077692 2002-07-04
EP02077692 2002-07-04
PCT/IB2003/003034 WO2004006187A1 (en) 2002-07-04 2003-07-02 Topological image model

Publications (2)

Publication Number Publication Date
DE60309710D1 DE60309710D1 (de) 2006-12-28
DE60309710T2 true DE60309710T2 (de) 2007-09-20

Family

ID=30011158

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60309710T Expired - Fee Related DE60309710T2 (de) 2002-07-04 2003-07-02 Topologisches bildermodell

Country Status (9)

Country Link
US (1) US20050231507A1 (de)
EP (1) EP1522049B1 (de)
JP (1) JP2005531862A (de)
KR (1) KR100984473B1 (de)
CN (1) CN1666234B (de)
AT (1) ATE345549T1 (de)
AU (1) AU2003281393A1 (de)
DE (1) DE60309710T2 (de)
WO (1) WO2004006187A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710423B2 (en) * 2005-03-21 2010-05-04 Microsoft Corproation Automatic layout of items along an embedded one-manifold path
CN101105864B (zh) * 2007-08-07 2010-04-07 中国地质大学(武汉) 一种基于序列剖面拓扑推理的三维地质体动态重构方法
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN101794457B (zh) * 2010-03-19 2012-07-25 浙江大学 基于样例的区分式三维运动恢复方法
CN102509339B (zh) * 2011-10-10 2014-04-02 武汉大学 一种带纹理约束的三维模型顶点聚类简化方法
CN102592313B (zh) * 2011-12-29 2015-04-01 中国水电顾问集团华东勘测设计研究院 一种地质三维模型自动建模与动态更新的方法
CN111665709B (zh) * 2020-06-29 2021-10-15 北京东方计量测试研究所 广域空间内统一时间的方法和空间守时系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438266B1 (en) * 1998-08-27 2002-08-20 Lucent Technologies Inc. Encoding images of 3-D objects with improved rendering time and transmission processes
NL1010452C2 (nl) * 1998-11-02 2000-05-03 Koelman Intellectueel Eigendom Werkwijze en inrichting voor het ontwerpen van oppervlakken met een vrije vorm.

Also Published As

Publication number Publication date
AU2003281393A1 (en) 2004-01-23
CN1666234B (zh) 2010-05-12
KR100984473B1 (ko) 2010-09-30
JP2005531862A (ja) 2005-10-20
EP1522049B1 (de) 2006-11-15
US20050231507A1 (en) 2005-10-20
DE60309710D1 (de) 2006-12-28
WO2004006187A1 (en) 2004-01-15
ATE345549T1 (de) 2006-12-15
KR20050016721A (ko) 2005-02-21
EP1522049A1 (de) 2005-04-13
CN1666234A (zh) 2005-09-07

Similar Documents

Publication Publication Date Title
DE69934605T2 (de) Verfahren und Vorrichtung zur Bearbeitung von Videosignalen durch Charakteristischen Punkten Extraktion im komprimierten Bereich.
DE60314305T2 (de) Header-basierte Verarbeitung von mittels Multiskalentransformation komprimierter Bilder
DE102015210453B3 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE202016009102U1 (de) Verbesserung visueller Daten mittels gestufter Faltungen
DE102007013811A1 (de) Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
DE69732089T2 (de) Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
DE602004002171T2 (de) Verfahren zum adaptiven abspielen von videorahmen
DE19531004A1 (de) Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten
EP2747032A1 (de) Verfahren zur fotorealistischen Visualisierung von einem dreidimensionalen Gelände-Datensatz in Echtzeit
DE60309710T2 (de) Topologisches bildermodell
EP2058765A1 (de) Verfahren und Vorrichtung zum Texturieren eines Objektes eines virtuellen dreidimensionalen geometrischen Modells
DE10113880A1 (de) Verfahren zur Komprimierung und Dekomprimierung von Videodaten
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
DE202020105558U1 (de) Encoder-Vorrichtung und Decoder-Vorrichtung
DE102012014022A1 (de) Verfahren und Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen
DE19509373C1 (de) Verfahren und Anordnung zur objektbasierten Bildkodierung
WO2019057473A1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
DE10136649B4 (de) Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen
EP0981909B1 (de) Verfahren und vorrichtung zur codierung und decodierung eines digitalisierten bildes
DE102015017128A1 (de) Verfahren und Vorrichtung zum Erzeugen von Daten für eine zwei- oder dreidimensionale Darstellung zumindest eines Teils eines Objekts und zum Erzeugen der zwei- oder dreidimensionalen Darstellung zumindest des Teils des Objekts
DE112021006478T5 (de) Verfahren und vorrichtung zum komprimieren von einer szene mit dreidimensionalem volumen repräsentierenden daten im hinblick auf eine echtzeit-dekompression für eine online-betrachtung
DE3875583T2 (de) Videobildverarbeitung.
DE60221075T2 (de) Verfahren zur Sequenzierung von Videoinformationen
DE112022003137T5 (de) Verfahren zum verarbeiten von daten, die eine dreidimensionale volumetrische szene darstellen
DE102015011499A1 (de) Verfahren zur Kompression von Tiefendaten oder Disparitätsdaten in einem Tiefenbild oder Disparitätsbild

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee