DE69807508T2

DE69807508T2 - Positionsbestimmung

Info

Publication number: DE69807508T2
Application number: DE69807508T
Authority: DE
Inventors: Thomas Russell; Alexander Thomas
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1997-05-30
Filing date: 1998-05-29
Publication date: 2003-02-27
Anticipated expiration: 2018-05-30
Also published as: IL133233A0; EP1211520A8; EP1211520B1; EP1015909B1; DE69831181D1; WO1998054593A1; EP1211520A9; IL133233A; DE69807508D1; US6556722B1; EP1211520A2; EP1015909A1; EP1211520A3; DE69831181T2; JP2002503338A

Description

Die vorliegende Erfindung betrifft eine Positionsbestimmung und betrifft insbesondere, aber nicht ausschließlich, die Ableitung der Position einer Kamera für eine so genannte "Virtual Studio"-Fernsehproduktion. In solchen Anwendungen wird eine virtuelle Szene, beispielsweise ein mit einem Computer generierter Hintergrund, einer realen Szene überlagert, beispielsweise mit Schauspielern. Es ist wichtig, die exakte Position und Orientierung der Fernsehkamera in dem Studio zu kennen, so dass die virtuelle Szene so berechnet werden kann, dass diese dem Standpunkt der realen Kamera entspricht, um eine korrekte Übereinstimmung zwischen realen und virtuellen Elementen in der Szene sicherzustellen.
Es gibt eine Vielzahl von kommerziell erhältlichen Systemen, die Information über die Position einer Kamera bereitstellen können. Die meisten basieren auf mechanischen Kamerahalterungen, wie beispielsweise robotischen Sockeln, Sockeln, die auf Schienen montiert sind, oder Roboterarmen, die Sensoren aufweisen, um die Position und Orientierung zu messen. Diese Systeme können nicht für von Hand gehaltene Kameras verwendet werden und können voluminös und schwierig in der Verwendung sein.
Es gibt auch Verfahren, die mit mechanischen Sensoren arbeiten, aber stattdessen einen mit einem Muster versehenen blauen Hintergrund verwenden, der in dem Kamerabild sichtbar ist. Durch Analysieren des Videosignals können diese Verfahren auf die Orientierung und Position der Kamera rückschließen. Ein Beispiel für ein solches Verfahren wird in unserer früheren Patentanmeldung GB-A-2271241 beschrieben, die einen Kameraschwenk, eine Kameraverkippung und einen Zoom faktor unter Verwendung eines beliebig gemusterten Hintergrunds ableitet. Ein weiteres Beispiel, das dieselbe Technik einsetzt, wird in WO-A-95/30312 beschrieben, die einen speziellen Mustertyp verwendet, um eine Bestimmung des Kameraschwenks, der Verkippung, des Zooms und der Position zu ermöglichen. Diese Verfahren beruhen jedoch auf dem Vorhandensein eines blauen Hintergrunds mit zwei Farbtönen. Dies ist in gewissen Situationen unzweckmäßig, beispielsweise dann, wenn es gewünscht ist, Schatten von Objekten aus dem Vordergrundbild zu extrahieren. In gewissen Situationen kann auch nur sehr wenig oder gar kein blauer Hintergrund sichtbar sein, beispielsweise während einer Nahaufnahme eines Schauspielers. Manchmal kann es auch erforderlich sein, ein virtuelles Objekt gegen einen realen Hintergrund zu platzieren, in welchem Fall es überhaupt keinen blauen Hintergrund geben wird.
WO-A-9711386 offenbart eine Vorrichtung zur Bestimmung einer Position und Orientierung, bei der eine Kamera auf ein optisch moduliertes Zielobjekt gerichtet wird.
EP-A-706105 offenbart ein Navigationssystem für einen autonomen mobilen Roboter, bei dem kodierte Zeichen an verschiedenen Positionen angeordnet werden. Die Marker werden anhand des Verhältnisses der Radien von Ringen unterschieden.
Ein Verfahren zur Bestimmung der Position eines aufrecht montierten Displays, das auf dem Gebiet der verbesserten Wirklichkeit (augmented reality) eingesetzt worden ist, wird in dem Artikel von Azuma et al. mit dem Titel "A Demonstrated Optical Tracker with Scalable Work Area for Head-Mounted Display Systems", beschrieben, veröffentlicht in ACM Computer Graphics: Proceedings of the 1992 Symposium on Interactive 3D Graphics (Cambridge, Massachusetts, April 1992), S. 43-52. Dieses Verfahren verwendet eine Mehrzahl von infraroten LEDs, die in Deckenpanelen eingebaut sind, die mit vier nach oben schauenden Sensoren be trachtet werden, die auf dem Headset bzw. Kopfhörer eines Nutzers montiert sind. Die Sensoren stellen jeweils Information der Koordinaten von hellen Punkten in dem Bild (die LEDs) bereit und aus diesen Koordinaten wird anhand der bekannten Position der LEDs und der Geometrie der Sensoren die Position des Kopfhörers berechnet. Von den Erfindern wurde angedacht, das Verfahren von Azuma auf das Problem der Bestimmung einer Kameraposition anzuwenden. Das Verfahren von Azuma ist jedoch nicht dafür gedacht, um zur Bestimmung der Position einer Kamera in einem großen Studio verwendet zu werden, sondern ist stattdessen ausgelegt, um in einem vergleichsweise kleinen Volumen zu arbeiten, wo die Gesamtzahl von LEDs klein ist. Die Erfinder haben einige potenzielle Probleme bei der Anwendung einer solchen Technik auf das Gebiet der Kamerapositionsbestimmung identifiziert.
In einem Fernsehstudio könnte die Kamera sich mehrere zehn Meter bewegen, so dass das Verfahren von Azuma et al. eine sehr große Anzahl von Deckenmarken erfordern würde, von denen nur ein kleiner Teil zu irgendeinem Zeitpunkt sichtbar wäre. Das Verfahren von Azuma beruht auf einer aktiven Kontrolle der LEDs, um die LEDs zu identifizieren. Die Kontrollelektronik und -verdrahtung, die erforderlich ist, um dies in einem großen Studio umzusetzen, wäre komplex und nicht praktikabel. Außerdem enthält die Decke eines Fernsehstudios für gewöhnlich eine Vielzahl von Lampen und anderen Objekten, was die Identifizierung der Marken viel schwieriger machen könnte als unter den sorgfältig kontrollierten Bedingungen, für die das Verfahren von Azuma ausgelegt ist, zu funktionieren; die Hellpunktsensoren, die von Azuma verwendet werden, würden falsche Signale erzeugen. Ein weiteres Problem, das die Erfinder identifiziert haben, besteht darin, dass der Satz von Marken, welche die Kamera sehen kann, sich nicht nur deshalb ändern wird, weil sich die Marken in das Gesichtsfeld der Kamera hinein bewegen und aus diesem heraus bewegen, sondern auch deshalb, weil die Marken durch Objekte, wie beispielsweise Mikrofonarme und Studioleuchten, verdeckt werden. Bei Verwendung des Verfahrens von Azuma ist es jedes Mal dann, wenn eine Marke auftaucht oder verschwindet, wahrscheinlich, dass es eine kleine aber plötzliche Änderung in der berechneten Position und Orientierung der Kamera geben wird, weil jegliche Fehler in der Kamerakalibrierung oder der Messung der Markerpositionen zu Ergebnissen führen wird, die davon abhängen, welche Marken gerade verwendet werden.
Somit kann das Verfahren von Azuma nicht direkt auf das erfindungsgemäße Problem angewendet werden. Die Erfinder haben neue Techniken entwickelt, die besonders geeignet für die anspruchsvollen Anforderungen an die Bestimmung der Kameraposition in einem Fernsehstudio geeignet sind, welche die Nachteile konventioneller Techniken überwinden oder mindern. Verweise in dieser Patentbeschreibung auf eine Videokamera sollen jegliche Kamera beinhalten, die in der Lage ist, Videobilder zu verfassen; obwohl die Videokamera vorteilhaft eine konventionelle Fernsehstudiokamera ist, ist keine Beschränkung auf einen speziellen Typ von Kamera oder auf einen beabsichtigten Einsatzzweck impliziert.
Gesichtspunkte der Erfindung werden in den unabhängigen Patentansprüchen dargelegt. Bevorzugte Merkmale werden in den abhängigen Patentansprüchen dargelegt.
Somit sind bei der Erfindung zumindest einige und vorzugsweise sämtliche Marken mit einem Muster versehen, um Information zu kodieren, die die Marke identifiziert. Auf diese Weise wird es möglich, nicht nur Relativbewegungen des Objekts zu bestimmen, sondern auch die Absolutposition durch "Nachschlagen" der Positionen von jeder bemusterten Marke. Dies kann eine viel größere Bewegungsfreiheit des Objekts über einen größeren Bereich ermöglichen und gleichzeitig eine genaue Messung der absoluten Position erlauben. Zusätzlich kann die Bestimmung der Relativbewegung vereinfacht oder verbessert werden.
Vorzugsweise umfasst das Muster konzentrische Formen, vorzugsweise im Wesentlichen geschlossene Ringe; die Verwendung von konzentrischen Ringen zur Kodierung der Information erleichtert die Lokalisierung der Marken, weil die Mitte der Ringe zweckmäßig lokalisiert werden kann und für eine geeignete Referenzposition sorgt. Vorzugsweise umfasst die Identifizierung der Positionen der Marken eine Identifizierung der Mitten der konzentrischen Ringe als Bezugspunkt für jede bemusterte Marke. Obwohl die Ringe am bevorzugtesten konzentrisch innerhalb der Auflösung des verwendeten Kameramittels sind, weil dies die Identifizierung und Entschlüsselung bzw. Dekodierung stark vereinfacht, brauchen diese nicht exakt konzentrisch zu sein; in einem solchen Fall kann eine Exzentrizität dazu verwendet werden, um ein Maß für die Winkelorientierung bereitzustellen, und der Referenzpunkt kann beispielsweise basierend auf der Mitte des innersten Rings bestimmt werden.
Vorzugsweise kodieren die bemusterten Marken Information in Form von Folgen von hellen und dunklen Bereichen. Dies ermöglicht den Einsatz einer monochromen Kamera, um die Marken zu identifizieren, und erlaubt die Erzielung einer höheren Auflösung von mindestens 756'. Die Kamera kann in dem sichtbaren Bereich des Spektrums arbeiten, wobei die bemusterten Marken sichtbare Markierungen aufweisen; dies erleichtert die Identifizierung der Marken während des Aufstellens durch einen Benutzer. Infrarotes (oder ultraviolettes) Licht kann jedoch verwendet werden.
Bevorzugt ist die Identifizierungsinformation in binärer Form als Helligkeit oder Reflektivität von jedem Ring kodiert. Dies kann für ein robustes und einfaches Kodierungsschema sorgen. Die Ringe haben in einem solchen Schema vorzugsweise einen bekannten Innen- und Außendurchmesser und haben vorzugsweise im Wesentlichen gleiche Dicken. Falls die Dimensionen oder relativen Dimensionen von jedem Ring bekannt sind, ist es nicht erforderlich, dass die Ringe auf das Sichtbare beschränkt sind; benachbarte Ringe können einander berühren, selbst wenn diese dieselbe Schattierung aufweisen. Zusätzlich kann eine Messgröße für den Abstand zu jeder Marke auf der Grundlage der Größe der Marken in dem Bild abgeleitet werden.
Alternativ kann die Information in binärer Form als Dicke von jedem Ring kodiert sein, wobei aufeinander folgende Ringe vorzugsweise zwischen hell und dunkel alternieren.
Die Ringe sind vorzugsweise im Wesentlichen kreisförmig (dies erleichtert die Detektion und Dekodierung) und vorzugsweise haben sämtliche dieselbe oder ähnliche Formen. Andere Formen (beispielsweise Quadrate, Rechtecke oder Vielecke) können jedoch verwendet werden; der Ausdruck "Ring", wie er in dieser Patentbeschreibung verwendet wird, soll solche nicht-kreisförmigen Ringe mit umfassen.
Überraschenderweise hat man herausgefunden, dass man gute Resultate mit monochromen Mustern und einer binären Kodierung erzielen kann, obwohl dies mehrere Ringe notwendig machen kann. Man hat herausgefunden, dass dies zum Teil an der im Vergleich zu Farbkameras besseren Auflösung und Linearität liegt, die im allgemeinen mit monochromen Kameras erzielt werden kann. Außerdem macht eine monochrome Kodierung die Erzielung eines viel höheren dynamischen Bereichs zwischen hell und dunkel möglich und sorgt für eine geringere Empfindlichkeit auf Änderungen im Umgebungslicht.
In der Tat ist diese binäre Kodierung, die eine monochrome Detektion ermöglicht, ein wichtiges Merkmal, das gemäß einer zweiten Ausführungsform unabhängig bereitgestellt werden kann, welche für ein Verfahren zur Bestimmung der Position eines Objektes sorgt, umfassend:
es werden eine Mehrzahl von Marken bei jeweiligen Referenzpositionen bereitgestellt, wobei zumindest einige der Marken bemustert sind, um eine Identi fizierungsinformation in binärer Form als Folge von hellen und dunklen Bereichen zu kodieren, wobei die Marke auch einen detektierbaren Referenzpunkt bereitstellt;
Information wird gespeichert, einschließlich eines Maßes bzw. einer Messgröße der Positionen der Marken und von Information, die die bemusterten Marken identifiziert;
es wird ein Bild von mindestens einem Untersatz der Mehrzahl von Marken von einer Kamera erhalten, vorzugsweise von einem monochromen Kameramittel, die dem Objekt zugeordnet sind;
das Bild wird verarbeitet, um die Positionen der Marken in dem Bild zu identifizieren, und für jede bemusterte Marke in dem Bild wird die Identifizierungsinformation dekodiert;
ein Maß bzw. eine Messgröße der Position des Objekts wird auf der Grundlage der Verarbeitung und Dekodierung und auf der Grundlage der gespeicherten Information bestimmt.
Überraschenderweise können, falls eine binäre Kodierung verwendet wird, die Marken vergleichsweise komplex und dennoch zuverlässig dekodiert werden. Somit kodieren in bevorzugten Anordnungen die Marken mindestens drei und vorzugsweise vier oder mehr Bits einer Identifizierungsinformation. Dies erleichtert eine Identifizierung der Marken, weil eine größere Anzahl von Marken eindeutig identifiziert werden kann. Vorzugsweise ist zumindest ein Sicherheitsring oder Fehlerkorrekturring vorgesehen, so dass die Marken mindestens vier oder mehr Ringe umfassen.
Eine weitere Ausführungsform umfasst einen Satz von bemusterten Marken, die jeweils eine Folge von konzentrischen Ringen umfassen, wobei jede Marke eine Mehrzahl von Informationsbits in binärer Form als die Helligkeit oder Reflektivität und/oder Dicke von jedem Ring kodiert, wobei die kodierte Information zwischen den Marken variiert. Gewisse Marken können sich in dem Satz wiederholen (das heißt dieselbe Information kodieren).
Die Erfindung stellt auch die Verwendung einer Folge von konzentrischen Ringen bereit, um eine Mehrzahl von Informationsbits in binärer Form als die Helligkeit oder Reflektivität und/oder Dicke von jedem Ring zu kodieren.
Eine weitere Ausführungsform umfasst ein Verfahren zum Erzeugen einer Marke, die eine Mehrzahl von Informationsbits kodiert, welches Verfahren die Schritte umfasst, dass die in binärer Form zu kodierende Information erhalten wird und dass auf einer Unterlage eine Reihe von konzentrischen Ringen bereitgestellt wird, wobei jeder Ring entweder eine hohe oder niedrige Helligkeit oder Reflektivität aufweist, wobei die Dicke und Helligkeit oder Reflexivität von jedem Ring entsprechend einem vorbestimmten Kodierungsschema ausgewählt wird, um die Information zu kodieren.
Dies kann als ein Verfahren zum Erzeugen einer Marke umgesetzt werden, um eine Mehrzahl von Informationsbits zu kodieren, welches Verfahren die Schritte umfasst, dass die in binärer Form zu kodierende Information erhalten wird und dass auf einer Unterlage eine Reihe von konzentrischen Ringen bereitgestellt wird, wobei jeder Ring einem zu kodierenden Informationsbit entspricht und eine erste Helligkeit oder Reflektivität aufweist, die eine binäre "0" kodieren soll, und eine zweite Helligkeit oder Reflektivität, um eine binäre " 1 " zu kodieren.
Eine Vielzahl von Kodierungsschemata kann verwendet werden, einschließlich von selbsttaktenden und selbstfehlerkorrigierenden Schemen. Beispielsweise können bekannte lineare Streifenkodierungsschemen verwendet werden, mit aufeinander folgenden Streifen, die aufeinander folgenden Ringen entsprechen.
Obwohl eine Mehrzahl von Kodierungsschemen eingesetzt werden können, hat sich überraschenderweise herausgestellt, dass ein einfaches Kodierungsschema, bei dem die Ringe im Wesentlichen eine konstante Dicke aufweisen und jeweils eine Hel ligkeit oder Reflektivität aufweisen, die direkt einem Informationsbit entspricht, für eine kompakte Marke sorgen kann, die zuverlässig und einfach dekodiert werden kann.
Eines oder mehrere Paritätsbits oder Fehlerkorrekturbits können enthalten sein (vorzugsweise ein Paritätsbit für die "geraden" Ringe und eines für die "ungeraden" Ringe); dies ermöglicht die Detektion von Versetzungsfehlern.
Die Dekodierung der Marken kann den Vergleich der Identifizierungsinformation mit einer vorhergesagten Identifizierungsinformation auf der Grundlage von Markenpositionen und eine Korrektur oder Verifizierung der Identifizierungsinformation auf der Grundlage der Ergebnisse des Vergleichs umfassen. Falls beispielsweise die dekodierte Marken-Identifizierungsinformation von der vorhergesagten Information um eine Größe abweicht, die einem einzelnen Bit oder einer Verschiebung von sämtlichen Bits entspricht, kann dies als entsprechender Lesefehler interpretiert und "intelligent" korrigiert werden.
Die Unterlage hat vorzugsweise eine Oberflächenbeschichtung mit der ersten oder zweiten Reflektivität oder Helligkeit (beispielsweise weiß oder retroreflektierend oder schwarz); in diesem Fall brauchen nur Ringe mit der anderen Reflektivität oder Helligkeit aktiv bereitgestellt werden, beispielsweise durch Aufbringen eines retroreflektierenden Materials oder Pigments.
Die dunklen Bereiche sind vorzugsweise im Wesentlichen schwarz. Die hellen Bereiche können weiß sein, können jedoch vorteilhaft aus einem retroreflektierenden Material gebildet sein, das von einem Licht beleuchtet werden soll, das optisch im Wesentlichen mit der Kameraachse zusammenfällt. Dies ermöglicht die Erzielung eines hohen Kontrastwerts und erleichtert eine Detektierung der Marken. Die Verwendung eines retroreflektierenden Materials und einer Lichtquelle, die der Kamera zugeordnet ist, macht die Detektion der Marken weniger empfindlich auf Ände rungen in den Bedingungen des Umgebungslichts, wie diese in einem Fernsehstudio auftreten können. Anstelle eines retroreflektierenden Materials können fluoreszierende Pigmente dazu verwendet werden, um den Kontrast zu erhöhen.
Vorzugsweise weist jede bemusterte Marke einen äußeren Bereich auf, vorzugsweise einen vergleichsweise breiten ringförmigen Bereich, der im Wesentlichen dieselbe Schattierung für jede Marke aufweist, vorzugsweise dunkel ist; dies kann eine Unterscheidung der Marken von anderen Gegenständen erleichtern, beispielsweise von Studioleuchten. Vorzugsweise ist der Ring unmittelbar innerhalb des äußeren Bereichs von der entgegengesetzten Schattierung wie der äußere Bereich, vorzugsweise hell; dies kann eine Bestimmung der Größe des Musters erleichtern und eine zuverlässigere Dekodierung der Information ermöglichen. Der äußere Bereich kann eine oder mehrere Marken enthalten, was die Bestimmung der Winkelorientierung der Marke ermöglicht.
Der innerste Ring oder die innersten Ringe können eine vorbestimmte Helligkeit aufweisen, um eine Detektion in der Mitte der Marke zu erleichtern, oder können dazu verwendet werden, um Identifizierungsinformation zu kodieren.
Als Alternative zu einer binären Kodierung können die Ringe in der Farbe variieren, wobei jeder Ring mehr als ein Informationsbit kodiert. Beispielsweise kann ein Bereich von Farben verwendet werden, wobei ein bestimmtes Bitmuster einer ausgewählten Farbe zugeordnet ist, vorzugsweise basierend auf einem RGB- Kodierungsschema. Dies kann die Kodierung von mehr Information in einer kleineren Anzahl von Kreisen erlauben (beispielsweise, falls 8 sekundäre Farben verwendet werden, kann jeder Ring 3 Bits kodieren).
Vorzugsweise kodieren zumindest einige Marken Identifizierungsinformation eindeutig, welche die Marke unter der Mehrzahl von Marken identifiziert. Dies ermöglicht die Bestimmung der absoluten Position, ohne dass man eine anfängliche Startposition kennen muss. Die Marken sind vorzugsweise so angeordnet, dass die Position des Objekts eindeutig bei sämtlichen Punkten innerhalb eines vorgegebenen Volumens bestimmt werden kann.
Das Verfahren kann den Schritt einer Anpassung der bestimmten Position umfassen, um plötzliche Änderungen der bestimmten Position auszuglätten, wenn Marken zum Vorschein kommen oder verdeckt werden. Dies kann das Problem von kleinen, aber dennoch plötzlichen und sehr deutlich sichtbaren Änderungen in der bestimmten Objektposition auf Grund von kleinen Fehlern in der Positionsbestimmung der Marken mindern, wenn sich verschiedene Marken in das Gesichtsfeld der Kamera hinein bewegen oder aus diesem heraus bewegen. Eine Anpassung wird vorzugsweise durch Anwenden von Korrekturfaktoren auf die gespeicherten oder gemessenen Positionen der Marken erzielt, so dass die Bestimmung der Objektposition auf korrekten Markenpositionen basiert, wobei die Korrekturfaktoren so berechnet werden, dass die korrigierten Markenpositionen dazu neigen, zueinander selbst konsistente Werte aufzuweisen, wobei die Änderungsrate der Korrekturfaktoren unterhalb eines vorbestimmten Wertes gehalten wird.
Eine Anpassung kann dadurch erzielt werden, dass eine Bewegung der Marken verfolgt wird, wenn sich die Objektposition ändert, und dass dreidimensionale Korrekturvektoren erzeugt werden. Auf diese Weise können stabile genauere Markenpositionen bestimmt werden. Eine Verfolgung der Marken über mehrere Bilder kann jedoch rechenaufwändig sein und dabei versagen, stabile Werte für die Markenpositionen zu erzeugen, wenn Fehler auf irgendeine Nichtlinearität in der Kamera oder in dem Objektiv zurückgehen. Somit umfasst eine bevorzugte einfachere Realisierung der Anpassung den Schritt, dass Korrekturfaktoren mit zwei Freiheitsgraden erzeugt werden (beispielsweise Verschiebungsvektoren parallel zu der Bildebene oder parallel zu der Referenzoberfläche) und dass die Markenposition korrigiert werden, so dass diese dazu neigen, die Markenpositionen selbstkonsistent für ein Bild oder für eine Folge von Bildern zu machen.
Die Änderungsrate kann beschränkt sein, so dass eine Anpassung der Korrekturfaktoren über eine Periode von einigen Sekunden erfolgt (vorzugsweise von zumindest 2 Sekunden, vorzugsweise von weniger als etwa 15 Sekunden, typischerweise etwa 5-10 Sekunden), so dass eine allmähliche Drift in der bestimmten Position auftritt, die weniger gut wahrgenommen werden kann als eine plötzliche Verschiebung.
Ein Maß für den Fehler oder die Genauigkeit der Positionsbestimmung kann auf der Grundlage der Selbstkonsistenz der bestimmten Position, die für jede Marke berechnet wird, bereitgestellt werden. Diese kann auf der Größe der Korrekturfaktoren basieren.
Eine weitere Ausführungsform umfasst ein Verfahren zur Bestimmung der Position eines Objekts auf der Grundlage einer Identifizierung einer Mehrzahl von Marken bei jeweiligen Referenzpositionen, welches Verfahren die Schritte umfasst, dass Korrekturfaktoren auf gespeicherte Messwerte der Markenpositionen angewendet werden, um jeweilige korrigierte Markenpositionen zu erzeugen, und dass die Objektposition auf der Grundlage der korrigierten Markenpositionen bestimmt wird, wobei die Korrekturfaktoren so berechnet werden, dass die korrigierten Markenpositionen dazu neigen, selbstkonsistente Werte aufzuweisen, wobei die Änderungsrate der Korrekturfaktoren auf einen vorbestimmten Wert begrenzt ist.
Obwohl die Marken an einer ebenen Referenzoberfläche anhaften können, sind die Marken vorzugsweise unter variierenden Abständen zu einer Referenzoberfläche positioniert, vorzugsweise der Decke eines Raums, in welchem sich das Objekt bewegt; dies hat sich als eine überraschende Verbesserung der Genauigkeit der Detektion der Bewegung des Objekts herausgestellt. Insbesondere in einem solchen Fall enthält die gespeicherte Information vorzugsweise ein Maß für den Abstand von jeder Marke zu der Referenzoberfläche. Dies kann dadurch erzielt werden, dass die dreidimensionalen Koordinaten von jeder Marke relativ zu einem definierten Ursprung gespeichert werden (in kartesischer oder irgendeiner polaren oder krummlinigen bzw. nichtlinearen Form, welche für den Algorithmus zur Positionsbestimmung geeignet ist).
Bei der bevorzugten Anwendung ist das Objekt eine Videokamera und umfasst das Kameramittel eine separate, für gewöhnlich nach oben gerichtete Kamera, die auf der Videokamera montiert ist.
Eine weitere Ausführungsform stellt eine Vorrichtung zur Positionsbestimmung bereit, umfassend eine Kamera zur Montage auf einem Objekt, dessen Position bestimmt werden soll; ein Speichermittel, das ausgelegt ist, um Maßgrößen der Positionen einer Mehrzahl von Marken zu speichern und um Information, die bemusterte kodierte Marken identifiziert, zu speichern; ein Bildverarbeitungsmittel, das ausgelegt ist, um ein von der Kamera ausgegebenes Bild zu verarbeiten, um die Positionen der Marken in dem Bild zu identifizieren; Dekodierungsmittel, um Information, die in den bemusterten Marken kodiert ist, zu dekodieren; und ein Positionsbestimmungsmittel, das ausgelegt ist, um die Position des Objekts auf der Grundlage des Ausgangssignals des Bildverarbeitungsmittels, des Dekodierungsmittels und auf der Grundlage der in dem Speichermittel gespeicherten Information zu bestimmen.
Das Speichermittel, das Bildverarbeitungsmittel und das Positionsbestimmungsmittel kann in einem einzigen Computer integriert sein. Vorzugsweise wird jedoch zumindest ein Teil der Funktion des Bildverarbeitungsmittels mit Hilfe eines Hardwarebeschleunigers bereitgestellt, der ausgelegt ist, um eine oder mehrere Marken zu identifizieren oder um eine oder mehrere bemusterte Marken zu dekodieren oder um beide Funktionen auszuführen.
Die Vorrichtung umfasst vorzugsweise außerdem ein Mittel zum Anwenden von Korrekturfaktoren auf gespeicherte Maßgrößen bzw. Messwerte der Markenpositionen, um jeweils korrigierte Markenpositionen zu erzeugen und um die Objektposition auf der Grundlage der korrigierten Markenpositionen zu bestimmen, wobei die Korrekturfaktoren so berechnet werden, dass die korrigierten Markenpositionen dazu neigen, zueinander selbstkonsistente Werte anzunehmen, wobei die Änderungsrate der Korrekturfaktoren auf einen vorbestimmten Wert begrenzt ist.
In Fällen, wo die Position einer Videokamera (eine andere als das Kameramittel) bestimmt wird, kann die Positionsbestimmung durch Information unterstützt werden, die von dem Bild der Videokamera erhalten wird. Außerdem kann Information, welche den Zoom der Videokamera und Fokuseinstellungen betrifft, eingegeben werden. Eine oder mehrere kodierte Marken können in dem Gesichtsfeld der Videokamera platziert werden. Die Anordnung von kodierten Marken bei speziellen Positionen in dem Gesichtsfeld ist viel einfacher in der Praxis zu realisieren als die Bereitstellung eines mit einem Muster versehenen Hintergrunds für ein gesamtes Studio, welches Verfahren im Stand der Technik verwendet wurde. Außerdem können die kodierten Marken eine genauere Messung als im Falle eines konventionellen Hintergrunds ermöglichen, wo es schwierig ist, für eine genaue Bemusterung über einen großen Bereich zu sorgen.
Somit kann das Verfahren außerdem die Schritte umfassen, dass zumindest eine zusätzliche Marke bei einer vorgegebenen Position bereitgestellt wird, so dass diese von der Videokamera gesehen werden kann, wobei die oder jede Marke eine Identifizierungsinformation aufweist, die darauf in binärer Form als Folge von konzentrischen Ringen von zwei Farbtönen kodiert ist, wobei die Farbtöne ausgewählt werden, so dass die Marke aus dem Bild der Videokamera mit Hilfe einer Chromatastung (chroma-keying) ausgetastet werden kann, wobei die Positionsbestimmung der Videokamera auf der Position der zusätzlichen Marke beruht, falls diese in dem Bild der Videokamera vorhanden ist.
Für diese zusätzliche Positionierung kann unabhängig, gemäß einem siebten Gesichtspunkt, bei einem Verfahren zur Bestimmung oder Korrektur einer Maßgröße oder eines Messwerts der Position einer Videokamera gesorgt werden, welches Verfahren die Schritte umfasst, dass zumindest eine Marke bei einer Position bereitgestellt wird, die von der Kamera gesehen werden kann, wobei die oder jede Marke eine Identifizierungsinformation aufweist, die darauf in binärer Form als Folge von konzentrischen Ringen mit zwei Farbtönen kodiert ist, wobei die Farbtöne so gewählt werden, dass die Marke aus dem Bild der Videokamera mit Hilfe einer Chromatastung (chroma-keying) ausgetastet werden kann, wobei eine Maßgröße bzw. ein Messwert der Position der Videokamera auf der Grundlage der Position der Marke, falls diese in dem Bild der Videokamera vorhanden ist, bestimmt wird. Eine vollständige Positionsbestimmung kann dadurch bewerkstelligt werden, dass mehrere solche Markierungen so verwendet werden, dass vorzugsweise zumindest drei einzelne Marken stets sichtbar sind, oder dadurch, dass eine mechanische Abtastung oder andere optische Verfahren verwendet werden, wo die kodierten Marken für einen Prüf- bzw. Referenzpunkt sorgen. Vorzugsweise ist ein Satz von vorzugsweise zumindest drei einzelnen Marken auf einer im Wesentlichen steifen Halterung montiert, um ein Cluster von Marken zu bilden, wobei die Marken vorzugsweise nicht in einer Ebene liegen.
Eine weitere Ausführungsform stellt eine Markenvorrichtung zur Positionierung in dem Blickfeld einer Kamera zur Verwendung bei der Bestimmung der Relativposition der Kamera und der Markenvorrichtung bereit, welche Vorrichtung zumindest drei nicht in einer Ebene liegende bemusterte Marken umfasst, die bei vorbestimmten relativen Positionen auf einer im Wesentlichen steifen Basis montiert sind, wobei die bemusterten Marken jeweils eine Identifizierungsinformation aufweisen, die darauf in binärer Form kodiert ist. Die Information ist vorzugsweise als Folge von konzentrischen Ringen kodiert, vorzugsweise in zwei Farbtönen, wobei die Farbtöne so gewählt sind, dass die Marken aus dem Bild der Videokamera mit Hilfe einer Chromatastung (chroma-keying) ausgetastet werden können.
Vorstehend wurde Bezug genommen auf ein Kameramittel, das auf dem Objekt montiert ist, und auf Marken, die um ein Volumen herum angeordnet sind, in dem sich das Objekt befindet. Dies wird in der Tat bevorzugt, um die Position einer Kamera in einem großen Studio zu bestimmen. Man wird jedoch erkennen, dass die Technik dazu verwendet werden kann, um die Position von einem oder mehreren Objekten zu bestimmen, auf dem oder auf denen Marken angeordnet sind, wobei eine oder mehrere Kameras verwendet werden, die in dem Volumen angeordnet sind, wo sich das Objekt befindet. Beispielsweise können die Positionen von mehreren Kameras innerhalb eines vergleichsweise kleinen Studios mit Hilfe einer einzigen Kamera bestimmt werden, die in der Decke des Studios befestigt ist und ein ausreichendes Blickfeld aufweist, um sämtliche Kameras zu sehen; dies kann zu einer Kostenersparnis führen.
Eine weitere Ausführungsform stellt ein Verfahren zur Bestimmung der Relativpositionen eines Kameramittels und eines Objekts bereit, das eine Mehrzahl von Marken aufweist, vorzugsweise zumindest drei Marken, die darauf montiert sind, wobei die Relativpositionen der Marken und des Objekts vorzugsweise im Wesentlichen fest sind, wobei jede Marke mit einem Muster versehen ist, um Identifizierungsinformation in binärer Form zu kodieren, vorzugsweise als Folge von konzentrischen Ringen, welches Verfahren die Schritte umfasst, dass die Relativpositionen der Marken und Information gespeichert werden, die eine Dekodierung bzw. Entschlüsselung der Identifizierungsinformation ermöglichen, dass die Positionen der Marken identifiziert werden und dass die Identifizierungsinformation darauf dekodiert wird und dass auf der Grundlage der gespeicherten Information ein Messwert bzw. eine Maßgröße der Relativpositionen und -orientierungen des Kameramittels und des Objekts bestimmt werden. Das Verfahren wird vorzugsweise eingesetzt, um die Positionen von mehreren Objekten relativ zu dem Kameramittel zu bestimmen, wobei die Objekte auf der Grundlage der Identifizierungsinformation voneinander unterschieden werden. Das Kameramittel kann mehrere Kameras mit verschiedenen Betrachtungs- bzw. Standpunkten umfassen.
Eine Ausführungsform der Erfindung wird nun ausführlicher unter Bezugnahme auf die beigefügten Figuren beschrieben werden, worin:
Fig. 1 die Anordnung in einem Studio zeigt;
Fig. 2 ein Beispiel einer Marke zeigt;
Fig. 3 ein Schemadiagramm eines Algorithmus zeigt, der dazu verwendet werden kann, um Marken in dem Bild zu lokalisieren;
Fig. 4 die Öffnung der Filter zeigt, die in dem Markendetektionssystem verwendet werden;
Fig. 5 im Detail das Verfahren zum Zählen der Anzahl von Proben oberhalb eines vorgegebenen Schwellenwerts in einem rechteckigen Bildbereich zeigt;
Fig. 6 das Verfahren zeigt, das dazu verwendet wird, um das Auftauchen oder Verschwinden von Marken zu verhindern, das durch eine plötzliche Änderung der berechneten Kameraposition hervorgerufen wird;
Fig. 7 eine Marke darstellt, die dazu geeignet ist, um in dem Blickfeld einer Videokamera platziert zu werden.
Die Weise, auf die ein Kamerapositionssystem gemäß der vorliegenden Erfindung in einem virtuellen Studio angewendet werden kann, ist in der Fig. 1 gezeigt. Eine Anzahl von Marken 1 sind auf der Studiodecke befestigt. Weitere Marken sind in einem geringen Abstand unterhalb der Decke befestigt, und zwar sind diese an steifen Stangen 2 befestigt. Obwohl das System mit Marken in einer Ebene arbeiten kann, kann man eine größere Genauigkeit mit Marken erzielen, die auf unterschiedlichen Höhen angeordnet sind, wie dies dargestellt ist. Das System kann alternativ mit Hilfe von Marken realisiert werden, die an anderen Positionen als an der Decke angeordnet sind (beispielsweise auf einer Wand oder sogar auf dem Bo den), obwohl die Anordnung von diesen auf der Decke in vielen Situationen wahrscheinlich am praktikabelsten ist.
Die Marken werden von einer nach oben schauenden Kamera 3 gesehen, die auf der Seite der normalen Studiokamera 4 befestigt ist. Die nach oben schauende Kamera, die als zusätzliche Kamera bezeichnet wird, ist vorzugsweise eine monochrome Kamera und wird vorzugsweise progressiv getastet. Die Marken können von einem Licht 12 beleuchtet werden. Das Signal von der Kamera wird von einer Analyseeinrichtung 5 analysiert, um die Kameraposition und -orientierung der zusätzlichen Kamera zu berechnen. Die Analyseeinrichtung berechnet dann die Position und Orientierung 6 der Studiokamera, wobei die relative Orientierung und Position der zusätzlichen Kamera 3 und der Studiokamera 4 ausgeglichen wird.
Die Analyseeinrichtung kann unter Verwendung entweder von spezieller Hardware oder durch Kombination eines Frame-Grabbers und eines Mehrzweckcomputers realisiert werden. Information bezüglich der Einstellungen von Zoom und Fokus der Studiokamera kann unter Verwendung von konventionellen Sensoren erhalten werden und mit Hilfe einer Verzögerungseinrichtung 8 verzögert werden, um die Verzögerung durch die Verarbeitungseinrichtung 5 zu kompensieren. Die Darstellungseinrichtung 9 berechnet die Ansicht der virtuellen Welt entsprechend der gemessenen Position, Orientierung und der Zoom-Werte. Solche Darstellungseinrichtungen sind kommerziell erhältlich und basieren für gewöhnlich auf Grafikcomputern. Das normale Videosignal von der Kamera wird mit Hilfe der Verzögerungseinrichtung 10 verzögert, um die Verzögerungen bei der Berechnung der Kameraposition und bei der Bilddarstellung auszugleichen, bevor dieses mit dem dargestellten Bild unter Verwendung des herkömmlichen Verschlüsslers (keyer) 11 verknüpft wird.
Ein Beispiel einer Marke gemäß der vorliegenden Erfindung ist in der Fig. 2 gezeigt. Die gezeigte Marke weist helle konzentrische Ringe auf einem dunklen Hin tergrund auf. Die hellen Teile bestehen vorzugsweise aus einem retroreflektierenden Material, das von einem Licht nahe der Kamera beleuchtet wird, die die Marken sieht, wie dies in der Fig. 1 gezeigt ist. Eine geeignete Form von retroreflektierendem Material ist der "reflektierende Silberadhäsionsübertragungsfilm", Teil Nr. 8850, hergestellt von 3M. Bei dem in der Fig. 2 gezeigten Beispiel ist die Marke in eine Anzahl von konzentrischen Ringen mit gleicher Breite unterteilt. Der äußere Ring ist stets weiß und dient dazu, den Rand der Marke zu begrenzen. Jeder innere Ring ist entweder dunkel oder hell, um eine " 1 " oder "0" in dem entsprechenden Bit der Markennummer anzuzeigen. Andere Arten von Streifenkode, beispielsweise basierend auf dem Abstand zwischen Übergängen anstelle der Helligkeit von bestimmten Bändern, sind ebenfalls möglich. Das Beispiel in der Fig. 2 hat sechs innere Ringe, was einen 6-Bit-Kode ergibt, der Zahlen in dem Bereich von 0-63 repräsentieren kann. Es wird bevorzugt, dass nicht sämtliche möglichen Kodenummern verwendet werden, was eine gewisse Redundanz ermöglicht. Beispielsweise könnte ein Bit als Paritätsbit verwendet werden, so dass ein Fehler beim Lesen von einem Bit detektiert werden kann. Es wird auch bevorzugt, dass nicht der Kode verwendet wird, dessen Darstellung ein massiver weißer Kreis (63 in diesem Fall) ist, weil andere Objekte, beispielsweise eine Studioleuchte vor einem schwarzen Hintergrund, fälschlicherweise als Märke interpretiert werden könnte.
Die Positionierung der Marken für eine typische Anwendung wird nun beschrieben werden. Für Studios mit Bodenflächen von bis zu etwa 50 qm reicht ein 9-Bit- Streifenkode aus, um jede erforderliche Marke eineindeutig zu identifizieren. Für größere Studios können gewisse Markennummern wieder verwendet werden und das System kann darauf rückschließen, bei welcher Marke es sich um welche Marke handelt, indem beispielsweise auf die nächste eineindeutig bezifferte Marke Bezug genommen wird. Die minimale Größe der Marken muss gewählt werden, um zu gewährleisten, dass der Streifenkode mit Hilfe der zusätzlichen Kamera erfolgreich gelesen werden kann. Der erfindungsgemäße Streifenkodeentwurf und Lese algorithmus erfordert vorzugsweise einen minimalen Abstand zwischen den Ringen, der etwa 1,5 Pixel auf dem Kamerasensor entspricht, um ein zuverlässiges Auslesen zu erlauben. Falls sich beispielsweise die Marken etwa 4 m oberhalb der zusätzlichen Kamera befinden, jede in einem 9-Bit-Streifenkode enthalten, und falls eine Kamera mit herkömmlicher Auflösung mit einem minimalen Blickfeld von 30 Grad verwendet wird, beträgt der minimale Markendurchmesser etwa 12 cm. Die Marken sollten so positioniert sein, dass die zusätzliche Kamera mindestens 3 und idealerweise 10 oder mehr gleichzeitig sehen kann. Es muss möglich sein, dass gewisse Marken von Leuchten, Mikrofonhaltern usw. verdeckt werden. Beispielsweise würde in einer Situation mit Marken auf Höhen von 4 und 4,5 m, wenn eine maximale Arbeitshöhe der Kamera 2 m beträgt und das minimale Blickfeld der zusätzlichen Kamera 30 Grad beträgt, eine Positionierung der Marken in einem quadratischen Gitter mit Intervallen von 0,4 m gewährleisten, dass mindestens 12 potenziell sichtbar sind, was ein gutes Leistungsverhalten ermöglichen sollte, selbst wenn die Hälfte von diesen von Hindernissen, beispielsweise von Leuchten, verdeckt werden. Obwohl die Marken so positioniert werden können, dass diese in einer Ebene liegen, wird die Genauigkeit der berechneten Kameraposition deutlich verbessert, falls die Marken unter verschiedenen Abständen zu der Kamera angeordnet werden, beispielsweise könnten gewisse Marken direkt auf der Decke eines Studios angebracht werden, wobei andere auf Balken oder Stangen montiert etwas herunterhängen. Die Position von jeder Marke sollte idealerweise bis auf eine Genauigkeit von etwa 1 mm bekannt sein, um die Gesamtanforderungen an die Genauigkeit zu erfüllen. Dies könnte dadurch erzielt werden, dass die Position der Marken unter Verwendung eines Theodoliten gemessen wird, obwohl dies zeitaufwändig wäre. Ein alternatives Verfahren ist entwickelt worden. Zunächst werden die Positionen der Marken grob gemessen, mit einer Genauigkeit von einigen Zentimetern. Eine Anzahl von Bildern der Marken werden dann analysiert, um genaue Positionen zu ergeben.
Die erste Aufgabe, welche die Analvsevorrichtung 5 in der Fig. 1 ausführt, besteht darin, mögliche Marken in dem Bild zu identifizieren. Das in der Fig. 2 gezeigte Aussehen der Marke ermöglicht es, dass dies mit Hilfe eines einfachen Algorithmus bewerkstelligt werden kann, der vergleichsweise wenig Rechenzeit erfordert. Ein schematisches Diagramm eines solchen Algorithmus ist in der Fig. 3 gezeigt. Dieser basiert auf der Verwendung von Filtern mit rechteckigen Öffnungen, die unter Verwendung von eindimensionalen, horizontalen und vertikalen Filtern realisiert werden können. Man beachte, dass aus Gründen der Übersichtlichkeit die Fig. 3 nicht irgendwelche zusätzlichen Verzögerungen zeigt, um die Unterschiede in der Verarbeitungsverzögerung der verschiedenen Elemente zu kompensieren. Ein Beispiel der verwendeten Öffnungen ist in der Fig. 4 gezeigt. Das innerste Rechteck A wird gewählt, so dass dieses groß genug ist, um sämtliche Ringe der Marke komplett zu überdecken, und zwar für die größte erwartete Größe einer Marke in dem Bild. Das äußere Rechteck B wird so gewählt, dass es zu der schwarzen äußeren Umgebung der Marke passt, und zwar für die kleinste erwartete Größe einer Marke in dem Bild.
Nun wird die in der Fig. 3 gezeigte Betriebsweise des Markendetektors im Detail beschrieben werden. Das Videosignal von der nach oben schauenden Kamera wird einem Probenzähler 20 eingegeben, der die Anzahl von Proben oberhalb eines Schwellenwertes T1 in einem Rechteck A zählt, das auf dem aktuellen Pixel zentriert ist. Dieser Schwellenwert wird so gewählt, dass er einem Helligkeitswert zwischen den Werten von schwarz und weiß entspricht, wie diese auf dem Zielobjekt auftreten. Dies kann unter Verwendung der in der Fig. 5 gezeigten Schaltung realisiert werden, die nun beschrieben werden wird. Ein Komparator 40 vergleicht das Eingangssignal 39 mit einem Schwellenwert T und erzeugt ein Signal 41, das für Proben, deren Werte größer oder gleich T sind, 1 ist und 0 für Proben, die kleiner sind als T. Dieses Signal wird einem vertikalen Summierer 46 zugeführt, der die Summe seiner Eingangsproben über eine vertikale Öffnung der Höhe "h" berechnet. Dieses Signal wird dann an einen horizontalen Summierer 47 weiterge leitet, der eine vergleichbare Operation für eine horizontale Öffnung einer Breite "w" vornimmt. Summierer wie diese werden in vielen Bildverarbeitungsoperationen verwendet, aber aus Gründen der Vollständigkeit wird deren Betriebsweise beschrieben werden. Die folgende Beschreibung bezieht sich auf den vertikalen Summierer; der horizontale Summierer arbeitet in ähnlicher Weise. Die Verzögerung 42 verzögert das Signal um die Anzahl von Zeilen, die gleich der Höhe des Rechtecks A ist. Der Subtrahierer 43 bildet die Differenz zwischen dem Eingang und dem Ausgang der Verzögerung. Die Zeilenverzögerung 44 und der Addierer 45 bilden einen Integrierer, der das Ausgangssignal des Subtrahierers 43 integriert. Wenn Proben in den Bereich mit einer Höhe von h Zeilen eintreten, werden diese in dem Integrator integriert, und wenn diese den Bereich verlassen, werden diese von dem integrierten Wert subtrahiert. Das Ausgangssignal des Addierers 45 wird somit gleich der Anzahl von Proben oberhalb des Schwellenwertes T in einer Spalte von Pixeln mit einer Höhe von h Zeilen. In ähnlicher Weise ist das Ausgangssignal des horizontalen Summierers 48 gleich der Anzahl von Proben, deren Werte gleich dem oder größer dem Schwellenwert T über einem rechteckigen Bereich von h Zeilen x w Pixel sind.
Das Ausgangssignal des Probenzählers 20 in der Fig. 3 wird einem Komparator 24 zugeführt. Der Komparator erzeugt ein "wahres" Ausgangssignal, wann immer es mehr als N1 Proben in dem Rechteck A über dem Schwellenwert T1 gibt. Die Werte von T1 und N1 werden so gewählt, dass diese Bedingung erfüllt wird, wann immer eine Marke sich innerhalb des Rechtecks A befindet. Eine ähnliche Verarbeitung wird dazu verwendet, um zu überprüfen, ob die Marke von einem schwarzen Rand umgeben ist. Der Probenzähler 21 zählt die Anzahl von Proben oberhalb eines Schwellenwertes T2 in dem Rechteck A. T2 ist kleiner als T1 und wird so gewählt, um gerade oberhalb der nominellen Helligkeit des schwarzen Hintergrunds zu liegen. Der Probenzähler 22 führt dieselbe Aufgabe für das Rechteck B aus. Die Differenz zwischen den zwei Werten entspricht der Anzahl von Proben oberhalb des Schwellenwertes T2 in dem Bereich zwischen den Rechtecken A und B in der Fig. 4. Der Komparator 25 testet, ob diese Zahl kleiner ist als N2, welche eine kleinere Zahl als im Vergleich zu der Anzahl von Pixeln in diesem Bereich sein sollte. Sein Ausgangssignal wird "wahr", wann immer diese Bedingung erfüllt ist.
Das mögliche Vorhandensein einer Marke wird angedeutet, wenn die Ausgangssignale der Komponenten 24 und 25 beide "wahr" sind. Dies wird jedoch wahrscheinlich für viele benachbarte Probenpositionen auftreten, die um die Mitte der aktuellen Marke zentriert sind. Um die exakte Position der Markenmitte zu identifizieren, werden einige weitere Verarbeitungsschritte ausgeführt. Das Bildsignal wird zuerst zwischen zwei Werten T3 und T4 von der Schneidevorrichtung 23 ausgeschnitten. Das heißt, falls das Eingangssignal an die Schneidevorrichtung zwischen T3 und T4 liegt, ist das Ausgangssignal gleich dem Eingangssignal. Falls das Eingangssignal kleiner als T3 ist, ist das Ausgangssignal T3, und falls das Eingangssignal größer ist als T4, ist das Ausgangssignal T4. Die Werte T3 und T4 werden gewählt, um zu gewährleisten, dass die schwarze Umgebung der Marken unterhalb von T3 liegt und dass der weiße Wert der Ringe oberhalb von T4 liegt. Dies verhindert jegliche geringfügigen Änderungen in dem Beleuchtungswert über die Marke, was die Messung der Mittenposition stören würde. Das ausgeschnittene (clipped) Signal wird dann verarbeitet, um die Position der Mitte der Marke abzuschätzen. Die Verarbeitung wird separat für die horizontale und vertikale Position ausgeführt. Um die horizontale Position zu bestimmen, werden die Werte des ausgeschnittenen Bildsignals unabhängig in der linken und rechten Hälfte des Rechtecks A aufsummiert. Dies kann mit Hilfe einer Anordnung ausgeführt werden, die ähnlich zu derjenigen ist, die in der Fig. 5 gezeigt ist, ohne den anfänglichen Komparator 40. Die Summe von Werten in der rechten Hälfte wird von der auf der linken Hälfte subtrahiert. Dies wird mit Hilfe des Prozessschrittes 26 in der Fig. 3 ausgeführt. Dieser Wert wird positiv sein, wenn die Marke überwiegend auf der rechten Hälfte auftritt, und wird andererseits negativ sein, wenn diese überwiegend in der linken Hälfte liegt. Das Signal wird auf sein Vorzeichen hin untersucht, was sich von positiv auf negativ ändert, und zwar für aufeinander folgende Pixel und mit Hilfe des Vorzeichenänderungsdetektors 29, der anzeigt, dass sich die Position des Rechtecks A bewegt hat von einer Position unmittelbar auf der linken Seite zu einer Position unmittelbar auf der rechten Seite der Mitte der Marke. Dieser Detektor erzeugt ein "wahres" Ausgangssignal, wenn dies auftritt. Die horizontale Position der Markenmitte wird mit Hilfe des Interpolators 31 auf eine Genauigkeit von unter einem Pixel geschätzt, der die Position schätzt, bei der das Ausgangssignal von 26 durch 0 geht. Dies kann beispielsweise dadurch erzielt werden, dass eine lineare Interpolation zwischen den zwei Werten zu beiden Seiten von 0 ausgeführt wird. Eine vergleichbare Verarbeitung (27, 30) wird dazu verwendet, um die vertikale Position der Markenmitte zu lokalisieren.
Dieses Verfahren zum Auffinden der Mitte einer Marke hat den Vorteil, dass es recheneffizient ist, weil die Mehrzahl der Verarbeitungsschritte nur eine geringe Anzahl von Addierern, Subtrahierern und Verzögerungselementen erfordert. Aufwändigere Verfahren zum Auffinden der Mitte des Bildes eines Kreises können jedoch auch verwendet werden. Viele mögliche Verfahren sind aus der Literatur bekannt, die beispielsweise auf einer Berechnung des Schwerpunkts oder auf einem Nachzeichnen der Randkontur beruhen. Solche Verfahren können auf diese Erfindung angewendet werden und können die Möglichkeit bieten, eine größere Genauigkeit zu Lasten von höheren Rechenanforderungen zu erzielen.
Das Vorhandensein einer Marke wird angezeigt, wenn die Ausgangssignale von 24, 25, 29 und 30 sämtliche "wahr" sind. Wenn dies geschieht, kann die Position der Marke, die mit einer Genauigkeit von unter einem Pixel interpoliert wurde, von dem Interpolator 31 gelesen werden.
Wenn einmal die Mitte einer Marke aufgefunden worden ist, kann das Bild um diese Position herum verarbeitet werden, um die Markennummer, die durch den Strichkode repräsentiert wird, zu lesen. Der Algorithmus, der dazu verwendet wird, um dies auszuführen, wird von dem verwendeten Streifenkodetyp abhängen. Beispielsweise ist bei dem Typ von Streifenkode, der in der Fig. 2 gezeigt ist, ein Weg, um voranzukommen, wie folgt. Eine Anzahl von aufeinander folgenden Videoproben werden ausgewählt, beginnend bei dem Pixel am nächsten zu der Markenmitte und bis hin zu dem Rand des Rechtecks A. Diese Pixel werden Proben entlang eines Radius der Marke repräsentieren. Der Außenrand der Marke wird durch Untersuchen der Proben lokalisiert, und zwar beginnend von der äußersten und davon fortschreitend nach innen, wobei nach einer Probe oberhalb eines vorgegebenen Schwellenwerts gesucht wird. Der Schwellenwert würde normalerweise gewählt werden, so dass dieser sich in der Mitte zwischen den Videowerten von weiß und schwarz befindet. Wenn einmal der Rand lokalisiert wurde, können die Positionen entlang des Radius, die den Mitten von jedem Bit des Streifenkodes entsprechen, untersucht werden und mit dem Schwellenwert verglichen werden. Dieser Prozess kann Verwendung machen von einer Interpolation, um die Videowerte bei Positionen zwischen existierenden Proben zu schätzen. Für jede Bitposition wird das Bit in dem Kode auf 1 gesetzt, falls der Videowert oberhalb des Schwellenwertes liegt, und ansonsten auf 0. Dieser Prozess kann für einige Sätze von Proben, beginnend bei der Mitte, wiederholt werden, beispielsweise in Richtung nach links, nach rechts oberhalb und unterhalb der Mitte. Dies ermöglicht, dass eine Anzahl von unabhängigen Vorgängen zum Auslesen des Streifenkodes ausgeführt werden können. Die Ausleseergebnisse können verglichen werden und die Marke kann entweder akzeptiert oder zurückgewiesen werden. Beispielsweise könnte eine Marke als gültig akzeptiert werden, falls drei oder vier Auslesewerte des Streifenkodes übereinstimmen, oder alternativ kann eine einstimmige Vorhersage erforderlich sein. Weitere Modifikationen sind möglich, beispielsweise eine Änderung der Schwellenwerte, die bei dem Vorgang zum Auslesen des Streifenkodes verwendet werden, um die bestmögliche Übereinstimmung zwischen Auslesewerten und den verschiedenen Radien zu erhalten.
Falls der Vorgang zum Auslesen des Streifenkodes ein akzeptables Ergebnis erzeugt, wird eine Datenbank, die alle Marken in dem Studio auflistet, untersucht, um zu überprüfen, ob die Marke existiert, und falls dies so ist, um deren Koordinaten in dem Studio zu bestimmen. Falls die Marke nicht in der Tabelle vorliegt, braucht diese nicht berücksichtigt zu werden, was einem fehlerhaften Auslesevorgang entspricht. Alternativ könnten gewisse Fehlerkorrekturtechniken dazu verwendet werden, um zu versuchen, falsch ausgelesene Bits in dem Streifenkode zu korrigieren. Es gibt verschiedene wohlbekannte Fehlerkorrekturverfahren, die verwendet werden können, was zu Lasten der Tatsache geht, dass eine Redundanz in den Streifenkode eingebaut werden muss. Dies erfordert außerdem das Hinzufügen von mehr Bits zu dem Kode, was größere Marken erfordert. Andere Information könnte dazu verwendet werden, um dabei zu helfen, einen nicht erfolgreich gelesenen Streifenkode aufzulösen, beispielsweise eine Abschätzung, welche Marke bei dieser Position in dem Bild für eine bekannte Kameraposition erwartet werden könnte, die auf dem vorherigen Bild gemessen wurde.
Aus der Liste der Markenpositionen in dem Bild und aus den entsprechenden Positionen der Marken in dem Studio ist es möglich, die Kameraposition und
- orientierung zu berechnen. Dies kann beispielsweise dadurch ausgeführt werden, dass die fotogrammetrische Standardtechnik einer "Bündelanpassung" ("bundles adjustment") verwendet wird, die die Kameraposition und -orientierung berechnet, die die Summe der Quadrate der Abstände zwischen den Positionen in dem Bild minimiert, bei denen man ein Auftauchen der Marken erwarten würde (unter der Annahme der bekannten Position der Marken in dem Studio und den internen Kameraparametern) und bei denen diese tatsächlich gefunden werden. Geeignete Techniken zum Ausführen der Bündelanpassung werden im "Manual of Photogrammetry, 4. Auflage", American Society of Photogrammetry, Falls Church, VA, 1980, herausgegeben von Slama, C. C., beschrieben. Aufwändigere Verfahren können alternativ verwendet werden, die keine vollständige Kenntnis der internen Kameraparameter oder der Markenpositionen erfordern.
Eine Ausführung dieser Berechnung unter Verwendung der Markenpositionen, die in jedem Bild exakt gefunden werden, kann jedoch zu einer plötzlichen Änderung in der berechneten Kameraposition führen, wenn verschiedene Marken in das Blickfeld gelangen oder sich aus diesem hinaus bewegen, was zuvor erläutert wurde. Es hat sich herausgestellt, dass es für die berechnete Kameraposition viel akzeptabler ist, wenn diese sich unter gewissen Umständen langsam ändert. Dies ist besonders hilfreich in einer Situation, wo eine Marke vorübergehend detektiert wird, weil der Effekt ihres Verschwindens von einem Bild und des erneuten Auftauchens erheblich verringert werden kann. Die Weise, auf die dies erzielt wird, ist in der Fig. 6 gezeigt, die nachfolgend erklärt werden wird.
Die Positionen und Streifenkodenummern der in dem Bild gefundenen Marken werden zuerst an einen Prozessschritt 40 weitergeleitet, der die Kameraposition auf der Grundlage dieser Information unter Verwendung von fotogrammetrischen Standardtechniken berechnet. Die berechnete Position und Orientierung, 47, wird bestimmt von einer plötzlichen Änderung abhängen, falls eine Marke verschwindet oder wieder auftaucht, wie dies zuvor erklärt wurde. Die Position und Orientierung wird einem Prozessschritt 41 eingegeben, der die Positionen in dem Bild berechnet, bei denen das Verschwinden der Marken erwartet würde, und zwar basierend auf der gemessenen Kameraposition, den internen Parametern der Kamera und den Positionen der Marken in dem Studio. Die Differenz zwischen den erwarteten und tatsächlichen Markenpositionen wird mit Hilfe eines Subtrahierers 42 berechnet. Die Subtraktionsoperationen sind für jede sichtbare Marke notwendig, und zwar eine für die horizontale Koordinate und eine für die vertikale Koordinate. Falls die Kamerakalibrierung und die absoluten Markenpositionen perfekt genau sind, wird das Ausgangssignal dieses Subtrahierers für jede Marke 0 sein; in einer praktischen Situation wird es jedoch eine kleine Differenz geben. Es sei angemerkt, dass der Prozessschritt 40 typischerweise darauf abzielt, die Summe der Quadrate dieser Differenzen zu minimieren. In gewissen Anwendungen von 40 werden die Differenzen während des Berechnungsprozesses erzeugt, so dass ein separater Prozessschritt nicht erforderlich ist. Diese Differenzsignale (umfassend horizontale und vertikale Verschiebungsdifferenzen für jede Marke) werden mit Hilfe eines zeitlichen Tiefpassfilters 43 gefiltert. Dieser Filter kann beispielsweise ein rekursiver Filter erster Ordnung sein. Der Filter kann separat auf die horizontalen und vertikalen Positionsdifferenzen für jede Marke angewendet werden, obwohl auch eine aufwändigere Verarbeitung möglich ist, die beide Komponenten gemeinsam behandelt. Die gefilterten Positionsdifferenzen werden mit Hilfe eines Addierers 44 zu den beobachteten Markenpositionen addiert, um einen Satz von "angepassten" Markenpositionen 50 zu bilden. Die Position und Orientierung werden aus diesen angepassten Positionen mit Hilfe eines Prozessschrittes 45 berechnet, der im Wesentlichen auf dieselbe Weise wie der Prozessschritt 40 arbeitet. Es sei angemerkt, dass es in gewissen Anwendungen der Prozessschritte 40 und 45 nützlich ist, einen Schätzwert der Kameraposition zu haben, beispielsweise um eine rekursive Minimierungsprozedur zu initialisieren. Falls dies der Fall ist, kann es zweckmäßig sein, die von 40 berechnete Kameraposition zu verwenden, um den Prozess 45 zu initialisieren. Die durch 45 berechnete Position kann dazu verwendet werden, um den Prozess 40 auf dem nächsten Bild zu initialisieren.
In einem Bereitschaftszustand ohne Kamerabewegung und ohne Marken, die auftauchen oder verschwinden, wird das Ausgangssignal des Tiefpassfilters 43 dasselbe sein wie dessen Eingangssignal, so dass die angepassten Markenpositionen 50 gleich den von 41 berechneten erwarteten Positionen sein werden. Der Prozess 45 zur Berechnung der Kameraposition wird somit Werte für die Position und Orientierung berechnen, die identisch zu denjenigen sind, die von 40 berechnet werden, und wird deshalb denjenigen entsprechen, die direkt von den beobachteten Markenpositionen abgeleitet werden.
Falls eine Marke verschwindet, kann sich die aus den Markenrohdaten berechnete Kameraposition und -orientierung 47 geringfügig ändert. Dies wird zu einer Ände rung der erwarteten Markenpositionen führen, die von 41 berechnet werden. Diese Änderung wird jedoch sofort bei dem Ausgang des Filters 43 auftreten, und zwar wegen der Natur des zeitlichen Tiefpasses. Die angepassten Markenpositionen 50 werden deshalb im Wesentlichen unverändert im Vergleich zu den angepassten Positionen sein, die der Situation entsprechen, bevor die Marke verschwand, obwohl eine Markenposition weniger vorhanden sein wird. (Es sei angemerkt, dass der Subtrahierer 42 und der Addierer 44 nur ein gültiges Ausgangssignal für Marken erzeugt, die bei den beiden Eingangssignalen vorhanden sind.) Die Kameraposition, die von dem Prozessschritt 45 berechnet wird, wird deshalb im Wesentlichen unverändert im Vergleich zu derjenigen sein, die berechnet worden wäre, wenn die Marke nicht verschwunden wäre. Dies ist deshalb der Fall, weil die Markenpositionen 50 selbstkonsistent sind; das heißt jegliche Kombination von Marken wird dieselbe berechnete Kameraposition und -orientierung erzeugen. Während die Zeit verstreicht (und unter der Annahme, dass nicht mehr Marken verschwinden oder auftauchen), wird das Ausgangssignal des Filters 43 allmählich zu seinem Eingangswert hin tendieren. Die angepassten Markenpositionen werden sich somit langsam in Richtung zu den Positionen, die von dem Prozess 41 berechnet wurden, bewegen. Deshalb wird die zum Schluss berechnete Kameraposition 48 langsam zu derjenigen bei 47 tendieren, die aus den Markenrohdaten berechneten wurde.
Falls eine neue Marke in dem Bild auftaucht, muss der Filter 43 initialisiert werden, so dass diese Marke gefiltert werden kann. Das heißt, es müssen Werte für die vorherige Anpassungsgröße für die neue Marke angenommen werden, weil diese benötigt werden, damit der zeitliche Filter arbeiten kann. Die einfachste Option wäre es, anzunehmen, dass eine vorherige Anpassungsgröße 0 ist, aber dies würde wahrscheinlich zu einem Sprung in der berechneten Kameraposition führen, weil die Anpassungsgröße wahrscheinlich exakt 0 ist. Eine bevorzugte Option besteht darin, einen Wert abzuleiten, der gewährleisten wird, dass es keinen plötzlichen Sprung in der berechneten Kameraposition gibt. Eine Weise, auf die dies ausgeführt wird, ist wie folgt. Wenn die Marke zuerst in dem Bild auftaucht, wird ihre Präsenz von den Prozessschritten zur Berechnung der Kameraposition und -orientierung und von dem Filter ignoriert, der nur auf die Marken einwirkt, die sowohl in dem augenblicklichen als auch in dem vorhergehenden Bild sichtbar sind. Die erwartete Position der neuen Marke wird dann auf der Grundlage der berechneten Kameraposition und -orientierung von dem Prozessschritt 46 berechnet. Die Differenz zwischen dieser erwarteten Position und der Position, bei der diese tatsächlich auftaucht, wird von dem Subtrahierer 51 berechnet und dann dazu verwendet, um den Filter 43 zu initialisieren. Dies initialisiert den Filter auf einen Zustand, in welchem dieser sich befunden hätte, wenn die neue Marke stets diese Differenz zwischen der erwarteten und beobachteten Position gehabt hätte. Auf dem nächsten Bild wird die neue Marke von sämtlichen der Prozessstufen verwendet. Ihr Auftauchen führt wahrscheinlich zu einer Änderung der Kameraposition und -orientierung 47, die aus den Markenrohdaten berechnet wird, aber diese Änderung wird das Ausgangssignal des zeitlichen Filters 43 nicht unmittelbar berühren. Der Prozess 45 wird deshalb ein Ergebnis erzeugen, das sehr ähnlich zu demjenigen ist, das erzeugt worden wäre, wenn die neue Marke nicht aufgetaucht wäre. Allmählich werden jedoch die Korrekturverschiebungen bei dem Ausgang des Filters 43 zu demjenigen hin tendieren, die der von 40 berechneten Kameraposition entsprechen, und die bei 45 berechnete Kameraposition wird deshalb zu der bei 40 berechneten hin tendieren.
Falls in irgendeinem Bild weniger als drei Marken gesehen werden, wird das System nicht in der Lage sein, eine Position oder einen Winkel zu berechnen, weil die Anzahl von Unbekannten (drei Winkel und drei Positionskoordinaten) größer ist als die Anzahl von beobachteten Werten (zwei Bildkoordinaten für drei Marken). Das System kann auch bei der Berechnung eines gültigen Ergebnisses unter gewissen anderen Umständen versagen, beispielsweise dann, wenn eine Marke falsch identifiziert oder ihre gemessene Position grob fehlerhaft ist. Wenn dies auftritt, ist es von Vorteil, die Ausgabe der zuletzt gültigen Messung solange fortzusetzen, bis ein gültiges Ergebnis erhalten wird. Außerdem kann es ein Vorteil sein, den Filter 43 auf den Zustand zu initialisieren, den dieser gehabt hätte, falls sämtliche Marken Positionsdifferenzen von 0 haben würden. Dies erlaubt es, dass sich das System rasch von einer Situation erholen kann, in der dieses gewisse ungenaue Messungen ausgeführt hat.
Eine Variante, bei der Marken in dem Blickfeld der Kamera positioniert sind, wird nun beschrieben werden; diese kann dazu verwendet werden, um die von dem vorgenannten Verfahren erhaltene Positionsinformation zu ergänzen, oder kann dazu verwendet werden, um die Positionsinformation unabhängig zu erhalten. Die Variante verwendet ein optisches System, das auf Gruppen von Marken beruht, die in der Szene platziert sind. Jede Gruppe enthält vorzugsweise zumindest drei einzelne Markierungen (beispielsweise kodierte konzentrische Ringe), vorzugsweise auf unterschiedlichen Höhen oberhalb einer Referenzoberfläche, und vorzugsweise enthält diese zumindest sechs einzelne Markierungen. Die Gruppen werden vorzugsweise als starre Einheiten gebildet, auf denen die einzelnen Marken befestigt werden; dies ermöglicht eine Kenntnis der relativen Positionen von jeder Marke innerhalb von jeder Gruppe mit einem hohen Grad an Genauigkeit.
Bei einer bevorzugten Realisierung, wie sie in der Fig. 7 gezeigt ist, besteht jede Gruppe von Marken aus sechs Kreisen in einer Schattierung von blau gegen einen Hintergrund in einer geringfügig anderen Schattierung, so dass diese ausgetastet werden können. Die Verwendung von zwei Blaufarbtönen für eine Messung der Kameraposition ist bereits wirkungsvoll eingesetzt worden. Die Gruppe ist so ausgelegt, dass die Kreise nicht alle in einer Ebene liegen; dies ermöglicht eine eindeutige Berechnung der Kameraposition aus einer einzelnen Gruppe und erleichtert die automatische Messung der Gruppenpositionen. Jede Marke innerhalb der Gruppe hat einen Streifenkode, um diese eindeutig zu identifizieren.
Das Bild wird analysiert, um die exakte Position von jeder Marke innerhalb jeder Gruppe zu lokalisieren, woraus die Kameraposition und -orientierung (drei Positionskoordinaten und drei Rotationswinkel) berechnet werden kann in Kenntnis der Positionen der Marken in dem Studio. Die internen Kameraparameter (einschließlich der Brennweite und Pixelgröße) müssen bekannt sein. Wenn die Kamera ein Zoomobjektiv aufweist, können diese mit Hilfe von Sensoren auf dem Objekt und/oder mit Hilfe von bekannten Verfahren zum Detektieren von Zoom- und Fokuseinstellungen eines Objektivs aus dem Bild bestimmt werden. Falls ein Festobjektiv verwendet wird, können die Einstellungen mit Hilfe einer separaten Anfangskalibrierungsprozedur bestimmt werden, weil diese für eine gegebene Wahl des Objektivs konstant bleiben.
Die Gruppen brauchen nicht alle dieselbe Anzahl von einzelnen Marken enthalten und einzelne Marken können auch bei bekannten Positionen innerhalb des Bildes angeordnet sein.
Die einzige Beschränkung, die dieses System der Positionierung der Markengruppen auferlegt, besteht darin, dass zumindest eine und idealerweise mindestens etwa drei gleichzeitig sichtbar sein müssen. So viele Gruppen, wie erforderlich sind, um den Aktionsbereich abzudecken, können verwendet werden und so platziert werden, dass diese nicht die Bewegung der Schauspieler stören. Dieser Ansatz ist inhärent auf sehr große Studios erweiterbar und lässt Szenen zu, die eine beträchtliche Schauspieler- und Kamerabewegung involvieren, wie beispielsweise verfolgende Schauspieler, die lange Korridore hinunterrennen.
Weil die Gruppen erneut positioniert werden können, um zu jeder aufgenommenen Szene zu passen, ist es wichtig, ein Verfahren vorzusehen, um deren Positionen mit hoher Genauigkeit automatisch zu messen. Dies kann dadurch bewerkstelligt werden, dass eine Anzahl von Bildern erfasst wird, die jeweils zwei oder mehr Gruppen zeigen. Die Identitäten der Marken in jedem Bild können automatisch bestimmt werden. Eine globale Anpassung mit mittlerem quadratischem Fehler bestimmt die Relativposition und -orientierung von sämtlichen Marken über die verschiedenen Bilder.
Das System ist vorzugsweise ausgelegt, um in Echtzeit unter Verwendung einer normalen Workstation zu laufen, die mit einem Frame-Grabber bzw. einer Bildauslesekarte ausgestattet ist. Um dies zu erzielen, ist es wünschenswert, die Position von Marken von einem Bild zu dem nächsten zu verfolgen, so dass nur ein kleiner Teil des Bildes (um die vorhergesagten Markenpositionen herum) gesucht werden müssen. Außerdem erlaubt dies die Verwendung eines einfachen Algorithmus, um die Mitte von jedem Kreis aufzufinden. Bei Verwendung eines solchen Ansatzes hat sich herausgestellt, dass es möglich ist, die Kameraposition mit einer Frequenz von 25 Hz zu messen (wenn 20 Kreise verfolgt werden), wenn ein PC verwendet wird, der auf einem 200 MHz Pentium Pro basiert. Wenn das System jedoch gestartet wird, muss das gesamte Bild durchsucht werden, was einige Sekunden dauern kann.
Obwohl die beschriebenen Techniken ideal zur Bestimmung der Position einer Videokamera geeignet sind, können diese beispielsweise auf die Bestimmung der Position von Roboterarmen oder für Virtual Reality angewendet werden, wo die Position eines Kopfhörers bzw. Headsets bestimmt werden soll, der von einem Benutzer getragen wird.

Claims

1. Verfahren zur Bestimmung der dreidimensionalen Position eines Objekts in einem Referenzbild, umfassend die folgenden Schritte:

Bereitstellen von drei oder mehr Marken an jeweiligen Referenzpositionen, wobei zumindest drei der Marken als eine Folge von konzentrischen Formen bemustert sind, die eine Mehrzahl von Bits einer Identifizierungsinformation in der Dunkelheit oder eine Farbe von den Formen kodieren, wobei die Mitte der konzentrischen Formen von jeder bemusterten Marke einen Referenzpunkt für jede Marke bereitstellt, wobei jede Marke einen jeweiligen Abstand zu einer Referenzebene des Referenzbilds aufweist, wobei die Abstände unter den Marken variieren;

Speichern von Information einschließlich eines Maßes der dreidimensionalen Positionen der Marken in dem Referenzbild und von Information, die die bemusterten Marken identifiziert;

Erlangen eines Bildes von zumindest einem Untersatz der Marken von einer Kamera, die dem Objekt zugeordnet ist;

Verarbeiten des Bildes, um die Positionen der Marken in dem Bild zu identifizieren und um für jede bemusterte Marke in dem Untersatz den jeweiligen Referenzpunkt zu identifizieren, und Dekodieren der Identifizierungsinformation;

Bestimmen eines Maßes der dreidimensionalen Position des Objekts in dem Referenzbild auf der Grundlage der Verarbeitung und Kodierung und auf der Grundlage der gespeicherten Information.

2. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die bemusterten Marken eine Mehrzahl von Informationsbits in binärer Form als Folge von hellen und dunklen Formen kodieren.

3. Verfahren nach Anspruch 2, bei dem die Kamera eine Schwarz-Weiß- Kamera ist.

4. Verfahren zum Bereitstellen eines Satzes von zumindest drei Marken zur Verwendung bei einer Bestimmung der dreidimensionalen Position eines Objekts in einem Referenzbild in einem Verfahren nach Anspruch 2, wobei die Marken jeweils verschiedene Kennungen aufweisen, die als eine Mehrzahl von Informationsbits kodiert sind, welches Verfahren die folgenden Schritte umfasst:

Bereitstellen von jeweils verschiedenen Kennungen, die in binärer Form zu kodieren sind;

Anordnen einer Folge von konzentrischen Formen auf einem montierbaren Träger, wobei jede Form entweder eine große oder geringe Helligkeit oder Reflektivität aufweist, wobei die Dicke oder Helligkeit oder Reflektivität von jeder Ringform in Entsprechung zu einem vorbestimmten Kodierungsschema ausgewählt wird, um die Information zu kodieren, wobei die Mitte der Formen einen Referenzpunkt bereitstellt;

Anbringen von zumindest drei der Marken in einem Referenzbild, wobei die Abstände der Marken zu einer Referenzebene des Referenzbilds unter den Marken variieren.

5. Verfahren nach einem der Ansprüche 2 bis 4, bei dem die Formen kreisförmige Ringe sind.

6. Verfahren nach einem der Ansprüche 2 bis 5, bei dem 3 oder mehr Bits einer Identifizierungsinformation kodiert werden.

7. Verfahren nach einem der Ansprüche 2 bis 6, bei dem 4 oder mehr Formen bereitgestellt werden.

8. Verfahren nach einem der Ansprüche 2 bis 7, bei dem jedes Bit der Information einer entsprechenden Form zugeordnet wird.

9. Verfahren nach einem der Ansprüche 2 bis 8, bei dem zumindest ein äußerer Bereich einer vorbestimmten Helligkeit bereitgestellt wird.

10. Verfahren nach einem der Ansprüche 2 bis 9, bei dem zumindest ein Paritätsbit oder ein anderes fehlerkorrigierendes Bit in der kodierten Information enthalten ist.

11. Verfahren nach einem der Ansprüche 2 bis 10, bei dem die dunklen Formen im wesentlichen schwarz sind.

12. Verfahren nach einem der Ansprüche 2 bis 11, bei dem die hellen Formen retroreflektierend sind.

13. Verfahren nach Anspruch 12, weiterhin umfassend eine Beleuchtung der Marken mit einer Lichtquelle, die im wesentlichen mit der Achse des Kameramittels zusammenfällt.

14. Verfahren nach Anspruch 1, bei dem jede Form farbig, bemustert oder beschattet ist, um eine Mehrzahl von Bits einer Identifizierungsinformation zu kodieren.

15. Verfahren nach einem der vorhergehenden Ansprüche, bei dem sämtliche Marken bemustert sind, um Identifizierungsinformation zu kodieren.

16. Verfahren nach einem der vorhergehenden Ansprüche, bei dem zumindest einige Marken Identifizierungsinformation kodieren, die diese Marke eindeutig unter der Mehrzahl von Marken identifiziert.

17. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Marken so angeordnet sind, dass die Position des Objekts an sämtlichen Punkten innerhalb eines vorgegebenen Volumens eindeutig bestimmt werden kann.

18. Verfahren nach einem der vorhergehenden Ansprüche, wenn diese rückbezogen sind auf Patentanspruch 1, umfassend ein Einstellen der bestimmten Position, um plötzliche Änderungen in der bestimmten Position zu glätten, wenn Marken freigelegt oder verdeckt werden.

19. Verfahren nach Anspruch 18, bei dem die Einstellung ein Anwenden von Korrekturfaktoren auf die gespeicherten oder gemessenen Positionen der Marken umfasst, so dass die Bestimmung der Objektposition auf korrigierten Markenpositionen beruht, wobei die Korrekturfaktoren so berechnet werden, dass die korrigierten Markenpositionen die Tendenz zu gegenseitig selbstkonsistenten Werten haben, wobei die Änderungsrate der Korrekturfaktoren unterhalb von einem vorbestimmten Wert gehalten wird.

20. Verfahren nach Anspruch 19, bei dem der vorbestimmte Wert so gewählt wird, dass Übergänge in der vorbestimmten Bildposition, die daher rühren, dass eine oder mehrere identifizierte Marken unbrauchbar wird bzw. werden oder dass neue Marken unbrauchbar werden, über einen Zeitraum von zumindest etwa 2 Sekunden geglättet werden.

21. Verfahren nach einem der vorhergehenden Ansprüche, wenn diese rückbezogen sind auf Patentanspruch 1, bei dem ein Maß für die Genauigkeit der Positionsbestimmung erhalten wird.

22. Verfahren nach Anspruch 21, wenn dieser von einem der Ansprüche 19 bis 20 abhängt, bei dem das Maß auf einer Bestimmung der Korrekturfaktoren beruht.

23. Verfahren nach einem der vorhergehenden Ansprüche, wenn diese rückbezogen sind auf Anspruch 1, bei dem das Objekt eine Videokamera ist, die ein Blickfeld aufweist, das von dem Blickfeld des Kameramittels verschieden ist.

24. Verfahren nach Ansprüch 23, weiterhin umfassend eine Bereitstellung von zumindest einer zusätzlichen Marke an einer vorgegebenen Position, so dass diese für die Videokamera sichtbar ist, wobei die oder jede Marke Identifizierungsinformation aufweist, die darin in binärer Form als Folge von konzentrischen Ringen von zwei Farbtönen kodiert sind, wobei die Farbtöne so gewählt werden, dass die Marke durch Chroma-Keying bzw. Chroma-Tastung aus dem Videokamerabild ausgetastet werden kann, wobei die Bestimmung der Position der Videokamera auf der Position der zusätzlichen Marke, falls diese vorhanden ist, in dem Videokamerabild basiert.

25. Verfahren zur Bestimmung oder Korrektur eines Maßes für die Position einer Videokamera, das Verfahren umfassend die Schritte einer Bereitstellung von zumindest einer Marke bei einer vorgegeben Position, die für die Videokamera sichtbar ist, wobei die oder jede Marke Identifizierungsinformation aufweist, die darin in binärer Form als die Farbtöne einer Folge von konzentrischen Ringen von zwei Farbtönen kodiert ist, wobei die Farbtöne so gewählt sind, dass die Marken aus dem Videokamerabild durch Chroma-Keying bzw. Chroma-Tastung ausgetastet werden können, wobei die Mitte der Ringe einen Referenzpunkt bereitstellt, wobei ein Maß für die Position der Videokamera auf der Grundlage der Position der Marke, falls diese vorhanden ist, in dem Videokamerabild basiert.

26. Verfahren zum Bereitstellen einer virtuellen Produktion, welches Verfahren die Bestimmung der Position einer Videokamera nach einem der Ansprüche 23 bis 25; und

eine Überlagerung einer virtuellen Szene auf das Ausgangssignal der Videokamera auf der Grundlage der bestimmten Position umfasst.

27. Verfahren nach Anspruch 26, bei dem die virtuelle Szene auf der Grundlage der bestimmten Position mit Hilfe eines Computers generiert wird.

28. Vorrichtung zur Bestimmung der dreidimensionalen Position eines Objekts in einem Referenzbild, die Vorrichtung umfassend:

eine Kamera zur Montage auf einem Objekt, dessen Position bestimmt werden soll;

einen Speicher, der ausgelegt ist, um Maßgrößen der dreidimensionalen Positionen von zumindest drei Marken in dem Referenzbild zu speichern und um Information zu speichern, die bemusterte kodierte Marken identifiziert, welche Marken eine Folge von konzentrischen Formen umfassen, die Identifizierungsinformation als die Dunkelheit oder Farbe der Formen kodiert, wobei die Mitte der konzentrischen Formen von jeder bemusterten Marke einen Referenzpunkt für jede Marke bereitstellt;

ein Bildverarbeitungsmittel, das ausgelegt ist, um ein von der Kamera ausgegebenes Bild zu verarbeiten, um die Positionen von Marken in dem Bild zu identifizieren, um Information, die in den bemusterten Marken kodiert ist, zu dekodieren und um die Position der Referenzpunkte zu bestimmen; und

ein Positionsbestimmungsmittel, das ausgelegt ist, um die dreidimensionale Position des Objekts in dem Referenzbild auf der Grundlage des Ausgangssignals des Bildverarbeitungsmittels und der in dem Speichermittel gespeicherten Information zu bestimmen.

29. Vorrichtung nach Anspruch 28, bei der das Speichermittel, das Bildverarbeitungsmittel und das Positionsbestimmungsmittel in einen einzigen Computer integriert sind.

30. Vorrichtung nach Anspruch 28 oder 29, weiterhin umfassend einen Satz von zumindest drei Marken, der einen Untersatz von zumindest drei bemusterten Marken beinhaltet, die Identifizierungsinformation aufweisen, die als Folge von konzentrischen Ringen von hellen und dunklen Bereichen kodiert ist, wobei die Mitte der Ringe einen Referenzpunkt bereitstellt.

31. Vorrichtung nach einem der Ansprüche 28 bis 30, zur Verwendung gemeinsam mit Marken, die retroreflektierende Abschnitte umfassen, welche Vorrichtung ein Lichtprojektionsmittel aufweist, das optisch im wesentlichen mit der Achse des Kameramittels zusammenfällt.

32. Vorrichtung nach Anspruch 31, bei der das Lichtprojektionsmittel gepulst ist und ausgelegt ist, um zu einem Zeitpunkt, wenn das Kameramittel integriert, angeschaltet zu werden.

33. Vorrichtung nach Anspruch 31 oder 32, bei der das Kameramittel mit einem Filtermittel versehen ist, das ein Transmissionsfenster aufweist, das so gewählt ist, um Licht von dem Lichtprojektionsmittel durchzulassen aber zumindest ein gewisses anderes Licht zu sperren.

34. Vorrichtung nach Anspruch 33, bei der das Lichtprojektionsmittel eine Infrarot-LED umfasst und bei der der Filter sichtbares Licht sperrt aber Infrarot-Licht durchlässt.

35. Vorrichtung nach einem der Ansprüche 28 bis 34, die ein Mittel umfasst, um Korrekturfaktoren auf gespeicherte oder gemessene Markenpositionen anzu wenden, um jeweils korrigierte Markenpositionen zu erzeugen, und um die Objektposition auf der Grundlage der korrigierten Markenpositionen zu bestimmen, wobei die Korrekturfaktoren so berechnet sind, dass die korrigierten Markenpositionen die Tendenz zu zueinander selbstkonsistenten Werten haben, wobei die Änderungsrate der Korrekturfaktoren auf einen vorbestimmten Wert begrenzt ist.

36. Vorrichtung nach einem der Ansprüche 28 bis 35, die ausgelegt ist, um die Position einer Videokamera zu bestimmen, wobei das Kameramittel eine weitere Kamera umfasst, die auf der Videokamera montiert ist, vorzugsweise einer anderen Richtung als der Videokamera zugewandt.

37. Vorrichtung nach Anspruch 36, umfassend ein Mittel, um die Zoom- und/oder Fokus-Einstellungen der Videokamera zu detektieren.

38. Verfahren nach Anspruch 4, weiterhin umfassend ein Speichern der dreidimensionalen Positionen der Marken und der Kennungen der Marken.

39. Verfahren nach Anspruch 24, bei dem eine Mehrzahl der Marken zuerst auf einer Basis montiert werden, um eine Gruppe von Marken zu bilden, um an einer Position bereitgestellt zu werden, die für die Videokamera sichtbar ist.

40. Verfahren nach Anspruch 39, bei dem zumindest drei Marken auf der Basis in jeweils anderen Abständen zu der Basis montiert werden.

41. Verfahren zur Bestimmung der dreidimensionalen Relativpositionen von zumindest einer Kamera und einem Objekt, auf dem zumindest drei Marken angebracht sind, wobei die Relativpositionen der Marken und des Objekts im wesentlichen fest bzw. konstant sind, wobei jede Marke bemustert ist, um Identifizierungsinformation in binärer Form als die Dunkelheit oder Farbe einer Folge von konzentrischen Ringen zu kodieren, wobei die Mitte der Ringe einen Referenzpunkt bereitstellt, das Verfahren umfassend die folgenden Schritte:

Speichern der dreidimensionalen Relativpositionen der Marken in Bezug auf das Objekt und einer Information, die die Dekodierung der Identifizierungsinformation ermöglicht;

Empfangen eines Bilds von der Kamera;

Identifizieren der Positionen der Marken in dem Kamerabild;

Dekodieren der Identifizierungsinformation, die auf jeder Marke kodiert ist;

Bestimmung der Position des Referenzpunkts für jede Marke; und

Bestimmung, auf der Grundlage der gespeicherten Information, eines Maßes für die dreidimensionalen Relativpositionen und -orientierungen von der zumindest einen Kamera und dem Objekt.

42. Verfahren nach einem der Ansprüche 1 bis 23, bei dem das Referenzbild ein Produktionsstudio umfasst, auf dessen Decke zumindest 10 Marken positioniert sind, wobei die Kamera eine nach oben gerichtete Kamera ist, die auf einer Studiokamera angebracht ist.

43. Ein virtuelles Produktionsstudio mit zumindest drei bemusterten Marken, die auf dessen Decke in jeweils verschiedenen Abständen zu der Decke montiert sind, so dass die dreidimensionale Position eines Objekts relativ zu dem Studio- Referenzbild in Übereinstimmung mit dem Verfahren nach Anspruch 1 bestimmt werden kann, wobei jede Marke eine Folge von konzentrischen Ringen umfasst, jede Marke eine Kennung der Marke als eine Mehrzahl von Informationsbits in binärer Form als die Helligkeit oder Reflektivität und/oder Dicke von jedem Ring kodiert, die Kennung der Marken unter den Marken variiert und die Mitte der Ringe einen Referenzpunkt für die Marken bereitstellt.

44. Ein virtuelles Produktionsstudio nach Anspruch 43, bei dem zumindest 10 Marken an dessen Decke angebracht sind.

45. Ein virtuelles Produktionsstudio nach Anspruch 43 oder 44, das einen Speicher für die dreidimensionalen Positionen und Kennungen der Marken zur Verwendung bei einer Positionsbestimmung umfasst.

46. Ein virtuelles Produktionsstudio nach Anspruch 45, das zumindest eine Studiokamera umfasst, wobei die Studiokamera eine Vorrichtung zur Bestimmung der dreidimensionalen Position der Studiokamera in dem Studio-Referenzbild nach einem der Ansprüche 28 bis 37 aufweist.