DE102016119637A1

DE102016119637A1 - Fernsehübertragungssystem zur Erzeugung angereicherter Bilder

Info

Publication number: DE102016119637A1
Application number: DE102016119637.1A
Authority: DE
Inventors: Ralf Dragon
Original assignee: Uniqfeed AG
Current assignee: Uniqfeed AG
Priority date: 2016-10-14
Filing date: 2016-10-14
Publication date: 2018-04-19
Also published as: EP3526795A1; SG11201903217XA; CN109804431A; CA3039728C; KR102195053B1; KR20190065404A; JP6784363B2; CA3039728A1; JP2019536388A; US20190371363A1; US10832732B2; CN109804431B; WO2018069218A1

Abstract

Fernsehübertragungssystem, umfassendmehrere Fernsehkameras (C1, C2);wenigstens eine Regieeinheit (12), die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras (C1, C2) eine Abfolge von Regiebildern zu erzeugen und als Regiesignale (S3) auszugeben;mehrere Analysemodule (A1, A2), die dazu eingerichtet sind, jedes einzelne Kamerabild zu analysieren und Kamerabild-Metadaten (M) sowie einen zugehörigen Kamerabild-Hashwert (H) für jedes Kamerabild zu berechnen und für jedes Kamerabild die Kamerabild-Metadaten (M) und den Kamerabild-Hashwert (H) asynchron auszugeben;ein Synchronisationsmodul (14), das mit der Regieeinheit (12) und den Analysemodulen (A1, A2) verbunden ist und dazu eingerichtet ist, die Regiebilder von der Regieeinheit (12) synchron gepuffert zu empfangen und zu jedem Regiebild einen zugehörigen Regiebild-Hashwert (HR) zu berechnen, wobei das Synchronisationsmodul (14) ferner dazu eingerichtet ist, Regiebild-Hashwerte (RH) und Kamerabild-Hashwerte (H) zu vergleichen und basierend auf diesem Vergleich einem aktuellen Regiebild (Ri) die zugehörigen Kamerabild-Metadaten (Mj) eines Kamerabildes als Regiebild-Metadaten (MR) zuzuordnen, und die Regiebild-Metadaten (MR) synchron gepuffert auszugeben;

Description

Die Erfindung betrifft ein Fernsehübertragungssystem, umfassend mehrere Fernsehkameras, die dazu eingerichtet sind, Kamerabilder aufzunehmen und als Kamerasignale auszugeben, und eine Regieeinheit, die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras eine Abfolge von Regiebildern zu erzeugen und als Regiesignale auszugeben.
Derartige Fernsehübertragungssysteme sind hinlänglich bekannt und werden sowohl bei Live-Übertragungen als auch bei Postproduktionen eingesetzt. Bei Postproduktionen stammen die Kamerabilder in der Regel von wenigstens einem Speichermedium, etwa einer Harddisk oder dergleichen, auf dem die zuvor mittels der Kameras aufgezeichneten Bildfolgen gespeichert worden sind.
Es ist bekannt, bei solchen Fernsehübertragungssystemen Einblendungen oder Überblendungen vorzunehmen. Dabei werden zusätzlich zu den von den Kameras erzeugten Kamerabildern, Sensordaten von weiteren Sensoren erfasst, wie etwa von Beschleunigungssensoren, Kompass, Kreiselkompass, oder Distanzmesser, um zusätzliche Informationen über die Ausrichtung einer Kamera im Raum zu haben, so dass im Kamerabild dargestellte Objekte identifiziert und bei Bedarf überblendet werden können. Es ist in diesem Zusammenhang auch bekannt, zusätzliche Kameras einzusetzen, die nicht der Aufzeichnung von Fernsehbildern dienen, sondern deren Bildinhalte dazu verwendet werden, weitere Bildinformationen zum Fernsehbild bereitstellen zu können.
Aufgabe der Erfindung ist es, ein Fernsehübertragungssystem bereitzustellen, das ohne weitere Sensoren die Einblendung bzw. Überblendung von Teilbereichen eines erfassten Kamerabildes ermöglicht.
Es wird daher ein Fernsehübertragungssystem vorgeschlagen, umfassend:

mehrere Fernsehkameras, die dazu eingerichtet sind, Kamerabilder aufzunehmen und als Kamerasignale auszugeben;
wenigstens eine Regieeinheit, die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras eine Abfolge von Regiebildern zu erzeugen und als Regiesignale auszugeben;
mehrere Analysemodule, wobei jeder Fernsehkamera ein Analysemodul zugeordnet ist, wobei die Analysemodule dazu eingerichtet sind, die Kamerabilder synchron gepuffert zu empfangen, und wobei die Analysemodule dazu eingerichtet sind, jedes einzelne Kamerabild zu analysieren und Kamerabild-Metadaten sowie einen zugehörigen Kamerabild-Hashwert für jedes Kamerabild zu berechnen und für jedes Kamerabild die Kamerabild-Metadaten und den Kamerabild-Hashwert asynchron auszugeben;
ein Synchronisationsmodul, das mit der Regieeinheit und den Analysemodulen verbunden ist und dazu eingerichtet ist, die Regiebilder von der Regieeinheit synchron gepuffert zu empfangen und zu jedem Regiebild einen zugehörigen Regiebild-Hashwert zu berechnen, sowie die Kamerabild-Metadaten und den zugehörigen Kamerabild-Hashwert für jedes Kamerabild von den Analysemodulen asynchron gepuffert zu empfangen, wobei das Synchronisationsmodul ferner dazu eingerichtet ist, Regiebild-Hashwerte und Kamerabild-Hashwerte zu vergleichen und basierend auf diesem Vergleich einem aktuellen Regiebild die zugehörigen Kamerabild-Metadaten eines Kamerabildes als Regiebild-Metadaten zuzuordnen, und die Regiebild-Metadaten synchron gepuffert auszugeben;
ein Multipliziermodul, das mit dem Synchronisationsmodul und der Regieeinheit verbunden ist und dazu eingerichtet ist, die Regiebild-Metadaten von dem Synchronisationsmodul synchron gepuffert zu empfangen und die Regiebilder von der Regieeinheit synchron gepuffert zu empfangen, wobei es weiter dazu eingerichtet ist, einen zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten auszugleichen, und wobei es ferner dazu eingerichtet ist, basierend auf den Regiebild-Metadaten im Regiebild eine Veränderung von wenigstens einem Teilbereich des Regiebildes mittels einer Anreicherung zu erzeugen, so dass ein angereichertes Regiebild erzeugt wird, und das angereicherte Regiebild auszugeben.

Der hier verwendete Begriff „Regieeinheit“ repräsentiert insbesondere den Prozess der Bildauswahl und Bildaufbereitung, der beispielsweise in einen Regiewagen vor Ort durchgeführt wird. Der Begriff umfasst auch mehrere miteinander Verbundene Regieeinheiten, die jeweils unabhängig arbeiten, wie z.B. in Television Networks, in denen der Ausgang einer Regieeinheit Informationen an eine hierarchisch höher gelegene Regieeinheit weitergibt. Dies liegt z.B. bei Sportereignissen vor, bei denen verschiedene Spiele mit jeweils mehreren Kameras getrennt produziert werden.
Der hier verwendete Begriff „Anreicherung“ soll eine Art Verbesserung bzw. Veränderung des Abbildes der Realität bezeichnen, beispielsweise die Überblendung einer in der Realität in englischer Sprache verfassten Werbebotschaft auf einer Bande eines Sportplatzes mit einer gleichen oder anderen Werbung in einer anderen Landessprache, etwa der Landessprache des Ziellandes, in dem die Fernsehübertragung zu sehen ist. Allerdings ist eine Überblendung nicht die einzige Möglichkeit der Veränderung bzw. Anreicherung eines Regiebildes. Vielmehr kann im Rahmen der vorliegenden Erfindung unter einer Anreicherung auch verstanden werden, dass das Regiebild selbst örtlich verändert wird. Der hier verwendete Begriff „Anreicherung“ ist im Fachjargon auch als „Augmentierung“ bekannt, was sich an dem englischen Begriff „augment“ für verbessern, verstärken, anreichern orientiert.
Das hier vorgestellte Fernsehübertragungssystem arbeitet lediglich mit Kamerabildern. Ein Einsatz von weiteren Sensoren ist nicht erforderlich. Ferner ist das hier vorgestellte System dazu in der Lage, beliebige Flächen oder Teilbereiche mit anderer Bildinformation anzureichern bzw. zu augmentieren und verlangt dabei keinerlei Anpassung oder Einschränkung der real aufgenommenen Szene, wie beispielsweise bestimmte Hintergrundfarben (sogenanntes Chroma Keying) oder den Einsatz von selbstleuchtenden Hintergründen, wie etwa LED-Tafeln, Infrarot-Reflektierende Objekte oder dergleichen. Die Auswahl einer Anreicherung eines auszustrahlenden Regiebildes ergibt sich aus dem Vergleich des Regiebild-Hashwertes mit den Kamerabild-Hashwerten. Sind die beiden Hashwerte gleich, kann daraus abgeleitet werden, dass das aktuelle Regiebild einem von einer bestimmten Kamera aufgenommenen Kamerabild entspricht. Über die zugehörigen Kamerabild-Metadaten, in denen strukturierte Informationen über die tatsächlichen Bildinhalte, wie etwa im Falle einer Sportübertragung Spielfeld, Bande, Tribüne und dergleichen, enthalten sind, kann für einen Teilbereich des Regiebildes eine Anreicherung bzw. Überblendung oder Augmentierung bestimmt werden. Ist aus den Metadaten beispielsweise ableitbar, in welchem Bereich sich eine Bande mit Werbung befindet, kann dieser Werbebereich durch eine Anreicherung überblendet werden, etwa mit einer anderen Werbung.
Es wird darauf hingewiesen, dass das Fernsehübertragungssystem alternativ auch für eine Postproduktion eingesetzt werden kann. Anstelle der Fernsehkameras, welche die Bilder live aufnehmen und an die Analysemodule übertragen, steht dann mindestens ein Speichermedium, auf dem Kamerabilder einer Fernsehübertragung gespeichert worden sind. Diese gespeicherten Kamerabilder werden dann anstatt der live aufgenommenen Kamerabilder verwendet. Auch in diesem Falle kann jeder Kamera, deren Kamerabilder auf dem Speichermedium gespeichert worden sind, ein Analysemodul zugeordnet werden, um die Anreicherungen auch in einer Postproduktion ermöglichen zu können. Die Regieeinheit ist auch bei einer Postproduktion vorhanden, wobei man diese dann auch als Postproduktionseinheit bezeichnen kann.
Das Fernsehübertragungssystem kann ferner ein Steuermodul umfassen, das mit der Regieeinheit, den Analysemodulen, dem Synchronisierungsmodul und dem Multipliziermodul verbunden ist, wobei das Steuermodul dazu eingerichtet ist, die Analysemodule, das Synchronisierungsmodul und das Multipliziermodul zu aktivieren oder zu deaktivieren basierend auf einem von der Regieeinheit an das Steuermodul übertragenen Steuersignal. Das Steuermodul dient also dazu, die zu einem bekannten System zusätzlichen Komponenten des Fernsehübertragungssystems zentral zu steuern. Dabei ist es für die einfache Integration einer solchen Systemerweiterung vorteilhaft, dass das Steuermodul von der Regieeinheit aus angesteuert werden kann.
Das Steuermodul kann ferner dazu eingerichtet sein, den zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten zu überwachen oder zu steuern und den zeitlichen Versatz an das Multipliziermodul zu senden. Da das Regiebild keiner Analyse durch die Analysemodule unterliegt, liegen die Bildsignale eines Regiebildes in der Regel früher vor als die zugehörigen Regiebild-Metadaten, die auf der Grundlage der für jedes Kamerabild zu erstellenden Kamerabild-Metadaten erzeugt werden und aufgrund des oben beschriebenen Hashwert-Vergleichs zwischen einem aktuellen Regiebild und Kamerabildern einem aktuellen Regiebild zugeordnet werden.
Das Steuermodul kann ferner dazu eingerichtet sein, wenigstens eine vorgegebene Anreicherung zu speichern und die Anreicherung an das Multipliziermodul zu übertragen. Eine solche Anreicherung bzw. Augmentierung kann etwa in Form einer Bilddatei, einer Videosequenz, oder dergleichen vorliegen. Denkbar ist auch eine Textfolge, die unter Berücksichtigung weiterer Parameter beliebig grafisch dargestellt werden kann als Anreicherung bzw. Ein-/Überblendung in einem angereicherten Regiebild.
Das Steuermodul kann ferner dazu eingerichtet sein, wenigstens eine vorgegebene Animationsabfolge zu speichern und die Animationsabfolge an das Multipliziermodul zu senden. Eine solche Animationsabfolge dient dazu, einen abrupten Wechsel in einem Regiebild zu vermeiden, wenn von einem Regiebild zu einem angereicherten Regiebild übergegangen werden soll. Eine mögliche Animationsabfolge kann beispielsweise darin bestehen, dass über eine Folge einer bestimmten Anzahl Regiebilder ein sukzessives Verändern des Regiebildes erfolgt, etwa durch örtliche Veränderung bzw. Anreicherung des Regiebildes oder beispielsweise durch Einblenden der Anreicherung, und der reale Inhalt in diesem Bildbereich sukzessive so verändert wird, dass nur noch die Anreicherung sichtbar ist bzw. der ursprüngliche Regiebildbereich ausgeblendet wird. Mittels einer solchen Animationsabfolge kann beispielsweise eine virtuelle Rollbande, etwa nach oben oder unten rollen oder zur Seite rollen realisiert werden. Weiter ist es denkbar eine Art virtuelles Fenster bereitzustellen, bei dem der reale Inhalt aufgeklappt wird und die Anreicherung im aufgeklappten Bereich erscheint.
Das Multipliziermodul kann ferner dazu eingerichtet sein, in einem ersten Zustand das angereicherte Regiebild zu übertragen, in einem zweiten Zustand das Regiebild zu übertragen, in einem dritten Zustand den Übergang vom zweiten Zustand zum ersten Zustand durchzuführen mittels einer Animationsabfolge, und in einem vierten Zustand den Übergang vom ersten Zustand in den zweiten Zustand durchzuführen mittels einer Animationsabfolge. Dabei kann der erste Zustand auch als Zustand beschrieben werden, in dem üblicherweise eine Anreicherung des Regiebildes erfolgt und angereicherte Regiebilder ausgesendet werden. Der zweite Zustand kann auch Zustand beschrieben werden, in dem das Regiebild ohne Anreicherung ausgesendet wird, also unverändert durch das Multipliziermodul hindurch geht oder an diesem vorbei geleitet wird. Der dritte und vierte Zustand sind Übergangszustände, in denen die oben erwähnten Animationsabfolgen, wie etwa Rollbande oder ähnliches stattfinden, um das Aktivieren bzw. Deaktivieren einer Anreicherung der Regiebilder kontinuierlich zu ermöglichen.
Das Multipliziermodul kann wenigstens eine Anreicherungskomponente aufweisen, die dazu eingerichtet ist basierend auf dem ersten bis vierten Zustand, auf den Regiebild-Metadaten, auf der vom Steuermodul übertragenen Anreicherung und auf der vom Steuermodul übertragenen Animationsabfolge das angereicherte Regiebild zu erzeugen. Üblicherweise verfügt das Multipliziermodul über mehrere Anreicherungskomponenten, wobei jede Anreicherungskomponenten für das gleiche Regiebild eine andere Anreicherung erzeugt. Beispielsweise könnte es bei einer weltweitern Fernsehübertragung eine Anreicherungskomponente für jedes Land geben, in das das Fernsehsignal ausgesendet werden soll, so dass mittels der Anreicherungskomponente für jedes Land eine spezifisches Anreicherung, beispielsweise sprachlich und inhaltlich angepasste Bandenwerbung, eingeblendet werden kann.
Das Steuermodul kann wenigstens einen weiteren Dateneingang aufweisen, der dazu eingerichtet ist, Zusatzdaten von einer weiteren Kamera oder/und von einem Bildschirmsystem, insbesondere LED-System, oder/und von einem Videospeichersystem zu empfangen, wobei das Steuermodul dazu eingerichtet ist, die Zusatzdaten an das Multipliziermodul zu übertragen, wobei das Multipliziermodul dazu eingerichtet ist, die Zusatzdaten bei der Erzeugung des angereicherten Regiebilds zu berücksichtigen.
Das Fernsehübertragungssystem kann ferner ein elektronisches Bannersystem mit einem Bildsignalausgang umfassen, der mit mehreren Bannermonitoren verbunden ist und dazu eingerichtet ist, auf den mehreren Bannermonitoren Bannerbilder darzustellen oder/und zu animieren, wobei das Bannersystem mit dem Steuermodul verbunden ist und dazu eingerichtet ist, ein Bannerbildsignal für die Bannermonitore an das Steuermodul zu übertragen. Dabei können die Analysemodule dazu eingerichtet sein, Verdeckungen zu bestimmen, insbesondere Verdeckungen von einem Bannermonitor zu bestimmen basierend auf einem Vergleich zwischen den Bannerbildsignalen und einem Kamerabild. In einem Beispiel kann beispielsweise an einem Monitorausgang eines LED-Systems (Bandenwerbung) das Bild, das von den LEDs aktuell angezeigt wird, mit einem oder mehreren HDMI- oder DVI-Signalen aufgezeichnet werden. Das LED-System kann mithilfe einer Kalibrierungsanimation, die von jeder Kamera aufgezeichnet wird, radiometrisch kalibriert werden. Hierdurch kann eine Abbildungsfunktion ermittelt werden, die für einen bestimmten Farbwert im Originalbild auf den LEDs angezeigt werden soll, einen bestimmten anderen Farbwert im davon aufgenommenen Kamerabild vorhersagen kann. Hierdurch können durch das Analysemodul Verdeckungen von LEDs genau bestimmt werden, da zu jedem Zeitpunkt der zu erwartende Hintergrund bekannt ist.
Das Multipliziermodul kann auch dazu eingerichtet sein, ein angereichertes Regiebild bereitzustellen, in dem eine Anreicherung oder Überblendung in einem bestimmten Bildbereich für jede Kameraeinstellung orthogonal projiziert wird. Hier wird insbesondere daran gedacht, dass die Anreicherung bzw. Augmentierung eine spezifische Geometrie besitzt, die aus Sicht der Kamera orthogonal projiziert wird. Dies ist einer Art virtueller „Cam Carpet“, einem vorverzerrten Muster, das auf eine Folie gedruckt ist, wobei die Folie auf dem Boden ausgebreitet ist. Im Falle einer Anreicherung mit spezifischer Geometrie muss das einzublendende Muster nicht verzerrt sein, sondern kann je nach Kameraausrichtung individuell berechnet und im angereicherten Regiebild eingeblendet werden. Entsprechend könnte im üblichen Bereich eines „Cam Carpet“, beispielsweise links und rechts der Tore bei einem Fußballfeld, in der Realität, also im Stadion selbst, ein Muster bzw. eine Werbedarstellung auf einer Folie ausgedruckt ausgebreitet werden, wobei das Muster für die im Stadion befindlichen Zuschauer optimal lesbar ist. Dieses für die Zuschauer im Stadion lesbare Muster kann im Rahmen der Fernsehübertragung mittels einer Anreicherung überblendet werden, so dass das gleiche Muster oder ein anderes Muster in Abhängigkeit der Kameraausrichtung immer optimal dargestellt ist im angereicherten Regiebild.
Die Multipliziereinheit kann ferner dazu eingerichtet sein, in einem angereicherten Regiebild eine teilweise Veränderung oder Überblendung eines aufgenommenen transparenten Objekts, wie etwa einer durchsichtigen Scheibe oder dergleichen, bereitzustellen, derart dass auf dem transparenten Objekt im angereicherten Regiebild eine Anreicherung oder/und eine Animation sichtbar ist. Bei einer derartigen Veränderung bzw. Überblendung von einem transparenten Hintergrund wird auch daran gedacht, dass die Anreicherung bzw. Animation selbst transparente oder halbtransparente Bereiche aufweist, so dass beispielsweise visuell wahrnehmbare Löcher oder Öffnungen in den Anreicherungen enthalten sein können. Solche Animationen bzw. Anreicherungen können auch beliebige Umrisse aufweisen, wenn die nicht zum Umriss bzw. einer Flächenfüllung gehörigen Bereiche transparent dargestellt werden können. Hier wird beispielsweise daran gedacht, dass eine transparente Plexiglas-Einfassung eines Eishockeyfelds dazu genutzt wird, Muster oder Werbung einblenden zu können. Eine solche Überblendung könnte beispielsweise auch bei mobilen Interviewwänden in Betracht kommen. Solche Interviewwände sind in der Regel mit den Sponsoren der Veranstaltung bedruckt bzw. beklebt. Mittels des hier vorgestellten Systems könnten im Bereich dieser Wände gezielte Anreicherungen eingeblendet werden, um beispielsweise die Sponsoren unterschiedlicher Mannschaften zu berücksichtigen, etwa in Abhängigkeit des jeweiligen Interviewpartners.
Das Multipliziermodul kann ferner dazu eingerichtet sein, mehrere unterschiedlich angereicherte Regiebilder zu erzeugen und synchron auf unterschiedlichen Ausgängen auszugeben. Dies ermöglicht, wie bereits oben erwähnt, die Ausgabe verschieden angereicherter Regiebilder, etwa in Abhängigkeit der Länder, in die das angereicherte Regiebild übertragen werden soll, oder in Abhängigkeit davon, ob das angereicherte Regiebild einem Kunden von Bezahlfernsehen oder einem Kunden von freiem Fernsehen übertragen werden soll.
Die oben für das System beschriebenen Eigenschaften und Merkmale können auch als Verfahren formuliert werden. Entsprechend wird auch das folgende Verfahren zur Anreicherung von Bildern einer Fernsehübertragung oder Fernsehaufzeichnung vorgeschlagen, umfassend die Schritte:

Aufnehmen von Kamerabildern durch mehrere Fernsehkameras und Ausgeben der Kamerabilder als Kamerasignale;
Erzeugen einer Abfolge von Regiebildern, die aus einer Auswahl aus den Kamerabildern der mehreren Fernsehkameras erzeugt wird und ausgeben der Regiebilder als Regiebildsignale;
synchron gepuffertes Empfangen der Kamerabilder der mehreren Fernsehkameras in einem jeweiligen Analysemodul, wobei jedes Kamerabild analysiert wird und für jedes Kamerabild Kamerabild-Metadaten erzeugt werden und ein Kamerabild-Hashwert berechnet wird, und wobei die Kamerabild-Metadaten und der Kamerabild-Hashwert von dem jeweiligen Analysemodul asynchron ausgegeben werden;
synchron gepuffertes Empfangen der Regiebilder in einem Synchronisiermodul, Berechnen eines Regiebild-Hashwerts für jedes Regiebild, und asynchron gepuffertes Empfangen der Kamerabild-Metadaten und des zugehörigen Kamerabild-Hashwerts für jedes Kamerabild, wobei die Regiebild-Hashwerte und Kamerabild-Hashwerte verglichen werden und basierend auf diesem Vergleich einem aktuellen Regiebild die zugehörigen Kamerabild-Metadaten eines Kamerabildes als Regiebild-Metadaten zugeordnet werden und die Regiebild-Metadaten synchron gepuffert ausgegeben werden;
synchron gepuffertes Empfangen der Regiebild-Metadaten und der Regiebilder in einem Multipliziermodul, Ausgleichen eines zeitlichen Versatzes zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten in dem Multipliziermodul und Erzeugen einer Überblendung in wenigstens einem Teilbereich des Regiebildes mit einer Anreicherung basierend auf den Regiebild-Metadaten, so dass ein angereichertes Regiebild erzeugt wird, und Ausgeben des angereicherten Regiebildes.

Gemäß einem weiteren selbständigen Aspekt der Erfindung wird ein Fernsehübertragungssystem vorgeschlagen, umfassend

mehrere Fernsehkameras, die dazu eingerichtet sind, Kamerabilder aufzunehmen und als Kamerasignale auszugeben, oder wenigstens ein Speichermedium, das dazu eingerichtet ist, zuvor mittels Fernsehkameras aufgenommene Kamerabilder zu speichern und gespeicherte Kamerabilder als Kamerasignale) auszugeben;
wenigstens eine Regieeinheit, die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras eine Abfolge von Regiebildern zu erzeugen und als Regiesignale auszugeben;
mehrere Analysemodule, wobei jeder Fernsehkamera ein Analysemodul zugeordnet ist, wobei die Analysemodule dazu eingerichtet sind, die Kamerabilder synchron gepuffert zu empfangen, und wobei die Analysemodule dazu eingerichtet sind, jedes einzelne Kamerabild zu analysieren und Kamerabild-Metadaten sowie einen zugehörigen Kamerabild-Hashwert für jedes Kamerabild zu berechnen und für jedes Kamerabild die Kamerabild-Metadaten und den Kamerabild-Hashwert asynchron auszugeben;
ein Synchronisationsmodul, das mit der Regieeinheit und den Analysemodulen verbunden ist und dazu eingerichtet ist, die Regiebilder von der Regieeinheit synchron gepuffert zu empfangen und zu jedem Regiebild einen zugehörigen Regiebild-Hashwert zu berechnen, sowie die Kamerabild-Metadaten und den zugehörigen Kamerabild-Hashwert für jedes Kamerabild von den Analysemodulen asynchron gepuffert zu empfangen, wobei das Synchronisationsmodul ferner dazu eingerichtet ist, Regiebild-Hashwerte und Kamerabild-Hashwerte zu vergleichen und basierend auf diesem Vergleich einem aktuellen Regiebild die zugehörigen Kamerabild-Metadaten eines Kamerabildes als Regiebild-Metadaten zuzuordnen, und die Regiebild-Metadaten synchron gepuffert auszugeben;
ein Multipliziermodul, das mit dem Synchronisationsmodul und der Regieeinheit verbunden ist und dazu eingerichtet ist, die Regiebild-Metadaten von dem Synchronisationsmodul synchron gepuffert zu empfangen und die Regiebilder von der Regieeinheit synchron gepuffert zu empfangen, wobei es weiter dazu eingerichtet ist, einen zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten auszugleichen, und wobei es ferner dazu eingerichtet ist, basierend auf den Regiebild-Metadaten im Regiebild eine Veränderung von wenigstens einem Teilbereich des Regiebildes mittels einer Anreicherung zu erzeugen, so dass ein angereichertes Regiebild erzeugt wird, und das angereicherte Regiebild auszugeben, wobei das Multipliziermodul ferner dazu eingerichtet ist, in einem ersten Zustand das angereicherte Regiebild zu übertragen, in einem zweiten Zustand das Regiebild zu übertragen, in einem dritten Zustand den Übergang vom zweiten Zustand zum ersten Zustand durchzuführen mittels einer Animationsabfolge, und in einem vierten Zustand den Übergang vom ersten Zustand in den zweiten Zustand durchzuführen mittels einer Animationsabfolge.

Bei einem solchen System ermöglicht das Multipliziermodul mittels der genannten Zustände ein beliebiges Ein-/Ausschalten von Anreicherungen, wobei durch die Verwendung von Animationsabfolgen für einen das (angereicherte) Regiebild empfangenden Benutzer nicht mehr ersichtlich ist, ob er das eigentliche Regiebild, das dauerhaft angereicherte Regiebild oder einen Übergangsbild (während einer Animationsabfolge) sieht. Somit kann das Ein-/Ausschalten des Anreicherns elegant und für einen Benutzer bzw. Zuschauer unbemerkt und auch frei von visuellen Störeffekten erfolgen.
Die Erfindung wird nachfolgend unter Bezugnahme auf die anliegenden Figuren beispielhaft und nicht einschränkend beschrieben.

1 zeigt eine vereinfachte schematische Darstellung des Fernsehübertragungssystems.
2 zeigt schematisch einen Analysevorgang.
3 zeigt schematisch einen Synchronisierungsvorgang.
4 zeigt schematisch ein Multipliziermodul und den zugehörigen Multipliziervorgang.
5 zeigt Zustände, die im Multipliziermodul vorkommen.
6 zeigt ein Beispiel einer Anreicherung inklusive einer zugehörigen Animationsabfolge.

Ein Fernsehübertragungssystem 10 umfasst mehrere Kameras C1, C2 und eine Regieeinheit 12, wobei die Kameras C1, C2 ihre Kamerabilder als Kamerabildsignale an die Regieeinheit 12 übertragen. In der Regel gehören zu einem solchen Fernsehübertragungssystem 10 mehr als zwei Kameras C1, C2, was durch die drei schwarzen Punkte rechts der Kamera C2 angedeutet ist.
In der vorliegenden Darstellung sind getaktet bzw. synchron verarbeitete Daten bzw. getaktet (synchron) betriebene Module mit durchgezogenen Linien dargestellt. Asynchron betriebene Module bzw. asynchron verarbeitete Daten sind gestichelt dargestellt. Ein üblicher Verarbeitungspfad, der hinlänglich bekannt ist, startet bei den Kameras C1, C2. Die Kamerasignale S1 werden von mehreren Kameras C1, C2 (bis Cn) aufgenommen und zur Regieeinheit 12 übertragen. Innerhalb der Regieeinheit 12 wird aus den Kamerabildern der einzelnen Kameras C1 bis Cn eine Regiebildabfolge bzw. ein Regiebildsignal zusammengestellt bzw. geschnitten. Das geschnittene Regiebildsignal S3 bzw. die aufeinanderfolgenden Regiebilder, was im Fachjargon auch als World-Feed bezeichnet wird, wird ausgestrahlt. In diesem Zusammenhang wird darauf hingewiesen, dass auch bei einer Postproduktion, wie etwa bei Wiederholungen, Zeitlupen, Interviews oder dergleichen, die Möglichkeit gegeben ist, Anreicherungen, insbesondere die gleichen Anreicherungen wie in einem davor live ausgestrahlten Bild aufzunehmen bzw. einzublenden. Hierzu kann die Regieeinheit dazu eingerichtet sein, das Anreichern mittels des Steuermoduls auch für solche Postproduktionen während oder nach einer Live-Übertragungssequenz zu aktivieren oder zu deaktivieren.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird das Fernsehübertragungssystem 10 wie folgt erweitert. Kamerasignale S1 werden an Analysemodule A1, A2 (bis An, angedeutet durch drei schwarze Punkte unterhalb von A2) weitergegeben. Die Analysemodule A1, A2 geben die Signale S2 weiter an ein Auswahl- bzw. Synchronisationsmodul 14. Jeder Kamera C1, C2 ist ein Analysemodul A1, A2 zugeordnet. Durch die Analysemodule A1, A2 werden für jedes Kamerabild Kamerabild-Metadaten M1, M2 (bis Mn) erzeugt und ein zugehöriger Hashwert H1, H2 (bis Hn) berechnet. Ein jeweiliges Paar aus den Metadaten und dem Hashwert, also beispielsweise M1, H1 oder M2, H2 werden als Signale S2 von den Analysemodulen A1, A2 an das Synchronisationsmodul 14 übertragen. Das Synchronisationsmodul 14 erhält ferner von der Regieeinheit das Regiebildsignal S3a bzw. die Regiebilder. Das Synchronisationsmodul 14 gibt überarbeitete Metadaten S4 der im Regiebild aktuell sichtbaren Kamera weiter an ein Multipliziermodul 16. Das Multipliziermodul 16 erzeugt mehrere angereicherte Regiebildsignale S5, die ausgestrahlt werden. Die Analysemodule A1, A2, das Synchronisationsmodul 14 und das Multipliziermodul 16 werden durch ein Steuer- bzw. Kontrollmodul 18 angesteuert. Das Steuermodul 18 wird über die Regieeinheit 12 angesteuert. Ferner ist in der Darstellung der 1 noch ein optionales LED-System 20 angedeutet, das Bilddaten über ein Bildtransportprotokoll, beispielsweise HDMI- oder DVI, an das Steuermodul 18 übergibt. Dieses LED-System ist für die grundsätzliche Funktionsweise des Fernsehübertragungssystems 10 jedoch nicht zwingend.
2 zeigt beispielhaft den Vorgang in einem Analysemodul A1, A2. An das Analysemodul A1, A2 werden als Eingabe (Input) synchron gepuffert Kamerabilder bzw. Kamerabildsignale übergeben. Der Puffer, in dem die Kamerabilder zwischengespeichert werden ist mit P bezeichnet. Für jedes Kamerabild einer Kamera C1, C2 werden im zugehörigen Analysemodul A1, A2 Kamerabild-Metadaten M und ein Kamerabild-Hashwert H bestimmt bzw. berechnet. Diese Metadaten M und der zugehörige Kamerabild-Hashwert H werden als Ausgangsgrößen (Output) von dem jeweiligen Analysemodul A1, A2 bereitgestellt.
Ein Analysemodul A1, A2 erhält somit als Input getaktet Kamerabilder einer Kamera C1, C2, die in einem Puffer P abgelegt werden. Das betreffende Analysenmodul A1, A2 erkennt die Position von zu überblendeten Objekten, die durch das Steuermodul 18 mitgeteilt werden. Zusätzlich werden Verdeckungen dieser Objekte durch Vordergrund, der nicht überblendet werden soll, analysiert, z.B. mittels Verfahren, wie sie beschrieben sind in „Boun Vinh Lu; Kakuta, T.; Kawakami, R.; Oishi, T.; Ikeuchi, K., „Foreground and shadow occlusion handling for outdoor augmented reality," Mixed and Augmented Reality (ISMAR), 2010 9th IEEE International Symposium on , vol., no., pp.109,118, 13-16 Oct. 2010“. Hierfür werden aktuelle Bildverarbeitungsverfahren genutzt (z.B. Objekterkennung, Objektdetektion, Convolutional Neural Networks), die asynchron Bild für Bild aus dem Puffer P verarbeiten. Die extrahierten Metadaten M werden mit einem Kamerabild-Hashwert H versehen, der aus dem verarbeiteten Bildinhalt bestimmt wird. Dies kann beispielsweise mittels LSH erfolgen, wie dies in beispielsweise in „Loïc Paulevé, Hervé Jégou, Laurent Amsaleg. Locality sensitive hashing: a comparison of hash function types and querying mechanisms. Pattern Recognition Letters, Elsevier, 2010, 31 (11), pp.1348-1358“ beschrieben ist. Selbstverständlich können auch andere Berechnungsmethoden für die Hashwerte in Frage kommen und das erwähnte Verfahren ist rein beispielhaft. Die Kamerabild-Hashwerte H werden durch geeignete Transformationen robust gegenüber Teilverdeckungen und Transformationen gemacht. Dadurch können die extrahierten Metadaten M später einem zugehörigen Regiebild zugeordnet werden, wenn die Regie 12 auf die zugrundeliegende Kamera C1, C2 schaltet.
3 zeigt schematisch das Synchronisationsmodul 14 und den zugehörigen Vorgang. Das Synchronisationsmodul 14 erhält als Eingangsgrößen (Input) die synchron gepufferten Regiebilder R bzw. Regiebildsignale, insbesondere über den Signalweg S3a (1). Ferner erhält das Synchronisationsmodul 14 von den jeweiligen Analysemodulen A1, A2 von allen Kameras C1, C2 für jedes Kamerabild die zugehörigen Metadaten M und den Kamerabild-Hashwert H als asynchron gepufferte Daten. Das Synchronisationsmodul 14 erkennt, welches Bild welcher Kamera C1, C2 von der Regieeinheit 12 angezeigt wird. Ferner wird erkannt, wie groß die Verzögerung der Regie ist. Für sämtliche Regiebilder R wird bei 22 in derselben Art und Weise, wie in einem Analysemodul A1, A2, ein Regiebild-Hashwert HR berechnet. Für die Erkennung werden die Kamerabild-Hashwerte Hnk (n: Kamera, k: Index im Puffer) sämtlicher Datensätze der Analysebildhashpuffer Pn mit den Regiebild-Hashwerten HR sämtlicher Datensätze HR1 im Regiebildhashpuffer PR verglichen.
Als Ausgangsgröße bzw. Output werden diejenigen Metadaten Mnk ausgegeben, die folgende Funktion erfüllen: $\underset{n, x}{argmin} \frac{1}{| w (x) |} \sum_{l \in w (x), k = l - x} d (H R I, H n k),$
Hierbei stellt d eine geeignete Metrik zum Vergleich von Hashwerten dar. Ferner bezeichnet w(x) das um x Werte verschobene Fenster, in dem PR und Pn verglichen werden können. 1 läuft über alle Abtastwerte innerhalb des Fensters und k analog über alle Abtastwerte des verschobenen Fensters. Der Betrag | w(x) | ist die Anzahl von Verschiebungen im Fenster bzw. die Anzahl Summanden für die Summenformel. Um eine ausreichende numerische Stabilität zu erreichen sollte | w(x) | ausreichend groß gewählt werden, beispielsweise kann | w(x) | etwa der halben Puffergröße entsprechen. Wenn die oben gezeigte Summe einen gegebenen Schwellwert überschreitet, wird den Metadaten Mnk ein Tag INVALID hinzugefügt. Bleibt die Summe unter dem Schwellwert, wird den Metadaten der Tag VALID hinzugefügt.
Anhand eines sehr einfachen Beispiels soll dies kurz erläutert werden. Es ist allerdings darauf hinzuweisen, dass dieses Beispiel in der Realität für die tatsächliche Verarbeitung von Fernsehbildsignalen wegen des Mangels an Hash-Informationen und wegen fehlender Robustheit von d nicht funktionieren würde. Das Beispiel soll hier lediglich das Verständnis für die angewandte obige Funktion verbessern.
Es wird angenommen, dass der Hashwert eindimensional ist und dass d in obiger Formel die Betragsdifferenz ist zwischen HR1 und Hnk. Weiter wird angenommen, dass von links in den Puffer geschoben wird, somit befindet sich das ältestes Bild mit niedrigstem Index rechts. Der Betrag | w(x) | wird als mindestens 3 angenommen, so dass x=-1, 0, und +1 möglich sind. Im Beispiel wird von drei Kameras (n=1 bis 3) ausgegangen. Folgende Puffersituation wird angeschaut:

HR1 1=4 1=3 1=2 1=1

PR 9 3 2 8

Hnk k=4 k=3 k=2 k=1

P1 (n=1) 9 9 8 9

P2 (n=2) 7 9 3 3

P3 (n=3) 1 4 5 6
Ohne hier die gesamte Berechnung darzulegen, wird darauf hingewiesen, dass das Paar (n,x), das die beste Lösung bezüglich der obigen Funktion darstellt, (n=2, x=1) ist. Dies bedeutet, dass Kamera 2 sichtbar ist (also das Kamerabild von Kamera 2 als Regiebild verwendet wird) und dass die Indizes 1 und k folgenden Zusammenhang stehen: k=1-1. Die oben erwähnte Summe geht dabei über w(x=1)={2,3,4} bzw. dazu passend k in {1,2,3}. Dabei entsprechen die jeweiligen Hashwerte einander bis auf PR(1=2) und P2(k=1) mit d=1.
4 zeigt schematisch das Multipliziermodul 16 und den zugehörigen Vorgang. Eingangsgrößen (Input) sind die Regiebild-Metadaten MR zum Regiebild bzw. Regiesignal und das Regiebild bzw. Regiesignal R selbst, wobei diese Eingangsgrößen synchron gepuffert werden. Die Regiebild-Metadaten MR werden vom Synchronisationsmodul 14 bereitgestellt (S4 in 1). Das Multipliziermodul gibt Regiebilder bzw. Regiesignale mit verschiedenen Anreicherungen bzw. Augmentierungen als Signal S5 aus, das dann tatsächlich ausgestrahlt wird. Dieses angereicherte Regiebild bzw. Regiesignal wird synchron gepuffert ausgegeben.
Das Multipliziermodul 16 weist Anreicherungskomponenten AK1, AK2 bis AKn auf, was durch die drei Punkte unterhalb von AK2 angedeutet ist. Die Anreicherungskomponenten AK1, AK2 nutzen die Metadaten Mj, einen Zustand Z(t) sowie durch das Steuermodul 18 vorgegebene Animationen und Anreicherungen, um das Regiebild bzw. Regiesignal individuell zu überblenden.
Ein konstanter Zeitversatz (i-j) zwischen den bereitgestellten Regiebild-Metadaten MR und den Regiebildern R, der durch das Synchronisationsmodul 14 hervorgerufen wird, wird dem Multipliziermodul 16 über das Steuermodul 18 mitgeteilt. Basierend auf dieser Information kann der zeitliche Versatz durch die Puffer PR und PM ausgeglichen werden, so dass jedem Regiebild die zugehörigen Metadaten korrekt zugeordnet werden können.
Die möglichen Zustände für Z(t) können dabei durch zwei Variablen EN und TR beschrieben werden, wobei EN eine Repräsentation ist, ob Anreicherungen eingeschaltet oder ausgeschaltet sind, und wobei TR eine Repräsentation ist, ob eine Übergangsanimation beim Wechsel zwischen einem Einschaltzustand und einem Ausschaltzustand abgespielt werden soll.
Die Zustände sind

Z=1, wobei EN=1 und TR=0 sind, und die Anreicherungskomponente regulär gemäß Metadaten anreichern soll, d.h. die Anreicherungen (Augmentierungen) sind eingeschaltet (Einschaltzustand);
Z=2, wobei EN=0 und TR=0 sind, und die Anreicherungskomponente Originalbilder ausgeben soll, ohne Einblendung von Anreicherungen, d.h. die Anreicherungen (Augmentierungen) sind ausgeschaltet (Ausschaltzustand);
Z=3, wobei EN=1 und TR=1 sind, und die Anreicherungskomponente eine Übergangsanimation abspielen soll ausgehend von einem Einschaltzustand (Z=1) zu einem Ausschaltzustand (Z=2); und
Z=4, wobei EN=0 und TR=1 sind, und die Anreicherungskomponente eine Übergangsanimation abspielen soll ausgehend von einem Ausschaltzustand (Z=2) zu einem Einschaltzustand (Z=1).

Die Zustände Z(t) = 1 bis 4 und deren Übergänge sind in der 5 beispielhaft als Diagramm dargestellt. Das Ausschalten der Anzeige von Anreicherungen ist dabei ein N Takte dauernder Übergang von Z=1 und OK=0 (Daten S2(t) sind ungeeignet zur Anzeige) über Z=3 zu Z=2. Das Einschalten der Anzeige von Anreicherungen ist ein N Takte dauernder Übergang von Z=2 und OK= 1 (Daten S2(t) sind geeignet zur Anzeige) über Z=4 zu Z=1.
Diese Zustandsübergänge erlauben es den Anreicherungskomponenten AK1, AK2, das aktuelle Kamerabild (Regiebild) nicht nur zu überblenden, sondern gezielt zu verändern, so dass beim Einschalten nicht erkennbar ist, ob aktuell Realität oder Anreicherung bzw. Augmentation sichtbar ist. Dadurch lassen sich Effekte wie beispielsweise „virtuelle Rollbande“ (die Realität wird „hin- und hergerollt“), „virtuelle Fenster“ (die Realität wird „aufgeklappt“) o.ä. erzielen.
Das Beispiel virtuelle Rollbande wird hier anhand der 6 kurz erläutert. Das erste Bild (links) zeigt den Zustand Z=2, es wird das reale Bild als Regiebild ausgestrahlt. Die Bilder 2 bis 4 (von links nach rechts) zeigen der Übergangszustand Z=4, in dem eine Animation eingesetzt wird, um die Anreicherung „Augment“ in das auszustrahlende Regiebild sukzessive einzublenden. Im rechten Bild 5 ist der Zustand Z=1 erreicht, in dem die Anreicherung „Augment“ dauerhaft in das auszustrahlende Regiebild eingeblendet wird. Selbstverständlich kann eine solche virtuelle Rollbande auch für den Übergang vom Zustand Z=1 zum Zustand Z=2 mit dem Übergangzustand Z=3 genutzt werden, wenn die Anreicherung deaktiviert werden soll.
Hinsichtlich des Abspielens von Animationen und einem dazu eingerichteten System wird auf die von der gleichen Anmelderin am gleichen Tag eingereichte Anmeldung mit dem Titel „System zur Erzeugung angereicherter Bilder“ hingewiesen. Das dort beschriebene System mit seinen verschiedenen Modulen wird hier für die obigen Erläuterungen zu den 4 bis 6 vollständig durch Bezugnahme aufgenommen. Insbesondere können das hier beschriebene Multipliziermodul 16 und das Steuermodul 18 entsprechende Funktionen der in der erwähnten parallelen Patentanmeldung beschriebenen Module übernehmen. In der in Bezug genommenen Patentanmeldung wird spezifisch auf alle Ausführungen in der Figurenbeschreibung Bezug genommen, die auch für die vorliegende Anmeldung Relevanz hat und deren Offenbarungsgehalt auch für eine Konkretisierung von Merkmalen der vorliegenden Anmeldung in Betracht gezogen werden kann.
Das in 1 dargestellte Steuermodul 18 übernimmt die zentrale Ansteuerung sämtlicher anderer Module, nämlich Analysemodule A1, A2, Synchronisationsmodul 14 und Multipliziermodul 16. Das Steuermodul 18 selbst wird durch die Regieeinheit 12 angesteuert. Hierdurch kann die Regie zu jedem Zeitpunkt das Anreicherungs-System deaktivieren (Z=1 zu Z=3 und dann Z=2) und aktivieren (Z=2 zu Z=4 und dann Z=1), wobei das Deaktivieren bzw. Aktivierung mittels Zustands Z(t) des Multipliziermoduls 16 erreicht wird.
Das Steuermodul 18 kann optional mit einem oder mehreren beliebigen Input-Video gekoppelt werden, wie etwa dem in 1 angedeuteten LED-System 20, von einer weiteren Kamera oder aus einem Video-Storage-System. Das Steuermodul 18 kann diesen weiteren Datenstrom an die Anreicherungskomponenten A1, A2 aus dem Multipliziermodul 16 weitergeben, so dass beispielsweise mit virtuellen Live-Videos augmentiert werden kann. Dies ermöglicht z.B. virtuelle Leinwände.
Wie bereits erwähnt kann als eine optionale Erweiterung an einem Monitorausgang des LED-Systems 20 das Bild, welches die LEDs aktuell anzeigen, mit einem oder mehreren Bild-Signalen aufgezeichnet werden. Das LED-System kann mithilfe einer Kalibrierungsanimation, die von jeder Kamera aufgezeichnet wird, radiometrisch oder geometrisch kalibriert werden. Dadurch kann eine Abbildfunktion f:x→y ermittelt werden, die für einen bestimmten Farbwert x im Originalbild, das auf den LEDs angezeigt werden soll, einen bestimmten Farbwert y im davon aufgenommenen Kamerabild vorhersagen kann. Dies ermöglicht es, dass die Analysemodule A1, A2 Verdeckungen genau bestimmen kann, da zu jedem Zeitpunkt der Hintergrund bekannt ist bzw. der zu erwartende Farbwert an der betreffenden Stelle des Bildes.
Hinsichtlich der Einbindung eines LED-Systems und damit verbundene Möglichkeiten bei der verbesserten Segmentierung von Vordergrundobjekten und Hintergrundobjekten wird auf die von der gleichen Anmelderin am gleichen Tag eingereichte Anmeldung mit dem Titel „System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen“. Das dort beschriebene System und entsprechende Verfahrensschritte können beim dem hier vorgestellten Fernsehübertragungssystem eingebunden werden, insbesondere kann das dort beschriebene Kontrollmodul K kann beim hier beschriebenen System im Steuermodul 18 enthalten sein. Die dort beschriebene Displayvorrichtung kann beim hier beschriebenen LED-System 20 enthalten sein. Aus der Zusammenschau der dortigen 1 und der 1 der vorliegenden Anmeldung ist ersichtlich, dass das System der parallelen Anmeldung ohne weiteres in das Fernsehübertragungssystem eingebunden werden kann. Entsprechend wird auf die parallele Anmeldung mit dem Titel „System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen“ vollständig Bezug genommen und alle dort beschriebenen Merkmale können auch für das hier vorgestellte Fernsehsystem einbezogen werden, insbesondere auch die Datenbank für Anzeigeinformationen (Videoclips) sowie entsprechende Netzwerkverbindungen. Ferner können die hier beschriebenen Analysemodule selbstverständlich auch die in der parallelen Anmeldung beschriebene Energiefunktion berechnen und minimieren.
Das hier vorgestellte Fernsehübertragungssystem ermöglicht das Verändern von realen Bildinhalten quasi in Echtzeit, insbesondere in einem Zeitraum, in dem die verschiedenen Kamerasignale in der Regieeinheit zum auszustrahlenden Regiesignal geschnitten werden. Die rein auf Bilderkennung basierenden Analysen zur Bestimmung von Metadaten sind so gewählt, dass der in solchen Übertragungssystemen übliche Takt kaum verzögert wird. Typische Einsatzfelder eines solchen System können beispielsweise Sportübertragungen in unterschiedliche Länder sein, wobei für jedes Land im Vorfeld bestimmt wird, welche Werbung in Form von Anreicherungen zur Verfügung gestellt werden soll und dann entsprechend eingeblendet werden soll. Wird also beispielsweise in der Realität eine Bannerwerbung des veranstaltenden Landes gezeigt, kann mittels Anreicherungen für jedes Land, in das die Veranstaltung übertragen wird, eine landesspezifische Werbung als Anreicherung bzw. Augmentierung eingeblendet werden. Dabei wird durch die Übergangszustände (Z=3 oder 4) im Multiplikationsmodul auch ein glatter Übergang zwischen Realität und virtueller Anreicherung ermöglicht, so dass ein Fernsehzuschauer nicht unterscheiden kann, ob der die reale Werbung sieht, die auch am Ort der Veranstaltung sichtbar ist, oder ob er eine eingeblendete spezifische Werbung bzw. Anreicherung sieht. Wie bereits zu Anfang erwähnt, kommt das vorgestellte Fernsehübertragungssystem ohne weitere Sensoren aus, die irgendwelche Positionen, Distanzen oder dergleichen bestimmen. Das Funktionsprinzip basiert rein auf der Bildanalyse in Echtzeit von jedem Kamerabild, das eine Kamera aufgenommen hat.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Boun Vinh Lu; Kakuta, T.; Kawakami, R.; Oishi, T.; Ikeuchi, K., „Foreground and shadow occlusion handling for outdoor augmented reality,“ Mixed and Augmented Reality (ISMAR), 2010 9th IEEE International Symposium on , vol., no., pp.109,118, 13-16 Oct. 2010 [0029]
Loïc Paulevé, Hervé Jégou, Laurent Amsaleg. Locality sensitive hashing: a comparison of hash function types and querying mechanisms. Pattern Recognition Letters, Elsevier, 2010, 31 (11), pp.1348-1358 [0029]

Claims

Fernsehübertragungssystem, umfassend mehrere Fernsehkameras (C1, C2), die dazu eingerichtet sind, Kamerabilder aufzunehmen und als Kamerasignale (S1) auszugeben, oder wenigstens ein Speichermedium, das dazu eingerichtet ist, zuvor mittels Fernsehkameras aufgenommene Kamerabilder zu speichern und gespeicherte Kamerabilder als Kamerasignale (S1) auszugeben; wenigstens eine Regieeinheit (12), die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras (C1, C2) eine Abfolge von Regiebildern zu erzeugen und als Regiesignale (S3) auszugeben; mehrere Analysemodule (A1, A2), wobei jeder Fernsehkamera (C1, C2) ein Analysemodul (A1, A2) zugeordnet ist, wobei die Analysemodule (A1, A2) dazu eingerichtet sind, die Kamerabilder synchron gepuffert zu empfangen, und wobei die Analysemodule (A1, A2) dazu eingerichtet sind, jedes einzelne Kamerabild zu analysieren und Kamerabild-Metadaten (M) sowie einen zugehörigen Kamerabild-Hashwert (H) für jedes Kamerabild zu berechnen und für jedes Kamerabild die Kamerabild-Metadaten (M) und den Kamerabild-Hashwert (H) asynchron auszugeben; ein Synchronisationsmodul (14), das mit der Regieeinheit (12) und den Analysemodulen (A1, A2) verbunden ist und dazu eingerichtet ist, die Regiebilder von der Regieeinheit (12) synchron gepuffert zu empfangen und zu jedem Regiebild einen zugehörigen Regiebild-Hashwert (HR) zu berechnen, sowie die Kamerabild-Metadaten (M) und den zugehörigen Kamerabild-Hashwert (H) für jedes Kamerabild von den Analysemodulen (A1, A2) asynchron gepuffert zu empfangen, wobei das Synchronisationsmodul (14) ferner dazu eingerichtet ist, Regiebild-Hashwerte (RH) und Kamerabild-Hashwerte (H) zu vergleichen und basierend auf diesem Vergleich einem aktuellen Regiebild (Ri) die zugehörigen Kamerabild-Metadaten (Mj) eines Kamerabildes als Regiebild-Metadaten (MR) zuzuordnen, und die Regiebild-Metadaten (MR) synchron gepuffert auszugeben; ein Multipliziermodul (16), das mit dem Synchronisationsmodul (14) und der Regieeinheit (12) verbunden ist und dazu eingerichtet ist, die Regiebild-Metadaten (MR) von dem Synchronisationsmodul (14) synchron gepuffert zu empfangen und die Regiebilder von der Regieeinheit (12) synchron gepuffert zu empfangen, wobei es weiter dazu eingerichtet ist, einen zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten (MR) auszugleichen, und wobei es ferner dazu eingerichtet ist, basierend auf den Regiebild-Metadaten (MR) im Regiebild eine Veränderung von wenigstens einem Teilbereich des Regiebildes mittels einer Anreicherung zu erzeugen, so dass ein angereichertes Regiebild erzeugt wird, und das angereicherte Regiebild auszugeben.
Fernsehübertragungssystem nach Anspruch 1, wobei es ferner ein Steuermodul (18) umfasst, das mit der Regieeinheit (12), den Analysemodulen (A1, A2), dem Synchronisierungsmodul (14) und dem Multipliziermodul (16) verbunden ist, wobei das Steuermodul (18) dazu eingerichtet ist, die Analysemodule (A1, A2), das Synchronisierungsmodul (14) und das Multipliziermodul (16) zu aktivieren oder zu deaktivieren basierend auf einem von der Regieeinheit (12) an das Steuermodul (18) übertragenen Steuersignal.
Fernsehübertragungssystem nach Anspruch 2, wobei das Steuermodul (18) ferner dazu eingerichtet ist, den zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten zu überwachen oder zu steuern und den zeitlichen Versatz an das Multipliziermodul (16) zu senden.
Fernsehübertragungssystem nach Anspruch 2 oder 3, wobei das Steuermodul (18) ferner dazu eingerichtet ist, wenigstens eine vorgegebene Anreicherung zu speichern und die Anreicherung an das Multipliziermodul (16) zu übertragen.
Fernsehübertragungssystem nach Anspruch 3 oder 4, wobei das Steuermodul (18) ferner dazu eingerichtet ist, wenigstens eine vorgegebene Animationsabfolge zu speichern und die Animationsabfolge an das Multipliziermodul (16) zu senden.
Fernsehübertragungssystem nach Anspruch 5, wobei das Multipliziermodul (16) ferner dazu eingerichtet ist, in einem ersten Zustand (Z1) das angereicherte Regiebild zu übertragen, in einem zweiten Zustand (Z2) das Regiebild zu übertragen, in einem dritten Zustand (Z3) den Übergang vom zweiten Zustand (Z2) zum ersten Zustand (Z1) durchzuführen mittels einer Animationsabfolge, und in einem vierten Zustand (Z4) den Übergang vom ersten Zustand (Z1) in den zweiten Zustand (Z2) durchzuführen mittels einer Animationsabfolge.
Fernsehübertragungssystem nach Anspruch 6, wobei das Multipliziermodul (16) wenigstens eine Anreicherungskomponente (AK1, AK2) aufweist, die dazu eingerichtet ist basierend auf dem ersten bis vierten Zustand, auf den Regiebild-Metadaten (MR), auf der vom Steuermodul (18) übertragenen Anreicherung und auf der vom Steuermodul (18) übertragenen Animationsabfolge das angereicherte Regiebild zu erzeugen.
Fernsehübertragungssystem nach einem der Ansprüche 2 bis 7, wobei das Steuermodul (18) wenigstens einen weiteren Dateneingang aufweist, der dazu eingerichtet ist, Zusatzdaten von einer weiteren Kamera oder/und von einem Bildschirmsystem, insbesondere LED-System (20), oder/und von einem Videospeichersystem zu empfangen, wobei das Steuermodul (18) dazu eingerichtet ist, die Zusatzdaten an das Multipliziermodul (16) zu übertragen, wobei das Multipliziermodul (16) dazu eingerichtet ist, die Zusatzdaten bei der Erzeugung des angereicherten Regiebilds zu berücksichtigen.
Fernsehübertragungssystem nach einem der vorhergehenden Ansprüche, ferner umfassend ein elektronisches Bannersystem mit einem Bildsignalausgang der mit mehreren Bannermonitoren verbunden ist und dazu eingerichtet ist, auf den mehreren Bannermonitoren Bannerbilder darzustellen oder/und zu animieren, wobei das Bannersystem mit dem Steuermodul verbunden ist und dazu eingerichtet ist, ein Bannerbildsignal für die Bannermonitore an das Steuermodul zu übertragen.
Fernsehübertragungssystem nach einem der vorhergehenden Ansprüche, wobei die Analysemodule dazu eingerichtet sind, Verdeckungen zu bestimmen, insbesondere Verdeckungen von einem Bannermonitor zu bestimmen basierend auf einem Vergleich zwischen den Bannerbildsignalen und einem Kamerabild.
Fernsehübertragungssystem nach einem der vorhergehenden Ansprüche, wobei das Multipliziermodul (16) dazu eingerichtet ist, ein angereichertes Regiebild bereitzustellen, in dem eine Anreicherung oder Überblendung in einem bestimmten Bildbereich für jede Kameraeinstellung orthogonal projiziert wird.
Fernsehübertragungssystem nach einem der vorhergehenden Ansprüche, wobei die Multipliziereinheit (16) dazu eingerichtet ist, in einem angereicherten Regiebild eine teilweise Veränderung oder Überblendung eines aufgenommenen transparenten Objekts, wie etwa einer durchsichtigen Scheibe oder dergleichen, bereitzustellen, derart dass auf dem transparenten Objekt im angereicherten Regiebild eine Anreicherung oder/und eine Animation sichtbar ist, wobei vorzugsweise die Anreicherung oder/und die Animation selbst transparente Bereiche aufweist.
Fernsehübertragungssystem nach einem der vorhergehenden Ansprüche, wobei das Multipliziermodul (16) dazu eingerichtet ist mehrere unterschiedlich angereicherte Regiebilder zu erzeugen und synchron auf unterschiedlichen Ausgängen auszugeben.
Verfahren zur Anreicherung von Bildern einer Fernsehübertragung oder Fernsehaufzeichnung, umfassend die Schritte: Aufnehmen von Kamerabildern durch mehrere Fernsehkameras und Ausgeben der Kamerabilder als Kamerasignale; Erzeugen einer Abfolge von Regiebildern, die aus einer Auswahl aus den Kamerabildern der mehreren Fernsehkameras erzeugt wird und ausgeben der Regiebilder als Regiebildsignale; synchron gepuffertes Empfangen der Kamerabilder der mehreren Fernsehkameras in einem jeweiligen Analysemodul, wobei jedes Kamerabild analysiert wird und für jedes Kamerabild Kamerabild-Metadaten erzeugt werden und ein Kamerabild-Hashwert berechnet wird, und wobei die Kamerabild-Metadaten und der Kamerabild-Hashwert von dem jeweiligen Analysemodul asynchron ausgegeben werden; synchron gepuffertes Empfangen der Regiebilder in einem Synchronisiermodul, Berechnen eines Regiebild-Hashwerts für jedes Regiebild, und asynchron gepuffertes Empfangen der Kamerabild-Metadaten und des zugehörigen Kamerabild-Hashwerts für jedes Kamerabild, wobei die Regiebild-Hashwerte und Kamerabild-Hashwerte verglichen werden und basierend auf diesem Vergleich einem aktuellen Regiebild die zugehörigen Kamerabild-Metadaten eines Kamerabildes als Regiebild-Metadaten zugeordnet werden und die Regiebild-Metadaten synchron gepuffert ausgegeben werden; synchron gepuffertes Empfangen der Regiebild-Metadaten und der Regiebilder in einem Multipliziermodul, Ausgleichen eines zeitlichen Versatzes zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten in dem Multipliziermodul und Erzeugen einer Überblendung in wenigstens einem Teilbereich des Regiebildes mit einer Anreicherung basierend auf den Regiebild-Metadaten, so dass ein angereichertes Regiebild erzeugt wird, und Ausgeben des angereicherten Regiebildes.
Fernsehübertragungssystem, umfassend mehrere Fernsehkameras (C1, C2), die dazu eingerichtet sind, Kamerabilder aufzunehmen und als Kamerasignale (S1) auszugeben, oder wenigstens ein Speichermedium, das dazu eingerichtet ist, zuvor mittels Fernsehkameras aufgenommene Kamerabilder zu speichern und gespeicherte Kamerabilder als Kamerasignale (S1) auszugeben; wenigstens eine Regieeinheit (12), die dazu eingerichtet ist, aus den Kamerabildern der mehreren Fernsehkameras (C1, C2) eine Abfolge von Regiebildern zu erzeugen und als Regiesignale (S3) auszugeben; mehrere Analysemodule (A1, A2), wobei jeder Fernsehkamera (C1, C2) ein Analysemodul (A1, A2) zugeordnet ist, wobei die Analysemodule (A1, A2) dazu eingerichtet sind, die Kamerabilder synchron gepuffert zu empfangen, und wobei die Analysemodule (A1, A2) dazu eingerichtet sind, jedes einzelne Kamerabild zu analysieren und Kamerabild-Metadaten (M) sowie einen zugehörigen Kamerabild-Hashwert (H) für jedes Kamerabild zu berechnen und für jedes Kamerabild die Kamerabild-Metadaten (M) und den Kamerabild-Hashwert (H) asynchron auszugeben; ein Synchronisationsmodul (14), das mit der Regieeinheit (12) und den Analysemodulen (A1, A2) verbunden ist und dazu eingerichtet ist, die Regiebilder von der Regieeinheit (12) synchron gepuffert zu empfangen und zu jedem Regiebild einen zugehörigen Regiebild-Hashwert (HR) zu berechnen, sowie die Kamerabild-Metadaten (M) und den zugehörigen Kamerabild-Hashwert (H) für jedes Kamerabild von den Analysemodulen (A1, A2) asynchron gepuffert zu empfangen, wobei das Synchronisationsmodul (14) ferner dazu eingerichtet ist, Regiebild-Hashwerte (RH) und Kamerabild-Hashwerte (H) zu vergleichen und basierend auf diesem Vergleich einem aktuellen Regiebild (Ri) die zugehörigen Kamerabild-Metadaten (Mj) eines Kamerabildes als Regiebild-Metadaten (MR) zuzuordnen, und die Regiebild-Metadaten (MR) synchron gepuffert auszugeben; ein Multipliziermodul (16), das mit dem Synchronisationsmodul (14) und der Regieeinheit (12) verbunden ist und dazu eingerichtet ist, die Regiebild-Metadaten (MR) von dem Synchronisationsmodul (14) synchron gepuffert zu empfangen und die Regiebilder von der Regieeinheit (12) synchron gepuffert zu empfangen, wobei es weiter dazu eingerichtet ist, einen zeitlichen Versatz zwischen einem Regiebild und den zugehörigen Regiebild-Metadaten (MR) auszugleichen, und wobei es ferner dazu eingerichtet ist, basierend auf den Regiebild-Metadaten (MR) im Regiebild eine Veränderung von wenigstens einem Teilbereich des Regiebildes mittels einer Anreicherung zu erzeugen, so dass ein angereichertes Regiebild erzeugt wird, und das angereicherte Regiebild auszugeben, wobei das Multipliziermodul (16) ferner dazu eingerichtet ist, in einem ersten Zustand (Z1) das angereicherte Regiebild zu übertragen, in einem zweiten Zustand (Z2) das Regiebild zu übertragen, in einem dritten Zustand (Z3) den Übergang vom zweiten Zustand (Z2) zum ersten Zustand (Z1) durchzuführen mittels einer Animationsabfolge, und in einem vierten Zustand (Z4) den Übergang vom ersten Zustand (Z1) in den zweiten Zustand (Z2) durchzuführen mittels einer Animationsabfolge.