DE102021126316A1

DE102021126316A1 - Admission procedure and admission system

Info

Publication number: DE102021126316A1
Application number: DE102021126316.6A
Authority: DE
Inventors: Frank Zeidler
Original assignee: Arnold and Richter Cine Technik GmbH and Co KG
Current assignee: Arnold and Richter Cine Technik GmbH and Co KG
Priority date: 2021-10-11
Filing date: 2021-10-11
Publication date: 2023-04-13

Abstract

Ein Aufnahmeverfahren zur Aufnahme einer Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, mittels einer Kamera umfasst: dass eine Hintergrund-Wiedergabeeinrichtung dazu angesteuert wird, periodisch abwechselnd eine jeweilige Darstellung des virtuellen Hintergrunds und einen Keying-Hintergrund, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv unterscheiden lässt, wiederzugeben, so dass innerhalb einer jeweiligen Wiedergabeperiode zumindest einmal die jeweilige Darstellung des virtuellen Hintergrunds sowie zumindest einmal der Keying-Hintergrund wiedergegeben wird; und dass die Kamera dazu angesteuert wird, während einer Aufnahme innerhalb jeder Wiedergabeperiode mindestens ein erstes Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und mindestens ein zweites Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt.A recording method for recording a scene that includes a real subject in front of a virtual background using a camera includes: that a background playback device is controlled to periodically alternate a respective representation of the virtual background and a keying background, which is based on a unique Criterion can be automatically distinguished from the real motif, so that within a respective playback period at least once the respective representation of the virtual background and at least once the keying background is reproduced; and that the camera is controlled to record at least a first image of the scene during a recording within each display period, while the background display device displays the respective representation of the virtual background, and to record at least a second image of the scene while the background display device is displaying the keying background.

Description

Die Erfindung betrifft ein Aufnahmeverfahren sowie ein Aufnahmesystem zur Aufnahme einer Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, mittels einer Kamera.The invention relates to a recording method and a recording system for recording a scene, which includes a real motif in front of a virtual background, using a camera.

Bei dem Motiv kann es sich um einen oder mehrere Gegenstände und/oder eine oder mehrere Personen, zum Beispiel Schauspieler oder Moderatoren, handeln. Dabei kann es gewünscht sein, ein solches Motiv in einer besonderen Umgebung aufzunehmen, was sich aber unter Umständen aus verschiedenen Gründen nicht realisieren lässt, beispielsweise weil das reale Motiv aus Zeit- und/oder Kostengründen nicht tatsächlich in diese Umgebung gebracht werden kann, weil es sich bei der Umgebung um eine nicht real existierende Umgebung handelt, die sich nicht oder nur mit übermäßigem Aufwand nachstellen lässt, oder weil die Umgebung in besonderer Weise veränderlich, zum Beispiel animiert, sein soll. In einem solchen Fall kann es zweckmäßig sein, die gewünschte Umgebung in Form eines virtuellen Hintergrunds hinter dem realen Motiv erscheinen zu lassen. Der virtuelle Hintergrund kann beispielsweise eine Stillbild- oder Bewegtbildaufnahme einer realen Umgebung, eine synthetisch erzeugte Computergrafik oder Computeranimation oder auch eine Kombination daraus sein. Der im vorliegenden Zusammenhang genannte virtuelle Hintergrund umfasst also Bildinformation, die ein Hintergrundmotiv repräsentiert und die von einer zugeordneten Kamera als scheinbar reale Umgebung einer Szene unmittelbar aufgenommen werden kann. Grundsätzlich wird angestrebt, dass sich ein reales Motiv vor jedem beliebigen gewünschten Hintergrund darstellen lässt. Die Darstellung eines realen Motivs „vor“ einem virtuellen Hintergrund ist in diesem Zusammenhang umfassend zu verstehen, da die virtuelle Umgebung auch oberhalb oder unterhalb des realen Motivs vorgesehen sein kann.The motif can be one or more objects and/or one or more people, for example actors or presenters. It may be desirable to record such a motif in a special environment, but this may not be possible for various reasons, for example because the real motif cannot actually be brought into this environment for reasons of time and/or cost, because it the environment is not a real environment that cannot be simulated or can only be simulated with excessive effort, or because the environment should be changeable in a special way, for example animated. In such a case, it can be useful to let the desired surroundings appear behind the real subject in the form of a virtual background. The virtual background can be, for example, a still image or moving image recording of a real environment, synthetically generated computer graphics or computer animation, or a combination thereof. The virtual background mentioned in the present context thus includes image information which represents a background motif and which can be recorded directly by an associated camera as the seemingly real environment of a scene. Basically, the aim is that a real motif can be displayed in front of any desired background. In this context, the representation of a real motif “in front of” a virtual background is to be understood comprehensively, since the virtual environment can also be provided above or below the real motif.

Es sind verschiedene Techniken bekannt, die es ermöglichen, ein mit einer Kamera aufgenommenes reales Motiv mit einem virtuellen Hintergrund zu kombinieren, um es für einen Betrachter des resultierenden Bewegtbildes oder Stillbildes so erscheinen zu lassen, als befände sich das reale Motiv tatsächlich in der durch den virtuellen Hintergrund dargestellten Umgebung.Various techniques are known that make it possible to combine a real motif recorded with a camera with a virtual background in order to make it appear to a viewer of the resulting moving image or still image as if the real motif were actually in the environment shown in virtual background.

Beispielsweise kann das reale Motiv vor einem besonderen Hintergrund aufgenommen werden, der sich auf eindeutige Weise von dem realen Motiv unterscheidet und sich daher in dem aufgenommenen Stillbild oder Bewegtbild automatisiert identifizieren, entfernen und durch einen beliebig wählbaren virtuellen Hintergrund ersetzen lässt. Durch das Entfernen des Hintergrundes wird das reale Motiv freigestellt, was auch als Keying bezeichnet wird. Im Folgenden werden speziell im Hinblick auf ihrer Eignung für ein Keying verwendete Hintergründe daher als Keying-Hintergründe bezeichnet. Ein solcher Keying-Hintergrund kann beispielsweise als einfarbige Fläche ausgebildet sein, dessen Farbe genau definiert ist und von dem realen Motiv vorzugsweise nicht aufgewiesen wird, so dass der Keying-Hintergrund anhand dieser Farbe von dem realen Motiv unterschieden werden kann (sogenanntes Chroma-Keying). Insbesondere kann es sich bei einem solchen Keying-Hintergrund um einen Green-Screen oder Blue-Screen handeln. Alternativ oder zusätzlich zur Farbe kann auch die Helligkeit als Kriterium für die Unterscheidung zwischen einem Keying-Hintergrund und dem jeweiligen realen Motiv im Vordergrund herangezogen werden (sogenanntes Luminance-Keying oder Luma-Keying), beispielsweise indem ein hell beleuchtetes reales Motiv vor einem schwarzen bzw. dunklen Hintergrund aufgenommen wird.For example, the real subject can be recorded in front of a special background that clearly differs from the real subject and can therefore be automatically identified in the recorded still image or moving image, removed and replaced by any virtual background that can be selected. By removing the background, the real motif is released, which is also known as keying. In the following, backgrounds used specifically with regard to their suitability for keying are therefore referred to as keying backgrounds. Such a keying background can, for example, be in the form of a monochromatic area, the color of which is precisely defined and is preferably not exhibited by the real motif, so that the keying background can be distinguished from the real motif using this color (so-called chroma keying) . In particular, such a keying background can be a green screen or blue screen. As an alternative or in addition to the color, the brightness can also be used as a criterion for distinguishing between a keying background and the respective real motif in the foreground (so-called luminance keying or luma keying), for example by placing a brightly lit real motif in front of a black or dark background .dark background is recorded.

Derartige Keying-Techniken erlauben ein besonders präzises Freistellen des realen Motivs. Nachteilig kann jedoch sein, dass es zwischen dem Keying-Hintergrund und dem realen Motiv im Vordergrund keinen Zusammenhang gibt, so dass Interaktionen zwischen dem Vordergrund und dem Hintergrund unnatürlich erscheinen können. Insbesondere kann es für reale Schauspieler im Vordergrund schwierig sein, Handlungen mit räumlichem Bezug zu Elementen des erst in der Nachbearbeitung der Aufnahme eingefügten virtuellen Hintergrunds auszuführen. Ein weiterer Nachteil insbesondere von Chroma-Keying kann darin bestehen, dass das von dem Keying-Hintergrund abgestrahlte Licht das reale Motiv im Vordergrund treffen kann und dadurch an dem realen Motiv eine Beleuchtungssituation erzeugt (z.B. Grünstich), die unnatürlich wirkt und/oder nicht zu dem später eingesetzten virtuellen Hintergrund passt.Keying techniques of this type allow the real motif to be cut out with particular precision. However, it can be disadvantageous that there is no connection between the keying background and the real subject in the foreground, so that interactions between the foreground and the background can appear unnatural. In particular, it can be difficult for real actors in the foreground to perform actions that are spatially related to elements of the virtual background that were only added in post-production. Another disadvantage of chroma keying in particular can be that the light emitted by the keying background can hit the real subject in the foreground and thus create a lighting situation on the real subject (e.g. green tint) that looks unnatural and/or not suitable fits the virtual background used later.

Alternativ zu Techniken, bei denen der jeweils gewünschte virtuelle Hintergrund erst nachträglich durch Ersetzen des eigentlich aufgenommenen Hintergrunds in die Aufnahme eingefügt wird, besteht ferner die Möglichkeit, den virtuellen Hintergrund gleich während der Kameraaufnahme hinter dem realen Motiv anzuzeigen, so dass er zusammen mit dem realen Motiv aufgenommen wird. Ein solches Vorgehen kann beispielsweise in einem virtuellen Bildaufnahmestudio zur Anwendung kommen und erfordert eine Hintergrund-Wiedergabeeinrichtung, welche dazu ausgebildet ist, hinter einem realen Motiv eine Darstellung eines virtuellen Hintergrunds wiederzugeben.As an alternative to techniques in which the desired virtual background is inserted into the recording later by replacing the background actually recorded, there is also the option of displaying the virtual background behind the real subject during the camera recording, so that it can be viewed together with the real one subject is recorded. Such a procedure can be used in a virtual image recording studio, for example, and requires a background display device that is designed to display a representation of a virtual background behind a real motif.

Derartige Hintergrund-Wiedergabeeinrichtungen können insbesondere dazu dienen, in einem Bildaufnahmestudio eine Landschaft oder eine Umgebung wiederzugeben, in welcher eine Aufnahme mittels einer zugeordneten Kamera erfolgen soll und welche einen virtuellen Hintergrund für eine aufzunehmende Szene bildet. Dabei kann es sich bei dem Bildaufnahmestudio beispielsweise um ein Filmstudio zum Aufnehmen von Bewegtbildsequenzen oder um ein Fotostudio handeln, in welchem Einzelbilder bzw. Stillbilder aufgenommen werden. Generell kann eine derartige Aufnahme ein lokales Speichern von Bilddaten oder eine Übertragung an einen entfernten Ort (z.B. Broadcast, Streaming) umfassen. In dem virtuellen Bildaufnahmestudio kann somit ein virtueller Hintergrund bzw. eine virtuelle Umgebung geschaffen werden, in welcher sich ein Schauspieler während einer Bewegtbildaufnahme bewegen oder welche einen Hintergrund für eine Stillbildaufnahme bilden kann. Derartige Hintergrund-Wiedergabeeinrichtungen können sich beispielsweise über eine Breite von mindestens 5 m und eine Höhe von mindestens 2 m erstrecken, um mehrere Schauspieler vor einem gemeinsamen (virtuellen) Hintergrund aufnehmen zu können.Such background reproduction devices can be used in particular to reproduce a landscape or an environment in an image recording studio, in which an on acquisition is to take place by means of an associated camera and which forms a virtual background for a scene to be recorded. The image recording studio can be, for example, a film studio for recording moving image sequences or a photo studio in which individual images or still images are recorded. In general, such a recording can include local storage of image data or transmission to a remote location (eg broadcast, streaming). A virtual background or a virtual environment can thus be created in the virtual image recording studio, in which an actor can move during a moving image recording or which can form a background for a still image recording. Such background reproduction devices can, for example, extend over a width of at least 5 m and a height of at least 2 m in order to be able to record several actors in front of a common (virtual) background.

Beispielsweise bei Bewegtbildaufnahmen kann eine Hintergrund-Wiedergabeeinrichtung zum Wiedergeben einer Darstellung eines virtuellen Hintergrunds zum Einsatz kommen, um eine Szene unmittelbar in der vorgesehenen Umgebung aufnehmen zu können. Insbesondere kann dadurch das Schauspiel erleichtert werden, da etwaige in dem virtuellen Hintergrund ablaufende Ereignisse von einem Schauspieler wahrgenommen werden können und der Schauspieler auf diese Ereignisse reagieren kann. Anders als bei der Verwendung eines Keying-Hintergrunds (z.B. Green-Screen), bei welchem die Umgebung für den Schauspieler nicht sichtbar ist, kann der Schauspieler sein Schauspiel somit an etwaige Hintergrundgeschehnisse anpassen, und ein Regisseur, eine Kameraperson oder sonstige an einer Kameraaufnahme beteiligte Personen kann bzw. können bereits während der Aufnahme einen Gesamteindruck der Szene gewinnen und die Szene beurteilen. Zudem kann die gesamte Szene oder ein entsprechender Ausschnitt eines Films unmittelbar nach der Aufnahme angesehen und überprüft werden, ohne dass der für die Szene vorgesehene Hintergrund noch in die Aufnahme eingefügt werden muss.For example, in the case of recordings of moving images, a background reproduction device can be used to reproduce a representation of a virtual background in order to be able to record a scene directly in the intended environment. In particular, this can make acting easier, since any events taking place in the virtual background can be perceived by an actor and the actor can react to these events. Unlike using a keying background (e.g. green screen), where the environment is not visible to the actor, the actor can thus adapt his acting to any background events, and a director, camera operator or other person involved in a camera shot People can already gain an overall impression of the scene during the recording and assess the scene. In addition, the entire scene or a corresponding part of a film can be viewed and reviewed immediately after recording, without having to add the background intended for the scene to the recording.

Bei Stillbildaufnahmen kann eine derartige Hintergrund-Wiedergabeeinrichtung beispielsweise dazu genutzt werden, in einem Bildaufnahmestudio und somit in einem kontrollierbaren Umfeld Fotografien in grundsätzlich beliebigen Umgebungen aufnehmen zu können und dabei während des Fotografierens das entstehende Bild vollständig im Blick zu haben. Der Hintergrund und das reale Motiv bzw. eine zu fotografierende Person können somit optimal aufeinander abgestimmt werden bzw. zusammenwirken. Zudem kann das aufgenommene Foto unmittelbar angesehen werden, um gegebenenfalls erforderliche Anpassungen vornehmen zu können.In the case of still image recordings, such a background reproduction device can be used, for example, to be able to take photographs in basically any surroundings in an image recording studio and thus in a controllable environment and to have a complete view of the resulting image during the photographing. The background and the real motif or a person to be photographed can thus be optimally coordinated with one another or interact. In addition, the photo taken can be viewed immediately in order to be able to make any necessary adjustments.

Ein weiterer Vorteil, der sich daraus ergibt, dass der gewünschte virtuelle Hintergrund bereits während der Aufnahme auf einer Hintergrund-Wiedergabeeinrichtung wiedergegeben wird, besteht in der Interaktion zwischen Licht aus virtuell dargestellten Lichtquellen und dem realen Motiv im Vordergrund. Diese Interaktion, die zu einer veränderten Farbigkeit des realen Motivs führen und/oder dynamisch bewegte Reflexe an dem realen Motiv erzeugen kann, trägt zu der wahrgenommenen Natürlichkeit der Aufnahme positiv bei.Another advantage that results from the fact that the desired virtual background is already reproduced on a background reproduction device during the recording consists in the interaction between light from light sources represented virtually and the real motif in the foreground. This interaction, which can lead to a changed color of the real motif and/or can generate dynamically moving reflections on the real motif, contributes positively to the perceived naturalness of the recording.

Zum Wiedergeben der Darstellung des virtuellen Hintergrunds kann die Hintergrund-Wiedergabeeinrichtung beispielsweise ein elektronisches Display mit einer aktiven Pixelmatrix bilden oder aufweisen und insbesondere eine oder mehrere aktive Beleuchtungseinrichtungen mit einer Vielzahl von aktiv leuchtenden Bildpunktelementen umfassen. Beispielsweise kann zur Wiedergabe einer Darstellung eines virtuellen Hintergrunds in einem virtuellen Bildaufnahmestudio eine LED- oder OLED-Wand zum Einsatz kommen, deren Bildpunktelemente individuell und/oder in Gruppen benachbarter Bildpunktelemente ansteuerbar sein können. Die Bildpunktelemente einer solchen aktiven Beleuchtungseinrichtung können daher insbesondere Leuchtdioden umfassen und/oder als Leuchtdioden ausgebildet sein, wobei als Leuchtdioden LED (Light Emitting Diode) oder OLED (Organic Light Emitting Diode bzw. organische Leuchtdiode) vorgesehen sein können. Ferner können die Leuchtdioden Teil einer Flüssigkristallanzeige sein.To reproduce the representation of the virtual background, the background reproduction device can, for example, form or have an electronic display with an active pixel matrix and, in particular, comprise one or more active lighting devices with a large number of actively luminous pixel elements. For example, an LED or OLED wall can be used to reproduce a representation of a virtual background in a virtual image recording studio, the pixel elements of which can be controlled individually and/or in groups of adjacent pixel elements. The pixel elements of such an active lighting device can therefore in particular comprise light-emitting diodes and/or be designed as light-emitting diodes, with LED (Light Emitting Diode) or OLED (Organic Light Emitting Diode) being provided as light-emitting diodes. Furthermore, the light emitting diodes can be part of a liquid crystal display.

Darüber hinaus können LED-Wände oder OLED-Wände mehrere Paneele oder Felder umfassen, an welchen die Bildpunktelemente angeordnet sind und welche gemeinsam die LED-Wand oder die OLED-Wand bilden. Während die Paneele im Wesentlichen zweidimensional ausgebildet sein und sich die an einem Paneel angeordneten Bildpunktelemente in der Regel in einer flächigen Anordnung erstrecken können, kann durch eine geeignete Anordnung mehrerer Paneele beispielsweise erreicht werden, dass die aktive Beleuchtungseinrichtung abschnittsweise gekrümmt und/oder gewölbt ausgebildet ist. Dadurch kann die aktive Beleuchtungseinrichtung beispielsweise sowohl hinter als auch unter und/oder über dem realen Motiv in dem virtuellen Bildaufnahmestudio angeordnet werden, um auch das unmittelbare Aufnehmen einer Darstellung eines virtuellen Bodens bzw. einer virtuellen Decke eines Raums oder eines virtuellen Himmels in dem Bildaufnahmestudio zu ermöglichen.In addition, LED walls or OLED walls can comprise a number of panels or fields on which the pixel elements are arranged and which together form the LED wall or the OLED wall. While the panels are essentially two-dimensional and the pixel elements arranged on a panel can generally extend in a planar arrangement, a suitable arrangement of several panels can, for example, result in the active lighting device being curved and/or arched in sections. As a result, the active lighting device can be arranged, for example, both behind and below and/or above the real subject in the virtual image recording studio, in order to also enable the direct recording of a representation of a virtual floor or a virtual ceiling of a room or a virtual sky in the image recording studio make possible.

Alternativ zu einer LED-Wand oder einer OLED-Wand kann eine Darstellung eines virtuellen Hintergrunds grundsätzlich auch durch Lichtpunkte erzeugt werden, die durch Reflektion oder Transmission an einer Bildwand, beispielsweise einer Leinwand für eine Rückprojektion, erzeugt werden. Bei einer solchen Ausführungsform kann die aktive Lichterzeugung durch einen Projektor erfolgen, wobei an der Leinwand die Bildpunktelemente lediglich indirekt gebildet sind.As an alternative to an LED wall or an OLED wall, a representation of a virtual background can in principle also be generated by points of light that are generated by reflection or transmission on a screen, for example a screen for rear projection. In such an embodiment, the light can be actively generated by a projector, with the pixel elements being formed only indirectly on the screen.

Insbesondere kann es eine derartige Hintergrund-Wiedergabeeinrichtung ermöglichen, durch entsprechendes Ansteuern der Bildpunktelemente einen virtuellen Hintergrund, der insbesondere eine dreidimensionale Szenerie repräsentieren kann, bildlich dazustellen und/oder durch Verändern der Ansteuerung während einer Aufnahme anzupassen. Eine Hintergrund-Wiedergabeeinrichtung bietet somit eine Möglichkeit, einen virtuellen Hintergrund für eine aufzunehmende Szene lebendig und leicht anpassbar darzustellen und dadurch insbesondere das Schauspiel oder die Gestik zu erleichtern.In particular, such a background reproduction device can enable a virtual background, which can in particular represent a three-dimensional scenery, to be visualized by appropriate control of the pixel elements and/or to be adapted by changing the control during a recording. A background display device thus offers the possibility of displaying a virtual background for a scene to be recorded in a lively and easily adaptable manner and thereby in particular facilitating the acting or the gestures.

Problematisch an Techniken, bei denen der virtuelle Hintergrund direkt bei der Aufnahme hinter dem realen Motiv angezeigt und zusammen mit dem realen Motiv von der Kamera aufgenommen wird, kann sein, dass im Vergleich zu Keying-Techniken die Nachbearbeitung der Aufnahme erschwert ist. Insbesondere kann die Nachbearbeitung im Wesentlichen in derselben Weise wie bei Aufnahmen vor einem realen Hintergrund aufwendig und hinsichtlich der Bildqualität limitiert sein, da sich der bildlich dargestellte virtuelle Hintergrund in der Aufnahme nicht in einer eindeutigen und insbesondere automatisierbaren Weise vom Vordergrund unterscheiden lässt, die ein einfaches Freistellen des realen Motivs im Vordergrund erlauben würde. Korrekturen der Aufnahme sind daher nur bedingt möglich.A problem with techniques in which the virtual background is displayed directly behind the real subject during the recording and is recorded by the camera together with the real subject can be that post-processing of the recording is more difficult compared to keying techniques. In particular, the post-processing can be expensive and limited in terms of image quality in essentially the same way as with recordings in front of a real background, since the virtual background shown in the recording cannot be distinguished from the foreground in a clear and, in particular, automatable way, which is a simple Freeing up the real subject in the foreground would allow. Corrections to the recording are therefore only possible to a limited extent.

Es ist eine Aufgabe der Erfindung, ein Aufnahmeverfahren sowie ein Aufnahmesystem zur Aufnahme einer Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, bereitzustellen, welche die kreativen Möglichkeiten einer solchen Aufnahme erweitert, insbesondere indem sie einerseits Interaktionen zwischen dem realen Motiv und dem virtuellen Hintergrund vereinfacht und andererseits zugleich eine qualitativ hochwertige Nachbearbeitung der Aufnahme ermöglicht.It is an object of the invention to provide a recording method and a recording system for recording a scene that includes a real subject in front of a virtual background, which expands the creative possibilities of such a recording, in particular by on the one hand interactions between the real subject and the virtual simplifies the background and at the same time enables high-quality post-processing of the recording.

Die Aufgabe wird gelöst durch ein Aufnahmeverfahren mit den Merkmalen des Anspruchs 1 sowie durch ein Aufnahmesystem mit den Merkmalen des Anspruchs 10. Vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der vorliegenden Beschreibung sowie den Figuren.The object is achieved by a recording method having the features of claim 1 and by a recording system having the features of claim 10. Advantageous embodiments of the invention result from the dependent claims, the present description and the figures.

Das erfindungsgemäße Aufnahmeverfahren, dient dazu, eine Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, mittels einer Kamera aufzunehmen, und umfasst zumindest die folgenden Schritte: Zum einen wird eine Hintergrund-Wiedergabeeinrichtung dazu angesteuert, periodisch abwechselnd eine jeweilige Darstellung des virtuellen Hintergrunds und einen Keying-Hintergrund, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv unterscheiden lässt, wiederzugeben, so dass innerhalb einer jeweiligen Wiedergabeperiode zumindest einmal die jeweilige Darstellung des virtuellen Hintergrunds sowie zumindest einmal der Keying-Hintergrund wiedergegeben wird; zum anderen wird die Kamera dazu angesteuert, während einer Aufnahme innerhalb jeder Wiedergabeperiode mindestens ein erstes Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und mindestens ein zweites Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt.The recording method according to the invention is used to record a scene that includes a real motif in front of a virtual background using a camera and comprises at least the following steps: On the one hand, a background display device is controlled to periodically alternately display a respective representation of the virtual background and to reproduce a keying background, which can be automatically distinguished from the real motif using a clear criterion, so that within a respective reproduction period the respective representation of the virtual background is reproduced at least once and the keying background is reproduced at least once; on the other hand, the camera is controlled to record at least a first image of the scene during a recording within each playback period, while the background display device reproduces the respective representation of the virtual background, and to record at least a second image of the scene while the background display device is keying background.

Unter der Aufnahme einer Szene mittels einer Kamera ist dabei zu verstehen, dass mittels der Kamera Bildinformation der Szene erfasst wird und basierend auf dieser Bildinformation ein Stillbild oder ein Bewegtbild, d. h. eine Abfolge von sequenziell aufgenommenen Einzelbildern, erzeugt wird. Die Szene, die letztlich aufgenommen werden soll, umfasst das reale Motiv sowie einen dahinter angeordneten sichtbaren virtuellen Hintergrund. Der virtuelle Hintergrund kann dabei eine beliebige Umgebung, insbesondere eine künstlich geschaffene oder real existierende dreidimensionale Szenerie, bildlich repräsentieren, in welcher das reale Motiv in der Aufnahme erscheinen soll. Bei dem realen Motiv kann es sich insbesondere um etwas Gegenständliches (ein oder mehrere Objekte und/oder ein oder mehrere Personen) handeln, das in der Aufnahme in der Regel als solches erkennbar sein soll. Im Unterschied dazu soll der von der Hintergrund-Wiedergabeeinrichtung wiedergegebene virtuelle Hintergrund in der Regel nicht als solcher erkennbar sein, sondern als das wahrgenommen werden, was er bildlich darstellt.The recording of a scene by means of a camera means that the camera captures image information of the scene and, based on this image information, a still image or a moving image, i. H. a sequence of sequentially recorded individual images is generated. The scene that is ultimately to be recorded comprises the real subject and a visible virtual background arranged behind it. The virtual background can represent any desired environment, in particular an artificially created or actually existing three-dimensional scenery, in which the real subject is to appear in the recording. The real motif can in particular be something physical (one or more objects and/or one or more people) that should generally be recognizable as such in the recording. In contrast to this, the virtual background reproduced by the background reproduction device should not generally be recognizable as such, but should be perceived as what it represents visually.

Zweckmäßigerweise wird das reale Motiv so angeordnet, dass es sich aus dem Blickwinkel der Kamera vor der Hintergrund-Wiedergabeeinrichtung befindet, auf welcher der virtuelle Hintergrund wiedergegeben werden kann. Insofern kann das Aufnahmeverfahren zusätzlich umfassen, dass vor dem genannten Ansteuern der Hintergrund-Wiedergabeeinrichtung und der Kamera das reale Motiv zwischen der Kamera und der Hintergrund-Wiedergabeeinrichtung platziert wird. Dieses Ansteuern kann jeweils mittels einer Steuervorrichtung erfolgen, welche einerseits mit der Hintergrund-Wiedergabeeinrichtung und andererseits mit der Kamera signaltechnisch verbunden sein kann. Insbesondere kann durch die Ansteuerung auch eine Synchronisierung der Hintergrund-Wiedergabeeinrichtung und der Kamera erfolgen.The real motif is expediently arranged in such a way that, from the camera's point of view, it is located in front of the background display device on which the virtual background can be displayed. In this respect, the recording method can additionally include the fact that the real motif is placed between the camera and the background reproduction device before the aforementioned activation of the background reproduction device and the camera. This control can be done by means of a control device, which on the one hand with the background playback beeinrichtung and on the other hand can be signal-connected to the camera. In particular, the control can also synchronize the background display device and the camera.

Die Hintergrund-Wiedergabeeinrichtung wird dazu angesteuert, abwechselnd eine jeweilige Darstellung des virtuellen Hintergrunds und einen Keying-Hintergrund wiederzugeben, mit anderen Worten zu einem Zeitpunkt den virtuellen Hintergrund, jedoch nicht den Keying-Hintergrund wiederzugeben und zu einem anderen Zeitpunkt den Keying-Hintergrund, jedoch nicht den virtuellen Hintergrund wiederzugeben und dieses Vorgehen zu wiederholen. Während es sich bei dem Keying-Hintergrund um einen Hintergrund handeln muss, der sich anhand eines eindeutigen Kriteriums als Hintergrund identifizieren und somit von dem realen Motiv unterscheiden lässt, kann der virtuelle Hintergrund vorzugsweise nach Bedarf gewählt und somit grundsätzlich beliebig sein. Mit anderen Worten ist das Verfahren nicht auf einen oder mehrere bestimmte virtuelle Hintergründe beschränkt, sondern mit allen erdenklichen Hintergründen technisch sinnvoll durchführbar, so dass der kreativen Gestaltungsmöglichkeit diesbezüglich keine Beschränkungen auferlegt werden.The background display device is controlled to alternately display a respective representation of the virtual background and a keying background, in other words to display the virtual background at one time but not the keying background and at another time the keying background but not displaying the virtual background and repeating this procedure. While the keying background has to be a background that can be identified as a background using a clear criterion and can therefore be distinguished from the real motif, the virtual background can preferably be selected as required and can therefore be fundamentally arbitrary. In other words, the method is not limited to one or more specific virtual backgrounds, but can be carried out in a technically sensible manner with all conceivable backgrounds, so that no restrictions are imposed on the creative design options in this regard.

Insbesondere sind der virtuelle Hintergrund und der Keying-Hintergrund voneinander unabhängig. Mit anderen Worten spielt es für die Wahl des jeweiligen Keying-Hintergrunds vorzugsweise keine Rolle, was für ein virtueller Hintergrund hinter dem realen Motiv erscheinen soll; und umgekehrt wird auch der virtuelle Hintergrund durch den verwendeten Keying-Hintergrund in keiner Weise modifiziert oder eingeschränkt. Der virtuelle Hintergrund und der Keying-Hintergrund brauchen weder in besonderer Weise aufeinander abgestimmt zu werden, noch ist eine Modifikation des einen Hintergrunds basierend auf dem anderen Hintergrund erforderlich. Vielmehr kann der Keying-Hintergrund unabhängig von dem virtuellen Hintergrund im Hinblick auf ein bestmögliches Freistellen des realen Motivs gewählt werden und kann der virtuelle Hintergrund unabhängig von dem Keying-Hintergrund im Hinblick auf die gewünschte Umgebung, in der das reale Motiv erscheinen soll, frei gewählt werden.In particular, the virtual background and the keying background are independent of each other. In other words, for the choice of the respective keying background, it is preferably irrelevant what kind of virtual background should appear behind the real motif; and vice versa, the virtual background is not modified or restricted in any way by the keying background used. The virtual background and the keying background do not need to be matched in any particular way, nor is it necessary to modify one background based on the other background. Rather, the keying background can be selected independently of the virtual background with regard to the best possible cropping of the real motif, and the virtual background can be freely selected independently of the keying background with regard to the desired environment in which the real motif is to appear become.

Das Wiedergeben einer jeweiligen Darstellung des virtuellen Hintergrunds sowie des Keying-Hintergrunds erfolgt periodisch, wiederholt sich also während einer Aufnahme regelmäßig. Die sich wiederholende Einheit wird dabei als Wiedergabeperiode bezeichnet. Die Anzahl der Wiederholungen hängt von der Dauer der Aufnahme ab. Wenn lediglich ein Stillbild der Szene aufgenommen werden soll, kann die Aufnahme grundsätzlich auch lediglich eine einzelne Wiedergabeperiode umfassen. Bei Bewegtbildaufnahmen ergibt sich die Anzahl der Wiedergabeperioden aus der Dauer der Aufnahme geteilt durch die Dauer einer einzelnen Wiedergabeperiode (Periodendauer).A respective representation of the virtual background and of the keying background is played back periodically, ie it is repeated regularly during a recording. The repeating unit is called the playback period. The number of repetitions depends on the duration of the recording. If only a still image of the scene is to be recorded, the recording can in principle also only include a single playback period. In the case of moving image recordings, the number of playback periods results from the duration of the recording divided by the duration of an individual playback period (length of period).

In jeder Wiedergabeperiode wird zumindest einmal, vorzugsweise genau einmal, eine jeweilige Darstellung des virtuellen Hintergrunds sowie zumindest einmal, vorzugsweise genau einmal, der Keying-Hintergrund von der Hintergrund-Wiedergabeeinrichtung wiedergegeben. Da sich die Wiedergabeperioden wiederholen, wird in jeder Wiedergabeperiode die jeweilige Darstellung des virtuellen Hintergrunds jeweils zu demselben Zeitpunkt innerhalb der jeweiligen Wiedergabeperiode und für dieselbe Dauer wiedergegeben und wird in jeder Wiedergabeperiode der Keying-Hintergrund jeweils zu demselben Zeitpunkt innerhalb der jeweiligen Wiedergabeperiode und für dieselbe Dauer wiedergegeben. Die Dauer der Wiedergabe der jeweiligen Darstellung des virtuellen Hintergrunds und die Dauer der Wiedergabe des Keying-Hintergrunds sind insbesondere identisch, können grundsätzlich aber auch verschieden sein.In each playback period, a respective representation of the virtual background and at least once, preferably exactly once, the keying background is played back by the background playback device at least once, preferably exactly once. As the Play Periods repeat, in each Play Period the respective virtual background representation is played at the same time within the respective Play Period and for the same duration and the keying background is played in each Play Period at the same time within the respective Play Period and for the same duration played back. The duration of the playback of the respective representation of the virtual background and the duration of the playback of the keying background are in particular identical, but can fundamentally also be different.

Vorzugsweise werden zu keinem Zeitpunkt die jeweilige Darstellung des virtuellen Hintergrunds sowie der Keying-Hintergrund gleichzeitig, etwa in Überlagerung oder auf sonstige Weise kombiniert, wiedergegeben. Grundsätzlich ist jedoch nicht ausgeschlossen, dass innerhalb einer Wiedergabeperiode jeweils noch zusätzlich zu der genannten jeweiligen Darstellung des virtuellen Hintergrunds und dem Keying-Hintergrund etwas anderes wiedergegeben wird, sich also mehr als nur diese beiden Hintergründe abwechseln. Dabei kann es sich beispielsweise um einen alternativen Keying-Hintergrund oder um einen Tracking-Hintergrund mit Markierungen handeln, die eine Bestimmung der Position und/oder Ausrichtung der Kamera relativ zur Hintergrund-Wiedergabeeinrichtung anhand eines jeweiligen mittels der Kamera von dem wiedergegebenen Tracking-Hintergrund aufgenommenen Bildes erlauben.The respective representation of the virtual background and the keying background are preferably not played back simultaneously, for example in an overlay or combined in any other way, at any time. In principle, however, it cannot be ruled out that within a playback period something else will be played in addition to the respective display of the virtual background and the keying background, i.e. more than just these two backgrounds will alternate. This can be, for example, an alternative keying background or a tracking background with markings that determine the position and/or orientation of the camera relative to the background display device using a respective camera from the tracking background displayed allow image.

Je nachdem, wie viele verschiedene Darstellungen die Hintergrund-Wiedergabeeinrichtung innerhalb einer einzelnen Wiedergabeperiode wiedergeben muss, muss sie bei einer entsprechend hohen Bildrate betreibbar sein. Sofern Sie in jeder Wiedergabeperiode nur genau einmal eine jeweilige Darstellung des virtuellen Hintergrunds sowie genau einmal den Keying-Hintergrund wiedergibt, kann eine Bildrate ausreichen, die der doppelten Periodenfrequenz (Kehrwert der Dauer einer Wiedergabeperiode) entspricht.Depending on how many different representations the background display device has to display within a single display period, it must be operable at a correspondingly high frame rate. If you only play back a respective representation of the virtual background and the keying background exactly once in each playback period, a frame rate that corresponds to twice the period frequency (reciprocal of the duration of a playback period) may be sufficient.

Als Keying-Hintergrund kommt grundsätzlich jede Abbildung in Betracht, die eine eindeutige Unterscheidung des Hintergrunds von dem jeweiligen realen Motiv zulässt. Vorzugsweise lässt sich diese Unterscheidung automatisiert anhand eines einfachen Kriteriums durchführen, insbesondere durch Vergleich eines einzelnen Parameters mit einem Schwellenwert. Als Kriterium kommt insbesondere die Farbe und/oder die Helligkeit in Betracht. Für jeden Bildpunkt eines aufgenommenen Bildes lässt sich dann feststellen, ob er (mit einer gewissen Toleranz) die durch den Keying-Hintergrund definierte Farbe bzw. Helligkeit aufweist (und somit dem Hintergrund zuzuordnen ist) oder nicht (und somit dem realen Motiv im Vordergrund zuzuordnen ist).In principle, any image that clearly distinguishes the background from the respective image can be used as a keying background gene real subject allows. This differentiation can preferably be carried out automatically using a simple criterion, in particular by comparing an individual parameter with a threshold value. In particular, the color and/or the brightness come into consideration as a criterion. For each pixel of a recorded image, it can then be determined whether it (with a certain tolerance) has the color or brightness defined by the keying background (and can therefore be assigned to the background) or not (and can therefore be assigned to the real motif in the foreground). is).

Insbesondere kann es sich bei dem Keying-Hintergrund um eine durchgehende einheitlich gefärbte Fläche handeln. Durchgehend kann die Fläche insbesondere insofern sein, als sie den gesamten Bereich ausfüllt, der von der Kamera aufgenommen wird (soweit er nicht durch das reale Motiv im Vordergrund verdeckt ist). Der Keying-Hintergrund kann dabei so gewählt sein, dass er eine homogene Hintergrundbeleuchtung darstellt und/oder zumindest von der Kamera farblich einheitlich wahrgenommen wird. Dazu muss der Keying-Hintergrund nicht zwangsläufig überall denselben Farbwert aufweisen, sondern kann beispielsweise an die allgemeine Beleuchtung oder an Eigenschaften der Kamera oder des jeweiligen Kameraobjektivs derart angepasst sein, dass der Keying-Hintergrund jedenfalls in dem mittels der Kamera aufgenommenen Bild möglichst homogen erscheint.In particular, the keying background can be a continuous, uniformly colored area. The surface can be continuous in particular in that it fills the entire area that is recorded by the camera (to the extent that it is not obscured by the real subject in the foreground). The keying background can be selected in such a way that it represents a homogeneous background lighting and/or is at least perceived by the camera as having a uniform color. For this purpose, the keying background does not necessarily have to have the same color value everywhere, but can, for example, be adapted to the general lighting or to properties of the camera or the respective camera lens in such a way that the keying background appears as homogeneous as possible in the image recorded by the camera.

In Abhängigkeit von dem realen Motiv, insbesondere von dessen Farbe und/oder Helligkeit, können unterschiedliche Keying-Hintergründe zweckmäßig sein. Grundsätzlich kommt als Keying-Hintergrund ein Green-Screen oder ein Blue-Screen in Betracht, der sich anhand seiner Farbe von dem realen Motiv unterscheiden lässt. Insbesondere kann aber auch vorteilhaft sein, als Keying-Hintergrund einen einheitlich schwarzen Hintergrund vorzusehen. Dazu kann die Hintergrund-Wiedergabeeinrichtung dazu angesteuert werden, als Keying-Hintergrund eine schwarze Fläche wiederzugeben. Im Falle einer als aktive Beleuchtungseinrichtung ausgebildeten Hintergrund-Wiedergabeeinrichtung, kann das umfassen, dass die Hintergrund-Wiedergabeeinrichtung dazu angesteuert wird, dunkel zu bleiben, dass ihre Bildpunktelemente also kein Licht abstrahlen.Depending on the real motif, in particular its color and/or brightness, different keying backgrounds can be useful. In principle, a green screen or a blue screen can be used as a keying background, which can be distinguished from the real motif by its color. In particular, however, it can also be advantageous to provide a uniform black background as the keying background. For this purpose, the background reproduction device can be controlled to reproduce a black area as the keying background. In the case of a background display device designed as an active lighting device, this can include the background display device being controlled to remain dark, that is to say that its pixel elements do not emit any light.

Der Keying-Hintergrund ist vorzugsweise statisch, ändert sich also während der Aufnahme nicht. Mit anderen Worten wird in jeder Wiedergabeperiode derselbe Keying-Hintergrund wiedergegeben, der vor der Aufnahme als für das jeweilige reale Motiv geeignet ausgewählt wurde.The keying background is preferably static, i.e. it does not change during recording. In other words, the same keying background is played back in each playback period, which was selected before recording as being suitable for the respective real-world subject.

Im Unterschied dazu kann der virtuelle Hintergrund als Stillbild oder auch als Bewegtbild ausgebildet und somit auch veränderlich sein, beispielsweise um das reale Motiv so erscheinen zu lassen, als befände es sich in einer dynamischen Umgebung. Wenn der virtuelle Hintergrund statisch ist, handelt es sich bei den jeweiligen Darstellungen des virtuellen Hintergrunds, die in den verschiedenen Wiedergabeperioden wiedergegeben werden, stets um dieselbe Darstellung. Ist der virtuelle Hintergrund dagegen dynamisch, also als Bewegtbild ausgebildet, können sich zumindest einige der von der Hintergrund-Wiedergabeeinrichtung in den verschiedenen Wiedergabeperioden wiedergegebenen jeweiligen Darstellungen des virtuellen Hintergrunds voneinander unterscheiden. Bei einem dynamischen virtuellen Hintergrund werden die Darstellungen des virtuellen Hintergrunds zweckmä-ßigennreise in der Reihenfolge ihrer zeitlichen Abfolge in dem Bewegtbild wiedergegeben, welches als virtueller Hintergrund verwendet wird.In contrast to this, the virtual background can be in the form of a still image or a moving image and can therefore also be changeable, for example in order to make the real motif appear as if it were located in a dynamic environment. When the virtual background is static, the respective representations of the virtual background rendered in the different rendering periods are always the same representation. If, on the other hand, the virtual background is dynamic, ie designed as a moving image, at least some of the representations of the virtual background reproduced by the background reproduction device in the different reproduction periods can differ from one another. In the case of a dynamic virtual background, the representations of the virtual background are expediently reproduced in the order of their chronological sequence in the moving image which is used as the virtual background.

Während die Hintergrund-Wiedergabeeinrichtung in der genannten Weise angesteuert wird, wird die Kamera dazu angesteuert, Bilder der Szene, also des vor der Hintergrund-Wiedergabeeinrichtung angeordneten realen Motivs zusammen mit dem jeweiligen auf der Hintergrund-Wiedergabeeinrichtung wiedergegebenen Hintergrund, aufzunehmen. Die Dauer der Aufnahme kann dabei kürzer als der Zeitraum sein, während dessen die Hintergrund-Wiedergabeeinrichtung zum abwechselnden Wiedergeben eines jeweiligen Hintergrunds angesteuert wird. Vorzugsweise gibt die Hintergrund-Wiedergabeeinrichtung jedoch während der gesamten Aufnahme in der genannten Weise periodisch abwechselnd eine jeweilige Darstellung des virtuellen Hintergrunds bzw. den Keying-Hintergrund wieder. Die Kamera ist dabei derart mit der Hintergrund-Wiedergabeeinrichtung synchronisiert, dass sie in jeder der sich wiederholenden Wiedergabeperioden, in den die Hintergrund-Wiedergabeeinrichtung zumindest einmal eine jeweilige Darstellung des virtuellen Hintergrunds und einmal den Keying-Hintergrund wiedergibt, ebenfalls jeweils dasselbe ausführt, nämlich zumindest ein erstes Bild der Szene aufnimmt, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und zumindest ein zweites Bild der Szene aufnimmt, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt.While the background display device is controlled in the manner mentioned, the camera is controlled to take pictures of the scene, i.e. the real motif arranged in front of the background display device together with the respective background displayed on the background display device. In this case, the duration of the recording can be shorter than the period during which the background display device is activated for the alternating display of a respective background. Preferably, however, the background reproduction device periodically and alternately reproduces a respective representation of the virtual background or the keying background in the manner mentioned during the entire recording. The camera is synchronized with the background display device in such a way that it also does the same thing in each of the repetitive display periods in which the background display device displays a respective representation of the virtual background and once the keying background at least once, namely at least captures a first image of the scene while the background rendering device is rendering the respective representation of the virtual background, and captures at least a second image of the scene while the background rendering device is rendering the keying background.

Da in jeder Wiedergabeperiode ein erstes Bild und ein zweites Bild aufgenommen wird, liegen nach einer Aufnahme in Abhängigkeit von der Dauer der Aufnahme mehrere aufgenommene erste Bilder und ebenso viele aufgenommene zweite Bilder vor. Die Bezeichnung der von der Kamera aufgenommenen Bilder als erste Bilder und zweite Bilder dient dabei lediglich der begrifflichen Unterscheidung. Insbesondere impliziert diese Bezeichnung nicht, dass das Verfahren darauf eingeschränkt wäre, dass innerhalb einer jeweiligen Wiedergabeperiode zwangsläufig zuerst das erste Bild (mit dem virtuellen Hintergrund) aufgenommen wird und erst anschließend das zweite Bild (mit dem Keying-Hintergrund) aufgenommen wird. Ob innerhalb einer Wiedergabeperiode erst das erste Bild oder erst das zweite Bild aufgenommen wird, hängt vielmehr davon ab, wann innerhalb der Wiedergabeperiode die jeweilige Darstellung des virtuellen Hintergrunds bzw. der Keying-Hintergrund wiedergegeben wird. Dabei kann vorgesehen sein, dass innerhalb einer Wiedergabeperiode zunächst die jeweilige Darstellung des virtuellen Hintergrunds wiedergegeben wird, oder auch, dass innerhalb einer Wiedergabeperiode zunächst der Keying-Hintergrund wiedergegeben wird.Since a first image and a second image are recorded in each reproduction period, a number of recorded first images and just as many recorded second images are available after a recording, depending on the duration of the recording. The images captured by the camera are referred to as first images and second images only the conceptual distinction. In particular, this designation does not imply that the method would be restricted to the first image (with the virtual background) being recorded first and only then the second image (with the keying background) being recorded within a respective playback period. Rather, whether the first image or the second image is recorded within a playback period depends on when the respective representation of the virtual background or the keying background is played back within the playback period. Provision can be made for the respective representation of the virtual background to be reproduced first within a reproduction period, or for the keying background to be reproduced first for a reproduction period.

Grundsätzlich kann auch vorgesehen sein, dass die Kamera in einer jeweiligen Wiedergabeperiode mehr als nur das eine erste Bild und das eine zweite Bild aufnimmt. Beispielsweise kann die Kamera dazu angesteuert werden, in jeder Wiedergabeperiode noch ein weiteres erstes Bild (während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt), ein weiteres zweites Bild (während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt) und/oder ein sonstiges Bild (etwa wenn die Hintergrund-Wiedergabeeinrichtung einen sonstigen Hintergrund wiedergibt) aufzunehmen. Insbesondere kann die Kamera dazu angesteuert werden, in jeder Wiedergabeperiode von jedem Hintergrund, der innerhalb der Wiedergabeperiode auf der Hintergrund-Wiedergabeeinrichtung wiedergegeben wird, zumindest ein jeweiliges Bild aufzunehmen.In principle, it can also be provided that the camera records more than just one first image and one second image in a respective display period. For example, the camera can be controlled to produce another first image in each display period (while the background display device displays the respective representation of the virtual background), a further second image (while the background display device displays the keying background) and/or capture a different image (e.g. when the background display device is displaying a different background). In particular, the camera can be controlled to record at least one respective image in each display period of each background that is displayed on the background display device within the display period.

Um innerhalb einer jeweiligen Wiedergabeperiode das erste Bild und das zweite Bild aufnehmen zu können, muss die Kamera wie die Hintergrund-Wiedergabeeinrichtung bei einer entsprechend hohen Bildrate betreibbar sein, die mindestens doppelt so groß sein muss wie die Periodenfrequenz, mit der sich die Wiedergabeperioden wiederholen und die folglich dem Kehrwert der Dauer einer Wiedergabeperiode entspricht. Sofern die Kamera innerhalb einer jeweiligen Wiedergabeperiode mehr als nur das erste und das zweite Bild aufnimmt, muss die Bildrate entsprechend höher sein.In order to be able to record the first image and the second image within a respective display period, the camera, like the background display device, must be operable at a correspondingly high frame rate, which must be at least twice the period frequency at which the display periods repeat and which consequently corresponds to the reciprocal of the duration of a display period. If the camera takes more than just the first and the second picture within a respective playback period, the frame rate must be correspondingly higher.

Sowohl das erste Bild als auch das zweite Bild werden mittels derselben, einzelnen Kamera, insbesondere mittels eines einzelnen Bildsensors der Kamera, aufgenommen und weisen daher dieselbe Perspektive auf. Das erste Bild und das zweite Bild, die in einer jeweiligen Wiedergabeperiode aufgenommen werden, unterscheiden sich dabei jedenfalls hinsichtlich ihres jeweiligen Hintergrunds. Hinsichtlich des realen Motivs können sie einander dagegen sehr ähnlich sein, da sich Unterschiede nur daraus ergeben können, dass das erste und das zweite Bild nicht exakt zum selben Zeitpunkt aufgenommen werden und sich das reale Motiv in der Zwischenzeit bewegt hat.Both the first image and the second image are recorded using the same, individual camera, in particular using an individual image sensor of the camera, and therefore have the same perspective. The first image and the second image, which are recorded in a respective playback period, differ in any case with regard to their respective background. With regard to the real motif, however, they can be very similar to one another, since differences can only arise from the fact that the first and second pictures are not taken at exactly the same time and the real motif has moved in the meantime.

Die während einer Aufnahme mittels der Kamera aufgenommenen ersten und zweiten Bilder können nach der Aufnahme (unter Umständen auch schon während der Aufnahme) ausgegeben und gegebenenfalls weiterverarbeitet werden. Gemeinsam enthalten die ersten und zweiten Bilder dabei sowohl die Bildinformation, die man erhalten würde, wenn bei der Aufnahme durchgehend der virtuelle Hintergrund hinter dem realen Motiv wiedergegeben würde, als auch die Bildinformation, die man erhalten würde, wenn bei der Aufnahme durchgehend der Keying-Hintergrund hinter dem realen Motiv wiedergegeben würde. Sofern die Aufnahme des realen Motivs vor den wiedergegebenen Darstellungen des virtuellen Hintergrunds zufriedenstellend ist, können die zweiten Bilder einfach verworfen werden. The first and second images recorded by the camera during a recording can be output after the recording (possibly even during the recording) and, if necessary, further processed. Together, the first and second images contain both the image information that would be obtained if the virtual background behind the real subject were reproduced throughout the recording, and the image information that would be obtained if the keying background would be rendered behind the real subject. If the recording of the real subject in front of the reproduced representations of the virtual background is satisfactory, the second images can simply be discarded.

Umgekehrt können, falls der wiedergegebene virtuelle Hintergrund ersetzt oder zumindest modifiziert werden soll, die ersten Bilder verworfen werden und die zweiten Bilder dazu genutzt werden, das reale Motiv vor dem Keying-Hintergrund freizustellen und mit einem anderen oder modifizierten virtuellen Hintergrund zu kombinieren. Da der Keying-Hintergrund in den zweiten Bildern lediglich dem Freistellen des realen Motivs dient, kann er in den zweiten Bildern auch direkt (insbesondere automatisiert) entfernt bzw. durch einen transparenten Hintergrund ersetzt werden.Conversely, if the rendered virtual background is to be replaced or at least modified, the first images are discarded and the second images are used to release the real motif from the keying background and combine it with a different or modified virtual background. Since the keying background in the second images is only used to cut out the real motif, it can also be removed directly (particularly automatically) in the second images or replaced by a transparent background.

Die aufgenommenen ersten Bilder und die aufgenommenen zweiten Bilder weisen jeweils eine Bildrate auf, die der genannten Periodenfrequenz entspricht und somit höchstens halb so groß ist wie die Bildrate, mit der die Kamera Bilder (seien es erste Bilder oder zweite Bilder) aufgenommen hat. Es ist daher zweckmäßig, eine vergleichsweise große Periodenfrequenz bzw. kurze Wiedergabeperiode zu wählen. Vorzugsweise beträgt die Dauer einer jeweiligen Wiedergabeperiode 20 ms oder weniger, insbesondere weniger als 17 ms, wobei alle Wiedergabeperioden bevorzugt dieselbe Dauer aufweisen. Dadurch können die ersten Bilder und die zweiten Bilder jeweils eine Bildrate von mindestens 50 Einzelbildern pro Sekunde aufweisen.The recorded first images and the recorded second images each have a frame rate that corresponds to the stated period frequency and is therefore at most half the frame rate at which the camera recorded images (whether first images or second images). It is therefore expedient to choose a comparatively large period frequency or short reproduction period. The duration of a respective playback period is preferably 20 ms or less, in particular less than 17 ms, with all playback periods preferably having the same duration. As a result, the first images and the second images can each have a frame rate of at least 50 frames per second.

Durch eine kurze Wiedergabeperiode bzw. große Periodenfrequenz wird dabei vermieden, dass die abwechselnde Wiedergabe des virtuellen Hintergrunds und des Keying-Hintergrunds auf der Hintergrund-Wiedergabeeinrichtung von einem direkten Beobachter als Flackern wahrgenommen wird, das insbesondere für in der aufgenommenen Szene agierende Schauspieler störend sein könnte. Stattdessen erscheinen der virtuelle Hintergrund und der Keying-Hintergrund bei einem hinreichend schnellen Wechsel für einen menschlichen Beobachter, der den Hintergrund direkt mit seinen Augen wahrnimmt, in überlagerter Form (anders als für die Kamera, die bei einer entsprechend hohen Aufnahmebildrate die unterschiedlichen Hintergründe separat aufnimmt). Durch diese Überlagerung wird der virtuelle Hintergrund für einen solchen direkten Beobachter zwar verfälscht, insbesondere eingefärbt, aufgehellt oder abgedunkelt. Allerdings kann, beispielsweise wenn ein Keying-Hintergrund verwendet wird, der als hinsichtlich der Farbe und/oder Helligkeit homogene Fläche ausgebildet ist, der Inhalt des virtuellen Hintergrunds für einen direkten Beobachter trotz der Überlagerung mit dem Keying-Hintergrund noch so gut erkennbar sein, dass er beispielsweise einem Schauspieler zur Orientierung bei seinem Schauspiel dienen kann.A short playback period or high period frequency avoids the alternating playback of the virtual background and the keying background on the background playback device being perceived by a direct observer as flickering Actors acting in the scene could be disruptive. Instead, if the change is sufficiently rapid, the virtual background and the keying background appear in superimposed form to a human observer who perceives the background directly with his eyes (unlike for the camera, which records the different backgrounds separately at a correspondingly high recording frame rate). ). As a result of this superimposition, the virtual background is indeed falsified for such a direct observer, in particular colored, brightened or darkened. However, if a keying background is used, for example, which is designed as a surface that is homogeneous in terms of color and/or brightness, the content of the virtual background can still be seen so well for a direct observer despite the overlay with the keying background that it can, for example, serve as an orientation for an actor in his play.

Auf diese Weise werden bei dem erfindungsgemäßen Aufnahmeverfahren mehrere Vorteile kombiniert: Zum einen liefert es neben einer Aufnahme, welche das reale Motiv unmittelbar vor dem virtuellen Hintergrund zeigt und somit zumindest für eine direkte Überprüfung der aufgenommenen Szene sowie idealerweise auch darüber hinaus verwendet werden kann, auch eine Aufnahme des realen Motivs vor dem Keying-Hintergrund, die umfassende Korrekturen, Ersetzungen oder sonstige Nachbearbeitungen des Hintergrunds bei hoher Bildqualität ermöglicht; zum anderen ist der virtuelle Hintergrund (sei es auch in Überlagerung mit dem Keying-Hintergrund) bereits während der Aufnahme mit bloßem Auge sichtbar, was die Aufnahme erleichtern kann, insbesondere wenn die Szene Handlungen eines Schauspielers oder Moderators umfasst, die einen Bezug zum virtuellen Hintergrund aufweisen.In this way, several advantages are combined with the recording method according to the invention: On the one hand, in addition to a recording that shows the real motif directly in front of the virtual background and can therefore be used at least for a direct check of the recorded scene and ideally also beyond that, it also provides a shot of the real subject against the keying background, allowing for extensive correction, replacement or other post-processing of the background with high image quality; on the other hand, the virtual background (even if it is superimposed on the keying background) is already visible to the naked eye during recording, which can make recording easier, especially if the scene includes actions by an actor or presenter that are related to the virtual background exhibit.

Gemäß einer vorteilhaften Ausführungsform umfasst das Verfahren ferner, dass mindestens ein erster Datensatz gespeichert wird, welcher die während der Aufnahme aufgenommenen ersten Bilder in zeitlicher Relation zueinander umfasst, und mindestens ein zweiter Datensatz gespeichert wird, welcher die während der Aufnahme aufgenommenen zweiten Bilder in zeitlicher Relation zueinander umfasst. Das Verfahren liefert dabei also zumindest zwei Datensätze wobei der erste Datensatz diejenigen Bilder enthält, die das reale Motiv vor dem virtuellen Hintergrund zeigen, und der zweite Datensatz diejenigen Bilder enthält, die das reale Motiv vor dem Keying-Hintergrund zeigen. Auf diese Weise kann besonders einfach je nach Bedarf der eine oder andere Datensatz zur weiteren Verwendung ausgewählt werden.According to an advantageous embodiment, the method also includes storing at least one first data set, which includes the first images recorded during the recording in a chronological relationship to one another, and storing at least one second data set, which includes the second images recorded during the recording in a chronological relationship to each other. The method thus provides at least two data sets, with the first data set containing those images that show the real subject in front of the virtual background, and the second data set containing those images that show the real subject in front of the keying background. In this way it is particularly easy to select one or the other data set for further use as required.

Dabei kann auch vorgesehen sein, dass der zweite Datensatz die zweiten Bilder in einer bereits modifizierten Form umfasst. Insbesondere kann in den vom zweiten Datensatz umfassten zweiten Bildern der Keying-Hintergrund jeweils anhand des genannten eindeutigen Kriteriums, vorzugsweise automatisch, entfernt worden sein, so dass die zweiten Bilder lediglich noch das auf diese Weise freigestellte reale Motiv aufweisen. Der Keying-Hintergrund kann dabei beispielsweise durch einen transparenten Hintergrund ersetzt worden sein.It can also be provided that the second data record includes the second images in an already modified form. In particular, the keying background in the second images comprised by the second dataset can have been removed using the named clear criterion, preferably automatically, so that the second images only still have the real subject that has been released in this way. The keying background can be replaced by a transparent background, for example.

Alternativ dazu oder auch zusätzlich dazu (nämlich insbesondere in Form eines weiteren zweiten Datensatzes, welcher die während der Aufnahme aufgenommenen zweiten Bilder in zeitlicher Relation zueinander umfasst) können die von dem (weiteren) zweiten Datensatz umfassten zweiten Bilder jeweils anhand des genannten eindeutigen Kriteriums in eine sogenannte Maske umgewandelt sein, welche für jeden Bildpunkt des jeweiligen Bildes die Information umfasst, ob er dem realen Motiv oder dem jeweiligen (virtuellen bzw. Keying-) Hintergrund zuzuordnen ist. Eine solche Maske kann dann im Rahmen einer Nachbearbeitung der aufgenommenen Bilddaten dazu verwendet werden, das reale Motiv aus der jeweiligen Aufnahme, insbesondere aus den vom ersten Datensatz umfassten ersten Bildern, quasi auszustanzen. Anschließend kann das so freigestellte reale Motiv in oder vor ein anderes, insbesondere künstlich erzeugtes, Bild eingefügt werden. Ein solches Vorgehen kann insbesondere zweckmäßig sein, wenn der virtuelle Hintergrund, der beim Aufnehmen der ersten Bilder von der Hintergrund-Wiedergabeeinrichtung wiedergegeben wird, primär dazu dient, auf dem realen Motiv Lichteffekte (Beleuchtung und/oder Reflexe, insbesondere farbige) zu erzeugen.As an alternative to this or in addition to this (namely, in particular in the form of a further second dataset, which includes the second images recorded during the recording in a temporal relationship to one another), the second images included in the (further) second dataset can each be divided into a so-called mask, which includes the information for each pixel of the respective image as to whether it is to be assigned to the real motif or to the respective (virtual or keying) background. Such a mask can then be used as part of a post-processing of the recorded image data to quasi punch out the real motif from the respective recording, in particular from the first images comprised by the first data set. The real motif that has been released in this way can then be inserted in or in front of another, in particular artificially generated, image. Such a procedure can be particularly useful if the virtual background, which is reproduced by the background reproduction device when the first images are recorded, is primarily used to generate light effects (illumination and/or reflections, in particular colored ones) on the real subject.

Zwar besteht zwischen den zweiten Bildern und den ersten Bildern ein gewisser zeitlicher Versatz. Je nach Bildrate kann dieser Versatz jedoch sehr klein sein. Darüber hinaus hängt die Auswirkung dieses Versatzes auf die Möglichkeit, Information aus den zweiten Bildern auf das jeweils unmittelbar vorangehend oder nachfolgend aufgenommene erste Bild anzuwenden, von der Intensität der Bewegungen in der aufgenommenen Szene ab. Bei wenig Bewegung oder hinreichend hoher Bildrate kann der zeitliche Versatz so gering sein, dass er vernachlässigbar und somit unproblematisch ist. Grundsätzlich lassen sich die Auswirkungen des zeitlichen Versatzes zwischen den ersten und zweiten Bildern zudem durch Interpolation noch vermindern. Beispielsweise kann als Maske für das Freistellen des realen Motivs in einem jeweiligen ersten Bild eine Maske verwendet werden, die sich durch Interpolation aus dem unmittelbar vor diesem ersten Bild aufgenommenen zweiten Bild und dem unmittelbar nach diesem ersten Bild aufgenommenen zweiten Bild ermitteln lässt.There is a certain time offset between the second images and the first images. However, depending on the frame rate, this offset can be very small. In addition, the effect of this offset on the ability to apply information from the second images to the first image captured immediately preceding or succeeding it depends on the intensity of motion in the captured scene. If there is little movement or a sufficiently high frame rate, the time lag can be so small that it is negligible and therefore unproblematic. In principle, the effects of the time offset between the first and second images can also be reduced by interpolation. For example, a mask can be used as a mask for cropping the real motif in a respective first image, which can be determined by interpolation from the second image taken immediately before this first image and the second image taken immediately after this first image.

Vorzugsweise sind die beiden Datensätze voneinander separat und insbesondere unabhängig. Das schließt nicht aus, dass sie in einer einzelnen Datei enthalten sein können. Es kann jedoch zweckmäßig sein, die ersten Bilder und die zweiten Bilder auch innerhalb einer einzelnen Datei beispielsweise derart separat voneinander vorzusehen, dass sie sich unabhängig voneinander komprimieren lassen und/oder sich auf einfache Weise aus der jeweiligen Datei extrahieren lassen.The two data sets are preferably separate from one another and, in particular, independent. This does not exclude that they can be contained in a single file. However, it can be expedient to provide the first images and the second images separately from one another within a single file, for example in such a way that they can be compressed independently of one another and/or can be easily extracted from the respective file.

Wichtig ist dabei insbesondere, dass der jeweilige Datensatz auch die zeitliche Relation der Bilder des jeweiligen Datensatzes zueinander umfasst, dass also zusammen mit dem Datensatz ein eindeutiger zeitlicher Zusammenhang der Bilder des jeweiligen Datensatzes gespeichert wird. Vorzugsweise handelt es sich dabei nicht lediglich um einen relativen Zusammenhang innerhalb eines einzelnen Datensatzes, durch den die zeitliche Abfolge der Bilder des jeweiligen Datensatzes eindeutig nachvollzogen werden kann, sondern umfassen die Datensätze auch Information, die eine zeitliche Korrelation der jeweiligen Bilder über die Datensätze hinweg erlaubt.It is particularly important that the respective data set also includes the temporal relationship of the images of the respective data set to one another, ie that a clear temporal relationship between the images of the respective data set is stored together with the data set. Preferably, this is not just a relative connection within an individual data set, through which the chronological sequence of the images of the respective data set can be clearly understood, but the data sets also include information that allows a temporal correlation of the respective images across the data sets .

Beispielsweise kann jedem Bild eines jeweiligen Datensatzes eine Zeitinformation, insbesondere in Form eines Zeitstempels, zugeordnet sein, die (direkt oder indirekt) relativ zu einem bestimmten Referenzzeitpunkt definiert ist, wobei der Referenzzeitpunkt für verschiedene Datensätze gleich ist oder die Referenzzeitpunkte der verschiedenen Datensätze in einem bekannten zeitlichen Zusammenhang stehen. Bei einem solchen Referenzzeitpunkt kann es sich zum Beispiel um den Zeitpunkt des Beginns der Aufnahme oder des Zuschlagens einer Synchronklappe handeln. Grundsätzlich können Zeitinformationen auch in Form einer absoluten Zeitangabe erfasst und gespeichert werden.For example, each image of a respective data set can be assigned time information, in particular in the form of a time stamp, which is defined (directly or indirectly) relative to a specific reference point in time, with the reference point in time being the same for different data sets or the reference points in time of the various data sets being known related in time. Such a reference point in time can be, for example, the point in time at which recording begins or when a synchronous flap closes. In principle, time information can also be recorded and stored in the form of an absolute time specification.

Da die ersten und zweiten Bilder abwechselnd aufgenommen werden, besteht ein vorzugsweise konstanter zeitlicher Versatz zwischen einem jeweiligen ersten Bild und dem innerhalb derselben Wiedergabeperiode aufgenommenen zweiten Bild. Dieser Versatz kann insbesondere gerade der Hälfte der Dauer der Wiedergabeperiode entsprechen. Auch dadurch kann ein eindeutiger zeitlicher Zusammenhang zwischen dem die ersten Bilder umfassenden ersten Datensatz und dem die zweiten Bilder umfassenden zweiten Datensatz vorliegen.Since the first and second images are recorded alternately, there is a preferably constant time offset between a respective first image and the second image recorded within the same reproduction period. In particular, this offset can correspond to exactly half the duration of the display period. As a result, there can also be a clear temporal connection between the first data set containing the first images and the second data set containing the second images.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das Verfahren ferner, dass mindestens ein dritter Datensatz gespeichert wird, welcher die während der Aufnahme von der Hintergrund-Wiedergabeeinrichtung wiedergegebenen Darstellungen des virtuellen Hintergrunds in zeitlicher Relation zueinander umfasst. Mit anderen Worten wird also zusätzlich zu den ersten Bildern und den zweiten Bildern, die in dem ersten bzw. dem zweiten Datensatz gespeichert werden, in einem eigenen dritten Datensatz auch der bloße virtuelle Hintergrund gespeichert und zwar wiederum zusammen mit einer Zeitinformation, durch die sich nachvollziehen lässt, in welcher zeitlichen Abfolge die Darstellungen des virtuellen Hintergrunds auf der Hintergrund-Wiedergabeeinrichtung wiedergegeben wurden. Dadurch wird zusammen mit jedem aufgenommenen ersten Bild auch die während der Aufnahme des ersten Bildes auf der Hintergrund-Wiedergabeeinrichtung wiedergegebene jeweilige Darstellung des virtuellen Hintergrunds gespeichert und kann dann als Grundlage für eine Korrektur oder Nachbearbeitung des virtuellen Hintergrunds dienen.According to a further advantageous embodiment, the method also includes that at least one third data set is stored, which includes the representations of the virtual background reproduced by the background reproduction device during the recording in a temporal relation to one another. In other words, in addition to the first images and the second images that are stored in the first and second data sets, the mere virtual background is also stored in a separate third data set, again together with time information that can be used to understand lets the chronological order in which the representations of the virtual background were reproduced on the background display device. As a result, the respective representation of the virtual background reproduced on the background display device during the recording of the first image is also stored together with each recorded first image and can then serve as the basis for a correction or post-processing of the virtual background.

Je nachdem, wie sehr sich der virtuelle Hintergrund während der Aufnahme verändert, können zumindest einige der in dem dritten Datensatz gespeicherten Darstellungen des virtuellen Hintergrunds zueinander identisch sein. Grundsätzlich kann es sich auch um einen statischen virtuellen Hintergrund handeln, so dass alle in dem dritten Datensatz gespeicherten Darstellungen des virtuellen Hintergrunds identisch sind. In diesem Fall kann es zweckmäßiger sein, anstelle mehrerer identischer Darstellungen lediglich eine einzelne Darstellung als dritten Datensatz zu speichern.Depending on how much the virtual background changes during the recording, at least some of the representations of the virtual background stored in the third data set can be identical to one another. In principle, it can also be a static virtual background, so that all representations of the virtual background stored in the third data set are identical. In this case, it may be more expedient to store only a single representation as the third data set instead of several identical representations.

Auch der dritte Datensatz ist vorzugsweise separat und insbesondere unabhängig von dem ersten und dem zweiten Datensatz ausgebildet, wobei der dritte Datensatz zusammen mit dem ersten Datensatz und dem zweiten Datensatz in einer gemeinsamen Datei enthalten sein kann.The third data set is also preferably formed separately and in particular independently of the first and second data sets, it being possible for the third data set to be contained in a common file together with the first data set and the second data set.

Vorzugsweise werden alle drei Datensätze in einer Weise gespeichert, die eine zeitliche Korrelation der Datensätze untereinander ermöglicht, nämlich insbesondere anhand der genannten zeitlichen Relationen der Bilder bzw. Darstellungen das jeweilige Datensatzes. Insbesondere können die Datensätze für jedes aufgenommene Bild bzw. jede wiedergegebene Darstellung, das/die in dem jeweiligen Datensatz gespeichert ist, eine eindeutige Zeitinformation in Form eines dem jeweiligen Bild bzw. der jeweiligen Darstellung zugeordneten Zeitstempels umfassen, die eine eindeutige zeitliche Korrelation der Datensätze erlaubt.All three data sets are preferably stored in a way that enables a time-related correlation of the data sets with one another, namely in particular on the basis of the named time relationships of the images or representations of the respective data set. In particular, the data sets for each recorded image or each reproduced representation that is/are stored in the respective data set can include unambiguous time information in the form of a time stamp assigned to the respective image or the respective representation, which allows a clear temporal correlation of the data sets .

Eine gespeicherte jeweilige Darstellung des virtuellen Hintergrunds kann nachträglich mit einem aufgenommenen zweiten Bild kombiniert werden, das demjenigen ersten Bild, welches beim Wiedergeben der jeweiligen Darstellung des virtuellen Hintergrunds aufgenommen wurde, unmittelbar vorangeht oder nachfolgt, da diese zwei Bilder mit nur geringem zeitlichen Versatz aufgenommen werden. Um beim Kombinieren eines zweiten Bildes des zweiten Datensatzes mit einer Darstellung des dritten Datensatzes diesen Versatz noch auszugleichen, könnten außerdem zwei aufeinanderfolgend wiedergegebene Darstellungen des virtuellen Hintergrunds interpoliert und mit dem dazwischen aufgenommenen zweiten Bild kombiniert werden oder zwei aufeinanderfolgend aufgenommene zweite Bilder interpoliert und mit der dazwischen wiedergegebenen jeweiligen Darstellung des virtuellen Hintergrunds kombiniert werden.A stored respective representation of the virtual background can be subsequently combined with a recorded second image that immediately precedes or follows the first image that was recorded when the respective representation of the virtual background was played back, since these two images are recorded with only a slight time offset . In order to even out this offset when combining a second image of the second dataset with a representation of the third dataset, two successively reproduced representations of the virtual background could also be interpolated and combined with the second image taken in between, or two second images taken in succession could be interpolated and with the one in between reproduced respective representation of the virtual background are combined.

Darüber hinaus ist denkbar, dass in dem dritten Datensatz nicht nur die tatsächlich von der Hintergrund-Wiedergabeeinrichtung wiedergegebenen Darstellungen des virtuellen Hintergrunds gespeichert werden, sondern auch Darstellungen des virtuellen Hintergrunds, die anstelle des Keying-Hintergrunds wiedergegeben würden, wenn die Hintergrund-Wiedergabeeinrichtung dazu angesteuert würde, den virtuellen Hintergrund durchgehend wiederzugeben. Der dritte Datensatz enthält dann für jedes aufgenommene erste Bild eine jeweilige Darstellung des virtuellen Hintergrunds, die von der Hintergrund-Wiedergabeeinrichtung wiedergegeben wurde, als das erste Bild aufgenommen wurde, und für jedes aufgenommene zweite Bild eine jeweilige Darstellung des virtuellen Hintergrunds, die von der Hintergrund-Wiedergabeeinrichtung zwar nicht wiedergegeben wurde, aber den virtuellen Hintergrund zu dem Zeitpunkt darstellt, an dem das zweite Bild aufgenommen wurde. Die Bildrate des dritten Datensatzes ist in diesem Fall also doppelt so groß wie die Bildrate des ersten Datensatzes und die Bildrate des zweiten Datensatzes.In addition, it is conceivable that not only the representations of the virtual background actually reproduced by the background reproduction device are stored in the third data set, but also representations of the virtual background that would be reproduced instead of the keying background if the background reproduction device was activated to do so would play the virtual background continuously. The third dataset then contains, for each captured first image, a respective representation of the virtual background rendered by the background display device when the first image was captured, and for each captured second image, a respective representation of the virtual background rendered by the background - The display device is not playing, but shows the virtual background at the time the second picture was taken. In this case, the frame rate of the third data set is twice the frame rate of the first data set and the frame rate of the second data set.

Die in dem dritten Datensatz gespeicherten Darstellungen des virtuellen Hintergrunds können aufgrund perspektivischer Verzerrung - insbesondere in Abhängigkeit von der Anordnung und Ausrichtung der Kamera relativ zu der Hintergrund-Wiedergabeeinrichtung sowie von Aufnahmeparametern, wie etwa der Brennweite eines Objektivs der Kamera - davon abweichen, wie die von der Hintergrund-Wiedergabeeinrichtung wiedergegebene jeweilige Darstellung des virtuellen Hintergrunds in einem von der Kamera aufgenommenen Bild erscheint. Aus diesem Grund kann es ferner vorteilhaft sein, wenn zusammen mit dem dritten Datensatz entsprechende Aufnahmeparameter gespeichert werden, insbesondere zumindest die Anordnung und Ausrichtung der Kamera relativ zu der Hintergrund-Wiedergabeeinrichtung sowie die Brennweite des Objektivs der Kamera. Als weitere Aufnahmeparameter, die der dritte Datensatz enthalten kann, kommen ferner die Ma-ße der Hintergrund-Wiedergabeeinrichtung sowie gegebenenfalls ein Vergrößerungsfaktor für die Darstellung des virtuellen Hintergrunds auf der Hintergrund-Wiedergabeeinrichtung in Betracht. Vorzugsweise sind die im dritten Datensatz gespeicherten Aufnahmeparameter so gewählt, dass anhand der gespeicherten Aufnahmeparameter eindeutig rekonstruiert werden kann, in welcher Weise eine von der Hintergrund-Wiedergabeeinrichtung wiedergegebene jeweilige Darstellung des virtuellen Hintergrunds in einem von der Kamera aufgenommenen Bild erscheint oder erscheinen würde. Alternativ zu dem Speichern und der späteren Berücksichtigung von Aufnahmeparametern kann eine perspektivische Verzerrung der Darstellungen des virtuellen Hintergrunds des dritten Datensatzes auch nachträglich durch elektronischen Bildvergleich mit entsprechenden Bildbereichen der aufgenommenen ersten Bilder des ersten Datensatzes erfolgen. Dies kann insbesondere durch eine automatisierte Bildbearbeitung geschehen.The representations of the virtual background stored in the third dataset may differ from those of the respective representation of the virtual background reproduced by the background display device appears in an image recorded by the camera. For this reason, it can also be advantageous if corresponding recording parameters are stored together with the third data set, in particular at least the arrangement and orientation of the camera relative to the background display device and the focal length of the camera lens. The dimensions of the background display device and possibly an enlargement factor for the representation of the virtual background on the background display device can also be considered as further recording parameters that the third data set can contain. The recording parameters stored in the third data set are preferably selected such that the stored recording parameters can be used to unambiguously reconstruct how a respective representation of the virtual background reproduced by the background display device appears or would appear in an image recorded by the camera. As an alternative to storing and later considering recording parameters, the representations of the virtual background of the third data set can also be perspectively distorted later by electronic image comparison with corresponding image areas of the recorded first images of the first data set. This can be done in particular by automated image processing.

Zusätzlich zu dem ersten Datensatz und dem zweiten Datensatz sowie gegebenenfalls dem dritten Datensatz können bei der Aufnahme auch noch weitere Informationen gespeichert werden, die insbesondere für die Nachbearbeitung der aufgenommenen Bilddaten nützlich sein können. Besonders zweckmäßig kann es dabei sein, zeitsynchron mit den aufgenommenen ersten und zweiten Bildern Positionsdaten und/oder Objektivdaten abzuspeichern, zum Beispiel eingebettet in die genannten Datensätze oder auch in Form eines oder mehrerer Metadatensätze.In addition to the first data set and the second data set and possibly the third data set, further information can also be stored during the recording, which can be particularly useful for post-processing the recorded image data. It can be particularly expedient here to store position data and/or lens data synchronously with the recorded first and second images, for example embedded in the named data sets or also in the form of one or more metadata sets.

Die Positionsdaten können sich insbesondere auf eine Position der Kamera beziehen, die relativ zu einem Referenzpunkt, zu der aufgenommenen Szenerie und/oder zu dem realen Motiv definiert sein kann. Alternativ oder zusätzlich können sich die Positionsdaten auch auf eine Position des realen Motivs relativ zu einem Referenzpunkt, zu der aufgenommenen Szenerie oder zu der Kamera beziehen. Zudem kann vorgesehen sein, dass zu jedem aufgenommenen ersten Bild und/oder zu jedem aufgenommenen zweiten Bild eine sogenannte Tiefenkarte (depth map) abgespeichert wird, die vorzugsweise für jeden Bildpunkt des jeweiligen Bildes eine Positionsinformation umfasst. Diese Positionsinformation kann insbesondere einem Abstand desjenigen Punktes der aufgenommenen Szenerie, den der jeweilige Bildpunkt repräsentiert, von der Kamera, insbesondere von einer Bildebene der Kamera, entsprechen oder derart sein, dass sich ein solcher Abstand aus der Positionsinformation zumindest ableiten lässt. Die Objektivdaten beziehen sich auf das Objektiv der Kamera und können insbesondere Informationen darüber umfassen, auf welche Objektivparameter das Objektiv während der Aufnahme eines jeweiligen ersten und/oder zweiten Bildes eingestellt war (z. B. jeweilige Fokus-, Zoom- und/oder Blendeneinstellung).The position data can relate in particular to a position of the camera, which can be defined relative to a reference point, to the scenery recorded and/or to the real motif. Alternatively or additionally, the position data can also relate to a position of the real subject relative to a reference point, to the recorded scenery or to the camera. In addition, it can be provided that a so-called depth map (depth map) is stored for each recorded first image and/or for each recorded second image, which preferably includes position information for each pixel of the respective image. This position information can in particular correspond to a distance of that point of the recorded scenery that the respective pixel represents from the camera, in particular from an image plane of the camera, or be such that such a distance can at least be derived from the position information. The lens data relate to the lens of the camera and can in particular include information about which lens parameters the lens was set to during the recording of a respective first and/or second image (e.g. respective focus, zoom and/or aperture setting) .

Gemäß einer weiteren vorteilhaften Ausführungsform wird die Hintergrund-Wiedergabeeinrichtung dazu angesteuert, mit einer konstanten Bildrate Einzelbilder wiederzugeben, von denen jedes zweite (bezogen auf die zeitliche Reihenfolge ihrer Aufnahme) der jeweiligen Darstellung des virtuellen Hintergrunds entspricht und jedes der übrigen dem Keying-Hintergrund entspricht, und wird die Kamera dazu angesteuert, mit derselben konstanten Bildrate synchron zu der Hintergrund-Wiedergabeeinrichtung Einzelbilder der Szene aufzunehmen, so dass jedes zweite dieser Einzelbilder (bezogen auf die zeitliche Reihenfolge ihrer Aufnahme) einem jeweiligen der ersten Bilder entspricht und jedes der übrigen Einzelbilder einem jeweiligen der zweiten Bilder entspricht. Bei dieser Ausführungsform werden die Hintergrund-Wiedergabeeinrichtung und die Kamera also synchron und mit identischer konstanter Bildrate betrieben, wobei sich das Wiedergeben des virtuellen Hintergrunds und des Keying-Hintergrunds ebenso wie das Aufnehmen der ersten Bilder und das Aufnehmen der zweiten Bilder die genannte Bildrate jeweils gerade teilen. Die effektive Bildrate eines als Ergebnis der Aufnahme erhaltenen Bewegtbildes, die insbesondere der Bildrate des genannten ersten Datensatzes sowie der Bildrate des genannten zweiten Datensatzes entsprechen kann, beträgt dann also gerade die Hälfte dieser konstanten Bildrate, mit der die Hintergrund-Wiedergabeeinrichtung und die Kamera betrieben werden.According to a further advantageous embodiment, the background display device is controlled to display individual images at a constant frame rate, of which every second (based on the chronological order in which they were recorded) corresponds to the respective representation of the virtual background and each of the others corresponds to the keying background. and the camera is controlled to record individual images of the scene at the same constant frame rate synchronously with the background display device, so that every second of these individual images (related to the chronological order in which they were recorded) corresponds to a respective one of the first images and each of the remaining individual images to a respective one corresponds to the second pictures. In this embodiment, the background playback device and the camera are operated synchronously and with an identical constant frame rate, with the playback of the virtual background and the keying background as well as the recording of the first images and the recording of the second images each having the specified frame rate split. The effective frame rate of a moving image obtained as a result of the recording, which can correspond in particular to the frame rate of the first data set mentioned and the frame rate of the second data set mentioned, is then exactly half of this constant frame rate at which the background display device and the camera are operated .

Mit anderen Worten bezieht sich die Erfindung auch auf ein Aufnahmeverfahren zur Aufnahme einer Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, mittels einer Kamera, wobei das Verfahren umfasst: dass eine Hintergrund-Wiedergabeeinrichtung dazu angesteuert wird, mit einer konstanten Bildrate Einzelbilder wiederzugeben, von denen jedes zweite einer jeweiligen Darstellung des virtuellen Hintergrunds entspricht und jedes der übrigen einem Keying-Hintergrund entspricht, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv unterscheiden lässt; und dass die Kamera dazu angesteuert wird, mit derselben konstanten Bildrate synchron zu der Hintergrund-Wiedergabeeinrichtung Einzelbilder der Szene aufzunehmen, so dass jedes zweite dieser Einzelbilder aufgenommen wird, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und jedes der übrigen dieser Einzelbilder aufgenommen wird, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt.In other words, the invention also relates to a recording method for recording a scene that includes a real subject in front of a virtual background using a camera, the method including: that a background display device is controlled to display individual images at a constant frame rate , each second of which corresponds to a respective representation of the virtual background and each of the others corresponds to a keying background that can be automatically distinguished from the real motif using a clear criterion; and that the camera is controlled to take frames of the scene at the same constant frame rate synchronously with the background display device, so that every other one of these frames is taken while the background display device displays the respective representation of the virtual background, and each of the remaining ones Frames are captured while the background renderer renders the keying background.

Vorzugsweise beträgt die genannte konstante Bildrate zumindest 100 Hz, insbesondere zumindest 120 Hz. Die Periodenfrequenz, mit der sich eine einzelne Wiedergabeperiode, in der einmal eine jeweilige Darstellung des virtuellen Hintergrunds und einmal der Keying-Hintergrund von der Hintergrund-Wiedergabeeinrichtung wiedergegeben wird und in der ein erstes Bild sowie ein zweites Bild aufgenommen wird, wiederholt, beträgt dann also zumindest 50 Hz, insbesondere zumindest 60 Hz.Preferably, said constant frame rate is at least 100 Hz, in particular at least 120 Hz a first image and a second image are recorded repeatedly, is then at least 50 Hz, in particular at least 60 Hz.

Das erfindungsgemäße Aufnahmesystem zur Aufnahme einer Szene, die ein reales Motiv vor einem virtuellen Hintergrund umfasst, umfasst eine Hintergrund-Wiedergabeeinrichtung, eine Kamera sowie eine Steuervorrichtung, wobei die Steuervorrichtung zum einen dazu ausgebildet ist, die Hintergrund-Wiedergabeeinrichtung dazu anzusteuern, periodisch abwechselnd eine jeweilige Darstellung des virtuellen Hintergrunds und einen Keying-Hintergrund, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv unterscheiden lässt, wiederzugeben, so dass innerhalb einer jeweiligen Wiedergabeperiode zumindest einmal die jeweilige Darstellung des virtuellen Hintergrunds sowie zumindest einmal der Keying-Hintergrund wiedergegeben wird, und zum anderen dazu ausgebildet ist, die Kamera dazu anzusteuern, während einer Aufnahme innerhalb jeder Wiedergabeperiode mindestens ein erstes Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und mindestens ein zweites Bild der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt.The recording system according to the invention for recording a scene that includes a real subject in front of a virtual background comprises a background display device, a camera and a control device, the control device being designed on the one hand to control the background display device to periodically alternate a respective display of the virtual background and a keying background, which can be automatically distinguished from the real motif using a clear criterion, so that within a respective display period the respective display of the virtual background and at least once the keying background are displayed, and on the other hand is designed to control the camera to record at least a first image of the scene during a recording within each playback period, while the background playback device reproduces the respective representation of the virtual background, and to record at least a second image of the scene while the background renderer renders the keying background.

Ein solches Aufnahmesystem kann beispielsweise in einem Bildaufnahmestudio vorgesehen werden, insbesondere fest installiert sein. Das Aufnahmesystem erlaubt dabei durch eine vorteilhafte Abstimmung seiner Elemente aufeinander eine besonders einfache Ausführung des erfindungsgemäßen Verfahrens. Insbesondere sind die Hintergrund-Wiedergabeeinrichtung und die Kamera hinsichtlich ihrer Eignung für das erfindungsgemäße Verfahren ausgewählt oder wurden entsprechend modifiziert und werden durch die Steuervorrichtung in koordinierter Weise gemäß dem Verfahren betrieben. Insbesondere ist es zweckmäßig, wenn sich die Kamera und die Hintergrund-Wiedergabeeinrichtung dabei bei derselben hohen Aufnahme- bzw. Wiedergabe-Bildrate und zeitlich aufeinander abgestimmt betreiben lassen.Such a recording system can be provided, for example, in an image recording studio, in particular it can be permanently installed. The recording system allows a particularly simple execution of the method according to the invention by an advantageous coordination of its elements. In particular, the background display device and the camera are selected for their suitability for the method according to the invention or have been modified accordingly and are operated by the control device in a coordinated manner according to the method. In particular, it is expedient if the camera and the background display device can be operated at the same high recording or display frame rate and in a manner coordinated with one another in terms of time.

Die vorstehenden Erläuterungen möglicher Ausführungsweisen und der daraus resultierenden jeweiligen Vorteile, insbesondere in Bezug auf den virtuellen Hintergrund, den Keying-Hintergrund und die Art ihrer periodisch abwechselnden Wiedergabe, gelten entsprechend auch für das Aufnahmesystem. Insbesondere sind der virtuelle Hintergrund und der Keying-Hintergrund, die von der Hintergrund-Wiedergabeeinrichtung des Aufnahmesystems wiedergegeben werden vorzugsweise voneinander unabhängig. Zudem kann der virtuelle Hintergrund als Bewegtbild ausgebildet sein, wohingegen es sich bei dem Keying-Hintergrund vorzugsweise um eine durchgehende einheitlich gefärbte Fläche handelt. Die Dauer einer jeweiligen Wiedergabeperiode beträgt vorzugsweise 20 ms oder weniger, vorzugweise weniger als 17 ms.The above explanations of possible implementations and the respective advantages resulting therefrom, in particular in relation to the virtual background, the keying background and the type of their periodically alternating reproduction, also apply correspondingly to the recording system. In particular, the virtual background and the keying background rendered by the background rendering device of the recording system are preferably independent of one another. In addition, the virtual background can be used as a Be formed as a moving image, whereas the keying background is preferably a continuous, uniformly colored area. The duration of each display period is preferably 20 ms or less, preferably less than 17 ms.

Des Weiteren kann die Steuervorrichtung eines erfindungsgemäßen Aufnahmesystems dazu ausgebildet sein, zum einen die Hintergrund-Wiedergabeeinrichtung dazu anzusteuern, mit einer konstanten Bildrate Einzelbilder wiederzugeben, von denen jedes zweite einer jeweiligen Darstellung des virtuellen Hintergrunds entspricht und jedes der übrigen einem Keying-Hintergrund entspricht, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv unterscheiden lässt, und die Kamera dazu anzusteuern, mit derselben konstanten Bildrate synchron zu der Hintergrund-Wiedergabeeinrichtung Einzelbilder der Szene aufzunehmen, so dass jedes zweite dieser Einzelbilder aufgenommen wird, während die Hintergrund-Wiedergabeeinrichtung die jeweilige Darstellung des virtuellen Hintergrunds wiedergibt, und jedes der übrigen dieser Einzelbilder aufgenommen wird, während die Hintergrund-Wiedergabeeinrichtung den Keying-Hintergrund wiedergibt. Dabei kann die genannte konstante Bildrate zumindest 100 Hz, vorzugsweise zumindest 120 Hz, betragen.Furthermore, the control device of a recording system according to the invention can be designed to, on the one hand, control the background reproduction device to reproduce individual images at a constant frame rate, of which every second one corresponds to a respective representation of the virtual background and each of the others corresponds to a keying background that can be automatically distinguished from the real motif using a clear criterion, and to control the camera to record individual images of the scene at the same constant frame rate synchronously with the background display device, so that every second of these individual images is recorded while the background display device is recording the respective displaying the virtual background and capturing each of the remaining such frames while the background display is displaying the keying background. In this case, said constant frame rate can be at least 100 Hz, preferably at least 120 Hz.

Die Steuervorrichtung kann beispielsweise einen Mikroprozessor, eine zentrale Recheneinheit (Central Processing Unit, CPU), eine Anwendungsspezifische Integrierte Schaltung (ASIC) oder ein Field Programmable Gate Array (FPGA) umfassen.The controller may include, for example, a microprocessor, a central processing unit (CPU), an application specific integrated circuit (ASIC), or a field programmable gate array (FPGA).

Gemäß einer vorteilhaften Ausführungsform des Aufnahmesystems umfasst dieses ferner eine Speichereinrichtung, wobei die Steuervorrichtung oder die Kamera dazu ausgebildet ist, mindestens einen ersten Datensatz, welcher die während der Aufnahme aufgenommenen ersten Bilder in zeitlicher Relation zueinander umfasst, sowie mindestens einen zweiten Datensatz, welcher die während der Aufnahme aufgenommenen zweiten Bilder in zeitlicher Relation zueinander umfasst, in der Speichereinrichtung zu speichern. Dabei kann die Kamera selbst dazu ausgebildet sein, aus den aufgenommenen ersten und zweiten Bildern die beiden Datensätze zu bilden und in der Speichereinrichtung zu speichern; alternativ dazu kann vorgesehen sein, dass die Steuervorrichtung die während der Aufnahme aufgenommenen ersten und zweiten Bilder von der Kamera empfängt, daraus den ersten Datensatz und den zweiten Datensatz bildet und diese dann in der Speichereinrichtung speichert. Im Übrigen gelten für den ersten Datensatz und den zweiten Datensatz die vorstehenden Erläuterungen in Bezug auf das erfindungsgemäße Verfahren entsprechend.According to an advantageous embodiment of the recording system, this also includes a storage device, wherein the control device or the camera is designed to store at least one first data set, which includes the first images recorded during the recording in a temporal relationship to one another, and at least one second data set, which includes the the recording includes recorded second images in temporal relation to each other to store in the storage device. The camera itself can be designed to form the two data sets from the recorded first and second images and to store them in the memory device; alternatively, it can be provided that the control device receives the first and second images recorded during the recording from the camera, forms the first data set and the second data set from them and then stores them in the memory device. Otherwise, the above explanations with regard to the method according to the invention apply correspondingly to the first data set and the second data set.

Die Speichereinrichtung kann beispielsweise einen nichtflüchtigen Speicher und/oder einen Halbleiterspeicher umfassen.The memory device can include a non-volatile memory and/or a semiconductor memory, for example.

Des Weiteren ist es vorteilhaft, wenn die Steuervorrichtung oder die Kamera ferner dazu ausgebildet ist, mindestens einen dritten Datensatz, welcher die während der Aufnahme von der Hintergrund-Wiedergabeeinrichtung wiedergegebenen Darstellungen des virtuellen Hintergrunds in zeitlicher Relation zueinander umfasst, in der Speichereinrichtung zu speichern. Diese Darstellungen kann die Steuervorrichtung bzw. die Kamera von der Hintergrund-Wiedergabeeinrichtung zuvor empfangen haben oder sie können ihr bereits vorab vorliegen. Auch für den dritten Datensatz gelten die vorstehenden Erläuterungen in Bezug auf das erfindungsgemäße Verfahren entsprechend. Insbesondere kann jedem Bild des ersten Datensatzes und jedem Bild des zweiten Datensatzes sowie gegebenenfalls jeder Darstellung des dritten Datensatzes eine jeweilige Zeitinformation zugeordnet sein, die es erlaubt, eindeutig nachzuvollziehen, zu welchem Zeitpunkt innerhalb der Aufnahme ein jeweiliges Bild aufgenommen bzw. eine jeweilige Darstellung wiedergegeben wurde.Furthermore, it is advantageous if the control device or the camera is also designed to store at least a third data set, which includes the representations of the virtual background played back by the background playback device during the recording in a temporal relationship to one another, in the storage device. The control device or the camera can have previously received these representations from the background display device or they can already be available to it in advance. The above explanations with regard to the method according to the invention also apply correspondingly to the third data set. In particular, each image of the first data set and each image of the second data set and, if applicable, each representation of the third data set can be assigned a respective time information that makes it possible to clearly understand at what point in time within the recording a respective image was recorded or a respective representation was played back .

Des Weiteren ist es vorteilhaft, wenn die Steuervorrichtung oder die Kamera dazu ausgebildet ist, zusätzlich zu dem ersten Datensatz und dem zweiten Datensatz sowie gegebenenfalls dem dritten Datensatz bei der Aufnahme auch noch weitere Informationen zu speichern, die insbesondere für die Nachbearbeitung der aufgenommenen Bilddaten nützlich sein können. Wie oben bereits erläutert, kann es dabei besonders zweckmäßig sein, zeitsynchron mit den aufgenommenen ersten und zweiten Bildern Positionsdaten und/oder Objektivdaten abzuspeichern, zum Beispiel eingebettet in die genannten Datensätze oder auch in Form eines oder mehrerer Metadatensätze.Furthermore, it is advantageous if the control device or the camera is designed to store further information in addition to the first data set and the second data set and, if applicable, the third data set during the recording, which information is particularly useful for post-processing the recorded image data can. As already explained above, it can be particularly expedient here to store position data and/or lens data synchronously with the recorded first and second images, for example embedded in the named data sets or also in the form of one or more metadata sets.

Wie eingangs erläutert, kann die Hintergrund-Wiedergabeeinrichtung eine Vielzahl von aktiv leuchtenden Bildpunktelementen umfassen, die eine zumindest zweidimensionale Anordnung bilden. Insbesondere kann die Hintergrund-Wiedergabeeinrichtung als eine LED-Wand ausgebildet sein. In diesem Fall können die Bildpunktelemente Leuchtdioden umfassen. Insbesondere können sie jeweils als eine Leuchtdiode oder als eine Leuchtdiodeneinheit ausgebildet sein. Grundsätzlich kann die Hintergrund-Wiedergabeeinrichtung, insbesondere wenn sie gekrümmt oder gebogen ausgebildet ist, nicht nur hinter dem realen Motiv angeordnet werden, sondern sich auch bis unter und/oder über das reale Motiv erstrecken, um einen virtuellen Boden und/oder eine virtuelle Decke bzw. einen virtuellen Himmel wiederzugeben.As explained at the outset, the background display device can comprise a multiplicity of actively luminous pixel elements which form an at least two-dimensional arrangement. In particular, the background display device can be designed as an LED wall. In this case, the pixel elements can comprise light-emitting diodes. In particular, they can each be designed as a light-emitting diode or as a light-emitting diode unit. In principle, the background display device, in particular if it is curved or curved, can not only be arranged behind the real motif, but also extend below and/or above the real motif in order to create a virtual floor and/or a virtual ceiling or .to render a virtual sky.

Gemäß einer weiteren vorteilhaften Ausführungsform kann die Steuervorrichtung des Aufnahmesystems ferner dazu ausgebildet sein, eine oder mehrere Beleuchtungseinrichtungen dazu anzusteuern, das reale Motiv zu beleuchten. Auf diese Weise können um das reale Motiv herum Lichtverhältnisse erzeugt werden, die es so beleuchtet erscheinen lassen, als ob es sich tatsächlich in der durch den virtuellen Hintergrund dargestellten Umgebung befände. Dabei kann die Hintergrund-Wiedergabeeinrichtung, insbesondere wenn sie aktiv leuchtende Bildpunktelemente umfasst, als zumindest eine dieser Beleuchtungseinrichtungen genutzt werden. Mit anderen Worten steuert die Steuervorrichtung in diesem Fall (zumindest unter anderem) die Hintergrund-Wiedergabeeinrichtung dazu an, das reale Motiv zu beleuchten. Die Hintergrund-Wiedergabeeinrichtung kann somit eine Doppelfunktion erfüllen, nämlich den virtuellen Hintergrund wiederzugeben sowie das reale Motiv zu beleuchten. Die mehreren (von der Steuervorrichtung ansteuerbaren) Beleuchtungseinrichtungen können zusätzlich zu der Hintergrund-Wiedergabeeinrichtung herkömmliche Studio-Beleuchtungseinrichtungen umfassen, beispielsweise LED-Scheinwerfer, die an Stativen oder Gerüsten befestigbar sind.According to a further advantageous embodiment, the control device of the recording system can also be designed to control one or more lighting devices to illuminate the real subject. In this way, lighting conditions can be created around the real subject that make it appear illuminated as if it were actually located in the environment represented by the virtual background. In this case, the background display device can be used as at least one of these lighting devices, in particular if it comprises actively luminous pixel elements. In other words, in this case the control device controls (at least among other things) the background display device to illuminate the real motif. The background display device can thus fulfill a dual function, namely displaying the virtual background and illuminating the real subject. In addition to the background display device, the plurality of lighting devices (which can be controlled by the control device) can include conventional studio lighting devices, for example LED headlights, which can be attached to tripods or scaffolding.

Durch das erfindungsgemäße Aufnahmeverfahren und das erfindungsgemäße Aufnahmesystem kann eine jeweilige Szene in einer Weise aufgenommen werden, die vielfältige Möglichkeiten der Nachbearbeitung bietet. Insbesondere aufgrund der gespeicherten Zeitinformation ist es dabei auch möglich, mehrere verschiedene, zu verschiedenen Zeiten und/oder an verschiedenen Orten (z. B. in verschiedenen Bildaufnahmestudios), durchgeführte Aufnahmen miteinander zu kombinieren. Durch den jeweils auf der Hintergrund-Wiedergabeeinrichtung wiedergegebenen virtuellen Hintergrund kann dabei eine Art Synchronisation der verschiedenen Aufnahmen erfolgen, da sich in den verschiedenen Aufnahmen die Schauspieler an dem jeweiligen virtuellen Hintergrund orientieren können, dessen Inhalt insofern als eine Art Taktgeber fungieren kann.With the recording method according to the invention and the recording system according to the invention, a respective scene can be recorded in a way that offers a wide range of possibilities for post-processing. In particular, based on the stored time information, it is also possible to combine several different recordings made at different times and/or at different locations (e.g. in different image recording studios). A kind of synchronization of the different recordings can take place through the virtual background played back on the background display device, since the actors can orientate themselves on the respective virtual background in the different recordings, the content of which can function as a kind of clock generator.

In der Nachbearbeitung der erfindungsgemäß durchgeführten Aufnahmen können diese dann besonders flexibel miteinander kombiniert werden. Denn jede Aufnahme umfasst sowohl die ersten Bilder des realen Motivs vor dem jeweiligen virtuellen Hintergrund als auch die zweiten Bilder des realen Motivs (entweder vor dem Keying-Hintergrund oder bereits freigestellt) sowie vorzugsweise außerdem die Darstellungen des virtuellen Hintergrunds als separate Datensätze, die sich auch über verschiedene Aufnahmen hinweg auf vielfältige Weise kombinieren, korrigieren oder auf sonstige Weise nachbearbeiten lassen.In the post-processing of the recordings made according to the invention, these can then be combined with one another in a particularly flexible manner. Because each recording includes both the first images of the real motif in front of the respective virtual background and the second images of the real motif (either in front of the keying background or already released) and preferably also the representations of the virtual background as separate data sets, which are also can be combined, corrected or post-processed in any other way across different recordings.

Die Erfindung wird im Folgenden mit Bezug auf die Zeichnungen rein beispielhaft anhand von Ausführungsbeispielen weiter erläutert.

1 zeigt eine schematische Darstellung eines Aufnahmesystems für ein Bildaufnahmestudio mit einer Hintergrund-Wiedergabeeinrichtung zur Wiedergabe einer Darstellung eines virtuellen Hintergrunds und mit einer Kamera.
2 zeigt eine schematische Darstellung zweier erfindungsgemäß durchgeführter Aufnahmen, die dabei resultierenden Datensätze, sowie mögliche Resultate einer Kombination dieser Datensätze im Rahmen einer Nachbearbeitung der Aufnahmen.

The invention is explained further below with reference to the drawings purely by way of example using exemplary embodiments.

1 shows a schematic representation of a recording system for an image recording studio with a background display device for displaying a representation of a virtual background and with a camera.
2 shows a schematic representation of two recordings made according to the invention, the resulting data sets, and possible results of a combination of these data sets in the context of post-processing of the recordings.

1 zeigt schematisch ein virtuelles Bildaufnahmestudio 13, in welchem eine Szene, insbesondere in Form einer Bewegtbildaufnahme und/oder einer Stillbildaufnahme, mittels einer zugeordneten Kamera 23 aufgenommen werden kann. Die Kamera 23 kann beispielsweise als Bewegtbildkamera ausgebildet sein, um Bewegtbildaufnahmen durchführen zu können, die als eine Abfolge von mittels der Kamera 23 erzeugten Einzelbildern gespeichert werden können. Dazu weist die Kamera 23 ein Objektiv 59 auf, welches insbesondere als Wechselobjektiv ausgebildet sein kann, das wahlweise mit einem Gehäuse der Kamera 23 verbunden werden kann. Dadurch kann stets ein jeweiliges optimal an die Umgebung in dem Bildaufnahmestudio 13 angepasstes Objektiv 59 genutzt werden, um bestmögliche Aufnahmen erstellen zu können. In dem Gehäuse der Kamera 23 kann insbesondere ein Bildsensor angeordnet sein, auf welchen durch eine Blendenöffnung einer Blende eindringendes Licht mittels eines Linsensystems bzw. zumindest einer Linse des Objektivs 59 zum Erzeugen einer Abbildung auf dem Bildsensor geleitet werden kann, auf deren Grundlage dann ein jeweiliges Einzelbild erzeugt werden kann. 1 FIG. 12 schematically shows a virtual image recording studio 13 in which a scene, in particular in the form of a moving image recording and/or a still image recording, can be recorded using an associated camera 23. The camera 23 can be designed as a moving image camera, for example, in order to be able to record moving images, which can be stored as a sequence of individual images generated by the camera 23 . For this purpose, the camera 23 has a lens 59 which can be designed in particular as an interchangeable lens which can be optionally connected to a housing of the camera 23 . As a result, a lens 59 that is optimally adapted to the environment in the image recording studio 13 can always be used in order to be able to create the best possible recordings. In particular, an image sensor can be arranged in the housing of camera 23, onto which light penetrating through an aperture of a diaphragm can be guided by means of a lens system or at least one lens of lens 59 to generate an image on the image sensor, on the basis of which a respective Single image can be generated.

Ferner ist in dem Bildaufnahmestudio 13 eine Hintergrund-Wiedergabeeinrichtung 15 angeordnet, die gemeinsam mit der Kamera 23 Teil eines Aufnahmesystems 11 ist. Die Hintergrund-Wiedergabeeinrichtung 15 umfasst eine als LED-Wand 33 ausgebildete aktive Beleuchtungseinrichtung 31 und ist dazu ausgebildet, eine Darstellung 19 eines virtuellen Hintergrunds 21 für eine Aufnahme mittels der Kamera 23 wiederzugeben. Dazu weist die Beleuchtungseinrichtung 31 bzw. die LED-Wand 33 eine Vielzahl von Bildpunktelementen 35 auf, die in einer flächigen Anordnung nebeneinander angeordnet sind und als individuell ansteuerbare Leuchtdioden ausgebildet sind. Beispielsweise kann die aktive Beleuchtungseinrichtung 31 eine OLED-Wand aufweisen. Grundsätzlich können auch Hintergrund-Wiedergabeeinrichtungen zur Wiedergabe einer Darstellung 19 eines virtuellen Hintergrunds 21 in dem Bildaufnahmestudio 13 zum Einsatz kommen, welche die Darstellung 19 mittels einer Rückprojektion wiedergeben.Furthermore, a background reproduction device 15 is arranged in the image recording studio 13 , which is part of a recording system 11 together with the camera 23 . The background display device 15 comprises an active lighting device 31 embodied as an LED wall 33 and is designed to display a representation 19 of a virtual background 21 for recording by the camera 23 . For this purpose, the lighting device 31 or the LED wall 33 has a multiplicity of pixel elements 35 which are arranged next to one another in a planar arrangement and are designed as individually controllable light-emitting diodes. For example, the active lighting device 31 can have an OLED wall. In principle, background display devices can also be used to display a display 19 a virtual background 21 in the image recording studio 13 are used, which reproduce the representation 19 by means of a rear projection.

Das Aufnahmesystem 11 umfasst neben der Hintergrund-Wiedergabeeinrichtung 15 und der Kamera 23 eine Steuervorrichtung 25, welche dazu ausgebildet ist, die Hintergrund-Wiedergabeeinrichtung 15 und die Kamera 23 anzusteuern und dabei insbesondere auch zu synchronisieren. Ferner umfasst das Aufnahmesystem 11 eine Speichereinrichtung 27, in welcher Bilddaten gespeichert werden können. In dem gezeigten Beispiel ist die Steuervorrichtung 25 dazu ausgebildet, von der Kamera 23 erzeugte Bilddaten zu empfangen und in der Speichereinrichtung 27 zu speichern. Grundsätzlich kann auch die Kamera 23 selbst dazu ausgebildet sein, Bilddaten direkt (ohne den Umweg über die Steuervorrichtung 25) in der Speichereinrichtung 27 zu speichern.In addition to the background display device 15 and the camera 23, the recording system 11 includes a control device 25, which is designed to control the background display device 15 and the camera 23 and in particular also to synchronize them. The recording system 11 also includes a storage device 27 in which image data can be stored. In the example shown, the control device 25 is designed to receive image data generated by the camera 23 and to store them in the memory device 27 . In principle, the camera 23 itself can also be designed to store image data directly (without the detour via the control device 25) in the storage device 27.

Die Darstellung 19 des virtuellen Hintergrunds 21 spiegelt in dem schematisch dargestellten Beispiel der 1 eine dreidimensionale Szenerie 43 mit Objekten 91, 92, 93 und 94, drei Bäumen und einem Weg, wider, die durch geeignetes Ansteuern der Bildpunktelemente 35, insbesondere geeignetes Einstellen deren jeweiliger Farbe und Helligkeit, erzeugt werden kann. Die dreidimensionale Szenerie 43 ist dabei auf die im Wesentlichen zweidimensionale Anordnung der Bildpunktelemente 35 der Beleuchtungseinrichtung 31 projiziert, wobei insbesondere die Objekte 91, 92 und 93 in unterschiedlicher räumlicher Tiefe erscheinen, um die Dreidimensionalität eines dem virtuellen Hintergrund 21 entsprechenden realen Hintergrunds nachzubilden.The representation 19 of the virtual background 21 reflects in the example shown schematically 1 a three-dimensional scenery 43 with objects 91, 92, 93 and 94, three trees and a path, which can be generated by suitably controlling the pixel elements 35, in particular suitably setting their respective color and brightness. The three-dimensional scenery 43 is projected onto the essentially two-dimensional arrangement of the pixel elements 35 of the lighting device 31, with the objects 91, 92 and 93 in particular appearing at different spatial depths in order to simulate the three-dimensionality of a real background corresponding to the virtual background 21.

Insbesondere dient die Darstellung 19 des virtuellen Hintergrunds 21 mittels der Hintergrund-Wiedergabeeinrichtung 15 dazu, einen Hintergrund für eine Aufnahme eines realen Motivs 17, beispielsweise eines Schauspielers, zu erzeugen. Dadurch können in dem Bildaufnahmestudio 13 grundsätzlich beliebige Landschaften, Räume oder Umgebungen geschaffen werden, vor bzw. in welchen eine Szene beispielsweise für einen Kinofilm gedreht werden soll. Zudem ist es möglich, durch eine sich zeitlich verändernde Ansteuerung der Bildpunktelemente 35 Bewegungen in dem virtuellem Hintergrund 21, zum Beispiel ein vorbeifahrendes Auto, darzustellen, auf welche der Schauspieler 17 im Vergleich zu einem Schauspiel vor einem statischen homogenen Hintergrund vereinfacht und verbessert reagieren kann.In particular, the representation 19 of the virtual background 21 is used by the background reproduction device 15 to generate a background for recording a real subject 17, for example an actor. As a result, in principle any landscapes, rooms or surroundings can be created in the image recording studio 13, in front of or in which a scene is to be shot, for example for a cinema film. In addition, it is possible to display movements in the virtual background 21, for example a passing car, by controlling the pixel elements 35 in a time-changing manner, to which the actor 17 can react in a simplified and improved manner in comparison to a spectacle in front of a static, homogeneous background.

Die Hintergrund-Wiedergabeeinrichtung 15 erstreckt sich hier im Wesentlichen in der Vertikalen, so dass sich der Schauspieler 17 vor dem virtuellen Hintergrund 21 bewegen kann. Um den virtuellen Hintergrund 21 jedoch umfänglicher darstellen zu können, kann sich die Hintergrund-Wiedergabeeinrichtung 15 auch um den Schauspieler 17 herum oder oberhalb von diesem erstrecken, wobei die Hintergrund-Wiedergabeeinrichtung 15 über dem Schauspieler 17 insbesondere eine horizontale Ausrichtung aufweisen kann. Um den Schauspieler 17 umgeben oder einen Übergang von der gezeigten vertikalen Ausrichtung zu einer horizontalen Ausrichtung erzeugen zu können, kann die Hintergrund-Wiedergabeeinrichtung 15 bzw. die Beleuchtungseinrichtung 31 oder die LED-Wand 33 zumindest abschnittsweise auch gewölbt bzw. gekrümmt sein.The background display device 15 extends here essentially vertically, so that the actor 17 can move in front of the virtual background 21 . However, in order to be able to display the virtual background 21 more comprehensively, the background display device 15 can also extend around the actor 17 or above it, with the background display device 15 being able to have a horizontal alignment above the actor 17 in particular. In order to be able to surround the actor 17 or to create a transition from the vertical alignment shown to a horizontal alignment, the background display device 15 or the lighting device 31 or the LED wall 33 can also be arched or curved at least in sections.

Zusätzlich zu dem Wiedergeben des virtuellen Hintergrunds 21 kann die Hintergrund-Wiedergabeeinrichtung 15 auch dazu dienen, das reale Motiv 17 zu beleuchten und dadurch beispielsweise eine weitere Studiobeleuchtung des Bildaufnahmestudios 13 zu unterstützen. Ferner kann durch ein Beleuchten des realen Motivs 17 mittels der Hintergrund-Wiedergabeeinrichtung 15 die Wechselwirkung des realen Motivs 17 bzw. des Schauspielers 17 mit in dem virtuellen Hintergrund 21 vorhandenen Lichtquellen, beispielsweise Laternen oder Lampen, verbessert werden, indem das reale Motiv 17 einen Schatten wirft, der mit den in der von der Kamera 23 erzeugten Abbildung sichtbaren Lichtverhältnissen korrespondiert.In addition to the reproduction of the virtual background 21, the background reproduction device 15 can also be used to illuminate the real motif 17 and thereby, for example, to support further studio lighting of the image recording studio 13. Furthermore, by illuminating the real motif 17 using the background display device 15, the interaction of the real motif 17 or the actor 17 with light sources present in the virtual background 21, for example lanterns or lamps, can be improved by the real motif 17 casting a shadow throws, which corresponds to the light conditions visible in the image generated by the camera 23 .

Während eine solche Hintergrund-Wiedergabeeinrichtung 15 somit vielfältige und komfortable Möglichkeiten zur Aufnahme von Szenen, insbesondere Bewegtbildaufnahmen, in einem Bildaufnahmestudio 13 mit grundsätzlich beliebigen virtuellen Hintergründen 21 bieten kann, kann das Aufnehmen eines realen Motivs 17 vor einem auf der Hintergrund-Wiedergabeeinrichtung 15 gezeigten virtuellen Hintergrund 21 die Möglichkeiten der Nachbearbeitung allerdings auch insofern einschränken, als ein Freistellen des realen Motivs 17 für ein Ersetzen oder Korrigieren des virtuellen Hintergrund 21 unter Umständen nur mit großem Aufwand und/oder nur mit unbefriedigender Bildqualität möglich ist.While such a background display device 15 can thus offer diverse and convenient options for recording scenes, in particular moving image recordings, in an image recording studio 13 with basically any virtual background 21, the recording of a real motif 17 in front of a virtual one shown on the background display device 15 However, background 21 also restricts the possibilities for post-processing insofar as cutting out the real motif 17 for replacing or correcting the virtual background 21 is sometimes only possible with great effort and/or only with unsatisfactory image quality.

Dies kann vermieden werden, wenn anstelle des virtuellen Hintergrunds 21 von der Hintergrund-Wiedergabeeinrichtung 15 ein Keying-Hintergrund 29 (vgl. 2) wiedergegeben wird, der sich anhand eines eindeutigen Kriteriums automatisiert von dem realen Motiv 17 unterscheiden lässt. Denn dann lässt sich das reale Motiv 17 in den aufgenommenen Bilddaten auf einfache Weise freistellen, so dass es nachträglich vor im Wesentlichen beliebigen anderen Hintergründen angeordnet werden kann.This can be avoided if, instead of the virtual background 21, a keying background 29 (cf. 2 ) is reproduced, which can be automatically distinguished from the real motif 17 using a clear criterion. This is because the real motif 17 in the recorded image data can then be cut out in a simple manner, so that it can subsequently be arranged in front of essentially any other background.

Bei dem Keying-Hintergrund 29 kann es sich insbesondere um eine durchgehende einheitlich gefärbte Fläche handeln, beispielsweise um eine durchgehend grüne oder blaue Fläche oder um eine durchgehend dunkle (schwarze) Fläche. Zum Wiedergeben des Keying-Hintergrunds 29 kann die Hintergrund-Wiedergabeeinrichtung 15 folglich insbesondere dazu angesteuert werden, dass die Bildpunktelemente 35 ihrer Beleuchtungseinrichtung 31 zumindest im Wesentlichen gleichartig (insbesondere in derselben Farbe bei gleicher Helligkeit) leuchten.The keying background 29 can in particular be a continuous, uniformly colored area, for example a solid green or blue area, or around a solid dark (black) area. To reproduce the keying background 29, the background reproduction device 15 can consequently be controlled in particular so that the pixel elements 35 of its illumination device 31 light up at least essentially the same way (in particular in the same color with the same brightness).

Die Vorteile eines direkt bei der Aufnahme wiedergegebenen virtuellen Hintergrunds 21 einerseits und der Verwendung eines Keying-Hintergrunds 29 andererseits lassen sich dadurch kombinieren, dass bei dem erfindungsgemäßen Aufnahmesystem 11 gemäß dem erfindungsgemäßen Verfahren die Hintergrund-Wiedergabeeinrichtung 15 von der Steuervorrichtung 25 dazu angesteuert wird, periodisch abwechselnd einerseits eine jeweilige Darstellung 19 des virtuellen Hintergrunds 21 und andererseits den Keying-Hintergrund 29 wiederzugeben, so dass innerhalb einer jeweiligen Wiedergabeperiode P einmal die jeweilige Darstellung 19 des virtuellen Hintergrunds 21 sowie einmal der Keying-Hintergrund 29 wiedergegeben wird. Zugleich wird die Kamera 23 von der Steuervorrichtung 25 dazu angesteuert, während einer Aufnahme innerhalb jeder Wiedergabeperiode P ein erstes Bild 37 der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung 15 die jeweilige Darstellung 19 des virtuellen Hintergrunds 21 wiedergibt, und ein zweites Bild 39 der Szene aufzunehmen, während die Hintergrund-Wiedergabeeinrichtung 15 den Keying-Hintergrund 29 wiedergibt.The advantages of a virtual background 21 reproduced directly during the recording on the one hand and the use of a keying background 29 on the other hand can be combined in that, in the recording system 11 according to the method according to the invention, the background reproduction device 15 is controlled by the control device 25 periodically alternately displaying a respective representation 19 of the virtual background 21 on the one hand and the keying background 29 on the other, so that within a respective display period P the respective representation 19 of the virtual background 21 and the keying background 29 are displayed once. At the same time, the camera 23 is controlled by the control device 25 to record a first image 37 of the scene during a recording within each display period P, while the background display device 15 displays the respective representation 19 of the virtual background 21, and a second image 39 of the scene while the background player 15 plays the keying background 29.

Dieses Vorgehen wird in 2 veranschaulicht. Darin illustriert links der obere mit A gekennzeichnete Bereich eine erste Aufnahme in einem ersten Bildaufnahmestudio 13 und der untere mit B gekennzeichnete Bereich eine zweite Aufnahme in einem zweiten Bildaufnahmestudio 13, wobei diese Aufnahmen dann im Rahmen eines Compositing, das rechts in dem mit C gekennzeichneten Bereich veranschaulicht wird, auf viele verschiedene Weisen miteinander und/oder mit zusätzlichen Bilddaten kombiniert werden können. Für beide Aufnahmen A und B sind dabei jeweils nur zwei Wiedergabeperioden P gezeigt, die unmittelbar aufeinanderfolgen und in denen sich daher das reale Motiv 17 nur unmerklich bewegt und der virtuelle Hintergrund 21 nur unmerklich verändert hat. Die beiden Aufnahmen A und B unterscheiden sich dabei zum einen durch das jeweilige reale Motiv 17 und zum anderen dadurch, dass zwei verschiedene Varianten eines virtuellen Hintergrunds 21 wiedergegeben werden, die sich inhaltlich jedoch nicht stark unterscheiden. In dem veranschaulichten Beispiel handelt es sich bei dem realen Motiv 17 um zwei unterschiedliche Schauspieler; der virtuelle Hintergrund 21 repräsentiert eine Strandlandschaft in zwei unterschiedlichen Varianten.This procedure will be 2 illustrated. In it, the upper area marked A on the left illustrates a first recording in a first image recording studio 13 and the lower area marked B shows a second recording in a second image recording studio 13, with these recordings then being made as part of a compositing, which is shown on the right in the area marked C illustrated, can be combined with each other and/or with additional image data in many different ways. For both recordings A and B, only two reproduction periods P are shown, which follow one another directly and in which the real subject 17 moves only imperceptibly and the virtual background 21 has changed only imperceptibly. The two recordings A and B differ on the one hand by the respective real motif 17 and on the other hand by the fact that two different variants of a virtual background 21 are reproduced, which, however, do not differ greatly in terms of content. In the illustrated example, the real subject 17 is two different actors; the virtual background 21 represents a beach landscape in two different variants.

In jeder Wiedergabeperiode P werden mittels derselben Kamera 23 jeweils ein erstes Bild 37 von dem realen Motiv 17 vor der jeweiligen Darstellung 19 des virtuellen Hintergrunds 21 aufgenommen und ein zweites Bild 39 von dem realen Motiv 17 vor dem Keying-Hintergrund 29 aufgenommen. Die dabei aufgenommenen ersten Bilder 37 sind in 2 hintereinander dargestellt und bilden einen ersten Datensatz 47, der in der Speichereinrichtung 27 gespeichert wird; die aufgenommenen zweiten Bilder 39 bilden einen zweiten Datensatz 49, der ebenfalls in der Speichereinrichtung 27 gespeichert wird. In dem zweiten Datensatz 49 wurde das reale Motiv 17 dabei jeweils bereits automatisch freigestellt, was aufgrund des Keying-Hintergrunds 29 mit hoher Bildqualität möglich ist. Die in 2 wiederum hintereinander dargestellten zweiten Bilder 39 des zweiten Datensatzes 49 enthalten somit das reale Motiv 17 vor einem transparenten Hintergrund anstelle des Keying-Hintergrunds 29. Außerdem wird in der Speichereinrichtung 27 ein dritter Datensatz 51 gespeichert, der die Darstellungen 19 des virtuellen Hintergrunds 21 enthält, die von der Hintergrund-Wiedergabeeinrichtung 15 während der Aufnahme wiedergegeben wurden. Auch diese den dritten Datensatz 51 bildenden Darstellungen 19 sind in 2 hintereinander dargestellt.In each reproduction period P, a first image 37 of the real subject 17 in front of the respective representation 19 of the virtual background 21 and a second image 39 of the real subject 17 in front of the keying background 29 are recorded using the same camera 23 . The first images 37 taken are in 2 displayed one after the other and form a first data record 47, which is stored in the memory device 27; the recorded second images 39 form a second data set 49 which is also stored in the storage device 27 . In the second data record 49, the real motif 17 has already been automatically cropped, which is possible with high image quality due to the keying background 29 . In the 2 The second images 39 of the second data set 49 that are displayed one after the other thus contain the real motif 17 in front of a transparent background instead of the keying background 29. In addition, a third data set 51 is stored in the storage device 27, which contains the representations 19 of the virtual background 21, the were played back by the background playback device 15 during recording. These representations 19 forming the third data set 51 are also in 2 shown one after the other.

Da in 2 für beide Aufnahmen A und B jeweils nur zwei Wiedergabeperioden P illustriert sind, sind für die drei Datensätze 47, 49 und 51 auch jeweils nur zwei aufgenommene erste Bilder 37, zweite Bilder 39 bzw. wiedergegebene Darstellungen 19 des virtuellen Hintergrunds 21 gezeigt. In der Regel wird eine Aufnahme eine deutlich längere Dauer aufweisen und somit wesentlich mehr Wiedergabeperioden P umfassen, so dass auch die Datensätze 47, 49, 51 dann entsprechend mehr Bilder 37, 39 bzw. Darstellungen 19 umfassen. Grundsätzlich lässt sich das Verfahren aber auch für eine Stillbildaufnahme anwenden, so dass die Aufnahme lediglich eine einzelne Wiedergabeperiode P umfasst. Die drei Datensätze 47, 49 und 51 umfassen dann lediglich ein einzelnes erstes Bild 37, ein einzelnes zweites Bild 39 bzw. eine einzelne wiedergegebene Darstellung 19 des virtuellen Hintergrunds 21.there in 2 only two playback periods P are illustrated for both recordings A and B, only two recorded first images 37, second images 39 or reproduced representations 19 of the virtual background 21 are shown for the three data sets 47, 49 and 51. As a rule, a recording will have a significantly longer duration and thus include significantly more playback periods P, so that the data sets 47, 49, 51 then also include correspondingly more images 37, 39 or representations 19. In principle, however, the method can also be used for a still image recording, so that the recording comprises only a single playback period P. The three data sets 47, 49 and 51 then only include a single first image 37, a single second image 39 or a single reproduced representation 19 of the virtual background 21.

Auch wenn die beiden Aufnahmen A und B in unterschiedlichen Bildaufnahmestudios 13 zu unterschiedlichen Zeitpunkten durchgeführt werden, können sie vorteilhafterweise durch die verwendeten virtuellen Hintergründe 21 miteinander synchronisiert sein, bei denen es sich vorzugsweise um dynamische virtuelle Hintergründe 21 handelt. Denn die vor dem jeweiligen virtuellen Hintergrund 21 aufgenommenen Handlungen des jeweiligen realen Motivs (Schauspieler) 17 können sich dadurch, dass der jeweilige virtuelle Hintergrund 21 beim Aufnehmen hinter dem jeweiligen realen Motiv 17 (abwechselnd mit dem Keying-Hintergrund 29) unmittelbar wiedergegeben wird, auf den virtuellen Hintergrund 21 beziehen, der insofern als Taktgeber für die Handlung dienen kann. So trägt das erfindungsgemäße Verfahren auch dazu bei, in verschiedenen Aufnahmen Bewegtbilddaten zu erzeugen, die in zeitlicher Hinsicht eindeutig aufeinander abgestimmt sind.Even if the two recordings A and B are carried out in different image recording studios 13 at different times, they can advantageously be synchronized with one another by the virtual backgrounds 21 used, which are preferably dynamic virtual backgrounds 21 . Because the actions of the respective real motif (actor) 17 recorded against the respective virtual background 21 can differ in that the respective virtual background 21 when shooting behind the respective real motif 17 (alternating with the keying background 29) is reproduced directly, refer to the virtual background 21, which can serve as a clock for the action. The method according to the invention thus also contributes to the generation of moving image data in different recordings which are clearly coordinated with one another in terms of time.

Im Rahmen eines sogenannten Compositing können die drei Datensätze 47, 49 und 51 für eine Nachbearbeitung der Aufnahme bzw. der Aufnahmen genutzt werden. Dies ist in 2 rechts in dem mit C gekennzeichneten Bereich durch mehrere Bilder illustriert, die verschiede Ergebnisse eines solchen Compositing darstellen und auf Grundlage der in den beiden Aufnahmen A und B erzeugten und gespeicherten Datensätze 47, 49 und 51 vergleichsweise einfach und mit hoher Bildqualität erstellt werden können. Dazu werden die Datensätze 47, 41 und 51 zusammengeführt (vgl. Pfeil) und gegebenenfalls neu mit einander kombiniert.As part of what is known as compositing, the three data sets 47, 49 and 51 can be used for post-processing of the recording or recordings. this is in 2 illustrated on the right in the area marked C by several images that represent different results of such compositing and can be created comparatively easily and with high image quality on the basis of the data sets 47, 49 and 51 generated and stored in the two images A and B. For this purpose, the data sets 47, 41 and 51 are brought together (see arrow) and possibly recombined with one another.

Das oberste und das unterste Bild der linken Spalte des Bereichs C der 2, die das reale Motiv (Schauspieler) 17 der Aufnahme A vor dem virtuellen Hintergrund 21 der Aufnahme A bzw. das reale Motiv (anderer Schauspieler) 17 der Aufnahme B vor dem virtuellen Hintergrund 21 der Aufnahme B zeigen, entsprechen dabei jeweils einem ersten Bild 37 der jeweiligen Aufnahme und können daher direkt als Einzelbild aus dem ersten Datensatz 47 der jeweiligen Aufnahme entnommen werden. Wie die weiteren Bilder der linken Spalte veranschaulichen, kann aber auch ein zweites Bild 39 aus dem zweiten Datensatz 49 einer jeweiligen Aufnahme mit einer Darstellung 19 des jeweiligen virtuellen Hintergrunds 21 aus dem dritten Datensatz 51 der jeweils anderen Aufnahme kombiniert werden, um das reale Motiv 17 der einen Aufnahme vor dem virtuellen Hintergrund 21 der anderen Aufnahme erscheinen zu lassen. Dabei ist es zudem möglich, die in den zweiten Bildern 39 freigestellten realen Motive 17 vor dem jeweiligen virtuellen Hintergrund 21 neu zu positionieren. Außerdem können die realen Motive 17 verschiedener Aufnahmen auch miteinander kombiniert werden, so dass sich Bilder erzeugen lassen, in denen die beiden realen Motive (Schauspieler) 17 der beiden Aufnahmen A und B gemeinsam vor dem virtuellen Hintergrund 21 einer der beiden Aufnahmen erscheinen (vgl. mittlere Bilder der linken Spalte).The top and bottom images of the left column of area C of the 2 , which show the real subject (actor) 17 of recording A in front of the virtual background 21 of recording A or the real subject (other actors) 17 of recording B in front of the virtual background 21 of recording B, each correspond to a first image 37 of the respective recording and can therefore be taken directly as a single image from the first data record 47 of the respective recording. As the further images in the left column illustrate, a second image 39 from the second data set 49 of a respective recording can also be combined with a representation 19 of the respective virtual background 21 from the third data set 51 of the respective other recording in order to show the real motif 17 to let the one recording appear in front of the virtual background 21 of the other recording. It is also possible to reposition the real motifs 17 cut out in the second images 39 in front of the respective virtual background 21 . In addition, the real motifs 17 of different recordings can also be combined with one another, so that images can be generated in which the two real motifs (actors) 17 of the two recordings A and B appear together in front of the virtual background 21 of one of the two recordings (cf. middle images of the left column).

Das Compositing ist dabei nicht auf die Darstellungen 19 des jeweiligen virtuellen Hintergrunds 21 beschränkt, die bei den Aufnahmen tatsächlich wiedergegeben und in den dritten Datensätzen 51 gespeichert wurden, sondern die freigestellten realen Motive 17 der zweiten Datensätze 49 der beiden Aufnahmen können auch mit sonstigen virtuellen Hintergründen 21 kombiniert werden. Bilder, die auf diese Weise erzeugt werden können, sind in der rechten Spalte des Bereichs C der 2 gezeigt, in denen hinter die realen Motive 17 eine Darstellung einer Berglandschaft als virtueller Hintergrund 21 eingefügt wurde, die in keiner der beiden Aufnahmen zuvor enthalten war, sondern neu kreiert wurde oder aus einer sonstigen Quelle stammt.The compositing is not limited to the representations 19 of the respective virtual background 21, which were actually reproduced in the recordings and stored in the third data sets 51, but the released real motifs 17 of the second data sets 49 of the two recordings can also be combined with other virtual backgrounds 21 can be combined. Images that can be generated in this way are shown in the right column of panel C of 2 shown, in which behind the real motifs 17 a representation of a mountain landscape was inserted as a virtual background 21, which was not contained in either of the two recordings before, but was newly created or comes from another source.

In 2 sind als verschiedene mögliche Ergebnisse des Compositing C zwar Einzelbilder gezeigt, die jeweils einem bestimmten Zeitpunkt innerhalb der jeweiligen Aufnahme entsprechen. Allerdings können mit einer zeitlichen Auflösung, die der Periodenfrequenz (Kehrwert der Dauer einer Wiedergabeperiode P) entspricht, für jeden Zeitpunkt der Aufnahme entsprechende Bilder erzeugt werden. Das Ergebnis ist dann eine Abfolge von Einzelbildern, die hinsichtlich der Anzahl ihrer Einzelbilder (und somit hinsichtlich ihrer Dauer) der einen oder den mehreren jeweiligen Aufnahmen entspricht, die den erzeugten Bildern zugrunde liegen. Auf diese Weise können ganze Bewegtbilder erzeugt werden, in denen ein oder mehrere reale Motive 17 aus gegebenenfalls mehreren Aufnahmen mit einem grundsätzlich beliebigen, insbesondere dynamischen, virtuellen Hintergrund 21 kombiniert sein können.In 2 individual images are shown as different possible results of compositing C, each of which corresponds to a specific point in time within the respective recording. However, with a temporal resolution that corresponds to the period frequency (reciprocal of the duration of a reproduction period P), corresponding images can be generated for each point in time of the recording. The result is then a sequence of individual images which, in terms of the number of its individual images (and thus in terms of their duration), corresponds to the one or more respective recordings on which the generated images are based. In this way, entire moving images can be generated in which one or more real motifs 17 from possibly several recordings can be combined with any, in particular dynamic, virtual background 21 .

Die vereinfachte und schematische Darstellung der 2 illustriert, wie vielfältig die Möglichkeiten der Nachbearbeitung einer jeweiligen Aufnahme aufgrund des erfindungsgemäßen Aufnahmeverfahrens sind, obwohl zur Vereinfachung von Interaktionen zwischen dem Vordergrund und der Umgebung ein jeweiliger virtueller Hintergrund 21 bereits bei der Aufnahme hinter dem jeweiligen realen Motiv 17 wiedergebeben wird. Die damit abwechselnde Wiedergabe eines Keying-Hintergrunds 29 gewährleistet dabei, dass das jeweilige reale Motiv 17 mit hoher Qualität freigestellt werden kann. Die Art der Speicherung der verschiedenen Bilddaten in separaten Datensätzen 47, 49 und 51, in denen den Bildern 37, 39 bzw. Darstellungen 19 jeweils eine Zeitinformation zugeordnet ist, die eine zeitliche Korrelation der Datensätze erlaubt, ermöglicht zudem eine einfache Synchronisierung auch mehrerer verschiedener Aufnahmen.The simplified and schematic representation of the 2 illustrates how diverse the possibilities of post-processing a respective recording are due to the recording method according to the invention, although a respective virtual background 21 is already reproduced behind the respective real motif 17 during the recording to simplify interactions between the foreground and the surroundings. The alternating playback of a keying background 29 ensures that the respective real motif 17 can be released with high quality. The way in which the various image data are stored in separate data sets 47, 49 and 51, in which time information is assigned to the images 37, 39 or representations 19, which allows the data sets to be correlated over time, also enables simple synchronization of several different images .

Bezugszeichenlistereference list

1111: Aufnahmesystemrecording system
1313: Bildaufnahmestudioimage capture studio
1515: Hintergrund-WiedergabeeinrichtungBackground Playback Facility
1717: reales Motiv (Schauspieler)real motive (actor)
1919: DarstellungDepiction
2121: virtueller Hintergrundvirtual background
2323: Kameracamera
2525: Steuervorrichtungcontrol device
2727: Speichereinrichtungstorage facility
2929: Keying-Hintergrundkeying background
3131: Beleuchtungseinrichtunglighting device
3333: LED-WandLED wall
3535: Bildpunktelementpixel element
3737: erstes Bildfirst picture
3939: zweites Bildsecond picture
4343: dreidimensionale Szeneriethree-dimensional scenery
4747: erster Datensatzfirst record
4949: zweiter Datensatzsecond record
5151: dritter Datensatzthird record
5959: Kameraobjektivcamera lens
9191: erstes Objektfirst object
9292: zweites Objektsecond object
9393: drittes Objektthird object
9494: viertes Objektfourth object
PP: Wiedergabeperiodeplayback period

Claims

Recording method for recording a scene that includes a real motif (17) in front of a virtual background (21) using a camera (23), the method comprising: - that a background display device (15) is controlled to periodically alternate a respective representation (19) of the virtual background (21) and a keying background (29), which is automated using a clear criterion from the real motif (17) can be distinguished, so that within a respective playback period (P) at least once the respective representation (19) of the virtual background (21) and at least once the keying background (29) is reproduced; and - that the camera (23) is controlled to record at least a first image (37) of the scene during a recording within each display period (P), while the background display device (15) displays the respective representation (19) of the virtual background (21 ) and capturing at least a second image (39) of the scene while the background display (15) is displaying the keying background (29).

admission procedure claim 1 , where the virtual background (21) and the keying background (29) are independent of each other.

admission procedure claim 1 or 2 , wherein the virtual background (21) is in the form of a moving image, so that at least some of the respective representations (19) of the virtual background (21) reproduced by the background reproduction device (15) in the different reproduction periods (P) differ from one another.

Recording method according to one of the preceding claims, in which the keying background (29) is a continuous uniformly colored area.

Recording method according to one of the preceding claims, wherein the duration of a respective playback period (P) is 20 ms or less, preferably less than 17 ms.

Recording method according to any one of the preceding claims, the method further comprising: - That at least one first data record (47) is stored, which includes the first images (37) recorded during the recording in a temporal relation to one another, and at least one second data record (49) is stored, which includes the second images (39 ) in temporal relation to each other.

admission procedure claim 6 , wherein in the second images (39) comprised by the second data set (49) the keying background (29) is in each case removed on the basis of the said unambiguous criterion, in particular replaced by a transparent background; or wherein the second images (39) contained in the second data set (49) are converted into a mask using the named clear criterion, which contains the information for each pixel of the respective image as to whether it corresponds to the real motif (17) or the respective background (21, 29).

admission procedure claim 6 or 7 , the method further comprising: - that at least a third data set (51) is stored, which includes the representations (19) of the virtual background (21) reproduced by the background reproduction device (15) during the recording in a temporal relation to one another.

Recording method according to one of the preceding claims, in which the background display device (15) is controlled to display frames at a constant frame rate, every second of which the respective representation ment (19) of the virtual background (21) and each of the others corresponds to the keying background (29), and wherein the camera (23) is controlled to display frames of the record scene, so that each second of these individual images corresponds to a respective one of the first images (37) and each of the remaining individual images corresponds to a respective one of the second images (39).

admission procedure claim 9 , said constant frame rate being at least 100 Hz, preferably at least 120 Hz.

Recording system (11) for recording a scene that includes a real motif (17) in front of a virtual background (21), the recording system (11) having a background reproduction device (15), a camera (23) and a control device (25) comprises, and wherein the control device (25) is designed on the one hand to control the background reproduction device (15) to periodically alternately display a respective representation (19) of the virtual background (21) and a keying background (29) which can be automatically distinguished from the real motif (17) on the basis of a clear criterion, so that within a respective playback period (P) the respective representation (19) of the virtual background (21) and at least once the keying background (29) is reproduced, and on the other hand is designed to control the camera (23) to record at least a first image (37) of the scene during a recording within each reproduction period (P), while the background reproduction device (15) is displaying the respective representation ( 19) of the virtual background (21) and capturing at least a second image (39) of the scene while the background display device (15) is displaying the keying background (29).

recording system claim 11 , wherein the recording system (11) further comprises a storage device (27), and wherein the control device (25) or the camera (23) is designed to store at least one first data set (47) which contains the first images (37 ) in a chronological relationship to one another, and to store at least one second data set (49), which includes the second images (39) recorded during the recording in a chronological relationship to one another, in the storage device (27).

recording system claim 12 , wherein the control device (25) or the camera (23) is also designed to store at least one third data set (51) which contains the representations (19) of the virtual background (21) reproduced by the background reproduction device (15) during the recording. in a temporal relation to one another, to be stored in the storage device (27).

Recording system according to one of the Claims 11 until 13 , wherein the background display device (15) comprises a multiplicity of actively luminous pixel elements (35) which form an at least two-dimensional arrangement, it being preferably provided that the background display device (15) is designed as an LED wall (33). and the pixel elements (35) comprise light emitting diodes.

Recording system according to one of the Claims 11 until 14 , wherein the control device (25) is also designed to control one or more lighting devices, in particular at least the background display device (15), among other things, to illuminate the real motif (17).