DE19545990A1

DE19545990A1 - Recording system with video camera for later virtual image production

Info

Publication number: DE19545990A1
Application number: DE19545990A
Authority: DE
Inventors: Dirk Dipl Ing Adolph
Original assignee: Deutsche Thomson Brandt GmbH
Current assignee: Deutsche Thomson Brandt GmbH
Priority date: 1995-12-09
Filing date: 1995-12-09
Publication date: 1997-06-12

Abstract

The so-called tracking system includes a microphone (1), the camera (2) and a device (3) for acquiring the additional data related to the camera shutter, iris, focusing, zooming, filtering and spatial position. All three signals are applied to a modulator (4) for recording and later reproduction by the video recorder (5). The recording covers data for six degrees of freedom, corresponding to the spatial co-ordinates of the camera position and to its pan, tilt and zoom. These data may be recorded on a separate track along the edge of the magnetic tape, or on the slanted tracks, in a frequency division multiplex with the luminance and chrominance carriers.

Description

Die Erfindung geht aus von einen System zur Aufnahme von Bildern gemäß dem Oberbegriff des Anspruchs 1. Eine Videokamera liefert im allgemeinen ein Videosignal und ein Tonsignal, die z. B. einem Sender, einer Übertragungsstrecke oder einem Recorder zugeführt werden und das von der Kamera aufgenommene Bild darstellen.The invention is based on a system for recording images according to the preamble of claim 1. A video camera delivers generally a video signal and a sound signal, e.g. B. one Transmitter, a transmission path or a recorder supplied and display the image captured by the camera.

Bei der Aufnahme von Bildern mit einer Videokamera ist es darüberhinaus bekannt, Zusatzdaten über den Aufnahmevorgang zu erzeugen. Derartige Zusatzdaten können sich auf Kamerakonditionen beziehen, z. B. auf Verschluß, Blende, Objektiveinstellung, Zoom, Lichtfilter. Sie können auch die jeweilige Kameraposition im Raum darstellen. Das erfolgt vorzugsweise durch sechs Koordinaten, nämlich drei kathetische Koordinaten für die Position im Raum und drei weitere Koordinaten für die Drehrichtung oben, unten, links, rechts usw.It is when taking pictures with a video camera also known to provide additional data about the recording process produce. Such additional data can affect Obtain camera conditions, e.g. B. on shutter, aperture, Lens adjustment, zoom, light filter. You can also use the display the respective camera position in the room. That happens preferably by six coordinates, namely three cathetic Coordinates for the position in space and three more Coordinates for the direction of rotation up, down, left, right etc.

Derartige Zusatzdaten dienen dazu, aus dem aufgenommenen Videosignal virtuelle Bilder zu erzeugen, die es in der Praxis nie gegeben hat. Dafür seien einige Beispiele genannt.Such additional data are used from the recorded Video signal to generate virtual images that are in practice never gave. Here are a few examples.

Mit Hilfe der Zusatzdaten ist es möglich, den Betrachter beliebig in das Geschehen einzubinden, d. h. seinen Blickwinkel zu dem Geschehen zu ändern, z. B. von der Ferne, von der Nähe, aus der Sicht einer bestimmten Partei. Ein weiteres Beispiel aus dem Sport: Es gab ein umstrittenes Tor, das aber nur mit einer Videokamera aufgenommen wurde, die an der Seitenlinie zwischen der Mittellinie und der Torauslinie postiert war. Mit den Bildern dieser Kamera konnte man nicht mit Sicherheit erkennen, ob es sich um ein Tor handelte. Es ist jetzt möglich, unter Auswertung des Videosignals der Kamera sowie weitere Daten über die Position der Kamera, ihre Neigung, die geometrischen Abmessungen des Spielfeldes, z. B. Länge und Breite des Spielfeldes, Breite des Tores, Höhe des Tores usw. ein Bild zu erzeugen, das eine Kamera auf der Torauslinie aufgenommen hätte, die es in der Praxis niemals gegeben hat. Derartige Systeme, die auch als "tracking" oder durch die Firma Apples mit "Quick-Time VR" bezeichnet werden, sind näher beschrieben in den Zeitschriften c′t 1995, Heft 8, Seiten 104-107 und der Zeitschrift iX5/1995, Seiten 68-83.With the help of the additional data it is possible for the viewer to be integrated into the event as desired, d. H. his point of view to change the happening, e.g. B. from afar, from near, from the perspective of a particular party. Another example the sport: there was a controversial goal, but only with one Video camera was recorded on the sideline between the center line and the goal line was positioned. With the Images from this camera could not be recognized with certainty whether it was a gate. It is now possible under Evaluation of the video signal from the camera and other data on the position of the camera, its inclination, the geometric Dimensions of the playing field, e.g. B. Length and width of the Playing field, width of the goal, height of the goal etc. a picture that a camera would have recorded on the goal line, that has never existed in practice. Such systems that also as "tracking" or by the Apple company with "Quick-Time VR "are described in more detail in the Magazines c't 1995, issue 8, pages 104-107 and the Journal iX5 / 1995, pages 68-83.

Die genannten Zusatzdaten, die von der Kamera selbst oder mit getrennten Sensoren erzeugt werden, müssen zusätzlich erzeugt, aufbereitet und gespeichert werden.The additional data mentioned, by the camera itself or with separate sensors are generated, must also be generated processed and saved.

Der Erfindung liegt die Aufgabe zugrunde, eine einfache Speicherung derartiger Daten zu schaffen, ohne daß nennenswerte zusätzliche Mittel erforderlich sind. Diese Aufgabe wird durch die im Anspruch 1 angegebene Erfindung gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben. Die Erfindung besteht somit darin, daß das Videosignal und gegebenenfalls das Tonsignal sowie die Zusatzdaten auf demselben Aufzeichnungsträger eines Videorecorders aufgezeichnet werden.The invention has for its object a simple To create such data without creating any significant additional funds are required. This task is accomplished by solved the invention specified in claim 1. Beneficial Further developments of the invention are in the subclaims specified. The invention thus consists in that Video signal and, if necessary, the sound signal and the Additional data on the same record carrier VCRs can be recorded.

Durch die Erfindung ergeben sich mehrere Vorteile. Die Erfindung benötigt praktisch keinen Mehraufwand, da ein ohnehin vorhandener Videorecorder für die Aufzeichnung der Daten ausgenutzt wird. Auch der Aufwand an Speichermedium wird nicht erhöht, weil die Zusatzdaten wegen ihrer relativ geringen Bandbreite zusätzlich zu dem eigentlichen Videosignal und Tonsignal auf demselben Aufzeichnungsträger aufgezeichnet werden können. Durch die Aufzeichnung der Bilddaten und der Zusatzdaten auf demselben Aufzeichnungsträger ist die richtige zeitliche Korrelation zwischen diesen Daten stets sichergestellt.The invention has several advantages. The invention practically does not require any additional effort, as it is anyway existing video recorder for recording the data is exploited. Neither does the effort of storage medium increased because the additional data because of their relatively small Bandwidth in addition to the actual video signal and Sound signal can be recorded on the same recording medium can. By recording the image data and the additional data the correct time is on the same record carrier Correlation between these data is always ensured.

Vorzugsweise werden Zusatzdaten für sechs Freiheitsgrade aufgezeichnet, drei für die Position der Kamera im Raum in einem dreidimensionalen kathetischen Koordinatensystem und drei für die Drehrichtung der Kamera nach oben, unten, links und rechts. Durch Aufzeichnung der Daten dieser sechs Freiheitsgrade ist die Kondition der Kamera in jedem Augenblick weitestgehend definiert. Additional data for six degrees of freedom are preferred recorded, three for the position of the camera in the room in one three dimensional cathetic coordinate system and three for the direction of rotation of the camera up, down, left and right. By recording the data of these six degrees of freedom, the Condition of the camera as far as possible in every moment Are defined.

Ein Videorecorder für das erfindungsgemäße System enthält vorzugsweise einen zusätzlichen Aufnahme/Wiedergabe-Weg für die Zusatzdaten. Die Zusatzdaten können auf einer parallel zur Magnetbandkante verlaufenden Längsspur aufgezeichnet werden oder entlang den Schrägspuren des Magnetbandes im Frequenzmultiplex mit dem Bildträger und dem Farbträger des aufgezeichneten Fernsehsignals. Die Zusatzdaten können auch in derselben Spur wie das Videosignal im Zeitmultiplex mit diesem während der horizontalen oder vertikalen Austastlücken aufgezeichnet werden. Vorzugsweise erfolgt die Aufzeichnung der Daten nach dem Datenreduktionsverfahren MPEG.A video recorder for the system according to the invention contains preferably an additional recording / playback path for that Additional data. The additional data can be stored on a parallel to the Magnetic tape edge running longitudinal track can be recorded or along the helical tracks of the magnetic tape in frequency division multiplex with the image carrier and the color carrier of the recorded Television signal. The additional data can also be in the same track like the video signal in time division with this during the horizontal or vertical blanking gaps can be recorded. The data is preferably recorded after MPEG data reduction method.

Der Videorecorder kann ein handelsüblicher VHS-Videorecorder mit Schrägspur-Aufzeichnung auf einem Magnetband, ein Videospieler mit Aufzeichnung auf einer rotierenden Platte, der Recorderteil einer Videokamera oder auch ein Gerät mit einer Diskette sein.The video recorder can be used with a commercial VHS video recorder Helical track recording on magnetic tape, a video player with recording on a rotating disk, the recorder part a video camera or a device with a floppy disk.

Die Erfindung wird im folgenden anhand der Zeichnung erläutert. Darin zeigenThe invention is explained below with reference to the drawing. Show in it

Fig. 1 im Prinzip das erfindungsgemäße System zur Aufzeichnung der Zusatzdaten und Fig. 1 in principle the system according to the invention for recording the additional data and

Fig. 2 im Prinzip eine Kamera mit mehreren sogenannten Tracking-Sendern. Fig. 2 in principle a camera with several so-called tracking transmitters.

Fig. 1 zeigt ein Bildaufnahmesystem AS. Das System AS enthält ein Mikrofon 1 zur Erzeugung eines Audiosignals Aud sowie eine Kamera 2 zur Erzeugung eines Videosignals Vid. Zusätzlich sind Mittel zur Erzeugung der beschriebenen Zusatzdaten Tr vorgesehen, symbolisch dargestellt durch das kathetische Koordinatensystem 3. Diese Mittel erzeugen die Tracking- Zusatzdaten Tr. Die Signale Aud, Vid und Tr werden einem Modulator 4 zugeführt, der eine für die Aufzeichnung geeignete Modulation oder Kodierung der drei Datenfolgen in einer der verschiedenen Weisen bewirkt. Das derart modulierte oder kodierte Signal, enthaltend Aud, Vid und Tr, wird dem Videorecorder 5 zur Aufzeichnung und späteren Wiedergabe zugeführt. Fig. 1 shows an image pickup system AS. The system AS contains a microphone 1 for generating an audio signal Aud and a camera 2 for generating a video signal Vid. In addition, means are provided for generating the described additional data Tr, symbolically represented by the cathetic coordinate system 3 . These means generate the additional tracking data Tr. The signals Aud, Vid and Tr are fed to a modulator 4 which effects a modulation or coding of the three data sequences suitable for recording in one of the different ways. The signal modulated or encoded in this way, comprising Aud, Vid and Tr, is fed to the video recorder 5 for recording and later playback.

Fig. 2 zeigt eine Videokamera K in Form eines Camcorders und drei Sender T1, T2, T3 für die Sendung der sogenannten Tracking- Signale mit den Zusatzdaten. Die Kamera K kann aus den Daten der im Raum verteilten Sender T1, T2, T3 ihre jeweilige Position im Raum bestimmen. Die Sender wirken gewissermaßen als Leuchtfeuer oder Baken für die Bestimmung der jeweiligen Position der Kamera. Die Kamera K enthält einen Rechner, in dem die von den Sendern T1-T3 gesendeten Daten für die Lagebestimmung ausgewertet werden. Die Sender T1-T3 können akustisch über Ultraschall, elektromagnetisch über Funk oder auch optisch über Infrarot ihre Daten zu der Kamera K senden. Fig. 2 shows a video camera K in the form of a camcorder and three transmitters T1, T2, T3 for the transmission of the so-called tracking signals with the additional data. The camera K can determine its respective position in the room from the data of the transmitters T1, T2, T3 distributed in the room. The transmitters act as beacons or beacons for determining the respective position of the camera. The camera K contains a computer in which the data sent by the transmitters T1-T3 are evaluated for the position determination. The transmitters T1-T3 can transmit their data to the camera K acoustically via ultrasound, electromagnetically via radio or optically via infrared.

Claims

1. System for recording images with a television camera delivering a video signal and with means for forming additional data for the respective camera conditions for later generation of virtual images, characterized in that the video signal (Vid) and the additional data (Tr) on the same recording medium Video recorders ( 5 ) can be recorded.

2. System according to claim 1, characterized in that data for six degrees of freedom are recorded, three for the Position of the camera in space in a three-dimensional cathetic coordinate system and three for the direction of rotation the camera up, down, left and right.

3. Video recorder for a system according to claim 1, characterized characterized that the recorder an additional Includes recording / playback path for the additional data.

4. Video recorder according to claim 3, characterized in that the recording on a parallel to the magnetic tape edge longitudinal track.

5. Video recorder according to claim 3, characterized in that the additional data along the helical tracks of the magnetic tape in the Frequency division multiplex with the image carrier and the color carrier of the recorded television signal.

6. Video recorder according to claim 3, characterized in that the additional data in the same track as the video signal during the horizontal and / or vertical blanking gaps to be recorded.

7. Video recorder according to claim 3, characterized in that the recording of the data according to the data reduction method MPEG is done.

8. Video recorders according to claim 3, characterized in that the recorder uses a commercially available VHS video recorder Helical track recording on a magnetic tape, a video player with recording on a rotating disc, the Recorder part of a video camera or device with one Diskette is.