Verfahren zur Anpassung und Einstellung des Tiefenmessbereichs einer Studiokamera Procedure for adjusting and setting the depth measurement range of a studio camera
Die Erfindung betrifft ein Verfahren zur Anpassung und Einstellung des Tiefenmessbereichs einer Studiokamera, die Werte für den Abstand der Bildpunkte eines Kamerabildes von den Bildpunkten zugeordneten Teilen einer aufgenommenen dreidimensionalen Geometrie liefert.The invention relates to a method for adapting and setting the depth measurement range of a studio camera, which supplies values for the distance between the pixels of a camera image and the parts of a recorded three-dimensional geometry assigned to the pixels.
Bei Tiefen-Keying-Systemen für virtuelle Studios werden Tiefenwertbilder verwendet. In diesen Bildern werden den einzelnen Werten für den Abstand der Kamera von den von deren Bildpunkten aufgenommenen Teilen der Geometrie entsprechende endliche Graustufen zugeordnet. Auch bei stereoskopischen Tiefenmessungen kommen derartige Zuweisungen der Abstandswerte zu Graustufen zum Einsatz. Zumeist beschränkt man sich jedoch auf uniforme Wertebereiche.Depth keying systems for virtual studios use depth value images. In these images, the individual values for the distance of the camera from the parts of the geometry recorded by its pixels are assigned finite gray levels. Such assignments of the distance values to grayscale are also used for stereoscopic depth measurements. Most of the time, however, you restrict yourself to uniform value ranges.
Aus JP-A-07-7665 ist eine Videokamera bekannt, bei der mittels eines zusätz- lieh aufgenommenen Wärmebildes eine Person aus der Gesamtbildinformation separiert werden kann. In DE-C-37 32 347 ist ein Sensor mit mehreren in Ar- ray-Form angeordneten Pixeln beschrieben, die reflektierte Laserimpulse empfangen. Durch Abtastung des vom Sensor erfassten Bereichs mittels Laserimpulsen und zeitlich selektives Belichten der Pixel kann anhand der Menge der Ladungsträger pro Pixel die Entfernung des den Pixeln jeweils zugeordneten erfassten Teilbereiches eines aufgenommenen Bildes ermittelt werden. In DE-C-43 05 011 ist ein Entfernungsmessverfahren beschrieben, bei dem der erfasste Gesamtbereich in Teilbereiche aufgeteilt ist, wobei die Auflösung innerhalb der Teilbereiche jeweils von der gewählten Bitgröße abhängig ist. In
JP-A-61 731 18 ist eine Videokamera mit automatischer Fokussiereinstellung beschrieben.A video camera is known from JP-A-07-7665, in which a person can be separated from the overall image information by means of an additionally recorded thermal image. DE-C-37 32 347 describes a sensor with a plurality of pixels arranged in array form which receive reflected laser pulses. By scanning the area captured by the sensor using laser pulses and temporally selective exposure of the pixels, the distance of the captured partial area of a captured image assigned to the pixels can be determined on the basis of the amount of charge carriers. DE-C-43 05 011 describes a distance measuring method in which the total area covered is divided into sub-areas, the resolution within the sub-areas depending on the selected bit size. In JP-A-61 731 18 describes a video camera with automatic focus adjustment.
Der Erfindung liegt die Aufgabe zugrunde, die Auflösung der Abstandswerte bei einer technisch vorgegebenen Einteilung der Graustufenskala (z.B. 8 Bit) an die vorgegebene Genauigkeit optimal anzupassen.The invention is based on the task of optimally adapting the resolution of the distance values to the specified accuracy given a technically predetermined division of the gray scale (e.g. 8 bits).
Zur Lösung dieser Aufgabe wird mit der Erfindung ein Verfahren gemäß Anspruch 1 vorgeschlagen. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.To achieve this object, the invention proposes a method according to claim 1. Advantageous embodiments of the invention are specified in the subclaims.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung näher erläutert.The invention is explained in more detail below with reference to the drawing.
Bei der Umwandlung der Tiefenwertinformation in ein Graustufenbild stellt sich die Frage der Zuordnung von Abstandswerten zu den jeweiligen Graustufenwerten. Das Graustufenbild besitzt pro Bildpunkt einen endlichen Wertebereich, hingegen gibt es unendlich viele Tiefenwerte, die darauf abgebildet werden müssen. Auch ist die Unterteilung der Graustufenwerte in diskrete Ab- standswerte abhängig von der gewünschten Genauigkeit.When converting the depth value information into a grayscale image, the question arises of the assignment of distance values to the respective grayscale values. The grayscale image has a finite range of values for each pixel, but there are an infinite number of depth values that must be mapped on it. The subdivision of the grayscale values into discrete distance values also depends on the desired accuracy.
Ausgehend von einem Graustufenbild mit einer Pixelgenauigkeit von n Bit und einer erforderlichen Genauigkeit von Δs ergibt sich ein maximaler Abstandbereich von S = 2n * Δs.Starting from a grayscale image with a pixel accuracy of n bits and a required accuracy of Δs, a maximum distance range of S = 2 n * Δs results.
Bei der Erzeugung von Tiefenbildern von realen Objekten in virtuellen Studios ist vor allem der Bereich von Interesse, auf den die Kamera fokussiert ist. Aus den Trackingdaten der Kamera lässt sich der Abstand F der Linse zu den fo- kussierten Objekten ermitteln. Da nicht auszuschließen ist, dass F > S ist, muss der Abstandsbereich entsprechend um den anfokussierten Punkt derOf particular interest when creating depth images of real objects in virtual studios is the area on which the camera is focused. The distance F of the lens to the focused objects can be determined from the tracking data of the camera. Since it cannot be ruled out that F> S, the distance range must accordingly be around the focused point of the
Kamera gelegt werden. Dementsprechend müssen Abstandwerte U und V definiert werden mit U < F ≤ V und V - U = S.
Die Abstände Δu und Δv definieren die Entfernung der Werte U bzw. V vom anfokussierten Punkt F der Kamera (siehe Zeichnung). Es ist nicht auszuschließen, dass Δu ≠ Δv ist. Im folgenden soll daher ein symmetrischer sowie ein unsymmetrischer Abstandsbereich gleichermaßen umfasst sein.Camera. Accordingly, distance values U and V must be defined with U <F ≤ V and V - U = S. The distances Δu and Δv define the distance of the values U and V from the focused point F of the camera (see drawing). It cannot be ruled out that Δu ≠ Δv. In the following, a symmetrical and an asymmetrical distance range should therefore be encompassed equally.
Der Bereich zwischen U und V definiert diskrete Unterteilungen. Auch hier muss der allgemeine Fall berücksichtigt werden, dass jeder dieser Bereiche nicht zwingend Δs groß sein muss. Auch kleinere Werte als die gewünschte Genauigkeit können auftreten.The area between U and V defines discrete subdivisions. Again, the general case must be taken into account that each of these areas does not necessarily have to be large Δs. Values smaller than the desired accuracy can also occur.
Bei der Unterteilung muss weiterhin zwischen einem uniformen und nicht- uniformen Abstandsbereich unterschieden werden, und zwar je nachdem, ob die einzelnen Abstandsbereichsunterteilungen gleiche oder unterschiedliche Größen haben.In the subdivision, a distinction must also be made between a uniform and non-uniform distance range, depending on whether the individual distance range subdivisions have the same or different sizes.
Für das erfindungsgemäße Verfahren der Umwandlung von Tiefen wertinforma- tionen in Graustufenwerten sind der fokussierte Abstand und der Öffnungswinkel α der Kamera von Interesse. Beide Werte lassen sich aus dem Objektivtra- ckingsystem der Kamera ermitteln.The focused distance and the aperture angle α of the camera are of interest for the method according to the invention for converting depth value information into gray scale values. Both values can be determined from the camera's lens tracking system.
Man kann jetzt die Unterteilung des Abstandbereichs S sowie der Grenzen U und V manuell verändern. Es bietet sich jedoch an, diese Werte in Abhängigkeit von F und α automatisch zu bestimmen. Hierfür sollen Kalibrierungsdaten verwendet werden, die abhängig von den Kameraobjektivdaten den Abstand- bereich und somit eine Zuweisung von Tiefenwerten zu Graustufen definieren. Die Kalibrierungsdaten werden unter Berücksichtung der Blendenwerte der Kamera und des Tiefenwertsensors ermittelt.You can now change the subdivision of the distance range S and the limits U and V manually. However, it makes sense to automatically determine these values depending on F and α. For this purpose, calibration data are to be used which, depending on the camera lens data, define the distance range and thus an assignment of depth values to grayscale. The calibration data are determined taking into account the aperture values of the camera and the depth value sensor.
Unter Einbehaltung der gewünschten Genauigkeit Δs kann das 3D-Kamera- System automatisch die Zuweisung der Tiefenwerte vornehmen und sowohl nicht uniforme als auch asymmetrische Abstandbereiche zulassen.
Die Neuerung der Erfindung liegt in dem Zusammenspiel zwischen Kameratra- ckingdaten und der Bestimmung des Abstandbereichs. Durch entsprechende Kalibrierungsdaten und die aktuellen Objektivparameter lässt sich somit eine optimale Zuweisung unter Einbehaltung einer Mindestgenauigkeit Δs automati- sieren.While maintaining the desired accuracy Δs, the 3D camera system can automatically assign the depth values and allow both non-uniform and asymmetrical distance ranges. The innovation of the invention lies in the interaction between camera tracking data and the determination of the distance range. Corresponding calibration data and the current lens parameters can thus be used to automate an optimal assignment while maintaining a minimum accuracy Δs.
Die berechneten Werte werden dann an das nachfolgende Keying-System (Objektseparierung) übergeben, um aus den Graustufenwerten die entsprechenden Abstandswerte zu extrahieren.The calculated values are then transferred to the subsequent keying system (object separation) in order to extract the corresponding distance values from the grayscale values.
Die Festlegung der Lage des Tiefenmessbereichs erfolgt am zweckmäßigsten manuell oder in Abhängigkeit von den Einstellungsparametern des Objekts (z.B. Zoom) der Studiokamera. Man kann die Festlegung der Lage bzw. Entfernung des Tiefenmessbereichs relativ zur Kamera aber auch mit Vorteil an- hand der Häufung der Abstandswerte von Objekten des Bildes zur Kamera vornehmen. Anhand der Information im Tiefenwertbild lässt sich z.B. durch ein Histogramm oder eine ähnliche Analyse der Abstandswerte derjenige Bereich ermitteln, in dem eine Häufung von Tiefenwerten auftritt. Durch Berechnung eines minimalen und maximalen Abstandes lässt sich der Tiefenmessbereich, der von Interesse ist (z.B. der Tiefenmessbereich, in dem sich die meisten Tiefenmesswerte befinden), herleiten. Im Falle, dass mehrere Personen/Objekte in unterschiedlichen Entfernungen zur Kamera stehen, ergeben sich mehrere Cluster im Histogramm der Tiefenwerte, die ebenfalls eine Bestimmung der gewünschten Werte für den Messbereich ermöglichen. Es be- steht auch die Möglichkeit, dass zusätzliche Geräte, z.B. Lichtschranken, Funkemitter am Moderator oder an Überwachungskameras, die Daten für einen optimalen Tiefenmessbereich liefern. Hier sind die Möglichkeiten nahezu unbegrenzt. Man kann diesbezüglich zwischen aktiven Verfahren, wie z.B. Mikrowellen- oder Ultraschallsendern und der reinen Bildananalyse (wie beim einfa- chen Differenzkeying) unterscheiden. Letzteres kann als passives Abstandsermittlungsverfahren bezeichnet werden, da keine zusätzlichen Signale ausgesandt werden.
It is best to determine the position of the depth measurement range manually or depending on the setting parameters of the object (e.g. zoom) of the studio camera. The location or distance of the depth measurement range relative to the camera can also be determined advantageously using the accumulation of the distance values of objects in the image from the camera. Based on the information in the depth value image, e.g. Use a histogram or a similar analysis of the distance values to determine the area in which an accumulation of depth values occurs. By calculating a minimum and maximum distance, the depth measurement range that is of interest (e.g. the depth measurement range in which most depth measurement values are located) can be derived. In the event that several people / objects are at different distances from the camera, there are several clusters in the histogram of the depth values, which also enable the desired values for the measuring range to be determined. There is also the possibility that additional devices, e.g. Light barriers, radio emitters on the moderator or on surveillance cameras that provide data for an optimal depth measurement range. The possibilities here are almost unlimited. One can differentiate between active processes, e.g. Distinguish between microwave or ultrasonic transmitters and pure image analysis (as with simple difference keying). The latter can be referred to as a passive distance determination method since no additional signals are transmitted.