DE102014105011B4

DE102014105011B4 - System for visualizing the field of view of an optical device

Info

Publication number: DE102014105011B4
Application number: DE102014105011.8A
Authority: DE
Inventors: Auf Nichtnennung Antrag
Original assignee: Clipland GmbH
Current assignee: Clipland GmbH
Priority date: 2014-04-08
Filing date: 2014-04-08
Publication date: 2020-02-20
Anticipated expiration: 2034-04-09
Also published as: DE102014105011A1

Abstract

System zur Visualisierung des Sichtfeldes (12) einer optischen Vorrichtung, insbesondere einer Kamera (1), umfassendeine optische Vorrichtung mit einem Objektiv (2), wobei das Sichtfeld (12) der optischen Vorrichtung durch den horizontalen und vertikalen Bildwinkel (α, α) des Objektivs (2) bestimmt ist und die Grenzen des Sichtfeldes (12) durch einen pyramidenstumpfförmigen Körper (3) definiert sind und wobei mittels des Objektivs (2) ein Bild oder eine Bildsequenz eines Ereignisses (9) aus dem Sichtfeld (12) abbildbar ist,eine Anzeigevorrichtung (5) zur visuellen Darstellung von Informationen, wobei die Informationen eine reale Umgebung (7) oder eine Abbildung der realen Umgebung der Anzeigevorrichtung (5) und wenigstens ein virtuelles Objekt umfassen, wobei das wenigstens eine virtuelle Objekt von der Anzeigevorrichtung (5) zusätzlich zu der realen Umgebung (7) oder zu der Abbildung der realen Umgebung darstellbar ist, wobei das virtuelle Objekt das Sichtfeld (12) der optischen Vorrichtung repräsentiert, undeine Recheneinrichtung (10) zur Berechnung von virtuellen Objekten, wobei das wenigstens eine das Sichtfeld (12) der optischen Vorrichtung repräsentierende virtuelle Objekt unter Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung bestimmt wird.System for visualizing the field of view (12) of an optical device, in particular a camera (1), comprising an optical device with a lens (2), the field of view (12) of the optical device being determined by the horizontal and vertical image angle (α, α) of the Objective (2) is determined and the boundaries of the field of view (12) are defined by a truncated pyramid-shaped body (3) and wherein an image or an image sequence of an event (9) can be reproduced from the field of view (12) by means of the objective (2), a display device (5) for the visual display of information, the information comprising a real environment (7) or an image of the real environment of the display device (5) and at least one virtual object, the at least one virtual object being displayed by the display device (5) in addition to the real environment (7) or to the image of the real environment, the virtual object is the field of view (12) of the optical Device, and a computing device (10) for calculating virtual objects, the at least one virtual object representing the field of view (12) of the optical device determining the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device becomes.

Description

Die Erfindung betrifft ein System zur Visualisierung des Sichtfeldes einer optischen Vorrichtung, insbesondere eine Kamera, umfassend eine optische Vorrichtung, eine Anzeigevorrichtung und eine Recheneinrichtung.The invention relates to a system for visualizing the field of view of an optical device, in particular a camera, comprising an optical device, a display device and a computing device.

Bei der Arbeit mit optischen Vorrichtungen, insbesondere Kameras, wie beispielsweise Film- und Videokameras ist es ein wesentliches Kriterium für den Nutzer, dass das mit der optischen Vorrichtung abgebildete Bild bzw. die abgebildete Bildsequenz in einem von dem Nutzer gewünschten Bereich, dem sogenannten Schärfebereich, scharf abgebildet wird.When working with optical devices, in particular cameras, such as film and video cameras, it is an essential criterion for the user that the image or the image sequence imaged with the optical device in an area desired by the user, the so-called focus area, is shown sharply.

Die Einstellung des Schärfebereiches einer optischen Vorrichtung kann prinzipiell auf zwei Arten erfolgen. Zum einen kann dies manuell durchgeführt werden, zum anderen kann dies automatisch erfolgen. Hierzu werden sogenannte Autofokussysteme eingesetzt.The focus range of an optical device can in principle be adjusted in two ways. On the one hand this can be done manually, on the other hand it can be done automatically. So-called autofocus systems are used for this.

Der den Autofokussystemen zugrundeliegende mathematische Algorithmus arbeitet oftmals ungenau und kann den Schärfebereich nicht verlässlich berechnen. Im Umfeld der professionellen Bewegtbildproduktion werden Autofokussysteme daher aufgrund der mangelnden Genauigkeit der Einstellung des Schärfebereichs nur selten angewendet. Im professionellen Umfeld erfolgt deswegen nahezu ausschließlich eine manuelle Einstellung des Schärfebereiches, beispielsweise über die Verstellung eines an einem Objektiv der optischen Vorrichtung befindlichen Schärferings.The mathematical algorithm on which the autofocus systems are based often works imprecisely and cannot reliably calculate the focus range. In the field of professional moving image production, auto focus systems are therefore rarely used due to the lack of accuracy in setting the focus area. In the professional environment, therefore, the focus area is adjusted almost exclusively, for example by adjusting a focus ring located on a lens of the optical device.

Insbesondere im Rahmen der professionellen Bewegtbildproduktion sind mehrere Personen für die Bedienung einer optischen Vorrichtung vorgesehen und oftmals erforderlich. Zum einen plant ein sogenannter lichtsetzender Kameramann (Director of Photography) die aufzunehmende Szene. Ein Schwenker (Camera Operator oder First Assistant Camera) bedient und schwenkt die Kamera. Ein sogenannter Schärfezieher (Focus Puller oder First Assistant Camera) ist verantwortlich für die Fokussierung bzw. die Einstellung des Schärfebereiches eines mit einem Objektiv der optischen Vorrichtung abgebildeten Bildes bzw. Bewegtbildes.In the context of professional moving image production in particular, several people are provided for operating an optical device and are often required. On the one hand, a so-called lighting cameraman (Director of Photography) plans the scene to be shot. A swivel (camera operator or first assistant camera) operates and pans the camera. A so-called focus puller (focus puller or first assistant camera) is responsible for focusing or adjusting the focus range of an image or moving image imaged with a lens of the optical device.

Dieser manuelle Vorgang unterliegt einem näherungsweisen Arbeiten bzw. Schätzen seitens der Schärfezieherin bzw. des Schärfeziehers. Vor einer Aufnahme werden daher durch die Schärfezieherin bzw. den Schärfezieher händisch, beispielsweise mit einem Maßband, Distanzen im Raum vor dem Objektiv der optischen Vorrichtung ermittelt, um die Entfernung zu diesen vordefinierten Marken während der Aufnahme schätzen und entsprechend fokussieren zu können. Dies lässt wenig Raum für Varianz im Spiel der Bewegung der optischen Vorrichtung, da jede Abweichung von vorher ermittelten Marken eine Abweichung in dem Bereich des näherungsweisen Einstellens der Fokussierung bedeutet. Die Schwierigkeit wird entschieden erhöht, wenn als optische Vorrichtung eine Handkamera, eine sogenannte Steadycam, zum Einsatz kommt.This manual process is subject to approximate work or estimation on the part of the sharpener. Before a picture is taken, the focuser manually determines distances in the space in front of the lens of the optical device, for example with a tape measure, in order to be able to estimate the distance to these predefined marks during the picture and to focus accordingly. This leaves little room for variance in the play of the movement of the optical device, since any deviation from previously determined marks means a deviation in the area of the approximate adjustment of the focus. The difficulty is decidedly increased if a handheld camera, a so-called steady cam, is used as the optical device.

Der Abstand eines aufgenommenen Ereignisses zur optischen Vorrichtung und die damit verbundene Einstellung der Fokussierung bzw. des Schärfebereichs kann daher seitens der Schärfezieherin bzw. des Schärfeziehers nur durch große Erfahrung und Augenmaß ermittelt werden, wodurch die Tätigkeit des Schärfeziehens den Rang einer künstlerischen Fähigkeit, insbesondere im professionellen Umfeld der Bewegtbildproduktion genießt.The distance of a recorded event to the optical device and the associated adjustment of the focus or the focus area can therefore only be determined by the focus puller with great experience and a sense of proportion, whereby the activity of focus pulling has the rank of an artistic ability, especially in enjoys the professional environment of moving picture production.

Durch die stetig steigenden Auflösungen, beispielsweise durch HD und deren Nachfolgetechniken, ist eine ungenau eingestellte Fokussierung in Aufnahmen für einen Betrachter der aufgenommenen Szene viel offensichtlicher. Dies wird konterkariert davon, dass gerade in professionellen Bewegtbildproduktionen flache Schärfe eine beliebte künstlerische Wahl ist. So kann die Schärfeplanung die Arbeit bei der Aufnahme im professionellen Umfeld mitunter stark behindern, da Darsteller an feste Pfade durch die Szenerie gebunden sind. Die Schärfezieherin bzw. der Schärfezieher erhält derart Anhaltspunkte für die Einstellung der Fokussierung. Bei einer ungenauen Einstellung der Fokussierung durch die Schärfezieherin bzw. den Schärfezieher kann es daher vorkommen, dass ganze Aufnahmen wegen mangelnder oder flacher Schärfe unbrauchbar sind. Fällt dies erst im Nachgang auf, können die Kosten der Aufnahme signifikant steigen, da eine aufgenommene Szene nicht schnell wiederholbar ist, sondern eventuell ein ganzer Drehtag, der mitunter Tage bzw. Wochen zurückliegen kann und an Schauplätzen aufgenommen wurde, die nicht reproduziert werden können, unbrauchbar ist.Due to the constantly increasing resolutions, for example due to HD and its follow-up techniques, an inaccurately set focus in recordings is much more obvious for a viewer of the recorded scene. This is countered by the fact that flat sharpness is a popular artistic choice, especially in professional moving image productions. For example, focus planning can sometimes severely hinder work in the professional environment, as performers are bound to fixed paths through the scenery. In this way, the focus puller receives indications for the adjustment of the focus. If the focus is incorrectly adjusted by the focuser, it may happen that entire images are unusable due to insufficient or shallow sharpness. If this is noticed only afterwards, the cost of the recording can increase significantly, since a recorded scene cannot be quickly repeated, but possibly an entire day of shooting, which may be days or weeks ago and was shot in locations that cannot be reproduced, is unusable.

Zudem besteht ein weiteres Problem im Umfeld der professionellen Bewegtbildproduktion darin, dass von Außenstehenden nur ungefähr zu erkennen ist, was seitens einer optischen Vorrichtung momentan abgebildet wird. Ob ein weitwinkeliges Bild bzw. eine Bildsequenz oder etwa ein scharf gebündelter Bereich abgebildet wird, kann von Außenstehenden nur schwer beurteilt werden. Das kann jedoch von entscheidender Bedeutung sein. Beispielsweise kann ein Eingreifen bzw. Eintreten in das abgebildete Ereignis durch Außenstehende wie auch durch Objekte, wie beispielsweise das Eingreifen mit einer sogenannten Tonangel auftreten. Die Aufnahmesituation wird komplizierter, wenn ein Ereignis von mehreren optischen Vorrichtungen gleichzeitig abgebildet wird. Dies ist insbesondere im Bereich der professionellen Bewegtbildproduktion häufig anzutreffen.Another problem in the field of professional moving image production is that outsiders can only roughly see what is currently being imaged by an optical device. It is difficult for outsiders to judge whether a wide-angle image or an image sequence or a sharply focused area is being imaged. However, this can be crucial. For example, an intervention or entry into the depicted event can occur through outsiders as well as through objects, such as the intervention with a so-called boom. The recording situation becomes more complicated when an event is imaged by several optical devices at the same time. This is particularly common in the field of professional moving image production.

Ausgehend von diesem Stand der Technik besteht die Aufgabe der Erfindung darin, ein System bereitzustellen, das geeignet ist, das Sichtfeld einer optischen Vorrichtung, insbesondere einer Kamera zu visualisieren, um insbesondere die aus dem professionellen Umfeld von optischen Vorrichtungen bekannten Nachteile des Abbildens von nicht gewünschten Ereignissen in einem abgebildeten Bild bzw. in einer abgebildeten Bildsequenz, wie etwa von Objekten und/oder Personen zu vermeiden. Dabei soll vorzugsweise ferner die Einstellung des Schärfebereichs der optischen Vorrichtung präziser und leichter vornehmbar sein. Starting from this prior art, the object of the invention is to provide a system which is suitable for visualizing the field of view of an optical device, in particular a camera, in order in particular to overcome the disadvantages of imaging unwanted images known from the professional environment of optical devices Avoiding events in an image or image sequence, such as objects and / or people. The setting of the focus range of the optical device should preferably also be more precise and easier to carry out.

Die US 2010/0142826 A1 offenbart eine Vorrichtung zur Darstellung eines virtuellen Objekts innerhalb des Sichtbereichs eines Nutzers einer Anzeigevorrichtung. Dazu weist die Vorrichtung eine Kamera zur Erkennung der realen Umgebung auf. Nach einer Auswertung der aufgenommenen realen Umgebung wird für den Nutzer in diese reale Umgebung ein virtuelles Objekt eingeblendet.The US 2010/0142826 A1 discloses a device for displaying a virtual object within the viewing area of a user of a display device. For this purpose, the device has a camera for recognizing the real environment. After evaluating the recorded real environment, a virtual object is displayed for the user in this real environment.

Die US 2013/0286004 A1 offenbart eine Vorrichtung zum Darstellen von realen und virtuellen Objekten und zum Darstellen einer Kollision zwischen den Objekten.The US 2013/0286004 A1 discloses an apparatus for displaying real and virtual objects and for displaying a collision between the objects.

Die US 2002/0085843 A1 offenbart eine tragbare Kamera und einen Bildfinder zur Aufnahme von Videos, wobei ein Nutzer beide Hände frei hat. Die Vorrichtung wie eine Brille ausgebildet, welche mindestens eine Kamera und eine Anzeigeeinrichtung zur Darstellung des aktuell von der Kamera abgedeckten Aufnahmebereichs umfasst. Die Anzeigeeinrichtung ersetzt somit den Bildsucher einer klassischen Kamera.The US 2002/0085843 A1 discloses a portable camera and image finder for capturing video with a user having both hands free. The device is designed like glasses, which comprises at least one camera and a display device for displaying the recording area currently covered by the camera. The display device thus replaces the viewfinder of a classic camera.

Die CA 2 388 766 A1 offenbart eine Brille mit einer Anzeigevorrichtung zur Darstellung von virtuellen Objekten.The CA 2 388 766 A1 discloses glasses with a display device for displaying virtual objects.

Zur technischen Lösung dieser Aufgabe wird mit der Erfindung ein System zur Visualisierung des Sichtfeldes einer optischen Vorrichtung, insbesondere einer Kamera, vorgeschlagen, umfassend

eine optische Vorrichtung mit einem Objektiv, wobei das Sichtfeld der optischen Vorrichtung durch den horizontalen und vertikalen Bildwinkel des Objektivs bestimmt ist und die Grenzen des Sichtfeldes durch einen pyramidenstumpfförmigen Körper definiert sind und wobei mittels des Objektivs ein Bild oder eine Bildsequenz eines Ereignisses aus dem Sichtfeld abbildbar ist,
eine Anzeigevorrichtung zur visuellen Darstellung von Informationen, wobei die Informationen eine reale Umgebung oder eine Abbildung der realen Umgebung der Anzeigevorrichtung und wenigstens ein virtuelles Objekt umfassen, wobei das wenigstens eine virtuelle Objekt von der Anzeigevorrichtung zusätzlich zu der realen Umgebung oder zu der Abbildung der realen Umgebung darstellbar ist, wobei das virtuelle Objekt das Sichtfeld der optischen Vorrichtung repräsentiert, und
eine Recheneinrichtung zur Berechnung von virtuellen Objekten, wobei das wenigstens eine das Sichtfeld der optischen Vorrichtung repräsentierende virtuelle Objekt unter Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung bestimmt wird.

To solve this problem technically, the invention proposes a system for visualizing the field of view of an optical device, in particular a camera

an optical device with a lens, wherein the field of view of the optical device is determined by the horizontal and vertical angle of view of the lens and the limits of the field of view are defined by a truncated pyramid-shaped body and wherein an image or an image sequence of an event can be imaged from the field of view by means of the lens is
a display device for visual display of information, the information comprising a real environment or an image of the real environment of the display device and at least one virtual object, the at least one virtual object from the display device in addition to the real environment or to the image of the real environment can be represented, the virtual object representing the field of view of the optical device, and
a computing device for calculating virtual objects, the at least one virtual object representing the field of view of the optical device being determined taking into account the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device.

Der Erfindung liegt die Erkenntnis zugrunde, dass die effektiven Charakteristika eines Objektivs einer optischen Vorrichtung optischen und physikalischen Gegebenheiten unterliegen und mit den Regeln der geometrischen Optik vorteilhafterweise zu jedem Zeitpunkt rechnerisch ermittelbar sind. Um etwa das Eintreten von nicht gewünschten Gegenständen und/oder Personen in das abgebildete Bild bzw. einer abgebildeten Bildsequenz einer optischen Vorrichtung zu vermeiden, kann eine Visualisierung des Sichtfeldes einer optischen Vorrichtung für außenstehende Personen die bisher bekannten Nachteile vermeiden. Es erfolgt eine Rückmeldung an die Personen bezüglich des relevanten durch die optische Vorrichtung abgebildeten Bereiches, so dass ein ungewolltes Eintreten in diesen Bereich vermieden wird.The invention is based on the knowledge that the effective characteristics of an objective of an optical device are subject to optical and physical conditions and can advantageously be calculated at any time using the rules of geometric optics. In order to avoid, for example, undesired objects and / or people from entering the depicted image or image sequence of an optical device, visualizing the field of view of an optical device for outside people can avoid the disadvantages known to date. There is a feedback to the people regarding the relevant area imaged by the optical device, so that an unwanted entry into this area is avoided.

Die effektiven Charakteristika sind durch die physikalischen Gegebenheiten des Objektivs der optischen Vorrichtung gegeben. Zudem geben die an der optischen Vorrichtung verwendeten Objektive Auskunft über aktuelle Einstellungen mittels sogenannter Metadaten, beispielsweise Daten bezüglich der verwendeten Brennweite, Blendenöffnung, Schärfeeinstellung bzw. der Lage der internen Linsengruppen zueinander oder dergleichen. Diese im Folgenden als Parameter bezeichneten Daten erlauben die Berechnung des Sichtfeldes einer optischen Vorrichtung, da sie in einer von weiteren Einrichtungen verarbeitbaren Form ausgebbar sind, so dass diese insbesondere mit einer Recheneinrichtung derart verarbeitet und aufbereitet werden können, dass das Sichtfeld einer optischen Vorrichtung mit einer Anzeigevorrichtung vorteilhafterweise als ein virtuelles Objekt darstellbar ist.The effective characteristics are given by the physical conditions of the objective of the optical device. In addition, the lenses used on the optical device provide information about current settings using so-called metadata, for example data relating to the focal length used, the aperture, the focus setting or the position of the internal lens groups relative to one another or the like. These data, referred to below as parameters, allow the field of view of an optical device to be calculated, since they can be output in a form that can be processed by further devices, so that they can be processed and processed, in particular, with a computing device such that the field of view of an optical device with Display device can advantageously be represented as a virtual object.

Als Objektiv wird der Apparat aus Linsen, Blenden und Mechanik im Allgemeinen bezeichnet. Dieses leitet das aufgenommene Licht, daher das mit dem Objektiv abgebildete Bild bzw. die abgebildete Bildsequenz eines Ereignisses in die optische Vorrichtung zur weitergehenden Verwendung.The apparatus consisting of lenses, diaphragms and mechanics is generally referred to as a lens. This guides the recorded light, hence the image imaged with the lens or the imaged image sequence of an event, into the optical device for further use.

Das Sichtfeld einer optischen Vorrichtung im Sinne des vorliegenden Systems ist durch einen Konus mit rechteckiger Grundfläche, einem im wesentlichen pyramidenstumpfförmigen Körper ausgebildet. Das Sichtfeld der optischen Vorrichtung ist daher ein „liegender Pyramidestumpf“ im Raum. Dieser im Wesentlichen pyramidenstumpfförmige Körper beschreibt den Strahlengang in das Objektiv der optischen Vorrichtung, wobei der Strahlengang seine schärfste Bündelung, also die Spitze des Pyramidenstumpfes, im Durchgang durch eine Blende des Objektivs aufweist. Der pyramidenstumpfförmige Körper ist durch den horizontalen und vertikalen Bildwinkel des Objektivs der optischen Vorrichtung bestimmt, wobei diese auch als Öffnungswinkel des Objektivs bezeichnet werden.The field of view of an optical device in the sense of the present system is through a Cone with a rectangular base, an essentially truncated pyramid-shaped body. The field of vision of the optical device is therefore a "lying truncated pyramid" in space. This essentially truncated pyramid-shaped body describes the beam path into the objective of the optical device, the beam path having its sharpest bundling, ie the tip of the truncated pyramid, in the passage through an aperture of the objective. The truncated pyramid-shaped body is determined by the horizontal and vertical image angle of the objective of the optical device, these also being referred to as the opening angle of the objective.

Unter Fokussierung bzw. Schärfebereich wird der Bereich eines abgebildeten Bildes bzw. einer abgebildeten Bildsequenz eines Ereignisses aus dem Sichtfeld einer optischen Vorrichtung mit der größten Schärfe verstanden. Der Schärfebereich kann bei einer kleinen Irisöffnung, also einer großen Blendenzahl, ein tiefer Bereich bzw. ein breiter Schnitt und bei einer großen Irisöffnung, also einer kleinen Blendenzahl, ein flacher Bereich sein, so dass nur eine Ebene von wenigen Millimetern innerhalb eines abzubildenden Bildes bzw. einer abzubildenden Bildsequenz eines Ereignisses scharf abgebildet wird.Focusing or focus area is understood to mean the area of an imaged image or an imaged image sequence of an event from the field of view of an optical device with the greatest sharpness. With a small iris opening, i.e. a large f-number, the focus area can be a deep area or a wide cut and with a large iris opening, i.e. a small f-number, a flat area so that only a plane of a few millimeters within an image or image to be imaged an image sequence of an event to be imaged is sharply imaged.

Die Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung ermöglicht die perspektivisch korrekte Überlagerung einer realen Umgebung bzw. der Abbildung einer realen Umgebung mit dem zu bestimmenden das Sichtfeld der optischen Vorrichtung repräsentierenden virtuellen Objekt. Um jeweils die räumliche Position und Ausrichtung der Vorrichtung bestimmen zu können, kann auf bekannte Sensortechnik zurückgegriffen werden. Dabei erfassen Sensoren die Position und Rotation eines Objektes und erlauben ferner die Verfolgung von Objekten im Raum. Dies wird als sogenanntes „Tracking“ bezeichnet. Marktverfügbar sind derzeit unterschiedlich präzise wie aufwendige Tracking-Systeme, die primär auf drei verschiedenen Technologien basieren.The consideration of the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device enables the perspective correct superimposition of a real environment or the mapping of a real environment with the virtual object to be determined representing the field of view of the optical device. Known sensor technology can be used to determine the spatial position and orientation of the device. Sensors detect the position and rotation of an object and also allow objects to be tracked in space. This is known as "tracking". There are currently differently precise and complex tracking systems available on the market, which are primarily based on three different technologies.

Bei dem sogenannten magnetischen Tracking erzeugen orthogonal zueinander ausgerichtete Spulen ein Magnetfeld und spannen einen Messraum auf. Innerhalb dieses Magnetfeldes misst ein ebenfalls mit Spulen ausgestatteter Empfänger die Feldstärke des Magnetfeldes. Durch Auswertung dieser Werte kann die Position des Empfängers im aufgespannten Raum bestimmt werden.In so-called magnetic tracking, coils aligned orthogonally to one another generate a magnetic field and span a measuring space. Within this magnetic field, a receiver, also equipped with coils, measures the field strength of the magnetic field. The position of the receiver in the spanned space can be determined by evaluating these values.

Akustisches Tracking erlaubt die Positionsbestimmung über Lautsprecher und Mikrofone, wobei über Laufzeitunterschiede von akustischen Signalen die Position bestimmt werden kann.Acoustic tracking allows the position to be determined using loudspeakers and microphones, whereby the position can be determined by differences in the runtime of acoustic signals.

Bei dem optischen Tracking werden visuelle Marker eingesetzt. Über optische Vorrichtungen und photometrische Verfahren kann die Lage der Marker im Raum erfasst werden, so dass eine Positionsbestimmung möglich ist. Um die Ausrichtung der Vorrichtung bestimmen zu können, können sogenannte Gyroskope eingesetzt werden.Optical markers are used for optical tracking. The position of the markers in space can be detected using optical devices and photometric methods, so that a position can be determined. So-called gyroscopes can be used to determine the orientation of the device.

Bekannte Tracking-Techniken verbinden zudem verschiedene Verfahren, um genauere Positionsdaten gewährleisten zu können. Es wird dann von sogenannten „Hybriden-Tracking“ bzw. „Multi-Tracking“ gesprochen.Known tracking techniques also combine various methods in order to be able to guarantee more precise position data. The term “hybrid tracking” or “multi-tracking” is then used.

Das erfindungsgemäße System umfasst eine Recheneinrichtung zur Berechnung von virtuellen Objekten, wobei diese wenigstens ein das Sichtfeld der optischen Vorrichtung repräsentierendes virtuelles Objekt unter Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung bestimmt. Diese Bestimmung kann vorzugsweise mittels der oben beschriebenen Tracking-Systeme durchgeführt werden.The system according to the invention comprises a computing device for calculating virtual objects, which determines at least one virtual object representing the field of view of the optical device, taking into account the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device. This determination can preferably be carried out using the tracking systems described above.

Eine Anzeigevorrichtung des erfindungsgemäßen Systems ist zur visuellen Darstellung von Informationen ausgebildet, wobei die Informationen eine reale Umgebung bzw. eine Abbildung der realen Umgebung der Anzeigevorrichtung umfassen. Zum einen kann also die Umgebung der Anzeigevorrichtung, beispielsweise durch ein halb- bzw. semitransparentes Display unmittelbar gesehen werden bzw. die Anzeigeeinrichtung kann vorteilhafterweise mittels einer Kamera die reale Umgebung erfassen und auf dem Display der Anzeigevorrichtung darstellen. Ferner können die Informationen, die seitens der Anzeigevorrichtung visuell darstellbar sind, optional wenigstens ein virtuelles Objekt umfassen, wobei das wenigstens eine virtuelle Objekt von der Anzeigevorrichtung zusätzlich zu der realen Umgebung bzw. zu der Abbildung der realen Umgebung darstellbar ist und seitens der Recheneinrichtung berechnet wird. Demnach repräsentiert das virtuelle Objekt das Sichtfeld der optischen Vorrichtung. Durch die Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung bei der Berechnung des wenigstens einen das Sichtfeld der optischen Vorrichtung repräsentierenden virtuellen Objektes kann demnach die dargestellte reale Umgebung bzw. die dargestellte Abbildung der realen Umgebung perspektivisch korrekt überlagert werden. So erscheint das virtuelle Objekt, das eigentlich nur virtuell vorhanden ist, in der visuellen Darstellung der Anzeigevorrichtung als ob es tatsächlich existiert. Diese Überlagerung der seitens einer Anzeigevorrichtung visuell dargestellten realen Umgebung bzw. der Abbildung einer realen Umgebung mit einem virtuellen Objekt wird auch „erweiterte Realität“ (englisch: augmented reality) genannt.A display device of the system according to the invention is designed for the visual display of information, the information comprising a real environment or an image of the real environment of the display device. On the one hand, the surroundings of the display device can be seen directly, for example by means of a semi or semi-transparent display, or the display device can advantageously capture the real surroundings by means of a camera and display them on the display of the display device. Furthermore, the information that can be displayed visually by the display device can optionally include at least one virtual object, wherein the at least one virtual object can be displayed by the display device in addition to the real environment or to the image of the real environment and is calculated by the computing device , Accordingly, the virtual object represents the field of view of the optical device. By taking into account the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device when calculating the at least one virtual object representing the field of view of the optical device, the depicted real environment or the depicted image of the real environment can accordingly be viewed in perspective be overlaid correctly. In this way, the virtual object, which actually only exists virtually, appears in the visual representation of the display device as if it actually existed. This superimposition of the real environment visually represented by a display device or the depiction of a real environment with a A virtual object is also called "augmented reality".

Eine Ausgestaltung der Erfindung umfasst ferner Mittel zur Einstellung des Objektivs der optischen Vorrichtung, wobei die Fokussierung bzw. der Schärfebereich des mit dem Objektiv der Vorrichtung abgebildeten Bildes bzw. der abgebildeten Bildsequenz einstellbar ist. So lässt sich die Ebene der größten Schärfe eines Ereignisses innerhalb des Sichtfeldes der optischen Vorrichtung, welche einem Schnitt durch durch den im Wesentlichen unendlich langen pyramidenstumpfförmigen Körper entspricht, einstellen. Es ist also derjenige Bereich mit dem Mittel zur Einstellung des Objektivs der optischen Vorrichtung einstellbar, welcher im abgebildeten Bild bzw. in der abgebildeten Bildsequenz von einem Betrachter als scharf empfunden wird.An embodiment of the invention further comprises means for adjusting the lens of the optical device, the focusing or the focus range of the image or the image sequence depicted with the lens of the device being adjustable. In this way, the level of the greatest sharpness of an event within the field of view of the optical device, which corresponds to a section through the essentially infinitely long truncated pyramidal body, can be set. It is therefore possible to set the area with the means for adjusting the lens of the optical device which is perceived by an observer as sharp in the image or in the image sequence shown.

Eine weitere Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass das Mittel zur Einstellung des Objektivs der optischen Vorrichtung eine Kommunikationsverbindung zu der Recheneinrichtung und zu der optischen Vorrichtung aufweist. Über die Kommunikationsverbindung können Daten zwischen den verschiedenen Entitäten des Systems, vorliegend der optischen Vorrichtung, der Anzeigevorrichtung und der Recheneinrichtung ausgetauscht werden. Vorzugsweise können die ausgetauschten Daten jeweils seitens der Entitäten ausgewertet und entsprechend dem Inhalt der Daten umgesetzt werden.A further embodiment of the invention is characterized in that the means for adjusting the lens of the optical device has a communication link to the computing device and to the optical device. Data can be exchanged between the various entities of the system, in the present case the optical device, the display device and the computing device, via the communication link. The exchanged data can preferably each be evaluated by the entities and implemented in accordance with the content of the data.

Eine bevorzugte Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass wenigstens ein die Fokussierung bzw. den Schärfebereich repräsentierendes weiteres virtuelles Objekt seitens der Recheneinrichtung unter Berücksichtigung des das Sichtfeld der optischen Vorrichtung repräsentierenden virtuellen Objektes bestimmt wird. Durch die Darstellung der Fokussierung bzw. des Schärfebereiches als weiteres virtuelles Objekt, welches seitens der Anzeigevorrichtung visuell darstellbar ist und die reale Umgebung bzw. die Abbildung der realen Umgebung, welche ebenfalls seitens der Anzeigevorrichtung visuell darstellbar ist, überlagert, kann eine Bewertung des Schärfebereiches, also was in dem abgebildeten Bild bzw. der abgebildeten Bildsequenz als scharf empfunden wird, von einer/einem die Fokussierung bzw. den Schärfebereich einstellende Schärfezieherin bzw. einstellenden Schärfezieher von außerhalb beurteilt werden. Die Schärfezieherin bzw. der Schärfezieher befindet sich üblicherweise neben der optischen Vorrichtung und bedient das Mittel zur Einstellung des Objektivs der optischen Vorrichtung. Dies kann entweder direkt am Objektiv der optischen Vorrichtung angeordnet sein oder über eine Kommunikationsverbindung ferngesteuert erfolgen. Die Schärfezieherin bzw. der Schärfezieher ist nun dafür verantwortlich, die Fokussierung bzw. den Schärfebereich derart einzustellen, dass diese auf einem vorher definierten Punkt „liegen bleibt“. So kann beispielsweise ein Objekt innerhalb eines abgebildeten Ereignisses bei Bewegung durch das Sichtfeld der optischen Vorrichtung gleichbleibend scharf abgebildet werden. Durch die Darstellung der Fokussierung bzw. des Schärfebereiches als virtuelles Objekt und der Darstellung eines das Sichtfeld der optischen Vorrichtung repräsentierenden virtuellen Objektes wird der Schärfezieherin bzw. dem Schärfezieher eine genaue Entscheidungsgrundlage, eindeutig und leicht erfassbar, bereitgestellt. Die Schärfezieherin bzw. der Schärfezieher kann nun über die Mittel zur Einstellung des Objektivs der optischen Vorrichtung die sich bewegende Fokussierung bzw. den sich bewegenden Schärfebereich genau sehen, da dies seitens der Anzeigevorrichtung dargestellt wird. Die eingestellte Fokussierung bzw. der eingestellte Schärfebereich lässt sich folglich durch die Mittel zur Einstellung des Objektivs innerhalb des Sichtfeldes der optischen Vorrichtung dynamisch vor oder weiter zurückbewegen.A preferred embodiment of the invention is characterized in that at least one further virtual object representing the focusing or the focus area is determined by the computing device taking into account the virtual object representing the field of view of the optical device. By displaying the focus or the focus area as a further virtual object, which can be visually displayed by the display device and overlaps the real environment or the image of the real environment, which can also be displayed visually by the display device, an assessment of the focus area can be made. That is, what is perceived as sharp in the image or image sequence depicted can be judged from outside by a sharpener who adjusts the focus or the focus range. The focuser is usually located next to the optical device and operates the means for adjusting the lens of the optical device. This can either be arranged directly on the lens of the optical device or done remotely via a communication link. The focus puller is now responsible for adjusting the focus or focus so that it “stays” on a previously defined point. For example, an object within an imaged event can be imaged consistently sharp when moving through the field of view of the optical device. By displaying the focus or the focus area as a virtual object and displaying a virtual object representing the field of view of the optical device, the focus puller is provided with a precise basis for decision-making, clearly and easily ascertainable. The focuser can now precisely see the moving focus or the moving focus area via the means for adjusting the lens of the optical device, since this is shown on the part of the display device. The set focusing or the set focus range can consequently be moved dynamically forwards or further back by the means for setting the objective within the field of view of the optical device.

Die Besonderheit der vorliegenden Ausgestaltung der Erfindung ist folglich die visualisierte Darstellung des Sichtfeldes und der Fokussierung bzw. des Schärfebereiches, so dass diese von außerhalb der optischen Vorrichtung durch einen Nutzer wahrnehmbar ist. Für eine Schärfezieherin bzw. einen Schärfezieher bedeutet dies, dass er die Fokussierung bzw. den Schärfebereich „sehen“ kann, und nicht mehr gezwungen ist, permanent die Einstellung an den Mitteln zur Einstellung des Objektivs der Vorrichtung mit der Distanz zum abgebildeten Objekt bzw. zum abgebildeten Ereignis und optional zu vorher gemessenen Wegmarken abzugleichen. Dies erleichtert signifikant die Arbeit des Schärfeziehens und führt zu wesentlich genaueren Ergebnissen. Ferner können Kosten, die beispielsweise durch falsch eingestellte Fokussierung bzw. einem falsch eingestellten Schärfebereich verursacht werden können, signifikant reduziert werden.The special feature of the present embodiment of the invention is consequently the visualized representation of the field of view and the focusing or the focus area, so that this can be perceived by a user from outside the optical device. For a focuser, this means that he can "see" the focus or the focus area and is no longer forced to permanently adjust the means for adjusting the lens of the device with the distance to the depicted object or to mapped event and optionally to match previously measured waypoints. This significantly simplifies the work of sharpening and leads to much more precise results. Furthermore, costs that can be caused, for example, by incorrectly set focusing or an incorrectly set focus area can be significantly reduced.

Vorteilhafterweise ist es damit möglich - selbst bei flachster Schärfentiefe - die Fokussierung bzw. den Schärfebereich derart einzustellen, dass sogar bei einer unvorhersehbaren Bewegung eines abzubildenden Ereignisses innerhalb des Sichtfeldes der optischen Vorrichtung bzw. einem unvorhersehbaren Schwenk der optischen Vorrichtung die Fokussierung bzw. der Schärfebereich in bisher nicht möglicher Präzision und bei kleinster Latenz einzustellen bzw. nachzuführen.Advantageously, it is thus possible - even with the shallowest depth of field - to adjust the focus or the area of focus in such a way that even when there is an unpredictable movement of an event to be imaged within the field of view of the optical device or an unpredictable pivoting of the optical device, the focus or the area of focus in previously impossible to adjust and adjust with minimal latency.

Eine weitere bevorzugte Ausgestaltung der Erfindung umfasst Mittel zur Erkennung von Kollisionen zwischen einem realen Objekt und einem virtuellen Objekt, wobei die räumliche Position eines Objektes erfasst wird und mit der erfassten räumlichen Position des realen Objektes eine Überprüfung hinsichtlich einer Kollision des realen Objektes mit den Grenzen des Sichtfeldes der optischen Vorrichtung erfolgt, und im Falle einer Kollision eine Signalisierungsinformation erstellt wird, wobei die Signalisierungsinformation vorzugsweise seitens der Anzeigevorrichtung wiedergebbar ist.A further preferred embodiment of the invention comprises means for detecting collisions between a real object and a virtual object, the spatial position of an object being recorded and a check with the recorded spatial position of the real object with regard to a collision of the real object with the limits of the field of view of the optical device, and in the event of a collision, signaling information is generated, the signaling information preferably being reproducible on the part of the display device.

Zur Vermeidung des nicht gewollten Eintretens von realen Objekten in das Sichtfeld der optischen Vorrichtung kann eine Überprüfung hinsichtlich einer derartigen Kollision durchgeführt werden. Das virtuelle Objekt, welches das Sichtfeld der optischen Vorrichtung repräsentiert, ist folglich seitens der Anzeigevorrichtung sichtbar. Außenstehende Personen, beispielsweise Produktionsmitarbeiter im Umfeld der professionellen Bewegtbildposition, können die erfindungsgemäße Lösung nutzen, um zu sehen welcher Bereich seitens einer optischen Vorrichtung gerade abgebildet wird. Derart ist es möglich, dass beispielsweise die außenstehenden Personen oder andere Objekte, genauestens aus dem abgebildeten Bild bzw. der abgebildeten Bildsequenz gehalten werden können. Ferner kann das Eintreten von Objekten und/oder Ereignissen in einen abgebildeten Bereich innerhalb des Sichtfeldes der optischen Vorrichtung minimiert werden, indem im Rahmen der Erkennung von Kollisionen eine nahende Kollision zwischen einem realen Objekt und einem virtuellen Objekt, vorzugsweise dem das Sichtfeld der optischen Vorrichtung repräsentierenden virtuellen Objekt, über die Anzeige einer zu erstellenden Signalisierungsinformation signalisiert wird. Die Signalisierungsinformation ist vorzugsweise seitens der Anzeigevorrichtung wiedergebbar, so dass eine Warnung erfolgt. Die Signalisierungsinformation kann zu einer visuellen, aber auch einer akustischen und/oder haptischen Warnung führen.To avoid the unwanted entry of real objects into the field of view of the optical device, a check can be carried out for such a collision. The virtual object, which represents the field of view of the optical device, is consequently visible on the part of the display device. Outsiders, for example production employees in the area of the professional moving image position, can use the solution according to the invention to see which area is being imaged by an optical device. It is possible in this way that, for example, the outside people or other objects can be kept precisely from the image or image sequence shown. Furthermore, the occurrence of objects and / or events in an imaged area within the field of view of the optical device can be minimized by an approaching collision between a real object and a virtual object, preferably that representing the field of view of the optical device, within the scope of the detection of collisions virtual object, is signaled via the display of signaling information to be created. The signaling information can preferably be reproduced on the part of the display device, so that a warning is given. The signaling information can lead to a visual, but also an acoustic and / or haptic warning.

Eine Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass wenigstens ein virtuelles Objekt seitens der Recheneinrichtung in Echtzeit bestimmbar ist. Derart sind zu jeder Zeit die aktuellen Informationen vorzugsweise seitens der Anzeigevorrichtung visuell dargestellt. Die Anzeigevorrichtung stellt jeweils überlagert zu der realen Umgebung bzw. der Abbildung der realen Umgebung virtuelle Objekte dar, die die momentanen Parameter, vorteilhafterweise das Sichtfeld der optischen Vorrichtung oder die Fokussierung bzw. der Schärfebereich der optischen Vorrichtung, wiederspiegeln. Die Bestimmung wenigstens eines virtuellen Objektes seitens der Recheneinrichtung in Echtzeit führt dazu, dass eine Rückmeldung an einen Nutzer, welcher die die virtuellen Objekte repräsentierenden Informationen aufnimmt, in kleinster Latenz erfolgt und dementsprechend eine Benutzerreaktion in maximaler Präzision und in kürzester Reaktionszeit erfolgen kann.One embodiment of the invention is characterized in that at least one virtual object can be determined in real time by the computing device. In this way, the current information is preferably displayed visually by the display device at any time. The display device in each case superimposes virtual objects superimposed on the real environment or the image of the real environment, which reflect the current parameters, advantageously the field of view of the optical device or the focusing or the focus range of the optical device. The determination of at least one virtual object by the computing device in real time means that feedback to a user who receives the information representing the virtual objects takes place with the lowest latency and accordingly a user reaction can take place with maximum precision and in the shortest reaction time.

In einer Ausgestaltung der Erfindung ist die Anzeigevorrichtung ein See-Through-Display oder ein halbtransparentes Display, und vorzugsweise als ein Head-Mounted-Display (HMD) ausgebildet. Dabei ist das See-Through-Display oder das halbtransparente Display dazu ausgebildet, ein stereoskopisches oder stereoskopisch anmutendes halbdurchlässiges Bild zur visuellen Darstellung zu erzeugen, wobei eine virtuelle graphische Überlagerung mit der realen Umgebung erzeugt wird. Zudem kann die Anzeigevorrichtung als ein Head-Mounted-Display derart ausgebildet sein, so dass es wie ein Brillensystem von einem Benutzer tragbar ist. Die Anzeigevorrichtung ist in der Lage, die Richtung, die Neigung und die Position zu erfassen und die virtuelle graphische Darstellung, vorzugsweise eines seitens der Recheneinrichtung bestimmten wenigstens einen virtuellen Objektes mit der dynamischen Perspektive des das See-Through bzw. halbtransparente Display nutzenden Nutzers zu synchronisieren. Wenigstens ein eine geometrische Figur repräsentierendes virtuelles Objekt ist dreidimensional im Raum darstellbar, so als ob das virtuelle Objekt real existiert. Dabei ist durch die Berücksichtigung der räumlichen Position und Ausrichtung der Anzeigevorrichtung in Relation zu der räumlichen Position und Ausrichtung der optischen Vorrichtung das wenigstens eine virtuelle Objekt umschreitbar und daher lokal mit der optischen Vorrichtung im Raum fixiert.In one embodiment of the invention, the display device is a see-through display or a semi-transparent display, and is preferably designed as a head-mounted display (HMD). The see-through display or the semi-transparent display is designed to generate a stereoscopic or stereoscopic-looking semi-transparent image for visual display, a virtual graphic overlay being generated with the real environment. In addition, the display device can be designed as a head-mounted display such that it can be worn by a user like an eyeglass system. The display device is able to detect the direction, the inclination and the position and to synchronize the virtual graphic representation, preferably of at least one virtual object determined by the computing device, with the dynamic perspective of the user using the see-through or semi-transparent display , At least one virtual object representing a geometric figure can be represented three-dimensionally in space, as if the virtual object actually existed. By taking into account the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device, the at least one virtual object can be walked on and is therefore fixed locally with the optical device in space.

Eine weitere Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Mittel zur Einstellung des Objektivs der optischen Vorrichtung als ein sogenannter Follow-Fokus bzw. als ein Manipulator-Knopf und/oder Manipulator-Rad ausgebildet sind. Mit diesem können die Objektivparameter hinsichtlich der Fokussierung bzw. des Schärfebereiches des Objektivs einer optischen Vorrichtung eingestellt werden.A further embodiment of the invention is characterized in that the means for adjusting the lens of the optical device are designed as a so-called follow focus or as a manipulator button and / or manipulator wheel. With this, the lens parameters with regard to the focusing or the focus range of the lens of an optical device can be set.

In einer weiteren Ausgestaltung der Erfindung sind seitens der Recheneinrichtung der im Wesentlichen pyramidenstumpfförmige Körper als virtuelles Objekt und die Fokussierung bzw. der Schärfebereich als weiteres virtuelles Objekt aus von dem Objektiv der optischen Vorrichtung bereit gestellten Daten bestimmbar. Dabei können die seitens des Objektivs der optischen Vorrichtung bereitgestellten Daten die Blendenöffnung, Nutzerdaten, wenigstens eine Benutzereinstellung und/oder wenigstens eine Spezifikation und/oder dergleichen umfassen. Aus diesen Daten lässt sich beispielsweise der Bildwinkel bzw. Öffnungswinkel des Objektivs der optischen Vorrichtung berechnen, wie auch in welcher Entfernung vor der optischen Vorrichtung die Fokussierung bzw. der Schärfebereich liegt, oder genauer, wo die Ebene der größten Schärfe als Schnitt durch das Sichtfeld der optischen Vorrichtung vor der Abbildungsebene der optischen Vorrichtung liegt. Auch lässt sich nach Vorgabe eines Schwellenwertes für die Schärfe die Ausdehnung und Lage der Schärfentiefe bzw. Abbildungstiefe herleiten, also des „noch“ als scharf empfundenen Entfernungsintervalls im Bereich des Sichtfeldes des Objektivs der optischen Vorrichtung, welches je nach Blendenöffnung und Brennweite des Objektivs variiert. Moderne Objektive geben über eingebaute Sensoriken derartige bereitgestellte Daten vorzugsweise digital aus. Ältere Objektive können mit entsprechenden Sensoriken nachgerüstet werden, so dass auch diese derartige Daten liefern.In a further embodiment of the invention, the computing device can determine the truncated pyramid-shaped body as a virtual object and the focusing or the focus area as a further virtual object from data provided by the lens of the optical device. The data provided by the lens of the optical device can include the aperture, user data, at least one user setting and / or at least one specification and / or the like. From this data, for example, the angle of view or aperture angle of the lens of the optical device can be calculated, as well as at what distance in front of the optical device the focus or the focus range is, or more precisely, where the plane of greatest sharpness as a section through the field of view optical device lies in front of the imaging plane of the optical device. The extent and position of the depth of field or depth of field, ie the “still”, can also be derived from a threshold value for sharpness. as a perceived distance interval in the field of view of the lens of the optical device, which varies depending on the aperture and focal length of the lens. Modern lenses output such provided data preferably digitally via built-in sensors. Older lenses can be retrofitted with appropriate sensors so that they also provide such data.

Eine Ausgestaltung der Erfindung sieht vor, dass wenigstens eine der Kommunikationsverbindungen zwischen optischer Vorrichtung, Anzeigevorrichtung, Recheneinrichtung und Mittel zur Einstellung des Objektivs der optischen Vorrichtung drahtlos ausgebildet ist. Vorzugsweise sind die drahtlosen Kommunikationsverbindungen gemäß dem WLAN-, Bluetooth- und/oder NFC-Standard ausgebildet.An embodiment of the invention provides that at least one of the communication connections between the optical device, display device, computing device and means for adjusting the lens of the optical device is wireless. The wireless communication connections are preferably designed in accordance with the WLAN, Bluetooth and / or NFC standard.

Eine weitere Ausgestaltung der Erfindung ist dadurch gekennzeichnet, dass die Anzeigevorrichtung die Mittel zur Einstellung des Objektivs der optischen Vorrichtung umfasst.A further embodiment of the invention is characterized in that the display device comprises the means for adjusting the lens of the optical device.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigen:

1 eine schematische Darstellung einer Visualisierung des Sichtfeldes einer Kamera;
2 eine schematische Darstellung einer Ausgestaltung eines erfindungsgemäßen Systems;
3a, b jeweils eine schematische Darstellung einer Ausgestaltung einer erfindungsgemäßen Anzeigevorrichtung;
4a, b jeweils eine schematische Darstellung der visuellen Darstellungen der Anzeigevorrichtung nach 3a,b;
5a, b jeweils eine Ausgestaltung eines erfindungsgemäßen Systems nach 3a, b bzw. 4a, b und
6 ein Blockdiagramm einer Ausgestaltung eines erfindungsgemäßen Systems.

Further details, features and advantages of the invention are explained in more detail below with reference to the exemplary embodiments shown in the figures. Show:

1 a schematic representation of a visualization of the field of view of a camera;
2 a schematic representation of an embodiment of a system according to the invention;
3a, b each a schematic representation of an embodiment of a display device according to the invention;
4a, b each a schematic representation of the visual representations of the display device according to 3a, b ;
5a, b each an embodiment of a system according to the invention 3a, b respectively. 4a, b and
6 a block diagram of an embodiment of a system according to the invention.

In 1 ist eine Kamera 1 mit einem Objektiv 2 dargestellt. Zudem ist das Sichtfeld 12 der Kamera 1 abgebildet, welches durch den pyramidenstumpfförmigen Körper 3, auch Aufnahme-Pyramide genannt, begrenzt ist, und innerhalb dessen Objekte bzw. Ereignisse wahrgenommen und über das Objektiv mit der Kamera abgebildet werden können. Die Abbildung kann seitens der Kamera auf einem Speichermedium, wie einem Film oder einem digitalen Medium abgespeichert werden. Das Sichtfeld 12 der Kamera 1 ist durch die Bildwinkel α₁ und α₂ bestimmt. Der horizontale Bildwinkel α₁ , bezeichnet den horizontalen Öffnungswinkel des pyramidenstumpfförmigen Körpers 3. Der vertikale Bildwinkel α₂ bezeichnet entsprechend den Öffnungswinkel des pyramidenstumpfförmigen Körpers 3 in vertikaler Richtung.In 1 is a camera 1 with a lens 2 shown. In addition, the field of vision is 12 the camera 1 depicted by the truncated pyramid-shaped body 3 , also called recording pyramid, is limited, and within which objects or events can be perceived and imaged with the camera via the lens. The camera can save the image on a storage medium, such as a film or a digital medium. The field of vision 12 the camera 1 is through the picture angle α ₁ and α ₂ certainly. The horizontal picture angle α ₁ , denotes the horizontal opening angle of the truncated pyramid-shaped body 3 , The vertical picture angle α ₂ correspondingly denotes the opening angle of the truncated pyramid-shaped body 3 in the vertical direction.

Der pyramidenstumpfförmige Körper 3 ist in seiner Ausdehnung nicht beschränkt, so dass sich der pyramidenstumpfförmige Körper 3 unendlich in Längserstreckungsrichtung der optischen Vorrichtung erstreckt, wobei die Spitze des pyramidenstumpfförmigen Körpers 3 im Brennpunkt des Objektivs 2 liegt. The truncated pyramid-shaped body 3 is not limited in its extent, so that the truncated pyramid-shaped body 3 extends infinitely in the longitudinal direction of the optical device, the tip of the truncated pyramid-shaped body 3 at the focal point of the lens 2 lies.

Innerhalb des pyramidenstumpfförmigen Körpers 3 ist zudem die Fokussierung bzw. der Schärfebereich 4 dargestellt. Die Fokussierung bzw. der Schärfebereich 4 wird durch eine Ebene dargestellt, welche parallel zur Linsenebene des Objektivs 2 (nicht dargestellt) liegt und den Bereich innerhalb des Sichtfeldes 12 der Kamera 1 angibt, welcher scharf mit der Kamera 1 abbildbar ist. Objekte bzw. Ereignisse vor der Fokussierung bzw. dem Schärfebereich 4 - daher Objekte die zwischen dem Objektiv 2 und der Fokussierung bzw. Schärfeebene 4 liegen - und Objekte bzw. Ereignisse die hinter der Fokussierung bzw. dem Schärfebereich 4 liegen, werden entsprechend unscharf abgebildet. Die Fokussierung bzw. der Schärfebereich 4 ist innerhalb des Sichtfeldes 12 der Kamera 1 hin- und herbewegbar, was durch die Pfeile 13a und 13b verdeutlicht wird.Inside the frustum-shaped body 3 is also the focus or focus area 4 shown. The focus or focus area 4 is represented by a plane which is parallel to the lens plane of the lens 2 (not shown) lies and the area within the field of view 12 the camera 1 indicates which one is sharp with the camera 1 is reproducible. Objects or events before focusing or the focus area 4 - hence objects between the lens 2 and the focus or focus level 4 - and objects or events that lie behind the focus or the focus area 4 are blurred accordingly. The focus or focus area 4 is within the field of view 12 the camera 1 back and forth, what by the arrows 13a and 13b is made clear.

Die Ausdehnung der Fokussierung bzw. des Schärfebereiches 4, also ob eine flache oder eine tiefe Schärfentiefe eingestellt ist, bestimmt sich durch die Objektivparameter des Objektivs 2 der Kamera 1, wie etwa die Blendenöffnung, die Brennweite, gewählte Schärfeeinstellungen bzw. die Lage der internen Linsengruppen zueinander.The extent of the focus or the focus range 4 , i.e. whether a shallow or a deep depth of field is set, is determined by the lens parameters of the lens 2 the camera 1 , such as the aperture, the focal length, selected focus settings or the position of the internal lens groups to each other.

Die Darstellung des Schärfebereichs 4 kann von der physikalischen Ausdehnung des Schärfebereichs 4 abgekoppelt sein. Der dargestellte Schärfebereich 4 kann aus der Vorgabe eines Schwellenwertes für die Größe des optischen Zerstreuungskreises resultieren. Hierdurch wird vermieden, dass der Schärfebereich 4 für den Nutzer 8 nicht bzw. nicht mehr sinnvoll seitens der Anzeigevorrichtung 5 darstellbar ist, da beispielsweise der Schärfebereich 4 sehr tief bzw. breit ist. Als Schwellwert kann für die Darstellung des Schärfebereiches 4 daher ein niedriger bzw. sehr niedriger Diffusionswert vorgegeben werden, so dass die Schärfeebene der optischen Vorrichtung 1 flach, beispielsweise als Strich oder Streifen, dargestellt wird. Als Resultat wird derart eine idealisierte Darstellung des Schärfebereiches 4 seitens der Anzeigevorrichtung 5 realisiert.The representation of the focus area 4 can depend on the physical extent of the focus range 4 be disconnected. The focus range shown 4 can result from the specification of a threshold value for the size of the optical circle of confusion. This will prevent the focus area 4 for the user 8th not or no longer sensible on the part of the display device 5 can be displayed, for example, the focus range 4 is very deep or wide. The threshold value can be used to display the focus range 4 therefore, a low or very low diffusion value can be specified, so that the focus plane of the optical device 1 flat, for example as a line or stripe. The result is an idealized representation of the focus area 4 on the part of the display device 5 realized.

Die Grenzen des Sichtfeldes 12 werden durch den pyramidenstumpfförmigen Körper 3 in 1 verdeutlicht und umfassen gleichzeitig den Bildrand des seitens der Kamera abgebildeten Bildes bzw. der abgebildeten Bildsequenz.The limits of the field of vision 12 are shaped by the truncated pyramid 3 in 1 clarifies and includes at the same time Image edge of the image or image sequence shown by the camera.

In 2 ist eine Ausgestaltung eines erfindungsgemäßen Systems zur Visualisierung des Sichtfeldes einer optischen Vorrichtung gezeigt. Das System umfasst eine Kamera mit einem Objektiv 2, eine Anzeigevorrichtung 5 und eine Recheneinrichtung, welche in 2 nicht dargestellt ist. Vor dem Objektiv 2 ist in 2 der pyramidenstumpfförmige Körper 3 dargestellt und der momentan scharf abgebildete Bereich innerhalb des Sichtfeldes 12 der Kamera, die Fokussierung bzw. der Schärfebereich 4. Es ist anzumerken, dass der pyramidenstumpfförmige Körper 3 und die Fokussierung bzw. der Schärfebereich 4 lediglich als virtuelle Objekte vorhanden sind, sprich in der realen Umgebung nicht existent sind.In 2 An embodiment of a system according to the invention for visualizing the field of view of an optical device is shown. The system includes a camera with a lens 2 , a display device 5 and a computing device which in 2 is not shown. In front of the lens 2 is in 2 the truncated pyramid-shaped body 3 and the currently sharply imaged area within the field of view 12 the camera, the focus or the focus range 4 , It should be noted that the truncated pyramidal body 3 and the focus or focus area 4 only exist as virtual objects, i.e. they do not exist in the real environment.

Ein Nutzer 8 hält die Anzeigevorrichtung 5 und richtet sie auf das Sichtfeld 12 der Kamera 1 aus. Auf dem Display der Anzeigevorrichtung 5 ist die vor der Anzeigevorrichtung 5 liegende reale Umgebung 7 dargestellt. Diese reale Umgebung 7 wird mit virtuellen Objekten überlagert, wobei vorliegend der das Sichtfeld 12 der Kamera 1 repräsentierende pyramidenstumpfförmige Körper 3 als virtuelles Objekt und das die Fokussierung bzw. den Schärfebereich 4 repräsentierende virtuelle Objekt dargestellt sind.A user 8th holds the display device 5 and focuses it on the field of vision 12 the camera 1 out. On the display of the display device 5 is the front of the display device 5 lying real environment 7 shown. This real environment 7 is overlaid with virtual objects, in the present case the field of view 12 the camera 1 representing truncated pyramidal bodies 3 as a virtual object and that the focusing or the focus area 4 representing virtual object.

Der Nutzer 8 befindet sich folglich neben der Szenerie der Kamera 1 und kann in kürzester Zeit verstehen und erfassen, welcher Strahlengang, also welches Sichtfeld 12 der Kamera 1 abgebildet wird bzw. ist, indem diese Information als virtuelles Objekt seitens der Anzeigevorrichtung 5 für den Nutzer wiedergegeben wird. Diese Informationen werden dabei für den Nutzer 8 perspektivisch korrekt innerhalb der der vor der Anzeigevorrichtung 5 liegenden realen Umgebung 7 bestimmt.The user 8th is therefore next to the scene of the camera 1 and can understand and grasp which beam path, i.e. which field of vision, in the shortest possible time 12 the camera 1 is or is represented by this information as a virtual object on the part of the display device 5 is reproduced for the user. This information is used for the user 8th perspective correct within that of the front of the display device 5 lying real environment 7 certainly.

In 3a und 3b sind Ausgestaltungen von Anzeigevorrichtungen 5 dargestellt, welche jeweils einen Bestandteil einer Ausgestaltung des erfindungsgemäßen Systems zur Visualisierung des Sichtfeldes einer optischen Vorrichtung ausbilden. In 3a ist ein Nutzer 8 dargestellt, welcher eine Anzeigevorrichtung 5, die als ein sogenanntes Head-Mounted Display ausgebildet ist, trägt. Zudem hält der Nutzer 8 in seinen Händen eine Schärfeziehvorrichtung 6, mit der die Fokussierung bzw. der Schärfebereich 4 einer Kamera 1 einstellbar ist.In 3a and 3b are configurations of display devices 5 shown, which each form part of an embodiment of the system according to the invention for visualizing the field of view of an optical device. In 3a is a user 8th shown which is a display device 5 , which is designed as a so-called head-mounted display. The user also stops 8th a focus puller in his hands 6 with which the focus or the focus range 4 a camera 1 is adjustable.

In 3b bilden die Anzeigevorrichtung 5 und die Schärfeziehvorrichtung 6 eine Einheit. Sie sind folglich als ein Gerät ausgebildet. Die Fokussierung bzw. der Schärfebereich 4 einer Kamera 1 kann über das von dem Nutzer 8 mit der Hand bedienbare und drehbar ausgebildete Rad eingestellt werden. Die Anzeigevorrichtung 5 ist als ein sogenanntes See-Through-Display bzw. halbtransparentes Display ausgebildet, so dass wie bei einer Glasscheibe die reale Umgebung 7 vor der Anzeigevorrichtung durch das Display der Anzeigevorrichtung 5 für den Nutzer sichtbar ist.In 3b form the display device 5 and the focus puller 6 one unity. They are consequently designed as one device. The focus or focus area 4 a camera 1 can about that from the user 8th hand-operated and rotatable wheel can be set. The display device 5 is designed as a so-called see-through display or semi-transparent display, so that the real environment is like a glass pane 7 in front of the display device by the display of the display device 5 is visible to the user.

In 4a ist die reale Umgebung 7 bei der Verwendung einer Anzeigevorrichtung 5 nach 3a dargestellt. Die schwarze Schattierung an dem Rand der 4a verdeutlicht die Sicht durch eine Art Brille. Innerhalb der Anzeigevorrichtung 5 als ein Head-Mounted-Display ist in der realen Umgebung 7 die Kamera 1 zu erkennen. Zudem sind als virtuelle Objekte der pyramidenstumpfförmige Körper 3, welcher das Sichtfeld 12 der Kamera 1 repräsentiert und die Fokussierung bzw. der Schärfebereich 4 als weiteres virtuelles Objekt dargestellt, wobei die virtuellen Objekte die reale Umgebung 7 perspektivisch korrekt überlagern.In 4a is the real environment 7 when using a display device 5 to 3a shown. The black shading on the edge of the 4a clarifies the view through a kind of glasses. Inside the display device 5 as a head-mounted display is in the real environment 7 the camera 1 to recognize. In addition, the truncated pyramid-shaped bodies are virtual objects 3 which is the field of view 12 the camera 1 represents and the focus or focus 4 represented as another virtual object, the virtual objects being the real environment 7 overlay correctly in perspective.

Gleiches ist 4b zu entnehmen, wobei gegenüber der 4a der Unterschied besteht, dass die Anzeigevorrichtung 5 der Anzeigevorrichtung nach gemäß 3b ausgebildet ist.Same thing 4b can be seen, compared to the 4a the difference is that the display device 5 according to the display device 3b is trained.

In 5a und 5b ist jeweils eine Ausgestaltung eines erfindungsgemäßen Systems bei dem Einsatz im Umfeld der professionellen Bewegtbildproduktion dargestellt. In 5a wird seitens eines Nutzers 8, der vorliegend der Schärfezieher bzw. First Assistant Camera ist eine Anzeigevorrichtung 5 verwendet, die als Head-Mounted-Display gemäß der Ausgestaltung in 3a ausgebildet ist. Die seitens des Nutzers 8 erfasste reale Umgebung 7 zeigt eine Kamera 1 und ein seitens der Kamera 1 abzubildendes bzw. aufzunehmendes Objekt bzw. Ereignis 9, vorliegend ein Schauspieler. Dem Nutzer 8 wird als virtuelles Objekt der das Sichtfeld der Kamera 1 repräsentierende pyramidenstumpfförmige Körper 3 wiedergegeben, welches die reale Umgebung 7 für den Nutzer 8 perspektivisch korrekt überlagert. Zudem wird dem Nutzer 8 als weiteres virtuelles Objekt der momentan seitens der Kamera 1 scharf abgebildete Schärfebereich, also die Fokussierung bzw. der Schärfebereich 4 als Information über die Anzeigevorrichtung 5 wiedergegeben. Wenn nun beispielsweise der Schauspieler, also das aufzunehmende Objekt bzw. Ereignis sich durch die reale Umgebung 7 bewegt, kann der Nutzer bzw. Schärfezieher 8 mit maximal möglicher Präzision und bei kleinster Latenz die Fokussierung bzw. den Schärfebereich 4 einstellen, so dass wenn dies beispielsweise gewünscht ist - die ganze Zeit der Schauspieler als aufzunehmendes Objekt bzw. Ereignis 9 scharf seitens der Kamera 1 abgebildet wird.In 5a and 5b One embodiment of a system according to the invention is shown for use in the field of professional moving image production. In 5a on the part of a user 8th , in the present case the focuser or first assistant camera is a display device 5 used as a head-mounted display according to the design in 3a is trained. On the part of the user 8th captured real environment 7 shows a camera 1 and one on the part of the camera 1 object or event to be imaged or recorded 9 , here an actor. The user 8th is considered a virtual object of the field of view of the camera 1 representing truncated pyramidal bodies 3 reproduced which is the real environment 7 for the user 8th correctly overlaid in perspective. In addition, the user 8th as another virtual object that is currently on the part of the camera 1 sharply depicted focus area, i.e. the focus or the focus area 4 as information about the display device 5 played. If, for example, the actor, i.e. the object or event to be recorded, is moving through the real environment 7 moves, the user or focuser 8th with maximum possible precision and the lowest latency, the focus or the focus range 4 set so that, for example, if desired - the actor as the object or event to be recorded all the time 9 sharp on the part of the camera 1 is mapped.

Gleiches zeigt 5 b, wobei jedoch seitens des Nutzers 8 bzw. Schärfeziehers eine Anzeigevorrichtung verwendet wird, die als See-Through-Display gemäß 3b ausgebildet ist.The same shows 5 b , but on the part of the user 8th or sharpener a display device is used, which as a see-through display 3b is trained.

6 zeigt das Blockdiagramm des erfindungsgemäßen Systems zur Visualisierung des Sichtfeldes einer optischen Vorrichtung, vorliegend einer Kamera 1. Das System umfasst die Entitäten Kamera 1, Recheneinrichtung 10, Anzeigevorrichtung 5 einschließlich Schärfeziehvorrichtung 6 und das Tracking 11. Das Tracking 11 erfasst die räumliche Position und Ausrichtung der Anzeigevorrichtung 5 in Relation zu der räumlichen Position und Ausrichtung der Kamera 1. Die die virtuellen Objekte bestimmenden Daten werden an die Recheneinrichtung 10 übergeben, welche hieraus virtuelle Objekte bestimmt. Im Rahmen der Bildsynthese werden Informationen erstellt, die zur visuellen Darstellung seitens der Anzeigevorrichtung 5 geeignet sind. Über die Schärfeziehvorrichtung 6 kann ein Nutzer 8 - beispielsweise gemäß 5 - entsprechend Benutzereinstellungen eingeben, die beispielsweise die Fokussierung bzw. den Schärfebereich des mit der Kamera 1 abgebildeten Bildes bzw. der abgebildeten Bildsequenz einstellen. Diese Informationen werden an die Kamera 1 übermittelt, so dass die Einstellungen, beispielsweise an einem Objektiv 2 der Kamera 1 vorgenommen werden können. Zudem sind als sogenannte Metadaten über wenigstens eine Sensorik beispielsweise die Position der internen Fokus-Gruppe, die Blendenöffnung, Objektivmetadaten sowie Objektivspezifikationen auslesbar und ausgebbar, so dass diese zum einen an das Tracking 11 zur Erhebung der räumlichen Position und Ausrichtung der Kamera 1, wie auch an die Recheneinrichtung 10 übermittelbar sind, so dass die von der Recheneinrichtung 10 mittels der das Sichtfeld 12 (vgl. auch 1 und 2) der Kamera 1 beeinflussenden Parameter wenigstens ein virtuelles Objekt bestimmen kann. 6 shows the block diagram of the system according to the invention for visualizing the field of view of an optical device, in the present case a camera 1 , The system includes the camera entities 1 , Computing device 10 , Display device 5 including focus puller 6 and tracking 11 , The tracking 11 detects the spatial position and orientation of the display device 5 in relation to the spatial position and orientation of the camera 1 , The data determining the virtual objects are sent to the computing device 10 pass, which determines virtual objects from this. As part of the image synthesis, information is created that is used for visual display by the display device 5 are suitable. About the focus puller 6 can a user 8th - For example, according to 5 - Enter according to user settings, for example the focus or the focus range of the camera 1 Set the image or image sequence shown. This information is sent to the camera 1 transmitted so that the settings, for example on a lens 2 the camera 1 can be made. In addition, the position of the internal focus group, the aperture, lens metadata and lens specifications, for example, can be read out and output as so-called metadata via at least one sensor system, so that, on the one hand, this is related to the tracking 11 to determine the spatial position and orientation of the camera 1 , as well as to the computing device 10 are communicable, so that from the computing device 10 by means of the field of view 12 (see also 1 and 2 ) the camera 1 influencing parameters can determine at least one virtual object.

Die in den Figuren der Zeichnung dargestellten und beschriebenen Ausführungsbeispiele dienen lediglich der Erläuterung der Erfindung und sind für diese nicht beschränkend.The exemplary embodiments shown and described in the figures of the drawing only serve to explain the invention and are not restrictive for it.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kameracamera
22: Objektivlens
33: pyramidenstumpfförmiger Körper (Aufnahme-Pyramide)truncated pyramid-shaped body (recording pyramid)
44: Fokussierung bzw. SchärfebereichFocusing or focus area
55: Anzeigevorrichtungdisplay device
66: SchärfeziehvorrichtungFollow focus
77: reale Umgebung (des Nutzers)real environment (of the user)
88th: Nutzerusers
99: aufzunehmendes Objekt bzw. Ereignisobject or event to be recorded
1010: Recheneinrichtungcomputing device
1111: Trackingtracking
1212: Sichtfeld (der Kamera)Field of view (of the camera)
13a, b13a, b: Bewegung bzw. Ziehung der Fokussierung bzw. des SchärfebereichesMovement or drawing of the focus or the focus area
α₁ α ₁: Bildwinkel (horizontal)Angle of view (horizontal)
α₂ α ₂: Bildwinkel (vertikal)Angle of view (vertical)

Claims

System for visualizing the field of view (12) of an optical device, in particular a camera (1), comprising an optical device with a lens (2), the field of view (12) of the optical device being determined by the horizontal and vertical picture angle (α ₁ , α ₂ ) of the objective (2) is determined and the limits of the field of view (12) are defined by a truncated pyramid-shaped body (3) and wherein an image or an image sequence of an event (9) from the field of view (12) is used by means of the objective (2) a display device (5) for the visual display of information, the information comprising a real environment (7) or an image of the real environment of the display device (5) and at least one virtual object, the at least one virtual object from the display device (5) can be displayed in addition to the real environment (7) or to the image of the real environment, the virtual object covering the field of view (12) of the op represents the table device, and a computing device (10) for calculating virtual objects, the at least one virtual object representing the field of view (12) of the optical device, taking into account the spatial position and orientation of the display device in relation to the spatial position and orientation of the optical device Device is determined.

System according to Claim 1 , further comprising means for adjusting the objective (6) of the optical device, the focus or the focus range (4) of the image or the image sequence depicted with the objective (2) of the optical device being adjustable.

System according to Claim 2 , characterized in that the means for adjusting the lens (6) of the optical device has a communication link to the computing device (10) and to the optical device.

System according to Claim 2 or Claim 3 , characterized in that at least one further virtual object representing the focusing or the focus area (4) on the part of the computing device (10) taking into account the Field of view (12) of the optical device representing the optical device is determined.

System according to one of the Claims 1 to 4 , further comprising means for detecting collisions between a real object and a virtual object, the spatial position of a real object being recorded and, with the recorded spatial position of the real object, a check regarding a collision of the real object with the boundaries of the field of view (12 ) of the lens (2) of the optical device, and in the event of a collision, signaling information is generated.

System according to one of the Claims 1 to 5 , characterized in that at least one virtual object can be determined in real time by the computing device (10).

System according to one of the Claims 1 to 6 , characterized in that the computing device (10) can determine the truncated pyramid-shaped body (3) as a virtual object and the focusing or the focus area (4) as a further virtual object from data provided by the objective (2) of the optical device.

System according to Claim 7 , characterized in that the data provided by the lens (2) of the optical device include the aperture, user data, metadata, at least one user setting and / or at least one specification.

System according to one of the Claims 2 to 8th , characterized in that at least one of the communication connections between the optical device, display device (5), computing device (10) and means for adjusting the lens (6) of the optical device is wireless.

System according to one of the Claims 2 to 9 , characterized in that the display device (5) comprises the means for adjusting the lens (6) of the optical device.