DE102010026572A1

DE102010026572A1 - Method for recording and performing playback of panorama images, involves projecting image signals on virtual projection surface which corresponds to inverted surface of optical mirror component of camera system

Info

Publication number: DE102010026572A1
Application number: DE201010026572
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Michael Kanna; Sascha Weißbach
Current assignee: VIDEOSTREAM360 GMBH, DE
Priority date: 2010-07-08
Filing date: 2010-07-08
Publication date: 2012-01-12
Anticipated expiration: 2030-07-09
Also published as: DE102010026572B4

Abstract

The method involves emitting optical beams by a camera system with respect to panorama objects and detecting optical beams reflected from the panorama objects. The reflected optical beams are converted into image signals and projected on a virtual projection surface which corresponds to inverted surface of optical mirror component (1) of the camera system. An independent claim is included for device for recording and performing playback of panorama image.

Description

Die Erfindung betrifft ein Verfahren und eine zur Durchführung des Verfahrens dienende Einrichtung zur Aufnahme und Wiedergabe von Panoramabildern, insbesondere zur bildlichen Wiedergaben von Räumlichkeiten und Landschaften. Die Anwendung besteht beispielsweise im Einsatz für Überwachungen von Anlagen und Grundstücken, für virtuelle Rundgänge von Veranstaltungsorten, Urlaubsgebieten, bei der Durchführung von Videokonferenzen und auf dem Gebiet des E-Learnings.The invention relates to a method and an apparatus for carrying out the method for recording and reproducing panoramic images, in particular for the visual reproduction of premises and landscapes. The application is used, for example, for plant and property monitoring, virtual tour of venues, resort areas, videoconferencing and e-learning.

Bekannt sind für die Erstellung von 360° Videoaufnahmen kugelförmige Anordnungen von Kameras bei denen die Aufnahmen in einer Basiseinheit synchronisiert und zu einem Videosignal zusammengeführt werden. Mittels einer dafür geschaffenen Software wird dieses Signal dann über einen Monitor wiedergegeben. Eine weitere bekannte Lösung besteht aus einer Kamera und einer integrierten Spiegeloptik für eine 360° Aufnahme. Nachteilig an diesen Systemen sind jedoch die aufwändige Technik und erforderliche Software für die Aufbereitung der Signale. Weiterhin bekannt ist auch ein System nach Der US 2002/0126395 A1 bei dem Spiegeloptiken zur Anwendung kommen, die durch eine Anordnung von mehreren Reflektoren zueinander eine möglichst realistische Wiedergabe der Panoramabilder anstreben. Nachteilig ist auch an dieser Lösung der erforderlich hohe softwaremäßige Aufwand für die Entzerrung der erfassten Bilder, fehlender Echtzeitbetrieb bei der Wiedergabe der Panoramabilder und die Abhängigkeit von den vorhandenen Betriebssystemen der Computersysteme der Clients. Die Aufgabe der Erfindung besteht deshalb in der Schaffung eines Verfahrens und einer zur Durchführung des Verfahrens dienenden Einrichtung, mit denen eine weniger aufwändige Aufnahme von Panoramabildern ermöglicht wird, die Übertragung zum Client in nahezu Echtzeit erfolgen kann und die Wiedergabe unabhängig von den Betriebssystemen und Computerstrukturen des Clients ermöglicht wird. Gelöst wird diese Aufgabe unter Anwendung des Verfahrens mit den Merkmalen des Patentanspruches 1. Vorteilhaft wird das Verfahren für eine höhere Genauigkeit bei der realen Wiedergabe derart gestaltet, wie mit den Merkmalen des Patentanspruches 2 beschrieben. Die Entzerrung und die anschließende Darstellung auf einem Monitor erfolgt ausschließlich durch eine vom Client zur Anwendung kommenden Software. Die Darstellung der realen Szene auf dem Monitor erfolgt dabei in nahezu Echtzeit. Eine Anwendung des erfindungsgemäßen Verfahrens kann innerhalb des Internets plattformunabhängig erfolgen. Der Kostenaufwand für erforderliche spezielle Bearbeitungssoftware bzw. Hardware wird erheblich reduziert. Da bei der Aufnahme der Panoramabilder diese durch hyperbolisch geformte Spiegel erfolgen und dazu auf deren Oberfläche von unterschiedlich großen Flächen aufgenommen werden, entstehen unterschiedlich scharfe Bildbereiche. Dabei ist die Lage der Schärfebereiche von der Anordnung des Spiegels zum Kamerasystem abhängig. Um die unterschiedlichen Schärfebereiche zu kompensieren, werden mittels einer Vorrichtung in einer bevorzugten Ausführungsform nach Patentanspruch 3 zwei hyperbolisch geformte Spiegel in unterschiedlichen Lagen, einer aufwärts und einer abwärts gerichteten Lege, jeweils einem Sensorsystem der gleichen Kamera zugeordnet. Die erzeugten Bilddaten werden in jeweils einen virtuellen Projektionskörper projiziert, der der invertierten Fläche des zugeordneten Spiegels entspricht. Aus diesen projizierten virtuellen Projektionsflächen wird anschließend eine resultierende Projektionsfläche durch Vorgabe der zu kompensieren Bildpunkte durch entsprechende im größeren Schärfebereich erfassten Bildpunkte erzeugt. Mit dieser Vorrichtung wird eine Kompensation des unscharfen Bereiches erzielt und so die Genauigkeit erhöht. Nachfolgend soll das Verfahren und die Einrichtung anhand eines Ausführungsbeispiels näher erläutert werden. In der Zeichnung zeigtSpherical arrangements of cameras are known for the production of 360 ° video recordings in which the recordings are synchronized in a base unit and combined to form a video signal. By means of a software created for this signal is then played back on a monitor. Another known solution consists of a camera and an integrated mirror optics for a 360 ° recording. Disadvantages of these systems, however, are the complex technology and required software for processing the signals. Also known is a system according to the US 2002/0126395 A1 in the mirror optics are used, which seek to achieve the most realistic possible reproduction of the panoramic images by an arrangement of multiple reflectors to each other. Another disadvantage of this solution is the high level of software required for the equalization of the captured images, the lack of real-time operation in the reproduction of the panorama images and the dependence on the existing operating systems of the computer systems of the clients. The object of the invention is therefore to provide a method and a device for performing the method, with which a less complex recording of panoramic images is made possible, the transmission to the client can be done in near real time and playback regardless of the operating systems and computer structures of the Clients is enabled. This object is achieved by using the method with the features of claim 1. Advantageously, the method for a higher accuracy in the real playback is designed as described with the features of claim 2. The equalization and the subsequent display on a monitor is carried out exclusively by a software used by the client. The representation of the real scene on the monitor takes place in near real time. An application of the method according to the invention can be carried out platform-independent within the Internet. The cost of required special processing software or hardware is significantly reduced. Since the panoramic images are taken by hyperbolic-shaped mirrors and are recorded on their surfaces by surfaces of different sizes, different areas of sharpness are created. The position of the focus areas depends on the arrangement of the mirror relative to the camera system. In order to compensate for the different focus ranges, by means of a device in a preferred embodiment according to claim 3, two hyperbolic-shaped mirrors in different positions, one up and one down, each associated with a sensor system of the same camera. The generated image data is projected into a respective virtual projection body corresponding to the inverted surface of the associated mirror. From these projected virtual projection surfaces, a resulting projection surface is then generated by predetermining the pixels to be compensated for by corresponding pixels captured in the larger focus range. With this device, a compensation of the blurred area is achieved, thus increasing the accuracy. Below, the method and the device will be explained in more detail using an exemplary embodiment. In the drawing shows

1: die Anordnung der hyperbolischen Spiegeloptik, 1 : the arrangement of hyperbolic mirror optics,

2: den schematischen Strahlenverlauf an der Spiegeloptik, 2 : the schematic beam path at the mirror optics,

3: die schematische Darstellung der Reflexionsstrahlung und 3 : the schematic representation of the reflection radiation and

4: die virtuelle Projektionsfläche. 4 : the virtual screen.

Auf dem in 1 dargestellten Kameraobjektiv 2 ist ein hyperbolisch geformter Spiegel montiert, der einen vorgegebenen Abstand zum Kameraobjektiv 2 aufweist. Durch die Vorgabe des für das jeweilige Kamerasystem spezifischen Abstandes werden die vom Panorama erfassten Strahlen nach der Reflextion am Spiegel in einem vorgegebenen Brennpunkt F geschnitten. Wie der in 2 dargestellte schematische Strahlenverlauf an der spiegeloptischen Baugruppe 1 zeigt, wird deren Brennpunkt F' so gewählt, dass die Strahlen auf die Fläche des Kamerasensors 3 auftreffen. Die relativ ”spitz” verlaufende Bauform des Spiegels ermöglicht in vertikaler Richtung einen Bildwinkel von 115°. Die Abbildung der 3 zeigt die schematische Darstellung der Reflexionsstrahlung. Die reflektierten Strahlen erzeugen auf dem Kamerasensor 3 ein ”donatförmiges” Rundbild, das für eine realistische Wiedergabe noch entzerrt werden muss. Erfindungsgemäß werden die Entzerrungen mittels folgender optischer Maßnahmen vorgenommen. Das ”donatförmige” Kamerabild wird dazu auf eine Fläche projiziert, deren Form der invertierten Fläche des Spiegels entspricht. Eine schematische Darstellung der erzeugten virtuellen Projektionsfläche 5 ist in 4 wiedergegeben. Die projizierte Fläche entspricht sozusagen der Innenfläche des Spiegels selbst. Da die realen Panoramabilder über einen Spiegel aufgenommen werden, sind diese Bilder spiegelverkehrt. Vor der Projektion werden diese vorzugsweise korrigiert. Durch diese Verfahrensweise kann cm Panorama auch ohne rechenintensive Bildtransformationen dargestellt werden. Für die Erstellung des Projektionsmodells kommen an sich bekannte 3D-Modellierungsprogramme zur Anwendung. Dabei wird des Bild bzw. Video als Oberflächenmaterial dem Modellkörper (Hyperboloiden) zugewiesen. Die beispielsweise Ausführung des Projektionskörpers entspricht einem zweischaligen Hyperboloiden. Im Inneren des Hyperboloidenmodells wird anstelle des Betrachters eine virtuelle Kamera positioniert. Der Standort der virtuellen Kamera kann bei einer Anwendung des Verfahrens in einem Besucherraum auch für einen die Wiedergabe der Panoramabilder betrachtenden Beobachter gewählt werden. Für die Betrachtung des Panoramas kann die virtuelle Kamera navigiert werden. Wird die Szene der Kameraansicht gerendert, so erhält man einen entzerrten Bildausschnitt des Panoramas. Mittels der ”optischen” Bildentzerrung wird die Darstellung der realen Szene auf einem Monitor in nahezu Echtzeit möglich. In den 5 und 6 sind zwei Möglichkeiten der Lagepositionierung des hyperbolisch ausgebildeten Spiegels dargestellt. Die Darstellung nach 5 zeigt die abwärtige Lage des Spiegels, bei der dessen Spitze nach unten gerichtet ist und durch den der untere Bereich des erfassten Panoramas eine unscharfe Bildwiedergabe und der obere Bereich eine scharfe Bildwiedergabe ermöglicht. Diese unterschiedlich scharfen Bereiche kommen dadurch zu Stande, dass an der unteren Spitze des hyperbolisch geformten Spiegels das Panorama auf einer viel kleineren Fläche dargestellt wird als an den oberen Bereichen. Treffen die reflektierten Strahlen auf den Kamerasensor 3, müssen mehr Bildinformationen pro Fläche in der Mitte des Sensors untergebracht werden als am Rand des Sensors. Dadurch werden im Zentrum des Bildes mehrere Bildpunkte zusammengefasst, wodurch Detailbildinformationen verloren gehen. Bei der Projektion des Polarkoordinatenbildes auf die Hyperboloiden-Innenfläche werden die Bildpunkte vergrößert, wobei die verlorenem Bildinformationon jedoch nicht wieder hergestellt werden können. Somit entstehen große Bereiche mit der gleichen Farbinformation, und damit wird das Bild an diesen. Stellen unscharf. Die 6 zeigt die umgekehrte Anordnung des Spiegels, bei der dessen Spitze nach oben gerichtet ist. Dadurch erhält man im unterem Bereich eine scharfe Wiedergabe der Bildinformationen, die nach oben hin zunehmend unschärfer werden. Um das Niveau der Schärfe in den Bereichen anzugleichen und dadurch die Genauigkeit des Verfahrens zu erhöhen bzw. den Erfordernissen anzupassen, kann die Vorrichtung zur Durchführung des Verfahrens so gestaltet werden, dass sie zwei spiegeloptische Baugruppen 1, 7 aufweist. Jede dieser spiegeloptischen Baugruppen 1, 7 ist einem separaten Sensor des Kamerasystems 6 zugeordnet. Die Bildsignale jedes Sensors werden in einen virtuellen Projektionskörper projiziert und aus den beiden Projektionskörpern eine resultierende Projektionsfläche 5 erzeugt. Die Auswahl der zu nutzenden Bildsignale für die resultierende Projektionsfläche 5 erfolgt anhand vorgegebener Koordinaten.On the in 1 illustrated camera lens 2 is mounted a hyperbolic mirror that is a predetermined distance to the camera lens 2 having. By specifying the specific distance for the respective camera system, the rays detected by the panorama are cut after reflection on the mirror in a predetermined focal point F. In again 2 illustrated schematic beam path at the mirror-optical assembly 1 shows its focal point F 'is chosen so that the rays on the surface of the camera sensor 3 incident. The relatively "pointed" design of the mirror allows in the vertical direction an angle of view of 115 °. The picture of the 3 shows the schematic representation of the reflection radiation. The reflected rays generate on the camera sensor 3 a "donatförmiges" round picture, which must be equalized for a realistic reproduction. According to the invention, the equalizations are carried out by means of the following optical measures. The "donatförmige" camera image is projected onto a surface whose shape corresponds to the inverted surface of the mirror. A schematic representation of the generated virtual projection screen 5 is in 4 played. The projected area corresponds to the inner surface of the Mirror itself. Since the real panorama pictures are taken over a mirror, these pictures are mirror-inverted. These are preferably corrected before the projection. Due to this procedure, cm Panorama can also be displayed without computation-intensive image transformations. For the creation of the projection model known 3D modeling programs are used. Here, the image or video is assigned as a surface material to the model body (hyperboloids). The example embodiment of the projection body corresponds to a bivalve hyperboloid. Inside the hyperboloid model, a virtual camera is positioned instead of the viewer. The location of the virtual camera can also be selected for an observer viewing the panoramic images when using the method in a visitor's room. For viewing the panorama, the virtual camera can be navigated. If the scene of the camera view is rendered, you get an equalized image section of the panorama. By means of "optical" image equalization, the representation of the real scene on a monitor in almost real time is possible. In the 5 and 6 Two possibilities of positional positioning of the hyperbolic mirror are shown. The representation after 5 shows the downward position of the mirror, in which the tip is directed downward and through which the lower portion of the captured panorama a blurred image reproduction and the upper area allows a sharp image reproduction. These different areas of sharpness are created by the fact that at the lower end of the hyperbolic mirror, the panorama is displayed on a much smaller area than on the upper areas. Meet the reflected rays on the camera sensor 3 , more image information per area must be placed in the center of the sensor than at the edge of the sensor. As a result, several pixels are combined in the center of the image, as a result of which detail image information is lost. When the polar coordinate image is projected onto the hyperboloid inner surface, the pixels are enlarged, but the lost image information can not be restored. This results in large areas with the same color information, and thus the image is at this. Blurred. The 6 shows the reverse arrangement of the mirror, wherein the tip is directed upwards. This gives a sharp reproduction of the image information in the lower area, which becomes increasingly blurred towards the top. In order to adjust the level of sharpness in the areas and thereby increase the accuracy of the method or to adapt to the requirements, the apparatus for performing the method can be designed so that they have two mirror-optical assemblies 1 . 7 having. Each of these mirror-optical assemblies 1 . 7 is a separate sensor of the camera system 6 assigned. The image signals of each sensor are projected into a virtual projection body and from the two projection bodies a resulting projection surface 5 generated. The selection of the image signals to be used for the resulting projection surface 5 takes place on the basis of given coordinates.

Die Anwendung des Verfahrens und der Vorrichtung zur Durchführung des Verfahrens kann für die Überwachung von Anlagen und Grundstücken erfolgen. Bei dieser Anwendung werden jeweils verschiedene Bildausschnitte des Panoramas auf mehrere Monitore aufgeteilt, obwohl nur ein Videosignal übertragen wird. Eine Option besteht darin, bestimmte Personen bzw. Objekte zu verfolgen. Eine weitere Anwendungsmöglichkeit besteht in der Präsentation von Veranstaltungsorten, Urlaubsgebieten und Events durch virtuelle Rundgänge und Live-Übertragungen. Dabei könnten an definierten Punkten auf dem Panorama zusätzliche Informationen abgerufen werden. Weiterhin kann das erfindungsgemäße Verfahren innerhalb von Videokonferenzsystemen zur Anwendung kommen. Die erforderliche Anzahl an Videostreams müsste dabei nicht der Anzahl an Teilnehmern entsprechen, sondern lediglich ein Stream pro Gruppe erforderlich werden. Dabei würden bestimmte Bildausschnitte der entsprechenden Person zugeordnet werden. Es wäre weiterhin möglich eine geführte Konferenz umzusetzen, bei der die dargestellten Bildausschnitte auf den Clients von einer zentralen Stelle aus gesteuert werden. Weiterhin besteht eine Anwendungsmöglichkeit im Bereich des E-Learnings. Bei einer Live-Übertragung einer Vorlesung könnte bei einer zusätzlichen Ausstattung des Redners mit einem Trackingsystems dessen Koordinaten an alle Clients übertragen werden, um somit den Bildausschnitt, auf dem er zu sehen ist, anzeigen zu können. Der Vortragende könnte sich, wie gewohnt, frei bewegen und müsste nicht auf eine feststehende Kamera Rücksicht nehmen.The application of the method and the device for carrying out the method can be carried out for the monitoring of plants and land. In this application, different panes of the panorama are split into multiple monitors, although only one video signal is transmitted. An option is to track specific people or objects. Another application is the presentation of venues, resorts and events through virtual tours and live broadcasts. In this case, additional information could be called up at defined points on the panorama. Furthermore, the method according to the invention can be used within video conferencing systems. The required number of video streams would not have to correspond to the number of participants, but only one stream per group would be required. In the process, certain image sections would be assigned to the corresponding person. It would also be possible to implement a guided conference in which the displayed image sections on the clients are controlled from a central location. Furthermore, there is an application in the field of e-learning. In the case of a live transmission of a lecture, with additional equipment of the speaker with a tracking system, its coordinates could be transmitted to all clients in order to be able to display the image section on which it can be seen. The speaker could, as usual, move freely and would not have to take a fixed camera consideration.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: spiegeloptische Baugruppemirror-optical assembly
22: Kameraobjektivcamera lens
33: Kamerasensorcamera sensor
44: DonatbildDonat image
55: Projektionsflächeprojection
66: Kamerasystemcamera system
77: spiegeloptische Baugruppemirror-optical assembly

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2002/0126395 A1 [0002]

Claims

Method for recording and reproducing panoramic images by detecting the optical beams coming from the panoramic objects by means of hyperbolic mirror-optical assemblies and by reflection of the optical beams to sensor surfaces of associated camera systems and a virtual projection of the captured image by means of software-supported spatial models and virtually navigable cameras, characterized that a) of the mirror-optical assemblies ( 1 ; 7 b) then these image signals are transmitted to the client and projected onto software-generated virtual surfaces whose virtual shape corresponds to the inverted surfaces of the mirror-optical assemblies (FIGS. 1 ; 7 ) correspond.

Method for recording and reproducing panoramic images according to patent claim 1, characterized in that a) by means of at least two hyperbolic mirror-optical assemblies assigned to the male panoramic surfaces ( 1 ; 7 ) the optical beams transmitted by the panoramic surfaces to a respective sensor surface of the associated camera system ( 6 b) that the beams detected by the sensor surfaces are respectively projected onto a virtual surface assigned to the sensor surface, which corresponds to the shape of the inverted surface of the mirror-optical assembly, and c) a resulting projection surface ( 5 ) is determined by assignment of signal values of the projection surfaces under specification of certain projection points.

Device for carrying out the method according to claim 1, characterized in that the camera system ( 6 ) has at least two sensor surfaces, each of which has a mirror-optical assembly ( 1 ; 7 ) and these assemblies are mutually adjustable with the camera system ( 6 ) are connected.