DE102015105529A1

DE102015105529A1 - A method of transforming an image of a virtual camera, computer program product, display system and motor vehicle

Info

Publication number: DE102015105529A1
Application number: DE102015105529.5A
Authority: DE
Inventors: Huanqing Guo
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-04-10
Filing date: 2015-04-10
Publication date: 2016-10-13

Abstract

Die Erfindung betrifft ein Verfahren zum Transformieren eines Bilds (16), bei welchem ein Umgebungsbereich (13) eines Kraftfahrzeugs (1) zumindest teilweise durch das Bild (16) aus der Perspektive einer virtuell in dem Umgebungsbereich (13) angeordneten virtuellen Kamera (14) dargestellt wird, und das Bild (16) durch die Transformation aus einer Mehrzahl von Realbildern, welche mittels einer Mehrzahl von realen Kameras (5, 6, 7, 8) des Kraftfahrzeugs (1) bereitgestellt wird, bestimmt wird, wobei die Transformation bezüglich eines virtuellen Bildsensors (21) der virtuellen Kamera (14) durchgeführt wird, wobei für den virtuellen Bildsensor (21) eine Bildsensorebene (22) mit zumindest einer vorbestimmten Krümmung (23) vorgegeben wird.The invention relates to a method for transforming an image (16), in which a surrounding area (13) of a motor vehicle (1) at least partially through the image (16) from the perspective of a virtual camera (14) virtually arranged in the surrounding area (13). is determined, and the image (16) by the transformation of a plurality of real images, which is provided by a plurality of real cameras (5, 6, 7, 8) of the motor vehicle (1) is determined, the transformation with respect virtual image sensor (21) of the virtual camera (14) is performed, wherein for the virtual image sensor (21) an image sensor plane (22) having at least one predetermined curvature (23) is predetermined.

Description

Die Erfindung betrifft ein Verfahren zum Transformieren eines Bilds, bei welchem ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, und das Bild durch die Transformation aus einer Mehrzahl von Realbildern, welche mittels einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt wird, bestimmt wird. Die Erfindung betrifft auch ein Computerprogrammprodukt, ein Anzeigesystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Anzeigesystem. The invention relates to a method for transforming an image, in which an environmental region of a motor vehicle is at least partially represented by the image from the perspective of a virtually arranged in the surrounding area virtual camera, and the image by the transformation of a plurality of real images, which by means of a Is provided plurality of real cameras of the motor vehicle is determined. The invention also relates to a computer program product, a display system for a motor vehicle, as well as a motor vehicle with a display system.

Verfahren zum Transformieren eines Bilds, bei welchem ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, sind aus dem Stand der Technik bekannt. A method for transforming an image in which a surrounding area of a motor vehicle is at least partially represented by the image from the perspective of a virtual camera virtually arranged in the surrounding area are known from the prior art.

So wird in der DE 10 2013 013 364 A1 ein Verfahren zum verzerrungsarmen Abbilden von Umgebungsbilddaten bereitgestellt, welche von einer Mehrzahl an Kameras, die an einem Kraftfahrzeug angeordnet sind, erzeugt werden. So will in the DE 10 2013 013 364 A1 a method for low distortion mapping of environmental image data provided by a plurality of cameras arranged on a motor vehicle is provided.

Weiterhin wird in der US 2011/0032357 A1 eine Bildverarbeitungsvorrichtung beschrieben, mit welcher ein Bild von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommen wird. Das aufgenommene Bild wird in ein Bild konvertiert, welches aus der Perspektive einer virtuellen Sichtlinie betrachtet wird. Die virtuelle Sichtlinie läuft von einer vorbestimmten Position in dem Umgebungsbereich in eine vorbestimmte Richtung. Furthermore, in the US 2011/0032357 A1 an image processing apparatus is described, with which an image of a surrounding area of a motor vehicle is taken. The captured image is converted to an image viewed from the perspective of a virtual line of sight. The virtual line of sight travels from a predetermined position in the surrounding area in a predetermined direction.

Weiterhin ist es bekannt, dass ein Bild mit einer virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera kann dann üblicherweise beliebig um ein Kraftfahrzeug herum fiktiv angeordnet werden. Das Bild wird durch Transformieren von Realbildern bereitgestellt. Die Realbilder werden üblicherweise von einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Durch die Mehrzahl der realen Kameras wird üblicherweise ein Umgebungsbereich des Kraftfahrzeugs vollständig erfasst. Durch die virtuelle Kamera können die Realbilder derart ausgewählt und transformiert werden, dass das Bild aus der Perspektive der virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera in dem Umgebungsbereich des Kraftfahrzeugs ist also nicht real existierend, sondern beschreibt die Transformation und Auswahl der Realbilder, sodass durch das Bild die gewünschte Perspektive der virtuellen Kamera gezeigt wird. Üblicherweise wird das Bereitstellen des Bilds durch eine Transformation, welche eine Translation und mehrere Rotationen umfasst, bestimmt. So wird beispielsweise jedes der Realbilder aus einem Kamerakoordinatensystem der jeweiligen realen Kamera in ein Kraftfahrzeugkoordinatensystem transformiert, und in dem Kraftfahrzeugkoordinatensystem kann schließlich die Position der virtuellen Kamera festgelegt werden. Furthermore, it is known that an image is provided with a virtual camera. The virtual camera can then usually be arranged arbitrarily around a motor vehicle fictitious. The image is provided by transforming real images. The real images are usually provided by a plurality of real cameras of the motor vehicle. By the majority of real cameras usually a surrounding area of the motor vehicle is completely detected. Through the virtual camera, the real images can be selected and transformed so that the image is provided from the perspective of the virtual camera. The virtual camera in the surrounding area of the motor vehicle is thus not actually existing, but rather describes the transformation and selection of the real images, so that the desired perspective of the virtual camera is shown by the image. Typically, providing the image is determined by a transformation involving one translation and multiple rotations. Thus, for example, each of the real images is transformed from a camera coordinate system of the respective real camera into a motor vehicle coordinate system, and finally the position of the virtual camera can be determined in the motor vehicle coordinate system.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein Anzeigesystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem das Bild der virtuellen Kamera durch das Transformieren anschaulicher und realitätsnäher bereitgestellt werden kann. It is an object of the invention to provide a method, a computer program product, a display system and a motor vehicle, with which or in which the image of the virtual camera can be provided by transforming clearer and closer to reality.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Computerprogrammprodukt, durch ein Anzeigesystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. This object is achieved by a method by a computer program product, by a display system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren wird ein Bild transformiert. Es wird ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt. Das Bild wird durch die Transformation aus einer Mehrzahl von Realbildern bestimmt. Die Realbilder werden mittels einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass die Transformation bezüglich eines virtuellen Bildsensors der virtuellen Kamera durchgeführt wird, wobei für den virtuellen Bildsensor eine Bildsensorebene mit zumindest einer vorbestimmten Krümmung vorgegeben wird. In a method according to the invention, an image is transformed. An environment region of a motor vehicle is represented at least partially by the image from the perspective of a virtual camera virtually arranged in the surrounding region. The image is determined by the transformation from a plurality of real images. The real images are provided by means of a plurality of real cameras of the motor vehicle. As an essential idea of the invention it is provided that the transformation is carried out with respect to a virtual image sensor of the virtual camera, wherein an image sensor plane with at least one predetermined curvature is specified for the virtual image sensor.

Durch das erfindungsgemäße Verfahren wird es möglich, dass das Bild aus der Perspektive der virtuellen Kamera anschaulicher und realitätsnäher bereitgestellt wird. The method according to the invention makes it possible for the image to be provided in a more vivid and realistic manner from the perspective of the virtual camera.

Bei der Transformation, durch welche das Bild bereitgestellt wird, wird ein Kameramodell der virtuellen Kamera genutzt. Dieses Kameramodell kann beispielsweise zur vereinfachten Erklärung als ein Lochkameramodell beschrieben werden. Bei diesem Lochkameramodell sind eine Bildebene und eine Objektebene vorhanden. Durch die Bildebene wird das Bild beschrieben, und durch die Objektebene wird der Umgebungsbereich des Kraftfahrzeugs beschrieben. Die Bildebene des Kameramodells wird vorliegend insbesondere als die Bildsensorebene des virtuellen Bildsensors der virtuellen Kamera beschrieben. Im Stand der Technik wird die Bildebene als plan beziehungsweise eben beziehungsweise nicht gekrümmt beschrieben. The transformation that provides the image uses a camera model of the virtual camera. For example, this camera model may be described as a pinhole camera model for ease of explanation. In this Lochkameramodell an image plane and an object plane are present. The image plane is described by the image plane, and the environment of the motor vehicle is described by the object plane. In the present case, the image plane of the camera model is described in particular as the image sensor plane of the virtual image sensor of the virtual camera. In the prior art, the image plane is described as plan or flat or not curved.

Durch das Vorgeben der Bildsensorebene beziehungsweise der Bildebene mit der vorbestimmten Krümmung kann die reale Welt anschaulicher und realitätsnäher modelliert werden. Die Bildsensorebene weist insbesondere mehrere vorbestimmte Krümmungen auf. Die vorbestimmten Krümmungen sind vorzugsweise in unterschiedlicher Weise gekrümmt. Aufgrund der anschaulicheren und realitätsnäheren Modellierung kann auch das Bild anschaulicher und realitätsnäher bereitgestellt werden. Durch die Bildsensorebene mit der vorbestimmten Krümmung kann ein gleichmäßiges Abtasten des Umgebungsbereichs modelliert werden. Dadurch können beispielsweise Bereiche am Rand des Bilds durch die Transformation mit einer höheren oder zumindest genauso hohen geometrischen Auflösung wie die zentralen Bereiche des Bilds bereitgestellt werden. Dies entspricht dem Vorliegen der realen Welt beziehungsweise des Umgebungsbereichs des Kraftfahrzeugs. Die Berücksichtigung der gekrümmten Bildsensorebene der virtuellen Kamera kann auch erfolgen, falls die Realbilder mit einem ebenen realen Bildsensor der realen Kameras bereitgestellt werden. Durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung kann das Bild also auch nachträglich noch realitätsnah aufgrund der realitätsnahen Modellierung des Kameramodells der virtuellen Kamera bereitgestellt werden. By specifying the image sensor plane or the image plane with the predetermined curvature, the real world can be modeled in a more vivid and realistic manner. The Image sensor plane has in particular a plurality of predetermined curvatures. The predetermined curvatures are preferably curved in different ways. Due to the clearer and more realistic modeling, the picture can also be provided in a more vivid and realistic way. Through the image sensor plane with the predetermined curvature, a uniform scanning of the surrounding area can be modeled. As a result, for example, regions at the edge of the image can be provided by the transformation with a higher or at least as high geometric resolution as the central regions of the image. This corresponds to the presence of the real world or the surrounding area of the motor vehicle. The consideration of the curved image sensor plane of the virtual camera can also take place if the real images are provided with a planar real image sensor of the real cameras. As a result of the transformation as a function of the image sensor plane with the predetermined curvature, the image can therefore also be subsequently provided in a realistic manner based on the realistic modeling of the camera model of the virtual camera.

Vorzugsweise ist vorgesehen, dass die vorbestimmte Krümmung der Bildsensorebene mit einer Transformationsfunktion, durch welche die Transformation beschrieben wird, vorgegeben wird. Durch die Transformationsfunktion kann also die Abbildung des Bilds abhängig von der Bildsensorebene mit der vorbestimmten Krümmung bestimmt werden. So wird die Transformationsfunktion beispielsweise mit einem Modell beziehungsweise mit einer Beschreibung der gekrümmten Bildsensorebene beziehungsweise der Bildsensorebene mit der vorbestimmten Krümmung beschrieben. Die Transformationsfunktion kann beispielsweise auch nachträglich durch das Modell, welches den gekrümmten Bildsensor beziehungsweise die gekrümmte Bildsensorebene beschreibt, erweitert werden. Vorteilhaft ist also, dass das Bild einfach und effektiv anhand der Transformationsfunktion mit der Modellierung der gekrümmten Bildsensorebene bereitgestellt werden kann. It is preferably provided that the predetermined curvature of the image sensor plane is specified with a transformation function by which the transformation is described. The transformation function can thus be used to determine the image of the image as a function of the image sensor plane with the predetermined curvature. Thus, the transformation function is described for example with a model or with a description of the curved image sensor plane or the image sensor plane with the predetermined curvature. The transformation function can, for example, also be subsequently extended by the model which describes the curved image sensor or the curved image sensor plane. It is therefore advantageous that the image can be provided simply and effectively on the basis of the transformation function with the modeling of the curved image sensor plane.

Weiterhin ist es vorzugsweise vorgesehen, dass die Transformationsfunktion abhängig von äußeren Abmessungen des Kraftfahrzeugs und/oder Abmessungen des in dem Bild teilweise dargestellten Umgebungsbereichs und/oder einer Form des in dem Bild teilweise dargestellten Umgebungsbereichs und/oder einer Verzerrung des Bilds und/oder in dem Bild dargestellten Objekten des Umgebungsbereichs vorgegeben wird. So kann die Transformationsfunktion und somit das Modell der Bildsensorebene mit der vorbestimmten Krümmung abhängig von einer Vielzahl von Bedingungen angepasst werden. Das Bild kann deshalb situationsgerecht für den jeweiligen Umgebungsbereich realitätsnah und anschaulich bereitgestellt werden. Furthermore, it is preferably provided that the transformation function is dependent on external dimensions of the motor vehicle and / or dimensions of the surrounding area partially shown in the image and / or a shape of the surrounding area partially shown in the image and / or distortion of the image and / or in the image Image presented objects of the surrounding area is specified. Thus, the transformation function and thus the model of the image sensor plane with the predetermined curvature can be adjusted depending on a variety of conditions. The image can therefore be provided in a realistic and vivid manner for the respective surrounding area, as appropriate to the situation.

Insbesondere ist vorgesehen, dass durch die vorbestimmte Krümmung der Bildsensorebene eine geometrische Auflösung des Bilds bestimmt wird. Die geometrische Auflösung kann auch als Bodenpixelauflösung (GSD – ground sampling distance) beschrieben werden. Durch die geometrische Auflösung wird ein Abstand zwischen Mittelpunkten von Bildpunkten des Bilds beschrieben, wie diese auf dem Boden der realen Welt, also dem Umgebungsbereich, vorliegt. Die geometrische Auflösung des Bilds beschreibt also, in welchem Abstand der Umgebungsbereich durch das Bild beziehungsweise durch die Bildpunkte des Bilds abgetastet wird. So ist die geometrische Auflösung bei einer dichten Abtastung des Umgebungsbereichs hoch, während die geometrische Auflösung bei einer weniger dichten Abtastung des Umgebungsbereichs niedrig ist. Die geometrische Auflösung des Bilds ist also insbesondere unabhängig von der Anzahl der Bildpunkte des Bilds. Vorteilhaft ist, dass durch die vorbestimmte Krümmung ein vielfältiges Anpassen der geometrischen Auflösung des Bilds effektiv und einfach durchgeführt werden kann. Die geometrische Auflösung des Bilds ist aber auch insbesondere unabhängig von der geometrischen Auflösung der Realbilder. So kann beispielsweise ein Interpolationsverfahren durchgeführt werden, falls die geometrische Auflösung des Bilds für bestimmte Bereiche des Bilds höher liegen soll als dies durch die geometrische Auflösung des Realbilds bereitgestellt wird. In particular, it is provided that a geometric resolution of the image is determined by the predetermined curvature of the image sensor plane. The geometric resolution can also be described as ground pixel resolution (GSD - ground sampling distance). The geometric resolution describes a distance between centers of pixels of the image, as it is on the bottom of the real world, so the surrounding area. The geometric resolution of the image thus describes in which distance the surrounding area is scanned by the image or by the pixels of the image. Thus, the geometric resolution is high for a dense scan of the surrounding area, while the geometric resolution is low for a less dense scan of the surrounding area. The geometric resolution of the image is thus in particular independent of the number of pixels of the image. It is advantageous that a varied adaptation of the geometric resolution of the image can be performed effectively and simply by the predetermined curvature. However, the geometric resolution of the image is also, in particular, independent of the geometric resolution of the real images. For example, an interpolation method may be performed if the geometric resolution of the image is to be higher for certain regions of the image than provided by the geometric resolution of the real image.

Vorzugsweise ist vorgesehen, dass die geometrische Auflösung des Bilds durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung in einem Randbereich des Bilds zumindest so hoch wie in einem Zentralbereich des Bilds bestimmt wird. Durch den Randbereich werden also insbesondere Bereiche des Bilds beschrieben, welche an einer linken und/oder rechten und/oder oberen und/oder unteren Seite des Bilds angeordnet sind. Durch den Zentralbereich werden insbesondere Bereiche des Bilds beschrieben, welche in der Mitte und somit nicht direkt am Rand des Bilds angeordnet sind. Durch das Berücksichtigen der zumindest gleich hohen geometrischen Auflösung im Randbereich als im Zentralbereich bei der Transformation kann das Bild anschaulicher und realitätsnäher bestimmt werden. It is preferably provided that the geometric resolution of the image is determined by the transformation as a function of the image sensor plane having the predetermined curvature in an edge region of the image at least as high as in a central region of the image. In particular, areas of the image which are arranged on a left and / or right and / or upper and / or lower side of the image are therefore described by the edge area. The central area particularly describes areas of the image which are arranged in the middle and thus not directly at the edge of the image. By considering the at least the same high geometric resolution in the edge region as in the central region during the transformation, the image can be determined in a more vivid and realistic manner.

Weiterhin kann es vorgesehen sein, dass das Bild durch die Transformation in einem Koordinatensystem der virtuellen Kamera verschoben und/oder rotiert und/oder verzerrt wird. Das Bild kann also in dem Koordinatensystem der virtuellen Kamera vorliegen und dort manipuliert werden. Die Manipulation des Bilds, also beispielsweise das Verschieben und/oder das Rotieren und/oder das Verzerren, kann somit ebenfalls abhängig von der Bildsensorebene mit der vorbestimmten Krümmung durchgeführt werden. Bei der Transformation in dem Koordinatensystem der virtuellen Kamera wird die Position der virtuellen Kamera in dem Kraftfahrzeugkoordinatensystem insbesondere unverändert beibehalten. Das Koordinatensystem der virtuellen Kamera kann also beispielsweise als an das Kraftfahrzeugkoordinatensystem angehängtes Koordinatensystem vorliegen. Furthermore, it can be provided that the image is shifted and / or rotated and / or distorted by the transformation in a coordinate system of the virtual camera. The image can thus be present in the coordinate system of the virtual camera and manipulated there. The manipulation of the image, that is, for example, the shifting and / or the rotation and / or the distortion, can thus likewise be carried out as a function of the image sensor plane with the predetermined curvature. In the transformation in the Coordinate system of the virtual camera, the position of the virtual camera in the motor vehicle coordinate system is maintained in particular unchanged. The coordinate system of the virtual camera can thus be present, for example, as a coordinate system attached to the motor vehicle coordinate system.

Weiterhin kann es vorgesehen sein, dass durch die Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung ein Bereich aus dem Bild ausgewählt wird und/oder das Bild anhand einer Information aus den Realbildern erweitert wird. Das Auswählen beziehungsweise das Erweitern kann beispielsweise auch als Hineinzoomen beziehungsweise Herauszoomen beschrieben werden. Das Auswählen und/oder das Erweitern werden also insbesondere ebenfalls abhängig von der Bildsensorebene mit der vorbestimmten Krümmung durchgeführt. Das Bild kann somit in einfacher und effektiver Weise auch nach dem Auswählen und/oder dem Erweitern anschaulicher und realitätsnäher dargestellt beziehungsweise bereitgestellt werden. Furthermore, it can be provided that an area from the image is selected by the transformation as a function of the image sensor plane with the predetermined curvature and / or the image is expanded on the basis of information from the real images. For example, selecting or expanding may also be described as zooming in and zooming out, respectively. The selection and / or the widening are therefore also carried out in particular also as a function of the image sensor plane with the predetermined curvature. The image can thus be displayed and provided in a simpler and more effective manner even after the selection and / or expansion in a more vivid and realistic manner.

Vorzugsweise ist vorgesehen, dass ein das Kraftfahrzeug darstellender Bereich des Bilds von der Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung ausgeschlossen wird. Dadurch kann das Bild derart bereitgestellt werden, dass der das Kraftfahrzeug darstellende Bereich des Bilds unverzerrt dargestellt wird. Das Ausschließen des das Kraftfahrzeug darstellenden Bereichs kann insbesondere speziell durch die Transformation für die virtuelle Kamera des Kraftfahrzeugs bereitgestellt werden. So ist die Transformation zum Ausschließen des das Kraftfahrzeug darstellenden Bereichs insbesondere speziell für eine virtuelle Kamera aus dem Gebiet der Kraftfahrzeugtechnik ausgebildet. Durch das Ausschließen des Kraftfahrzeugs von der Transformation abhängig von der Bildsensorebene mit der vorbestimmten Krümmung kann das Bild mit dem darin dargestellten Kraftfahrzeug ebenfalls anschaulicher und realitätsgetreuer bereitgestellt werden. Das Kraftfahrzeug wird somit also insbesondere nicht verzerrt in dem Bild dargestellt. It is preferably provided that a region of the image representing the motor vehicle is excluded from the transformation as a function of the image sensor plane having the predetermined curvature. As a result, the image can be provided such that the area of the image representing the motor vehicle is displayed undistorted. The exclusion of the area representing the motor vehicle can in particular be provided specifically by the transformation for the virtual camera of the motor vehicle. Thus, the transformation for excluding the area representing the motor vehicle is in particular designed specifically for a virtual camera from the field of automotive engineering. By excluding the motor vehicle from the transformation depending on the image sensor plane with the predetermined curvature, the image with the motor vehicle shown therein can also be provided in a more vivid and realistic manner. The motor vehicle is therefore thus not shown distorted in the image.

Insbesondere ist vorgesehen, dass der Umgebungsbereich in dem Bild durch die Transformation in einer schüsselartigen Darstellung bereitgestellt wird. Durch die schüsselartige Darstellung kann das Bild an die reale Welt angepasst und anschaulich bereitgestellt werden. Die schüsselartige Darstellung wird dadurch charakterisiert, dass das Bild derart bereitgestellt wird, als wäre der Abstand von der virtuellen Kamera zu einer Objektebene beziehungsweise dem Umgebungsbereich an jedem Punkt der Objektebene gleich. Um dies zu ermöglichen, wird die geometrische Auflösung des Bilds bereichsweise angepasst. So kann der Randbereich des Bilds beispielsweise mit einer gleich hohen geometrischen Auflösung transformiert werden, als dies für den Zentralbereich des Bilds durchgeführt wird. Insgesamt ermöglicht die schüsselartige Darstellung wieder eine anschaulichere und realitätsnähere Darstellung des Umgebungsbereichs in dem Bild. Das Bild, welches den Umgebungsbereich schüsselartig darstellt, wird insbesondere auf einer ebenen, nicht schüsselartigen Anzeigeeinheit des Kraftfahrzeugs ausgegeben. In particular, it is provided that the surrounding area in the image is provided by the transformation in a bowl-like representation. Through the bowl-like presentation, the image can be adapted to the real world and provided vividly. The bowl-like representation is characterized in that the image is provided as if the distance from the virtual camera to an object plane or the surrounding area at each point of the object plane is the same. To make this possible, the geometric resolution of the image is adjusted in areas. For example, the border area of the image can be transformed with an equally high geometric resolution than is done for the central area of the image. Overall, the bowl-like presentation again allows a more vivid and more realistic representation of the surrounding area in the image. The image representing the surrounding area in a bowl-like manner is output in particular on a flat, non-dish-type display unit of the motor vehicle.

Die Erfindung betrifft auch ein Computerprogrammprodukt, welches zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird. The invention also relates to a computer program product which is designed to carry out a method according to the invention when the computer program product is executed on a programmable computer device.

Die Erfindung umfasst ein Anzeigesystem mit einer Auswerteeinheit, einer Anzeigeeinheit und zumindest einer realen Kamera, wobei das Anzeigesystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Auswerteeinheit kann beispielsweise in der realen Kamera und/oder in der Anzeigeeinheit integriert sein oder als separate Einheit vorliegen. The invention comprises a display system with an evaluation unit, a display unit and at least one real camera, wherein the display system is designed to perform a method according to the invention. The evaluation unit can for example be integrated in the real camera and / or in the display unit or be present as a separate unit.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Anzeigesystem oder eine vorteilhafte Ausführung davon. An inventive motor vehicle, in particular a passenger car, comprises an inventive display system or an advantageous embodiment thereof.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Anzeigesystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the computer program product according to the invention, the display system according to the invention and to the motor vehicle according to the invention.

Mit den Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug und bei einem dann vor der der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug stehenden und in Richtung der der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug blickenden Beobachter gegebenen Positionen und Orientierungen angegeben. The terms "top", "bottom", "front", "rear", "horizontal", "vertical", "depth direction", "width direction", "height direction", etc. are the intended use and intended arrangement of the virtual Camera or the real camera or the motor vehicle and at a given before the virtual camera or the real camera or the motor vehicle and given in the direction of the virtual camera or the real camera or the motor vehicle given positions and orientations.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or in isolation, without the scope of To leave invention. Thus, embodiments of the invention as encompassed and disclosed to view, which are not explicitly shown and explained in the figures, however, emerge and can be generated by separated combinations of features from the explanations explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.

Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. The embodiments of the invention will be explained in more detail with reference to schematic drawings.

Dabei zeigen: Showing:

1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Anzeigesystem; 1 a schematic plan view of an embodiment of a motor vehicle according to the invention with a display system;

2 eine schematische Darstellung einer virtuellen Anordnung einer virtuellen Kamera in einem Umgebungsbereich des Kraftfahrzeugs; 2 a schematic representation of a virtual arrangement of a virtual camera in a surrounding area of the motor vehicle;

3 eine schematische Darstellung eines Bilds aus der Perspektive der virtuellen Kamera; 3 a schematic representation of an image from the perspective of the virtual camera;

4 eine schematische Darstellung eines Kameramodells der virtuellen Kamera mit einem virtuellen Bildsensor; 4 a schematic representation of a camera model of the virtual camera with a virtual image sensor;

5 eine schematische Darstellung einer Bildsensorebene mit einer vorbestimmten Krümmung des virtuellen Bildsensors der virtuellen Kamera; 5 a schematic representation of an image sensor plane with a predetermined curvature of the virtual image sensor of the virtual camera;

6 eine schematische Darstellung eines bekannten Bilds einer bekannten virtuellen Kamera mit einer ungekrümmten Bildsensorebene; 6 a schematic representation of a known image of a known virtual camera with an unbroken image sensor plane;

7 eine schematische Darstellung des Bilds der virtuellen Kamera mit der Bildsensorebene mit der vorbestimmten Krümmung; 7 a schematic representation of the image of the virtual camera with the image sensor plane with the predetermined curvature;

8 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens; 8th a flow diagram of a method according to the invention;

9 eine weitere schematische Darstellung des bekannten Bilds der bekannten virtuellen Kamera mit einer ungekrümmten Bildsensorebene; und 9 a further schematic representation of the known image of the known virtual camera with an un-curved image sensor plane; and

10 eine weitere schematische Darstellung des Bilds der virtuellen Kamera mit der Bildsensorebene mit der vorbestimmten Krümmung. 10 a further schematic representation of the image of the virtual camera with the image sensor plane with the predetermined curvature.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 umfasst im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4. Weiterhin umfasst das Anzeigesystem 2 im Ausführungsbeispiel eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einer Front 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heck 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann. In 1 is a schematic plan view of a motor vehicle 1 with a display system 2 represented according to an embodiment of the invention. The display system 2 includes in the exemplary embodiment an evaluation unit 3 and a display unit 4 , Furthermore, the display system includes 2 in the embodiment, a first real camera 5 , a second real camera 6 , a third real camera 7 and a fourth real camera 8th , According to the embodiment, the first real camera 5 on a front 9 of the motor vehicle 1 arranged, the second real camera 6 is on a right side 10 of the motor vehicle 1 arranged, the third real camera 7 is at a stern 11 of the motor vehicle 1 arranged and the fourth real camera 8th is on a left side 12 of the motor vehicle 1 arranged. The arrangement of real cameras 5 . 6 . 7 . 8th However, is possible in many ways, but preferably so that the motor vehicle 1 and / or a surrounding area 13 of the motor vehicle 1 at least partially.

Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, a uf. Der weite Erfassungsbereich kann beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS – camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird. The real cameras 5 . 6 . 7 . 8th In particular, they have a wide detection range, which can be greater than 180 °, for example. The wide detection range can, for example, by a fisheye lens of a lens of the real camera 5 . 6 . 7 . 8th to be provided. So can the display system 2 For example, be designed as environment vision system (CMS - camera monitoring system) or electronic rearview mirror or as another driver assistance system of the motor vehicle 1 in which the surrounding area 13 is at least partially recorded.

Die reale Kamera 5, 6, 7, 8 ist eine CMOS-Kamera (complementary metal-oxide semiconductor) oder aber eine CCD-Kamera (charge coupled device) oder eine beliebige Bilderfassungseinrichtung, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen kann. Die reale Kamera 5, 6, 7, 8 ist eine Videokamera, welche kontinuierlich eine Bildsequenz von Einzelbildern (frame) bereitstellt. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echtzeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein. The real camera 5 . 6 . 7 . 8th is a complementary metal-oxide semiconductor (CMOS) camera or a charge coupled device (CCD) camera or any image capture device that captures a frame from the surrounding area 13 and / or the motor vehicle 1 can provide. The real camera 5 . 6 . 7 . 8th is a video camera which continuously provides an image sequence of frames. The evaluation unit 3 then processes the image sequence of the individual images, for example in real time. The evaluation unit 3 can, for example, within the respective real camera 5 . 6 . 7 . 8th or within the display unit 4 be arranged. The evaluation unit 3 but also outside the respective camera 5 . 6 . 7 . 8th or the display unit 3 at any other position within the motor vehicle 1 be arranged and thus as the real camera 5 . 6 . 7 . 8th and to the display unit 4 be formed separate unit.

Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD – liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann. The display unit 4 may for example be designed as a liquid crystal display (LCD - liquid crystal display). The display unit 4 can be varied in the motor vehicle 1 be arranged, but preferably so that a user of the motor vehicle 1 an obstacle-free view of the display unit 4 can judge.

Durch die realen Kameras 5, 6, 7, 8 wird eine Mehrzahl von Realbildern aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen. Through the real cameras 5 . 6 . 7 . 8th a plurality of real images are recorded. The real pictures show the surrounding area 13 at least partly from the perspective of the respective real one camera 5 . 6 . 7 . 8th , Preferably, the real images are recorded at least partially overlapping.

2 zeigt eine virtuelle Anordnung einer virtuellen Kamera 14 in dem Umgebungsbereich 13 des Kraftfahrzeugs 1. Die virtuelle Kamera 14 kann vielfältig in dem Umgebungsbereich 13 angeordnet werden. Vorzugsweise wird die virtuelle Kamera 14 an vorgegebenen virtuellen Kamerapositionen 15 angeordnet. Abhängig von der jeweiligen virtuellen Kameraposition 15 der virtuellen Kamera 14 und deren Ausrichtung wird die Perspektive der virtuellen Kamera 14 auf den Umgebungsbereich 13 und/oder das Kraftfahrzeug 1 bestimmt. Die Perspektive der virtuellen Kamera 14 kann beispielsweise in Echtzeit beziehungsweise innerhalb einer vorbestimmten Rechenzeit angepasst werden. 2 shows a virtual arrangement of a virtual camera 14 in the surrounding area 13 of the motor vehicle 1 , The virtual camera 14 can be varied in the surrounding area 13 to be ordered. Preferably, the virtual camera 14 at given virtual camera positions 15 arranged. Depending on the respective virtual camera position 15 the virtual camera 14 and their orientation becomes the perspective of the virtual camera 14 on the surrounding area 13 and / or the motor vehicle 1 certainly. The perspective of the virtual camera 14 can for example be adjusted in real time or within a predetermined computing time.

3 zeigt ein Bild 16 der virtuellen Kamera 14. Das Bild 16 wird also aus der Perspektive der virtuellen Kamera 14 bestimmt. Das Bestimmen des Bilds 16 erfolgt anhand von der Mehrzahl der Realbilder. Durch die Realbilder kann also abhängig von einer Transformation das Bild 16 bestimmt werden. Das Bild 16 wird also mittels der Transformation durch eine Information aus den Realbildern bestimmt. Durch Veränderung der virtuellen Kameraposition 15 lässt sich das Bild 16 vielfältig ändern. Ebenso kann beispielsweise ein Blickwinkel auf das Kraftfahrzeug 1 und/oder den Umgebungsbereich 13 durch Verändern der virtuellen Kameraposition 15 vielfältig angepasst werden. 3 shows a picture 16 the virtual camera 14 , The picture 16 So it's from the perspective of the virtual camera 14 certainly. Determining the image 16 takes place on the basis of the majority of real images. Thus, depending on a transformation, the image can be transformed by the real images 16 be determined. The picture 16 is thus determined by means of the transformation by information from the real images. By changing the virtual camera position 15 leaves the picture 16 change manifold. Likewise, for example, a view of the motor vehicle 1 and / or the surrounding area 13 by changing the virtual camera position 15 be adapted in many ways.

Das Bild 16, wie es in 3 beispielhaft gezeigt ist, wird vorzugsweise auf der Anzeigeeinheit 4 angezeigt. Ebenso vorzugsweise weist das Bild 16 ein erstes Bildüberlagerungselement 17 und ein zweites Bildüberlagerungselement 18 auf. Durch das erste Bildüberlagerungselement 17 kann beispielsweise ein Elevationswinkel beziehungsweise ein Neigungswinkel der virtuellen Kamera 14 senkrecht bezüglich einer Fahrbahnoberfläche des Umgebungsbereichs 13 beschrieben werden. Zudem kann durch das zweite Bildüberlagerungselement 18 ein Azimutwinkel der virtuellen Kamera 14 in bezüglich einer Ausrichtung der Längsachse des Kraftfahrzeugs 1 beschrieben werden. The picture 16 as it is in 3 is shown by way of example, is preferably on the display unit 4 displayed. Likewise, the image is preferred 16 a first image overlay element 17 and a second image overlay element 18 on. Through the first image overlay element 17 For example, an elevation angle or a tilt angle of the virtual camera 14 perpendicular to a road surface of the surrounding area 13 to be discribed. In addition, through the second image overlay element 18 an azimuth angle of the virtual camera 14 with respect to an orientation of the longitudinal axis of the motor vehicle 1 to be discribed.

4 zeigt ein Kameramodell 19 der virtuellen Kamera 14. Das Kameramodell 19 ist aus Gründen der anschaulicheren Beschreibung vereinfacht als Lochkameramodell dargestellt. Zusätzlich zeigt 4 ein bekanntes Kameramodell 20 einer bekannten Kamera beziehungsweise einer bekannten virtuellen Kamera. Sowohl das Kameramodell 19 der virtuellen Kamera 14, als auch das bekannte Kameramodell 20 der bekannten virtuellen Kamera, weisen ein Projektionszentrum P auf. Die virtuelle Kamera 14 weist in dem Kameramodell 19 einen virtuellen Bildsensor 21 mit einer Bildsensorebene 22 auf. Die Bildsensorebene 22 des virtuellen Bildsensors 21 wird mit einer vorbestimmten Krümmung 23 vorgegeben. Bei dem bekannten Kameramodell 20 der bekannten virtuellen Kamera wird eine bekannte Bildsensorebene 24 eines bekannten virtuellen Bildsensors 25 gerade beziehungsweise nicht gekrümmt vorgegeben. 4 shows a camera model 19 the virtual camera 14 , The camera model 19 is simplified for the sake of descriptive description shown as Lochkameramodell. Additionally shows 4 a well-known camera model 20 a known camera or a known virtual camera. Both the camera model 19 the virtual camera 14 , as well as the well-known camera model 20 the known virtual camera, have a projection center P on. The virtual camera 14 points in the camera model 19 a virtual image sensor 21 with an image sensor plane 22 on. The image sensor level 22 of the virtual image sensor 21 comes with a predetermined curvature 23 specified. In the known camera model 20 the known virtual camera becomes a known image sensor plane 24 a known virtual image sensor 25 straight or not curved predetermined.

Das Bild 16, welches mit der Bildsensorebene 22 und der vorbestimmten Krümmung 23 bestimmt wird, erstreckt sich gemäß 4 von A2 nach B2. Durch das Bild 16, welches sich von A2 nach B2 erstreckt, wird in dem Umgebungsbereich 13 ein Bereich dargestellt, welcher sich von M2 nach N2 erstreckt. Von M2 nach N2 liegt eine erste Entfernung d2. Ein bekanntes Bild, welches mit dem bekannten Kameramodell 20 bestimmt wird, erstreckt sich von A1 nach B1 und stellt einen Bereich des Umgebungsbereichs 13 dar, welcher sich von M1 nach N1 erstreckt. Von M1 nach N1 erstreckt sich eine zweite Entfernung d1. Die erste Entfernung d2 ist kleiner als die zweite Entfernung d1. Wenn nun also der Abstand von A1 nach B1 gleich groß wie der Abstand von A2 nach B2 ist, so wird durch das Bild 16 abhängig von der vorbestimmten Krümmung 23 eine höhere geometrische Auflösung des Umgebungsbereichs 13 bereitgestellt, als dies durch ein bekanntes Bild der bekannten virtuellen Kamera nach dem bekannten Kameramodell 20 bestimmt wird. Mit anderen Worten: Die Abtastung des Bereichs von M1 nach N1 erfolgt also in größeren Schritten, als dies von M2 nach N2 erfolgt. Insbesondere weisen das bekannte Bild und das Bild 16 gemäß 4 im Wesentlichen eine gleiche Anzahl von Bildpunkten auf. Somit kann durch die virtuelle Kamera 14 eine dichtere Abtastung des Umgebungsbereichs 13 als bei der bekannten virtuellen Kamera erfolgen. Bei der virtuellen Kamera 14 stehen für einen kleineren Bereich des Umgebungsbereichs 13, nämlich von M2 bis N2 genauso viele Bildpunkte zur Verfügung, wie dies bei der bekannten Kamera für einen größeren Bereich des Umgebungsbereichs 13, nämlich von M1 nach N1, der Fall ist. The picture 16 , which with the image sensor level 22 and the predetermined curvature 23 is determined extends according to 4 from A2 to B2. Through the picture 16 which extends from A2 to B2 becomes in the surrounding area 13 an area is shown which extends from M2 to N2. From M2 to N2 there is a first distance d2. A well-known picture, which with the well-known camera model 20 is determined, extends from A1 to B1 and provides a region of the surrounding area 13 which extends from M1 to N1. From M1 to N1 there is a second distance d1. The first distance d2 is smaller than the second distance d1. So if the distance from A1 to B1 is the same as the distance from A2 to B2, the picture will show 16 depending on the predetermined curvature 23 a higher geometric resolution of the surrounding area 13 provided as by a known image of the known virtual camera according to the known camera model 20 is determined. In other words, the sampling of the range from M1 to N1 thus takes place in larger steps than is done from M2 to N2. In particular, the known image and the image have 16 according to 4 essentially an equal number of pixels. Thus, through the virtual camera 14 a denser scan of the surrounding area 13 as done in the known virtual camera. At the virtual camera 14 stand for a smaller area of the surrounding area 13 , namely from M2 to N2 as many pixels available, as in the known camera for a larger area of the surrounding area 13 , from M1 to N1, is the case.

Durch Anpassen der Krümmung kann die geometrische Auflösung des Bilds 16 auch für verschiedene Bereiche des Bilds 16 unterschiedlich bestimmt werden. So kann beispielsweise ein Randbereich 26 des Bilds 16 mit einer höheren geometrischen Auflösung bestimmt werden als dies für einen Zentralbereich 27 des Bilds 16 der Fall ist. Die geometrische Auflösung des Bilds 16 kann jedoch vielfältig für verschiedene Bereiche des Bilds 16 bestimmt werden. By adjusting the curvature can be the geometric resolution of the image 16 also for different areas of the picture 16 be determined differently. For example, a border area 26 of the picture 16 be determined with a higher geometric resolution than this for a central area 27 of the picture 16 the case is. The geometric resolution of the picture 16 However, it can be varied for different areas of the picture 16 be determined.

5 zeigt die Bildsensorebene 22 und die bekannte Bildsensorebene 24. Die Bildsensorebene 22 des virtuellen Bildsensors 21 weist die zumindest eine vorbestimmte Krümmung 23 auf. Gemäß dem Ausführungsbeispiel ist die Bildsensorebene 22 mehrfach gekrümmt. Die Bildsensorebene 22 weist also mehrere Krümmungen auf. Die bekannte Bildsensorebene 24 des bekannten virtuellen Bildsensors 25 hingegen ist plan beziehungsweise eben ausgebildet. 5 shows the image sensor plane 22 and the known image sensor plane 24 , The image sensor level 22 of the virtual image sensor 21 has the at least one predetermined curvature 23 on. According to the embodiment, the image sensor plane 22 curved several times. The image sensor level 22 thus has several curvatures. The well-known The image sensor plane 24 the known virtual image sensor 25 On the other hand, it is plan or just trained.

Die vorbestimmte Krümmung 23 der Bildsensorebene 22 lässt sich mathematisch wie folgt beschreiben: Bildsensorebene 22 = bx² + by² + cx + dy, wobei a, b, c, d veränderbare Parameter beziehungsweise Variablen zum Anpassen der vorbestimmten Krümmung 23 sind. Die Werte der veränderbaren Parameter bewegen sich vorzugsweise zwischen –0,5 und 0,5. Zum Anpassen der veränderbaren Parameter a, b, c, d kann beispielsweise ein Sichtfeld, eine Bildpunktdichte, ein Hauptfokusbereich und/oder eine Verzerrung des Bilds 16 verwendet werden. Weiterhin können die veränderbaren Parameter a, b, c, d auch durch eine Beobachtung und visuelle Qualitätsbestimmung ermittelt werden. Zudem werden durch x und y kartesische Koordinaten in dem Koordinatensystem der virtuellen Kamera beschrieben. The predetermined curvature 23 the image sensor level 22 can be described mathematically as follows: Image sensor plane 22 = bx ² + by ² + cx + dy, where a, b, c, d variable parameters or variables for adjusting the predetermined curvature 23 are. The values of the variable parameters preferably range between -0.5 and 0.5. To adapt the variable parameters a, b, c, d, for example, a field of view, a pixel density, a main focus area and / or a distortion of the image 16 be used. Furthermore, the variable parameters a, b, c, d can also be determined by observation and visual quality determination. In addition, x and y describe Cartesian coordinates in the coordinate system of the virtual camera.

Weiterhin kann die vorbestimmte Krümmung 23 der Bildsensorebene 22 auch beispielsweise mit folgender mathematischer Beschreibung vorgegeben werden: Bildsensorebene 22 = ax⁴ + by⁴ + cx + dy. Furthermore, the predetermined curvature 23 the image sensor level 22 also be predefined for example with the following mathematical description: Image sensor plane 22 = ax ⁴ + by ⁴ + cx + dy.

Durch die Gleichung wird die Fläche der Bildsensorebene 22 im dreidimensionalen Raum beschrieben. Die vorbestimmte Krümmung 23 kann also, wie gezeigt, beispielsweise anhand eines Polynoms vierten Grades vorgegeben werden. The equation becomes the area of the image sensor plane 22 described in three-dimensional space. The predetermined curvature 23 can therefore, as shown, for example, be given by means of a polynomial fourth degree.

6 zeigt ein bekanntes Bild 28, welches nach dem bekannten Kameramodell 20 und der bekannten Bildsensorebene 24 des bekannten virtuellen Bildsensors 25 bestimmt wird. 6 shows a familiar picture 28 , which according to the well-known camera model 20 and the known image sensor plane 24 the known virtual image sensor 25 is determined.

7 zeigt das Bild 16, welches mittels der virtuellen Kamera 14 und der Bildsensorebene 22 mit der vorbestimmten Krümmung 23 bestimmt wird. Die veränderbaren Parameter a, b, c, d zur Bestimmung der vorbestimmten Krümmung 23 der Bildsensorebene 22 betragen somit in dem Fall von dem Bild 16 gemäß 7 nicht alle Null. Würden die ausgewählten veränderbaren Parameter a, b den Wert Null betragen, so wäre keine Krümmung vorhanden und es läge die bekannte Bildsensorebene 24 vor. 7 shows the picture 16 which by means of the virtual camera 14 and the image sensor plane 22 with the predetermined curvature 23 is determined. The variable parameters a, b, c, d for determining the predetermined curvature 23 the image sensor level 22 are thus in the case of the picture 16 according to 7 not all zero. If the selected variable parameters a, b were zero, there would be no curvature and the known image sensor plane would be present 24 in front.

8 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Transformieren des Bilds 16. In einem Schritt S1 werden Parameter der Transformation initial bestimmt. In einem Schritt S2 werden Parameter des Bilds 16 an die veränderbaren Parameter a, b, c, d angepasst, um die vorbestimmte Krümmung 23 der Bildsensorebene 22 vorzugeben. Zudem wird in einem Schritt S3 ein Anpassen des Bilds 16 beziehungsweise der virtuellen Kamera 14 bezüglich der virtuellen Kameraposition 15 durchgeführt. So wird in dem Schritt S3 beispielsweise ein Verschieben und/oder ein Rotieren und/oder ein Verzerren des Bilds 16 und/oder ein Hereinzoomen und/oder ein Herauszoomen in den Umgebungsbereich 13 beziehungsweise aus dem Umgebungsbereich 13 durchgeführt. Weiterhin wird das Bild 16 in einem Schritt S7 qualitativ angepasst. In einem Schritt S4 wird das Bild 16 abhängig von den in dem Schritt S2, dem Schritt S3 und dem Schritt S7 bestimmten Parametern bereitgestellt. Zudem wird in dem Schritt S4 eine Qualität des Bilds 16 bewertet. Die Bewertung der Qualität des Bilds 16 kann beispielsweise automatisiert und/oder visuell erfolgen. In einem Schritt S5 wird entschieden, ob die Qualität des Bilds 16 akzeptiert wird. Wird die Qualität des Bilds 16 akzeptiert, so wird das Bild 16 in einem Schritt S6 auf der Anzeigeeinheit 4 ausgegeben. Wird die Qualität des Bilds 16 in dem Schritt S5 nicht akzeptiert, so folgen die Schritte S2 und S3 und die jeweiligen Parameter aus den Schritten S2 und S3 werden abhängig von dem Ergebnis aus dem Schritt S4 angepasst. 8th shows a flowchart of a method according to the invention for transforming the image 16 , In a step S1, parameters of the transformation are initially determined. In a step S2, parameters of the image 16 to the variable parameters a, b, c, d adapted to the predetermined curvature 23 the image sensor level 22 pretend. In addition, in a step S3, the image is adjusted 16 or the virtual camera 14 regarding the virtual camera position 15 carried out. Thus, in step S3, for example, a shifting and / or rotating and / or distortion of the image 16 and / or zooming in and / or zooming out into the surrounding area 13 or from the surrounding area 13 carried out. Continues the picture 16 qualitatively adjusted in a step S7. In a step S4, the image becomes 16 depending on the parameters determined in step S2, step S3 and step S7. In addition, in step S4, a quality of the image 16 rated. The rating of the quality of the picture 16 For example, it can be automated and / or visual. In a step S5 it is decided whether the quality of the image 16 is accepted. Will the quality of the picture 16 accepted, so will the picture 16 in a step S6 on the display unit 4 output. Will the quality of the picture 16 is not accepted in the step S5, the steps S2 and S3 follow, and the respective parameters of the steps S2 and S3 are adjusted depending on the result of the step S4.

9 zeigt das bekannte Bild 28. Bei dem bekannten Bild 28 gemäß 9 betragen die veränderbaren Parameter beziehungsweise die Variablen a und b gleich Null, während c und d unveränderlich festgelegt sind. 9 shows the familiar picture 28 , In the known picture 28 according to 9 are the variable parameters or the variables a and b equal to zero, while c and d are set immutable.

10 zeigt das Bild 16. Bei dem Bild 16 gemäß 10 betragen die veränderbaren Parameter a und b gleich –0,08, während die veränderbaren Parameter c und d wie bereits in 9 unveränderlich festgelegt sind. Das Bild 16 gemäß 10 weist ebenso den Randbereich 26 und den Zentralbereich 27 auf. Der Zentralbereich 27 ist in der Mitte des Bilds 16 angeordnet, während der Randbereich 26 außerhalb der Mitte des Bilds 16 angeordnet ist. 10 shows the picture 16 , In the picture 16 according to 10 the variable parameters a and b are equal to -0.08, while the variable parameters c and d are as in 9 fixed immutable. The picture 16 according to 10 also has the border area 26 and the central area 27 on. The central area 27 is in the middle of the picture 16 arranged while the border area 26 outside the middle of the picture 16 is arranged.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102013013364 A1 [0003]
US 2011/0032357 A1 [0004]

Claims

Method for transforming an image ( 16 ), in which a surrounding area ( 13 ) of a motor vehicle ( 1 ) at least partially through the image ( 16 ) from the perspective of a virtual in the environment area ( 13 ) arranged virtual camera ( 14 ) and the image ( 16 ) by the transformation from a plurality of real images, which by means of a plurality of real cameras ( 5 . 6 . 7 . 8th ) of the motor vehicle ( 1 ), characterized in that the transformation with respect to a virtual image sensor ( 21 ) of the virtual camera ( 14 ), wherein for the virtual image sensor ( 21 ) an image sensor plane ( 22 ) with at least one predetermined curvature ( 23 ) is given.

Method according to claim 1, characterized in that the predetermined curvature ( 23 ) of the image sensor level ( 22 ) with a transformation function by which the transformation is described.

Method according to Claim 2, characterized in that the transformation function depends on the external dimensions of the motor vehicle ( 1 ) and / or dimensions of the image ( 16 ) partially represented environmental area ( 13 ) and / or a shape of the one in the picture ( 16 ) partially represented environmental area ( 16 ) and / or distortion of the image ( 16 ) and / or in the picture ( 16 ) specified objects of the surrounding area is specified.

Method according to one of the preceding claims, characterized in that by the predetermined curvature ( 23 ) of the image sensor level ( 22 ) a geometric resolution of the image ( 16 ) is determined.

Method according to claim 4, characterized in that the geometric resolution of the image ( 16 ) by the transformation depending on the image sensor level ( 22 ) with the predetermined curvature ( 23 ) in a peripheral area ( 26 ) of the picture ( 16 ) at least as high as in a central area ( 27 ) of the picture ( 16 ) is determined.

Method according to one of the preceding claims, characterized in that the image ( 16 ) by the transformation in a coordinate system of the virtual camera ( 14 ) is shifted and / or rotated and / or distorted.

Method according to one of the preceding claims, characterized in that the transformation depends on the image sensor plane ( 22 ) with the predetermined curvature ( 23 ) an area from the picture ( 16 ) and / or the image ( 16 ) is extended on the basis of information from the real images.

Method according to one of the preceding claims, characterized in that a motor vehicle ( 1 ) representing area of the image ( 16 ) of the transformation depending on the image sensor level ( 22 ) with the predetermined curvature ( 23 ) is excluded.

Method according to one of the preceding claims, characterized in that the surrounding area ( 13 ) in the picture ( 16 ) is provided by the transformation in a bowl-like representation.

A computer program product for carrying out a method according to any one of the preceding claims when the computer program product is executed on a programmable computer device.

Display system ( 2 ) with an evaluation unit ( 3 ), a display unit ( 4 ) and at least one real camera ( 5 . 6 . 7 . 8th ), which is adapted to carry out a method according to one of claims 1 to 9.

Motor vehicle ( 1 ) with a display system ( 2 ) according to claim 11.