DE102022211182A1

DE102022211182A1 - Method and device for determining a lighting parameter

Info

Publication number: DE102022211182A1
Application number: DE102022211182.6A
Authority: DE
Inventors: Paul Robert Herzog; Haebom Lee; Christian Homeyer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2024-05-02

Abstract

Die vorliegende Erfindung beschreibt ein Verfahren (100) zum Ermitteln eines Beleuchtungsparameters, umfassend das Auswählen (101) mehrerer Bildbereiche, wobei die Bildbereiche einzelne Bereiche eines Einzelbildes einer Kamera (2) und/oder einzelne Bereiche unterschiedlicher Bilder einer Bildsequenz einer Kamera (2) umfassen, das Ermitteln (102) eines Bildmerkmals aus jedem der Bildbereiche, das Ermitteln (104) zumindest eines Beleuchtungsparameters für jedes der Bildmerkmale, wobei der Beleuchtungsparameter eine Charakteristik einer in dem jeweiligen Bildbereich für das Bildmerkmal vorliegenden Beleuchtung beschreibt, sowie das Berechnen (106) eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter.

The present invention describes a method (100) for determining an illumination parameter, comprising selecting (101) a plurality of image regions, wherein the image regions comprise individual regions of a single image of a camera (2) and/or individual regions of different images of an image sequence of a camera (2), determining (102) an image feature from each of the image regions, determining (104) at least one illumination parameter for each of the image features, wherein the illumination parameter describes a characteristic of an illumination present in the respective image region for the image feature, and calculating (106) a resulting illumination parameter based on a combination of the determined illumination parameters.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Beleuchtungsparameters.The present invention relates to a method for determining an illumination parameter.

Durch ein korrektes Abschätzen von Beleuchtungsbedingungen können eine Vielzahl von Anwendungen unterstützt werden. So ist es beispielsweise für ein AR-System (Augmented Reality System) essentiell, dass eine vorliegende Beleuchtung korrekt abgeschätzt wird. Damit Objekte fotorealistisch in die Umgebung eingebettet werden können ist nicht nur Kenntnis über eine 3D-Geometrie und eine Kamerakalibrierung notwendig, sondern auch ein Wissen über vorliegende Beleuchtungsbedingungen. Beleuchtungsbedingungen werden gerade in Außenbereichen dabei zumeist basierend auf einem einzelnen Bild abgeschätzt. Auch ist ein entsprechendes Abschätzen von Beleuchtungsbedingungen im Innenbereich bekannt.A wide range of applications can be supported by correctly estimating lighting conditions. For example, it is essential for an AR system (augmented reality system) that the existing lighting is correctly estimated. In order for objects to be embedded in the environment in a photorealistic way, not only knowledge of 3D geometry and camera calibration is necessary, but also knowledge of the existing lighting conditions. Lighting conditions, especially in outdoor areas, are usually estimated based on a single image. A corresponding estimation of lighting conditions indoors is also known.

So existieren bereits unterschiedliche Verfahren zum Ermitteln von Beleuchtungsparametern, bei denen Beleuchtungsbedingungen basierend auf einem einzelnen Bild und der darin vorliegenden Dynamik ermittelt werden. Dabei werden auch neuronale Netzwerke eingesetzt, wobei die Abschätzung von Beleuchtungsbedingungen, beispielsweise einer vorliegenden Lage der Sonne, entweder als ein Klassifizierungsproblem oder ein Regressionsproblem behandelt wird.There are already different methods for determining lighting parameters, in which lighting conditions are determined based on a single image and the dynamics present in it. Neural networks are also used here, whereby the estimation of lighting conditions, for example the current position of the sun, is treated either as a classification problem or a regression problem.

Die Abschätzung von Beleuchtungsbedingungen bzw. zugehörigen Beleuchtungsparametern basierend auf Einzelbildern führt jedoch dazu, dass diese nicht direkt in Zusammenhang mit AR Anwendungen verwendet werden können, da sie oftmals starke Fluktuationen der Beleuchtungsparameter mit sich bringen. Diese Fluktuationen kommen daher, dass nicht alle Bilder die gleiche Qualität hinsichtlich der Abbildung von Beleuchtungsparametern aufweisen. So könnte beispielsweise ein Einzelbild vollkommen im Schatten liegen, wodurch für dieses Einzelbild keine korrekte Ermittlung der Beleuchtungsparameter möglich wäre, da die Lage der Sonne nicht abgeschätzt werden kann. Es wird daher nach einem robusteren Verfahren zum Ermitteln von Beleuchtungsparametern gesucht.However, the estimation of lighting conditions or associated lighting parameters based on individual images means that these cannot be used directly in connection with AR applications, as they often involve strong fluctuations in the lighting parameters. These fluctuations arise because not all images have the same quality in terms of the representation of lighting parameters. For example, an individual image could be completely in the shadow, which would mean that the lighting parameters cannot be correctly determined for this individual image, as the position of the sun cannot be estimated. A more robust method for determining lighting parameters is therefore being sought.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren zum Ermitteln eines Beleuchtungsparameters umfasst ein Auswählen mehrerer Bildbereiche, wobei die Bildbereiche einzelne Bereiche eines Einzelbildes einer Kamera und/oder einzelne Bereiche unterschiedlicher Bereiche einer Bildsequenz einer Kamera umfassen, ein Ermitteln eines Bildmerkmals aus jedem der Bildbereiche, ein Ermitteln zumindest eines Beleuchtungsparameters für jedes der Bildmerkmale, wobei der Beleuchtungsparameter eine Charakteristik einer in dem jeweiligen Bildbereich für das Bildmerkmal vorliegenden Beleuchtung beschreibt, und ein Berechnen eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter.The method according to the invention for determining an illumination parameter comprises selecting a plurality of image regions, wherein the image regions comprise individual regions of a single image of a camera and/or individual regions of different regions of an image sequence of a camera, determining an image feature from each of the image regions, determining at least one illumination parameter for each of the image features, wherein the illumination parameter describes a characteristic of an illumination present in the respective image region for the image feature, and calculating a resulting illumination parameter based on a combination of the determined illumination parameters.

Die erfindungsgemäße Vorrichtung ist dazu eingerichtet das erfindungsgemäße Verfahren auszuführen. Dazu umfasst die Vorrichtung insbesondere eine Recheneinheit, welcher das Einzelbild oder die Bilder der Bildsequenz bereitgestellt werden. Die Vorrichtung kann bspw. als Recheneinheit und/oder Steuereinheit ausgebildet sein.The device according to the invention is designed to carry out the method according to the invention. For this purpose, the device comprises in particular a computing unit to which the individual image or the images of the image sequence are provided. The device can be designed, for example, as a computing unit and/or control unit.

Gegenstand der vorliegenden Anmeldung sind auch ein System mit zumindest einer Kamera und der Vorrichtung, sowie ein entsprechendes Computerprogramm und ein maschinenlesbares Speichermedium.The present application also relates to a system with at least one camera and the device, as well as a corresponding computer program and a machine-readable storage medium.

Es erfolgt ein Auswählen mehrerer Bildbereiche. Die Bildbereiche können entweder zusammen in einem Einzelbild angeordnet sein oder können einzelne Bildbereiche mehrerer aufeinander folgender Bilder einer Bildsequenz umfassen. Auch kann bei dem Auswählen mehrerer Bildbereiche ein Auswählen mehrerer Bildbereiche aus einem Einzelbild und zugleich ein Auswählen einzelner Bildbereiche aus unterschiedlichen Bildern der Bildsequenz erfolgen. Es wird somit nicht nur ein einziges Bild als Ganzes betrachtet, sondern es werden mehrere Bildbereiche für das Ermitteln des Beleuchtungsparameters betrachtet, welche entweder aus einem Einzelbild, unterschiedlichen Bildern einer Bildsequenz oder beiden stammen. Das Betrachten einzelner Bereiche eines Einzelbildes wird dabei auch als ortsabhängiges Betrachten in einem Einzelbild bezeichnet. Das Betrachten einzelner Bereiche unterschiedlicher Bilder einer Bildsequenz wird auch als zeitabhängiges Betrachten von Bildbereichen bezeichnet. Es erfolgt bevorzugt ein ortsabhängiges und/oder zeitabhängiges Betrachten von Bildmerkmalen zum Ermitteln des Beleuchtungsparameters.Several image areas are selected. The image areas can either be arranged together in a single image or can comprise individual image areas of several consecutive images in an image sequence. When selecting several image areas, several image areas can also be selected from a single image and, at the same time, individual image areas can be selected from different images in the image sequence. Thus, not only is a single image viewed as a whole, but several image areas are viewed to determine the lighting parameter, which come either from a single image, different images in an image sequence, or both. Viewing individual areas of a single image is also referred to as location-dependent viewing in a single image. Viewing individual areas of different images in an image sequence is also referred to as time-dependent viewing of image areas. Image features are preferably viewed in a location-dependent and/or time-dependent manner to determine the lighting parameter.

Es erfolgt das Ermitteln zumindest eines Beleuchtungsparameters für jedes der Bildmerkmale. Der Beleuchtungsparameter beschreibt eine Charakteristik einer in dem jeweiligen Bildbereich für das Bildmerkmal vorliegenden Beleuchtung. Es erfolgt somit eine Analyse der Bildmerkmale, um einen oder mehrere dem jeweiligen Bildmerkmal zugehörigen Beleuchtungsparameter zu ermitteln. Bevorzugt werden dabei für alle Bildmerkmale gleichartige Beleuchtungsparameter ermittelt. Es werden also Beleuchtungsparameter ermittelt, welche dieselbe Charakteristik der vorliegenden Beleuchtung beschreiben. Beispielhafte Beleuchtungsparameter sind beispielsweise eine Einfallrichtung des Lichts, eine Intensität des Lichts, eine Färbung des Lichts oder ähnliches.At least one lighting parameter is determined for each of the image features. The lighting parameter describes a characteristic of the lighting present in the respective image area for the image feature. The image features are thus analyzed in order to determine one or more lighting parameters associated with the respective image feature. Preferably, similar lighting parameters are determined for all image features. Lighting parameters are therefore determined which describe the same characteristic of the existing lighting. Example lighting Examples of parameters are the direction of incidence of light, the intensity of light, the color of light, or similar.

Nicht für jedes der Bildmerkmale liegt eine gleiche Beleuchtung vor, da diese aus den Bildbereichen ermittelt wurde, welche an unterschiedlichen Orten in einem einzelnen Bild liegen oder zu unterschiedlichen Zeiten in mehreren Bildern erfasst wurden. Sollte somit zufällig ein Bildbereich bzw. Bildmerkmal betrachtet werden, das keinen deutlichen Rückschluss auf eine tatsächlich vorliegende Beleuchtung bzw. deren Charakteristik zulässt, so kann dennoch eine hinreichende Aussage über die tatsächlich vorliegende Beleuchtung getroffen werden. Dies erfolgt durch das Berechnen eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter. Es werden somit alle der betrachteten Bildbereiche hinsichtlich eines vorliegenden Beleuchtungsparameters analysiert und aus der Zusammenschau der einzelnen Beleuchtungsparameter wird der resultierende Beleuchtungsparameter ermittelt.Not every image feature has the same lighting, as this was determined from image areas that are located at different locations in a single image or were captured at different times in multiple images. If an image area or image feature is viewed by chance that does not allow any clear conclusions to be drawn about the actual lighting or its characteristics, a sufficient statement can still be made about the actual lighting. This is done by calculating a resulting lighting parameter based on a combination of the lighting parameters determined. All of the image areas viewed are thus analyzed with regard to a given lighting parameter, and the resulting lighting parameter is determined from the synopsis of the individual lighting parameters.

Es wird ferner darauf hingewiesen, dass auch mehrere Bildmerkmale aus einem oder mehreren der ausgewählten Bildbereiche ermittelt werden können und für diese zugehörige Beleuchtungsparameter ermittelt werden, basierend auf denen der resultierende Beleuchtungsparameter berechnet wird.It is further pointed out that several image features can also be determined from one or more of the selected image areas and associated lighting parameters can be determined for these, based on which the resulting lighting parameter is calculated.

Das Auswählen der mehreren Bildbereiche kann in unterschiedlicher Weise erfolgen, so kann beispielsweise eine zufällige Auswahl erfolgen oder es kann basierend auf bestimmten Bildeigenschaften, beispielsweise eine Dynamik des Bildes, eine Auswahl der Bildbereiche erfolgen.The selection of the multiple image areas can be done in different ways, for example a random selection can be made or the image areas can be selected based on certain image properties, for example a dynamics of the image.

Das Verfahren kann einen Schritt des Ausgebens eines Signals in Abhängigkeit des ermittelten resultierenden Beleuchtungsparameter umfassen. Das ausgegebene Signal kann als Informationssignal, welches bevorzugt den resultierenden Beleuchtungsparameter umfasst oder repräsentiert, und/oder als Steuersignal ausgebildet sein. Ansprechend auf das ausgegebene Signal kann eine Information bezüglich des resultierenden Beleuchtungsparameters ausgegeben, insbesondere angezeigt werden und/oder eine Einheit, bspw. eines AR Systems, eines Fahrzeugs etc. gesteuert werden.The method can include a step of outputting a signal depending on the determined resulting lighting parameter. The output signal can be designed as an information signal, which preferably includes or represents the resulting lighting parameter, and/or as a control signal. In response to the output signal, information relating to the resulting lighting parameter can be output, in particular displayed, and/or a unit, e.g. an AR system, a vehicle, etc. can be controlled.

Bevorzugt wird der berechnete resultierende Beleuchtungsparameter für eine Nutzung durch ein Videosystem bereitgestellt, durch welches ein virtuelles Objekt in die erfasste Bildsequenz eingefügt wird, und weiter bevorzugt auch durch dieses genutzt. Insbesondere wird der berechnete resultierende Beleuchtungsparameter für eine Nutzung durch AR-System bereitgestellt. Das Verfahren wird dazu bevorzugt durch das AR System ausgeführt.Preferably, the calculated resulting lighting parameter is provided for use by a video system by which a virtual object is inserted into the captured image sequence, and more preferably also used by this. In particular, the calculated resulting lighting parameter is provided for use by an AR system. The method is preferably carried out by the AR system.

Es werden somit bevorzugt mehrere Bildbereiche einer Bildsequenz zusammen betrachtet, um die Lichtverhältnisse der Bildsequenz abzuschätzen. Die Bildbereiche können Unterbilder aus demselben Bild (räumliche Aggregation), aus Bildern mit unterschiedlichen Zeitstempeln (zeitliche Aggregation) oder aus beidem (räumlich-zeitliche Aggregation sein. Auf diese Weise können Beobachtungen über die gleichen Lichtverhältnisse in verschiedenen Blickwinkeln assoziiert werden. Darüber hinaus ist die vorgeschlagene Aggregationsmethode unter Verwendung eines Transformatornetzwerks vorteilhafter als bisherige Aggregationstechniken, die eine manuelle Hyperparameterabstimmung erfordert.Thus, several image regions of an image sequence are preferably considered together to estimate the lighting conditions of the image sequence. The image regions can be subimages from the same image (spatial aggregation), from images with different timestamps (temporal aggregation) or from both (spatiotemporal aggregation). In this way, observations about the same lighting conditions at different viewing angles can be associated. In addition, the proposed aggregation method using a transformer network is more advantageous than previous aggregation techniques, which require manual hyperparameter tuning.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.The subclaims show preferred developments of the invention.

Bevorzugt werden bei dem Ermitteln des Bildmerkmals die ausgewählten Bildbereiche einer Merkmalsanalyse unterzogen, um die Bildmerkmale in den Bildbereichen zu ermitteln. Dabei können insbesondere bereits bekannte oder andersweitig vordefinierte Merkmale in den Bildbereichen identifiziert werden, wodurch eine besonders kontinuierliche Berechnung des Beleuchtungsparameters über einen zeitlichen Verlauf hin erfolgt.When determining the image feature, the selected image areas are preferably subjected to a feature analysis in order to determine the image features in the image areas. In particular, already known or otherwise predefined features can be identified in the image areas, whereby a particularly continuous calculation of the lighting parameter takes place over a temporal course.

Bevorzugt wird das Bildmerkmal mittels eines neuronalen Netzwerkes ermittelt, wobei das Bildmerkmal insbesondere ein eingebettetes Merkmal ist. Ein eingebettetes Merkmal wird in der Fachsprache auch als „embedded feature“ bezeichnet. So arbeiten neuronale Netzwerke besonders effizient, wenn diese eingebettete Merkmale definieren oder erkennen sollen.Preferably, the image feature is determined using a neural network, whereby the image feature is in particular an embedded feature. An embedded feature is also referred to in technical terms as an "embedded feature". Neural networks work particularly efficiently when they are supposed to define or recognize embedded features.

Das Ermitteln des zumindest einen Beleuchtungsparameters für jedes der Bildmerkmale erfolgt mittels eines Transformers. Ein Transformer ist dabei ein auf maschinellem Lernen basierendes System. Durch einen Transformer wird grundsätzlich einer bestimmten Datenabfolge eine weitere Datenabfolge zugeordnet, was basierend auf einer durch maschinenlernen trainierten Systematik erfolgt. In den hier beschriebenen Verfahren wird bevorzugt einem Bildmerkmal, welches durch unterschiedliche Farb-, Helligkeits-, Kontrast- und ähnliche Parameter beschrieben ist, ein zugehöriger Beleuchtungsparameter zugeordnet. Um eine korrekte Zuordnung zu ermöglichen ist der Transformer bevorzugt ein maschinell lernendes System, welches basierend auf unterschiedlichen beispielhaften Bildmerkmalen mit zugehörigen bekannten Beleuchtungsparametern trainiert wurde.The at least one lighting parameter for each of the image features is determined using a transformer. A transformer is a system based on machine learning. A transformer basically assigns a further data sequence to a specific data sequence, which is done based on a system trained by machine learning. In the methods described here, an associated lighting parameter is preferably assigned to an image feature that is described by different color, brightness, contrast and similar parameters. In order to enable correct assignment, the transformer is preferably a machine learning system that has been trained based on different example image features with associated known lighting parameters.

Bevorzugt weist der zumindest eine Beleuchtungsparameter eine richtungsabhängige Komponente auf, welche von einer Lage der die Beleuchtung verursachenden Lichtquelle abhängig ist. Das Verfahren umfasst dabei bevorzugt ein Zuordnen eines Ausrichtungsparameter für jedes der Bildmerkmale, wobei der Ausrichtungsparameter eine Ausrichtung einer Kamera gegenüber ihrer Umgebung bei dem Erfassen des jeweiligen Bildbereichs und/oder eine Position des Bildmerkmals in dem zugehörigen Einzelbild beschreibt, und ein Anpassen der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter, wobei die angepassten Beleuchtungsparameter derart angepasst sind, dass diese die Charakteristik der Beleuchtung in einem gemeinsamen Bezugssystem beschreiben, wobei das gemeinsame Bezugssystem für alle Beleuchtungsparameter aller Bildmerkmale gleich ist. Eine richtungsabhängige Komponente eines Beleuchtungsparameters beschreibt beispielsweise die Richtung, aus der ein Licht auf das jeweils betrachtete Bildmerkmal des jeweiligen Bildbereiches fällt. Diese ist Richtungsabhängig, da diese sich mit der Lage der Lichtquelle ändert. Die richtungsabhängige Komponente wird bevorzugt in ein gemeinsames Bezugssystem überführt, da solche richtungsabhängigen Komponenten auch abhängig von der Ausrichtung der Kamera sind. So kann beispielsweise ein Licht, welches aus Sicht der Kamera von links auf einen Gegenstand fällt, bei einer entsprechenden neuen Anordnung der Kamera plötzlich von rechts auf dasselbe Objekt fallen, obwohl die Beleuchtung nicht verändert wurde. Die Änderung ergibt sich dabei aus der Ausrichtung der Kamera gegenüber ihrer Umgebung. Auch kann eine Position eines betrachteten Bildmerkmals in dem zugehörigen Einzelbild einen Einfluss auf die richtungsabhängige Komponente haben. Daher ist es vorteilhaft, wenn die Ausrichtung der Kamera gegenüber ihrer Umgebung und/oder die Position eines betrachteten Bildmerkmals in dem zugehörigen Einzelbild als Ausrichtungsparameter jedem der Bildmerkmale zugeordnet wird. Damit wird es ermöglicht, dass im Folgenden die Beleuchtungsparameter für ein gewünschtes Bezugssystem angepasst werden können. Dies erfolgt durch das Anpassen des Beleuchtungsparameters basierend auf dem Ausrichtungsparameter. Mit dem Anpassen der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter wird die richtungsabhängige Komponente der Beleuchtungsparameter unterschiedlicher Bildmerkmale in ein gemeinsames Bezugssystem transformiert. Es wird somit erreicht, dass auch bei einer Neuausrichtung der Kamera gegenüber ihrer Umgebung die Beleuchtungsparameter aus aufeinander folgenden Bildern der Bildsequenz gemeinsam betrachtet, verglichen und/oder kombiniert werden können.Preferably, the at least one illumination parameter has a direction-dependent component which is dependent on a position of the light source causing the illumination. The method preferably comprises assigning an alignment parameter for each of the image features, wherein the alignment parameter describes an alignment of a camera relative to its surroundings when capturing the respective image area and/or a position of the image feature in the associated individual image, and adjusting the illumination parameters based on the alignment parameter, wherein the adjusted illumination parameters are adjusted in such a way that they describe the characteristics of the illumination in a common reference system, wherein the common reference system is the same for all illumination parameters of all image features. A direction-dependent component of an illumination parameter describes, for example, the direction from which light falls on the image feature of the respective image area being considered. This is direction-dependent because it changes with the position of the light source. The direction-dependent component is preferably transferred to a common reference system because such direction-dependent components are also dependent on the orientation of the camera. For example, light that falls on an object from the left from the perspective of the camera can suddenly fall on the same object from the right when the camera is repositioned accordingly, even though the lighting has not changed. The change results from the orientation of the camera relative to its surroundings. The position of an image feature being viewed in the associated individual image can also have an influence on the direction-dependent component. It is therefore advantageous if the orientation of the camera relative to its surroundings and/or the position of an image feature being viewed in the associated individual image is assigned to each of the image features as an orientation parameter. This makes it possible to subsequently adjust the lighting parameters for a desired reference system. This is done by adjusting the lighting parameter based on the orientation parameter. By adjusting the lighting parameters based on the orientation parameter, the direction-dependent component of the lighting parameters of different image features is transformed into a common reference system. This means that even if the camera is reoriented relative to its surroundings, the lighting parameters from successive images of the image sequence can be viewed together, compared and/or combined.

Bevorzugt ist die Kamera eine Kamera eines Fahrzeuges und der Ausrichtungsparameter wird basierend auf einer Bewegung des Fahrzeuges ermittelt. So sind Kameras an Fahrzeugen zumeist mit einer fixen Ausrichtung installiert und somit kann auf die Ausrichtung der Kamera gegenüber ihrer Umgebung basierend auf der Bewegung des Fahrzeuges geschlossen werden. Preferably, the camera is a vehicle camera and the alignment parameter is determined based on the movement of the vehicle. Cameras on vehicles are usually installed with a fixed alignment and thus the alignment of the camera relative to its surroundings can be determined based on the movement of the vehicle.

Weiter bevorzugt wird der Ausrichtungsparameter mittels eines Structure from Motion Verfahrens ermittelt. So kann die Kamera in beliebiger Art angeordnet sein, was ebenfalls manuell geführte Kameras umfasst, und es kann der notwendige Ausrichtungsparameter erfasst werden.The alignment parameter is further preferably determined using a structure from motion method. The camera can be arranged in any way, which also includes manually guided cameras, and the necessary alignment parameter can be recorded.

Bevorzugt ist der resultierende Beleuchtungsparameter ein Durchschnittswert der ermittelten Beleuchtungsparameter. Optional werden einzelne Beleuchtungsparameter verworfen, wenn diese ein vorgegebenes Kriterium nicht erfüllen.Preferably, the resulting lighting parameter is an average value of the determined lighting parameters. Optionally, individual lighting parameters are discarded if they do not meet a specified criterion.

Bevorzugt ist der zumindest eine Beleuchtungsparameter ein Parameter eines Sonnen-Himmel-Modells. Solche Sonnen-Himmel-Modelle werden in der Fachsprache auch „sun-sky models“ genannt. Durch diese werden u.a. die Lage der Sonne und Eigenschaften des einfallenden Sonnenlichts, welches beispielsweise von einem Zustand des Himmels abhängig sind, berücksichtigt.Preferably, the at least one lighting parameter is a parameter of a sun-sky model. Such sun-sky models are also called "sun-sky models" in technical terms. These take into account, among other things, the position of the sun and properties of the incident sunlight, which depend on the state of the sky, for example.

Bevorzugt wird bei dem Auswählen mehrerer Bildbereiche auch ein Bereich oder mehrere Bereiche eines Einzelbildes einer weiteren Kamera und/oder einzelne Bereiche unterschiedlicher Bilder einer Bildsequenz einer weiteren Kamera ausgewählt. Durch das Verfahren kann somit auch auf Bilder zweier Einzelkameras angewendet werden, wobei es vorteilhaft ist, wenn die beiden Kameras eine vorgegebene Ausrichtung zueinander aufweisen. Ist an dem Fahrzeug somit beispielsweise eine weitere Kamera angeordnet, so können auch die Bilder dieser weiteren Kamera für das Ermitteln des Beleuchtungsparameters herangezogen werden.Preferably, when selecting multiple image areas, one or more areas of an individual image from another camera and/or individual areas of different images of an image sequence from another camera are also selected. The method can therefore also be applied to images from two individual cameras, whereby it is advantageous if the two cameras have a predetermined alignment with one another. If, for example, another camera is arranged on the vehicle, the images from this other camera can also be used to determine the lighting parameter.

Kurze Beschreibung der ZeichnungenShort description of the drawings

Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist:

1 eine schematische Darstellung einer Datenverarbeitung im Rahmen des erfindungsgemäßen Verfahrens, und
2 eine Darstellung einer beispielhaften Vorrichtung zum Ermitteln eines Beleuchtungsparameters.

Embodiments of the invention are described in detail below with reference to the accompanying drawing. In the drawing:

1 a schematic representation of data processing within the framework of the method according to the invention, and
2 a representation of an exemplary device for determining a lighting parameter.

Ausführungsformen der ErfindungEmbodiments of the invention

1 zeigt schematische Darstellung einer Datenverarbeitung im Rahmen eines Verfahrens 100 zum Ermitteln eines Beleuchtungsparameters gemäß einer Ausführungsform der Erfindung. 1 shows a schematic representation of data processing in the context of a method 100 for determining a lighting parameter according to an embodiment of the invention.

Durch das Verfahren 100 wird zumindest ein Beleuchtungsparameter ermittelt, welcher die Lichtverhältnisse in einem durch eine Kamera 2 erfassten Bereich beschreibt. In der hier beschriebenen Ausführungsform wird der Beleuchtungsparameter basierend auf einer Bildsequenz 10 ermittelt, welche durch eine Kamera 2 eines Fahrzeuges 17 erfasst wurde. Diese Bildsequenz 10 umfasst mehrere Einzelbilder, welche in zeitlicher Abfolge erfasst wurden. In der hier beschriebenen Ausführungsform wurden die Bilder von einer einzigen Kamera 2 erfasst, wobei das Fahrzeug 17 sich während dem Erfassen der Bilder in Bewegung befand. Durch die Einzelbilder der Bildsequenz 10 sind somit nicht immer der gleiche Ausschnitt der Umgebung der Kamera 2 abgebildet, da sich zum Einen der erfasste Raum durch die Bewegung der Kamera 2 verändert hat, als auch da sich Objekte innerhalb des erfassten Raumes durch eine Eigenbewegung verschieben können.The method 100 determines at least one lighting parameter which describes the lighting conditions in an area recorded by a camera 2. In the embodiment described here, the lighting parameter is determined based on an image sequence 10 which was recorded by a camera 2 of a vehicle 17. This image sequence 10 comprises several individual images which were recorded in chronological order. In the embodiment described here, the images were recorded by a single camera 2, with the vehicle 17 being in motion while the images were recorded. The individual images of the image sequence 10 therefore do not always depict the same section of the surroundings of the camera 2, since the recorded space has changed due to the movement of the camera 2 and since objects within the recorded space can move due to their own movement.

Es erfolgt ein Auswählen 101 mehrerer Bildbereiche aus den Bildern der Bildsequenz 10. So ist in 1 beispielhaft dargestellt, dass aus jedem der einzelnen Bilder der Bildsequenz 10 jeweils zwei Bildbereiche ausgewählt wurden. Es wird darauf hingewiesen, dass optional lediglich ein einzelner Bildbereich für jedes Bild der Bildsequenz ausgewählt wird oder dass anstelle der Bildsequenz 10 lediglich ein Einzelbild betrachtet wird, aus dem mehrere Bildbereiche ausgewählt werden. Die Auswahl der Bildbereiche kann auf unterschiedliche Weise erfolgen. So kann eine zufällige Auswahl der Bildbereiche erfolgen oder es kann eine parameterbasierte Auswahl der Bildbereiche erfolgen, wo beispielsweise Bildbereiche mit spezifischen Eigenschaften selektiert werden, beispielsweise Bildbereiche mit einer hohen Dynamik. Gemäß 1 werden für jedes der vier Bilder der Bildsequenz 10 jeweils zwei Bildbereiche ausgewählt, wodurch eine Vielzahl einzelner Bildbereiche 11, hier acht Bildbereiche, ausgewählt werden und für eine weitere Verarbeitung bereitstehen. Die Anzahl der ausgewählten Bildbereiche und die Anzahl der Bildsequenz 10 ist lediglich beispielhaft gewählt.A selection 101 of several image areas from the images of the image sequence 10 is carried out. 1 It is shown by way of example that two image areas were selected from each of the individual images of the image sequence 10. It is pointed out that optionally only a single image area is selected for each image of the image sequence or that instead of the image sequence 10 only a single image is viewed from which several image areas are selected. The image areas can be selected in different ways. For example, a random selection of the image areas can be made or a parameter-based selection of the image areas can be made, where for example image areas with specific properties are selected, for example image areas with a high dynamic range. According to 1 For each of the four images of the image sequence 10, two image areas are selected, whereby a large number of individual image areas 11, here eight image areas, are selected and are available for further processing. The number of selected image areas and the number of image sequences 10 are chosen merely as examples.

Es erfolgt ein Ermitteln 102 eines Bildmerkmals aus jedem der Bildbereiche. Dies wird mittels einer Verarbeitung der einzelnen ausgewählten Bildbereiche mittels eines neuronalen Netzwerkes 12, hier einem sogenannten Convolutional Network, erreicht. Dabei werden die ausgewählten Bildbereiche einer Merkmalsanalyse unterzogen, um die Bildmerkmale in den Bildbereichen zu ermitteln. Im einfachsten Falle ist das Bildmerkmal ein vordefinierter Typ eines Objektes, welcher durch das neuronale Netzwerk 12 erkannt wird und im Folgenden hinsichtlich eines Beleuchtungsparameters analysiert wird. Bevorzugt ist das Bildmerkmal ein sogenanntes „eingebettetes Merkmal“, also ein Merkmal, welches durch einen Satz von Eigenschaften beschrieben wird, die dem neuronalen Netzwerk 12 bekannt sind. Die Verwendung von eingebetteten Merkmalen im Rahmen neuronaler Netzwerke 12 ist dabei auch als die Verwendung von sogenannten „embedded features“ bekannt. Es wird somit erreicht, dass einzelne Bildmerkmale aus den einzelnen Bildbereichen 11 für eine weitere Betrachtung extrahiert werden. Dabei können auch mehrere Bildmerkmale aus einem einzelnen Bildbereich extrahiert werden. Im Ergebnis wird von dem neuronalen Netzwerk 12 eine Vielzahl von Bildmerkmalen 13 bereitgestellt.An image feature is determined 102 from each of the image areas. This is achieved by processing the individual selected image areas using a neural network 12, here a so-called convolutional network. The selected image areas are subjected to a feature analysis in order to determine the image features in the image areas. In the simplest case, the image feature is a predefined type of object that is recognized by the neural network 12 and is subsequently analyzed with regard to an illumination parameter. The image feature is preferably a so-called "embedded feature", i.e. a feature that is described by a set of properties that are known to the neural network 12. The use of embedded features in the context of neural networks 12 is also known as the use of so-called "embedded features". This means that individual image features are extracted from the individual image areas 11 for further consideration. Multiple image features can also be extracted from a single image area. As a result, the neural network 12 provides a plurality of image features 13.

In der hier beschriebenen Ausführungsform wird für jedes Bildmerkmal ein zugehöriger Beleuchtungsparameter berechnet. Optional werden jedoch für jedes Bildmerkmal mehrere unterschiedliche Beleuchtungsparameter berechnet, wobei für die unterschiedlichen Bildmerkmale jedoch bevorzugt dieselben Typen von Beleuchtungsparametern berechnet werden. Beispielhaft sei der Beleuchtungsparameter eine Einfallrichtung einer Lichtquelle, welche beispielsweise gemäß einem Sonnen-Himmel-Modell definiert ist. Dieser Beleuchtungsparameter weist eine richtungsabhängige Komponente auf, welche abhängig von der Lage der Kamera 2 und dem Stand der Sonne ist. Der Beleuchtungsparameter ist somit von der Lage der die Beleuchtung verursachenden Lichtquelle abhängig.In the embodiment described here, an associated illumination parameter is calculated for each image feature. Optionally, however, several different illumination parameters are calculated for each image feature, although the same types of illumination parameters are preferably calculated for the different image features. For example, the illumination parameter is a direction of incidence of a light source, which is defined, for example, according to a sun-sky model. This illumination parameter has a direction-dependent component, which depends on the position of the camera 2 and the position of the sun. The illumination parameter is therefore dependent on the position of the light source causing the illumination.

Die richtungsabhängige Komponente ist somit auch abhängig von der Ausrichtung der Kamera 2, was dazu führt, dass bei einer Betrachtung der Bildsequenz 10, bei der die Kamera 2 möglicherweise bewegt wird, eine Korrektur dieser richtungsabhängigen Komponente erfolgen muss, damit die Beleuchtungsparameter unterschiedlicher Bildbereiche vergleichbar sind bzw. kombiniert werden können. Es erfolgt daher ein Zuordnen 103 eines Ausrichtungsparameters zu jedem der Bildmerkmale, wobei der Ausrichtungsparameter eine Ausrichtung der Kamera 2 gegenüber ihrer Umgebung bei dem Erfassen des jeweiligen Bildbereichs und eine Position des jeweils betrachteten Bildmerkmals in dem zugehörigen Einzelbild beschreibt. Die Ausrichtung der Kamera 2 wird dabei bevorzugt in einem vordefinierten gemeinsamen Bezugssystem definiert. Jedem der Bildmerkmale wird einer oder mehrere Ausrichtungsparameter zugeordnet. Die Ausrichtung der Kamera 2 und somit der Ausrichtungsparameter wird basierend auf einer Bewegung des Fahrzeuges 17 ermittelt, an dem die Kamera 2 angeordnet ist. Das bedeutet, dass aus einer Bewegung des Fahrzeuges 17 auf eine Ausrichtung der Kamera 2 geschlossen wird. Es wird somit der Vielzahl von Bildmerkmalen 13 eine Vielzahl von Ausrichtungsparametern 14 zugeordnet. Alternativ dazu wird der Ausrichtungsparameter mittels eines Structure from Motion Verfahrens ermittelt, wodurch auf eine Sensorik für das Erfassen der Bewegung des Fahrzeuges 17 nicht zurückgegriffen werden muss.The direction-dependent component is therefore also dependent on the orientation of the camera 2, which means that when viewing the image sequence 10 in which the camera 2 is possibly moved, a correction of this direction-dependent component must be made so that the lighting parameters of different image areas are comparable or can be combined. An alignment parameter is therefore assigned 103 to each of the image features, the alignment parameter describing an alignment of the camera 2 with respect to its surroundings when capturing the respective image area and a position of the image feature being viewed in the associated individual image. The alignment of the camera 2 is preferably defined in a predefined common reference system. One or more alignment parameters are assigned to each of the image features. The alignment of the camera 2 and thus the alignment parameter is determined based on a movement of the vehicle 17 on which the camera 2 is arranged. This means that a movement of the vehicle 17 is used to determine an orientation of the camera 2. A plurality of orientation parameters 14 are thus assigned to the plurality of image features 13. Alternatively, the orientation parameter is determined using a structure from motion method, which means that there is no need to use sensors to detect the movement of the vehicle 17.

Es erfolgt ein Ermitteln 104 des Beleuchtungsparameters für jedes der Bildmerkmale. Dazu werden die Bildmerkmale einem Transformer 15 bereitgestellt, durch welchen der Beleuchtungsparameter ermittelt wird. Der Transformer ist ein System für maschinelles Lernen und wurde basierend auf unterschiedlichen Bildmerkmalen trainiert, für welche die Beleuchtungsparameter bekannt waren. Entsprechend wird durch das antrainierte System, also durch den Transformer 15, für jedes der Bildmerkmale aus der Vielzahl von Bildmerkmalen 13 ein möglichst präziser zugehöriger Wert für den Beleuchtungsparameter ermittelt.The lighting parameter is determined 104 for each of the image features. For this purpose, the image features are provided to a transformer 15, which determines the lighting parameter. The transformer is a machine learning system and was trained based on different image features for which the lighting parameters were known. Accordingly, the trained system, i.e. the transformer 15, determines the most precise possible value for the lighting parameter for each of the image features from the multitude of image features 13.

Durch das Ermitteln der Beleuchtungsparameter wird für jedes der Bildmerkmale auch ein zugehöriger Beleuchtungsparameter ermittelt, wobei die daraus resultierende Vielzahl der Beleuchtungsparameter 16 in 1 beispielhaft dargestellt ist. Dazu wird jeder der Beleuchtungsparameter auf ein zylindrisches Objekt angewendet, was in 1 beispielsweise daraus erkenntlich ist, dass eine unterschiedliche richtungsabhängige Komponente durch die unterschiedlichen Beleuchtungsparameter der unterschiedlichen Bildmerkmale definiert ist, welche zu unterschiedlichen Schattenwürfen des Objektes führt. Es wird jedoch nochmals explizit darauf hingewiesen, dass mehrere Beleuchtungsparameter für jedes Bildmerkmal berechnet werden können, wodurch ebenfalls unterschiedliche Helligkeitswerte, Farbeinflüsse oder ähnliche Parameter durch den Transformer für jedes Bildmerkmal ausgegeben werden. Ferner wird darauf hingewiesen, dass das zylindrische Objekt hier lediglich der Illustration dient und kein Objekt aus dem Einzelbild oder der Bildsequenz ist.By determining the illumination parameters, an associated illumination parameter is also determined for each of the image features, whereby the resulting plurality of illumination parameters 16 are stored in 1 For this purpose, each of the lighting parameters is applied to a cylindrical object, which is shown in 1 For example, it can be seen that a different direction-dependent component is defined by the different lighting parameters of the different image features, which leads to different shadows cast by the object. However, it is explicitly pointed out again that several lighting parameters can be calculated for each image feature, which also means that different brightness values, color influences or similar parameters are output by the transformer for each image feature. It is also pointed out that the cylindrical object here is merely for illustration purposes and is not an object from the individual image or the image sequence.

Da die Bildsequenz 10 dieser Ausführungsform durch eine an einem Fahrzeug 17 angeordneten Kamera 2 erfasst wurde und somit in ihrer Ausrichtung veränderlich ist, erfolgt ein Anpassen 105 der Beleuchtungsparameter basierend auf dem Ausrichtungsparameter. Dabei werden die Beleuchtungsparameter derart angepasst, dass diese die Charakteristik der Beleuchtung, hier die richtungsabhängige Komponente, in einem gemeinsamen Bezugssystem beschreiben. Das gemeinsame Bezugssystem ist dabei für alle Beleuchtungsparameter aller Bildmerkmale gleich. Es wird somit eine Bewegung der Kamera 2, welche ebenfalls zu einer Veränderung der richtungsabhängigen Komponente des Beleuchtungsparameters führt, kompensiert. Aus dem Anpassen 105 der Beleuchtungsparameter ergeben sich angepasste Beleuchtungsparameter, hier eine Vielzahl angepasster Beleuchtungsparameter 18. Diese sind in 1 ebenso beispielhaft dargestellt, indem diese auf ein beispielhaftes zylindrisches Objekt angewendet wurden. Es ist ersichtlich, dass der Schattenwurf des Objektes nun unabhängig von der Ausrichtung des Fahrzeuges 17 gleich ist, da dieser durch die gemeinsame Lichtquelle verursacht wurde, welche die in den Bildern der Bildsequenz 10 dargestellte Szene beleuchtet.Since the image sequence 10 of this embodiment was captured by a camera 2 arranged on a vehicle 17 and is thus variable in its orientation, an adjustment 105 of the lighting parameters takes place based on the orientation parameter. The lighting parameters are adjusted in such a way that they describe the characteristics of the lighting, here the direction-dependent component, in a common reference system. The common reference system is the same for all lighting parameters of all image features. A movement of the camera 2, which also leads to a change in the direction-dependent component of the lighting parameter, is thus compensated. Adjusting 105 of the lighting parameters results in adjusted lighting parameters, here a large number of adjusted lighting parameters 18. These are in 1 also exemplified by applying them to an exemplary cylindrical object. It can be seen that the shadow cast by the object is now the same regardless of the orientation of the vehicle 17, since it was caused by the common light source that illuminates the scene shown in the images of the image sequence 10.

In einem letzten Schritt erfolgt ein Berechnen 106 eines resultierenden Beleuchtungsparameters basierend auf einer Kombination der ermittelten Beleuchtungsparameter, hier basierend auf den angepassten Beleuchtungsparametern. So wird in der hier beschriebenen Ausführungsform der resultierende Beleuchtungsparameter 107 als ein Durchschnittswert der ermittelten angepassten Beleuchtungsparameter ermittelt. Dieser resultierende Beleuchtungsparameter wird für eine weitere Verwendung in einem AR-System bereitgestellt.In a final step, a resulting lighting parameter is calculated 106 based on a combination of the determined lighting parameters, here based on the adjusted lighting parameters. In the embodiment described here, the resulting lighting parameter 107 is determined as an average value of the determined adjusted lighting parameters. This resulting lighting parameter is provided for further use in an AR system.

Es wird darauf hingewiesen, dass der Schritt des Anpassens der Beleuchtungsparameter optional ist, da dieser nicht zwingend notwendig ist, wenn die Kamera 2 in ihrer Position gegenüber dem Bezugssystem fixiert ist. It is noted that the step of adjusting the lighting parameters is optional since it is not mandatory when the camera 2 is fixed in its position relative to the reference system.

2 zeigt eine beispielhafte Vorrichtung 1 zum Ermitteln eines Beleuchtungsparameters. Die Vorrichtung 1 ist dazu eingerichtet das zuvor beschriebene Verfahren 100 auszuführen. Dazu werden der Vorrichtung 1 die Einzelbilder einer Bildsequenz von einer Kamera 2 bereitgestellt und von der Vorrichtung 1 wird als Ausgangswert der resultierende Beleuchtungsparameter ausgegeben. 2 shows an exemplary device 1 for determining a lighting parameter. The device 1 is set up to carry out the method 100 described above. For this purpose, the individual images of an image sequence are provided to the device 1 by a camera 2 and the resulting lighting parameter is output by the device 1 as an output value.

Das Verfahren nutzt bevorzugt eine Bildsequenz 10 von RGB-Bildern mit niedrigem Dynamikumfang und die entsprechenden Gierwinkel der Kamera 2 als Eingänge, welche als Ausrichtungsparameter genutzt werden können. Die Kamerawinkel können mit einer konventionellen Struktur aus Bewegungsverfahren abgeschätzt werden. Aus den Bildern werden kleine Ausschnitte erzeugt und an ein neuronales Faltungsnetzwerk geliefert. Das Convolutional Neural Network extrahiert Merkmale aus den zugeschnittenen Bildern, die mit den entsprechenden Positionskodierungen kombiniert werden, die unter Verwendung der Position jedes Zuschnitts im Bild und des Kamera-Gierwinkels jedes Frames generiert werden. Anhand dieser Daten durchläuft das Transformatorennetzwerk einen Aufmerksamkeitsprozess. Danach erfolgt ein Kalibrieren der Beleuchtungsschätzung mit den Gierwinkeln der Kamera 2 und ein Mitteln, um die Beleuchtungsschätzung für die gegebene Sequenz zu erhalten.The method preferably uses an image sequence 10 of low dynamic range RGB images and the corresponding yaw angles of the camera 2 as inputs, which can be used as alignment parameters. The camera angles can be estimated using a conventional structure of motion methods. Small crops are generated from the images and supplied to a convolutional neural network. The convolutional neural network extracts features from the cropped images, which are combined with the corresponding position encodings generated using the position of each crop in the image and the camera yaw angle of each frame. Using this data, the transformer network goes through an attention process. The illumination estimate is then calibrated with the yaw angles of the Camera 2 and averaging to obtain the illumination estimate for the given sequence.

Gemäß der vorliegenden Ausführungsform umfasst die Vorrichtung 1 einen Prozessor, ein Speichermedium mit einem Computerprogramm, sowie mindestens eine Kommunikationsschnittstelle zum Einlesen der Bilder und/oder Ausgeben des resultierenden Beleuchtungsparameters. Das Computerprogramm umfasst Befehle, die bei der Ausführung durch den Prozessor bewirken, dass der Beleuchtungsparameter gemäß dem beschriebenen Verfahren ermittelt wird.According to the present embodiment, the device 1 comprises a processor, a storage medium with a computer program, and at least one communication interface for reading in the images and/or outputting the resulting lighting parameter. The computer program comprises instructions which, when executed by the processor, cause the lighting parameter to be determined according to the described method.

Neben der obigen schriftlichen Offenbarung wird explizit auf die Offenbarung der 1 und 2 verwiesen.In addition to the above written revelation, explicit reference is made to the revelation of 1 and 2 referred to.

Claims

Method (100) for determining an illumination parameter, comprising the steps: - selecting (101) a plurality of image regions (11), wherein the image regions (11) comprise individual regions of a single image of a camera (2) and/or individual regions of different images of an image sequence (10) of a camera (2), - determining (102) an image feature from each of the image regions (11), - determining (104) at least one illumination parameter for each of the image features, wherein the illumination parameter describes a characteristic of an illumination present in the respective image region (11) for the image feature, - calculating (106) a resulting illumination parameter based on a combination of the determined illumination parameters.

Procedure (100) according to Claim 1 , wherein during the determination (102) of the image feature, the selected image regions (11) are subjected to a feature analysis in order to determine the image features in the image regions (11).

Method (100) according to one of the preceding claims, wherein the image feature is determined by means of a neural network (12), wherein the image feature is in particular an embedded feature.

Method (100) according to one of the preceding claims, wherein the determination (104) of the at least one illumination parameter for each of the image features is carried out by means of a transformer (15).

Method (100) according to one of the preceding claims, wherein the at least one illumination parameter has a direction-dependent component which is dependent on a position of the light source causing the illumination, and wherein the method (100) further comprises: - Assigning (103) an alignment parameter for each of the image features, wherein the alignment parameter describes an alignment of the camera (2) with respect to its surroundings when capturing the respective image area (11) and/or a position of the image feature in the associated individual image, and - Adjusting (105) the illumination parameters based on the alignment parameter, wherein the adjusted illumination parameters are adjusted such that they describe the characteristics of the illumination in a common reference system, wherein the common reference system is the same for all illumination parameters of all image features.

Method (100) according to one of the preceding claims, wherein the camera (2) is a camera of a vehicle (17) and the alignment parameter is determined based on a movement of the vehicle (17), or the alignment parameter is determined by means of a structure from motion method.

Method (100) according to one of the preceding claims, wherein the resulting illumination parameter (107) is an average value of the determined illumination parameters.

Method (100) according to one of the preceding claims, wherein the at least one illumination parameter comprises a parameter of a sun-sky model.

Method (100) according to one of the preceding claims, wherein when selecting (101) a plurality of image regions (11), regions of an individual image from another camera and/or individual regions of different images of an image sequence from another camera are also selected.

Device (1) for determining an illumination parameter, wherein the device is configured to carry out the method (100) according to one of the preceding claims.

System with at least one camera (2) and a device (1) according to Claim 10 .

Computer program comprising instructions which, when executed by a device (1) according to Claim 10 , in particular by a computing unit, or a system according to Claim 11 cause this / this to initiate the procedure (100) according to one of the Claims 1 until 9 to execute.

Machine-readable storage medium on which the computer program according to Claim 12 is stored.