DE102022111941B3

DE102022111941B3 - Method and system for generating images in a motor vehicle

Info

Publication number: DE102022111941B3
Application number: DE102022111941.6A
Authority: DE
Inventors: Fabian Leinen; Mario Pfaller
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-05-12
Filing date: 2022-05-12
Publication date: 2023-11-16
Anticipated expiration: 2042-05-13

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen von Bildern in einem Kraftfahrzeug (10), bei dem bekannte geometrische Verhältnisse, vorliegend Abstände (A1) von Punkten zu einer Innenraumkamera (14), genutzt werden, den Abstand (A2, A3) von Punkten mit unbekannter geometrischer Position zu ermitteln. Dies wird genutzt, um Bilder mit festgelegten Fokuspunkten oder -bereichen zu erzeugen und auf einer Anzeigevorrichtung (30) wiederzugeben.The invention relates to a method for generating images in a motor vehicle (10), in which known geometric relationships, in this case distances (A1) from points to an interior camera (14), are used, the distance (A2, A3) from points with unknown to determine geometric position. This is used to generate images with defined focus points or areas and to display them on a display device (30).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von Bildern in einem Kraftfahrzeug. Sie betrifft weiterhin ein System zum Erzeugen von Bildern in einem Kraftfahrzeug umfassend eine Steuervorrichtung, eine Speichervorrichtung, eine Anzeigevorrichtung sowie eine Innenraumkamera.The present invention relates to a method for generating images in a motor vehicle. It further relates to a system for generating images in a motor vehicle, comprising a control device, a storage device, a display device and an interior camera.

Insbesondere beim autonomen Betrieb von Fahrzeugen steht den Fahrzeuginsassen Zeit zur Verfügung, die überbrückt werden muss. Eine Möglichkeit hierzu sind Aktivitäten in sozialen Medien. Wird hierzu eine Fahrzeuginnenraumkamera, insbesondere eine Spiegelfußkamera, die am Rückspiegel befestigt ist, genutzt, wäre hier die Bereitstellung hochwertiger Bilder wünschenswert.Particularly when vehicles are operated autonomously, the vehicle occupants have time available that must be bridged. One way to do this is through social media activities. If a vehicle interior camera, in particular a mirror base camera that is attached to the rear-view mirror, is used for this purpose, the provision of high-quality images would be desirable.

Durch eine üblicherweise geringe und fixe Brennweite von Kameras im Automobilkontext ergibt sich jedoch ein in jedem Tiefenpunkt scharfes Bild. Das hat offensichtliche Vorteile, kann vom Nutzer aber auch als weniger hochwertiges Bild wahrgenommen werden. Gerade im Fahrzeuginnenraum sind die Ansprüche von Nutzern durch die hohe Qualität von Kameras im Consumer Electronics Bereich sehr hoch.However, the usually short and fixed focal length of cameras in the automotive context results in a sharp image at every depth point. This has obvious advantages, but can also be perceived by the user as a lower quality image. Especially in vehicle interiors, the demands of users are very high due to the high quality of cameras in the consumer electronics sector.

Monookulare Bilder, wie sie üblicherweise von Innenraumkameras geliefert werden, enthalten nämlich keine Tiefeninformationen, was es Menschen schwer machen kann, relevante Informationen zu fokussieren. Dennoch kann der Fokus gelenkt werden, was in hochwertigen Foto- und Videoproduktionen häufig durch Tiefenunschärfe geschieht. Im Automobilkontext, in dem, wie erwähnt, standardmäßig Kameras mit einer geringen Brennweite eingesetzt werden entsteht keine natürliche Tiefenunschärfe. Dies in der Regel gewollt, weil diese Art von Bildern maschinell leichter auszuwerten sind. Außerdem sind diese Kameras platzsparender und günstiger.Monoocular images, such as those typically provided by indoor cameras, do not contain depth information, which can make it difficult for people to focus on relevant information. Nevertheless, the focus can be directed, which is often done in high-quality photo and video productions through depth of field. In the automotive context, in which, as mentioned, cameras with a short focal length are used as standard, there is no natural depth of field. This is usually intentional because these types of images are easier to evaluate by machine. These cameras also save space and are cheaper.

Eine Möglichkeit zur Lenkung des Fokus besteht in der Verwendung einer binären Maske, wie sie beispielsweise von der Anwendung Zoom bereitgestellt wird. Gegenüber Aufnahmen mit kontinuierlicher Tiefenunschärfe erlaubt diese Technik es, nur ein Objekt „in den Fokus zu rücken“ oder eben nicht. Ein Benutzer hat dabei jedoch nicht die Möglichkeit, ein Objekt manuell in den Fokus zu rücken. Hält eine Person während einer Videokonferenz beispielsweise ein Objekt in die Kamera, ist es häufig Zufall, ob das Objekt unscharf oder scharf dargestellt wird.One way to direct focus is to use a binary mask, such as that provided by the Zoom application. Compared to shots with continuous depth of field, this technique allows only one object to be “in focus” or not. However, a user does not have the option to manually bring an object into focus. For example, if a person holds an object into the camera during a video conference, it is often a coincidence whether the object is blurred or sharp.

Eine andere Möglichkeit besteht darin die Tiefe aus einem monookularen Bild zu schätzen. Einer der vielen Ansätze kann dem folgenden Artikel entnommen werden: Alhashim, Ibraheem and Peter Wonka. „High Quality Monocular Depth Estimation via Transfer Learning.“ ArXiv abs/1812.11941 (2018): n. pag. 1 dieses Artikels zeigt, dass die Qualität noch immer nicht überzeugend ist.Another option is to estimate depth from a monoocular image. One of the many approaches can be found in the following article: Alhashim, Ibraheem and Peter Wonka. “High Quality Monocular Depth Estimation via Transfer Learning.” ArXiv abs/1812.11941 (2018): n. pag. 1 This article shows that the quality is still not convincing.

Weiterhin ist aus der DE 10 2011 121 473 A1 ein Verfahren zum Anzeigen von Bildern auf einer Anzeigevorrichtung eines Kraftfahrzeugs bekannt. Das Verfahren umfasst eine Erfassung eines Kamerabilds eines Umgebungsbereichs des Kraftfahrzeugs mittels zumindest einer Kamera, eine Berechnung von Informationen über Entfernungen von Objekten im Umgebungsbereich sowie eine Hervorhebung von bestimmten Objekten für einen Fahrer durch Erzeugung einer künstlichen Unschärfe im Umfeld der hervorzuhebenden Objekte.Furthermore, from the DE 10 2011 121 473 A1 a method for displaying images on a display device of a motor vehicle is known. The method includes capturing a camera image of a surrounding area of the motor vehicle using at least one camera, calculating information about distances from objects in the surrounding area and highlighting certain objects for a driver by generating an artificial blur in the surroundings of the objects to be highlighted.

Die WO 2016/120618 A1 betrifft ein Verfahren und System zur automatischen Veränderung eines Video-Streams. Das Verfahren umfasst eine Erfassung von Tiefeninformationen eines Kamerabilds zur Abänderung eines Video-Streams dahingehend, dass bestimmte Objekte oder Personen ausgeschnitten und insofern hervorgehoben oder aus dem Video-Stream entfernt werden.The WO 2016/120618 A1 relates to a method and system for automatically changing a video stream. The method includes capturing depth information from a camera image to modify a video stream in such a way that certain objects or people are cut out and thus highlighted or removed from the video stream.

Die DE 10 2018 203 405 A1 betrifft eine Vorrichtung umfassend eine Recheneinheit, die dazu ausgelegt ist, wenigstens ein Kamerabild wenigstens einer Kamera auf eine virtuelle Projektionsoberfläche zu projizieren, um eine virtuelle Ansicht eines Fahrzeuginnenraums zu erstellen.The DE 10 2018 203 405 A1 relates to a device comprising a computing unit which is designed to project at least one camera image from at least one camera onto a virtual projection surface in order to create a virtual view of a vehicle interior.

Die DE 10 2020 106 524 A1 stellt ein autonomes Fahrzeug zum automatischen Detektieren eines vergessenen Artikels bereit, der durch einen Benutzer zurückgelassen wurde, der aus dem Fahrzeug aussteigt. Das Fahrzeug umfasst eine Kamera, die Bilddaten aufnimmt, einschließlich einer Vielzahl von verschieden beleuchteten Bildern eines Zielbereichs einer Fahrgastkabine des Fahrzeugs, einen Normalenextraktor, der die Bilder empfängt, um eine Vielzahl von Normalenvektoren für wiederholte Pixel zu bestimmen, die den Zielbereich darstellen, ein erstes Array, das eine normalengetriebene Karte als Reaktion auf die Vielzahl von Normalenvektoren speichert, ein zweites Array, das eine Grundlinienkarte speichert, die aus Grundlinienbildern des Zielbereichs in einem nominellen sauberen Zustand zusammengesetzt ist, und eine Vergleichseinrichtung, die an die Arrays gekoppelt ist, um Unterschiede zwischen der normalengetriebenen Karte und der Grundlinienkarte zu detektieren, die ein Objekt angeben, das nicht in dem sauberen Zustand vorhanden ist.The DE 10 2020 106 524 A1 provides an autonomous vehicle for automatically detecting a forgotten item left behind by a user exiting the vehicle. The vehicle includes a camera that captures image data including a plurality of differently illuminated images of a target area of a passenger cabin of the vehicle, a normal extractor that receives the images to determine a plurality of normal vectors for repeated pixels representing the target area, a first Array storing a normal driven map responsive to the plurality of normal vectors, a second array storing a baseline map composed of baseline images of the target area in a nominally clean state, and a comparator coupled to the arrays for differences between the normal driven map and the baseline map indicating an object that does not exist in the clean state.

Schließlich offenbart die DE 10 2018 206 777 A1 eine Tiefenauswerteeinrichtung für ein Fahrzeug zur Lokalisierung eines Fahrzeuginsassen in einem Fahrzeuginnenraum. Diese umfasst wenigstens eine erste Eingangsschnittstelle, um erste Bilddaten einer Aufnahme des Fahrzeuginsassen zu erhalten, ein künstliches neuronales Netzwerk, wobei die Tiefenauswerteeinrichtung ausgeführt ist, das künstliche neuronale Netzwerk auszuführen, wenn das künstliche neuronale Netzwerk in einem Speicher der Tiefenauswerteeinrichtung geladen ist, wobei das künstliche neuronale Netzwerk ausgeführt ist, wenigstens in Abhängigkeit der ersten Bilddaten erste Tiefeninformationen aus den ersten Bilddaten zu erhalten, wobei die Tiefenauswerteeinrichtung ausgeführt ist, in Abhängigkeit der ersten Tiefeninformationen ein erstes Oberflächenmodell des Fahrzeuginsassen zu erhalten und in Abhängigkeit des ersten Oberflächenmodells die Lokalisierung des Fahrzeuginsassen in dem Fahrzeuginnenraum zu berechnen, und eine Ausgangsschnittstelle, um wenigstens die Lokalisierung des Fahrzeuginsassen bereitzustellen.Finally, the reveals DE 10 2018 206 777 A1 a depth evaluation device for a vehicle for locating a vehicle occupant in a vehicle interior. This comprises at least a first input interface in order to receive first image data of a recording of the vehicle occupant, an artificial neural network, wherein the depth evaluation device is designed to execute the artificial neural network when the artificial neural network is loaded in a memory of the depth evaluation device, wherein the artificial neural Network is designed to obtain first depth information from the first image data at least as a function of the first image data, the depth evaluation device being designed to obtain a first surface model of the vehicle occupant as a function of the first depth information and the localization of the vehicle occupant in the vehicle interior as a function of the first surface model to calculate, and an output interface to provide at least the localization of the vehicle occupant.

Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, das Erscheinungsbild von monookular aufgenommenen Bildern weiter zu verbessern. Insbesondere sollen sehr gute visuelle Ergebnisse bei möglichst geringen Hardware-Kosten bereitgestellt werden. Insofern soll weiterhin eine monookulare Innenraumkamera mit kurzer Brennweite Anwendung finden können.The object of the present invention is therefore to further improve the appearance of images recorded monoocularly. In particular, very good visual results should be provided with the lowest possible hardware costs. In this respect, a monoocular interior camera with a short focal length should still be able to be used.

Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen von Patentanspruch 1 sowie ein System mit den Merkmalen von Patentanspruch 7.This task is solved by a method with the features of patent claim 1 and a system with the features of patent claim 7.

Die vorliegende Erfindung basiert auf der Erkenntnis, dass in einem Fahrzeug zur Erzeugung hochwertiger Bilder der Umstand ausgenutzt werden kann, dass Wissen über die Geometrie des Fahrzeuginnenraums vorliegt, welches in den Prozess der Erzeugung der Bilder einbezogen werden kann. Durch die bekannte Abbildung von einzelnen Pixeln des 2D-Raums, das heißt einem Bild vom Fahrzeuginnenraum, im 3D-Raum, das heißt dem tatsächlichen dreidimensionalen Fahrzeuginnenraum, für einen großen Teil des Bilds, kann das Problem für die unbekannten Punkte, also dort, wo sich beispielsweise Fahrzeuginsassen befinden, oder verschiebbare Sitze angeordnet oder Objekte abgelegt sind, gelöst werden.The present invention is based on the knowledge that the fact that knowledge about the geometry of the vehicle interior is available, which can be included in the process of generating the images, can be exploited in a vehicle to generate high-quality images. By mapping individual pixels of 2D space, i.e. an image of the vehicle interior, in 3D space, i.e. the actual three-dimensional vehicle interior, for a large part of the image, the problem can be solved for the unknown points, i.e. where For example, there are vehicle occupants, or movable seats are arranged or objects are placed, can be solved.

Insofern wird in einem Schritt a) des erfindungsgemäßen Verfahrens der Abstand einer Vielzahl von ersten, nicht ortsveränderbaren Punkten eines Fahrzeuginnenraums des Kraftfahrzeugs zumindest zu einer Innenraumkamera des Kraftfahrzeugs ermittelt. Anschließend werden die ermittelten Abstände in einem Schritt b) in einer Speichervorrichtung des Kraftfahrzeuges abgelegt.In this respect, in a step a) of the method according to the invention, the distance of a plurality of first, non-mobile points of a vehicle interior of the motor vehicle to at least one interior camera of the motor vehicle is determined. The determined distances are then stored in a storage device of the motor vehicle in step b).

In einem Schritt c) wird anschließend ein erstes, eine Vielzahl von Pixeln umfassendes Bild mittels der Innenraumkamera des Kraftfahrzeugs aufgezeichnet, wobei das erste Bild zumindest eine Teilmenge der Vielzahl von ersten, nicht ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs umfasst sowie eine Vielzahl von zweiten, ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs und/oder eine Vielzahl von Punkten von temporär im Fahrzeuginnenraum angeordneten Objekten.In a step c), a first image comprising a plurality of pixels is then recorded using the interior camera of the motor vehicle, the first image comprising at least a subset of the plurality of first, non-mobile points of the vehicle interior of the motor vehicle as well as a plurality of second, spatially variable ones Points of the vehicle interior of the motor vehicle and / or a large number of points of objects temporarily arranged in the vehicle interior.

In einem Schritt d) wird für zumindest eine Teilmenge der Pixel des ersten Bilds, die korreliert sind mit zumindest einer Teilmenge der Vielzahl von zweiten, ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs und/oder einer Teilmenge der Vielzahl von Punkten von temporär im Fahrzeuginnenraum angeordneten Objekten, der Abstand zur Innenraumkamera in Abhängigkeit der in Schritt b) in der Speichervorrichtung abgelegten Abstände sowie des in Schritt c) aufgezeichneten ersten Bilds ermittelt. Bei der Innenraumkamera handelt es sich insbesondere um eine monookulare Innenraumkamera mit geringer Brennweite, das heißt einer Brennweite unter 6 mm, bevorzugt unter 3 mm. Korrelation bedeutet in diesem Zusammenhang, dass jeweilige Pixel jeweiligen Punkten zugeordnet sind, das heißt Pixel entsprechen Punkten und umgekehrt. Ein Punkt ist demnach der kleinste mittels einer gegebenen Innenraumkamera auflösbare Ort auf einer Oberfläche eines Objekts oder eines im Fahrzeuginnenraum angeordneten Objekts oder eines Fahrzeuginsassen.In a step d), for at least a subset of the pixels of the first image that are correlated with at least a subset of the plurality of second, movable points of the vehicle interior of the motor vehicle and / or a subset of the plurality of points of objects temporarily arranged in the vehicle interior, the distance to the interior camera is determined depending on the distances stored in the storage device in step b) and the first image recorded in step c). The interior camera is in particular a monoocular interior camera with a small focal length, that is to say a focal length of less than 6 mm, preferably less than 3 mm. In this context, correlation means that respective pixels are assigned to respective points, that is, pixels correspond to points and vice versa. A point is therefore the smallest location on a surface of an object or an object arranged in the vehicle interior or a vehicle occupant that can be resolved using a given interior camera.

In Schritt e) wird mindestens ein Fokuspunkt in zumindest einem, mittels der Innenraumkamera aufgezeichneten Bild in Abhängigkeit der in Schritt d) ermittelten Abstände festgelegt. Dabei kann es sich um das erste Bild handeln, es kann jedoch auch ein zweites Bild oder eine Vielzahl von zweiten Bildern sein, beispielsweise Bilder eines Video-Streams. Mindestens ein Fokuspunkt bedeutet in diesem Zusammenhang, dass auch ein Fokusbereich eingestellt werden kann, beispielsweise das Gesicht einer Person. Es können mehrere Fokuspunkte oder - bereiche in einem Bild festgelegt werden, zum Beispiel Gesichter von zwei Personen, beispielsweise das des Fahrers und das eines Passagiers auf der Rückbank. Die Auswahl der Fokuspunkte kann entweder manuell oder automatisch, beispielsweise durch Fokus auf den Fahrer, erfolgen.In step e), at least one focus point is determined in at least one image recorded by the interior camera depending on the distances determined in step d). This can be the first image, but it can also be a second image or a plurality of second images, for example images of a video stream. In this context, at least one focus point means that a focus area can also be set, for example a person's face. Multiple focus points or areas can be set in an image, for example faces of two people, such as the driver and a passenger in the back seat. The selection of the focus points can be done either manually or automatically, for example by focusing on the driver.

Schließlich wird in einem Schritt f) das in Schritt e) aufgezeichnete Bild mit dem in Schritt e) festgelegten, mindestens einen Fokuspunkt auf einer Anzeigevorrichtung wiedergegeben. Diese kann sich in einem Kraftfahrzeug befinden, es kann sich jedoch auch um ein mobiles Endgerät handeln, das eine derartige Anzeigevorrichtung bereitstellt.Finally, in a step f), the image recorded in step e) is reproduced on a display device with the at least one focus point specified in step e). This can be in a motor vehicle, it can However, it can also be a mobile device that provides such a display device.

Aufgrund der Verwendung bekannter geometrischer Verhältnisse können demnach mittels des erfindungsgemäßen Verfahrens auch unbekannte geometrische Verhältnisse im Fahrzeuginnenraum, die beispielsweise Insassen oder im Fahrzeuginnenraum deponierte Objekte betreffen, schneller und mit einer höheren Genauigkeit als im Stand der Technik ermittelt werden, sodass bei niedrigen Hardware-Kosten dennoch hochwertigere Bilder mit präzise gesetzten Fokuspunkten beziehungsweise Fokusbereichen bereitgestellt werden können.Due to the use of known geometric relationships, unknown geometric relationships in the vehicle interior, which affect, for example, passengers or objects deposited in the vehicle interior, can also be determined more quickly and with greater accuracy than in the prior art using the method according to the invention, so that hardware costs are still low Higher quality images with precisely set focus points or focus areas can be provided.

Die Erfindung zeichnet sich dadurch aus, dass in Schritt d) die Ermittlung der Abstände mittels eines neuronalen Netzwerks erfolgt, insbesondere eines tiefen neuronalen Netzwerks. Ein neuronales Netzwerk kann als Softwarecode verstanden werden, der auf einem computerlesbaren Speichermedium gespeichert ist und eines oder mehrere vernetzte künstliche Neuronen repräsentiert beziehungsweise deren Funktion nachbilden kann. Der Softwarecode kann dabei auch mehrere Softwarecodekomponenten beinhalten, die beispielsweise unterschiedliche Funktionen haben können. Insbesondere kann ein künstliches neuronales Netzwerk ein nichtlineares Modell oder einen nichtlinearen Algorithmus implementieren, das beziehungsweise der eine Eingabe auf eine Ausgabe abbildet, wobei die Eingabe durch einen Eingangsmerkmalsvektor oder eine Eingangssequenz gegeben ist und die Ausgabe beispielsweise eine ausgegebenen Kategorie für eine Klassifizierungsaufgabe, einen oder mehrere prädizierte Werte oder eine prädizierte Sequenz beinhalten kann. Mittels eines neuronalen Netzes können aus den vorhandenen Daten, das heißt den bekannten geometrischen Verhältnissen und den Pixeln, deren geometrische Lage unbekannt ist, besonders einfach und zuverlässig die unbekannten und zur Einstellung der Tiefenschärfe benötigten Abstände ermittelt werden.The invention is characterized in that in step d) the distances are determined using a neural network, in particular a deep neural network. A neural network can be understood as software code that is stored on a computer-readable storage medium and represents one or more networked artificial neurons or can simulate their function. The software code can also contain several software code components, which can, for example, have different functions. In particular, an artificial neural network can implement a non-linear model or a non-linear algorithm that maps an input to an output, the input being given by an input feature vector or an input sequence and the output being, for example, an output category for a classification task, one or more may contain predicted values or a predicted sequence. Using a neural network, the unknown distances required to adjust the depth of field can be determined particularly easily and reliably from the existing data, i.e. the known geometric relationships and the pixels whose geometric position is unknown.

In diesem Zusammenhang nutzt das neuronale Netzwerk sowohl während einer Trainings- als auch während einer Inferenzphase 3D-Daten des leeren Fahrzeuginnenraums, wobei aus den 3D-Daten die Abstände gemäß Schritt a) ermittelt werden, sodass innerhalb des neuronalen Netzwerks bekannte Abstände genutzt werden. Die 3D-Daten des leeren Fahrzeuginnenraums betreffen demnach die ersten, nicht ortsveränderbaren Punkte des Fahrzeuginnenraums des Kraftfahrzeugs.In this context, the neural network uses 3D data of the empty vehicle interior both during a training and an inference phase, with the distances according to step a) being determined from the 3D data, so that known distances are used within the neural network. The 3D data of the empty vehicle interior therefore relates to the first, non-mobile points of the vehicle interior of the motor vehicle.

Weiterhin nutzt das neuronale Netzwerk bevorzugt während der Trainingsphase 3D-Daten des nicht leeren Fahrzeuginnenraums. Diese betreffen demnach zweite, ortsveränderbare Punkte des Fahrzeuginnenraums des Kraftfahrzeugs und/oder Punkte von temporär im Fahrzeuginnenraum angeordneten Objekten. Unter ortsveränderbaren Punkten des Fahrzeuginnenraums sind insbesondere beispielsweise Punkte von Frontsitzen zu verstehen, die, je nach der Person, die darauf Platz genommen hat, üblicherweise in unterschiedlich großen Entfernungen von der Innenraumkamera beabstandet sind. Im Gegensatz zu temporär im Fahrzeuginnenraum angeordneten Objekten sind diese ortsveränderbaren Punkte des Fahrzeuginnenraums stets Teil des Fahrzeuginnenraums, können jedoch je nach Einstellung ihre Position wechseln.Furthermore, the neural network preferably uses 3D data from the non-empty vehicle interior during the training phase. These therefore relate to second, movable points of the vehicle interior of the motor vehicle and/or points of objects temporarily arranged in the vehicle interior. Movable points in the vehicle interior are understood to mean in particular, for example, points of front seats which, depending on the person sitting on them, are usually at different distances from the interior camera. In contrast to objects temporarily arranged in the vehicle interior, these movable points of the vehicle interior are always part of the vehicle interior, but can change their position depending on the setting.

Bevorzugt decken die 3D-Daten, die während der Trainingsphase genutzt werden, eine Vielzahl von verschiedenen Szenarien im Fahrzeuginnenraum ab, wobei sich die Szenarien unterscheiden hinsichtlich der Art und/oder Anzahl im Fahrzeuginnenraum angeordneter Objekte und/oder Insassen und/oder unterschiedlicher Einstellungen von ortsveränderbaren Punkten des Fahrzeuginnenraums. Damit kann das neuronale Netzwerk auf unterschiedlichste Konstellationen vorbereitet werden, die im realen Betrieb des Kraftfahrzeugs auftreten können. Ausgehend von dem Erlernten ist es dann für das neuronale Netzwerk einfach, sich auf neue Szenarien einzustellen.Preferably, the 3D data used during the training phase cover a variety of different scenarios in the vehicle interior, with the scenarios differing in terms of the type and/or number of objects and/or occupants arranged in the vehicle interior and/or different settings of location-changeable ones points of the vehicle interior. This allows the neural network to be prepared for a wide variety of constellations that can occur in real operation of the motor vehicle. Based on what it has learned, it is then easy for the neural network to adapt to new scenarios.

Bevorzugt werden in diesem Zusammenhang die 3D-Daten aus 3D-Simulationsmodellen eines leeren und mindestens eines nicht leeren Fahrzeuginnenraums ermittelt. Dabei kann es sich insbesondere um CAD-Daten eines CAD-Programms wie beispielsweise Autodesk handeln. Da diese CAD-Daten ohnehin bei der Entwicklung des Fahrzeugs anfallen, wird das neuronale Netzwerk bevorzugt bereits werksseitig angelernt, wodurch sich ein wiederholtes Anlernen durch unterschiedliche Kraftfahrzeuge erübrigt.In this context, the 3D data is preferably determined from 3D simulation models of an empty and at least one non-empty vehicle interior. This can in particular be CAD data from a CAD program such as Autodesk. Since this CAD data is generated during the development of the vehicle anyway, the neural network is preferably trained at the factory, which eliminates the need for repeated training by different motor vehicles.

Bevorzugt werden aus den 3D-Daten zumindest die Abstände zur Innenraumkamera ermittelt und diese mit Abständen, ermittelt aus virtuellen Bildern, aufgezeichnet mit einer virtuellen Innenraumkamera, in Relation gesetzt. Damit kann das neuronale Netzwerk virtuell mit Bildern angelernt werden, die hinterher im Betrieb von einer realen Innenraumkamera bereitgestellt werden. Damit ist ein besonders genaues Anlernen des neuronalen Netzwerks ermöglicht.Preferably, at least the distances to the interior camera are determined from the 3D data and these are related to distances determined from virtual images recorded with a virtual interior camera. This means that the neural network can be trained virtually using images that are subsequently provided by a real indoor camera during operation. This enables particularly precise training of the neural network.

Alternativ zur Verwendung eines 3D-Simulationsmodells kann in einem Versuchsfahrzeug ein Tiefeninformationssensor Tiefeninformation erfassen, aus der dann die Abstände ermittelt werden, wobei diese Abstände mit Abständen, ermittelt aus mit der Innenraumkamera aufgezeichneten Bildern, in Relation gesetzt werden. Dadurch werden verlässliche Abstände, hier gewonnen mittels eines Tiefeninformationssensors, Abständen zugeordnet, wie sie sich bei Auswertung von mit der Innenraumkamera aufgezeichneten Bildern ergeben. Als Tiefeninformationssensor kann beispielsweise eine ToF (Time of Flight)-Kamera Anwendung finden.As an alternative to using a 3D simulation model, a depth information sensor in a test vehicle can record depth information, from which the distances are then determined, these distances being related to distances determined from images recorded with the interior camera. This means that reliable distances, obtained here using a depth information sensor, are assigned to distances like them arise when evaluating images recorded with the interior camera. For example, a ToF (Time of Flight) camera can be used as a depth information sensor.

Weitere vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen.Further advantageous embodiments result from the subclaims.

Die vorliegende Erfindung betrifft auch ein System zum Erzeugen von Bildern in einem Kraftfahrzeug, das eine Steuervorrichtung, eine Speichervorrichtung, eine Anzeigevorrichtung sowie eine Innenraumkamera umfasst. In der Speichervorrichtung sind Abstände einer Vielzahl von ersten, nicht ortsveränderbaren Punkten eines Fahrzeuginnenraums des Kraftfahrzeugs zu der Innenraumkamera des Kraftfahrzeugs abgespeichert. Die Innenraumkamera ist ausgelegt, zumindest ein erstes, eine Vielzahl von Pixeln umfassendes Bild aufzuzeichnen, wobei das erste Bild zumindest eine Teilmenge der Vielzahl von ersten, nicht ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs umfasst, sowie eine Vielzahl von zweiten, ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs und/oder eine Vielzahl von Punkten von temporär im Fahrzeuginnenraum angeordneten Objekten. Die Steuervorrichtung ist ausgelegt, für zumindest eine Teilmenge der Pixel des ersten Bilds, die korreliert sind mit zumindest einer Teilmenge der Vielzahl von zweiten, ortsveränderbaren Punkten des Fahrzeuginnenraums des Kraftfahrzeugs und/oder einer Teilmenge der Vielzahl von Punkten von temporär im Fahrzeuginnenraum angeordneten Objekten, zumindest den Abstand zur Innenraumkamera in Abhängigkeit der in der Speichervorrichtung abgelegten Abstände sowie des aufgezeichneten ersten Bilds zu ermitteln. Das System weist weiterhin eine Vorrichtung zum Festlegen mindestens eines Fokuspunkts in zumindest einem, mittels der Innenraumkamera aufgezeichneten Bild in Abhängigkeit der ermittelten Abstände auf, wobei die Steuervorrichtung weiterhin ausgelegt ist, das aufgezeichnete Bild mit mindestens einem festgelegten Fokuspunkt auf der Anzeigevorrichtung wiederzugeben, wobei die Steuervorrichtung weiterhin ausgelegt ist, die Abstände mittels eines neuronalen Netzwerks zu ermitteln, wobei das neuronale Netzwerk ausgelegt ist, sowohl während einer Trainings- als auch während einer Inferenzphase 3D-Daten des leeren Fahrzeuginnenraums zu nutzen, wobei die Steuervorrichtung ausgelegt ist, aus den 3D-Daten die Abstände zu ermitteln, so dass innerhalb des neuronalen Netzwerks bekannte Abstände genutzt werden.The present invention also relates to a system for generating images in a motor vehicle, comprising a control device, a storage device, a display device and an interior camera. Distances of a plurality of first, non-mobile points of a vehicle interior of the motor vehicle to the interior camera of the motor vehicle are stored in the storage device. The interior camera is designed to record at least a first image comprising a plurality of pixels, the first image comprising at least a subset of the plurality of first, non-mobile points of the vehicle interior of the motor vehicle, as well as a plurality of second, movable points of the vehicle interior of the motor vehicle and/or a plurality of points of objects temporarily arranged in the vehicle interior. The control device is designed for at least a subset of the pixels of the first image, which are correlated with at least a subset of the plurality of second, movable points of the vehicle interior of the motor vehicle and / or a subset of the plurality of points of objects temporarily arranged in the vehicle interior to determine the distance to the interior camera depending on the distances stored in the storage device and the recorded first image. The system further has a device for determining at least one focus point in at least one image recorded by the interior camera as a function of the determined distances, wherein the control device is further designed to reproduce the recorded image with at least one specified focus point on the display device, wherein the control device is further designed to determine the distances using a neural network, wherein the neural network is designed to use 3D data of the empty vehicle interior both during a training phase and during an inference phase, wherein the control device is designed to use the 3D data to determine the distances so that known distances are used within the neural network.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise with the method and that are not explicitly described here, it can be provided that an error message and/or a request to enter user feedback and/or a standard setting and/or a predetermined one can be issued according to the method Initial state is set.

Zu der Erfindung gehört auch die Steuervorrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.The invention also includes the control device for the motor vehicle. The control device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code that is designed to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens hier nicht noch einmal beschrieben.The invention also includes further developments of the system according to the invention, which have features as have already been described in connection with the further developments of the method according to the invention. For this reason, the corresponding developments of the method according to the invention are not described again here.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch einen Computer oder einen Computerverbund diesen veranlassen, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) ausgestaltet sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Die Befehle können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) bereitgestellt sein.As a further solution, the invention also includes a computer-readable storage medium comprising instructions which, when executed by a computer or a computer network, cause it to carry out an embodiment of the method according to the invention. The storage medium can, for example, be designed at least partially as a non-volatile data storage (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data storage (e.g. as a RAM - random access memory). . The computer or computer network can provide a processor circuit with at least one microprocessor. The instructions may be provided as binary code or assembler and/or as source code of a programming language (e.g. C).

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments unless the embodiments have been described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 einen Signalflussgraphen für ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens;
2 eine schematische Darstellung eines Kraftfahrzeugs in Draufsicht zur Erläuterung verschiedener Aspekte des erfindungsgemäßen Verfahrens; und
3 ein Blockdiagramm zur Erläuterung verschiedener Aspekte des erfindungsgemäßen Systems.

Examples of embodiments of the invention are described below. This shows:

1 a signal flow graph for an exemplary embodiment of a method according to the invention;
2 a schematic representation of a motor vehicle in a top view to explain various aspects of the method according to the invention; and
3 a block diagram to explain various aspects of the system according to the invention.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and which also further develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference numerals designate functionally identical elements.

1 zeigt in schematischer Darstellung einen Signalflussgraphen zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Dieses wird in Zusammenschau mit 2 erläutert, welche eine schematische Draufsicht auf ein Kraftfahrzeug 10 zeigt. Zunächst wird in einem Schritt S1 der Abstand A1 einer Vielzahl nicht ortsveränderbarer Punkte P1 eines Fahrzeuginnenraums 12 des Kraftfahrzeugs 10 zumindest zu einer Innenraumkamera 14 des Kraftfahrzeugs 10 ermittelt. Vorliegend wird der Abstand zur Vorderkante einer Lehne 16 einer nicht verschiebbaren Rücksitzbank 18 ermittelt. Der Übersichtlichkeit halber ist in 2 nur ein Abstand A1 eingetragen. Dieser Schritt kann werksseitig unter Verwendung von Simulationsmodellen erfolgen. 1 shows a schematic representation of a signal flow graph to explain an exemplary embodiment of a method according to the invention. This will be viewed in conjunction with 2 explained, which shows a schematic top view of a motor vehicle 10. First, in a step S1, the distance A1 of a plurality of non-mobile points P1 of a vehicle interior 12 of the motor vehicle 10 to at least one interior camera 14 of the motor vehicle 10 is determined. In the present case, the distance to the front edge of a backrest 16 of a non-slidable rear seat 18 is determined. For the sake of clarity, in 2 only one distance A1 is entered. This step can be done at the factory using simulation models.

In einem Schritt S2 werden die ermittelten Abstände A1 in einer Speichervorrichtung 20 des Kraftfahrzeugs 10 abgelegt. Dieser Schritt erfolgt ebenfalls bevorzugt werksseitig.In a step S2, the determined distances A1 are stored in a storage device 20 of the motor vehicle 10. This step is also preferably carried out at the factory.

In einem Schritt S3 wird ein erstes, eine Vielzahl von Pixeln umfassendes Bild mittels der Innenraumkamera 14 des Kraftfahrzeugs 10 aufgezeichnet, wobei das erste Bild zumindest eine Teilmenge der Vielzahl von ersten, nicht ortsveränderbaren Punkten P1 des Fahrzeuginnenraums 12 des Kraftfahrzeugs 10 umfasst sowie eine Vielzahl von zweiten, ortsveränderbaren Punkten P2 des Fahrzeuginnenraums 12 des Kraftfahrzeugs 10 und/oder eine Vielzahl von Punkten P3 von temporär im Fahrzeuginnenraum 12 angeordneten Objekten 22. Der Punkt P2 kann beispielsweise die Vorderkante einer Lehne 24 eines verschiebbar gelagerten Fahrzeugsitzes 26 darstellen, während der Punkt P3 die der Innenraumkamera 14 zugewandte Kante einer auf einem Rücksitz deponierten Tasche 22 darstellen kann.In a step S3, a first image comprising a plurality of pixels is recorded by means of the interior camera 14 of the motor vehicle 10, the first image comprising at least a subset of the plurality of first, non-mobile points P1 of the vehicle interior 12 of the motor vehicle 10 as well as a plurality of second, movable points P2 of the vehicle interior 12 of the motor vehicle 10 and / or a plurality of points P3 of objects 22 temporarily arranged in the vehicle interior 12. The point P2 can, for example, represent the front edge of a backrest 24 of a displaceably mounted vehicle seat 26, while the point P3 the interior camera 14 facing edge of a bag 22 deposited on a back seat.

Eine Steuervorrichtung 28 des Kraftfahrzeugs 10 ist ausgelegt, in einem Schritt S4 für zumindest eine Teilmenge der Pixel des ersten Bilds, die korreliert sind mit zumindest einer Teilmenge der Vielzahl von zweiten, ortsveränderbaren Punkten P2 des Fahrzeuginnenraums 12 des Kraftfahrzeugs 10 und/oder einer Teilmenge der Vielzahl von Punkten P3 von temporär im Fahrzeuginnenraum 12 angeordneten Objekten 22, den Abstand A2, A3 zur Innenraumkamera 14 in Abhängigkeit der in der Speichervorrichtung 20 abgelegten Abstände A1 sowie des aufgezeichneten ersten Bilds zu ermitteln. Über eine Anzeigevorrichtung 30, die bevorzugt als Touchscreen ausgebildet ist, kann in einem Schritt S5 mindestens ein Fokuspunkt, bevorzugt ein Fokusbereich, in zumindest einem mittels der Innenraumkamera 14 aufgezeichneten Bild in Abhängigkeit der zuvor ermittelten Abstände festgelegt werden. Schließlich wird in einem Schritt S6 das zuvor aufgezeichnete Bild mit dem festgelegten, mindestens einen Fokuspunkt beziehungsweise Fokusbereich auf der Anzeigevorrichtung 30 wiedergegeben.A control device 28 of the motor vehicle 10 is designed, in a step S4, for at least a subset of the pixels of the first image, which are correlated with at least a subset of the plurality of second, movable points P2 of the vehicle interior 12 of the motor vehicle 10 and / or a subset of Large number of points P3 of objects 22 temporarily arranged in the vehicle interior 12 to determine the distance A2, A3 to the interior camera 14 depending on the distances A1 stored in the storage device 20 and the recorded first image. Using a display device 30, which is preferably designed as a touchscreen, at least one focus point, preferably a focus area, can be determined in at least one image recorded by means of the interior camera 14 in a step S5, depending on the previously determined distances. Finally, in a step S6, the previously recorded image with the defined, at least one focus point or focus area is reproduced on the display device 30.

Die Ermittlung der Abstände A2, A3 zu ortsveränderbaren Punkten oder zu Punkten von temporär im Fahrzeuginnenraum 12 angeordneten Objekten 22 erfolgt bevorzugt mittels eines neuronalen Netzwerks, welches auf der Steuereinrichtung 28 eingerichtet ist, wobei zu diesem Zweck die Steuervorrichtung 28 eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweist, die dazu eingerichtet ist, die entsprechenden Schritte, die weiter unten noch näher erläutert werden, durchzuführen.The determination of the distances A2, A3 to movable points or to points of objects 22 temporarily arranged in the vehicle interior 12 is preferably carried out by means of a neural network which is set up on the control device 28, for which purpose the control device 28 has a data processing device or a processor device, which is set up to carry out the corresponding steps, which are explained in more detail below.

Zu einem Fokuspunkt beziehungsweise Fokusbereich kann eine Varianz angegeben werden, die bezeichnet, bis zu welchem Abstand vor und hinter dem festgelegten Fokuspunkt - aus Sicht der Innenraumkamera - Bereiche scharf, das heißt fokussiert, darzustellen sind.A variance can be specified for a focus point or focus area, which indicates the distance up to which areas in front of and behind the specified focus point - from the perspective of the interior camera - are to be displayed sharply, i.e. focused.

Das neuronale Netzwerk nutzt sowohl während einer Trainings- als auch während einer Inferenzphase 3D-Daten des leeren Fahrzeuginnenraums 12, wobei aus den 3D-Daten die Abstände A1 ermittelt werden, sodass innerhalb des neuronalen Netzwerks bekannte Abstände A1 genutzt werden. Das neuronale Netzwerk nutzt während der Trainingsphase weiterhin 3D-Daten des nicht leeren Fahrzeuginnenraums 12, das heißt dass im Sinne der Erfindung ortsveränderbare Punkte, bevorzugt in unterschiedlichen Positionen und temporär im Fahrzeuginnenraum 12 angeordnete Objekte 22 vorliegen. Die 3D-Daten, die während der Trainingsphase genutzt werden, decken eine Vielzahl von verschiedenen Szenarien im Fahrzeuginnenraum 12 ab, wobei sich die Szenarien unterscheiden hinsichtlich der Art und/oder Anzahl im Fahrzeuginnenraum 12 angeordneter Objekte 22 und/oder Insassen und/oder unterschiedlicher Einstellungen oder Positionen von ortsveränderbaren Punkten P2 des Fahrzeuginnenraums 12.The neural network uses both during a training and an infe renzphase 3D data of the empty vehicle interior 12, the distances A1 being determined from the 3D data, so that known distances A1 are used within the neural network. During the training phase, the neural network continues to use 3D data of the non-empty vehicle interior 12, which means that in the sense of the invention there are points that can be moved, preferably in different positions and temporarily arranged in the vehicle interior 12, objects 22. The 3D data used during the training phase covers a variety of different scenarios in the vehicle interior 12, with the scenarios differing in terms of the type and/or number of objects 22 and/or occupants arranged in the vehicle interior 12 and/or different settings or positions of movable points P2 of the vehicle interior 12.

Die 3D-Daten werden bevorzugt ermittelt aus 3D-Simulationsmodellen eines leeren und mindestens eines nicht leeren Fahrzeuginnenraums 12. Dabei werden aus den 3D-Daten zumindest die Abstände A1, A2, A3 zur Innenraumkamera 14 ermittelt und diese mit Abständen, ermittelt aus virtuellen Bildern, aufgezeichnet mit einer virtuellen Innenraumkamera, in Relation gesetzt. Alternativ kann in einem Versuchsfahrzeug ein Tiefeninformationssensor Tiefeninformation erfassen, aus der die Abstände A1, A2, A3 ermittelt werden, wobei diese Abstände A1, A2, A3 mit Abständen, ermittelt aus mit der Innenraumkamera 14 aufgezeichneten Bildern, in Relation gesetzt werden.The 3D data are preferably determined from 3D simulation models of an empty and at least one non-empty vehicle interior 12. At least the distances A1, A2, A3 to the interior camera 14 are determined from the 3D data and these are combined with distances determined from virtual images. recorded with a virtual indoor camera, put into perspective. Alternatively, in a test vehicle, a depth information sensor can record depth information from which the distances A1, A2, A3 are determined, these distances A1, A2, A3 being related to distances determined from images recorded with the interior camera 14.

3 zeigt ein Blockschaltbild zur Erläuterung eines erfindungsgemäßen Systems zum Erzeugen von Bildern in einem Kraftfahrzeug 10. Demnach erzeugt eine Innenraumkamera 14 ein erstes RGB-Bild und übermittelt dieses an die Steuervorrichtung 28. Weiterhin wird das Wissen über die bekannten Abstände A1, welches in der Speichervorrichtung 20 abgelegt ist, ebenfalls an die Steuervorrichtung 28 übermittelt. Schließlich kann mit einem Tiefeninformationssensor 32, wobei es sich um eine ToF-Kamera handeln kann, Tiefeninformation erfasst werden, welche ebenfalls der Steuervorrichtung 28 zugeführt wird. Die Steuervorrichtung 28 ermittelt die Abstände zu den ortsveränderlichen Punkten oder zu Punkten von temporär im Fahrzeuginnenraum 12 angeordneten Objekten 22 und liefert diese Information an die Anzeigevorrichtung 30, welche bevorzugt das erste Bild oder mindestens ein weiteres Bild der Innenraumkamera 14 erhält. Über eine hier separat dargestellte Vorrichtung 34 zum Festlegen mindestens eines Fokuspunkts beziehungsweise eines Fokusbereichs sowie einer zugehörigen Varianz kann die Anzeigevorrichtung 30 angesteuert werden, sodass mindestens ein Bild, bevorzugt eine Abfolge von Bildern, das heißt ein Video-Stream von Bildern, die von der Innenraumkamera 14 erzeugt wurden, auf der Anzeigevorrichtung 30 entsprechend den festgelegten Fokuspunkten beziehungsweise Fokusbereichen sowie der gegebenenfalls vorgesehenen Varianz angezeigt werden. Bevorzugt ist die Anzeigevorrichtung 30 und die Vorrichtung 34 zum Festlegen mindestens einen Fokuspunkts durch einen Touch Screen realisiert. 3 shows a block diagram to explain a system according to the invention for generating images in a motor vehicle 10. Accordingly, an interior camera 14 generates a first RGB image and transmits this to the control device 28. Furthermore, the knowledge about the known distances A1, which is in the storage device 20 is stored, also transmitted to the control device 28. Finally, depth information can be recorded with a depth information sensor 32, which can be a ToF camera, which is also supplied to the control device 28. The control device 28 determines the distances to the movable points or to points of objects 22 temporarily arranged in the vehicle interior 12 and supplies this information to the display device 30, which preferably receives the first image or at least one further image from the interior camera 14. The display device 30 can be controlled via a device 34, shown separately here, for determining at least one focus point or a focus area and an associated variance, so that at least one image, preferably a sequence of images, that is, a video stream of images, from the interior camera 14 were generated, are displayed on the display device 30 according to the specified focus points or focus areas as well as the variance provided, if applicable. The display device 30 and the device 34 for setting at least one focus point are preferably implemented by a touch screen.

Claims

Method for generating images in a motor vehicle (10), comprising the following steps: a) determining the distance (A1) of a plurality of first, non-mobile points (P1) of a vehicle interior (12) of the motor vehicle (10) to at least one interior camera ( 14) of the motor vehicle (10) (step S1); b) storing the determined distances (A1) in a storage device (20) of the motor vehicle (10) (step S2); c) recording a first image comprising a plurality of pixels using the interior camera (14) of the motor vehicle (10), the first image being at least a subset of the plurality of first, non-mobile points (P1) of the vehicle interior (12) of the motor vehicle ( 10) as well as a plurality of second, movable points (P2) of the vehicle interior (12) of the motor vehicle (10) and/or a plurality of points (P3) of objects (22) temporarily arranged in the vehicle interior (12) (step S3) ; d) for at least a subset of the pixels of the first image, which are correlated with at least a subset of the plurality of second, movable points (P2) of the vehicle interior (12) of the motor vehicle (10) and/or a subset of the plurality of points (P3 ) of objects (22) temporarily arranged in the vehicle interior (12), at least the distance (A2, A3) to the interior camera (14) is determined depending on the distances (A1) stored in the storage device (20) in step b) and the in step c) recorded first image (step S4); e) determining at least one focus point in at least one image recorded by the interior camera (14) depending on the distances (A2, A3) determined in step d) (step S5); f) Playing back the image recorded in step e) with the at least one focus point specified in step e) on a display device (30) (step S6), wherein in step d) the distances (A2, A3) are determined using a neural network takes place, the neural network using 3D data of the empty vehicle interior (12) both during a training phase and during an inference phase, the distances according to step a) being determined from the 3D data, so that within Distances (A1) known to the neural network can be used.

Procedure according to Claim 1 , characterized in that the neural network continues to use 3D data of the non-empty vehicle interior (12) during the training phase.

Procedure according to Claim 2 , characterized in that the 3D data used during the training phase cover a large number of different scenarios in the vehicle interior (12), the scenarios differing in terms of the type and/or number of objects (22) arranged in the vehicle interior (12). ) and/or occupants and/or different settings of movable points (P2) of the vehicle interior (12).

Method according to one of the preceding claims, characterized in that the 3D data are determined from 3D simulation models of an empty and at least one non-empty vehicle interior (12).

Procedure according to Claim 4 , characterized in that at least the distances (A1, A3, A3) to the interior camera (14) are determined from the 3D data and these are related to distances determined from virtual images recorded with a virtual interior camera.

Method according to one of the preceding Claims 1 until 3 , characterized in that in a test vehicle a depth information sensor (32) records depth information from which the distances (A1, A2, A3) are determined, these distances (A1, A2, A3) being determined with distances from the interior camera (14) recorded images can be compared.

System for generating images in a motor vehicle (10) comprising: - a control device (28), - a storage device (20), - a display device (30) and - an interior camera (14), wherein distances of a plurality of first, non-mobile points (P1) of a vehicle interior (12) of the motor vehicle (10) to the interior camera (14) of the motor vehicle (10) are stored in the storage device (20); wherein the interior camera (14) is designed to record at least a first image comprising a plurality of pixels, the first image comprising at least a subset of the plurality of first, non-mobile points (P1) of the vehicle interior (12) of the motor vehicle (10). and a plurality of second, movable points (P2) of the vehicle interior (12) of the motor vehicle (10) and/or a plurality of points (P3) of objects (22) temporarily arranged in the vehicle interior; wherein the control device (28) is designed for at least a subset of the pixels of the first image, which are correlated with at least a subset of the plurality of second, movable points (P2) of the vehicle interior (12) of the motor vehicle (10) and / or one Subset of the multitude of points (P3) of objects (22) temporarily arranged in the vehicle interior (12), at least the distance (A2, A3) to the interior camera (14) depending on the distances (A1) stored in the storage device (20) and the to determine the recorded first image; wherein the system further comprises a device (34) for determining at least one focus point in at least one image recorded by the interior camera (14) depending on the determined distances (A2, A3), wherein the control device (28) is further designed to reproduce the recorded image with at least one fixed focus point on the display device (30), wherein the control device is further designed to determine the distances (A2, A3) using a neural network, wherein the neural network is designed to use 3D data of the empty vehicle interior (12) both during a training phase and during an inference phase, wherein the control device is designed to determine the distances from the 3D data, so that known distances (A1) are used within the neural network.