DE102021208039A1 - Method and device for image processing in a vehicle - Google Patents

Method and device for image processing in a vehicle Download PDF

Info

Publication number
DE102021208039A1
DE102021208039A1 DE102021208039.1A DE102021208039A DE102021208039A1 DE 102021208039 A1 DE102021208039 A1 DE 102021208039A1 DE 102021208039 A DE102021208039 A DE 102021208039A DE 102021208039 A1 DE102021208039 A1 DE 102021208039A1
Authority
DE
Germany
Prior art keywords
vehicle
image
person
digital
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021208039.1A
Other languages
German (de)
Inventor
Petra Möser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102021208039.1A priority Critical patent/DE102021208039A1/en
Publication of DE102021208039A1 publication Critical patent/DE102021208039A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Bildverarbeitung in einem Fahrzeug (30), aufweisend die Schritte: Erstellen von digitalen Grund-Bilddaten (10) mit einem Kamerasystem (20) von wenigstens einer Person (11) im Fahrzeug (30) mit einer Grund-Bildstruktur, Weiterentwickeln der erstellten Grund-Bilddaten (10) unter Verwendung einer Kl-Einheit (12) zu einem digitalen Bild (13) der wenigstens einen Person (11) mit einer modifizierten Bildstruktur, die sich von der Grund-Bildstruktur unterscheidet, und Visualisieren des digitalen Bildes (13) mit der modifizierten Bildstruktur im Fahrzeug (30) und/oder außerhalb des Fahrzeugs (30). Die Erfindung betrifft ferner eine Vorrichtung zum Ausführen des erfindungsgemäßen Verfahrens, ein Fahrzeug (30) mit einer erfindungsgemäßen Vorrichtung, ein Computerprogrammprodukt (16) zum Ausführen eines erfindungsgemäßen Verfahrens sowie ein computerlesbares Speichermittel (18), auf welchem ein erfindungsgemäßes Computerprogrammprodukt (16) gespeichert ist.The present invention relates to a method for image processing in a vehicle (30), comprising the steps: creating basic digital image data (10) with a camera system (20) of at least one person (11) in the vehicle (30) with a basic Image structure, further developing the created basic image data (10) using a AI unit (12) to form a digital image (13) of the at least one person (11) with a modified image structure that differs from the basic image structure, and visualizing the digital image (13) with the modified image structure in the vehicle (30) and/or outside the vehicle (30). The invention also relates to a device for carrying out the method according to the invention, a vehicle (30) with a device according to the invention, a computer program product (16) for carrying out a method according to the invention and a computer-readable storage medium (18) on which a computer program product (16) according to the invention is stored .

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Verarbeiten von Bilddaten in einem Fahrzeug. Die Erfindung betrifft ferner ein Computerprogrammprodukt zum Durchführen eines solchen Verfahrens sowie ein Speichermittel, auf welchem ein solches Computerprogrammprodukt gespeichert ist.The present invention relates to a method and a device for processing image data in a vehicle. The invention also relates to a computer program product for carrying out such a method and a storage medium on which such a computer program product is stored.

Moderne Fahrzeuge sind mittlerweile häufig mit Kamerasystemen für eine Bild- und/oder Videoüberwachung der Fahrzeugkabine sowie der Umgebung des Fahrzeugs ausgestattet. Insbesondere sind Außenkameras für Park- und/oder Rangierassistenten sowie zur Überwachung der Straße vor dem Fahrzeug zur Vermeidung von Unfällen sowie zum autonomen Steuern und/oder Regeln des Fahrzeugs bekannt. Aus der europäischen Patentanmeldung EP 3 553 695 A1 geht beispielsweise ein Fahrzeug mit einem Kamerasystem hervor, bei welchem mittels künstlicher Intelligenz aus einem Nachtbild ein Farbbild generiert werden kann. Ferner sind Kamerasysteme bekannt, mit welchen das Verhalten des Fahrers im Fahrzeug überwacht wird. So können beispielsweise eine Übermüdung, Aufmerksamkeit und/oder gesundheitliche Probleme des Fahrers erkannt und daraufhin ein Alarm ausgelöst werden. Diese Kamerasysteme sind in der Regel relativ einfach aufgebaut, da zur Erkennung der Verhaltensweise nur ausgewählte Gesichtszüge, Augenverhalten und/oder Haltungsmerkmale des Fahrers überwacht und/oder erkannt werden müssen. Eine fotorealistische Bildaufzeichnung ist nicht erforderlich und hinsichtlich der hierfür erforderlichen Rechenleistung und/oder Komponenten auch nicht erwünscht.Modern vehicles are now often equipped with camera systems for image and/or video surveillance of the vehicle cabin and the area around the vehicle. In particular, external cameras for parking and/or maneuvering assistants and for monitoring the road in front of the vehicle to avoid accidents and for autonomously controlling and/or regulating the vehicle are known. From the European patent application EP 3 553 695 A1 For example, a vehicle with a camera system emerges, in which a color image can be generated from a night image using artificial intelligence. Furthermore, camera systems are known with which the behavior of the driver in the vehicle is monitored. For example, fatigue, alertness and/or health problems on the part of the driver can be detected and an alarm can then be triggered. As a rule, these camera systems have a relatively simple structure, since only selected facial features, eye behavior and/or posture characteristics of the driver have to be monitored and/or recognized in order to recognize the behavior. A photorealistic image recording is not necessary and also not desirable with regard to the computing power and/or components required for this.

Neben den genannten Kamerasystemen zur Fahrunterstützung, zum Verbessern der eigenen Fahrsicherheit sowie der allgemeinen Verkehrssicherheit besteht mittlerweile auch der Wunsch nach Kameras zur Bild- und/oder Videokommunikation zwischen wenigstens einer Person im Fahrzeug und der Umgebung des Fahrzeugs bzw. wenigstens einer Person außerhalb des Fahrzeugs. Zur Reduzierung der erforderlichen Bandbreite und/oder Rechenleistung ist es bekannt, nur monochrome Bilder aufzunehmen und diese mittels künstlicher Intelligenz in Farbbilder umzurechnen. Dies wird beispielsweise in der deutschen Patentanmeldung DE 10 2019 200 800 A1 beschrieben. Derartige Kameras sind in der Regel seitlich über dem Kopf des Fahrers, beispielsweise im Bereich des Rückspiegels, oder seitlich unter dem Kopf des Fahrers, beispielsweise im Bereich der Mittelkonsole, positioniert. Die mit solchen Kameras erstellten Bild- und/oder Videoaufzeichnungen sind in der Regel optisch unvorteilhaft für den Fahrer und werden deshalb von Fahrern nicht oder nur ungern zur Bild- und/oder Videokommunikation genutzt. Durch eine Umpositionierung einer solchen Kamera ins zentrale Blickfeld des Fahrers kann die Fahrsicherheit beeinträchtigt werden. Außerdem wäre in einem solchen Fall eine weitere Kamera erforderlich, um beispielsweise auch einen Beifahrer an der Bild- und/oder Videokommunikation teilhaben lassen zu können.In addition to the camera systems mentioned for driving support, for improving one's own driving safety and general road safety, there is now also a desire for cameras for image and/or video communication between at least one person in the vehicle and the area around the vehicle or at least one person outside the vehicle. In order to reduce the required bandwidth and/or computing power, it is known to record only monochrome images and to convert them into color images using artificial intelligence. This is for example in the German patent application DE 10 2019 200 800 A1 described. Such cameras are usually positioned to the side above the driver's head, for example in the area of the rear-view mirror, or to the side under the driver's head, for example in the area of the center console. The image and/or video recordings created with such cameras are generally visually unfavorable for the driver and are therefore not used by drivers, or only reluctantly, for image and/or video communication. Repositioning such a camera in the driver's central field of vision can impair driving safety. In such a case, an additional camera would also be required in order to be able, for example, to also allow a passenger to participate in the image and/or video communication.

Um den Ansprüchen des Fahrers und insbesondere dem Wunsch nach ansprechenden Bildern für eine entsprechende Bild- und/oder Videokommunikation Rechnung zu tragen, könnten kombinierte Kamerasysteme verwendet werden, welche eine Kamera zur Fahrerüberwachung und wenigstens eine zusätzliche Kamera zur Bild- und/oder Videokommunikation aufweisen. Eine solche Lösung ist jedoch aufwändig zu Installieren und erfordert eine hohe Rechenleistung zum Verarbeiten der unterschiedlichen Bilddaten. Zur Reduzierung der Komplexität und von Kosten sind Kamerasysteme mit einer einzigen Optik und einem geteilten Sensor bekannt, bei welchem ein Teil der Sensorfläche zur Bilderzeugung für die Fahrerüberwachung ohne RGB-Pixeln und ein anderer Teil der Sensorfläche zur Bilderzeugung für eine Bild- und/oder Videokommunikation mit RGB-Pixeln verwendet werden. Dies führt zu einem schwierigen Kompromiss zwischen einem ausreichend scharfen Überwachungsbild und einem ansprechenden Farbbild, da beispielsweise Beleuchtungsanforderungen unterschiedlich sind.In order to meet the driver's requirements and in particular the desire for attractive images for a corresponding image and/or video communication, combined camera systems could be used which have a camera for driver monitoring and at least one additional camera for image and/or video communication. However, such a solution is complex to install and requires high computing power to process the different image data. To reduce complexity and costs, camera systems with a single optic and a split sensor are known, in which part of the sensor surface is used to generate images for driver monitoring without RGB pixels and another part of the sensor surface is used to generate images for image and/or video communication be used with RGB pixels. This leads to a difficult compromise between a sufficiently sharp surveillance image and an attractive color image, since lighting requirements, for example, are different.

Aufgabe der vorliegenden Erfindung ist es, der voranstehend beschriebenen Problematik zumindest teilweise Rechnung zu tragen. Insbesondere ist es Aufgabe der vorliegenden Erfindung, in einem Fahrzeug Bilddaten und/oder digitale Bilder zur Bild- und/oder Videokommunikation mit möglichst wenig Hardware auf einfache und effiziente Weise zur Verfügung zu stellen.The object of the present invention is to at least partially take account of the problems described above. In particular, the object of the present invention is to provide image data and/or digital images for image and/or video communication in a vehicle in a simple and efficient manner with as little hardware as possible.

Die voranstehende Aufgabe wird durch die Patentansprüche gelöst. Insbesondere wird die voranstehende Aufgabe durch das Verfahren gemäß Anspruch 1, die Vorrichtung gemäß Anspruch 6, das Fahrzeug gemäß Anspruch 8, das Computerprogrammprodukt gemäß Anspruch 9 sowie das Speichermittel gemäß Anspruch 10 gelöst. Weitere Vorteile der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Figuren. Dabei gelten Merkmale, die im Zusammenhang mit dem Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Vorrichtung, dem erfindungsgemäßen Fahrzeug, dem erfindungsgemäßen Computerprogrammprodukt, dem erfindungsgemäßen Speichermittel und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird und/oder werden kann.The above object is solved by the patent claims. In particular, the above object is achieved by the method according to claim 1, the device according to claim 6, the vehicle according to claim 8, the computer program product according to claim 9 and the storage means according to claim 10. Further advantages of the invention result from the dependent claims, the description and the figures. Features that are described in connection with the method also apply, of course, in connection with the device according to the invention, the vehicle according to the invention, the computer program product according to the invention, the storage means according to the invention and vice versa, so that the disclosure of the individual aspects of the invention is always referred to alternately and/or can become.

Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Verarbeiten von Bilddaten in einem Fahrzeug zur Verfügung gestellt. Das Verfahren weist die folgenden Schritte auf:

  • - Erstellen von digitalen Grund-Bilddaten mit einer Grund-Bildstruktur von wenigstens einer Person im Fahrzeug mit einem Kamerasystem,
  • - Weiterentwickeln der erstellten Grund-Bilddaten unter Verwendung einer Kl-Einheit zu einem digitalen Bild der wenigstens einen Person mit einer modifizierten Bildstruktur, die sich von der Grund-Bildstruktur unterscheidet, und
  • - Visualisieren des digitalen Bildes mit der modifizierten Bildstruktur im Fahrzeug und/oder außerhalb des Fahrzeugs mit einer Visualisierungseinheit.
According to a first aspect of the present invention, a method for processing image data in a vehicle is provided. The procedure has the following steps:
  • - Creation of digital basic image data with a basic image structure of at least one person in the vehicle with a camera system,
  • - further developing the created basic image data using a AI unit to form a digital image of the at least one person with a modified image structure that differs from the basic image structure, and
  • - Visualizing the digital image with the modified image structure in the vehicle and/or outside the vehicle with a visualization unit.

Die Erfindung basiert auf aktuellen Erkenntnissen im Bereich des sogenannten Deep Face Drawings (vgl. Forschungsbericht: „DeepFaceDrawing: Deep Generation of Face Images from Sketches“ vom 5. Juni 2020), das heißt, im Bereich des Weiterentwickelns von Grund-Bilddaten von wenigstens einer Person, insbesondere von einem Gesicht der wenigstens einen Person, zu modifizierten Bilddaten mittels künstlicher Intelligenz und insbesondere mittels sogenanntem Deep Learning. Deep Learning zur Weiterentwicklung von Bildern ist grundsätzlich bekannt. Im Rahmen der vorliegenden Erfindung wurde nun allerdings erkannt, dass diese Technologie auch vorteilhaft im Fahrzeuginnenraum eines Fahrzeugs verwendet werden kann, um beispielsweise konventionelle Überwachungskameras zum Erzeugen fotorealistischer Bild- und/oder Videodaten zu verwenden, die eine Person im Fahrzeug nicht nur nutzen kann, sondern auch gerne und bedenkenlos nutzen möchte.The invention is based on current findings in the field of so-called deep face drawings (cf. research report: "DeepFaceDrawing: Deep Generation of Face Images from Sketches" of June 5, 2020), i.e. in the field of further developing basic image data from at least one Person, in particular from a face of the at least one person, to modified image data using artificial intelligence and in particular using so-called deep learning. Deep learning for the further development of images is generally known. In the context of the present invention, however, it has now been recognized that this technology can also be used advantageously in the vehicle interior of a vehicle, for example to use conventional surveillance cameras to generate photorealistic image and/or video data that a person in the vehicle can not only use, but would also like to use without hesitation.

Bei der möglichen Verwendung eines konventionellen Kamerasystems würde ein ungünstiger Blickwinkel einer Kamera, die beispielsweise im Bereich des Rückspiegels oder der Mittelkonsole installiert wäre, in der Regel zu unästhetischen Bild- und/oder Videoaufnahmen führen. Nutzer dieser Technologie waren deshalb häufig nicht bereit, diese Daten beispielsweise zur Videotelefonie zu verwenden. Wurde das System dennoch genutzt, versuchten sich die Personen im Fahrzeug regelmäßig in eine für die Optik günstige Position zu bringen, um auf dem Bild möglichst vorteilhaft auszusehen. Dies führte hinsichtlich der Fahrsicherheit zu gefährlichen Situationen. Kamerasysteme, die aus einfachen Schwarz/Weiß-Bildern, Infrarotbilder und/oder monochromen Aufzeichnungen Farbbilder erzeugen, konnten dieser Problematik nicht ausreichend Rechnung tragen. Anhand des erfindungsgemäßen Ansatzes ist es nun allerdings möglich, die Bild- und/oder Videoaufzeichnungen nicht nur anhand einfacher Grund-Bilddaten, beispielsweise mittels einer konventionellen Überwachungskamera, zu erzeugen, sondern diese auch noch nach dem persönlichen Geschmack des Nutzers weiterzuentwickeln bzw. weiterentwickeln zu lassen. Die wenigstens eine Person im Fahrzeug kann das Kamerasystem damit nutzen, ohne sich Gedanken über den Blickwinkel der Kamera machen zu müssen. Die KI-Einheit kann dahingehend eingestellt sein und/oder angelernt werden, dass aus den Grund-Bilddaten stets ansprechende digitale Bilder entwickelt werden.With the possible use of a conventional camera system, an unfavorable viewing angle of a camera that would be installed, for example, in the area of the rear-view mirror or the center console, would generally lead to unaesthetic image and/or video recordings. Users of this technology were therefore often unwilling to use this data for video telephony, for example. If the system was used anyway, the people in the vehicle regularly tried to get into a position that was favorable for the optics in order to look as advantageous as possible in the picture. This led to dangerous situations in terms of driving safety. Camera systems that generate color images from simple black-and-white images, infrared images and/or monochrome recordings were not able to take this problem sufficiently into account. With the approach according to the invention, however, it is now possible not only to generate the image and/or video recordings using simple basic image data, for example using a conventional surveillance camera, but also to further develop them or have them further developed according to the personal taste of the user . At least one person in the vehicle can use the camera system without having to worry about the angle of view of the camera. The AI unit can be set and/or trained in such a way that appealing digital images are always developed from the basic image data.

Zum Ausführen des erfindungsgemäßen Verfahrens können relativ einfache und kostengünstige Komponenten bzw. Komponenten, die ohnehin im Fahrzeug verbaut sind, verwendet werden. Auf Kamerasysteme mit unterschiedlichen Kameras und/oder unterschiedlichen Sensoren kann verzichtet werden.Relatively simple and inexpensive components or components that are installed in the vehicle in any case can be used to carry out the method according to the invention. Camera systems with different cameras and/or different sensors can be dispensed with.

Das Erstellen der digitalen Grund-Bilddaten mit einem Kamerasystem von wenigstens einer Person im Fahrzeug kann dahingehend verstanden werden, dass durch das Kamerasystem Grund-Bilddaten erstellt bzw. aufgezeichnet werden, auf welchen die wenigstens eine Person zumindest teilweise zu erkennen ist. Bevorzugt werden mittels des Kamerasystems Grund-Bilddaten erzeugt, auf welchen wenigstens ein Teil des Gesichtes der wenigstens einen Person zu erkennen ist. Unter den Grund-Bilddaten können die Roh-Bilddaten verstanden werden, die durch das Kamerasystem bzw. durch wenigstens eine Kamera des Kamerasystems erstellt bzw. aufgezeichnet werden. Unter der Grund-Bildstruktur bzw. einer Bildstruktur im Allgemeinen können vorliegend insbesondere Konturen und/oder konturbezogene Details auf dem erstellen Bild verstanden werden.The creation of the basic digital image data with a camera system of at least one person in the vehicle can be understood to mean that the camera system creates or records basic image data on which the at least one person can be recognized at least partially. The camera system is preferably used to generate basic image data on which at least part of the face of the at least one person can be recognized. The basic image data can be understood to mean the raw image data that is created or recorded by the camera system or by at least one camera of the camera system. In the present case, the basic image structure or an image structure in general can be understood to mean in particular contours and/or contour-related details on the created image.

Das Weiterentwickeln der erstellten Grund-Bilddaten unter Verwendung der KI-Einheit zum digitalen Bild mit der modifizierten Bildstruktur kann dahingehend verstanden werden, dass die Grund-Bilddaten und insbesondere die Bildstruktur von wenigstens einem Teil der Person der Grund-Bilddaten im Vergleich zur Grund-Bildstruktur mittels der KI-Einheit verändert, modifiziert und/oder abstrahiert werden. So können personenbezogene Perspektiven der Grund-Bilddaten, verändert, personenbezogene Bildkonturen ergänzt und/oder personenbezogene Bildkonturen entfernt werden. Die Grund-Bilddaten können mithin eine Grund-Perspektive und/oder einen Grund-Blickwinkel auf die Person der Grund-Bilddaten aufweisen, wobei die erstellten Grund-Bilddaten unter Verwendung der KI-Einheit zu wenigstens einem digitalen Bild weiterentwickelt werden, auf welchem die wenigstens eine Person in einer anderen Perspektive und/oder aus einem anderen Blickwinkel dargestellt wird. Zusätzlich oder alternativ können durch das Kamerasystem Grund-Bilddaten erstellt werden, auf welchen die wenigstens eine Person Grund-Gesichtszüge und/oder Grund-Gesichtskonturen aufweist, wobei die erstellten Grund-Bilddaten unter Verwendung der Kl-Einheit zu wenigstens einem digitalen Bild weiterentwickelt werden, auf welchem die wenigstens eine Person mit anderen Gesichtszügen und/oder mit anderen Gesichtskonturen dargestellt wird.The further development of the basic image data created using the AI unit to form the digital image with the modified image structure can be understood to the effect that the basic image data and in particular the image structure of at least part of the person in the basic image data compared to the basic image structure be changed, modified and/or abstracted by means of the AI unit. In this way, person-related perspectives of the basic image data can be changed, person-related image contours can be supplemented and/or person-related image contours can be removed. The basic image data can therefore have a basic perspective and/or a basic angle of view of the person in the basic image data, with the basic image data created being further developed into at least one digital image using the AI unit, on which the at least a person is presented in a different perspective and/or from a different point of view. Additionally or alternatively, the camera system can create basic image data on which the at least one person has basic facial features and/or basic facial contours, the basic image data created being further developed into at least one digital image using the AI unit which the at least one person is shown with different facial features and/or with different facial contours.

Zusätzlich oder alternativ können durch die KI-Einheit, insbesondere automatisch, Schattierungen, Farbgestaltung, Verzeichnungen, chromatische Aberrationen und/oder Tiefeneffekte ergänzt und/oder verändert werden. Mit anderen Worten, das ursprünglich erstellte Bild kann mittels der KI-Einheit, insbesondere auf vordefinierte und/oder vordefinierbare Weise, automatisch nach den vordefinierbaren Wünschen eines Nutzers verändert werden. So ist es möglich, dass beim Weiterentwickeln des wenigstens einen digitalen Bildes vordefinierte und/oder vordefinierbare Bildparameter berücksichtigt und/oder verarbeitet werden, basierend auf welchen eine entsprechend vordefinierte und/oder vordefinierbare Bildmodifikation durchgeführt werden kann.Additionally or alternatively, shades, color design, distortions, chromatic aberrations and/or depth effects can be supplemented and/or changed by the AI unit, in particular automatically. In other words, the originally created image can be changed automatically by means of the AI unit, in particular in a predefined and/or predefinable manner, according to the predefinable wishes of a user. It is thus possible for predefined and/or predefinable image parameters to be taken into account and/or processed during the further development of the at least one digital image, on the basis of which a correspondingly predefined and/or predefinable image modification can be carried out.

Das Visualisieren des digitalen Bildes innerhalb des Fahrzeugs wird insbesondere durch einen Bildschirm im Fahrzeug, beispielsweise einen Kontroll- und/oder Eingabebildschirm in einer Mittelkonsole des Fahrzeugs, realisiert. Gleichwohl kann das digitale Bild auch im zentralen Sichtbereich des Fahrers, beispielsweise mittels Head-Up-Display, realisiert werden. Das Visualisieren außerhalb des Fahrzeugs kann beispielsweise auf einem vom Fahrzeug entfernen Endgerät wie einem Smartphone, einem Tablet oder einem anderen mit einer Recheneinheit verbundenen Bildschirm ausgegeben werden. Das Visualisieren des digitalen Bildes bzw. des wenigstens einen digitalen Bildes außerhalb des Fahrzeugs wird insbesondere im Rahmen einer Bild- und/oder Videokommunikation zwischen wenigstens einer Person im Fahrzeug und wenigstens einer weiteren Person außerhalb des Fahrzeugs durch einen Videostream, beispielsweise während einer Videotelefonie zwischen den Personen, durchgeführt. An Stelle des Visualisierens des digitalen Bildes im Fahrzeug und/oder außerhalb des Fahrzeugs kann auch lediglich ein Datenstrom zur Visualisierung innerhalb des Fahrzeugs und/oder außerhalb des Fahrzeugs erzeugt und/oder übermittelt werden.The digital image is visualized inside the vehicle in particular by a screen in the vehicle, for example a control and/or input screen in a center console of the vehicle. Nevertheless, the digital image can also be realized in the driver's central field of vision, for example by means of a head-up display. The visualization outside of the vehicle can be output, for example, on a terminal remote from the vehicle, such as a smartphone, a tablet, or another screen connected to a computing unit. The digital image or the at least one digital image outside the vehicle is visualized in particular as part of image and/or video communication between at least one person in the vehicle and at least one other person outside the vehicle by a video stream, for example during video telephony between the people, carried out. Instead of visualizing the digital image in the vehicle and/or outside the vehicle, only a data stream for visualization inside the vehicle and/or outside the vehicle can be generated and/or transmitted.

Das Erstellen der Grund-Bilddaten kann dahingehend verstanden werden, dass mit dem Kamerasystem wenigstens ein Bild und/oder mehrere Bilder pro Sekunde, also ein Video, erstellt werden können. Dieses wenigstens eine Bild wird unter Verwendung der KI-Einheit weiterentwickelt. Das heißt, mittels der KI-Einheit können das Bild und/oder das Video wie vorstehend beschrieben modifiziert werden, sodass jedes Bild bzw. jeder Frame des Videos die modifizierte Bildstruktur aufweist. Das Modifizieren der Bildstruktur bzw. die Bildverarbeitung wird bevorzugt in Echtzeit durchgeführt.The creation of the basic image data can be understood in such a way that at least one image and/or several images per second, ie a video, can be created with the camera system. This at least one image is further developed using the AI unit. This means that the image and/or the video can be modified as described above by means of the AI unit, so that each image or each frame of the video has the modified image structure. The modification of the image structure or the image processing is preferably carried out in real time.

Die Kl-Einheit kann beim Weiterentwickeln ein neuronales Netz und/oder einen Deep-Learning-Algorithmus verwenden. Ferner können für das erfindungsgemäße Weiterentwickeln der erstellten Grund-Bilddaten eine entsprechend angelernte und/oder trainierte Kl-Einheit verwendet werden und/oder die Kl-Einheit angelernt und/oder trainiert werden. Die Grund-Bilddaten bzw. die ursprünglich aufgezeichneten Rohbilddaten können mittels der KI-Einheit zu fotorealistischen, farbigen digitalen Bildern weiterentwickelt und entsprechend visualisiert werden.The AI unit can use a neural network and/or a deep learning algorithm during further development. Furthermore, for the further development according to the invention of the created basic image data, a correspondingly taught and/or trained AI unit can be used and/or the AI unit can be taught and/or trained. The basic image data or the originally recorded raw image data can be further developed using the AI unit into photorealistic, colored digital images and visualized accordingly.

Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ist es möglich, dass bei einem Verfahren die digitalen Grund-Bilddaten skizzenförmig erstellt werden und das digitale Bild anhand der Skizze weiterentwickelt wird. Damit können ein besonders einfaches Kamerasystem und/oder eine Kameraeinstellung mit besonders niedriger Auflösung gewählt werden, sodass das digitale Bild schnell, einfach und kostengünstig erstellt werden kann. Anhand der skizzenförmigen Grund-Bilddaten kann trotzdem ein fotorealistisches Bild entwickelt werden. Damit ist auf effiziente und effektive Weise ein noch höherer Abstraktionsgrad bei der Erstellung des wenigstens einen digitalen Bildes möglich. Ziel des Verfahrens ist es nicht, ein möglichst realitätsnahes Bild zu erzeugen, sondern ein Bild, auf dem eine Person möglichst klar und in einer für die Kommunikation vorteilhaften Position und/oder Darstellung erkannt werden kann. Ist die KI-Einheit ausreichend trainiert, können anhand der Skizze schnell und einfach fotorealistische Bilder bzw. Gesichter auf den digitalen Bildern in unterschiedlichsten Ansichten entwickelt werden. So können beispielsweise sogenannte Avatare entwickelt werden, deren Aussehen über geeignete Eingabeeinheiten schnell und einfach annähernd beliebig angepasst werden können.According to a further embodiment of the present invention, it is possible for the basic digital image data to be created in the form of a sketch in a method and for the digital image to be further developed on the basis of the sketch. A particularly simple camera system and/or a camera setting with a particularly low resolution can thus be selected, so that the digital image can be created quickly, easily and inexpensively. A photo-realistic image can nevertheless be developed using the sketch-shaped basic image data. An even higher degree of abstraction is thus possible in an efficient and effective manner when creating the at least one digital image. The aim of the method is not to generate an image that is as realistic as possible, but an image in which a person can be recognized as clearly as possible and in a position and/or representation that is advantageous for communication. If the AI unit is sufficiently trained, the sketch can be used to quickly and easily develop photorealistic images or faces on the digital images in a wide variety of views. For example, so-called avatars can be developed, the appearance of which can be adjusted quickly and easily using suitable input units.

Weiterhin ist es möglich, dass das Kamerasystem bei einem Verfahren gemäße der vorliegenden Erfindung eine NIR-Kamera aufweist und die digitalen Grund-Bilddaten mit der NIR-Kamera erstellt werden. Unter einer NIR-Kamera kann eine Kamera verstanden werden, die im nahen Infrarotbereich aufzeichnet. Die beschriebene NIR-Kamera weist neben einem Kamerasensor und einer Optik ferner ein geeignetes Beleuchtungsmittel, insbesondere in Form einer LED-Beleuchtung, auf. Der Bereich des nahen Infrarots (NIR) ist der Bereich des elektromagnetischen Spektrums, der sich direkt an den sichtbaren Bereich anschließt. Durch die NIR-Kamera können auch bei schlechten Lichtverhältnissen zuverlässig die gewünschten Grund-Bilddaten ermittelt werden. Im Vergleich zu herkömmlichen Infrarotkameras kann auf vergleichsweise teure CCD-Sensoren verzichtet werden. Die wenigstens eine NIR-Kamera weist vorzugsweise einen CMOS-Sensor auf. Diese Sensoren weisen im Vergleich zu CCD-Sensoren eine erhöhte Empfindlichkeit auf und sind im nahen Infrarotbereich von über 850nm technisch relativ einfach realisierbar. Die NIR-Kamera kann gleichzeitig als Sicherheitskamera zum Überwachen des Fahrers und/oder von Personen im Fahrzeug verwendet werden. Damit kann das Kamerasystem des Fahrzeugs einfach und kostengünstig realisiert werden. Durch das ausschließliche Verwenden der wenigstens einen NIR-Kamera bzw. durch den Verzicht von Kameras mit RGB-Pixeln bzw. entsprechenden Sensoren muss kein Kompromiss bei der Beleuchtung und/oder bei der Auflösung der zu erstellenden Bilddaten erfolgen.Furthermore, it is possible for the camera system in a method according to the present invention to have an NIR camera and for the digital basic image data to be created with the NIR camera. A NIR camera can be understood as a camera that records in the near infrared range. In addition to a camera sensor and an optical system, the NIR camera described also has a suitable means of illumination, in particular in the form of LED illumination. The near-infrared (NIR) range is the range of the electromagnetic spectrum that directly follows the visible range. The NIR camera can reliably capture the desired basic image data even in poor lighting conditions be determined. Compared to conventional infrared cameras, there is no need for comparatively expensive CCD sensors. The at least one NIR camera preferably has a CMOS sensor. Compared to CCD sensors, these sensors have increased sensitivity and are technically relatively easy to implement in the near infrared range of over 850nm. The NIR camera can also be used as a security camera to monitor the driver and/or people in the vehicle. The camera system of the vehicle can thus be implemented simply and inexpensively. By exclusively using the at least one NIR camera or by dispensing with cameras with RGB pixels or corresponding sensors, there is no need to compromise on the lighting and/or on the resolution of the image data to be created.

Außerdem kann bei einem Verfahren gemäß der vorliegenden Erfindung unter Verwendung des digitalen Bildes eine Verhaltenserkennung, beispielsweise eine Müdigkeits- und/oder Aufmerksamkeitserkennung, bei der wenigstens einen Person durchgeführt werden, wobei anhand eines erkannten Verhaltens der Person der Betriebszustand des Fahrzeugs verändert wird. Mittels der KI-Einheit können die Rohdaten des Kamerasystems dahingehend weiterentwickelt werden, dass ein sicherheitsrelevantes Verhalten wie beispielsweise das Bewegen der Kopfposition und/oder der Augen, beispielsweise zur Müdigkeitserkennung, im digitalen Bild herausgearbeitet und/oder hervorgehoben wird. Unter Berücksichtigung des wenigstens einen digitalen Bildes für die Verhaltenserkennung kann die Verhaltenserkennung damit besonders zuverlässig durchgeführt werden. Damit kann ausreichend begründet und/oder entsprechend gezielt in den Fahrbetrieb eingegriffen werden. Unter dem Verändern des Betriebszustandes des Fahrzeugs kann demnach verstanden werden, dass automatisch, beispielsweise mittels der KI-Einheit, in den Fahrbetrieb eingegriffen wird und/oder Verhaltensdaten zum erkannten Verhalten gespeichert und/oder übertragen werden. Im Rahmen des Veränderns des Betriebszustandes kann zusätzlich oder alternativ eine Warnung, beispielsweise in Form eines akustischen, visuellen und/oder haptischen Warnsignals, an den Fahrer und/oder eine Person im Fahrzeug ausgegeben werden.In addition, in a method according to the present invention, using the digital image, behavioral recognition, for example fatigue and/or alertness recognition, can be carried out in at least one person, with the operating state of the vehicle being changed based on a recognized behavior of the person. Using the AI unit, the raw data of the camera system can be further developed in such a way that safety-relevant behavior such as moving the head position and/or the eyes, for example to identify tiredness, is worked out and/or highlighted in the digital image. Taking into account the at least one digital image for the behavioral recognition, the behavioral recognition can thus be carried out particularly reliably. In this way, sufficient justification and/or a correspondingly targeted intervention in the driving operation can be made. Changing the operating state of the vehicle can therefore be understood to mean that the driving operation is automatically intervened, for example by means of the AI unit, and/or behavior data on the recognized behavior is stored and/or transmitted. As part of changing the operating state, a warning, for example in the form of an acoustic, visual and/or haptic warning signal, can additionally or alternatively be issued to the driver and/or a person in the vehicle.

Bei einem Verfahren gemäß der vorliegenden Erfindung ist es zudem möglich, dass die erstellten Grund-Bilddaten zu digitalen Bildern der wenigstens einen Person weiterentwickelt werden und zwischen der wenigstens einen Person und einer Umgebung des Fahrzeugs unter Verwendung der digitalen Bilder eine Videokommunikation durchgeführt wird. Wie vorstehend bereits beschrieben, können die digitalen Bilder beispielsweise in Form eines Videostreams zur Videotelefonie verwenden werden. Ausgehend von den einfachen Grund-Bilddaten und/oder der Skizze ist hierfür komplexe und/oder teure Technik erforderlich. Auch die dafür benötigte Rechenleistung ist relativ gering. Die KI-Einheit kann eine Recheneinheit aufweisen, die wenigstens teilweise aus dem Fahrzeug ausgelagert ist. Das heißt, das Weiterentwickeln der Grund-Bilddaten und/oder der Skizze zu den digitalen Bildern muss nicht oder nicht nur im Fahrzeug stattfinden, sondern kann beispielsweise auch in einer Cloud und/oder über einen dezentralen Rechner außerhalb des Fahrzeugs durchgeführt werden. Die erstellten und/oder ermittelten Grund-Bilddaten können hierfür kabellos in das Internet geladen werden. Die wenigstens teilweise dezentral weiterentwickelten Bilder können anschließend aus dem Internet in das Fahrzeug geladen werden.In a method according to the present invention, it is also possible for the basic image data created to be further developed into digital images of the at least one person and for video communication to be carried out between the at least one person and the surroundings of the vehicle using the digital images. As already described above, the digital images can be used in the form of a video stream for video telephony, for example. Starting from the simple basic image data and/or the sketch, this requires complex and/or expensive technology. The computing power required for this is also relatively low. The AI unit can have a computing unit that is at least partially external to the vehicle. This means that the further development of the basic image data and/or the sketch into the digital images does not have to take place or not only in the vehicle, but can also be carried out in a cloud and/or via a decentralized computer outside the vehicle, for example. For this purpose, the created and/or determined basic image data can be loaded wirelessly into the Internet. The images, which have been further developed at least in part in a decentralized manner, can then be loaded into the vehicle from the Internet.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Verarbeiten von Bilddaten in einem Fahrzeug zur Verfügung gestellt. Die Vorrichtung umfasst:

  • - ein Kamerasystem zum Erstellen von digitalen Grund-Bilddaten wenigstens einer Person im Fahrzeug mit einer Grund-Bildstruktur,
  • - eine Kl-Einheit zum Weiterentwickeln der erstellten Grund-Bilddaten zu einem digitalen Bild der wenigstens einen Person mit einer modifizierten Bildstruktur, die sich von der Grund-Bildstruktur unterscheidet, und
  • - eine Visualisierungseinheit zum Visualisieren des digitalen Bildes mit der modifizierten Bildstruktur im Fahrzeug oder außerhalb des Fahrzeugs.
According to a further aspect of the present invention, an apparatus for processing image data in a vehicle is provided. The device includes:
  • - a camera system for creating digital basic image data of at least one person in the vehicle with a basic image structure,
  • - an AI unit for further developing the created basic image data into a digital image of the at least one person with a modified image structure that differs from the basic image structure, and
  • - a visualization unit for visualizing the digital image with the modified image structure in the vehicle or outside the vehicle.

Damit bringt die erfindungsgemäße Vorrichtung die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf das erfindungsgemäße Verfahren beschrieben worden sind. Das Kamerasystem weist zum Erstellen der digitalen Grund-Bilddaten vorzugsweise eine NIR-Kamera auf. Eine erfindungsgemäße Vorrichtung kann ferner eine Eingabeeinheit zum manuellen Verändern des digitalen Bildes und/oder zum manuellen Definieren von Bildparametern, die zum Weiterentwickeln des digitalen Bildes zu berücksichtigen sind, aufweisen. Die Eingabeeinheit kann eine Mensch-Maschine-Schnittstelle (HMI) zum Eingeben der gewünschten Werte sowie ein entsprechend eingerichtetes Computerprogrammprodukt zum Umwandeln der eingegeben Werte in die gewünschten Bilddaten aufweisen. Ausgehend von den digitalen Grund-Bilddaten kann damit eine Art Avatar erzeugt werden, der nach dem Geschmack des Nutzers und/oder an das tatsächliche Aussehen des Nutzers angepasst werden kann. So können beispielsweise die Haarfarbe, die Gesichtsproportionen und/oder die Augenform verändert werden. Außerdem ist es möglich, Bildfehler in dem wenigstens einen digitalen Bild, die in der Weiterentwicklung mittels der Kl aufgetreten sind, auszugleichen bzw. zu beheben. Werden beispielsweise kurze blonde Haare nicht als solche, sondern als Glatze erkannt, kann am Kopf der Person im weiterentwickelten digitalen Bild eine der Realität möglichst entsprechende Frisur erstellt werden. Werden Zahnprothesen, die materialabhängig ggf. als schwarze Flecken in den Grund-Bilddaten dargestellt werden bzw. entsprechend erkannt, kann im weiterentwickelten digitalen Bild eine der Realität möglichst entsprechende und/oder wie gewünscht veränderte Zahnreihe ohne schwarze Flecken erstellt werden. Ein durch den Blickwinkel der Kamera entstehendes Doppelkinn der Person kann im finalen Bild, das in der Perspektive bzw. im fiktiven Blickwinkel gedreht wurde, durch ein entsprechendes Verstellen verschiedener Regler in der Eingabeeinheit herausgerechnet werden. Die Eingabeeinheit und/oder die Vorrichtung kann hierzu manuell auswählbare Presets zum automatischen Verändern des weiterentwickelten Bildes aufweisen. Die Visualisierungseinheit und/oder die Eingabeeinheit sind vorzugsweise in einem Armaturenbereich des Fahrzeugs, insbesondere in einer Mittelkonsole des Fahrzeugs, ausgestaltet.The device according to the invention thus brings with it the same advantages as have been described in detail with reference to the method according to the invention. The camera system preferably has an NIR camera for creating the basic digital image data. A device according to the invention can also have an input unit for manually changing the digital image and/or for manually defining image parameters that are to be taken into account for the further development of the digital image. The input unit can have a human-machine interface (HMI) for entering the desired values and a correspondingly set up computer program product for converting the entered values into the desired image data. Based on the basic digital image data, a type of avatar can be generated that can be adapted to the user's taste and/or to the user's actual appearance. For example, the color of the hair, the proportions of the face and/or the shape of the eyes can be changed. Also, it is possible image errors in the least to compensate or correct a digital image that occurred in the further development using the Kl. For example, if short blond hair is recognized as bald rather than as such, a hairstyle that corresponds as closely as possible to reality can be created on the person's head in the further developed digital image. If dental prostheses which, depending on the material, are possibly represented as black spots in the basic image data or are recognized accordingly, a row of teeth without black spots that corresponds as closely as possible to reality and/or has been modified as desired can be created in the further developed digital image. A person's double chin caused by the angle of view of the camera can be calculated out in the final image, which was rotated in perspective or in the fictitious angle of view, by adjusting various controls in the input unit accordingly. For this purpose, the input unit and/or the device can have manually selectable presets for automatically changing the further developed image. The visualization unit and/or the input unit are preferably designed in a dashboard area of the vehicle, in particular in a center console of the vehicle.

Ein weiterer Aspekt der vorliegenden Erfindung betrifft ein Fahrzeug mit einer wie vorstehend beschriebenen Vorrichtung. Das Fahrzeug ist vorzugsweise in Form eines Straßenfahrzeugs, insbesondere eines PKW oder LKW, konfiguriert. Die Erfindung betrifft ferner ein Computerprogrammprodukt, das Befehle umfasst, die bei der Ausführung des Computerprogrammprodukts durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren auszuführen. Darüber hinaus betrifft die Erfindung ein computerlesbares und insbesondere nichtflüchtiges Speichermittel, auf dem ein solches Computerprogrammprodukt gespeichert ist. Damit bringen das erfindungsgemäße Fahrzeug, das erfindungsgemäße Computerprogrammprodukt und das erfindungsgemäße Speichermittel ebenfalls die vorstehend beschriebenen Vorteile mit sich.A further aspect of the present invention relates to a vehicle with a device as described above. The vehicle is preferably configured in the form of a road vehicle, in particular a car or truck. The invention also relates to a computer program product which comprises instructions which, when the computer program product is executed by a computer, cause the latter to execute the method described above. In addition, the invention relates to a computer-readable and in particular non-volatile storage medium on which such a computer program product is stored. The vehicle according to the invention, the computer program product according to the invention and the storage means according to the invention thus also bring with them the advantages described above.

Das Computerprogrammprodukt kann als computerlesbarer Anweisungscode in jeder geeigneten Programmiersprache und/oder Maschinensprache wie beispielsweise in JAVA, C++, C# und/oder Python implementiert sein. Das Computerprogrammprodukt kann auf einem computerlesbaren Speichermedium wie einer Datendisk, einem Wechsellaufwerk, einem flüchtigen oder nichtflüchtigen Speicher, oder einem eingebauten Speicher/Prozessor abgespeichert sein. Der Anweisungscode kann einen Computer oder andere programmierbare Geräte wie ein Fahrzeugsteuergerät derart programmieren, dass die gewünschten Funktionen ausgeführt werden. Ferner kann das Computerprogrammprodukt in einem Netzwerk wie beispielsweise dem Internet bereitgestellt werden und/oder sein, von dem es bei Bedarf von einem Nutzer heruntergeladen werden kann. Das Computerprogrammprodukt kann sowohl mittels einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d.h. in Hardware oder in beliebig hybrider Form, d.h. mittels Software-Komponenten und Hardware-Komponenten, realisiert werden und/oder sein.The computer program product may be implemented as computer-readable instruction code in any suitable programming language and/or machine language, such as JAVA, C++, C#, and/or Python. The computer program product can be stored on a computer-readable storage medium such as a data disk, a removable drive, a volatile or non-volatile memory, or a built-in memory/processor. The instruction code can program a computer or other programmable device, such as a vehicle controller, to perform the desired functions. Furthermore, the computer program product can be and/or be provided on a network such as the Internet, from which it can be downloaded by a user when required. The computer program product can be and/or be implemented both by means of software and by means of one or more special electronic circuits, i.e. in hardware or in any hybrid form, i.e. by means of software components and hardware components.

Weitere, die Erfindung verbessernde Maßnahmen ergeben sich aus der nachfolgenden Beschreibung zu verschiedenen Ausführungsbeispielen der Erfindung, welche in den Figuren schematisch dargestellt sind. Sämtliche aus den Ansprüchen, der Beschreibung oder den Figuren hervorgehende Merkmale und/oder Vorteile, einschließlich konstruktiver Einzelheiten und räumlicher Anordnungen können sowohl für sich als auch in den verschiedenen Kombinationen erfindungswesentlich sein.Further measures improving the invention result from the following description of various exemplary embodiments of the invention, which are shown schematically in the figures. All of the features and/or advantages resulting from the claims, the description or the figures, including structural details and spatial arrangements, can be essential to the invention both on their own and in the various combinations.

Es zeigen jeweils schematisch:

  • 1 eine Darstellung zum Erläutern eines Verfahrens gemäß einer ersten Ausführungsform der vorliegenden Erfindung,
  • 2 eine Darstellung zum Erläutern eines Verfahrens gemäß einer zweiten Ausführungsform der vorliegenden Erfindung,
  • 3 ein Fahrzeug mit einem darin installierten Kamerasystem zum Durchführen des erfindungsgemäßen Verfahrens, und
  • 4 ein Speichermittel, auf dem ein Computerprogrammprodukt zum Ausführen des erfindungsgemäßen Verfahrens gespeichert ist.
They each show schematically:
  • 1 a representation to explain a method according to a first embodiment of the present invention,
  • 2 a representation to explain a method according to a second embodiment of the present invention,
  • 3 a vehicle with a camera system installed therein for performing the method according to the invention, and
  • 4 a storage medium on which a computer program product for executing the method according to the invention is stored.

Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren jeweils mit den gleichen Bezugszeichen versehen.Elements with the same function and mode of operation are each provided with the same reference symbols in the figures.

1 zeigt eine Darstellung zum Erläutern eines Verfahrens zur Bildverarbeitung in einem in 3 gezeigten Fahrzeug 30. 1 zeigt damit auch eine Vorrichtung zum Durchführen eines entsprechenden Verfahrens. Verfahrensgemäß werden mittels Kamerasystem 20 bzw. einer NIR-Kamera des Kamerasystems 20 zunächst digitale Grund-Bilddaten 10 von einer Person 11 im Fahrzeug 30 mit einer Grund-Bildstruktur der Person 11 erstellt. Die NIR-Kamera weist (nicht dargestellte) LED-Beleuchtungsmittel auf. Im gezeigten Bild werden die Grund-Bilddaten 10 demnach zunächst in Form eines monochromen Bildes erstellt. Anschließend werden die erstellten Grund-Bilddaten 10 unter Verwendung einer KI-Einheit 12 zu einem digitalen Bild 13 der wenigstens einen Person 11 weiterentwickelt. Die KI-Einheit 12 ist Teil eines Computers 17 bzw. einer entsprechenden Recheneinheit, mit welcher das Kamerasystem 20 in Signalverbindung steht. Wie in 1 zu erkennen, unterscheidet sich die Grund-Bildstruktur von der Bildstruktur des weiterentwickelten digitalen Bildes 13. Das heißt, das monochrome Bild bzw. die Grund-Bilddaten 10 wurden nicht nur eingefärbt, sondern es wurde auch die Bildstruktur hinsichtlich der Perspektive bzw. des Blickwinkels des Bildes geändert. Die Kl-Einheit 12 wird durch ein im Computer 17 installiertes Computerprogrammprodukt 16 kontrolliert. Sobald das digitale Bild 13 erstellt wurde, wird es auf einer Visualisierungseinheit 13 angezeigt. Die Visualisierungseinheit 13 ist in Form eines Touch-Displays im Fahrzeug 30 ausgestaltet. Werden auf diese Weise mehrere digitale Bilder 13 mit einer ausreichend hohen Framerate erzeugt, können diese für einen Videostream bzw. eine Videokommunikation zwischen der Person 11 im Fahrzeug 30 unter der Umgebung des Fahrzeugs 30 verwendet werden. 1 shows an illustration for explaining a method for image processing in an in 3 shown vehicle 30. 1 thus also shows a device for carrying out a corresponding method. According to the method, digital basic image data 10 of a person 11 in the vehicle 30 with a basic image structure of the person 11 are first created by means of the camera system 20 or an NIR camera of the camera system 20 . The NIR camera has LED lighting means (not shown). In the image shown, the basic image data 10 are therefore initially created in the form of a monochrome image. The created basic image data 10 are then further developed into a digital image 13 of the at least one person 11 using an AI unit 12 . The AI unit 12 is part of a computer 17 or a corresponding computing unit, with which the camera system 20 has a signal connection. As in 1 to recognize, the differs Basic image structure from the image structure of the further developed digital image 13. This means that the monochrome image or the basic image data 10 was not only colored, but the image structure was also changed with regard to the perspective or the viewing angle of the image. The AI unit 12 is controlled by a computer program product 16 installed in the computer 17 . As soon as the digital image 13 has been created, it is displayed on a visualization unit 13 . The visualization unit 13 is designed in the form of a touch display in the vehicle 30 . If a plurality of digital images 13 are generated in this way with a sufficiently high frame rate, these can be used for a video stream or video communication between the person 11 in the vehicle 30 and the surroundings of the vehicle 30 .

Neben der vorstehend beschriebenen Funktion kann das Kamerasystem 20 bzw. die NIR-Kamera weiterhin zur Verhaltenserkennung der Person 11 im Fahrzeug 30, das heißt, als Überwachungskamera, verwendet werden, wobei anhand eines erkannten Verhaltens der Person 11 der Betriebszustand des Fahrzeugs 30 verändert werden kann.In addition to the function described above, the camera system 20 or the NIR camera can also be used to recognize the behavior of the person 11 in the vehicle 30, i.e. as a surveillance camera, with the operating state of the vehicle 30 being able to be changed based on a recognized behavior of the person 11 .

Die in 1 gezeigte Visualisierungseinheit 15 weist eine Eingabeeinheit 19 zum manuellen Verändern des digitalen Bildes 13 sowie zum manuellen Definieren von Bildparametern, die zum Weiterentwickeln des digitalen Bildes 13 zu berücksichtigen sind, auf. Die Eingabeeinheit 19 ist in Form eines Touch-Displays bzw. eines Teils des Touch-Displays der Visualisierungseinheit 15 konfiguriert. Sobald mittels der KI-Einheit 12 das wenigstens eine digitale Bild 13 erstellt wurde ist es möglich, dass durch manuelle Eingabe Bildparameter wie Hautfarbe, Haarfarbe, Frisur, Augenfarbe, Augenform, etc. der Person 11 der Grund-Bilddaten 10 verändert werden. Ferner ist es möglich, dass Bildparameter manuell vordefiniert werden, sodass die KI-Einheit 12 die Person 11 im digitalen Bild 13 stets mit langen, glatten und braunen Haaren erstellt, unabhängig davon, welche Grund-Bilddaten 10 bzw. Grund-Haarfarbe und/oder Grund-Haarlänge durch das Kamerasystem 20 erstellt und/oder erkannt werden. Damit können Bildfehler durch beispielsweise schlechte Lichtverhältnisse und/oder Logikfehler in der KI-Einheit 12 verhindert werden.In the 1 The visualization unit 15 shown has an input unit 19 for manually changing the digital image 13 and for manually defining image parameters that are to be taken into account for the further development of the digital image 13 . The input unit 19 is configured in the form of a touch display or part of the touch display of the visualization unit 15 . As soon as the at least one digital image 13 has been created using the AI unit 12, it is possible for image parameters such as skin color, hair color, hairstyle, eye color, eye shape, etc. of the person 11 of the basic image data 10 to be changed by manual input. It is also possible for image parameters to be predefined manually, so that the AI unit 12 always creates the person 11 in the digital image 13 with long, straight and brown hair, regardless of which basic image data 10 or basic hair color and/or Basic hair length created by the camera system 20 and / or detected. In this way, image errors caused by, for example, poor lighting conditions and/or logic errors in the AI unit 12 can be prevented.

2 zeigt eine Vorrichtung zum Erläutern eines Verfahrens zur Bildverarbeitung im Fahrzeug 30 gemäß einer zweiten Ausführungsform. Diese Ausführungsform unterscheidet sich insbesondere dadurch von der ersten Ausführungsform, dass die Grund-Bilddaten 10 keine Schattierungen aufweist, sondern in Form einer Kontur- und/oder Strichzeichnung erstellt werden. Dies kann insbesondere durch eine entsprechende Kamera und/oder Kameraeinstellung mit erhöhten Kontrast- und/oder Schärfewerten erreicht werden. Alternativ könnte eine entsprechende Strichzeichnung auch mittels der KI-Einheit 12 aus schattierten Grund-Bilddaten 10 errechnet oder von einem Nutzer der Vorrichtung, beispielsweise der Person 11, manuell erstellt werden. Anhand der Skizze kann nun, analog zur ersten Ausführungsform, das fotorealistische Bild 13 entwickelt und durch die Visualisierungseinheit 15 visualisiert werden. 2 12 shows an apparatus for explaining an in-vehicle image processing method 30 according to a second embodiment. This embodiment differs from the first embodiment in particular in that the basic image data 10 does not have any shading, but is created in the form of a contour and/or line drawing. This can be achieved in particular by using a corresponding camera and/or camera setting with increased contrast and/or sharpness values. Alternatively, a corresponding line drawing could also be calculated from shaded basic image data 10 using the AI unit 12 or created manually by a user of the device, for example the person 11 . Using the sketch, the photo-realistic image 13 can now be developed and visualized by the visualization unit 15, analogously to the first embodiment.

3 zeigt ein Fahrzeug 30 in Form eines PKW mit einem Kamerasystem 20 im Bereich eines Rückspiegels des Fahrzeugs 30 und einer Person 11 auf dem Fahrersitz des Fahrzeugs 30. 4 zeigt ein computerlesbares, nichtflüchtiges Speichermittel 18, auf dem ein Computerprogrammprodukt 16 gespeichert ist. Das Computerprogrammprodukt 16 umfasst Befehle, die bei der Ausführung des Computerprogrammprodukts 16 den Computer 17 gemäß 1 und 2 veranlassen, das Verfahren zur Bildverarbeitung im Fahrzeug 30 auszuführen. 3 shows a vehicle 30 in the form of a passenger car with a camera system 20 in the area of a rear-view mirror of the vehicle 30 and a person 11 on the driver's seat of the vehicle 30. 4 shows a computer-readable, non-volatile storage medium 18 on which a computer program product 16 is stored. The computer program product 16 includes instructions that the computer 17 according to the execution of the computer program product 16 1 and 2 cause the in-vehicle image processing method 30 to be executed.

Die Erfindung lässt neben den dargestellten Ausführungsformen weitere Gestaltungsgrundsätze zu. D.h., die Erfindung soll nicht auf die mit Bezug auf die Figuren erläuterten Ausführungsbeispiele beschränkt betrachtet werden.In addition to the illustrated embodiments, the invention permits further design principles. That is, the invention should not be considered limited to the exemplary embodiments explained with reference to the figures.

BezugszeichenlisteReference List

1010
Grund-Bilddatenbasic image data
1111
Personperson
1212
KI-EinheitAI unit
1313
digitales Bilddigital image
1515
Visualisierungseinheitvisualization unit
1616
Computerprogrammproduktcomputer program product
1717
Computercomputer
1818
Speichermittelstorage means
1919
Eingabeeinheitinput unit
2020
Kamerasystemcamera system
3030
Fahrzeugvehicle

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • EP 3553695 A1 [0002]EP 3553695 A1 [0002]
  • DE 102019200800 A1 [0003]DE 102019200800 A1 [0003]

Claims (10)

Verfahren zur Bildverarbeitung in einem Fahrzeug (30), aufweisend die Schritte: - Erstellen von digitalen Grund-Bilddaten (10) mit einem Kamerasystem (20) von wenigstens einer Person (11) im Fahrzeug (30) mit einer Grund-Bildstruktur, - Weiterentwickeln der erstellten Grund-Bilddaten (10) unter Verwendung einer Kl-Einheit (12) zu einem digitalen Bild (13) der wenigstens einen Person (11) mit einer modifizierten Bildstruktur, die sich von der Grund-Bildstruktur unterscheidet, und - Visualisieren des digitalen Bildes (13) mit der modifizierten Bildstruktur im Fahrzeug (30) und/oder außerhalb des Fahrzeugs (30) mit einer Visualisierungseinheit (15).Method for image processing in a vehicle (30), comprising the steps: - Creation of digital basic image data (10) with a camera system (20) of at least one person (11) in the vehicle (30) with a basic image structure, - Further developing the created basic image data (10) using a AI unit (12) into a digital image (13) of the at least one person (11) with a modified image structure that differs from the basic image structure, and - Visualizing the digital image (13) with the modified image structure in the vehicle (30) and/or outside the vehicle (30) with a visualization unit (15). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die digitalen Grund-Bilddaten (10) skizzenförmig erstellt werden und das digitale Bild (13) anhand der Skizze (10) entwickelt wird.procedure after claim 1 , characterized in that the basic digital image data (10) are created in the form of a sketch and the digital image (13) is developed on the basis of the sketch (10). Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (20) eine NIR-Kamera aufweist und die digitalen Grund-Bilddaten (10) mit der NIR-Kamera erstellt werden.Method according to one of the preceding claims, characterized in that the camera system (20) has an NIR camera and the digital basic image data (10) are created with the NIR camera. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass unter Verwendung des digitalen Bildes (13) eine Verhaltenserkennung bei der wenigstens einen Person (11) durchgeführt wird und anhand eines erkannten Verhaltens der Person (11) der Betriebszustand des Fahrzeugs (30) verändert wird.Method according to one of the preceding claims, characterized in that the behavior of the at least one person (11) is recognized using the digital image (13) and the operating state of the vehicle (30) is changed based on a recognized behavior of the person (11). . Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die erstellten Grund-Bilddaten (10) zu digitalen Bildern (13) der wenigstens einen Person (11) weiterentwickelt werden und zwischen der wenigstens einen Person (11) und einer Umgebung des Fahrzeugs (30) unter Verwendung der digitalen Bilder (13) eine Videokommunikation durchgeführt wird.Method according to one of the preceding claims, characterized in that the basic image data (10) created are further developed into digital images (13) of the at least one person (11) and exchanged between the at least one person (11) and surroundings of the vehicle (30 ) video communication is carried out using the digital images (13). Vorrichtung zur Bildverarbeitung in einem Fahrzeug (30), aufweisend: - ein Kamerasystem (20) zum Erstellen von digitalen Grund-Bilddaten (10) wenigstens einer Person (11) im Fahrzeug (30) mit einer Grund-Bildstruktur, - eine Kl-Einheit (12) zum Weiterentwickeln der erstellten Grund-Bilddaten (10) zu einem digitalen Bild (13) der wenigstens einen Person (11) mit einer modifizierten Bildstruktur, die sich von der Grund-Bildstruktur unterscheidet, und - eine Visualisierungseinheit (15) zum Visualisieren des digitalen Bildes (13) mit der modifizierten Bildstruktur im Fahrzeug (13) oder außerhalb des Fahrzeugs (13).Apparatus for image processing in a vehicle (30), comprising: - a camera system (20) for creating digital basic image data (10) of at least one person (11) in the vehicle (30) with a basic image structure, - an AI unit (12) for further developing the created basic image data (10) into a digital image (13) of the at least one person (11) with a modified image structure that differs from the basic image structure, and - A visualization unit (15) for visualizing the digital image (13) with the modified image structure in the vehicle (13) or outside the vehicle (13). Vorrichtung nach Anspruch 6, gekennzeichnet durch eine Eingabeeinheit (19) zum manuellen Verändern des digitalen Bildes (13) und/oder zum manuellen Definieren von Bildparametern, die zum Weiterentwickeln des digitalen Bildes (13) zu berücksichtigen sind.device after claim 6 , characterized by an input unit (19) for manually changing the digital image (13) and/or for manually defining image parameters that are to be taken into account for the further development of the digital image (13). Fahrzeug (30) mit einer Vorrichtung nach einem der Ansprüche 6 bis 7.Vehicle (30) with a device according to one of Claims 6 until 7 . Computerprogrammprodukt (16), umfassend Befehle, die bei der Ausführung des Computerprogrammprodukts (16) durch einen Computer (17) diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 5 auszuführen.Computer program product (16), comprising instructions which, when the computer program product (16) is executed by a computer (17), cause the latter to use the method according to one of Claims 1 until 5 to execute. Computerlesbares Speichermittel (18) mit einem darauf gespeicherten Computerprogrammprodukt (16) nach Anspruch 9.Computer-readable storage means (18) with a computer program product (16) stored thereon claim 9 .
DE102021208039.1A 2021-07-26 2021-07-26 Method and device for image processing in a vehicle Pending DE102021208039A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021208039.1A DE102021208039A1 (en) 2021-07-26 2021-07-26 Method and device for image processing in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021208039.1A DE102021208039A1 (en) 2021-07-26 2021-07-26 Method and device for image processing in a vehicle

Publications (1)

Publication Number Publication Date
DE102021208039A1 true DE102021208039A1 (en) 2023-01-26

Family

ID=84784713

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021208039.1A Pending DE102021208039A1 (en) 2021-07-26 2021-07-26 Method and device for image processing in a vehicle

Country Status (1)

Country Link
DE (1) DE102021208039A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553695A1 (en) 2018-04-13 2019-10-16 Alpine Electronics, Inc. Method and system for displaying image data from at least one night vision camera of a vehicle
DE112018001822T5 (en) 2017-10-13 2019-12-12 Fyusion, Inc. Skeleton-based effects and background exchange
DE102019200800A1 (en) 2019-01-23 2020-07-23 Robert Bosch Gmbh Streamed playback of monochrome images in color

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018001822T5 (en) 2017-10-13 2019-12-12 Fyusion, Inc. Skeleton-based effects and background exchange
EP3553695A1 (en) 2018-04-13 2019-10-16 Alpine Electronics, Inc. Method and system for displaying image data from at least one night vision camera of a vehicle
DE102019200800A1 (en) 2019-01-23 2020-07-23 Robert Bosch Gmbh Streamed playback of monochrome images in color

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ACEA: Artificial Intelligence in the automobile industry. ACEA Position Paper. Brüssel: European Automobile Manufacturers’ Association (ACEA), November 2020.
CHEN, Shu-Yu [u.a.]: DeepFaceDrawing: Deep generation of face images from sketches. 05-06-2020. arXiv:2006.01047v2. S. 1-16. URL: https://arxiv.org/pdf/2006.01047v2.pdf [abgerufen am 2021-09-01]
WINNER, Hermann; HAKULI, Stephan; LOTZ, Felix; SINGER, Christina [Hrsg.]: Handbuch Fahrerassistenzsysteme. 3. Auflage. ISBN 978-3-658-05733-6. Wiesbaden: Springer Vieweg, 2015. Abschnitte 20, 21, 23, 33, 39, 62.

Similar Documents

Publication Publication Date Title
EP3512739B1 (en) Method for providing a rear-view-mirror view of the surroundings of a vehicle
DE102011079913A1 (en) Visual assistance system for a driver and vehicle with such a system
DE102011088332B4 (en) Method for improving object detection in multi-camera systems
WO2016162245A1 (en) Method for displaying an area surrounding a vehicle
DE112011103083T5 (en) Environment image display system and environmental image display method for a vehicle
EP2559236A1 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102015101183A1 (en) Method for operating a driver assistance system of a motor vehicle with display of environmental data in an autonomous driving mode, driver assistance system and motor vehicle
WO2019134845A1 (en) Mirror replacement system and method for displaying image and/or video data of the surroundings of a motor vehicle
DE102017208806B3 (en) External representation of image recordings of a vehicle interior in a VR glasses
DE102019105630B4 (en) Display control device, vehicle surroundings display system and computer program
DE102019201702A1 (en) Modular inpainting process
EP4028276B1 (en) Method for operating virtual reality glasses in a vehicle and virtual reality system with virtual reality glasses and a vehicle
EP3292535B1 (en) Method for producing an overall image of a vehicle environment of a vehicle and corresponding device
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102021208039A1 (en) Method and device for image processing in a vehicle
EP1922871B1 (en) Transmission of useful data in the picture signal of a camera system
DE102021100577A1 (en) Expanded reality
EP1400409A2 (en) Image processing method of optical signals of a vehicle environment surveillance system, and vehicle environment surveillance system
EP3706038A1 (en) Motor vehicle with a plurality of sensor devices for detecting the environment
DE102007001738B4 (en) Method and computer program product for eye tracking
EP3610643A1 (en) Surround view system for a vehicle
DE102019106297A1 (en) Vehicle environment display system and display controller
DE102019002664A1 (en) Method for displaying a vehicle-dynamic virtual reality in a vehicle
DE102018130229B4 (en) Method and device for object extraction from scene image data representing a three-dimensional scene
WO2017167557A1 (en) Image sensor for a multifunctional observation camera for observing a driver of a vehicle, image sensor device, observation camera and method for generating an infrared image and an intensity image

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication