DE102023112476B3 - Camera device for detecting the environment, vehicle with such a camera device and associated operating method - Google Patents

Camera device for detecting the environment, vehicle with such a camera device and associated operating method Download PDF

Info

Publication number
DE102023112476B3
DE102023112476B3 DE102023112476.5A DE102023112476A DE102023112476B3 DE 102023112476 B3 DE102023112476 B3 DE 102023112476B3 DE 102023112476 A DE102023112476 A DE 102023112476A DE 102023112476 B3 DE102023112476 B3 DE 102023112476B3
Authority
DE
Germany
Prior art keywords
vehicle
camera
environment
designed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102023112476.5A
Other languages
German (de)
Inventor
Sueleyman Bakacak
Judith Minten
Vladimir FURLAN
Praveen Kumar
Giorgiana Sopcu
Marco de Bakker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cariad SE
Original Assignee
Cariad SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cariad SE filed Critical Cariad SE
Priority to DE102023112476.5A priority Critical patent/DE102023112476B3/en
Application granted granted Critical
Publication of DE102023112476B3 publication Critical patent/DE102023112476B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Fahrzeug (1) mit einer Kameravorrichtung (10) zur Umgebungserfassung. Die Kameravorrichtung (10) umfasst dazu zumindest eine Umgebungskamera (11), die in einem Fahrzeuginnenraum (I) angeordnet ist. Die Kameravorrichtung (10) umfasst auch eine Lichtumlenkeinrichtung (12) mit zumindest zwei Spiegelelementen (13). Diese sind an unterschiedlichen Positionen relativ zur Umgebungskamera (11) an dem Fahrzeug (1) angeordnet. Die Spiegelelemente (13) sind jeweils ausgebildet, Licht aus der Umgebung (U) des Fahrzeugs (1) zur Umgebungskamera (11) umzulenken. Die Umgebungskamera (11) ist ausgebildet, die vom jeweiligen Spiegelelement (13) umgelenkten Lichtanteile zu erfassen und aus den erfassten Lichtanteilen ein Abbild der Umgebung (U) zu erzeugen. So kann zum Beispiel eine Rundumsicht um das Fahrzeug realisiert werden, ohne dass mehrere Umgebungskameras am Fahrzeug verwendet werden zu brauchen.The invention relates to a vehicle (1) with a camera device (10) for detecting the environment. The camera device (10) comprises at least one environment camera (11) which is arranged in a vehicle interior (I). The camera device (10) also comprises a light deflection device (12) with at least two mirror elements (13). These are arranged at different positions relative to the environment camera (11) on the vehicle (1). The mirror elements (13) are each designed to deflect light from the environment (U) of the vehicle (1) to the environment camera (11). The environment camera (11) is designed to detect the light components deflected by the respective mirror element (13) and to generate an image of the environment (U) from the detected light components. In this way, for example, a panoramic view of the vehicle can be realized without having to use several environment cameras on the vehicle.

Description

Die Erfindung betrifft ein Fahrzeug mit einer Kameravorrichtung zur Umgebungserfassung. Die Kameravorrichtung umfasst dazu zumindest eine Umgebungskamera, die in einem Fahrzeuginnenraum angeordnet ist und die ausgebildet ist, eine Abbildung der Umgebung des Fahrzeugs zu erzeugen. Das heißt, mit der fahrzeuginternen Umgebungskamera kann die Umgebung des Fahrzeugs erfasst oder aufgenommen werden. Des Weiteren betrifft die Erfindung auch eine entsprechende Kameravorrichtung zur Umgebungserfassung für ein Fahrzeug. Die Erfindung betrifft außerdem ein Verfahren zum Betreiben einer entsprechenden Kameravorrichtung.The invention relates to a vehicle with a camera device for detecting the environment. The camera device comprises at least one environment camera that is arranged in a vehicle interior and is designed to generate an image of the environment of the vehicle. This means that the environment of the vehicle can be detected or recorded using the vehicle-internal environment camera. Furthermore, the invention also relates to a corresponding camera device for detecting the environment for a vehicle. The invention also relates to a method for operating a corresponding camera device.

In modernen Fahrzeugen gibt es die Möglichkeit, Kameras oder Kamerasysteme einzusetzen, um einen Fahrer bei der Fahraufgabe zu unterstützen. Zum Beispiel gibt es Kamerasysteme, die eine Innenraumüberwachung des Fahrzeugs ermöglichen. Dabei wird mittels einer Kamera zum Beispiel eine Fahrerkabine des Fahrzeugs erfasst und abhängig vom erfassten Zustand oder von erfassten Objekten eine entsprechende Assistenzfunktion eingeleitet.In modern vehicles, it is possible to use cameras or camera systems to assist a driver in their driving task. For example, there are camera systems that enable the interior of the vehicle to be monitored. A camera can be used to record, for example, a driver's cabin of the vehicle and, depending on the recorded state or objects, a corresponding assistance function is initiated.

Zum Beispiel offenbart die EP 2 303 639 B1 ein Verfahren zum automatischen Einstellen eines Rückspiegels für einen Fahrer. Es wird eine Innenraumkamera im Fahrzeug genutzt, um zu überprüfen, ob die Augen des Fahrers im Rückspiegel in einem vorgegebenen Erfassungsbereich durch die Kamera erfasst werden können. Bei Bedarf wird der Spiegel solange angepasst, bis die Augen innerhalb des Erfassungsbereichs sichtbar sind.For example, the EP 2 303 639 B1 a method for automatically adjusting a rearview mirror for a driver. An interior camera in the vehicle is used to check whether the driver's eyes can be detected by the camera in the rearview mirror within a predetermined detection range. If necessary, the mirror is adjusted until the eyes are visible within the detection range.

Eine andere Möglichkeit besteht darin, ein Kamerasystem für die Umgebungsüberwachung oder Umgebungserfassung zu nutzen. Dazu kann beispielsweise ein sogenanntes Rundumkamerasystem oder 360-Grad-Kamerasystem genutzt werden, das auch als Top-View-Kamera (Draufsichtkamera) bezeichnet wird. Mittels eines solchen Kamerasystems soll dem Fahrer ein Rundumblick um das eigene Fahrzeug, ermöglicht werden. So kann der Fahrer zum Beispiel beim Einparken oder beim Manövrieren unterstützt werden.Another option is to use a camera system for environmental monitoring or environmental detection. For example, a so-called all-round camera system or 360-degree camera system can be used for this, which is also known as a top-view camera. Such a camera system is intended to give the driver a 360-degree view of their own vehicle. This can help the driver, for example, when parking or maneuvering.

Um die Rundumsicht zu ermöglichen, umfasst ein Rundumkamerasystem üblicherweise mehrere Umgebungskameras, die im Außenbereich am Fahrzeug montiert sind. Echtzeitbilder der Kameras werden zum Beispiel von einem Bordcomputer zu einer überlappenden Bildansicht zum Beispiel zu einer 360-Grad-Ansicht zusammengefügt. Die 360-Grad-Ansicht wird dem Fahrer zum Beispiel auf einem Bildschirm im Cockpit dargestellt. Auf dem Bildschirm ist üblicherweise der Umriss des Fahrzeugs und dessen unmittelbare Umgebung aus der Vogelperspektive oder Draufsicht schematisch gezeigt.To enable all-round visibility, an all-round camera system usually includes several surround cameras that are mounted on the outside of the vehicle. Real-time images from the cameras are combined by an on-board computer to form an overlapping image view, for example a 360-degree view. The 360-degree view is shown to the driver on a screen in the cockpit, for example. The screen usually shows a schematic of the outline of the vehicle and its immediate surroundings from a bird's eye view or from above.

Befindet sich in der Umgebung ein Hindernis für das Fahrzeug, wird dieses und dessen Entfernung zum Fahrzeug zum Beispiel durch eine spezielle Markierung angezeigt. Bevorzugt werden die Umgebungskameras in Kombination mit Umfeldsensoren, wie zum Beispiel Ultraschallsensoren, eingesetzt, sodass eine zusätzliche Möglichkeit zur Abstandsmessung gegeben ist. Abhängig von den resultierenden Sensorsignalen können akustische Signale für den Fahrer erzeugt werden, um beim Manövrieren zu unterstützen.If there is an obstacle in the vicinity for the vehicle, this and its distance from the vehicle are indicated, for example by a special marking. The environment cameras are preferably used in combination with environment sensors, such as ultrasonic sensors, so that an additional option for measuring distance is available. Depending on the resulting sensor signals, acoustic signals can be generated for the driver to assist with maneuvering.

Die DE 10 2007 017 038 A1 offenbart zum Beispiel ein System zur Überwachung einer Fahrzeugumgebung. Das System umfasst eine Einrichtung zur Umwandlung in ein Überkopfbild, also ein Bild aus der Vogelperspektive, aus einem von einer Bildaufnahmeeinrichtung aufgenommenen Bild. Das resultierende Überkopfbild kann einem Nutzer auf einem Bildschirm angezeigt werden.The EN 10 2007 017 038 A1 discloses, for example, a system for monitoring a vehicle environment. The system comprises means for converting an image captured by an image capture device into an overhead image, i.e. a bird's eye view image. The resulting overhead image can be displayed to a user on a screen.

Die US 2017/0349099 A1 offenbart ein Fahrzeug mit einem Sichtsystem, das zumindest das eine oder mehrere Umgebungskameras zum Erfassen eines Abbilds der Umgebung des Fahrzeugs aufweist. Das Sichtsystem kann das resultierende Abbild aus der Vogelperspektive darstellen.The US 2017/0349099 A1 discloses a vehicle with a vision system that has at least one or more environment cameras for capturing an image of the environment of the vehicle. The vision system can display the resulting image from a bird's eye view.

Die bekannten Kamerasysteme, die eine Rundumsicht für den Fahrer ermöglichen, haben den Nachteil, dass mehrere Kameras benötigt werden, um einen entsprechenden Sichtbereich in der Umgebung abdecken zu können. Solche Kameras sind jedoch teuer und die Bildverarbeitung ist häufig aufwendig.The known camera systems that provide the driver with an all-round view have the disadvantage that several cameras are needed to cover a corresponding field of vision in the surrounding area. However, such cameras are expensive and image processing is often complex.

Die DE 10 2016 014 837 A1 offenbart eine Umgebungserfassungsvorrichtung mit Monokamera, die z.B. hinter einer Windschutzscheibe eines Fahrzeugs angeordnet ist. Zwei spiegelnde Flächen sind relativ zur Monokamera ausgerichtet und legen den Sichtbereich der Kamera fest. Ein beweglich gelagertes Spiegelelement spiegelt die Bildinformation von den zwei spiegelnden Flächen zur Monokamera.The EN 10 2016 014 837 A1 discloses an environment detection device with a mono camera, which is arranged, for example, behind a windshield of a vehicle. Two reflective surfaces are aligned relative to the mono camera and define the field of view of the camera. A movably mounted mirror element reflects the image information from the two reflective surfaces to the mono camera.

Die DE 10 2010 043 479 A1 offenbart eine Kameraanordnung mit Umlenkspiegel, die im Fahrzeuginnenraum an einer Fahrzeugscheibe angebracht ist. Mit dem Umlenkspiegel kann ein Ausschnitt aus der Umgebung des Fahrzeugs auf einen Bildsensor der Kameraanordnung abgebildet werden.The EN 10 2010 043 479 A1 discloses a camera arrangement with a deflecting mirror that is attached to a vehicle window in the vehicle interior. The deflecting mirror can be used to project a section of the vehicle's surroundings onto an image sensor of the camera arrangement.

Die DE 103 23 560 A1 offenbart eine Kamera zur Helligkeitsermittlung in einer Fahrzeugumgebung. Dazu umfasst die Kamera wenigstens ein Mittel zur Umlenkung von Licht aus wenigstens einer von der Erfassungsrichtung der Kamera verschiedenen Richtung.The DE 103 23 560 A1 discloses a camera for determining brightness in a vehicle environment. For this purpose, the camera comprises at least one tel for redirecting light from at least one direction different from the detection direction of the camera.

Es ist die Aufgabe der vorliegenden Erfindung, möglichst kostengünstig eine Kameravorrichtung mit verbesserter Übersicht in der Umgebung bereitzustellen.It is the object of the present invention to provide a camera device with improved overview of the environment at the lowest possible cost.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die Beschreibung sowie die Figuren offenbart.The object is achieved by the subject matter of the independent patent claims. Advantageous developments of the invention are disclosed by the dependent patent claims, the description and the figures.

Gemäß einem Aspekt schlägt die Erfindung ein Fahrzeug mit einer Kameravorrichtung zur Umgebungserfassung vor. Die Kameravorrichtung umfasst zumindest eine Umgebungskamera. Vorzugsweise umfasst die Kameravorrichtung genau eine Umgebungskamera. Die Umgebungskamera ist in einem Fahrzeuginnenraum, also zum Beispiel einer Fahrerkabine, angeordnet oder angebracht oder befestigt. Die Umgebungskamera ist ausgebildet, ein Abbild der Umgebung des Fahrzeugs zu erzeugen. Das heißt, die Umgebungskamera kann die Umgebung aufnehmen oder erfassen und beispielsweise in Form eines Einzelbildes oder einer Bildsequenz abspeichern.According to one aspect, the invention proposes a vehicle with a camera device for detecting the environment. The camera device comprises at least one environment camera. Preferably, the camera device comprises exactly one environment camera. The environment camera is arranged or attached or fastened in a vehicle interior, for example a driver's cab. The environment camera is designed to generate an image of the environment of the vehicle. This means that the environment camera can record or capture the environment and save it, for example, in the form of a single image or an image sequence.

Die Kameravorrichtung umfasst auch eine Lichtumlenkeinrichtung mit zumindest zwei Spiegelelementen. Die Spiegelelemente sind an unterschiedlichen Positionen relativ zur Umgebungskamera an dem Fahrzeug angeordnet oder angebracht. Zum Beispiel können die Spiegelelemente im Fahrzeuginnenraum oder außen am Fahrzeug zum Beispiel an einer zur Umgebung gerichteten Oberfläche oder Außenhaut des Fahrzeugs befestigt sein. Die Spiegelelemente sind ausgebildet, Licht aus der Umgebung des Fahrzeugs zur Umgebungskamera umzulenken. Aufgrund ihrer unterschiedlichen Positionen können die Spiegelelemente insbesondere Licht aus verschiedenen Bereichen der Umgebung umlenken oder umleiten. Anders ausgedrückt, können die Spiegelelemente das Licht aus der Umgebung zur Umgebungskamera hin reflektieren.The camera device also comprises a light deflection device with at least two mirror elements. The mirror elements are arranged or attached to the vehicle at different positions relative to the surroundings camera. For example, the mirror elements can be attached in the vehicle interior or on the outside of the vehicle, for example to a surface or outer skin of the vehicle facing the surroundings. The mirror elements are designed to deflect light from the surroundings of the vehicle to the surroundings camera. Due to their different positions, the mirror elements can in particular deflect or redirect light from different areas of the surroundings. In other words, the mirror elements can reflect the light from the surroundings to the surroundings camera.

Die Umgebungskamera ist ausgebildet, die vom jeweiligen Spiegelelement umgelenkten Lichtanteile zu erfassen und aus den erfassten Lichtanteilen das Abbild der Umgebung zu erzeugen. Über die Spiegelelemente kann die Umgebungskamera somit eine Spiegelung oder ein Spiegelbild der jeweils von den Spiegelelementen erfassten Umgebungsbereichen der Umgebung aufnehmen. Diese Spiegelbilder kann die Umgebungskamera, insbesondere eine Recheneinrichtung der Umgebungskamera, dann zu dem Abbild zusammensetzen.The environment camera is designed to capture the light components deflected by the respective mirror element and to generate the image of the environment from the captured light components. The environment camera can thus use the mirror elements to capture a reflection or a mirror image of the surrounding areas captured by the mirror elements. The environment camera, in particular a computing device of the environment camera, can then assemble these mirror images to create the image.

Hierdurch ergibt sich der Vorteil, dass für die Überwachung oder Erfassung verschiedener Umgebungsbereiche vorzugsweise nur eine fahrzeugintern montierte Umgebungskamera verwendet zu werden braucht. Es kann auf mehrere Außenkameras, die teuer und aufwendig im Betrieb sind, verzichtet werden. So kann besonders kostengünstig ein möglichst großer Sichtbereich, wie zum Beispiel eine Rundumsicht um das Fahrzeug, ermöglicht werden. Indem eine Kamera im Innenraum statt einer Außenkamera verwendet wird, können zusätzlich Kosten eingespart werden, da die Kamera nicht für verschiedene Witterungseinflüsse, wie zum Beispiel Regen oder direkte Sonneneinstrahlung, resistent implementiert zu werden braucht.This has the advantage that only one environmental camera mounted inside the vehicle needs to be used to monitor or record various environmental areas. There is no need for multiple external cameras, which are expensive and difficult to operate. This makes it possible to achieve the largest possible field of vision, such as a panoramic view around the vehicle, particularly cost-effectively. By using a camera inside the vehicle instead of an external camera, additional costs can be saved, as the camera does not need to be implemented in a way that is resistant to various weather influences, such as rain or direct sunlight.

Die Kameravorrichtung umfasst bevorzugt zwei oder mehrere Spiegelelemente. Die Spiegelelemente können nach Art eines Spiegels eine reflektierende Oberfläche aufweisen, durch die ein Spiegelbild oder eine Spiegelung der Umgebung an die Umgebungskamera abgebildet werden kann. Vorzugsweise kann das jeweilige Spiegelelement als Planspiegel oder ebener Spiegel ausgebildet sein. Alternativ ist zum Beispiel die Umsetzung als Konvexspiegel oder als Konkavspiegel, insbesondere als Hohlspiegel, denkbar.The camera device preferably comprises two or more mirror elements. The mirror elements can have a reflective surface in the manner of a mirror, through which a mirror image or a reflection of the surroundings can be projected onto the surroundings camera. The respective mirror element can preferably be designed as a plane mirror or a flat mirror. Alternatively, for example, implementation as a convex mirror or as a concave mirror, in particular as a concave mirror, is conceivable.

Die Spiegelelemente sind vorzugsweise so geschickt am oder im Fahrzeug angeordnet, dass verschiedene oder unterschiedliche Umgebungsbereiche erfasst werden können. Die Umgebungskamera kann die Spiegelbilder der Spiegelelemente auslesen oder erfassen und anhand derer Positionen relativ zur Kamera auf das Abbild der Umgebung rückschließen. Insbesondere können in dem Abbild die Relationen, also Positionen und Abstände, von Objekten in den verschiedenen Umgebungsbereichen berücksichtigt sein.The mirror elements are preferably arranged on or in the vehicle in such a clever way that different or different environmental areas can be captured. The environmental camera can read or capture the mirror images of the mirror elements and use their positions relative to the camera to deduce the image of the environment. In particular, the image can take into account the relationships, i.e. positions and distances, of objects in the various environmental areas.

Die Umgebungskamera kann als Fotoapparat oder Videokamera ausgebildet sein. Das heißt, die Umgebungskamera kann das Abbild als Einzelbild oder Bildsequenz oder Video erfassen. Die Funktion und der Aufbau einer solchen Umgebungskamera ist an sich bekannt. Bevorzugt kann das Abbild in Form von Bilddaten in einer Speichereinrichtung der Umgebungskamera hinterlegt oder gespeichert sein. Die Speichereinrichtung kann zumindest ein computerlesbares Speichermedium umfassen. Das Speichermedium kann zumindest teilweise als ein nicht-flüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein.The environmental camera can be designed as a photo camera or video camera. This means that the environmental camera can capture the image as a single image or image sequence or video. The function and structure of such an environmental camera is known per se. The image can preferably be stored or saved in the form of image data in a storage device of the environmental camera. The storage device can comprise at least one computer-readable storage medium. The storage medium can be provided at least partially as a non-volatile data storage device (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data storage device (e.g. as a RAM - random access memory).

Zum Erzeugen des Abbilds kann die Umgebungskamera eine Recheneinrichtung umfassen. Die Recheneinrichtung kann die gespeicherten Bilddaten abrufen und in geeigneter Weise verarbeiten. Die entsprechende Verarbeitung zum Beispiel zum Zusammensetzen von Teilbildern (hier den Spiegelbildern) zu einem Gesamtbild (hier dem Abbild) ist an sich bekannt. Die Recheneinrichtung kann eine Datenverarbeitungseinrichtung oder eine Prozessoreinrichtung aufweisen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Die Prozessoreinrichtung kann z.B. auf zumindest einer Schaltungsplatine und/oder auf zumindest einem SoC (System on Chip) basieren.To generate the image, the environment camera can comprise a computing device. The computing device can process the stored image retrieve data and process it in a suitable manner. The corresponding processing, for example for assembling partial images (here the mirror images) to form an overall image (here the image), is known per se. The computing device can have a data processing device or a processor device. The processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). The processor device can be based on at least one circuit board and/or on at least one SoC (System on Chip).

Das Fahrzeug ist bevorzugt als Kraftfahrzeug, insbesondere als Kraftwagen, vorzugsweise als Personenkraftwagen oder Personenbus oder Motorrad ausgestaltet.The vehicle is preferably designed as a motor vehicle, in particular as a motor car, preferably as a passenger car or passenger bus or motorcycle.

Zu der Erfindung gehören Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention includes embodiments which provide additional advantages.

Gemäß einer Ausführungsform umfasst das Fahrzeug eine Auswerteelektronik, die zumindest ausgebildet ist, unter Anwenden eines Umgebungserkennungsalgorithmus ein Objekt in der Umgebung und/oder einen Zustand der Umgebung aus dem Abbild zu ermitteln. Die Auswerteelektronik ist weiterhin ausgebildet, in Abhängigkeit von dem erkannten Objekt und/oder Zustand zumindest ein Fahrerassistenzsystem, insbesondere einen Fahrzeugaktor des Fahrzeugs zum Ausführen einer vordefinierten Fahrerassistenzfunktion mit einem Steuersignal anzusteuern.According to one embodiment, the vehicle comprises evaluation electronics which are at least designed to determine an object in the environment and/or a state of the environment from the image using an environment recognition algorithm. The evaluation electronics are further designed to control at least one driver assistance system, in particular a vehicle actuator of the vehicle, with a control signal to carry out a predefined driver assistance function, depending on the recognized object and/or state.

Das heißt, das Abbild kann zur Unterstützung oder zum Assistieren eines Fahrers des Fahrzeugs verwendet werden. Dazu kann die Auswerteelektronik den Umgebungserkennungsalgorithmus auf die gespeicherten Bilddaten anwenden, also die Bilddaten in Abhängigkeit von dem Umgebungserkennungsalgorithmus auswerten. Das Ergebnis des Auswertens ist das Steuersignal, mit dem das Fahrerassistenzsystem beaufschlagt wird. Das Steuersignal kann zum Beispiel einen Befehl zum Aktivieren oder Deaktivieren eines Fahrzeugaktors oder Fahrzeugsensors und/oder eine vorbestimmte Fahrzeugeinstellung umfassen. Beim oder durch das Beaufschlagen mit dem Steuersignal führt das Fahrerassistenzsystem die Fahrerassistenzfunktion aus oder durch.This means that the image can be used to support or assist a driver of the vehicle. To do this, the evaluation electronics can apply the environment recognition algorithm to the stored image data, i.e. evaluate the image data depending on the environment recognition algorithm. The result of the evaluation is the control signal that is applied to the driver assistance system. The control signal can, for example, include a command to activate or deactivate a vehicle actuator or vehicle sensor and/or a predetermined vehicle setting. When or by applying the control signal, the driver assistance system executes or carries out the driver assistance function.

Bei dem Umgebungserkennungsalgorithmus handelt es sich zum Beispiel um einen Algorithmus zur automatischen visuellen Wahrnehmung (Computer-Vision-Algorithmus) oder einen Algorithmus zum maschinellen Sehen (Machine-Vision-Algorithmus). Beim Ausführen oder Anwenden des Algorithmus kann computerimplementiert automatisch eine visuelle Wahrnehmungsaufgabe durchgeführt oder ausgeführt werden. Es geht dabei insbesondere um die Extraktion von visuellen Informationen aus Bilddaten. Eine Unterstützung eines Menschen ist dazu nicht erforderlich. Der Umgebungserkennungsalgorithmus kann dazu bevorzugt einen Bildverarbeitungsalgorithmus oder einen Algorithmus zur Bildanalyse enthalten. Vorzugweise kann der Umgebungserkennungsalgorithmus durch maschinelles Lernen trainiert sein oder werden und kann beispielsweise auf einem künstlichen neuronalen Netz, insbesondere einem faltenden neuronalen Netz, basieren.The environment recognition algorithm is, for example, an algorithm for automatic visual perception (computer vision algorithm) or an algorithm for machine vision (machine vision algorithm). When executing or applying the algorithm, a visual perception task can be carried out or executed automatically by a computer. This particularly involves the extraction of visual information from image data. Human support is not required for this. The environment recognition algorithm can preferably contain an image processing algorithm or an algorithm for image analysis. The environment recognition algorithm can preferably be trained by machine learning and can be based, for example, on an artificial neural network, in particular a convolutional neural network.

Mit dem Umgebungserkennungsalgorithmus können verschiedenen Wahrnehmungsaufgaben automatisch realisiert oder umgesetzt werden. Dazu können zum Beispiel die Objekterkennung und/oder die Zustandserkennung zählen. Zusätzlich oder alternative Wahrnehmungsaufgaben können eine Hinderniserkennung, eine Objektverfolgung, eine Klassifizierung, eine semantischen Segmentierung, eine Abstandsermittlung und/oder eine Tiefenschätzung umfassen. Die Umsetzung und Ausführung von Algorithmen für die entsprechenden Wahrnehmungsaufgaben sind an sich bekannt.With the environment recognition algorithm, various perception tasks can be realized or implemented automatically. These can include, for example, object recognition and/or state recognition. Additional or alternative perception tasks can include obstacle detection, object tracking, classification, semantic segmentation, distance determination and/or depth estimation. The implementation and execution of algorithms for the corresponding perception tasks are known per se.

Das Ergebnis oder die Ausgabe eines Algorithmus zur automatischen Wahrnehmung ist abhängig von der spezifischen zugrundeliegenden Wahrnehmungsaufgabe. Beispielsweise kann die Ausgabe eines Objekterkennungsalgorithmus eine oder mehrere Begrenzungsboxen enthalten, die eine räumliche Position und optional eine Orientierung eines oder mehrerer entsprechender Objekte in der Umgebung und über entsprechende Objektklassen für das eine oder die mehreren Objekte definieren. Die Ausgabe eines Zustandserkennungsalgorithmus kann zum Beispiel ein Zustand oder eine Eigenschaft eines Objekts in der Umgebung oder der Umgebung selbst sein. Der Zustand kann zum Beispiel eine Witterungsbedingung, eine Helligkeit und/oder eine Temperatur sein.The result or output of an automatic perception algorithm depends on the specific underlying perception task. For example, the output of an object detection algorithm may include one or more bounding boxes defining a spatial position and optionally an orientation of one or more corresponding objects in the environment and, via corresponding object classes for the one or more objects. The output of a state detection algorithm may, for example, be a state or property of an object in the environment or of the environment itself. The state may, for example, be a weather condition, a brightness and/or a temperature.

Die jeweilige Ausgabe kann verwendet werden, um das Fahrerassistenzsystem des Fahrzeugs anzusteuern oder zu betreiben. Das Fahrerassistenzsystem kann zum Beispiel ein elektronisches Fahrzeugführungssystem sein, das insbesondere einen vollautomatischen oder vollautonomen Fahrmodus oder teilautomatischen oder teilautonomen Fahrmodus des Fahrzeugs nach Stufe 1 bis 5 der Klassifizierung gemäß SAE J3016 implementiert. Vorzugsweise kann das Fahrerassistenzsystem als Einparkhilfe oder Navigationshilfe realisiert sein. Die Assistenzfunktion kann zum Beispiel due Ausgabe eines akustischen und/oder optischen Warnsignals zur Abstandswarnung für den Fahrer enthalten. Beispielsweise kann einem Insassen des Fahrzeugs auf einem Display oder Bildschirm das Abbild angezeigt werden.The respective output can be used to control or operate the driver assistance system of the vehicle. The driver assistance system can be, for example, an electronic vehicle guidance system that implements in particular a fully automatic or fully autonomous driving mode or a partially automatic or partially autonomous driving mode of the vehicle according to level 1 to 5 of the classification according to SAE J3016. The driver assistance system can preferably be implemented as a parking aid or navigation aid. The assistance function can, for example, include the output of an acoustic and/or optical warning signal to warn the driver of the distance. For example, a vehicle occupant can be warned of The image can be shown on a display or screen.

Die Auswerteelektronik kann zum Beispiel eine Datenverarbeitungseinrichtung oder Prozessoreinrichtung aufweisen, wie sie zum Beispiel zuvor im Zusammenhang mit der Recheneinrichtung der Umgebungskamera beschrieben worden sind. Die Auswerteelektronik kann zum Beispiel von der Umgebungskamera, insbesondere der Recheneinrichtung, umfasst sein. Alternativ kann die Auswerteelektronik durch eine zu der Recheneinrichtung separate Prozessoreinrichtung realisiert sein.The evaluation electronics can, for example, have a data processing device or processor device, such as those described above in connection with the computing device of the environmental camera. The evaluation electronics can, for example, be included in the environmental camera, in particular the computing device. Alternatively, the evaluation electronics can be implemented by a processor device that is separate from the computing device.

Gemäß einer Ausführungsform ist die Auswerteelektronik unter Anwendung des Umgebungserkennungsalgorithmus dazu ausgebildet, einen Wetterzustand der Umgebung zu ermitteln und in Abhängigkeit von dem Wetterzustand einen Scheibenwischer und/oder eine Sonnenblende des Fahrzeugs mit dem Steuersignal anzusteuern. Zusätzlich oder alternativ ist die Auswerteelektronik ausgebildet, unter Anwendung des Umgebungserkennungsalgorithmus einen Helligkeitswert in der Umgebung zu ermitteln und in Abhängigkeit von dem Helligkeitswert eine Fahrzeugbeleuchtungseinrichtung mit dem Steuersignal anzusteuern.According to one embodiment, the evaluation electronics are designed to use the environment recognition algorithm to determine a weather condition in the environment and, depending on the weather condition, to control a windshield wiper and/or a sun visor of the vehicle with the control signal. Additionally or alternatively, the evaluation electronics are designed to use the environment recognition algorithm to determine a brightness value in the environment and, depending on the brightness value, to control a vehicle lighting device with the control signal.

Hierdurch ergibt sich der Vorteil, dass zum Beispiel auf zusätzliche Regensensoren oder Helligkeitssensoren am Fahrzeug für die Umgebungserfassung verzichtet werden kann. Stattdessen erfolgt die Zustandserfassung bezüglich des Wetters oder der Tageszeit mittels der Kameravorrichtung. Die entsprechenden Fahrzeugaktoren, wie zum Beispiel der Scheibenwischer, die Sonnenblende oder die Fahrzeugbeleuchtungseinrichtung können daraufhin automatisch aktiviert oder deaktiviert werden. Bei der Fahrzeugbeleuchtungseinrichtung kann es sich zum Beispiel um eine Fahrbahnbeleuchtung oder eine Innenraumbeleuchtung des Fahrzeugs handeln.This has the advantage that, for example, additional rain sensors or brightness sensors on the vehicle for environmental detection are not required. Instead, the status of the weather or the time of day is recorded using the camera device. The corresponding vehicle actuators, such as the windshield wiper, sun visor or vehicle lighting system, can then be automatically activated or deactivated. The vehicle lighting system can be, for example, road lighting or interior lighting in the vehicle.

Erfindungsgemäß umfasst die Lichtumlenkeinrichtung eine Vielzahl von Spiegelelementen. Das heißt, die Lichtumlenkeinrichtung umfasst zum Beispiel zwei oder mehr, insbesondere drei oder mehr, vorzugsweise fünf oder mehr Spiegelelemente. Die Vielzahl von Spiegelelementen ist relativ zu einer Fahrzeughochachse rundum an dem Fahrzeug angeordnet. Die Positionen der Spiegelelemente sind dabei derart gewählt, dass die Umgebungskamera ausgebildet ist, ein Abbild der Umgebung zu erfassen, das eine Rundumsicht um das Fahrzeug repräsentiert. Anders ausgedrückt, kann der Sichtbereich oder Erfassungsbereich der Kameravorrichtung somit zum Beispiel mindestens 270 Grad bis 360 Grad Rundumsicht um die Fahrzeughochachse des Fahrzeugs abdecken. So kann sichergestellt werden, dass relevante Objekte beim Durchführen von Fahrmanövern in der gesamten Umgebung des Fahrzeugs ausreichend erkannt werden.According to the invention, the light deflection device comprises a plurality of mirror elements. This means that the light deflection device comprises, for example, two or more, in particular three or more, preferably five or more mirror elements. The plurality of mirror elements is arranged all around the vehicle relative to a vehicle vertical axis. The positions of the mirror elements are selected such that the surroundings camera is designed to capture an image of the surroundings that represents an all-round view around the vehicle. In other words, the field of view or detection range of the camera device can thus cover, for example, at least 270 degrees to 360 degrees of all-round visibility around the vehicle's vertical axis. This ensures that relevant objects are adequately recognized in the entire area surrounding the vehicle when carrying out driving maneuvers.

Gemäß einer Ausführungsform ist die Auswerteelektronik ausgebildet, aus dem Abbild der Rundumsicht eine Repräsentation oder Darstellung des Fahrzeugs und eines vorgegebenen Umgebungsbereichs in der Umgebung aus einer Vogelperspektive, also ein Überkopfbild, zu ermitteln oder synthetisieren. Zudem ist die Auswerteelektronik ausgebildet, einen Abstand zu einem jeweiligen Objekt in dem Umgebungsbereich zu ermitteln und eine Anzeigeeinrichtung des Fahrzeugs zum Darstellen der Repräsentation mit dem Steuersignal anzusteuern. According to one embodiment, the evaluation electronics are designed to determine or synthesize a representation or image of the vehicle and a predetermined surrounding area in the environment from a bird's eye view, i.e. an overhead image, from the image of the all-round view. In addition, the evaluation electronics are designed to determine a distance to a respective object in the surrounding area and to control a display device of the vehicle to display the representation with the control signal.

Die Auswerteelektronik kann somit die Rundumsicht in eine Draufsicht auf das Fahrzeug in Richtung der Fahrzeughochachse transformieren. Es kann dadurch die Funktion der eingangs genannten Top-View-Kamera nachgebildet werden. Das Darstellen der Repräsentation, die zum Beispiel einen Umriss des Fahrzeugs mit dem Umgebungsbereich schematisch darstellt, kann zum Beispiel auf einem Bildschirm oder Display erfolgen. Bei dem Bildschirm kann es sich zum Beispiel um einen LCD-Bildschirm (Flüssigkristallbildschirm) oder einen OLED-Bildschirm handeln (OLED: Organic Light Emitting Diode, organische lichtemittierende Diode).The evaluation electronics can thus transform the all-round view into a top view of the vehicle in the direction of the vehicle's vertical axis. This can simulate the function of the top-view camera mentioned above. The representation, which schematically shows an outline of the vehicle with the surrounding area, can be shown on a screen or display, for example. The screen can be an LCD screen (liquid crystal screen) or an OLED screen (OLED: Organic Light Emitting Diode).

Erfindungsgemäß weisen die zumindest zwei Spiegelelemente eine kipp- und/oder schwenkbare Oberfläche auf. Zusätzlich oder alternativ ist die Umgebungskamera kipp- und/oder schwenkbaren implementiert. Die Lichtumlenkeinrichtung weist dazu eine Verstelleinheit zum Kippen und/oder Schwenken des jeweiligen Spiegelelements und/oder der Umgebungskamera auf. Die Verstelleinheit kann dazu zum Beispiel einen Elektromotor oder Schrittmotor umfassen.According to the invention, the at least two mirror elements have a tiltable and/or pivotable surface. Additionally or alternatively, the surrounding camera is implemented in a tiltable and/or pivotable manner. The light deflection device has an adjustment unit for tilting and/or pivoting the respective mirror element and/or the surrounding camera. The adjustment unit can comprise an electric motor or stepper motor, for example.

Hierdurch ergibt sich der Vorteil, dass die Umgebungskamera beziehungsweise die Spiegelelemente bei Bedarf ausgerichtet werden können, um einen gewünschten Umgebungsbereich zu erfassen. Durch das Bewegen, also das Kippen oder Schwenken, kann so zum Beispiel ein Sichtwinkel oder eine Perspektive der Umgebungskamera zum Erfassen der Umgebung angepasst werden. So kann das Sichtfeld oder der abbildbare Bereich der Abbildung erweitert oder verändert werden.This has the advantage that the environment camera or the mirror elements can be aligned as required to capture a desired area of the environment. By moving, i.e. tilting or swiveling, the viewing angle or perspective of the environment camera can be adjusted to capture the environment. In this way, the field of view or the area that can be captured can be expanded or changed.

Die Spiegelelemente können hierzu zum Beispiel als mikroelektromechanisches System (MEMS) ausgestaltet sein. Bevorzugt ist die Verstelleinheit ausgebildet, durch das Bewegen einen Erfassungsbereich der Umgebungskamera zum Erfassen des jeweiligen Lichtanteils auf eines oder mehrere der Spiegelelemente auszurichten. Vorzugsweise kann die Umgebungskamera so bewegt werden, dass die Lichtanteile der Spiegelelemente zeitlich nacheinander erfasst werden. So kann zum Beispiel die Auflösung des resultierenden Abbilds verbessert werden, da ein Bildsensor der Umgebungskamera zu jedem Zeitpunkt nur für das Spiegelbild eines der Spiegelelemente verwendet wird.For this purpose, the mirror elements can be designed as a microelectromechanical system (MEMS), for example. The adjustment unit is preferably designed to align a detection area of the environmental camera for detecting the respective light component onto one or more of the mirror elements by moving it. the environment camera can be moved in such a way that the light components of the mirror elements are recorded one after the other. For example, the resolution of the resulting image can be improved because an image sensor of the environment camera is only used for the mirror image of one of the mirror elements at any given time.

Gemäß einer Ausführungsform ist die Auswerteelektronik ausgebildet, die jeweilige Verstelleinheit, also die Verstelleinheit der Spiegelelemente oder die Verstelleinheit der Umgebungskamera, abhängig von dem erkannten Objekt und/oder Zustand und/oder einem Fahrmanöver des Fahrzeugs zum Erfassen eines vordefinierten Umgebungsabschnitts in der Umgebung anzusteuern. Es kann somit von einem aktuell sichtbaren Umgebungsbereich auf einen unterschiedlichen Umgebungsabschnitt oder Umgebungsbereich umgeschwenkt werden. Der Umgebungsabschnitt und der aktuelle Umgebungsbereich können sich vorzugsweise zumindest teilweise überlappen oder vollständig getrennte Abschnitte ausbilden.According to one embodiment, the evaluation electronics are designed to control the respective adjustment unit, i.e. the adjustment unit of the mirror elements or the adjustment unit of the surroundings camera, depending on the detected object and/or state and/or a driving maneuver of the vehicle in order to capture a predefined environmental section in the environment. It is thus possible to switch from a currently visible environmental area to a different environmental section or environmental area. The environmental section and the current environmental area can preferably overlap at least partially or form completely separate sections.

Das Bewegen kann zum Beispiel dann vorteilhaft sein, wenn das Objekt/der Zustand auf Basis des aktuell erfassten Umgebungsbereichs in der Umgebung nicht ausreichend klassifiziert oder bestimmt werden kann. Zusätzlich oder alternativ können für ein Fahrmanöver, wie zum Beispiel fürs Rückwärtsfahren, die Spiegel oder die Kamera so bewegt werden, dass zum Beispiel ein Fahrbahnrand oder ein Bordstein für den Fahrer sichtbar ist.For example, moving can be advantageous if the object/condition cannot be adequately classified or determined based on the currently detected area of the environment. Additionally or alternatively, for a driving maneuver, such as reversing, the mirrors or camera can be moved so that, for example, the edge of the road or a curb is visible to the driver.

Gemäß einer Ausführungsform ist die Umgebungskamera im Fahrzeuginnenraum an einem Fahrzeugdach angebracht. Das heißt, die Umgebungskamera kann am Fahrzeughimmel in der Fahrerkabine angeordnet oder befestigt sein. Vorzugsweise kann es sich bei der Umgebungskamera um eine 360-Grad-Kamera handeln. Das heißt, die Kamera kann einen 360-Grad-Sichtbereich, vorzugsweise um die Fahrzeughochachse, aufweisen.According to one embodiment, the surroundings camera is mounted on a vehicle roof in the vehicle interior. This means that the surroundings camera can be arranged or attached to the vehicle ceiling in the driver's cabin. The surroundings camera can preferably be a 360-degree camera. This means that the camera can have a 360-degree field of view, preferably around the vehicle's vertical axis.

Gemäß einem Aspekt betrifft die Erfindung auch eine entsprechende Kameravorrichtung zur Umgebungserfassung für ein Fahrzeug. Die Kameravorrichtung umfasst zumindest eine, vorzugsweise genau eine, Umgebungskamera, die zum Anordnen in einem Fahrzeuginnenraum ausgebildet ist. Die Umgebungskamera ist im angeordneten Zustand ausgebildet, ein Abbild der Umgebung des Fahrzeugs zu erfassen. Die Kameravorrichtung umfasst eine Lichtumlenkeinrichtung mit zumindest zwei Spiegelelementen. Die Spiegelelemente sind zum Anordnen an unterschiedlichen Positionen relativ zur Umgebungskamera an dem Fahrzeug ausgebildet. Die Spiegelelemente sind jeweils ausgebildet, im angeordneten Zustand Licht aus der Umgebung des Fahrzeugs zur Umgebungskamera umzulenken oder zu reflektieren. Die Umgebungskamera ist ausgebildet, die vom jeweiligen Spiegelelement umgelenkten Lichtanteile zu erfassen und aus den erfassten Lichtanteilen das Abbild der Umgebung zu erzeugen. Zum Anordnen oder Befestigen der Umgebungskamera und der Spiegelelemente können zum Beispiel geeignete Befestigungsmittel, wie zum Beispiel eine Verschraubung oder ein Verkleben, gewählt werden.According to one aspect, the invention also relates to a corresponding camera device for detecting the environment for a vehicle. The camera device comprises at least one, preferably exactly one, environment camera, which is designed to be arranged in a vehicle interior. The environment camera is designed in the arranged state to capture an image of the environment of the vehicle. The camera device comprises a light deflection device with at least two mirror elements. The mirror elements are designed to be arranged at different positions relative to the environment camera on the vehicle. The mirror elements are each designed to deflect or reflect light from the environment of the vehicle to the environment camera in the arranged state. The environment camera is designed to detect the light components deflected by the respective mirror element and to generate the image of the environment from the detected light components. Suitable fastening means, such as screwing or gluing, can be selected for arranging or fastening the environment camera and the mirror elements.

Gemäß einem Aspekt betrifft die Erfindung ein Verfahren zum Betreiben einer Kameravorrichtung für ein Fahrzeug, wie sie zuvor beschrieben wurde. Analog dazu kann auch ein Verfahren zum Betreiben eines Fahrzeugs mit einer entsprechenden Kameravorrichtung vorgesehen sein. Dabei wird in dem Verfahren mittels der zumindest zwei Spiegelelemente der Lichtumlenkeinrichtung im angeordneten Zustand Licht aus der Umgebung des Fahrzeugs zur Umgebungskamera umgelenkt. Die Umgebungskamera erfasst die von den jeweiligen Spiegelelementen umgelenkten Lichtanteile und erzeugt aus den erfassten Lichtanteilen das Abbild der Umgebung. Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Kameravorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Fahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Kameravorrichtung hier nicht noch einmal beschrieben.According to one aspect, the invention relates to a method for operating a camera device for a vehicle, as described above. Analogously, a method for operating a vehicle with a corresponding camera device can also be provided. In the method, light from the surroundings of the vehicle is redirected to the surroundings camera by means of the at least two mirror elements of the light redirection device in the arranged state. The surroundings camera detects the light components redirected by the respective mirror elements and generates the image of the surroundings from the detected light components. The invention also includes further developments of the method according to the invention and the camera device according to the invention, which have features as have already been described in connection with the further developments of the vehicle according to the invention. For this reason, the corresponding further developments of the method according to the invention and the camera device according to the invention are not described again here.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird. For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback is issued and/or a default setting and/or a predetermined initial state is set.

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Kameravorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Fahrzeugs beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Kameravorrichtung hier nicht noch einmal beschrieben.The invention also includes further developments of the method according to the invention and the camera device according to the invention, which have features as have already been described in connection with the further developments of the vehicle according to the invention. For this reason, the corresponding further developments of the method according to the invention and the camera device according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combinations of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments are not were described as mutually exclusive.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 eine schematische Darstellung eines Fahrzeugs mit einer Kameravorrichtung zur Umgebungserfassung aus einer Seitansicht;
  • 2 eine schematische Darstellung des Fahrzeugs aus einer Vogelperspektive; und
  • 3 ein schematisches Verfahrensablaufdiagramm für ein Verfahren zum Betreiben der Kameravorrichtung.
Exemplary embodiments of the invention are described below.
  • 1 a schematic representation of a vehicle with a camera device for detecting the environment from a side view;
  • 2 a schematic representation of the vehicle from a bird's eye view; and
  • 3 a schematic process flow diagram for a method for operating the camera device.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the components of the embodiments described each represent individual features of the invention that are to be considered independently of one another and which also develop the invention independently of one another. Therefore, the disclosure should also include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.

In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, identical reference symbols designate functionally identical elements.

1 zeigt in schematischer Darstellung ein Fahrzeug 1. Das Fahrzeug 1 ist vorliegend beispielhaft als Personenkraftwagen dargestellt. In 1 ist das Fahrzeug 1 aus einer Seitansicht oder seitlichen Perspektive dargestellt. Das Fahrzeug 1 umfasst eine Kameravorrichtung 10 zur Umgebungserfassung. Die Kameravorrichtung 10 weist im vorliegenden Ausführungsbeispiel genau eine Umgebungskamera 11 auf. Die Umgebungskamera 11 ist zum Beispiel eine Videokamera. Die Umgebungskamera 11 ist in einem Fahrzeuginnenraum I angeordnet. Mit dem Fahrzeuginnenraum I ist vorliegend insbesondere eine Fahrerkabine, also ein von der Umgebung U zum Beispiel durch die Karosserie abgetrennter Raum einer Fahrgastzelle gemeint. 1 shows a schematic representation of a vehicle 1. The vehicle 1 is shown here as an example of a passenger car. In 1 the vehicle 1 is shown from a side view or lateral perspective. The vehicle 1 comprises a camera device 10 for detecting the surroundings. In the present exemplary embodiment, the camera device 10 has exactly one surroundings camera 11. The surroundings camera 11 is, for example, a video camera. The surroundings camera 11 is arranged in a vehicle interior I. In the present case, the vehicle interior I means in particular a driver's cabin, i.e. a space in a passenger cell separated from the surroundings U, for example by the body.

Im Ausführungsbeispiel gemäß 1 ist die Umgebungskamera 11 im Fahrzeuginnenraum I am Fahrzeugdach oder Fahrzeughimmel angeordnet oder befestigt. Die Umgebungskamera 11 ist dazu ausgebildet, ein Abbild der Umgebung U des Fahrzeugs 1 zu erzeugen oder zu erfassen. Das Abbild kann zum Beispiel in Form von Bilddaten, die als Detektorsignale von optischen Detektoren eines Bildsensors der Umgebungskamera 11 erfasst wurden, vorliegen. Die Bilddaten können zum Beispiel in einer nicht gezeigten Speichereinrichtung der Umgebungskamera 11 gespeichert oder hinterlegt sein. Die Abbildung der Umgebung U kann zum Beispiel in Form eines Videos, also einer Bildsequenz aus Einzelbildern, vorliegen.In the embodiment according to 1 the environment camera 11 is arranged or attached in the vehicle interior I on the vehicle roof or roof liner. The environment camera 11 is designed to generate or capture an image of the environment U of the vehicle 1. The image can be in the form of image data, for example, which were captured as detector signals by optical detectors of an image sensor of the environment camera 11. The image data can be stored or saved in a storage device (not shown) of the environment camera 11, for example. The image of the environment U can be in the form of a video, i.e. an image sequence of individual images, for example.

Die Kameravorrichtung 10 umfasst auch eine Lichtumlenkeinrichtung 12. Die Lichtumlenkeinrichtung 12 umfasst zumindest zwei Spiegelelemente 13. Im Ausführungsbeispiel in 1 sind beispielhaft vier Spiegelelemente 13 dargestellt. Natürlich können auch mehr oder weniger als die vier Spiegelelemente 13 die Lichtumlenkeinrichtung 12 bilden.The camera device 10 also comprises a light deflection device 12. The light deflection device 12 comprises at least two mirror elements 13. In the embodiment in 1 Four mirror elements 13 are shown as an example. Of course, more or fewer than four mirror elements 13 can form the light deflection device 12.

Die Spiegelelemente 13 sind an unterschiedlichen Positionen relativ zur Umgebungskamera 11 an dem Fahrzeug 1 angeordnet. Bei den Spiegelelementen 13 handelt es sich zum Beispiel um Planspiegel. Die Spiegelelemente 13 können im Fahrzeuginnenraum I oder außen am Fahrzeug 1, also zum Beispiel an einer Außenhaut oder Oberfläche des Fahrzeugs 1 befestigt sein. Im vorliegenden Ausführungsbeispiel sind die Spiegelelemente 13 zum Beispiel im Fahrzeuginnenraum I im unteren Randbereich der zwei in 1 sichtbaren Seitenscheiben 2 des Fahrzeugs 1 angeordnet. Dabei sind jeweils zwei der Spiegelelemente 13 einer der Fahrzeugscheiben 2 zugeordnet und die zwei Spiegelelemente 13 sind jeweils zueinander in unterschiedlichen Ecken angebracht.The mirror elements 13 are arranged at different positions relative to the surroundings camera 11 on the vehicle 1. The mirror elements 13 are, for example, plane mirrors. The mirror elements 13 can be attached in the vehicle interior I or outside of the vehicle 1, for example to an outer skin or surface of the vehicle 1. In the present embodiment, the mirror elements 13 are, for example, in the vehicle interior I in the lower edge area of the two in 1 visible side windows 2 of the vehicle 1. Two of the mirror elements 13 are assigned to one of the vehicle windows 2 and the two mirror elements 13 are each mounted in different corners to one another.

3 zeigt hierzu ein schematisches Verfahrensablaufdiagramm für ein Verfahren zum Betreiben der Kameravorrichtung 10. Gemäß einem Schritt S1 sind die Spiegelelemente 13 sind nun derart positioniert oder zur Umgebung U und der Umgebungskamera 11 ausgerichtet, dass sie Licht aus verschiedenen Bereichen oder Abschnitten der Umgebung U zur Umgebungskamera 11 umlenken oder reflektieren können. Gemäß einem Schritt S2 kann die Umgebungskamera 11 die vom jeweiligen Spiegelelement 13 umgelenkten Lichtanteile erfassen. Das heißt, die Umgebungskamera 11 kann eine Spiegelung oder das Spiegelbild der Umgebung U, das die Spiegelelemente 13 abbilden oder darstellen, erfassen. Aus den erfassten Lichtanteilen, also aus den Spiegelbildern, kann die Umgebungskamera 11 gemäß Schritt S2 das Abbild der Umgebung U erzeugen. 3 shows a schematic process flow diagram for a method for operating the camera device 10. According to a step S1, the mirror elements 13 are now positioned or aligned with the environment U and the environment camera 11 in such a way that they can redirect or reflect light from different areas or sections of the environment U to the environment camera 11. According to a step S2, the environment camera 11 can capture the light components redirected by the respective mirror element 13. This means that the environment camera 11 can capture a reflection or the mirror image of the environment U that the mirror elements 13 depict or represent. From the captured light components, i.e. from the mirror images, the environment camera 11 can generate the image of the environment U according to step S2.

Vorzugsweise weist die Umgebungskamera 11 hierfür eine Recheneinrichtung auf. Die Recheneinrichtung kann dazu zum Beispiel einen Mikroprozessor oder Mikrocontroller umfassen. Das heißt, die Recheneinrichtung kann die Spiegelbilder zu dem Abbild zusammensetzen oder zusammenfügen. Abhängig von den bekannten Positionen der Spiegelelemente 13 zu der Umgebungskamera 11 kann die Recheneinrichtung somit ein Abbild der Umgebung synthetisieren oder berechnen, das einen größeren oder weiteren Sichtbereich oder Erfassungsbereich der Umgebung U abdeckt, als zum Beispiel ein Sichtbereich oder Erfassungsbereich der Kamera alleine ist.The environment camera 11 preferably has a computing device for this purpose. The computing device can comprise a microprocessor or microcontroller, for example. This means that the computing device can assemble or combine the mirror images to form the image. Depending on the known positions of the mirror elements 13 to the environment camera 11, the computing device can thus synthesize or calculate an image of the environment that has a larger or wider field of view or detection range. area of the environment U than, for example, the field of view or detection range of the camera alone.

Mit dem erfassten Abbild kann nun eine Fahrerassistenzfunktion für einen Insassen oder Fahrer des Fahrzeugs 1 umgesetzt werden. Dazu umfasst das Fahrzeug 1 eine Auswerteelektronik 20. Die Auswerteelektronik kann zum Beispiel einen Mikroprozessor oder Mikrocontroller umfassen. Die Auswerteelektronik 20 kann zum Beispiel von der Recheneinrichtung der Umgebungskamera 11 umfasst sein. Im vorliegenden Ausführungsbeispiel handelt es sich bei der Auswerteelektronik um eine separate Datenverarbeitungseinrichtung oder Prozessoreinrichtung zu der Recheneinrichtung. Zum Beispiel kann die Auswerteelektronik von einem zentralen Bordcomputer oder einer elektronischen Steuereinheit (ECU) des Fahrzeugs 1 umfasst sein.The captured image can now be used to implement a driver assistance function for an occupant or driver of the vehicle 1. For this purpose, the vehicle 1 comprises an evaluation electronics 20. The evaluation electronics can comprise, for example, a microprocessor or microcontroller. The evaluation electronics 20 can be comprised, for example, by the computing device of the surrounding camera 11. In the present exemplary embodiment, the evaluation electronics are a separate data processing device or processor device for the computing device. For example, the evaluation electronics can be comprised by a central on-board computer or an electronic control unit (ECU) of the vehicle 1.

Die Auswerteelektronik 20 ist dazu ausgebildet, einen Umgebungserkennungsalgorithmus auf das Abbild der Umgebung U anzuwenden. Bei dem Umgebungserkennungsalgorithmus kann es sich zum Beispiel um eine Software oder um Programmcode handeln, bei dessen Ausführung durch einen Prozessor automatisch eine vorbestimmte visuelle Wahrnehmungsaufgabe durchgeführt wird. Dabei kann es sich zum Beispiel um eine Bildanalyse des Abbilds der Umgebung U handeln. Solche Algorithmen zur automatischen visuellen Wahrnehmung sind hinreichend bekannt.The evaluation electronics 20 are designed to apply an environment recognition algorithm to the image of the environment U. The environment recognition algorithm can be, for example, software or program code, when executed by a processor, a predetermined visual perception task is automatically carried out. This can be, for example, an image analysis of the image of the environment U. Such algorithms for automatic visual perception are sufficiently known.

Die Ausgabe oder das Ergebnis des Algorithmus kann zum Beispiel die Klassifikation oder Identifikation eines Objekts in der Umgebung U sein. Im vorliegenden Ausführungsbeispiel handelt es sich bei der Ausgabe zum Beispiel um einen Zustand der Umgebung U. Das heißt, die Auswerteelektronik 20 unter Anwendung des Umgebungserkennungsalgorithmus einen Zustand der Umgebung U aus dem Abbild ermitteln.The output or result of the algorithm can be, for example, the classification or identification of an object in the environment U. In the present embodiment, the output is, for example, a state of the environment U. This means that the evaluation electronics 20 determine a state of the environment U from the image using the environment recognition algorithm.

Im vorliegenden Ausführungsbeispiel handelt es sich bei dem zu ermittelnden Zustand um eine Witterungsbedingung W oder ein Wettereinfluss. Im Ausführungsbeispiel regnet es zum Beispiel gerade. Die Wahrnehmungsaufgabe der Auswerteelektronik 20 besteht somit darin, das Vorhandensein von Regen zu erkennen. Dass es regnet, kann die Auswerteelektronik 20 aus dem Abbild zum Beispiel anhand von Lichtreflexionswerten oder Streulichtwerten ermitteln. Alternativ kann zum Beispiel eine Objekterkennung zum Erkennen von Regentropfen auf einer Fahrzeugscheibe oder in der Umgebung U durchgeführt werden.In the present exemplary embodiment, the state to be determined is a weather condition W or a weather influence. In the exemplary embodiment, for example, it is currently raining. The perception task of the evaluation electronics 20 is therefore to detect the presence of rain. The evaluation electronics 20 can determine that it is raining from the image, for example based on light reflection values or scattered light values. Alternatively, for example, object detection can be carried out to detect raindrops on a vehicle window or in the environment U.

Abhängig vom erkannten Wetterzustand W, soll zumindest ein Fahrerassistenzsystem, insbesondere ein Fahrzeugaktor, des Fahrzeugs 1 zum Ausführen einer vordefinierten Fahrerassistenzfunktion mit einem Steuersignal S angesteuert werden. Durch das Ansteuern mit dem Steuersignal S kann das Fahrerassistenzsystem aktiviert oder deaktiviert werden oder eine Einstellung eines Fahrzeugparameters angepasst. Vorliegend handelt es sich bei dem Fahrerassistenzsystem, insbesondere bei dem Fahrzeugaktor, zum Beispiel um einen Scheibenwischer 21. Der Scheibenwischer 21 kann durch Beaufschlagen mit dem Steuersignal S aktiviert oder deaktiviert werden. Oder es kann als ein Einstellwert zum Beispiel eine Wischfrequenz angepasst werden.Depending on the detected weather condition W, at least one driver assistance system, in particular a vehicle actuator, of the vehicle 1 is to be controlled with a control signal S to carry out a predefined driver assistance function. By controlling with the control signal S, the driver assistance system can be activated or deactivated or a setting of a vehicle parameter can be adjusted. In the present case, the driver assistance system, in particular the vehicle actuator, is, for example, a windshield wiper 21. The windshield wiper 21 can be activated or deactivated by applying the control signal S. Or a wiping frequency, for example, can be adjusted as a setting value.

Erkennt die Auswerteelektronik nun zum Beispiel aus dem Abbild, dass es regnet, kann sie ein Steuersignal S an den Scheibenwischer 21 bereitstellen, der den Scheibenwischer aktiviert. Der Scheibenwischer 21 wird daraufhin die Scheibe wischen und so die Sicht für den Fahrer freihalten.If the evaluation electronics now recognizes from the image, for example, that it is raining, it can provide a control signal S to the windshield wiper 21, which activates the windshield wiper. The windshield wiper 21 will then wipe the windshield and thus keep the driver's view clear.

Als weiteren optionalen Fahrzeugaktor zeigt 1 zum Beispiel zusätzlich eine Fahrzeugbeleuchtungseinrichtung 22. Bei der Fahrzeugbeleuchtungseinrichtung 22 handelt es sich zum Beispiel um eine Fahrbahnbeleuchtung für das Fahrzeug 1, insbesondere einen Frontscheinwerfer. Wird bei der Auswertung des Abbilds zum Beispiel erkannt, dass ein vorbestimmter Helligkeitswert in der Umgebung, der anhand von den Detektorsignalen des Bildsensors bekannt ist, unterschritten, kann die Auswerteelektronik 20 zum Beispiel ein weiteres Steuersignal erzeugen, um die Fahrbahnbeleuchtung zu aktivieren. So kann eine Lichtautomatik für das Fahrzeug 1 umgesetzt werden. Alternativ oder zusätzlich kann die Lichtautomatik zum Beispiel analog für eine Innenbeleuchtung im Fahrzeuginnenraum I umgesetzt sein.Another optional vehicle actuator is 1 for example, an additional vehicle lighting device 22. The vehicle lighting device 22 is, for example, a roadway lighting for the vehicle 1, in particular a headlight. If, for example, it is recognized during the evaluation of the image that a predetermined brightness value in the environment, which is known from the detector signals of the image sensor, is not reached, the evaluation electronics 20 can, for example, generate a further control signal to activate the roadway lighting. In this way, automatic lighting can be implemented for the vehicle 1. Alternatively or additionally, the automatic lighting can, for example, be implemented analogously for interior lighting in the vehicle interior I.

Ein anderer steuerbarer Fahrzeugaktor kann zum Beispiel eine Sonnenblende sein, die auch Streulichtblende oder Gegenlichtblendegenannt wird. Diese könnte zum Beispiel angesteuert werden, wenn die Auswerteelektronik 20 beim Auswerten des Abbilds potentiell für den Fahrer blendenden Sonnenschein ermittelt.Another controllable vehicle actuator can be, for example, a sun visor, which is also called a lens hood or lens hood. This could be controlled, for example, if the evaluation electronics 20 determines sunshine that could potentially dazzle the driver when evaluating the image.

Ein weiteres Beispiel für ein steuerbares Fahrerassistenzsystem ist eine Anzeigeeinrichtung, mit der zum Beispiel eine Rundumsicht um das Fahrzeug 1 für den Fahrer dargestellt oder angezeigt werden kann. Die Anzeigeeinrichtung kann dabei zum Beispiel Teil eines Einparkassistenten für das Fahrzeug 1 sein. Ein Ausführungsbeispiel betreffend die Ansteuerung einer Anzeigeeinrichtung ist im späteren Verlauf anhand von 2 noch näher beschrieben.Another example of a controllable driver assistance system is a display device with which, for example, a panoramic view of the vehicle 1 can be shown or displayed for the driver. The display device can, for example, be part of a parking assistant for the vehicle 1. An embodiment relating to the control of a display device is described later on with reference to 2 described in more detail.

Zum Ausführen des Umgebungserkennungsalgorithmus kann die Auswerteelektronik 20 zum Beispiel als künstliche Intelligenz implementiert sein. Dazu kann die Auswerteelektronik 20 zum Beispiel ein künstliches neuronales Netzwerk, insbesondere ein faltendes neuronales Netzwerk, aufweisen, das mit entsprechenden Trainingsdaten trainiert wurde. Zum Erkennen von verschiedenen Witterungsbedingungen können zum Beispiel unterschiedliche Wetterszenarien als Trainingsdaten für das neuronale Netzwerk verwendet werden.To execute the environment detection algorithm, the evaluation electronics 20 for example, be implemented as artificial intelligence. For this purpose, the evaluation electronics 20 can, for example, have an artificial neural network, in particular a convolutional neural network, which has been trained with corresponding training data. To recognize different weather conditions, for example, different weather scenarios can be used as training data for the neural network.

2 zeigt in einem weiteren Ausführungsbeispiel ein Fahrzeug 1 mit einer Kameravorrichtung 10, wie sie zum Beispiel in 1 gezeigt wurde. Im Gegensatz zu 1 ist das Fahrzeug 1 aus einer Vogelperspektive oder Draufsicht dargestellt. Wie aus 2 ersichtlich, ist die Umgebungskamera 11 zum Beispiel fahrzeugintern mittig oder zentral an dem Fahrzeugdach angebracht oder angeordnet. Die Lichtumlenkeinrichtung 12 umfasst eine Vielzahl von Spiegelelementen 13. Im vorliegenden Ausführungsbeispiel gemäß 2 sind zum Beispiel zehn Spiegelelemente 13 dargestellt. Die Spiegelelemente 13 sind relativ zur Umgebungskamera 11 um eine Fahrzeughochachse H herum an dem Fahrzeug 1 angeordnet oder befestigt. Die Positionen der Spiegelelemente 13 sind dabei derart gewählt, dass die Umgebungskamera 11 ausgebildet ist, ein Abbild zu erfassen, das eine Rundumsicht um das Fahrzeug 1 repräsentiert. Das heißt, die Spiegelelemente 13 können zum Beispiel abschnittsweise überlappende Umgebungsbereiche in der Umgebung U abbilden und an die Umgebungskamera 11 reflektieren. So kann ein Sichtbereich oder Erfassungsbereich für die Kameravorrichtung 10 realisiert werden, der vorzugsweise um die Hochachse H eine 360-Grad-Rundumsicht um das Fahrzeug 1 erlaubt. 2 shows in a further embodiment a vehicle 1 with a camera device 10, as for example in 1 was shown. In contrast to 1 the vehicle 1 is shown from a bird's eye view or from above. As can be seen from 2 As can be seen, the surrounding camera 11 is mounted or arranged, for example, in the middle of the vehicle or centrally on the vehicle roof. The light deflection device 12 comprises a plurality of mirror elements 13. In the present embodiment according to 2 For example, ten mirror elements 13 are shown. The mirror elements 13 are arranged or attached to the vehicle 1 around a vehicle vertical axis H relative to the surroundings camera 11. The positions of the mirror elements 13 are selected such that the surroundings camera 11 is designed to capture an image that represents an all-round view around the vehicle 1. This means that the mirror elements 13 can, for example, image partially overlapping surrounding areas in the environment U and reflect them to the surroundings camera 11. In this way, a field of view or detection range for the camera device 10 can be realized, which preferably allows a 360-degree all-round view around the vehicle 1 around the vertical axis H.

Wie in 2 dargestellt, können die Spiegelelemente 13 zum Beispiel im Bereich einer Front- oder Heckscheibe beziehungsweise den Seitenscheiben des Fahrzeugs angebracht oder befestigt sein. Zusätzlich oder alternativ können zum Beispiel die Spiegeleinsätze der vorhandenen Außenspiegel 3 des Fahrzeugs 1 als Spiegelelemente 13 für die Kameravorrichtung 10 verwendet werden. Ein anderes Beispiel für einen vorhandenen Spiegeleinsatz, der als Spiegelelement 13 für die Kameravorrichtung 10 verwendet werden kann, ist der Rückspiegel des Fahrzeugs 1.As in 2 As shown, the mirror elements 13 can be attached or fastened, for example, in the area of a front or rear window or the side windows of the vehicle. Additionally or alternatively, for example, the mirror inserts of the existing exterior mirrors 3 of the vehicle 1 can be used as mirror elements 13 for the camera device 10. Another example of an existing mirror insert that can be used as a mirror element 13 for the camera device 10 is the rearview mirror of the vehicle 1.

Die Auswerteelektronik 2 kann das Abbild der Rundumsicht zum Beispiel nutzen, um eine Repräsentation oder Darstellung des Fahrzeugs und eines vorgegebenen Umgebungsbereichs in der Umgebung U aus einer Vogelperspektive, also der in 2 dargestellten Draufsicht, zu ermitteln oder zu berechnen. Das heißt, die Auswerteelektronik 20 kann zum Beispiel die Rundumsicht in eine Draufsicht transformieren oder umwandeln. Die Auswerteelektronik 2 kann beispielsweise eine Anzeigeeinrichtung, wie zum Beispiel einen Bildschirm oder ein Display des Fahrzeugs 1, zum Darstellen der Repräsentation mit dem Steuersignal ansteuern. So kann die Funktion einer Top-View-Kamera nachgebildet oder realisiert werden. Bevorzugt kann die Auswerteelektronik einen Abstand zu einem jeweiligen Objekt in dem Umgebungsbereich ermitteln und dem Fahrer in der Repräsentation mit anzeigen oder kenntlich machen. Dadurch kann zum Beispiel eine Einparkhilfe für den Fahrer als Fahrerassistenzfunktion realisiert werden.The evaluation electronics 2 can use the image of the all-round view, for example, to create a representation or depiction of the vehicle and a given surrounding area in the environment U from a bird's eye view, i.e. the 2 shown top view. This means that the evaluation electronics 20 can, for example, transform or convert the all-round view into a top view. The evaluation electronics 2 can, for example, control a display device, such as a screen or a display of the vehicle 1, to show the representation with the control signal. In this way, the function of a top view camera can be simulated or implemented. Preferably, the evaluation electronics can determine a distance to a respective object in the surrounding area and display or indicate this to the driver in the representation. In this way, a parking aid for the driver can be implemented as a driver assistance function, for example.

Vorzugsweise sind die Spiegelelemente 13 und/oder die Umgebungskamera 11 bewegbar, insbesondere kipp- oder schwenkbar, implementiert. Dazu kann eine entsprechende Verstelleinheit, zum Beispiel mit einem Elektromotor, mit der Umgebungskamera 11 oder mit dem jeweiligen Spiegelelement gekoppelt sein. Durch das bewegen oder verstellen können unterschiedliche Perspektiven der Umgebung U mittels jedes der Spiegelelemente 13 für die Umgebungskamera 11 erfasst werden. Dadurch kann zum Beispiel bei Bedarf durch das Verstellen ein Perspektivwechsel durchgeführt werden, sodass ein anderer oder interessanterer Umgebungsbereich erfasst wird. Das Verstellen kann zum Beispiel durch die Auswerteelektronik abhängig von dem erkannten Objekt oder Zustand in der Umgebung U oder von einem Fahrmanöver durchgeführt werden. Zum Beispiel können so die Spiegelelemente 13 beim Rückwärtsfahren zum Erfassen eines Bordsteins oder Fahrbahnrands nach unten, also in Richtung Fahrbahn, verstellt werden. So kann der Bordstein als Hindernis für das Fahrzeug 1 berücksichtigt werden.The mirror elements 13 and/or the surroundings camera 11 are preferably implemented so that they can be moved, in particular tilted or pivoted. For this purpose, a corresponding adjustment unit, for example with an electric motor, can be coupled to the surroundings camera 11 or to the respective mirror element. By moving or adjusting, different perspectives of the environment U can be recorded using each of the mirror elements 13 for the surroundings camera 11. This means that, for example, a change of perspective can be carried out by adjusting if necessary, so that a different or more interesting area of the environment is recorded. The adjustment can be carried out, for example, by the evaluation electronics depending on the detected object or state in the environment U or on a driving maneuver. For example, the mirror elements 13 can be adjusted downwards, i.e. in the direction of the road, to detect a curb or edge of the road when reversing. The curb can thus be taken into account as an obstacle for the vehicle 1.

Insgesamt zeigen die Ausführungsbeispiele, wie eine Vogelperspektive oder Rundumsicht um ein Fahrzeug mit einer einzigen fahrzeuginternen Kamera realisiert werden kann.Overall, the examples show how a bird's eye view or all-round view around a vehicle can be realized with a single in-vehicle camera.

Claims (8)

Fahrzeug (1) mit einer Kameravorrichtung (10) zur Umgebungserfassung, wobei die Kameravorrichtung (10) zumindest eine Umgebungskamera (11) umfasst, die in einem Fahrzeuginnenraum (I) angeordnet ist, und die ausgebildet ist, ein Abbild der Umgebung (U) des Fahrzeugs (1) zu erzeugen, wobei die Kameravorrichtung (10) eine Lichtumlenkeinrichtung (12) mit zumindest zwei Spiegelelementen (13) aufweist, die an unterschiedlichen Positionen relativ zur Umgebungskamera (11) an dem Fahrzeug (1) angeordnet sind, und die jeweils ausgebildet sind, Licht aus der Umgebung (U) des Fahrzeugs (1) zur Umgebungskamera (11) umzulenken, und die Umgebungskamera (11) ausgebildet ist, die vom jeweiligen Spiegelelement (13) umgelenkten Lichtanteile zu erfassen und aus den erfassten Lichtanteilen das Abbild der Umgebung (U) zu erzeugen, dadurch gekennzeichnet, dass die Lichtumlenkeinrichtung (12) eine Vielzahl von Spiegelelementen (13) aufweist, die relativ zu einer Fahrzeughochachse (H) rundum an dem Fahrzeug (1) angeordnet sind, wobei die Positionen der Spiegelelemente (13) derart gewählt sind, dass die Umgebungskamera (11) ausgebildet ist, ein Abbild zu erfassen, das eine Rundumsicht um das Fahrzeug (1) repräsentiert, und/oder die zumindest zwei Spiegelelemente (13) eine kipp- und/oder schwenkbare Oberfläche aufweisen und/oder die Umgebungskamera kipp- und/oder schwenkbar implementiert ist, wobei die Lichtumlenkeinrichtung (12) eine Verstelleinheit zum Kippen und/oder Schwenken des jeweiligen Spiegelelements (13) und/oder der Umgebungskamera (11) aufweist.Vehicle (1) with a camera device (10) for detecting the environment, wherein the camera device (10) comprises at least one environment camera (11) which is arranged in a vehicle interior (I) and which is designed to generate an image of the environment (U) of the vehicle (1), wherein the camera device (10) has a light deflection device (12) with at least two mirror elements (13) which are arranged at different positions relative to the environment camera (11) on the vehicle (1) and which are each designed to deflect light from the environment (U) of the vehicle (1) to the environment camera (11), and the environment camera (11) is designed to detect the light components deflected by the respective mirror element (13) and to generate a light beam from the detected light beams. parts to generate the image of the environment (U), characterized in that the light deflection device (12) has a plurality of mirror elements (13) which are arranged all around the vehicle (1) relative to a vehicle vertical axis (H), wherein the positions of the mirror elements (13) are selected such that the environment camera (11) is designed to capture an image which represents an all-round view around the vehicle (1), and/or the at least two mirror elements (13) have a tiltable and/or pivotable surface and/or the environment camera is implemented so as to be tiltable and/or pivotable, wherein the light deflection device (12) has an adjustment unit for tilting and/or pivoting the respective mirror element (13) and/or the environment camera (11). Fahrzeug (1) nach Anspruch 1, wobei das Fahrzeug (1) eine Auswerteelektronik (20) umfasst, wobei die Auswerteelektronik (20) zumindest ausgebildet ist, unter Anwendung eines Umgebungserkennungsalgorithmus ein Objekt in der Umgebung (U) und/oder einen Zustand der Umgebung (U) aus dem Abbild zu ermitteln, wobei die Auswerteelektronik (20) ausgebildet ist, in Abhängigkeit von dem erkannten Objekt und/oder Zustand zumindest ein Fahrerassistenzsystem des Fahrzeugs (1) zum Ausführen einer vordefinierten Fahrerassistenzfunktion mit einem Steuersignal (S) anzusteuern.Vehicle (1) to Claim 1 , wherein the vehicle (1) comprises evaluation electronics (20), wherein the evaluation electronics (20) are at least designed to determine an object in the environment (U) and/or a state of the environment (U) from the image using an environment recognition algorithm, wherein the evaluation electronics (20) are designed to control at least one driver assistance system of the vehicle (1) with a control signal (S) to carry out a predefined driver assistance function depending on the recognized object and/or state. Fahrzeug (1) nach Anspruch 2, wobei die Auswerteelektronik (20) unter Anwendung des Umgebungserkennungsalgorithmus ausgebildet ist, einen Wetterzustand der Umgebung zu ermitteln und in Abhängigkeit von dem Wetterzustand einen Scheibenwischer (21) und/oder eine Sonnenblende des Fahrzeugs (1) mit dem Steuersignal (S) anzusteuern, und/oder die Auswerteelektronik (20) unter Anwendung des Umgebungserkennungsalgorithmus ausgebildet ist, einen Helligkeitswert in der Umgebung (U) zu ermitteln und in Abhängigkeit von dem Helligkeitswert eine Fahrzeugbeleuchtungseinrichtung (22) mit dem Steuersignal (S) anzusteuern.Vehicle (1) to Claim 2 , wherein the evaluation electronics (20) are designed using the environment recognition algorithm to determine a weather condition of the environment and, depending on the weather condition, to control a windshield wiper (21) and/or a sun visor of the vehicle (1) with the control signal (S), and/or the evaluation electronics (20) are designed using the environment recognition algorithm to determine a brightness value in the environment (U) and, depending on the brightness value, to control a vehicle lighting device (22) with the control signal (S). Fahrzeug (1) nach einem der vorhergehenden Ansprüche und Anspruch 2 , wobei die Auswerteelektronik (20) ausgebildet ist, aus dem Abbild der Rundumsicht eine Repräsentation des Fahrzeugs (1) und eines vorgegebenen Umgebungsbereichs in der Umgebung (U) aus einer Vogelperspektive zu ermitteln und einen Abstand zu einem jeweiligen Objekt in dem Umgebungsbereich zu ermitteln, und die Auswerteelektronik (20) ausgebildet ist, ist eine Anzeigeeinrichtung des Fahrzeugs (1) zum Darstellen der Repräsentation mit dem Steuersignal (S) anzusteuern.Vehicle (1) according to one of the preceding claims and Claim 2 , wherein the evaluation electronics (20) are designed to determine a representation of the vehicle (1) and a predetermined surrounding area in the environment (U) from a bird's eye view from the image of the all-round view and to determine a distance to a respective object in the surrounding area, and the evaluation electronics (20) are designed, a display device of the vehicle (1) is to be controlled with the control signal (S) to display the representation. Fahrzeug (1) nach einem der vorhergehenden Ansprüche und Anspruch 2, wobei die Auswerteelektronik (20) ausgebildet ist, die jeweilige Verstelleinheit abhängig von dem erkannten Objekt und/oder Zustand und/oder einem Fahrmanöver des Fahrzeugs (1) zum Erfassen eines vordefinierten Umgebungsabschnitts in der Umgebung (U) anzusteuern.Vehicle (1) according to one of the preceding claims and Claim 2 , wherein the evaluation electronics (20) are designed to control the respective adjustment unit depending on the detected object and/or state and/or a driving maneuver of the vehicle (1) for detecting a predefined environmental section in the environment (U). Fahrzeug (1) nach einem der vorhergehenden Ansprüche, wobei die Umgebungskamera (11) im Fahrzeuginnenraum (I) an einem Fahrzeugdach angebracht ist.Vehicle (1) according to one of the preceding claims, wherein the surrounding camera (11) is mounted on a vehicle roof in the vehicle interior (I). Kameravorrichtung (10) zur Umgebungserfassung für ein Fahrzeug (1), wobei die Kameravorrichtung (10) zumindest eine Umgebungskamera (11) umfasst, die zum Anordnen in einem Fahrzeuginnenraum (I) ausgebildet ist, und die im angeordneten Zustand ausgebildet ist, ein Abbild der Umgebung (U) des Fahrzeugs (1) zu erzeugen, wobei die Kameravorrichtung (10) eine Lichtumlenkeinrichtung (12) mit zumindest zwei Spiegelelementen (13) aufweist, die zum Anordnen an unterschiedlichen Positionen relativ zur Umgebungskamera (11) an dem Fahrzeug (1) ausgebildet sind, und die jeweils ausgebildet sind, im angeordneten Zustand Licht aus der Umgebung (U) des Fahrzeugs (1) zur Umgebungskamera (11) umzulenken, und die Umgebungskamera (11) ausgebildet ist, die vom jeweiligen Spiegelelement (13) umgelenkten Lichtanteile zu erfassen und aus den erfassten Lichtanteilen das Abbild der Umgebung (U) zu erzeugen, dadurch gekennzeichnet, dass die Lichtumlenkeinrichtung (12) eine Vielzahl von Spiegelelementen (13) aufweist, die im angeordneten Zustand relativ zu einer Fahrzeughochachse (H) rundum an dem Fahrzeug (1) angeordnet sind, wobei die Positionen der Spiegelelemente (13) derart gewählt sind, dass die Umgebungskamera (11) ausgebildet ist, ein Abbild zu erfassen, das eine Rundumsicht um das Fahrzeug (1) repräsentiert, und/oder die zumindest zwei Spiegelelemente (13) eine kipp- und/oder schwenkbare Oberfläche aufweisen und/oder die Umgebungskamera kipp- und/oder schwenkbar implementiert ist, wobei die Lichtumlenkeinrichtung (12) eine Verstelleinheit zum Kippen und/oder Schwenken des jeweiligen Spiegelelements (13) und/oder der Umgebungskamera (11) aufweist.Camera device (10) for detecting the surroundings for a vehicle (1), wherein the camera device (10) comprises at least one surroundings camera (11) which is designed to be arranged in a vehicle interior (I) and which, in the arranged state, is designed to generate an image of the surroundings (U) of the vehicle (1), wherein the camera device (10) has a light deflection device (12) with at least two mirror elements (13) which are designed to be arranged at different positions relative to the surroundings camera (11) on the vehicle (1) and which are each designed to deflect light from the surroundings (U) of the vehicle (1) to the surroundings camera (11) in the arranged state, and the surroundings camera (11) is designed to detect the light components deflected by the respective mirror element (13) and to generate the image of the surroundings (U) from the detected light components, characterized in that the light deflection device (12) has a plurality of mirror elements (13) which, in the arranged state, are arranged relative to a Vehicle vertical axis (H) are arranged all around the vehicle (1), wherein the positions of the mirror elements (13) are selected such that the surroundings camera (11) is designed to capture an image which represents an all-round view around the vehicle (1), and/or the at least two mirror elements (13) have a tiltable and/or pivotable surface and/or the surroundings camera is implemented so as to be tiltable and/or pivotable, wherein the light deflection device (12) has an adjustment unit for tilting and/or pivoting the respective mirror element (13) and/or the surroundings camera (11). Verfahren zum Betreiben einer Kameravorrichtung (10) für ein Fahrzeug (1) nach Anspruch 7, wobei mittels der zumindest zwei Spiegelelemente (13) der Lichtumlenkeinrichtung (12) im angeordneten Zustand Licht aus der Umgebung (U) des Fahrzeugs (1) zur Umgebungskamera (11) umgelenkt wird und die Umgebungskamera (11) die vom jeweiligen Spiegelelement (13) umgelenkten Lichtanteile erfasst und aus den erfassten Lichtanteilen das Abbild der Umgebung (U) erzeugt.Method for operating a camera device (10) for a vehicle (1) according to Claim 7 , wherein by means of the at least two mirror elements (13) of the light deflection device (12) in the arranged state, light from the environment (U) of the vehicle (1) is deflected to the surroundings camera (11) and the surroundings camera (11) receives the light deflected by the respective mirror element (13) Light components are detected and the image of the environment (U) is generated from the detected light components.
DE102023112476.5A 2023-05-11 2023-05-11 Camera device for detecting the environment, vehicle with such a camera device and associated operating method Active DE102023112476B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102023112476.5A DE102023112476B3 (en) 2023-05-11 2023-05-11 Camera device for detecting the environment, vehicle with such a camera device and associated operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102023112476.5A DE102023112476B3 (en) 2023-05-11 2023-05-11 Camera device for detecting the environment, vehicle with such a camera device and associated operating method

Publications (1)

Publication Number Publication Date
DE102023112476B3 true DE102023112476B3 (en) 2024-04-18

Family

ID=90469070

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102023112476.5A Active DE102023112476B3 (en) 2023-05-11 2023-05-11 Camera device for detecting the environment, vehicle with such a camera device and associated operating method

Country Status (1)

Country Link
DE (1) DE102023112476B3 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10323560A1 (en) 2003-05-26 2004-12-23 Robert Bosch Gmbh Camera for detecting brightness around a motor vehicle has a video image sensor to pick up light reflected from a mirror
DE102007017038A1 (en) 2006-04-12 2007-10-18 Toyota Jidosha Kabushiki Kaisha, Toyota Vehicle surrounding monitoring system, has image synthesizing section reducing degree of visibility of display area, which belongs to previous image, in accordance with time after taking up of previous picture
EP2303639B1 (en) 2008-06-23 2011-10-19 Nxp B.V. Vehicle mirror adjustment method and system
DE102010043479A1 (en) 2010-11-05 2012-05-10 Robert Bosch Gmbh Camera arrangement and method for operating a camera arrangement for a motor vehicle
DE102016014837A1 (en) 2016-12-14 2017-07-06 Daimler Ag Environmental detection device for a vehicle
US20170349099A1 (en) 2016-06-02 2017-12-07 Magna Electronics Inc. Vehicle display system with user input display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10323560A1 (en) 2003-05-26 2004-12-23 Robert Bosch Gmbh Camera for detecting brightness around a motor vehicle has a video image sensor to pick up light reflected from a mirror
DE102007017038A1 (en) 2006-04-12 2007-10-18 Toyota Jidosha Kabushiki Kaisha, Toyota Vehicle surrounding monitoring system, has image synthesizing section reducing degree of visibility of display area, which belongs to previous image, in accordance with time after taking up of previous picture
EP2303639B1 (en) 2008-06-23 2011-10-19 Nxp B.V. Vehicle mirror adjustment method and system
DE102010043479A1 (en) 2010-11-05 2012-05-10 Robert Bosch Gmbh Camera arrangement and method for operating a camera arrangement for a motor vehicle
US20170349099A1 (en) 2016-06-02 2017-12-07 Magna Electronics Inc. Vehicle display system with user input display
DE102016014837A1 (en) 2016-12-14 2017-07-06 Daimler Ag Environmental detection device for a vehicle

Similar Documents

Publication Publication Date Title
EP2755859B1 (en) Method and device for an assist system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
EP3024700B1 (en) Method and device for reproducing a lateral and/or rear surrounding area of a vehicle
DE102008028303A1 (en) Display system and program
DE102012022336A1 (en) Method for carrying out an at least semi-autonomous parking operation of a motor vehicle in a garage, parking assistance system and motor vehicle
DE102005045017A1 (en) Method and driver assistance system for sensor-based approach control of a motor vehicle
DE19801884A1 (en) CCTV monitoring system for blind spots around motor vehicle
DE102009010614A1 (en) Vehicular display apparatus
EP3437929A1 (en) Visual system with visual field/view area display depending on the driving situation
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE102018002955A1 (en) PROCESS AND CONTROL ARRANGEMENT FOR ENVIRONMENTAL PERCEPTION
DE102017223160B4 (en) Method for detecting at least one object lying on a motor vehicle and control device and motor vehicle
DE102012012501A1 (en) Camera system for a motor vehicle
DE102007055182A1 (en) Driver assistance system for e.g. sports vehicle, has cameras arranged in external area of vehicle e.g. sports vehicle, and monitor arranged in vehicle interior, where cameras are aligned with visual contact to side of vehicle
DE102014019420A1 (en) Motor vehicle headlight system, motor vehicle, method for operating a motor vehicle headlight system and computer program product
EP2774815A1 (en) Viewing system and vehicle equipped with it
DE102016223232A1 (en) Motor vehicle with automatic driving light control
DE102007049877A1 (en) Sensor module and operating method for this
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102023112476B3 (en) Camera device for detecting the environment, vehicle with such a camera device and associated operating method
DE102006056180A1 (en) Image processing system calibrating method for motor vehicle, involves detecting and evaluating marking on vehicle pane using image sensor, where characteristics of vehicle pane are determined based on detected marking
DE102021205311A1 (en) Motor vehicle with an assistance system
EP1642770A2 (en) Method for directing a vehicle driver's attention to objects in an image
DE102014211869B4 (en) Method and device as well as computer program and machine-readable storage medium for recognizing at least one object in an environment of a mobile unit
DE102013220839B4 (en) A method of dynamically adjusting a brightness of an image of a rear view display device and a corresponding vehicle imaging system
EP3470272A1 (en) Decorative trim for a vehicle and vehicle with decorative trim

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001220000

Ipc: B60R0001270000

R018 Grant decision by examination section/examining division