DE102018219666B4 - Image processing method and camera system for generating a vehicle visibility - Google Patents

Image processing method and camera system for generating a vehicle visibility Download PDF

Info

Publication number
DE102018219666B4
DE102018219666B4 DE102018219666.4A DE102018219666A DE102018219666B4 DE 102018219666 B4 DE102018219666 B4 DE 102018219666B4 DE 102018219666 A DE102018219666 A DE 102018219666A DE 102018219666 B4 DE102018219666 B4 DE 102018219666B4
Authority
DE
Germany
Prior art keywords
camera
image data
vehicle
location
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018219666.4A
Other languages
German (de)
Other versions
DE102018219666A1 (en
Inventor
Alexander Stohr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102018219666.4A priority Critical patent/DE102018219666B4/en
Publication of DE102018219666A1 publication Critical patent/DE102018219666A1/en
Application granted granted Critical
Publication of DE102018219666B4 publication Critical patent/DE102018219666B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den folgenden Schritten:- Vorgeben eines Orts wenigstens eines bekannten Fixpunktes in dem Blickfeld einer Kamera (14; 15);- Erfassen von Bilddaten mittels der Kamera (14; 15);- Bestimmen eines Kameraorts, an welchem die Bilddaten erfasst wurden, insbesondere aufgrund der erfassten Bilddaten und des Orts des Fixpunkts mittels einer Recheneinheit (12);- Verarbeiten der erfassten Bilddaten aufgrund des ermittelten Kameraorts mittels der Recheneinheit (12), welche eingerichtet ist, zu erkennen, ob eine Fahrzeugtür geöffnet ist und das Ergebnis mit einem Türkontakt abzugleichen.Method for processing image data recorded by a vehicle camera, comprising the following steps: - specifying a location of at least one known fixed point in the field of view of a camera (14; 15); - acquiring image data by means of the camera (14; 15); - Determination of a camera location at which the image data were captured, in particular based on the captured image data and the location of the fixed point by means of a computing unit (12); - Processing of the captured image data based on the determined camera location using the computing unit (12), which is set up to recognize whether a vehicle door is open and compare the result with a door contact.

Description

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, sowie ein Kamerasystem zum Generieren einer Fahrzeugumsicht.The present invention relates to a method for processing image data recorded by a vehicle camera, as well as a camera system for generating a vehicle visibility.

TECHNISCHER HINTERGRUNDTECHNICAL BACKGROUND

Die Internetveröffentlichung http://www.autoscout24.de/themen/kfztechnik/elektronik/surround-view-funktionsweise/, die am Anmeldetag dieser Patentanmeldung abrufbar war, zeigt ein Surround-View-System. Derartige Systeme sind eingerichtet, eine Umsicht eines Fahrzeugs mittels Kameras, die an beweglichen Teilen des Fahrzeugs befestigt sind, zu erzeugen.The Internet publication http://www.autoscout24.de/themen/kfztechnik/elektronik/surround-view-funktionsweise/, which was available on the filing date of this patent application, shows a surround view system. Such systems are set up to generate a view of a vehicle by means of cameras which are attached to moving parts of the vehicle.

Die DE 10 2015 209 764 A1 zeigt ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den folgenden Schritten: Vorgeben eines Orts wenigstens eines bekannten Fixpunktes in dem Blickfeld einer Kamera; Erfassen von Bilddaten mittels der Kamera; Bestimmen eines Kameraorts, an welchem die Bilddaten erfasst wurden, insbesondere aufgrund der erfassten Bilddaten und des Orts des Fixpunkts mittels einer Recheneinheit; Verarbeiten der erfassten Bilddaten aufgrund des ermittelten Kameraorts mittels der Recheneinheit.The DE 10 2015 209 764 A1 shows a method for processing image data recorded by a vehicle camera with the following steps: specifying a location of at least one known fixed point in the field of view of a camera; Capturing image data by means of the camera; Determining a camera location at which the image data were captured, in particular based on the captured image data and the location of the fixed point, by means of a computing unit; Processing of the captured image data based on the determined camera location by means of the computing unit.

Die US 2009/0179773 A1 zeigt ein Verfahren zum Kalibrieren einer Kamera.The US 2009/0179773 A1 shows a method for calibrating a camera.

Die DE 10 2017 206 295 B3 zeigt ein Verfahren zum Kalibrieren einer Kamera.The DE 10 2017 206 295 B3 shows a method for calibrating a camera.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein zuverlässigeres Surround-View-System zu schaffen.Against this background, the invention is based on the object of creating a more reliable surround view system.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den Merkmalen des Patentanspruchs 1 und/oder durch ein Kamerasystem zum Generieren einer Fahrzeugumsicht mit den Merkmalen des Patentanspruchs 10 gelöst.According to the invention, this object is achieved by a method for processing image data recorded by a vehicle camera with the features of claim 1 and / or by a camera system for generating a vehicle view with the features of claim 10.

Fahrzeuge im Sinne dieser Patentanmeldung sind motorgetriebene Landfahrzeuge, insbesondere Automobile.Vehicles within the meaning of this patent application are motor-driven land vehicles, in particular automobiles.

Eine Kamera ist eine fototechnische Apparatur, die statische oder bewegte Bilder auf einem fotografischen Film oder elektronisch auf ein magnetisches Videoband oder digitales Speichermedium aufzeichnen oder über eine Schnittstelle übermitteln kann.A camera is a phototechnical apparatus that can record static or moving images on photographic film or electronically on magnetic video tape or digital storage medium or transmit them via an interface.

Ein Ort ist in dieser Patentanmeldung ein absoluter oder relativer Ort. Ein relativer Ort wird bezüglich eines anderen Gegenstandes ausgedrückt. Von dem Begriff Ort ist auch ein Bereich umfasst, sofern die Umrisse des Bereichs bekannt sind. Ein Kameraort ist der Ort einer Kamera.In this patent application, a location is an absolute or relative location. A relative location is expressed in relation to another object. The term location also includes an area, provided that the outline of the area is known. A camera location is the location of a camera.

Ein Ortsbereich eines Gegenstandes ist ein Bereich, in welchem sich ein Gegenstand gerade potentiell befindet. Der Ortsbereich einer Heckklappe ist beispielsweise der Bereich zwischen einer geöffneten und geschlossenen Stellung der Heckklappe.A location area of an object is an area in which an object is currently potentially located. The local area of a tailgate is, for example, the area between an open and closed position of the tailgate.

Ein Fixpunkt ist ein Punkt oder ein Bereich, der ortsfest oder relativ zu einem anderen Gegenstand ortsfest ist. Beispielsweise ist ein Kotflügel ein relativ zu einem Fahrzeug ortsfester Bereich. Ein Fixpunkt kann auch konditional ortsfest sein, d.h. die Ortsfestigkeit unterliegt einer Bedingung, die während der Durchführung des Verfahrens angenommen wird. Beispielsweise ist eine Motorhaube relativ zu einem Fahrzeug konditional ortsfest, nämlich dann, wenn die Motorhaube geschlossen ist. Motorhauben sind während der Fahrt eines Fahrzeugs geschlossen.A fixed point is a point or an area that is stationary or stationary relative to another object. For example, a fender is an area that is stationary relative to a vehicle. A fixed point can also be conditionally fixed, i.e. the local stability is subject to a condition which is assumed during the implementation of the procedure. For example, an engine hood is conditionally stationary relative to a vehicle, namely when the engine hood is closed. Bonnets are closed while a vehicle is in motion.

Bilddaten dienen dem Speichern von Bildern. Bilddaten werden oft digital errechnet oder durch Analog-Digital-Wandlung digitalisiert.Image data is used to store images. Image data are often calculated digitally or digitized by analog-digital conversion.

Ein beweglicher Teil eines Fahrzeugs ist gegenüber einem nicht beweglichen Teil eines Fahrzeugs beweglich. Ein beweglicher Teil eines Fahrzeugs ist beispielsweise eine Heckklappe oder ein einklappbarer Außenspiegel. Ein Positionsbestimmungsmittel ist ein Mittel zur Bestimmung einer Position eines beweglichen Teils. Dies sind beispielsweise Sensoren der beweglichen Teile. Beispielsweise kann ein Sensor einer Heckklappe detektieren, dass die Heckklappe vollständig geöffnet ist. Somit ist auch die Position der Heckklappe bekannt.A moving part of a vehicle is movable with respect to a non-moving part of a vehicle. A moving part of a vehicle is, for example, a tailgate or a folding exterior mirror. A position determining means is a means for determining a position of a movable part. These are, for example, sensors for the moving parts. For example, a sensor of a tailgate can detect that the tailgate is fully open. This means that the position of the tailgate is also known.

Ein Außenspiegel ist eine Anzeigefläche, die das Beobachten des rückwärtigen Verkehrsgeschehens erleichtern und das Führen eines Fahrzeugs sicherer machen soll. Moderne Außenspiegel sind nicht zwangsläufig reflektierende Flächen, sondern können auch als Display ausgebildet sein.An exterior mirror is a display area that is intended to make it easier to observe the traffic behind you and to make driving a vehicle safer. Modern exterior mirrors are not necessarily reflective surfaces, but can also be designed as displays.

Fahrzeuge weisen häufig zwei oder vier Seitentüren auf. Seitentüren sind häufig als Dreh- oder Schiebetüren ausgebildet.Vehicles often have two or four side doors. Side doors are often designed as rotating or sliding doors.

Eine Heckklappe verschließt ein Fahrzeug nach oben und/oder hinten.A tailgate closes a vehicle at the top and / or back.

Ein Kotflügel ist ein Karosserieteil eines Fahrzeuges, das über den Rädern angebracht ist. Ein Kotflügel dient dazu, die Räder eines Fahrzeuges in ausreichender Form abzudecken, um keine anderen Verkehrsteilnehmer, insbesondere Fußgänger, durch die Drehbewegung eines freistehenden Rades zu gefährden.A fender is a body part of a vehicle that is attached over the wheels. A mudguard is used to cover the wheels of a vehicle sufficiently so that no other road users, especially pedestrians, are endangered by the rotational movement of a free-standing wheel.

Eine Umsicht eines Fahrzeugs ist eine Ansicht, welche von einem Fahrzeug aus weggerichtet ist. Eine Umsicht kann einen Bildwinkel von wenigstens 60° abbilden. Eine Rundumsicht eines Fahrzeugs ist eine 360°-Ansicht um ein Fahrzeug herum.A caution of a vehicle is a view that is directed away from a vehicle. Prudence can map an angle of view of at least 60 °. An all-round view of a vehicle is a 360 ° view around a vehicle.

Ein Türkontakt überwacht den Status einer Tür (geöffnet oder geschlossen) und übermittelt diesen Status möglicherweise an weitere Steuergeräte im Fahrzeug bzw. schaltet elektrische Verbraucher abhängig von dem Status.A door contact monitors the status of a door (open or closed) and possibly transmits this status to other control units in the vehicle or switches electrical consumers depending on the status.

Ein Kamerasystem weist eine oder mehrere Kameras auf, wobei mehrere Kameras gegebenenfalls miteinander verbunden sind.A camera system has one or more cameras, with several cameras optionally being connected to one another.

Ein Display ist eine elektrisch angesteuerte Anzeige zur optischen Signalisierung von veränderlichen Informationen wie Bildern oder Zeichen. Ein Display kann dabei ein eigenständiges Gerät oder Teil eines Gerätes sein.A display is an electrically controlled display for the optical signaling of variable information such as images or characters. A display can be an independent device or part of a device.

Ein Blickfeld bezeichnet den Bereich im Bildwinkel eines optischen Geräts, z.B. die Bildfläche einer Kamera, innerhalb dessen Ereignisse oder Veränderungen wahrgenommen und aufgezeichnet werden können.A field of view describes the area in the field of view of an optical device, e.g. the image area of a camera, within which events or changes can be perceived and recorded.

Surround View-Systeme, auch bezeichnet als Area View oder Around View, erzeugen ein Bild aus der Vogelperspektive, also von oben auf ein Fahrzeug. Dafür wird allerdings kein Bild von oben aufgenommen, sondern es werden Bilder von vorne, hinten und von der Seite zusammengefügt. Dazu befinden sich neben einer Rückfahrkamera weitere Weitwinkelkameras an der Front und an den Längsseiten des Fahrzeugs, z.B. unter den beiden Außenspiegeln. Bilder werden dazu oft digital entzerrt und auf einem Monitor im Cockpit des Fahrzeugs dargestellt.Surround view systems, also known as Area View or Around View, create an image from a bird's eye view, i.e. from above onto a vehicle. For this, however, no picture is taken from above, but pictures from the front, back and the side are combined. In addition to a reversing camera, there are other wide-angle cameras on the front and on the long sides of the vehicle, e.g. under the two exterior mirrors. For this purpose, images are often digitally rectified and displayed on a monitor in the vehicle's cockpit.

Die grundlegende Idee der Erfindung ist es, einen Kameraort einer bildaufnehmenden Kamera zu ermitteln und das Bild bzw. die Bilddaten aufgrund des Kameraortes zu verarbeiten.The basic idea of the invention is to determine a camera location of an image recording camera and to process the image or the image data based on the camera location.

Eine weitere grundlegende Idee der Erfindung ist es, ein Kamerasystem zum Generieren einer Fahrzeugumsicht zu schaffen, welches das Anbringen einer Kamera an beweglichen Fahrzeugteilen bzw. das zuverlässige Auswerten von Bilddaten einer Kamera, die an einem beweglichen Fahrzeugteilen befestigt ist, ermöglicht.Another basic idea of the invention is to create a camera system for generating a vehicle visibility, which enables a camera to be attached to moving vehicle parts or the reliable evaluation of image data from a camera that is attached to a moving vehicle part.

Beispielsweise ist es somit möglich einen Surround-View zu erzeugen, selbst wenn eine Kamera Bilddaten von einem ungewöhnlichen Ort aus generiert. Befindet sich die Kamera an einem Außenspiegel, ist ein möglicher ungewöhnlicher Ort beispielsweise ein eingeklappter oder ein verstellter Außenspiegel. Kameras befinden sich oft auch an einer Seitentür eines Fahrzeugs. In diesem Fall ist ein ungewöhnlicher Ort z.B. eine geöffnete Seitentür.For example, it is thus possible to generate a surround view even if a camera is generating image data from an unusual location. If the camera is on an exterior mirror, a possible unusual location is, for example, a folded or misaligned exterior mirror. Cameras are also often located on a side door of a vehicle. In this case, an unusual place is e.g. an open side door.

Erfindungsgemäß ist die Recheneinheit eingerichtet, zu erkennen, ob eine Fahrzeugtür geöffnet ist und das Ergebnis mit einem Türkontakt abzugleichen. Somit ist es möglich, die Feststellung eines Türkontakts hinsichtlich dessen, ob eine Fahrzeugtür geöffnet ist oder nicht, zu plausibilisieren. Dementsprechend ist es denkbar, dass ein beschädigter Türkontakt meldet, dass eine Fahrzeugtür geschlossen ist, obwohl diese in Wahrheit geöffnet ist. In diesem Fall kann ein Benutzer des Fahrzeugs auf eine Warnfunktion über eine geöffnete Tür nicht zurückgreifen. Dementsprechend ließe sich einem Benutzer des Fahrzeugs in diesem Fall empfehlen, eine Werkstatt zur Überprüfung des Türkontakts aufzusuchen.According to the invention, the computing unit is set up to recognize whether a vehicle door is open and to compare the result with a door contact. It is thus possible to check the plausibility of the determination of a door contact with regard to whether a vehicle door is open or not. Accordingly, it is conceivable that a damaged door contact reports that a vehicle door is closed, although it is actually open. In this case, a user of the vehicle cannot resort to a warning function via an open door. Accordingly, a user of the vehicle could in this case be advised to visit a workshop to check the door contact.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.Advantageous refinements and developments result from the further subclaims and from the description with reference to the figures of the drawing.

Gemäß einer bevorzugten Weiterbildung der Erfindung wird der Kameraort bestimmt, indem in den Bilddaten ein Fixpunkt, der einen bekannten Ort aufweist, von der Recheneinheit erkannt wird und eine Richtung zwischen dem Fixpunkt und einem Kameraort ermittelt wird. Somit lässt sich der Kameraort unabhängig von zusätzlichen Sensordaten, die ungenau oder fehlerbehaftet sein können, ermitteln.According to a preferred development of the invention, the camera location is determined by the computing unit recognizing a fixed point which has a known location in the image data and determining a direction between the fixed point and a camera location. In this way, the camera location can be determined independently of additional sensor data, which can be imprecise or faulty.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist die Kamera an einem beweglichen Teil eines Fahrzeugs befestigt und der Kameraort wird aufgrund eines Positionsbestimmungsmittels des beweglichen Teils bestimmt. Sofern Positionsdaten der beweglichen Teile ohnehin bereits bekannt sind ist das zurückgreifen auf diese Positionsdaten mittels eines Positionsbestimmungsmittels besonders ressourcenschonend.According to a preferred development of the invention, the camera is attached to a movable part of a vehicle and the camera location is determined on the basis of a position-determining means of the movable part. If position data of the moving parts are already known, accessing this position data by means of a position determining means is particularly resource-saving.

Gemäß einer bevorzugten Weiterbildung der Erfindung wird ferner ein Ortsbereich der Kamera vorgegeben. Ist die Kamera an einem beweglichen Teil des Fahrzeugs befestigt kann der Ortsbereich der Kamera beispielsweise ein Bereich zwischen einer ersten Position und einer zweiten Position des beweglichen Teils sein. Dies reduziert die erforderliche Rechenleistung zum ermitteln des Orts der Kamera. Ferner kann somit bei rechnerisch mehreren möglichen Lösungen für einen Kameraort die Eindeutigkeit einer Lösung gewährleistet bzw. verbessert werden.According to a preferred development of the invention, a local area of the camera is also specified. If the camera is attached to a movable part of the vehicle, the local area of the camera can be, for example, an area between a first position and a second position of the movable part. This reduces the computing power required to determine the location of the camera. Furthermore, in the case of several possible solutions for a camera location, the uniqueness of a solution can be ensured or improved.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist die Kamera an einem Außenspiegel und/oder ein einer Seitentür und/oder an einer Heckklappe des Fahrzeugs angebracht. Dementsprechend kann eine Kamera beispielsweise an einem Außenspiegel befestigt sein. Ein Außenspiegel ist aufgrund seines Abstands zu einem Hauptkörper des Fahrzeugs besonders geeignet für das Erfassen von Bilddaten.According to a preferred development of the invention, the camera is attached to an exterior mirror and / or a side door and / or to a tailgate of the vehicle. Accordingly, a camera can be attached to an exterior mirror, for example. Because of its distance from a main body of the vehicle, an outside mirror is particularly suitable for capturing image data.

Alternativ oder zusätzlich kann eine Kamera an einer Seitentür eines Fahrzeugs befestigt sein. Alternativ oder zusätzlich kann eine Kamera an einer Heckklappe eines Fahrzeugs befestigt sein. Eine Heckklappe ist ein besonders vorteilhafter Ort für eine Kamera, um eine Rückansicht eines Fahrzeugs aufzunehmen.Alternatively or additionally, a camera can be attached to a side door of a vehicle. Alternatively or additionally, a camera can be attached to a tailgate of a vehicle. A tailgate is a particularly advantageous location for a camera to take a rear view of a vehicle.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist der Fixpunkt ein Kotflügel. Eine Kamera eines Fahrzeugs ist hinsichtlich ihres Bildwinkels und ihres Orts häufig so ausgelegt, dass ein Kotflügel eines Fahrzeugs an verschiedenen Kameraorten im Blickfeld der Kamera ist. Dementsprechend ist ein Kotflügel ein besonders zuverlässiger Fixpunkt.According to a preferred development of the invention, the fixed point is a fender. With regard to its angle of view and its location, a camera of a vehicle is often designed in such a way that a fender of a vehicle is in the field of view of the camera at different camera locations. Accordingly, a fender is a particularly reliable fixed point.

Gemäß einer bevorzugten Weiterbildung der Erfindung wird das erfasste Bild verarbeitet, indem das Bild in eine Umsicht des Fahrzeugs eingebunden wird. Dies ist besonders vorteilhaft für einen Fahrer oder einen Benutzer des Kamerasystems, da somit Bilddaten mehrerer aufgenommener Bilder derart visualisiert werden können, dass ein Mensch die Bilddaten in kurzer Zeit wahrnehmen und verarbeiten kann. Dies schont mentale Ressourcen eines Benutzers des Kamerasystems.According to a preferred development of the invention, the captured image is processed by integrating the image into a view of the vehicle. This is particularly advantageous for a driver or a user of the camera system, since image data of several recorded images can thus be visualized in such a way that a person can perceive and process the image data in a short time. This saves mental resources for a user of the camera system.

Dementsprechend ist es zweckmäßig, wenn die Umsicht eine Seitenansicht, Rückansicht und/oder Frontansicht oder eine Kombination aus einer Seitenansicht, Rückansicht oder Frontansicht, insbesondere eine Rundumsicht des Fahrzeugs ist. Diese genannten Ansichten eines Fahrzeugs liefern für einen Fahrer besonders wertvolle Informationen und erleichtern das Steuern eines Fahrzeugs, beispielsweise während des Einparkens.Accordingly, it is useful if the circumspection is a side view, rear view and / or front view or a combination of a side view, rear view or front view, in particular an all-round view of the vehicle. These views of a vehicle mentioned provide particularly valuable information for a driver and make it easier to control a vehicle, for example while parking.

Das Computerprogrammprodukt gemäß einer Ausführungsform der Erfindung führt die Schritte eines Verfahrens gemäß der vorangehenden Beschreibung aus, wenn das Computerprogrammprodukt auf einem Computer, insbesondere einem fahrzeuginternen Computer, läuft. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen Effekt hervor, nämlich die angepasste Bildverarbeitung aufgrund eines Kameraorts, von welchem aus Bilddaten aufgenommen wurden.The computer program product according to an embodiment of the invention carries out the steps of a method according to the preceding description when the computer program product runs on a computer, in particular a computer internal to the vehicle. When the program in question is used on a computer, the computer program product produces an effect, namely the adapted image processing based on a camera location from which image data were recorded.

Es versteht sich, dass Fahrzeuge mit einem erfindungsgemäßen Kamerasystem leichter zu steuern sind, da ein Fahrer des Fahrzeugs mit einem Blick auf einen Monitor relevante Bereiche um ein Fahrzeug erfassen kann. Dies ist besonders für Fahrrad mit einer eingeschränkten Beweglichkeit vorteilhaft und steigert somit die Sicherheit aller Verkehrsteilnehmer.It goes without saying that vehicles with a camera system according to the invention are easier to control, since a driver of the vehicle can capture relevant areas around a vehicle with a glance at a monitor. This is particularly advantageous for bicycles with limited mobility and thus increases the safety of all road users.

FigurenlisteFigure list

Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:

  • 1 ein schematisches Blockschaltbild einer Ausführungsform der Erfindung;
  • 2 eine schematische Ansicht einer Ausführungsform der Erfindung;
  • 3 ein schematisches Blockschaltbild einer Ausführungsform der Erfindung.
The present invention is explained in more detail below with reference to the exemplary embodiments specified in the schematic figures of the drawings. It shows:
  • 1 a schematic block diagram of an embodiment of the invention;
  • 2 a schematic view of an embodiment of the invention;
  • 3 a schematic block diagram of an embodiment of the invention.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.The accompanying drawings are intended to provide a further understanding of the embodiments of the invention. They illustrate embodiments and, in conjunction with the description, serve to explain principles and concepts of the invention. Other embodiments and many of the advantages mentioned emerge with a view to the drawings. The elements of the drawings are not necessarily shown to scale with one another.

In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.In the figures of the drawings, elements, features and components that are identical, functionally identical and have the same effect - unless otherwise stated - are each provided with the same reference symbols.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELENDESCRIPTION OF EXEMPLARY EMBODIMENTS

1 zeigt ein schematisches Blockschaltbild eines Kamerasystems 10 mit einer Kamera 14, einer Kamera 15 und einer Recheneinheit 12. Die Kameras 14, 15 sind mit der Recheneinheit 12 jeweils über eine Datenverbindung 16 verbunden. Die Kamera 14 bzw. 15 ist an einem beweglichen Außenspiegel 54 bzw. an einer beweglichen Heckklappe eines Fahrzeugs 50 befestigt und ist eingerichtet, Bilder der Umgebung des Fahrzeugs 50 aufzunehmen. 1 shows a schematic block diagram of a camera system 10 with a camera 14th , a camera 15th and a computing unit 12th . The cameras 14th , 15th are with the arithmetic unit 12th each via a data connection 16 connected. The camera 14th or. 15th is on a movable wing mirror 54 or on a movable tailgate of a vehicle 50 attached and set up, images of the area around the vehicle 50 record.

Die Bilder der Kameras 14, 15 werden mittels der Datenverbindung 16 an die Recheneinheit 12 übermittelt. Die Recheneinheit 12 ist eingerichtet, die Bilder der Kameras 14, 15 zu einer Umsicht des Fahrzeugs zusammenzufügen. Hierfür ermittelt die Recheneinheit 12 zunächst jeweils den Kameraort der Kameras 14 und 15. Aufgrund des ermittelten Ortes wird eine passende Bildverzerrung und ein passender Bildausschnitt zum Einfügen der Bilder in eine Umsicht des Fahrzeugs ermittelt.The pictures from the cameras 14th , 15th using the data connection 16 to the computing unit 12th transmitted. The arithmetic unit 12th is set up, the images from the cameras 14th , 15th to put together to a prudence of the vehicle. The processing unit determines for this 12th initially the camera location of the cameras 14th and 15th . On the basis of the determined location, a suitable image distortion and a suitable image section for inserting the images into a circumference of the vehicle are determined.

Die 2 zeigt eine Prinzipskizze eines Cockpits eines Fahrzeugs 50 mit einem Kamerasystem 10. Das Fahrzeug 50 umfasst einen Außenspiegel 54, an dem die Kamera 14 befestigt ist. Das Fahrzeug 50 umfasst ferner eine seitliche Fahrzeugtür 56 (Fahrertür). Zwischen der Fahrzeugtür 56 und der Karosserie ist eine Kante, in welcher eine weitere Kamera anbringbar ist. In dem Cockpit des Fahrzeugs 50 ist ein Display 52 ausgebildet, auf welchem die Umsicht des Fahrzeugs, die mittels der Recheneinheit 12 erzeugt wurde, angezeigt wird.The 2 shows a schematic diagram of a cockpit of a vehicle 50 with a camera system 10 . The vehicle 50 includes an outside mirror 54 where the camera 14th is attached. The vehicle 50 also includes a side vehicle door 56 (Drivers door). Between the vehicle door 56 and the body is an edge in which another camera can be attached. In the cockpit of the vehicle 50 is a display 52 formed on which the caution of the vehicle, which is determined by means of the computing unit 12th is displayed.

Die 3 zeigt ein Blockschaltbild eines Verfahrens gemäß einer Ausführungsform der Erfindung. In dem Schritt S1 wird der Ort wenigstens eines bekannten Fixpunktes vorgegeben. Dieser Schritt kann beispielsweise erfolgen, indem eine Positionsangabe des Fixpunkts in Relation zu dem Fahrzeug 50 auf einem Datenträger der Recheneinheit 12 gespeichert ist und bei der Durchführung des Verfahrens abgefragt wird.The 3 shows a block diagram of a method according to an embodiment of the invention. In the step S1 the location of at least one known fixed point is specified. This step can take place, for example, by specifying the position of the fixed point in relation to the vehicle 50 on a data carrier of the processing unit 12th is stored and is queried when carrying out the procedure.

In dem Schritt S2 werden Bilddaten mittels einer Kamera erfasst.In the step S2 image data are captured using a camera.

In dem Schritt S3 wird ein Kameraort, an dem die Bilddaten erfasst wurden aufgrund der erfassten Bilddaten und aufgrund des Ortes des Fixpunktes mittels einer Recheneinheit bestimmt. Dies kann zum Beispiel durch den Schritt S3.1, wobei der Kameraort bestimmt wird, indem in den Bilddaten ein Fixpunkt, welcher einen bekannten Ort aufweist, von der Recheneinheit erkannt wird und eine Richtung zwischen dem Fixpunkt und einem Kameraort ermittelt wird, erfolgen.In the step S3 a camera location at which the image data was captured is determined based on the captured image data and based on the location of the fixed point by means of a computing unit. This can be done for example through the step S3.1 , the camera location being determined in that a fixed point, which has a known location, is recognized by the processing unit in the image data and a direction between the fixed point and a camera location is determined.

In dem Schritt S4 wird das erfasste Bild aufgrund des ermittelten Kameraorts mittels der Recheneinheit verarbeitet. Dies kann zum Beispiel durch den Schritt S4.1, wobei die erfassten Bilddaten verarbeitet werden, indem die Bilddaten in eine Umsicht des Fahrzeugs eingebunden werden, erfolgen.In the step S4 the captured image is processed by means of the computing unit based on the determined camera location. This can be done for example through the step S4.1 , the captured image data being processed by integrating the image data into a view of the vehicle.

BezugszeichenlisteList of reference symbols

1010
KamerasystemCamera system
1212
RecheneinheitArithmetic unit
1414th
Kameracamera
1515th
Kameracamera
1616
Datenverbindung Data Connection
5050
Fahrzeugvehicle
5252
DisplayDisplay
5454
AußenspiegelExterior mirrors
5656
Fahrzeugtür Vehicle door
S1 - S4.1S1 - S4.1
VerfahrensschritteProcedural steps

Claims (11)

Verfahren zum Verarbeiten von Bilddaten, welche von einer Fahrzeugkamera aufgenommen wurden, mit den folgenden Schritten: - Vorgeben eines Orts wenigstens eines bekannten Fixpunktes in dem Blickfeld einer Kamera (14; 15); - Erfassen von Bilddaten mittels der Kamera (14; 15); - Bestimmen eines Kameraorts, an welchem die Bilddaten erfasst wurden, insbesondere aufgrund der erfassten Bilddaten und des Orts des Fixpunkts mittels einer Recheneinheit (12); - Verarbeiten der erfassten Bilddaten aufgrund des ermittelten Kameraorts mittels der Recheneinheit (12), welche eingerichtet ist, zu erkennen, ob eine Fahrzeugtür geöffnet ist und das Ergebnis mit einem Türkontakt abzugleichen.Method for processing image data recorded by a vehicle camera with the following steps: - Specifying a location of at least one known fixed point in the field of view of a camera (14; 15); - Acquisition of image data by means of the camera (14; 15); - Determination of a camera location at which the image data were captured, in particular based on the captured image data and the location of the fixed point by means of a computing unit (12); - Processing of the captured image data based on the determined camera location by means of the computing unit (12), which is set up to recognize whether a vehicle door is open and to compare the result with a door contact. Verfahren zum Verarbeiten von Bilddaten nach Anspruch 1, wobei der Kameraort bestimmt wird, indem in den Bilddaten ein Fixpunkt, welcher einen bekannten Ort aufweist, von der Recheneinheit (12) erkannt wird und eine Richtung zwischen dem Fixpunkt und einem Kameraort ermittelt wird.Method for processing image data according to Claim 1 , the camera location being determined by the computing unit (12) recognizing a fixed point in the image data which has a known location and determining a direction between the fixed point and a camera location. Verfahren zum Verarbeiten von Bilddaten nach einem der vorstehenden Ansprüche, wobei die Kamera (14;15) an einem beweglichen Teil eines Fahrzeugs befestigt ist und der Kameraort aufgrund eines Positionsbestimmungsmittels des beweglichen Teils bestimmt wird.Method for processing image data according to one of the preceding claims, wherein the camera (14; 15) is attached to a movable part of a vehicle and the camera location is determined on the basis of a position determining means of the movable part. Verfahren zum Verarbeiten von Bilddaten nach einem der vorstehenden Ansprüche, wobei ferner ein Ortsbereich der Kamera (14;15) vorgegeben wird.Method for processing image data according to one of the preceding claims, wherein a location area of the camera (14; 15) is also specified. Verfahren zum Verarbeiten von Bilddaten nach einem der vorstehenden Ansprüche, wobei die Kamera (14;15) an einem Außenspiegel und/oder an einer Seitentür und/oder an einer Heckklappe des Fahrzeugs angebracht ist.Method for processing image data according to one of the preceding claims, wherein the camera (14; 15) is attached to an exterior mirror and / or to a side door and / or to a tailgate of the vehicle. Verfahren zum Verarbeiten von Bilddaten nach einem der vorstehenden Ansprüche, wobei der Fixpunkt ein Kotflügel ist.Method for processing image data according to one of the preceding claims, wherein the fixed point is a fender. Verfahren zum Verarbeiten von Bilddaten nach einem der vorstehenden Ansprüche, wobei die erfassten Bilddaten verarbeitet werden, indem die Bilddaten in eine Umsicht des Fahrzeugs eingebunden werden.Method for processing image data according to one of the preceding claims, wherein the captured image data are processed by integrating the image data into a view of the vehicle. Verfahren zum Verarbeiten von Bilddaten nach Anspruch 7, wobei die Umsicht eine Seitenansicht, Rückansicht und/oder Frontansicht oder eine Kombination aus einer Seitenansicht, Rückansicht oder Frontansicht, insbesondere eine Rundumsicht, des Fahrzeugs ist.Method for processing image data according to Claim 7 with caution a side view, Rear view and / or front view or a combination of a side view, rear view or front view, in particular an all-round view, of the vehicle. Computerprogrammprodukt mit Programmcode-Mitteln, um das Verfahren nach einem der vorstehenden Ansprüche durchzuführen.Computer program product with program code means in order to carry out the method according to one of the preceding claims. Kamerasystem (10) zum Generieren einer Fahrzeugumsicht welches wenigstens eine Kamera (14;15) mit einem Blickfeld und eine Recheneinheit (12), welche mittels einer Datenverbindung (16) mit der Kamera (14;15) verbunden ist, aufweist, wobei die Kamera (14;15) an einem beweglichen Teil eines Fahrzeugs anbringbar ist und eingerichtet ist, Bilddaten des Blickfelds der Kamera (14;15) zu erfassen, wobei die Recheneinheit (12) eingerichtet ist, einen Kameraort zu bestimmen und die Bilddaten aufgrund des Kameraortes weiterzuverarbeiten und die Recheneinheit eingerichtet ist, zu erkennen, ob eine Fahrzeugtür geöffnet ist und das Ergebnis mit einem Türkontakt abzugleichen.Camera system (10) for generating a vehicle view which at least one camera (14; 15) with a field of view and a computing unit (12) which is connected to the camera (14; 15) by means of a data connection (16), having, wherein the camera (14; 15) can be attached to a movable part of a vehicle and is set up to capture image data of the field of view of the camera (14; 15), wherein the computing unit (12) is set up to determine a camera location and to further process the image data based on the camera location and the computing unit is set up to recognize whether a vehicle door is open and to compare the result with a door contact. Fahrzeug (50) mit einem Kamerasystem (10) nach Anspruch 10, welches eingerichtet ist, ein Verfahren nach einem der Ansprüche 1-8 durchzuführen, wobei das Fahrzeug ein Display (52) zum Anzeigen der verarbeiteten Bilddaten aufweist.Vehicle (50) with a camera system (10) Claim 10 , which is set up, a method according to one of the Claims 1 - 8th perform, wherein the vehicle has a display (52) for displaying the processed image data.
DE102018219666.4A 2018-11-16 2018-11-16 Image processing method and camera system for generating a vehicle visibility Active DE102018219666B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018219666.4A DE102018219666B4 (en) 2018-11-16 2018-11-16 Image processing method and camera system for generating a vehicle visibility

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018219666.4A DE102018219666B4 (en) 2018-11-16 2018-11-16 Image processing method and camera system for generating a vehicle visibility

Publications (2)

Publication Number Publication Date
DE102018219666A1 DE102018219666A1 (en) 2020-05-20
DE102018219666B4 true DE102018219666B4 (en) 2020-12-24

Family

ID=70470600

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018219666.4A Active DE102018219666B4 (en) 2018-11-16 2018-11-16 Image processing method and camera system for generating a vehicle visibility

Country Status (1)

Country Link
DE (1) DE102018219666B4 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179773A1 (en) * 2005-10-28 2009-07-16 Hi-Key Limited Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
DE102015209764A1 (en) * 2015-05-28 2016-12-01 Bayerische Motoren Werke Aktiengesellschaft Extrinsic calibration of an image capture device of a vehicle
DE102017206295B3 (en) * 2017-04-12 2018-01-25 Robert Bosch Gmbh Method, apparatus and computer program for calibrating a vehicle camera of a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090179773A1 (en) * 2005-10-28 2009-07-16 Hi-Key Limited Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
DE102015209764A1 (en) * 2015-05-28 2016-12-01 Bayerische Motoren Werke Aktiengesellschaft Extrinsic calibration of an image capture device of a vehicle
DE102017206295B3 (en) * 2017-04-12 2018-01-25 Robert Bosch Gmbh Method, apparatus and computer program for calibrating a vehicle camera of a vehicle

Also Published As

Publication number Publication date
DE102018219666A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
EP2753533B1 (en) Determination of the position of structural elements of a vehicle
EP2865569B1 (en) Display device for fields of vision of a commercial vehicle
DE102005063445B4 (en) Rangierhilfe for drivers of vehicles or vehicle combinations, which consist of mutually bendable vehicle elements
DE102010034139A1 (en) Method for supporting a parking process of a motor vehicle, driver assistance system and motor vehicle
DE10227221A1 (en) Method for monitoring the interior or exterior of a vehicle and a vehicle with at least one panoramic camera
EP1037189B1 (en) Method to display objects for vehicle
DE102011079913A1 (en) Visual assistance system for a driver and vehicle with such a system
DE102017117287A1 (en) VISIBILITY SYSTEM WITH DRIVING SITUATION-ORIENTED VIEW FIELD / VIEW AREA INSIGHT
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
DE102010020201A1 (en) Image displaying method for use in motor vehicle i.e. car, involves representing illustration of images as function of driving mode of motor vehicle, where driving mode is provided with two driving conditions
DE102016011853A1 (en) A method of generating three-dimensional information of an environment of a vehicle
DE102018108433A1 (en) Image display device
EP2500216A1 (en) Method and device for images for a driver assistance system
DE102010018782A1 (en) Test device for driver assistance system, has supporting part whose end is translational-moved parallel to lane of wheels, where device is connected with rear part of carrier vehicle by coupling unit and driven by wheels on road surface
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102009003220B4 (en) Procedure for collision warning and collision warning device
DE102013214369A1 (en) Method and device for reproducing a surrounding area of a vehicle
DE102009057336A1 (en) Device for monitoring spatial area outside car, has processing unit containing information about static object and about objects and persons within spatial area, so that display unit generates alert and controls actuation of vehicle door
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102006037600A1 (en) Method for resolution based representation of ambience of motor vehicle for use in parking system, involves capturing ambience information from ambience of motor vehicle by image sensor
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
DE102018219666B4 (en) Image processing method and camera system for generating a vehicle visibility
WO2006024446A1 (en) Auxiliary device for handling a vehicle
DE102016218602A1 (en) A method for changing the perception of the outside world of a vehicle
EP3268928A1 (en) Method for combining two images of vehicle surroundings of a vehicle, and corresponding device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final