DE102019116004A1 - Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera - Google Patents

Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera Download PDF

Info

Publication number
DE102019116004A1
DE102019116004A1 DE102019116004.9A DE102019116004A DE102019116004A1 DE 102019116004 A1 DE102019116004 A1 DE 102019116004A1 DE 102019116004 A DE102019116004 A DE 102019116004A DE 102019116004 A1 DE102019116004 A1 DE 102019116004A1
Authority
DE
Germany
Prior art keywords
vehicle
image
response
camera
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102019116004.9A
Other languages
English (en)
Other versions
DE102019116004B4 (de
Inventor
Nathaniel W. Hart
Robert D. Sims
Hao Yu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102019116004A1 publication Critical patent/DE102019116004A1/de
Application granted granted Critical
Publication of DE102019116004B4 publication Critical patent/DE102019116004B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die vorliegende Anwendung bezieht sich im Allgemeinen auf ein Verfahren und eine Vorrichtung zur Objekterkennung an einem Ort, der von einem Kamerablickfeld in einem Kraftfahrzeug verdeckt ist. Insbesondere ist das System in der Lage, ein FOV mit einer Lichtquelle aus einem niedrigen Winkel zu beleuchten, ein Bild des FOV aus einem hohen Winkel aufzunehmen und einen Schatten innerhalb des Bildes zu erkennen, der individuell für ein von der Lichtquelle beleuchtetes Objekt ist.

Description

  • HINTERGRUND
  • Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Kameras, insbesondere auf Kameras, die in Fahrzeugen verwendet werden. Genauer gesagt, beziehen sich die Aspekte der vorliegenden Offenbarung auf Systeme, Verfahren und Vorrichtungen zur Überwindung von Kamera-Blindzonen durch die Verwendung einer Leuchtdiode (LED), um Licht aus dem Fahrzeug zu projizieren und Objekte innerhalb einer Kamera-Blindzone zu beleuchten und die resultierenden Schatten innerhalb des Kamerablickfeldes („field of view „FOV) zu erfassen.
  • Da autonome Fahrzeuge oder automatisierte Fahrassistenzfunktionen an Fahrzeugen immer allgegenwärtiger werden, wird das Erkennen von Objekten um ein Fahrzeug herum immer notwendiger, um eine ordnungsgemäße Steuerung und Handhabung des Fahrzeugs sicherzustellen. Digitalkameras, die von Fahrzeugsystemen verwendet werden, empfangen Licht durch eine Linse und können die einfallenden Lichtstrahlen in ein elektronisches Signal umwandeln, um die durch die Lichtstrahlen definierten Bilder anzuzeigen, auszuwerten oder zu speichern. Da diese Kameras zunehmend bündig mit der Karosserieoberfläche montiert oder hinter Fahrzeugverglasungen angeordnet sind, kann das FOV dieser Kameras durch andere Teile des Fahrzeugs behindert werden. Die Erhöhung der Anzahl der Kameras und der entsprechenden Verarbeitungsschaltungen zur Lösung dieses Problem kann unwirtschaftlich sein.
  • So werden beispielsweise Kameras für autonome Fahrzeuge oder automatisierte Fahrassistenzsysteme idealerweise an einem Hochpunkt am Fahrzeug montiert, z.B. hinter dem Rückspiegel, um eine bessere Sicht auf die Umgebung des Fahrzeugs zu ermöglichen. Diese Hochpunkte am Fahrzeug führen jedoch tendenziell zu versperrten Sichtverhältnissen auf die unmittelbar um das Fahrzeug herum liegende Fahrbahnoberfläche. Es wäre wünschenswert, diese Probleme zu überwinden, um die Blindzonen für eine Fahrzeugkamera zu reduzieren.
  • Die oben genannten Informationen, die in diesem Hintergrundabschnitt offenbart werden, dienen nur der Verbesserung des Verständnisses des Hintergrunds der Erfindung und können daher Informationen enthalten, die nicht den Stand der Technik darstellen, der in diesem Land einem Durchschnittsfachmann bereits bekannt ist.
  • BESCHREIBUNG
  • Hierin offenbart sind Obj ekterkennungsverfahren und -systeme und die dazugehörige Steuerlogik zur Bereitstellung von Fahrzeugabtast- und -steuerungssystemen, Verfahren zur Herstellung und zum Betrieb solcher Systeme sowie Kraftfahrzeuge, die mit Onboard-Sensorik und -Steuerungssystemen ausgestattet sind. Als Beispiel, und nicht als Einschränkung, werden verschiedene Ausführungsformen eines Kamerasystems, eines LED-Lichtprojektionssystems und von Bildverarbeitungssystemen vorgestellt.
  • Gemäß einem Aspekt der vorliegenden Erfindung, wobei das Verfahren das Beleuchten eines Sichtfeldes unter Verwendung einer ersten Lichtquelle, das Erfassen eines Bildes des Sichtfeldes, das Erkennen eines Schattens innerhalb des Bildes, das Bestimmen der Anwesenheit eines Objekts als Reaktion auf den Schatten, das Erzeugen eines Steuersignals als Reaktion auf die Anwesenheit des Objekts und das Steuern eines Fahrzeugs als Reaktion auf das Steuersignal umfasst.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine Lichtquelle zum Beleuchten eines Sichtfeldes, eine Kamera zum Erfassen eines Bildes des Sichtfeldes, einen Prozessor zum Erkennen eines Schattens innerhalb des Bildes, zum Bestimmen der Anwesenheit eines Objekts als Reaktion auf den Schatten und zum Erzeugen eines Steuersignals als Reaktion auf die Anwesenheit des Objekts, und eine Fahrzeugsteuerung zum Steuern eines Fahrzeugs als Reaktion auf das Steuersignal.
  • Gemäß einem weiteren Aspekt der vorliegenden Erfindung eine Vorrichtung zum Bestimmen der Anwesenheit eines Objekts innerhalb eines Sichtfeldes, umfassend eine LED-Anordnung zum Beleuchten des Sichtfeldes zu einem ersten Zeitpunkt unter Verwendung einer ersten LED und zum Beleuchten des Sichtfeldes zu einem zweiten Zeitpunkt unter Verwendung einer zweiten LED, eine Kamera zum Erkennen eines ersten Bildes beim ersten Zeitpunkt und eines zweiten Bildes beim zweiten Zeitpunkt, einen Prozessor zum Vergleichen des ersten Bildes und des zweiten Bildes, um die Anwesenheit eines Objekts als Reaktion auf das erste Bild und das zweite Bild zu bestimmen und ein Steuersignal als Reaktion auf die Bestimmung der Anwesenheit des Objekts zu erzeugen, und eine Fahrzeugsteuerung zum Steuern des Fahrzeugs als Reaktion auf das Steuersignal.
  • Der vorgenannte Vorteil und weitere Vorteile und Merkmale der vorliegenden Offenbarung ergeben sich aus der folgenden detaillierten Beschreibung der bevorzugten Ausführungsformen im Zusammenhang mit den beigefügten Zeichnungen.
  • Figurenliste
  • Die oben genannten und andere Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie sie erreicht wird, werden deutlicher und die Erfindung wird besser verstanden, wenn man sich auf die folgende Beschreibung der Ausführungsformen der Erfindung in Verbindung mit den begleitenden Figuren bezieht, wobei:
    • 1 veranschaulicht eine exemplarische Anwendung des Verfahrens und der Vorrichtung zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 2 eine exemplarische Installation des Systems zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 3 zeigt ein Blockdiagramm, das ein exemplarisches System zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug der vorliegenden Offenbarung darstellt.
    • 4 zeigt ein Flussdiagramm, das ein exemplarisches Verfahren zur Objekterkennung in Blindzonen einer Kamera gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
    • 5 zeigt ein Flussdiagramm, das ein exemplarisches Verfahren zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug unter kontrastarmen Bedingungen gemäß einer exemplarischen Ausführungsform der vorliegenden Offenbarung darstellt.
  • Die hierin dargestellten beispielhaften Ausführungsformen veranschaulichen bevorzugte Ausführungsformen der Erfindung, und solche Beispiele sind nicht so auszulegen, dass sie den Umfang der Erfindung in irgendeiner Weise einschränken.
  • DETAILLIERTE BESCHREIBUNG
  • Ausführungsformen der vorliegenden Offenbarung sind hierin beschrieben. Es ist jedoch zu verstehen, dass die offenbarten Ausführungsformen nur Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Zahlen sind nicht unbedingt skalierbar; einige Merkmale können übertrieben oder minimiert werden, um Details zu bestimmten Komponenten zu zeigen. Spezifische strukturelle und funktionale Details, die hierin offenbart werden, sind daher nicht als einschränkend, sondern lediglich als repräsentativ zu interpretieren. Die verschiedenen Merkmale, die mit Bezug auf eine der Figuren dargestellt und beschrieben werden, können mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsformen zu erzeugen, die nicht explizit veranschaulicht oder beschrieben werden. Die dargestellten Merkmalskombinationen stellen repräsentative Ausführungsformen für typische Anwendungen dar. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung übereinstimmen, könnten jedoch für bestimmte Anwendungen oder Implementierungen gewünscht werden.
  • 1 veranschaulicht schematisch eine exemplarische Anwendung des Verfahrens und der Vorrichtung zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug 100 gemäß der vorliegenden Offenbarung. In dieser exemplarischen Ausführungsform fährt ein Fahrzeug 110 auf einer Fahrbahnoberfläche 120. Eine Kamera wird verwendet, um Bilder innerhalb einer Kamera FOV 140 aufzunehmen. Wie man sehen kann, wird das FOV 140 der Kamera teilweise durch die Vorderkante der Motorhaube des Fahrzeugs 110 blockiert. Ein Objekt 150 wird im Vorwärtsweg des Fahrzeugs 110, jedoch außerhalb des FOV 140 der Kamera dargestellt.
  • Das exemplarische Fahrzeug ist weiterhin mit einem LED-Projektionssystem nach dem derzeit offenbarten System und Verfahren ausgestattet. Eine Fahrzeugsteuerung ist funktionsfähig, um eine oder mehrere LEDs zu beleuchten, die an einer niedrigeren Stelle an der Vorderseite des Fahrzeugs angebracht sind. In diesem Beispiel sind eine oder mehrere LEDs an dem Stoßfängerblende des Fahrzeugs montiert. Die LEDs werden aktiviert und leuchten so den Bereich vor dem Fahrzeug aus. In dieser anschaulichen Ausführungsform wird das Objekt 150 beleuchtet und ein Schatten durch das Objekt 130 in das FOV 140 der Kamera geworfen. Dieser Vorgang kann mit zusätzlichen LEDs wiederholt werden, so dass innerhalb des FOV 140 eindeutige Schatten auftreten, wenn jede LED aktiviert wird. Die Bildverarbeitungsschaltung innerhalb des Fahrzeugs 110 ist ausführbar, um dann den Schatten innerhalb des Bildes zu erfassen und anschließend auf die Anwesenheit des Objekts 150 hinzuweisen. Eine Fahrzeugsteuerung kann dann ausführbar sein, um das Objekt zu vermeiden oder eine Warnung an einen Fahrzeugführer auszulösen.
  • Nun zu 2, eine exemplarische Installation des Systems zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug 200. Die exemplarische Installation wird in der Vorderseite eines Fahrzeugs 120 installiert. Eine Kamera 140 ist an einer hohen Stelle am Fahrzeug 140 installiert. In dieser exemplarischen Ausführungsform ist die Kamera 140 hinter und am oberen Rand der Windschutzscheibe installiert. Die Anlage verfügt ferner über eine Vielzahl von LEDs 160, die in der Nähe der Fahrbahnoberfläche auf der vorderen Stoßfängerblende montiert sind. Eine beliebige Anzahl von LEDs kann entsprechend dem aktuell offenbarten System und Verfahren eingesetzt werden und ist eine Frage der Designwahl.
  • Nun zu 3, ein Blockdiagramm, das ein exemplarisches System zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug 300 veranschaulicht. Das exemplarische System umfasst einen Bildprozessor 310, eine Kamera 320, eine LED-Anordnung 330, einen Fahrzeugprozessor 350 und eine Fahrzeugsteuerung 360. In dieser exemplarischen Ausführungsform ist das System ein kostengünstiges System mit LED-Array zur Erkennung von Objekten an der Tropfleitung einer Fahrzeugfrontblende. Das System ist ausführbar, um nahe Objekte mit einem Schatten zu erkennen, wenn sich das Objekt in einem von der Kamera 320 verdeckten Bereich befindet. Die Kamera 320 ist ausführbar, um ein Bild eines ersten FOV aufzunehmen. In dieser exemplarischen Ausführungsform wird das FOV nach vorne zum Fahrzeug gerichtet sein. Die Kamera 320 ist in der Lage, das Bild aufzunehmen, das Bild in eine digitale Darstellung des Bildes zu konvertieren und diese digitale Darstellung mit dem Bildprozessor 310 zu koppeln. Die Kamera 320 kann einen Hochdynamikbereichssensor zum Erfassen eines größeren Leuchtdichtebereichs beinhalten, der bei der Erkennung von Schatten nach den derzeit offenbarten Verfahren und Systemen vorteilhaft sein kann.
  • Die LED-Anordnung 330 kann eine Vielzahl von LEDs oder eine einzelne LED beinhalten, um ein sichtbares oder nahezu sichtbares Licht in Richtung des FOV zu emittieren. In dieser exemplarischen Ausführungsform kann die LED-Anordnung 330 niedriger als die Kamera 320 montiert werden, so dass ein Schatten entsteht, wenn ein von der Kamera 320 verdecktes Objekt von der LED-Anordnung 330 beleuchtet wird. Die LED-Anordnung 330 kann so betrieben werden, dass jede LED nacheinander so beleuchtet wird, dass beim Beleuchten eines Objekts ein bewegter Schatten entsteht. Dieser bewegliche Schatten kann vom Bildprozessor 310 leichter erkannt werden, wenn er aufeinanderfolgende digitale Darstellungen von aufgenommenen Bildern verarbeitet.
  • Gemäß der exemplarischen Ausführungsform ist der Bildprozessor 310 in der Lage, die digitale Darstellung eines von der Kamera 320 aufgenommenen Bildes zu empfangen und diese Daten zu verarbeiten. Der Bildprozessor 320 kann zum Vergleichen nachfolgender Bilder eingesetzt werden, um das Aussehen eines Schattens oder dergleichen als Reaktion auf mindestens eine beleuchtete LED der LED-Anordnung 330 zu bestimmen. Als Reaktion auf den Vergleich kann der Bildprozessor 320 wirksam sein, um ein Steuersignal zu erzeugen, das dem Fahrzeugprozessor 350 das Vorhandensein eines potenziellen Objekts in Richtung des FOV anzeigt. Das Steuersignal kann die Nähe des Objekts zum Fahrzeug usw. anzeigen. Der Bildprozessor kann ferner in der Lage sein, die digitalen Darstellungen des Bildes zu verarbeiten und die Positionen verschiedener Objekte innerhalb des FOV zu schätzen und diese Informationen an den Fahrzeugprozessor 350 zu übermitteln.
  • Der Fahrzeugprozessor 350 ist in der Lage, Daten vom Bildprozessor zu empfangen und einen Fahrzeugsteuerungsalgorithmus als Reaktion auf die Daten zu verarbeiten. Der Fahrzeugprozessor 350 ist ferner in der Lage, Steuersignale zur Kopplung an die Fahrzeugsteuerung 360 zu erzeugen. So kann beispielsweise der Fahrzeugsteuerungsalgorithmus ein adaptiver Geschwindigkeitsalgorithmus sein, wobei der Fahrzeugprozessor 350 wirksam ist, um Steuersignale zu erzeugen, um das Fahrzeug während der Fahrt auf der Autobahn in einer Fahrspur zu halten und um benachbarte Objekte während des Betriebs zu vermeiden. Die Steuersignale sind mit der Fahrzeugsteuerung 360 gekoppelt, um als Reaktion auf die vom Fahrzeugprozessor 350 erzeugten Steuersignale das Lenken, Bremsen, Beschleunigen und dergleichen zu steuern.
  • Das exemplarische System ist funktionsfähig, um Schatten in der Kamera 320 FOV von Objekten in der Kamera 320 Blindzonen von nahen Objekten zu erkennen, indem es unsichtbare Nah-Infrarot-LED-Arrays verwendet, um Licht aus dem Fahrzeug zu projizieren. Die LEDs innerhalb des Arrays können gepulst und mit jedem anderen Kamerarahmen synchronisiert werden, um starke Umgebungsgeräusche zu entfernen. Die LEDs können nacheinander gepulst und mit der Kamera synchronisiert werden, um starke Umgebungsgeräusche zu entfernen. Optional können die Impulse zeitlich oder räumlich kodiert werden, um das Umgebungslicht zu unterdrücken. Das System kann in der Lage sein, die Objektposition basierend auf dem Schattenmuster und der Rückstrahlstärke zu triangulieren. Die Schatten können alternativ mit einem einzigen breiten FOV-Detektor anstelle der Kamera erfasst werden.
  • Nun zu 4, ein Flussdiagramm, das ein exemplarisches Verfahren 400 zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug veranschaulicht. Das exemplarische Verfahren 300 ist zunächst wirksam, um das FOV 410 aus einer niedrigen Position am Fahrzeug mit Hilfe der LED-Anordnung oder einer anderen Beleuchtungsvorrichtung zu beleuchten. Die Kamera wird dann verwendet, um die Beleuchtung des FOV mit der zeitlichen und/oder räumlichen Operation 420 zu überwachen. Im zeitlichen Betrieb kann die Kamera mit der LED-Beleuchtung synchronisiert werden, um starke Umgebungsgeräusche zu entfernen. Im räumlichen Betrieb leuchtet jeweils eine einzelne LED auf, wobei die Objektposition als Reaktion auf die Rückstrahlstärke trianguliert werden kann. Das Verfahren ist dann wirksam, um zu bestimmen, ob ein Schatten erkannt wird 430. Wenn ein Schatten erkannt wird, wird davon ausgegangen, dass ein Objekt vorhanden ist 440 und ein Steuersignal erzeugt, das das Objekt anzeigt und zur Beleuchtung des FOV 410 zurückkehrt. Wenn kein Schatten erkannt wird, 450, ist das Verfahren ausführbar, um zur Beleuchtung des FOV 410 zurückzukehren.
  • Nun zu 5, ein Flussdiagramm, das ein exemplarisches Verfahren 400 zur Objekterkennung in Blindzonen einer Kamera in einem Kraftfahrzeug unter kontrastarmen Bedingungen darstellt. Die kontrastarmen Bedingungen können aufgrund starker Umgebungslichtverhältnisse wie helles Sonnenlicht oder einfallende Scheinwerfer zu einem kontrastarmen Schatten führen. Das exemplarische Verfahren 500 ist zunächst wirksam, um die Bilderfassung durch die Kamera mit LED-Beleuchtung 510 zu synchronisieren. Das Verfahren ist dann ausführbar, um ein erstes Bild mit einer LED-Leuchte 520 aufzunehmen. Das Verfahren ist als nächstes ausführbar, um ein zweites Bild aufzunehmen, wobei die LED 530 nicht leuchtet. Das erste Bild wird dann vom zweiten Bild abgezogen, um ein rauschfreies Schattenbild 540 zu erzeugen. Das Objekt wird dann als Reaktion auf das rauschfreie Schattenbild erkannt und mit dem konventionellen Bild 550 fusioniert. Dieses Bild wird dann vom Bildprozessor verarbeitet oder mit dem Fahrzeugprozessor zur Verwendung in einem Fahrzeugsteuerungsalgorithmus 560 gekoppelt.
  • Es ist zu betonen, dass viele Variationen und Modifikationen an den hierin beschriebenen Ausführungsformen vorgenommen werden können, deren Elemente unter anderem als akzeptable Beispiele zu verstehen sind. Alle diese Änderungen und Variationen sind dazu bestimmt, hierin im Rahmen dieser Offenbarung aufgenommen zu werden und durch die folgenden Ansprüche geschützt zu sein. Darüber hinaus kann jeder der hierin beschriebenen Schritte gleichzeitig oder in einer anderen Reihenfolge als die hierin beschriebenen Schritte durchgeführt werden. Darüber hinaus können, wie sich zeigen sollte, die Merkmale und Attribute der hierin offenbarten spezifischen Ausführungsformen auf unterschiedliche Weise zu zusätzlichen Ausführungsformen kombiniert werden, die alle in den Anwendungsbereich der vorliegenden Offenbarung fallen.
  • Die hierin verwendete bedingte Sprache, wie unter anderem „kann“, „könnte“, „würde“, „mag“, „z.B.“ und dergleichen, sofern nicht ausdrücklich anders angegeben oder anderweitig im Rahmen des verwendeten Kontexts verstanden, soll im Allgemeinen vermitteln, dass bestimmte Ausführungsformen bestimmte Merkmale, Elemente und/oder Zustände beinhalten, während andere Ausführungsformen bestimmte Merkmale, Elemente und/oder Zustände nicht beinhalten. Daher ist eine solche bedingte Sprache im Allgemeinen nicht dazu bestimmt, zu implizieren, dass Merkmale, Elemente und/oder Zustände in irgendeiner Weise für eine oder mehrere Ausführungsformen erforderlich sind, oder dass eine oder mehrere Ausführungsformen notwendigerweise eine Logik beinhalten, um zu entscheiden, ob diese Merkmale, Elemente und/oder Zustände in einer bestimmten Ausführungsform enthalten sind oder ausgeführt werden sollen, mit oder ohne Eingabe oder Aufforderung durch den Autor.
  • Darüber hinaus kann die folgende Terminologie hierin verwendet worden sein. Die Singularformen „ein“, „eine“ und „der, die, das“ beinhalten mehrere Referenten, sofern der Kontext nichts anderes vorschreibt. So beinhaltet beispielsweise die Referenz auf eine Position die Referenz auf eine oder mehrere Positionen. Der Begriff „Einsen“ bezieht sich auf eins, zwei oder mehr und gilt im Allgemeinen für die Auswahl eines Teils oder der gesamten Menge. Der Begriff „Pluralität“ bezieht sich auf zwei oder mehr von einem Gegenstand. Der Begriff „etwa“ oder „ungefähr“ bedeutet, dass Mengen, Abmessungen, Größen, Formulierungen, Parameter, Formen und andere Merkmale nicht genau sein müssen, sondern je nach Wunsch angenähert und/oder größer oder kleiner sein können, was akzeptable Toleranzen, Umrechnungsfaktoren, Rundungen, Messfehler und dergleichen und andere den Fachleuten bekannte Faktoren widerspiegelt. Der Begriff „im Wesentlichen“ bedeutet, dass das rezitierte Merkmal, der Parameter oder der Wert nicht genau erreicht werden müssen, sondern dass Abweichungen oder Variationen, einschließlich beispielsweise Toleranzen, Messfehler, Einschränkungen der Messgenauigkeit und anderer Faktoren, die den Fachleuten bekannt sind, in Mengen auftreten können, die die Wirkung, die das Merkmal erzielen sollte, nicht ausschließen.
  • Numerische Daten können hierin in einem Bereichsformat ausgedrückt oder dargestellt werden. Es ist zu verstehen, dass ein solches Bereichsformat lediglich der Einfachheit und Kürze halber verwendet wird und daher flexibel interpretiert werden sollte, um nicht nur die explizit als Grenzen des Bereichs aufgezählten Zahlenwerte, sondern auch alle einzelnen Zahlenwerte oder Teilbereiche, die in diesem Bereich enthalten sind, einzubeziehen, als ob jeder Zahlenwert und Teilbereich explizit aufgezählt würde. Zur Veranschaulichung sollte ein Zahlenbereich von „etwa 1 bis 5“ so interpretiert werden, dass er nicht nur die explizit genannten Werte von etwa 1 bis etwa 5 beinhaltet, sondern auch Einzelwerte und Teilbereiche innerhalb des angegebenen Bereichs. So sind in diesem Zahlenbereich Einzelwerte wie 2, 3 und 4 und Teilbereiche wie „etwa 1 bis etwa 3“, „etwa 2 bis etwa 4“ und „etwa 3 bis etwa 5“, „1 bis 3“, „2 bis 4“, „3 bis 5“ usw. enthalten. Das gleiche Prinzip gilt für Bereiche, die nur einen Zahlenwert zitieren (z.B. „größer als etwa 1“) und sollte unabhängig von der Breite des Bereichs oder den beschriebenen Merkmalen gelten. Eine Vielzahl von Elementen kann zur Vereinfachung in einer gemeinsamen Liste aufgeführt werden. Diese Listen sollten jedoch so ausgelegt werden, als ob jedes Mitglied der Liste einzeln als separates und eindeutiges Mitglied identifiziert wird. Daher sollte kein einzelnes Mitglied dieser Liste de facto als gleichwertig mit einem anderen Mitglied derselben Liste angesehen werden, und zwar ausschließlich aufgrund seiner Präsentation in einer gemeinsamen Gruppe ohne gegenteilige Hinweise. Werden die Begriffe „und“ und „oder“ in Verbindung mit einer Liste von Gegenständen verwendet, so sind sie weit auszulegen, indem einer oder mehrere der aufgeführten Gegenstände allein oder in Kombination mit anderen aufgeführten Gegenständen verwendet werden können. Der Begriff „alternativ“ bezieht sich auf die Auswahl einer von zwei oder mehreren Alternativen und soll die Auswahl nicht auf die aufgelisteten Alternativen oder nur auf eine der aufgelisteten Alternativen gleichzeitig beschränken, es sei denn, der Kontext zeigt deutlich etwas anderes an.
  • Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können an eine Verarbeitungsvorrichtung, Steuerung oder einen Computer geliefert bzw. von dieser implementiert werden, die eine vorhandene programmierbare elektronische Steuereinheit oder eine dedizierte elektronische Steuereinheit beinhalten kann. Ebenso können die Prozesse, Methoden oder Algorithmen als Daten und Anweisungen gespeichert werden, die von einer Steuerung oder einem Computer in vielen Formen ausgeführt werden können, einschließlich, aber nicht beschränkt auf, Informationen, die dauerhaft auf nicht beschreibbaren Speichermedien wie ROM-Vorrichtungen gespeichert sind, und Informationen, die auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien veränderbar gespeichert sind. Die Prozesse, Methoden oder Algorithmen können auch in einem ausführbaren Softwareobjekt implementiert werden. Alternativ können die Prozesse, Methoden oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten wie Application Specific Integrated Circuits (ASICs), Field Programmable Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder -geräten oder einer Kombination aus Hardware-, Software- und Firmwarekomponenten dargestellt werden. Solche exemplarischen Vorrichtungen können als Teil eines Fahrzeugrechnersystems an Bord sein oder sich außerhalb des Fahrzeugs befinden und eine Fernkommunikation mit Vorrichtungen in einem oder mehreren Fahrzeugen durchführen.
  • Obwohl vorstehend exemplarische Ausführungsformen beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die von den Ansprüchen umfasst werden. Die in der Beschreibung verwendeten Wörter sind Worte der Beschreibung und nicht der Einschränkung, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie bereits beschrieben, können die Merkmale verschiedener Ausführungsformen zu weiteren exemplarischen Aspekten der vorliegenden Offenbarung kombiniert werden, die nicht explizit beschrieben oder dargestellt werden dürfen. Während verschiedene Ausführungsformen als Vorteile aufweisend oder gegenüber anderen Ausführungsformen oder Implementierungen nach dem Stand der Technik in Bezug auf ein oder mehrere gewünschte Merkmale bevorzugt hätten bezeichnet werden können, erkennen diejenigen mit gewöhnlichen Fähigkeiten in der Technik an, dass ein oder mehrere Merkmale oder Merkmale beeinträchtigt werden können, um die gewünschten Gesamtsystemattribute zu erreichen, die von der spezifischen Anwendung und Implementierung abhängen. Diese Attribute können Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Packung, Größe, Gebrauchstauglichkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. beinhalten, sind aber nicht darauf beschränkt. Daher sind Ausführungsformen, die als weniger wünschenswert beschrieben werden als andere Ausführungsformen oder Implementierungen zum Stand der Technik in Bezug auf ein oder mehrere Merkmale, nicht außerhalb des Umfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.

Claims (10)

  1. Ein Verfahren, umfassend: - Ausleuchten eines Sichtfeldes mit einer ersten Lichtquelle; - Erfassen eines Bildes des Sichtfeldes; - Erkennen eines Schattens im Bild; - Bestimmen der Anwesenheit eines Objekts als Reaktion auf den Schatten; - Erzeugen eines Steuersignals als Reaktion auf das Vorhandensein des Objekts; und - Steuern eines Fahrzeugs als Reaktion auf das Steuersignal.
  2. Das Verfahren nach Anspruch 1, wobei ein Fahrzeuglenksystem als Reaktion auf das Steuersignal ausgeführt wird.
  3. Das Verfahren nach Anspruch 1, wobei das Sichtfeld aus einem niedrigen Winkel beleuchtet wird und das Bild aus einem hohen Winkel aufgenommen wird.
  4. Das Verfahren nach Anspruch 1, wobei das Sichtfeld durch eine Licht emittierende Diode beleuchtet wird.
  5. Das Verfahren nach Anspruch 1, wobei das Sichtfeld durch eine Vielzahl von Licht emittierende Dioden beleuchtet wird.
  6. Das Verfahren nach Anspruch 1, wobei das Bild ein erstes Bild, das zu einem ersten Zeitpunkt aufgenommen wurde, und ein zweites Bild, das zu einem zweiten Zeitpunkt aufgenommen wurde, beinhaltet, und der Schatten als Reaktion auf einen Vergleich des ersten Bildes und des zweiten Bildes erkannt wird.
  7. Das Verfahren nach Anspruch 1, wobei eine Warnung als Reaktion auf die Bestimmung der Anwesenheit des Objekts erzeugt wird.
  8. Das Verfahren nach Anspruch 1, wobei das Objekt im Bild verdeckt ist.
  9. Eine Vorrichtung, umfassend: - eine Lichtquelle zum Beleuchten eines Sichtfeldes; - einen Detektor zum Erfassen eines Bildes des Sichtfeldes; - einen Prozessor zum Erfassen eines Schattens innerhalb des Bildes, zum Bestimmen der Anwesenheit eines Objekts als Reaktion auf den Schatten und zum Erzeugen eines Steuersignals in als Reaktion auf das Vorhandensein des Objekts; und - eine Fahrzeugsteuerung zum Steuern eines Fahrzeugs als Reaktion auf das Steuersignal.
  10. Die Vorrichtung nach Anspruch 9, wobei die Fahrzeugsteuerung betreibbar ist, um ein Fahrzeuglenksystem als Reaktion auf das Steuersignal zu steuern.
DE102019116004.9A 2018-12-13 2019-06-12 Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera Active DE102019116004B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/218,550 2018-12-13
US16/218,550 US10990834B2 (en) 2018-12-13 2018-12-13 Method and apparatus for object detection in camera blind zones

Publications (2)

Publication Number Publication Date
DE102019116004A1 true DE102019116004A1 (de) 2020-06-18
DE102019116004B4 DE102019116004B4 (de) 2024-05-29

Family

ID=70858821

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019116004.9A Active DE102019116004B4 (de) 2018-12-13 2019-06-12 Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera

Country Status (3)

Country Link
US (1) US10990834B2 (de)
CN (1) CN111327834B (de)
DE (1) DE102019116004B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113460A1 (de) * 2021-06-29 2023-01-04 Ford Global Technologies, LLC Fahrerassistenzsystem und verfahren zur verbesserung des situationsbewusstseins

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP4434234B2 (ja) * 2007-05-30 2010-03-17 トヨタ自動車株式会社 車両用撮像システム、及び車両用制御装置
DE102009035743A1 (de) 2009-08-01 2011-02-17 Automotive Lighting Reutlingen Gmbh Lichtmodul für einen Kraftfahrzeugscheinwerfer
CN202063071U (zh) * 2011-01-25 2011-12-07 刘安盛 行车安全装置
DE102012015939A1 (de) 2012-08-10 2014-02-13 Audi Ag Kraftfahrzeug mit Fahrerassistenzsystem und Verfahren zum Betrieb eines Fahrerassistenzsystems
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
KR101438640B1 (ko) * 2013-09-02 2014-11-03 현대자동차 주식회사 선바이저 제어장치 및 선바이저 제어방법
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
WO2018110389A1 (ja) * 2016-12-15 2018-06-21 株式会社小糸製作所 車両用照明システムおよび車両
DE102017206974A1 (de) 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
DE102017010731A1 (de) 2017-11-20 2018-05-30 Daimler Ag Verfahren zur Erfassung eines Objektes
US10549678B1 (en) * 2018-12-03 2020-02-04 Gentex Corporation System and method for a vehicle control system

Also Published As

Publication number Publication date
DE102019116004B4 (de) 2024-05-29
CN111327834B (zh) 2022-02-18
US10990834B2 (en) 2021-04-27
US20200193178A1 (en) 2020-06-18
CN111327834A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
DE102016116839A1 (de) Aktive Detektion und verbesserte Visualisierung näherkommender Fahrzeuge
DE102013200427B4 (de) Verfahren und Vorrichtung zum Erzeugen eines Rundumsichtbildes einer Fahrzeugumgebung eines Fahrzeugs, Verfahren zum Bereitstellen zumindest einer Fahrerassistenzfunktion für ein Fahrzeug, Rundumsichtsystem für ein Fahrzeug
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102013019138A1 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE102015218704A1 (de) Systeme und Verfahren für die Erfassung von Hindernissen innerhalb des Sichtfeldes eines Bildsensors
EP1928687A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
DE102013012325A1 (de) Fahrerassistenzsystem und Betriebsverfahren dafür
DE102017223160B4 (de) Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
DE102014105297A1 (de) Verfahren zum Detektieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102014208271A1 (de) Verfahren und Vorrichtung zur bildbasierten Sichtweitenschätzung
DE102017122432A1 (de) Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE112014007047T5 (de) Fahrzeugkamera-Steuervorrichtung
DE102015003960A1 (de) Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
DE102017108254A1 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung
EP2181414A2 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
DE102019116058A1 (de) Verfahren und vorrichtung zur objekterkennung in kamera-blindzonen
DE102016010373B4 (de) Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
DE102016210088B3 (de) Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
DE102020105059A1 (de) Bestimmung der blockierung einer beleuchtungseinrichtung durch bekannte optische eigenschaften
DE102018113026A1 (de) Fahrzeugaussenlichtausfall
DE102019116004A1 (de) Verfahren und vorrichtung zur objekterkennung in blindzonen einer kamera
DE102015223500A1 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
DE102015218500A1 (de) Beleuchtung und kamerabasierte Detektion von Regentropfen auf einer Scheibe
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division