-
QUERVERWEIS AUF VERWANDTE ANMELDUNG
-
Diese Anmeldung beansprucht den Nutzen der Vorläufigen
Patentanmeldung der Vereinigten Staaten Nr. 62/324,602 , eingereicht am 19. April 2016, deren Offenbarung hier in ihrer Gesamtheit durch Bezugnahme miteingeschlossen ist.
-
EINLEITUNG
-
Die gegenwärtige Offenbarung betrifft ein Rundumsichtkamerasystem zur Objekterkennung und -verfolgung.
-
Kameras kommen bei Fahrzeugen (z. B. Automobilen, aber auch bei Nutzfahrzeugen im Bereich Bauwesen, Landwirtschaft und bei der automatisierten Fertigung) im Hinblick auf Automatisierungs- und Sicherheitssysteme vermehrt zum Einsatz. Rundumsicht- oder Rücksichtkameras stellen Bilder bereit, die eine verbesserte Sicht beispielsweise während des Einparkens erleichtern. Vorwärtsgerichtete Kameras kommen allein oder in Verbindung mit anderen Sensoren (z. B. Radar, Lidar) zum Einsatz, um Objekte zu detektieren und zu verfolgen und beispielsweise ein semiautonomes Fahren zu ermöglichen. Jedoch ist das Sichtfeld der vorwärtsgerichteten Kamera in vielen Szenarios unzureichend. Beispielsweise kann in einem Parkplatz, in dem sich andere Fahrzeuge oder Fußgänger aus jeder beliebigen Richtung nähern können, das vorwärtsgerichtete Kamerasystem eine mögliche Gefahr einer Kollision nicht detektieren. Als weiteres Beispiel kann es sein, dass, wenn ein benachbartes Fahrzeug die Fahrspur wechselt, ohne einen ausreichenden Abstandsraum einzuhalten, dieses Fahrzeug nicht durch ein vorwärtsgerichtetes Kamerasystem detektiert wird. Demgemäß ist es wünschenswert, ein Rundumsichtkamerasystem zur Objekterkennung und -verfolgung bereitzustellen.
-
ZUSAMMENFASSUNG
-
Gemäß einer beispielhaften Ausführungsform schließt ein Rundumsichtkamerasystem in einem Fahrzeug zwei oder mehr Kameras ein, welche jeweils an zwei oder mehr Anbringstellen des Fahrzeugs angebracht sind. Die zwei oder mehr Kameras erfassen Bilder innerhalb eines Sichtfeldes der zwei oder mehr Kameras. Das System schließt außerdem ein Verarbeitungssystem ein, um die von den zwei oder mehr Kameras stammenden Bilder abzurufen und um eine Bildverarbeitung im Hinblick auf das Detektieren und Verfolgen von Objekten im Sichtfeld der zwei oder mehr Kameras durchzuführen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das durch das Verarbeitungssystem erfolgende Durchführen der Bildverarbeitung ein, dass das Verarbeitungssystem ein jedes der Bilder einzeln vorverarbeitet, was das Entzerren eines jeden der Bilder mit einschließt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt die Tatsache, dass das Verarbeitungssystem dafür ausgelegt ist, eine Bildverarbeitung durchzuführen, ein, dass das Verarbeitungssystem dafür ausgelegt ist, visuelle Erkennungstechniken durchzuführen, um die Objekte in einem jeden der Bilder, in dem die Objekte aufscheinen, zu detektieren.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt die Tatsache, dass das Verarbeitungssystem dafür ausgelegt ist, eine Bildverarbeitung durchzuführen, ein, dass das Verarbeitungssystem dafür ausgelegt ist, eine bildübergreifende Detektion durchzuführen, um die Objekte basierend auf Überlappungsbereichen in den von den zwei oder mehr Kameras abgerufenen Bildern zu detektieren.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt die Tatsache, dass das Verarbeitungssystem dafür ausgelegt ist, eine Bildverarbeitung durchzuführen, ein, dass das Verarbeitungssystem dafür ausgelegt ist, eine zeitbasierte Detektion auf Basis von aufeinanderfolgenden Einzelbildern durchzuführen, um die Bewegung der Objekte zu verfolgen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Verarbeitungssystem weiterhin dafür ausgelegt, Fahrzeugdynamikdaten über das Fahrzeug abzurufen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Verarbeitungssystem weiterhin dafür ausgelegt, Daten von anderen Sensoren des Fahrzeugs abzurufen, wobei als andere Sensoren ein Radarsystem, ein Lidarsystem oder ein Ultraschallsensorsystem zu nennen sind.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Verarbeitungssystem weiterhin dafür ausgelegt, Daten über die Orte der Objekte in dem Sichtfeld der zwei oder mehr Kameras in einem Fahrzeugkoordinatensystem auszugeben.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Verarbeitungssystem weiterhin dafür ausgelegt, die Objekte in dem Sichtfeld der zwei oder mehr Kameras jeweils in einem dreidimensionalen Begrenzungskasten (BBOX) darzustellen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale ist das Verarbeitungssystem weiterhin dafür ausgelegt, Daten über die Objekte in dem Sichtfeld der zwei oder mehr Kameras einem Controller in dem Fahrzeug bereitzustellen, wobei der Controller dafür ausgelegt ist, das Sicherheitssystem und das autonome Fahrsystem des Fahrzeugs zu steuern.
-
Gemäß einer anderen beispielhaften Ausführungsform schließt ein Verfahren zum Ausstatten eines Fahrzeugs für die Durchführung einer Objekterkennung und -verfolgung mit einem Rundumsichtkamerasystem ein, dass zwei oder mehr Kameras jeweils an zwei oder mehr Anbringstellen des Fahrzeugs angeordnet werden. Die zwei oder mehr Kameras erfassen Bilder innerhalb eines Sichtfeldes der zwei oder mehr Kameras. Das Verfahren schließt außerdem ein, dass ein Verarbeitungssystem die von den zwei oder mehr Kameras stammenden Bilder abruft und eine Bildverarbeitung durchführt, um Objekte im Sichtfeld der zwei oder mehr Kameras zu detektieren und zu verfolgen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung ein, dass ein jedes der Bilder einzeln vorverarbeitet wird, wobei das Vorverarbeiten das Entzerren eines jeden der Bilder mit einschließt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung ein, dass visuelle Erkennungstechniken durchgeführt werden, um die Objekte in einem jeden der Bilder, in dem die Objekte aufscheinen, zu detektieren.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung, ein, dass eine bildübergreifende Detektion durchgeführt wird, um die Objekte basierend auf Überlappungsbereichen in den von den zwei oder mehr Kameras abgerufenen Bildern zu detektieren.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung ein, dass eine zeitbasierte Detektion auf Basis von aufeinanderfolgenden Einzelbildern durchgeführt wird, um die Bewegung der Objekte zu verfolgen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung ein, dass Fahrzeugdynamikdaten über das Fahrzeug abgerufen werden.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Durchführen der Bildverarbeitung ein, dass Daten von anderen Sensoren des Fahrzeugs abgerufen werden, wobei als andere Sensoren ein Radarsystem, ein Lidarsystem oder ein Ultraschallsensorsystem zu nennen sind.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Verfahren ein, dass das Verarbeitungssystem Daten über die Orte der Objekte in dem Sichtfeld der zwei oder mehr Kameras in einem Fahrzeugkoordinatensystem ausgibt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Verfahren ein, dass das Verarbeitungssystem die Objekte in dem Sichtfeld der zwei oder mehr Kameras jeweils in einem dreidimensionalen Begrenzungskasten (BBOX) darstellt.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schließt das Verfahren ein, dass das Verarbeitungssystem Daten über die Objekte in dem Sichtfeld der zwei oder mehr Kameras einem Controller in dem Fahrzeug bereitstellt und dass der Controller das Sicherheitssystem und das autonome Fahrsystem des Fahrzeugs steuert.
-
Die obigen Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung erschließen sich mit größerer Deutlichkeit aus der nachfolgenden, detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Andere Merkmale, Vorteile und Details werden in lediglich beispielhafter Weise in der nachfolgenden detaillierten Beschreibung ersichtlich, wobei sich die detaillierte Beschreibung auf die Zeichnungen bezieht, in denen:
-
1 eine beispielhafte Ausführungsform eines Rundumsichtkamerasystems gemäß einer oder mehrerer Ausführungsformen abbildet;
-
2 beispielhafte Szenarios abbildet, in denen das Rundumsichtkamerasystem die Detektion und Verfolgung von Objekten gemäß einer oder mehrerer Ausführungsformen erleichtert;
-
3 einen Prozessablauf eines Verfahrens zur Durchführung einer Objekterkennung und -verfolgung mit einem Rundumsichtkamerasystem gemäß einer oder mehrerer Ausführungsformen darstellt;
-
4 eine beispielhafte Bildausgabe des Rundumsichtkamerasystems gemäß einer oder mehrerer Ausführungsformen veranschaulicht;
-
5 zwei beispielhafte Bildausgaben des Rundumsichtkamerasystems gemäß einer oder mehrerer Ausführungsformen veranschaulicht; und
-
6 eine andere beispielhafte Bildausgabe des Rundumsichtkamerasystems gemäß einer oder mehrerer Ausführungsformen veranschaulicht.
-
DETAILLIERTE BESCHREIBUNG
-
Die nachfolgende Beschreibung ist rein beispielhafter Natur und es sollen dadurch die vorliegende Offenbarung, deren Anwendung oder deren Nutzungsbereiche nicht eingeschränkt werden. Es versteht sich, dass einander entsprechende Bezugszahlen über die Zeichnungen hinweg gleiche oder entsprechende Teile und Merkmale angeben.
-
Wie bereits weiter oben angemerkt, stehen vorwärtsgerichtete Kamerasysteme für die Objekterkennung bereits in Gebrauch. Die Daten, die über vor dem Fahrzeug befinde Objekte gewonnen werden, können beispielsweise für die adaptive Geschwindigkeitsregelung (adaptive cruise control, ACC), das autonome Notbremssystem (automatic emergency braking, AEB) oder das Auffahrwarnsystem (forward collision warning, FCW) genutzt werden. Um auf andere Szenarios eingehen zu können und um automatisierte Systeme zu verbessern sind auch Daten über Objekte in der Nähe des Fahrzeugs wünschenswert, die sich jedoch nicht zwangsläufig vor dem Fahrzeug befinden müssen. Rundumsichtkameras stellen zwar Bilder um das Fahrzeug herum bereit, diese Kameras wurden jedoch bislang nicht für die Objekterkennung und -verfolgung genutzt. Ausführungsformen der hier erörterten Systeme und Verfahren betreffen ein Rundumsichtkamerasystem zur Objekterkennung und -verfolgung. Wie im einzelnen erläutert, stellt das Rundumsichtkamerasystem nicht bloß eine Erweiterung der bei dem vorwärtsgerichteten Kamerasystem verwendeten Verarbeitung auf mehrere um das Fahrzeug herum angeordnete Kameras dar. Vielmehr sind die mehreren Ansichten imstande, erweiterte Informationen bereitzustellen, die nicht mit einem einzelnen Kamerabild gewonnen werden können. Beispielsweise werden Bilder aus einer jeden der verschiedenen Ansichten vorverarbeitet, überlappende Bilder aufgelöst und Bilder aus verschiedenen Ansichten dazu benutzt, Fehlalarme herauszufiltern oder Schwellenwerte für die Detektion anzupassen.
-
1 bildet eine beispielhafte Ausführungsform eines Rundumsichtkamerasystems 100 gemäß einer oder mehrerer Ausführungsformen ab. Bei dem in 1 gezeigten Fahrzeug 101 handelt es sich um ein Automobil 102. Das Rundumsichtkamerasystem 100 umfasst in der in 1 gezeigten, beispielhaften Ausführungsform vier Kameras 140a bis 140d (die allgemein mit 140 bezeichnet sind). Die Kamera 140a erfasst Bilder auf der Beifahrerseite des Fahrzeugs 101 und die Kamera 140c erfasst Bilder auf der Fahrerseite des Fahrzeugs 101. Die Kamera 140b erfasst Bilder von der Vorderseite des Fahrzeugs 101 aus und die Kamera 140d erfasst Bilder an der Rückseite des Fahrzeugs 101. Gemäß alternativen Ausführungsformen können weniger oder mehr Kameras 140 verwendet werden und können diese in anderen Teilbereichen des Fahrzeugs 101 angebracht sein.
-
Die Bilder von den verschiedenen Kameras 140 werden zu dem Verarbeitungssystem 110 des Rundumsichtkamerasystem 100 zur Bearbeitung übermittelt. Die Kommunikation zwischen den Kameras 140 und dem Verarbeitungssystem 110 kann drahtgebunden mit um das Fahrzeug 101 herum geführter Verdrahtung oder drahtlos erfolgen. Das Verarbeitungssystem 110 kann einschließen: eine integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, fest zugeordnet, oder Gruppe) mit Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische logische Schaltung und/oder andere geeignete Komponenten, welche die beschriebene Funktionalität bereitstellen. Ein Controller 120 des Fahrzeugs 101 ist in 1 gezeigt. Der Controller 120 kann getrennt von dem Verarbeitungssystem 110 ausgeführt sein und mit diesem gekoppelt sein, oder es kann, gemäß anderen Ausführungsformen, die für das Verarbeitungssystem 110 beschriebene Funktionalität auch durch Bauteile des Controllers 120 durchgeführt werden. Der Controller 120 kann Systeme einschließen wie etwa Systeme zur Durchführung der adaptiven Geschwindigkeitsregelung (ACC), der autonomen Notbremsung (AEB), der Auffahrwarnung (FWC) und Systeme für andere Funktionen der Sicherheit und des autonomen Fahrens, oder er kann mit diesen kommunizieren. Zusätzliche allgemein bekannte Sensoren 130 (z. B. Radar, Lidar, Ultraschallsensoren) können in das Fahrzeug 101 integriert sein und bei der Verarbeitung der von den Kameras 140 stammenden Daten verwendet werden.
-
Die Kameras 140 können Extremweitwinkelobjektive einschließen, so dass die durch die Kameras 140 gewonnenen Bilder verzerrt sind (d. h. Fischaugenbilder). Die Extremweitwinkelobjektive haben ein ultrabreites Sichtfeld und stellen somit Bilder bereit, die mit den vier in 1 gezeigten Kameras 140 einen 360-Grad-Erfassungsbereich um das Fahrzeug 101 herum erleichtern. Die mit den Extrernweitwinkelobjektiven gewonnenen Rohbilder erfordern ebenfalls eine Bild-Vorverarbeitung, um die Bildverzerrung bzw. den Fischaugeneffekt zu entzerren, wie weiter unten unter Bezugnahme auf 3 im Einzelnen erörtert. Die Vorverarbeitung kann außerdem eine Bildverbesserung und eine virtuelle Kameraansichtsynthese einschließen.
-
2 zeigt beispielhafte Szenarios 210a bis 210d, in denen das Rundumsichtkamerasystem 100 die Detektion und Verfolgung von Objekten 220 gemäß einer oder mehrerer Ausführungsformen erleichtert. Das Szenario 210a zeigt ein Objekt 220, und zwar ein anderes Fahrzeug in einer seitlichen Totwinkelzone des Fahrzeugs 101, das ein Rundumsichtkamerasystem 100 einschließt. Das Sichtfeld (FOV) 201 des Rundumsichtkamerasystems 100 ist angegeben und zeigt, dass sich ein Abschnitt des Objekts 220 innerhalb des Sichtfeldes (FOV) 201 befindet. Somit wird selbst dann, wenn das Objekt 220 zum Beispiel in dem Seitenspiegel nicht sichtbar ist, dieses Objekt 220 durch das Rundumsichtkamerasystem 100 detektiert.
-
In dem Szenario 210b schneidet ein Objekt 220, bei dem es sich um ein anderes Fahrzeug handelt, die Fahrspur des Fahrzeugs 101. Ein vorwärtsgerichtetes Kamerasystem kann das Objekt 220 erst dann sehen, wenn es sich in der in 2 gezeigten Position befindet. Ein typisches vorwärtsgerichtetes Kamerasystem, das für die adaptive Geschwindigkeitsregelung (AAC) verwendet wird, verfügt über ein Sichtfeld von 50 Grad, was nicht ausreicht, um das Objekt 220 zu erfassen. Das Objekt 220 kann sich in dem durch die A-Säule erzeugten Totwinkelbereich des Fahrers und in einem Totwinkelbereich des vorwärtsgerichteten Kamerasystems befinden, bis es in die Fahrspur des Fahrzeugs 101 einfährt. Gemäß der einen oder den mehreren hier beschriebenen Ausführungsformen ist das Rundumsichtkamerasystem 100 imstande, das Objekt 220 zu detektieren und zu verfolgen. Das heißt, das Objekt 220, welches bei dem Szenario 210b in die Fahrspur des Fahrzeugs 101 einfährt, würde erst detektiert werden, wenn es sich bereits dem Fahrzeug 101 annähert (in der in Szenario 210a gezeigten Position) oder wenn es sich seitlich neben dem Fahrzeug 101 (zwischen den in den Szenarios 210a und 210b gezeigten Positionen) befindet. Indem es das Objekt 220 detektiert und verfolgt, während dieses sich in dem Sichtfeld (FOV) 201 befindet, ist das Rundumsichtkamerasystem 100 imstande, den Fahrer oder die automatisierten Systeme des Fahrzeugs 101 besser auf den in Szenario 210b gezeigten Einfahrvorgang vorzubereiten.
-
Die Szenarios 210c und 210d zeigen verschiedene Objekte 220, die sich relativ zu dem Fahrzeug 101 in verschiedenen Positionen in dem Sichtfeld (FOV) 201 befinden. Das vorwärtsgerichtete Kamerasystem würde nur manche der in dem Sichtfeld (FOV) 201 des Rundumsichtkamerasystems 100 gezeigten Objekte 220 detektieren. Wie unter Bezugnahme auf 3 noch weiter erörtert wird, erleichtern die mehreren Kameras 140 des Rundumsichtkamerasystems 100 basierend auf den mehreren Ansichten außerdem die Identifizierung von Fehlalarmen und die Detektion von Objekten 220 mit geringer Bildauflösung.
-
3 ist einen Prozessablauf eines Verfahrens zur Durchführung einer Objekterkennung und -verfolgung mit einem Rundumsichtkamerasystem 100 gemäß einer oder mehrerer Ausführungsformen. In Block 310 schließt der Prozess ein, dass Bilder von den Rundumsichtkameras 140 durch das Verarbeitungssystem 110 abgerufen werden, welches getrennt von dem Controller 120 ausgeführt sein kann oder einen Teil von diesem darstellen kann. Das in Block 320 stattfindende Vorverarbeiten der Bilder kann, basierend auf der Art der abgerufenen Bilder, eine Anzahl von Bildverarbeitungsvorgängen einschließen. Wenn beispielsweise die Kameras 140 ein ultraweites Sichtfeld aufweisen und Fischaugenbilder bereitstellen, schließt das Vorverarbeiten einen Entzerrvorgang ein. Für diesen bekannten Arbeitsablauf können die Kalibrierparameter der Kamera 140 verwendet werden. Das Vorverarbeiten kann außerdem andere bekannte Arbeitsabläufe, wie beispielsweise Glätten und Bildverbesserung einschließen.
-
Das in Block 330 erfolgende Abrufen von Fahrzeugdaten schließt das Abrufen von Bewegungsdaten ein, was etwa bei der Verfolgung von Objekten 220 hilfreich sein kann. Als beispielhafte Fahrzeugdaten sind unter anderem Fahrgeschwindigkeit, Bewegungswinkel, Beschleunigung oder Informationen aus dem Empfänger des globalen Positionsbestimmungssystems (GPS-Empfänger) zu nennen. Diese Daten können dem Verarbeitungssystem 110 durch den Controller 120 oder direkt von anderen Fahrzeugsystemen, in denen Daten über die Fahrzeugdynamik anfallen, bereitgestellt werden. Gemäß alternativen oder zusätzlichen Ausführungsformen können die in Block 330 abgerufenen Fahrzeugdaten auch Daten von anderen an dem Fahrzeug 101 angebrachten Sensoren 130 (z. B. Radar, Lidar) einschließen.
-
In Block 340 werden Arbeitsvorgänge durchgeführt, um basierend auf den durch die Kameras 140 gewonnenen Bildern Objekte 220 zu detektieren und zu verfolgen. Diese Arbeitsvorgänge schließen bekannte Vorgänge der Bildverarbeitung, der Computervision und des maschinellen Lernens ein und können beispielsweise durch ein nach dem Deep-Learning-Prinzip arbeitendes neuronales Netzwerk durchgeführt werden. Als bekannte Algorithmen und Prozesse, die als Teil von Block 340 verwendet werden können, sind ein Deep-Leaming-Verfahren, beispielsweise ein tiefes faltendes neuronales Netzwerk (DCNN) oder Verfahren der Computervision, wie das Modell der verformbaren Teile (Deformable Parts Model, DPM) zusammen mit anderen visuellen Erkennungstechniken zu nennen. Die Verarbeitung in Block 340 vereinfacht das Organisieren und Ausgeben von Detektions- und Verfolgungsdaten in Block 350.
-
Die Verarbeitung in Block 340 schließt ein, dass in Block 343 eine Einzelbilddetektion durchgeführt wird. Dieser Prozess kann beispielsweise den bekannten DPM-Algorithmus verwenden, um eine Detektion von Objekten 220 innerhalb eines jeden der Einzelbilder, die von einer jeden der Kameras 140 abgerufen worden sind, durchzuführen. Das in Block 345 erfolgende Durchführen einer bildübergreifenden Detektion ist ebenfalls Teil der Verarbeitung in Block 340. Zu diesem bildübergreifenden Detektionsvorgang gehört, dass Objekte 220 einander zugeordnet und miteinander zur Deckung gebracht werden, die durch mehr als eine Kamera 140 des Rundumsichtkamerasystems 100 erfasst werden. Im Wesentlichen kann die Position eines Objektes 220 basierend auf den Bildern aus zwei oder mehr Kameras 140 trianguliert werden. Dieser Prozess erleichtert das Auflösen von einander überlappenden Bildern, indem beispielsweise Fehlalarme herausgefiltert werden oder Detektionsschwellenwerte angepasst werden.
-
Gemäß der in 1 gezeigten, beispielhaften Anordnung weist die Kamera 140a auf der Beifahrerseite des Fahrzeugs 101 einen Überlappungsbereich in seinem Bildfeld mit der Kamera 140d, die sich an der Rückseite des Fahrzeugs 101 befindet, auf. Wenn beispielsweise die Verarbeitung in Block 343 in einem von der Kamera 140a abgerufenen Einzelbild ein Objekt 220 in dem Überlappungsbereich detektiert, jedoch ebendieses Objekt 220 in einem von der Kamera 140d abgerufenen Einzelbild nicht detektiert, so wird der Detektionsschwellenwert für die Verarbeitung des von der Kamera 140d stammenden Einzelbildes (in Block 343) herabgesetzt. Wird das Objekt 220 noch immer nicht detektiert, so kann die Detektion des Objektes 220 in dem von der Kamera 140a stammenden Einzelbild als ein Fehlalarm eingestuft werden. Wenn andererseits beide Kameras 140 das Objekt 220 detektieren und ihre Detektionsergebnisse miteinander zur Deckung bringen, um zu bestimmen, dass sie ein und dasselbe Objekt 220 detektiert haben, so kann der Ort des Objektes aus einer auf den zwei (oder mehreren) Kameras 140 basierenden Triangulationstechnik geschätzt werden. Dies ist nur ein Beispiel für die (in Block 345 erfolgende) bildübergreifende Detektionsverarbeitung, um basierend auf Bildern, die von verschiedenen Kameras 140 des Rundumsichtkamerasystems 100 gewonnen worden sind, Objekte 220 aufzulösen.
-
Das Durchführen einer zeitbasierten Detektion in Block 347 ist ebenfalls Teil der Verarbeitung in Block 340. Die Position eines Objekts 220, welches (gemäß Block 343 oder, zusätzlich, 345) detektiert wird, wird basierend auf seinem Ort von einem Einzelbild zu dem nächsten im zeitlichen Verlauf verfolgt. Zwar ist die zeitbasierte Verfolgung (in Block 347) von der Detektion in Block 343 oder 345 abhängig, die zeitbasierte Verfolgung (in Block 347) kann jedoch die Detektion in Block 343 oder 345 auch verbessern. So kann es beispielsweise passieren, dass für ein Objekt 220, welches ansonsten als ein Fehlalarm eingestuft worden wäre, auf Basis der in Block 347 erfolgenden, zeitbasierten Detektion bestimmt wird, dass dieses sich aus einem Abdeckungs-Überlappungsbereich von zwei Kameras 140 hinausbewegt hat. Die zeitbasierte Detektion (in Block 347) erleichtert die Bestimmung der Bewegung eines Objektes 220 relativ zu dem Fahrzeug 101. Beispielsweise kann eine Bestimmung, ob sich ein Objekt 220 auf das Fahrzeug 101 zubewegt oder sich von diesem wegbewegt, Einfluss auf Daten nehmen, die durch den Controller 120 anderen Fahrzeugsystemen (z. B. der adaptiven Geschwindigkeitsregelung (ACC) oder dem autonomen Notbremssystem (AEB) bereitgestellt werden. Das heißt, ein sich von dem Fahrzeug 101 wegbewegendes Objekt 220 kann nicht dazu benutzt werden, das autonome Notbremssystem (AEB) auszulösen, während ein sich auf das Fahrzeug 101 zubewegendes Objekt 220 das AEB-System auslösen kann.
-
Wie die Erörterung nahelegt und wie in 3 gezeigt, stehen die Verarbeitungsschritte in den Blöcken 343, 345 und 347 in wechselseitiger Beziehung zueinander und können auch iterativ erfolgen. Zusätzlich dazu kann die Verarbeitung in Block 340 Fahrzeugdaten verwenden, die in Block 330 gewonnen worden sind. Wie bereits zuvor angemerkt, können diese Fahrzeugdaten auch Daten über die Dynamik des Fahrzeugs 101 einschließen und können sie zusätzlich Daten aus anderen Sensoren 130 einschließen. Manche oder alle dieser zusätzlichen Daten können dazu verwendet werden, Objekte 220 in jedem beliebigen der mit Block 340 verbundenen Prozesse aufzulösen. So kann beispielsweise das Verfolgen eines Objekts 220 unter Verwendung der zeitbasierten Detektion (in Block 347) durch Bereichsdaten zu dem Objekt 220, die aus dem Radar- oder Lidarsystem bezogen werden, unterstützt werden. Als weiteres Beispiel können Daten über die Fahrgeschwindigkeit oder den Fahrverlauf des Fahrzeugs 101 eine verbesserte Detektion der Relativbewegung eines Objekts 220 vereinfachen.
-
4 veranschaulicht eine beispielhafte Bildausgabe 410 des Rundumsichtkamerasystems 100 gemäß einer oder mehrerer Ausführungsformen. Bei der Bildausgabe 410 handelt es sich um ein zusammengeheftetes Bild aus vier Bildern 420a, 420b, 420c und 420d, die den in 1 gezeigten, beispielhaften Positionen der Kameras 140 entsprechen. So handelt es sich beispielsweise bei dem Bild 420b um ein Bild, welches durch die Kamera 140b an der Front des Fahrzeugs 101 gewonnen wurde. Die Objekte 220 sind innerhalb der Bilder 420a bis 420d wie beispielshalber gezeigt, durch Begrenzungskästen angegeben. Diese Bildausgabe 410 kann dem Fahrer angezeigt werden und kann außerdem einem Fahrerassistenzsystem (FAS) bereitgestellt werden, um beispielsweise Fahrerwarnungen oder erweiterte Informationen bereitzustellen.
-
5 veranschaulicht zwei beispielhafte Bildausgabe, 510a, 510b des Rundumsichtkamerasystems 100 gemäß einer oder mehrerer Ausführungsformen. Die Bildausgaben 510a, 510b erfolgen beide auf dem Fahrzeugkoordinatensystem. Objekte 220, die sich in dem Bereich um das Fahrzeug 101 herum befinden, sowie der Fahrverlauf für ein jedes der Objekte 220 werden gezeigt. Die Projektion von Daten über die Objekte 220 auf das Fahrzeugkoordinatensystem vereinfacht durch die Bereitstellung eines gemeinsamen Bezugsrahmens die komfortable Kommunikation mit anderen Fahrzeugsystemen. Die Bildausgaben 510a, 510b können zusätzlich zu deren Bereitstellung an den Controller 120 zur Koordination mit anderen Fahrzeugsystemen auch dem Fahrer angezeigt werden.
-
Die Bildausgabe 510a zeigt eine Sicht von oben nach unten, die ein Fahrzeug 101 und fünf unterschiedliche Objekte 220 um das Fahrzeug 101 herum zeigt. Der Winkel eines jeden Objekts 220 relativ zu dem Fahrzeug 101 ist gezeigt und gibt die Fahrtrichtung eines jeden Objekts 220 an. Die Bildausgabe 510b zeigt eine Sicht von oben nach unten, die ein Fahrzeug 101 und fünf unterschiedliche Objekte 220 um das Fahrzeug 101 herum zeigt. Die Objekte 220 können farbcodiert oder durch ein Muster codiert sein, wie dies in 5 gezeigt ist. Die Codierung kann die Fahrtrichtung, die relative Geschwindigkeit, den Zuverlässigkeitsgrad der Detektion des Objekts 220 oder ein anderes Merkmal angeben. Beispielsweise kann das Objekt 220a ein ruhendes Objekt sein, während sich die Objekte 220b (in entgegengesetzten Richtungen relativ zueinander) von dem Fahrzeug 101 wegbewegen und die Objekte 220c (in entgegengesetzten Richtungen relativ zueinander) auf das Fahrzeug 101 zubewegen. Alternativ dazu können sich die Objekte 220b in einer gleichen Richtung wie das Fahrzeug 101 bewegen und können sich die Objekte 220c in einer zu der Richtung des Fahrzeugs 101 entgegengesetzten Richtung bewegen. Gemäß einer weiteren Ausführungsform können sich die Objekte 220b langsamer bewegen als die Objekte 220c.
-
6 veranschaulicht eine andere beispielhafte Bildausgabe des Rundumsichtkamerasystems 100 gemäß einer oder mehrerer Ausführungsformen. Es wird ein dreidimensionaler Begrenzungskasten (BBOX) verwendet, um jedes Objekt 220, das durch das Rundumsichtkamerasystem 100 detektiert wird, anzuzeigen. Eine Farbcodierung oder Mustercodierung kann verwendet werden, um zusätzliche Daten über die Objekte 220 anzugeben. Beispielsweise können die Objekte 220a durch eine der Seitenkameras 140a, 140c (1) detektiert worden sein, während die Objekte 220b durch eine Frontkamera oder eine Rücksichtkamera 140b, 140d detektiert worden sein können.
-
Die obige Offenbarung ist zwar unter Bezugnahme auf eine beispielhafte Ausführungsform beschrieben worden, es versteht sich jedoch für den Fachmann, dass verschiedene Veränderungen vorgenommen werden können und dass Teile davon durch äquivalente Elemente ersetzt werden können, ohne dass dadurch von ihrem Umfang abgewichen wird. Außerdem können zahlreiche Abänderungen vorgenommen werden, um eine bestimmte Situation oder ein Material an die Lehre der Offenbarung anzupassen, ohne dass dadurch von dem grundsätzlichen Umfang derselben abgewichen wird. Die vorliegende Offenbarung soll daher nicht auf die im Speziellen offenbarten Ausführungsformen beschränkt sein, sondern soll alle Ausführungsformen umfassen, die in deren Umfang fallen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
