-
Technisches Gebiet
-
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zur Detektion fallender Objekte, ein fahrzeuginternes System, ein Fahrzeug und ein Programm zur Detektion fallender Objekte.
-
Stand der Technik
-
Das Patentdokument 1 offenbart eine Technologie, bei der dann, wenn ein Fahrzeug, das mit einem Millimeterwellensensor und einer Kamera ausgestattet ist und eine ACC-Funktion aufweist, mit der Kamera ein stationäres Objekt wie etwa eine zwischen dem Fahrzeug und einem vorausfahrenden Fahrzeug, das ein Ziel der ACC sein soll, befindliche Ladung detektiert, ein Fahren mit Geschwindigkeitsregelung durch die ACC-Funktion gestoppt oder eingeschränkt wird. „ACC“ ist eine Abkürzung für adaptive Geschwindigkeitsregelung.
-
Entgegenhaltungsliste
-
Patentdokument(e)
-
Patentdokument 1:
JP 2016-011061 A -
Nichtpatentdokument(e)
-
- Nichtpatentdokument 1: Castorena, J.; Kamilov, U.; Boufounos, P.T., „Autocalibration of LIDAR and Optical Cameras via Edge Alignment", Mitsubishi Electric Research Laboratories, TR2016-009, März 2016
- Nichtpatentdokument 2: Keiji Saneyoshi, „Drive Assist System of a Carby means of Stereo Vision", Information Processing Society of Japan Technical Report, Bd. 2013-CVIM-185 Nr. 20, 23. Januar 2013
- Nichtpatentdokument 3: Gunnar Farneback, „Two-Frame Motion Estimation Based on Polynomial Expansion", Computer Vision Laboratory, Linkoping University, 2003
-
Zusammenfassung der Erfindung
-
Technisches Problem
-
In der bestehenden Technologie kann nur eine Ladung, die heruntergefallen ist, detektiert werden. Das heißt, eine fallende Ladung kann nicht sofort detektiert werden. Aus diesem Grund besteht bei einem kurzen Zwischenfahrzeugabstand zu einem vorausfahrenden Fahrzeug eine hohe Wahrscheinlichkeit, dass das Fahrzeug mit der ACC-Funktion nicht genügend Zeit hat, der Ladung auszuweichen, und mit der Ladung zusammenstößt.
-
Es ist eine Aufgabe der vorliegenden Erfindung, einen Fall einer Ladung von einem vorausfahrenden Fahrzeug sofort zu detektieren.
-
Lösung des Problems
-
Eine Vorrichtung zur Detektion fallender Objekte gemäß einem Aspekt der vorliegenden Erfindung wird in einem ersten Fahrzeug, in dem sie installiert ist, verwendet und umfasst:
- eine Erfassungseinheit zum Erfassen eines Tiefenbildes eines zweiten Fahrzeugs, auf dem eine Ladung montiert ist und das vor dem ersten Fahrzeug fährt, und eines Bereichs um das zweite Fahrzeug herum;
- eine Bestimmungseinheit zum Bestimmen, ob die Ladung nicht eine von einer Bewegung des zweiten Fahrzeugs verschiedene Bewegung gemacht hat unter Verwendung des von der Erfassungseinheit erfassten Tiefenbildes; und
- eine Detektionseinheit zum Detektieren eines Falls der Ladung basierend auf einem Ergebnis der Bestimmung durch die Bestimmungseinheit.
-
Vorteilhafte Wirkungen der Erfindung
-
In der vorliegenden Erfindung wird ein Fall einer Ladung basierend auf dem Ergebnis einer Bestimmung, ob eine Ladung auf einem vorausfahrenden Fahrzeug keine Bewegung gemacht hat, die sich von der des vorausfahrenden Fahrzeugs unterscheidet, unter Verwendung eines Tiefenbildes des vorausfahrenden Fahrzeugs und des Bereichs um das vorausfahrende Fahrzeug detektiert. Daher kann ein Fall der Ladung von dem vorausfahrenden Fahrzeug sofort detektiert werden.
-
Figurenliste
-
- 1 ist ein Blockdiagramm, das eine Konfiguration eines fahrzeuginternen Systems, das eine Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer ersten Ausführungsform darstellt;
- 2 ist ein Ablaufdiagramm, das den Betrieb der Vorrichtung zur Detektion fallender Objekte gemäß der ersten Ausführungsform darstellt;
- 3 ist eine Darstellung, die Beispiele eines Tiefenbildes gemäß der ersten Ausführungsform darstellt;
- 4 ist eine Darstellung, die Ergebnisse von Abstandsmessungen durch einen Tiefensensor und einen Abstandssensor gemäß der ersten Ausführungsform darstellt;
- 5 ist ein Blockdiagramm, das eine Konfiguration des fahrzeuginternen Systems, das die Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer Abwandlung der ersten Ausführungsform darstellt;
- 6 ist ein Blockdiagramm, das eine Konfiguration eines fahrzeuginternen Systems, das eine Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer zweiten Ausführungsform darstellt;
- 7 ist ein Ablaufdiagramm, das den Betrieb der Vorrichtung zur Detektion fallender Objekte gemäß der zweiten Ausführungsform darstellt;
- 8 ist eine Darstellung, die ein Beispiel von Bildbereichen in einem Tiefenbild gemäß der zweiten Ausführungsform darstellt;
- 9 ist ein Blockdiagramm, das eine Konfiguration des fahrzeuginternen Systems, das die Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer Abwandlung der zweiten Ausführungsform darstellt;
- 10 ist ein Blockdiagramm, das eine Konfiguration eines fahrzeuginternen Systems, das eine Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer dritten Ausführungsform darstellt;
- 11 ist ein Ablaufdiagramm, das den Betrieb der Vorrichtung zur Detektion fallender Objekte gemäß der dritten Ausführungsform darstellt;
- 12 ist eine Darstellung, die ein Beispiel von Kamerabildern und Bewegungsvektoren gemäß der dritten Ausführungsform darstellt;
- 13 ist eine Darstellung, die ein Beispiel von Kamerabildern und Bewegungsvektoren gemäß der dritten Ausführungsform darstellt;
- 14 ist eine Darstellung, die ein Beispiel von Kamerabildern und Bewegungsvektoren gemäß der dritten Ausführungsform darstellt;
- 15 ist eine Darstellung, die ein Beispiel von Kamerabildern und Bewegungsvektoren gemäß der dritten Ausführungsform darstellt; und
- 16 ist ein Blockdiagramm, das eine Konfiguration des fahrzeuginternen Systems, das die Vorrichtung zur Detektion fallender Objekte umfasst, gemäß einer Variation der dritten Ausführungsform darstellt.
-
Beschreibung von Ausführungsformen
-
Ausführungsformen der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die Zeichnungen beschrieben. In allen Zeichnungen sind gleiche oder entsprechende Teile mit denselben Bezugszeichen gekennzeichnet. In der Beschreibung der Ausführungsformen wird die Beschreibung gleicher oder äquivalenter Teile in geeigneter Weise weggelassen oder vereinfacht. Es ist zu beachten, dass die vorliegende Erfindung nicht auf die nachstehend zu beschreibenden Ausführungsformen beschränkt ist und gegebenenfalls verschiedene Abwandlungen möglich sind. Beispielsweise können zwei oder mehr der nachfolgend zu beschreibenden Ausführungsformen in Kombination implementiert werden. Alternativ kann eine Ausführungsform oder eine Kombination von zwei oder mehr Ausführungsformen der nachfolgend zu beschreibenden Ausführungsformen teilweise implementiert werden.
-
Erste Ausführungsform
-
Unter Bezugnahme auf 1 bis 4 wird diese Ausführungsform beschrieben.
-
*** Beschreibung der Konfiguration ***
-
Unter Bezugnahme auf 1 wird eine Konfiguration eines fahrzeuginternen Systems 10, das eine Vorrichtung zur Detektion fallender Objekte 11 umfasst, gemäß dieser Ausführungsform beschrieben.
-
Das fahrzeuginterne System 10 umfasst die Vorrichtung zur Detektion fallender Objekte 11, Sensoreinrichtungen 21 und eine Fahrzeugsteuereinheit 31.
-
Die Vorrichtung zur Detektion fallender Objekte 11 ist ein Computer. Die Vorrichtung zur Detektion fallender Objekte 11, die in dieser Ausführungsform ein üblicherweise verwendeter Computer ist, kann eine eingebettete Vorrichtung oder eine ECU sein. „ECU“ ist eine Abkürzung für elektronische Steuereinheit.
-
Die Vorrichtung zur Detektion fallender Objekte 11 umfasst einen Prozessor 13 und umfasst auch andere Hardwarekomponenten wie beispielsweise eine Sensor-IO 12, einen Speicher 14 und einen ROM 15. „IO“ ist eine Abkürzung für Eingabe/Ausgabe. Der Prozessor 13 ist über Signalleitungen mit den anderen Hardwarekomponenten verbunden und steuert die anderen Hardwarekomponenten.
-
Die Vorrichtung zur Detektion fallender Objekte 11 umfasst als Funktionselemente eine Erfassungseinheit 41, eine Bestimmungseinheit 42, eine Detektionseinheit 43 und eine Messeinheit 44. Die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 werden durch Software verwirklicht.
-
Der Prozessor 13 ist eine Einrichtung, die ein Programm zur Detektion fallender Objekte ausführt. Das Programm zur Detektion fallender Objekte ist ein Programm zum Realisieren der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44. Der Prozessor 13, der in dieser Ausführungsform eine CPU ist, kann eine GPU oder eine Kombination aus einer CPU und einer GPU sein. „CPU“ ist eine Abkürzung für Zentralverarbeitungseinheit. „GPU“ ist eine Abkürzung für Grafikverarbeitungseinheit.
-
Der Speicher 14 und der ROM 15 sind Einrichtungen zum Speichern des Programms zur Detektion fallender Objekte. „ROM“ ist eine Abkürzung für Nur-LeseSpeicher. Der Speicher 14 ist beispielsweise ein RAM, ein Flash-Speicher oder eine Kombination davon. „RAM“ ist eine Abkürzung für Speicher mit wahlfreiem Zugriff.
-
Die Vorrichtung zur Detektion fallender Objekte 11 kann ferner als Hardware eine Kommunikationseinrichtung, eine Eingabeeinrichtung und einen Bildschirm aufweisen.
-
Die Kommunikationseinrichtung umfasst einen Empfänger zum Empfangen von Dateneingaben in das Programm zur Detektion fallender Objekte und einen Sender zum Senden von Datenausgaben aus dem Programm zur Detektion fallender Objekte. Die Kommunikationseinrichtung ist beispielsweise ein Kommunikationschip oder eine Netzschnittstellenkarte. „NIC“ ist eine Abkürzung für Netzschnittstellenkarte.
-
Die Eingabeeinrichtung ist eine Einrichtung, die von einem Anwender betätigt wird, um Daten in das Programm zur Detektion fallender Objekte einzugeben. Die Eingabeeinrichtung ist beispielsweise ein Berührungsfeld.
-
Der Bildschirm ist eine Einrichtung zum Anzeigen von Daten, die von dem Programm zur Detektion fallender Objekte ausgegeben werden, auf einem Schirm. Der Bildschirm ist beispielsweise ein LCD. „LCD“ ist eine Abkürzung für Flüssigkristallbildschirm.
-
Das Programm zur Detektion fallender Objekte wird aus dem ROM 15 in den Speicher 14 geladen, aus dem Speicher 14 in den Prozessor 13 gelesen und von dem Prozessor 13 ausgeführt.
-
Die Vorrichtung zur Detektion fallender Objekte 11 kann als Alternative zu dem Prozessor 13 mehrere Prozessoren aufweisen. Diese Prozessoren teilen sich die Ausführung des Programms zur Detektion fallender Objekte. Jeder der Prozessoren ist beispielsweise eine CPU, eine GPU, ein DSP oder eine Kombination aus einzelnen oder allen von diesem.
-
Daten, Informationen, Signalwerte und Variablenwerte, die von dem Programm zur Detektion fallender Objekte verwendet, verarbeitet oder ausgegeben werden, werden in dem Speicher 14 oder in einem Register oder einem Cache-Speicher in dem Prozessor 13 gespeichert.
-
Das Programm zur Detektion fallender Objekte ist ein Programm, mit dem ein Computer dazu veranlasst wird, die von der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 bzw. der Messeinheit 44 ausgeführten Prozesse als Erfassungsprozess, als Bestimmungsprozess, Detektionsprozess und Messprozess auszuführen. Das Programm zur Detektion fallender Objekte kann aufgezeichnet und auf einem computerlesbaren Medium bereitgestellt werden, kann gespeichert und auf einem Aufzeichnungsmedium bereitgestellt werden oder kann als Programmprodukt bereitgestellt werden.
-
Die Vorrichtung zur Detektion fallender Objekte kann aus einem Computer oder aus mehreren Computern bestehen. Wenn die Vorrichtung zur Detektion fallender Objekte 11 aus mehreren Computern besteht, können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 auf mehrere Computer verteilt sein und von diesen realisiert werden.
-
Die Sensoreinrichtungen 21 umfassen mindestens einen Tiefensensor 22 und einen Abstandssensor 23. Der Tiefensensor 22 ist beispielsweise eine Stereokamera oder eine Kombination aus einer Monokularkamera und einem LiDAR-Sensor. „LiDAR“ ist eine Abkürzung für Lichtdetektion und Entfernungsbestimmung. Der Abstandssensor 23, der in dieser Ausführungsform ein Millimeterwellensensor ist, kann ein Radarsensor eines anderen Typs sein. Die Sensoreinrichtungen 21 können ferner andere fahrzeuginterne Einrichtungen wie eine Kamera und ein Sonar umfassen.
-
Die Fahrzeugsteuereinheit 31 umfasst eine Fahrzeugsteuerbusschnittstelle 32, eine Sensor-ECU 33 und eine Fahrzeug-ECU 34.
-
Die Fahrzeugsteuerbusschnittstelle 32 ist eine Schnittstelle zur Kommunikation zwischen der Vorrichtung zur Detektion fallender Objekte 11, der Sensor-ECU 33 und der Fahrzeug-ECU 34.
-
Die Sensor-ECU 33 ist eine ECU zum Verarbeiten von Daten, die von den Sensoreinrichtungen 21 erhalten werden.
-
Die Fahrzeug-ECU 34 ist eine ECU zum Steuern eines Fahrzeugs.
-
*** Beschreibung des Betriebs ***
-
Unter Bezugnahme auf 1 und auch auf 2 bis 4 wird der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 gemäß dieser Ausführungsform beschrieben. Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 ist äquivalent zu einem Verfahren zur Detektion fallender Objekte gemäß dieser Ausführungsform.
-
Die Vorrichtung zur Detektion fallender Objekte 11 ist in einem ersten Fahrzeug 51 installiert und wird dort verwendet. Das erste Fahrzeug 51 ist ein automatisiert fahrendes Fahrzeug. Das fahrzeuginterne System 10, das die Vorrichtung zur Detektion fallender Objekte 11 umfasst, ist ein System, das in dem ersten Fahrzeug 51 installiert ist. Die Fahrzeugsteuereinheit 31 des fahrzeuginternen Systems 10 steuert das Fahren des ersten Fahrzeugs 51.
-
Die Vorrichtung zur Detektion fallender Objekte 11 ist über die Sensor-IO 12 mit den Sensoreinrichtungen 21, die fahrzeuginterne Sensoren sind, verbunden. Durch diese Anordnung werden von den Sensoreinrichtungen 21 gemessenen Erfassungsdaten des Bereichs vor dem ersten Fahrzeug 51 in die Vorrichtung zur Detektion fallender Objekte 11 eingegeben.
-
Die Vorrichtung zur Detektion fallender Objekte 11 berechnet ein Tiefenbild 61 basierend auf Erfassungsdaten aus dem Tiefensensor 22 des ersten Fahrzeugs 51 und vergleicht das Tiefenbild 61 mit verschiedenen Sensorinformationen, um ein zweites Fahrzeug 52 und eine Ladung 53 zu trennen, wodurch sofort die Ladung 53, die von dem zweiten Fahrzeug 52 gefallen ist, detektiert wird. Das zweite Fahrzeug 52 ist ein Fahrzeug, an dem die Ladung 53 montiert ist und das vor dem ersten Fahrzeug 51 fährt, d. h. ein vorausfahrendes Fahrzeug.
-
Die Vorrichtung zur Detektion fallender Objekte 11 ist über die Fahrzeugsteuerbusschnittstelle 32 mit der Fahrzeugsteuereinheit 31 verbunden. Durch diese Anordnung werden Positionsinformationen und Bewegungsinformationen eines von der Vorrichtung zur Detektion fallender Objekte 11 detektierten fallenden Objekts an die Fahrzeugsteuereinheit 31 ausgegeben.
-
In dieser Ausführungsform bezieht sich die Vorrichtung zur Detektion fallender Objekte 11 auf Änderungen in dem Tiefenbild 61 sowie auf Abstandsinformationen aus dem Abstandssensor 23, der ein Millimeterwellensensor ist, um die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen. Mit dieser Anordnung kann auch dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, die Ladung 53, die fällt oder vielleicht fallt, sofort detektiert werden, so dass das erste Fahrzeug 51 dieses fallende Objekt vermeidet.
-
Wenn die Vorrichtung zur Detektion fallender Objekte 11 detektiert hat, dass die Ladung 53 von dem zweiten Fahrzeug 52 gefallen ist, das vor dem ersten Fahrzeug 51 fährt, steuert die Fahrzeugsteuereinheit 31 die Bremsen des ersten Fahrzeugs 51, um eine Kollision mit der Ladung 53, die heruntergefallen ist, zu vermeiden. Die Fahrzeugsteuereinheit 31 kann eine Kollision mit der Ladung 53 nicht nur durch Steuern der Bremsen des ersten Fahrzeugs 51, sondern auch durch Vornehmen eines Spurwechsels vermeiden.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird im Einzelnen beschrieben.
-
In Schritt S101 von 2 erfasst die Erfassungseinheit 41 ein Tiefenbild 61 des zweiten Fahrzeugs 52 und des Bereichs um das zweite Fahrzeug 52.
-
In den Schritten S102 bis S106 von 2 bestimmt die Bestimmungseinheit 42 unter Verwendung des von der Erfassungseinheit 41 erfassten Tiefenbildes 61, ob die Ladung 53 nicht eine von der des zweiten Fahrzeugs 52 verschiedene Bewegung gemacht hat. In den Schritten S102 und S103 bezieht sich die Bestimmungseinheit 42 auf das Tiefenbild 61, um den Abstand zu dem nächsten Objekt außer der Straße zu berechnen. In Schritt S104 misst die Messeinheit 44 den Abstand zu dem zweiten Fahrzeug 52 unter Verwendung des Abstandssensors 23. In dieser Ausführungsform misst die Messeinheit 44 den Abstand zu dem zweiten Fahrzeug 52 unter Verwendung eines Millimeterwellensensors als Abstandssensor 23. In den Schritten S105 und S106 vergleicht die Bestimmungseinheit 42 der berechneten Abstand mit dem von der Messeinheit 44 gemessenen Abstand und bestimmt dann, wenn eine Differenz zwischen den Abständen eine Schwelle überschreitet, dass die Ladung 53 eine Bewegung, um sich von dem zweiten Fahrzeug 52 zu trennen, als „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat.
-
In den Schritten S107 und S108 von 2 detektiert die Detektionseinheit 43 einen Fall der Ladung 53 basierend auf dem Ergebnis der Bestimmung durch die Bestimmungseinheit 42.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird im Einzelnen beschrieben.
-
In Schritt S101 berechnet die Erfassungseinheit 41 das Tiefenbild 61 des Bereichs vor dem ersten Fahrzeug 51 unter Verwendung des Tiefensensors 22 unter den Sensoreinrichtungen 21.
-
Wenn der Tiefensensor 22, der zum Berechnen des Tiefenbildes 61 verwendet wird, eine Stereokamera ist, vergleicht die Erfassungseinheit 41 ein von einer Kamera aufgenommenes Bild mit einem von der anderen Kamera aufgenommenen Bild, um nach einem Punkt mit jeweils demselben Merkmal in jedem der aufgenommenen Bilder zu suchen, und bezieht sich auf einen Sprung zwischen den Positionen der Merkmalspunkte, um Abstandsinformationen, d. h. einen Tiefenwert des Merkmalspunkts, zu berechnen. Die Erfassungseinheit 41 erzeugt das Tiefenbild 61 durch Berechnen eines Tiefenwerts für jedes Pixel des aufgenommenen Bildes.
-
Wenn der Tiefensensor 22, der zum Berechnen des Tiefenbildes 61 verwendet wird, eine Kombination aus einer Monokularkamera und einem LiDAR-Sensor ist, verwendet die Erfassungseinheit 41 3D-Punktwolkeninformationen, die von dem LiDAR-Sensor gemessen werden, als Basis, um das Tiefenbild 61 basierend auf einem Fusionsergebnis zwischen der Monokularkamera und dem LiDAR-Sensor zu berechnen. Da die 3D-Punktwolkeninformationen des LiDAR-Sensors eine niedrige Messauflösung aufweist, bezieht sich die Erfassungseinheit 41 auf Grenzbereichsinformationen, d. h. Kanteninformationen von Objekten, die in dem von der Monokularkamera aufgenommenen Bild aufgenommen werden, um eine Interpolation an den 3D-Wolkeninformationen durchzuführen. Die Erfassungseinheit 41 berechnet das Tiefenbild 61 basierend auf den 3D-Punktwolkeninformationen mit der Messauflösung, die durch Interpolation verbessert wurde. Als spezifische Technik kann eine in dem Nichtpatentdokument 1 beschriebene Technik verwendet werden.
-
Der Tiefensensor 22 kann ein Blitz-LiDAR mit einer hohen Messauflösung sein.
-
In Schritt S102 bezieht sich die Bestimmungseinheit 42 auf das in Schritt S101 berechnete Tiefenbild 61, um Bildbereiche dreidimensionaler Objekte und einen Bildbereich einer Straßenoberfläche zu trennen, wodurch die dreidimensionalen Objekte detektiert werden.
-
In Schritt S103 misst die Bestimmungseinheit 42 den Abstand zu einem dreidimensionalen Objekt, das dem ersten Fahrzeug 51 unter den in Schritt S102 detektierten dreidimensionalen Objekten am nächsten liegt.
-
3 zeigt Beispiele des Tiefenbildes 61. In diesen Beispielen werden die Pixel des Tiefenbildes 61 in Farben angezeigt, die in Abhängigkeit von dem Abstand variieren. Die Farben werden der Einfachheit halber durch Schraffurmuster angezeigt. Am unteren Rand des Tiefenbildes 61 wird der Abstand zu der Straßenoberfläche in einem kurzen Abstand von dem ersten Fahrzeug 51 gemessen, so dass die Farbe der Pixel eine Farbe ist, die einen kurzen Abstand repräsentiert. In den oberen Bereichen des Bildes sind die Abstände von dem ersten Fahrzeug 51 zu der Straßenoberfläche größer, so dass sich die Farben der Pixel in den oberen Bereichen zu Farben ändern, die längere Abstände repräsentieren. In dem Tiefenbild 61 befinden sich Pixel in dem Bildbereich, der das zweite Fahrzeug 52 repräsentiert, ungefähr in gleichen Abständen und haben daher die gleiche Farbe. Es ist zu beachten, dass Pixel, für die der Abstand nicht gemessen werden kann, schwarz angezeigt werden.
-
Die obere Darstellung in 3 zeigt das Tiefenbild 61 vor der Trennung zwischen dem zweiten Fahrzeug 52 und der Ladung 53. Vor der Trennung sind der Abstand zu dem zweiten Fahrzeug 52 und der Abstand zu der Ladung 53 ungefähr gleich, so dass die Farben der Pixel auch ungefähr gleich sind. Die untere Darstellung in 3 zeigt das Tiefenbild 61 nach der Trennung zwischen dem zweiten Fahrzeug 52 und der Ladung 53. Nach der Trennung sind der Abstand zu dem zweiten Fahrzeug 52 und der Abstand zu der Ladung 53 unterschiedlich, so dass die Farbe der Pixel, die einem Bereich entsprechen, in dem die Ladung 53 erfasst wird, sich von der Farbe der Pixel des zweiten Fahrzeugs 52 unterscheidet.
-
In einem Prozess zum Detektieren des Bildbereichs, der das zweite Fahrzeug 52 repräsentiert, wird ein dreidimensionales Objekt aus dem Tiefenbild 61 detektiert, ein Bildbereich des dreidimensionalen Objekts und ein Bildbereich der Straßenoberfläche werden getrennt und der Bildbereich des dreidimensionalen Objekts wird als der Bildbereich des zweiten Fahrzeugs 52 bestimmt. Es ist zu beachten, dass dann, wenn die Größe des Bildbereichs des dreidimensionalen Objekts klein ist und sich von der Größe des Fahrzeugs unterscheidet, bestimmt werden kann, dass das dreidimensionale Objekt nicht das zweite Fahrzeug 52 ist.
-
In dieser Ausführungsform wird der Abstand eines Pixels, das dem ersten Fahrzeug 51 am nächsten liegt, in Bildbereichen, die als dreidimensionale Objekte bestimmt sind, als Abstand des Tiefenbildes 61 behandelt. Wenn das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, ist die Ladung 53 dem ersten Fahrzeug 51 am nächsten, so dass der Abstand des Tiefenbildes 61 den Abstand zu der Ladung 53 angibt. Als Verfahren zum Detektieren dreidimensionaler Objekte in dem Tiefenbild 61 kann ein in Nichtpatentdokument 2 beschriebenes Verfahren verwendet werden.
-
In Schritt S104 berechnet die Messeinheit 44 den Abstand zu dem zweiten Fahrzeug 52 vor dem ersten Fahrzeug 51 unter Verwendung des Millimeterwellensensors unter den Sensoreinrichtungen 21.
-
Der Millimeterwellensensor gibt eine Millimeterwelle aus, die eine elektromagnetische Welle mit einer kurzen Wellenlänge ist, und empfängt die elektromagnetische Welle, die von einem Objekt wie dem zweiten Fahrzeug 52 reflektiert wird, wodurch der Abstand zu dem Objekt gemessen wird. Millimeterwellen werden von Objekten, die Metall enthalten, stark reflektiert. Daher detektiert der Millimeterwellensensor das zweite Fahrzeug 52, detektiert jedoch kein Objekt, das kein Metall enthält, wie beispielsweise einen Karton. Selbst wenn die Ladung 53 plötzlich von dem zweiten Fahrzeug 52 fällt, detektiert der Millimeterwellensensor dann, wenn die Ladung 53 ein Objekt ist, das kein Metall enthält, wie beispielsweise eine Pappschachtel, die Ladung 53 nicht und misst den Abstand zu dem zweiten Fahrzeug 52 vor der Ladung 53.
-
In Schritt S105 startet die Bestimmungseinheit 42 einen Prozess zum Bestimmen des Abstands zwischen dem zweiten Fahrzeug 52 und der Ladung 53 und vergleicht den in Schritt S103 gemessenen Abstand des Tiefenbildes 61 mit dem in Schritt S104 gemessenen Abstand des Millimeterwellensensors.
-
Der Abstand des Tiefenbildes 61 ist der Abstand zu dem Objekt, das dem ersten Fahrzeug 51 am nächsten liegt, während der Abstand des Millimeterwellensensors der Abstand zu dem zweiten Fahrzeug 52 ist, das Metall enthält. In der Tat wird aufgrund des Effekts eines Verfolgungsprozesses des Millimeterwellensensors dann, wenn das zweite Fahrzeug 52 detektiert wurde, bevor die Ladung 53 fällt, auf das vorherige Detektionsergebnis Bezug genommen, selbst nachdem die Ladung 53 gefallen ist, so dass eine hohe Wahrscheinlichkeit besteht, dass das zweite Fahrzeug 52 weiterhin erfasst wird. Wenn also wie in 4 dargestellt das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind, sind der Abstand des Tiefenbildes 61 und der Abstand des Millimeterwellensensors gleich, wohingegen dann, wenn das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, es eine Differenz zwischen dem Abstand des Tiefenbildes 61 und dem Abstand des Millimeterwellensensors gibt.
-
Wenn in Schritt S106 die Differenz zwischen den beiden in Schritt S105 verglichenen Abständen größer oder gleich einer gegebenen Schwelle ΔZ ist, bestimmt die Bestimmungseinheit 42, dass das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, und fährt mit Schritt S107 fort. Wenn die Differenz in den Abständen kleiner als die Schwelle ist, bestimmt die Bestimmungseinheit 42, dass das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind, und kehrt zu Schritt S101 zurück.
-
Die Schwelle ΔZ kann ein beliebiger Wert sein und ist vorzugsweise gemäß der Abstandsmessgenauigkeit des Sensors festzulegen. Beispielsweise kann die Schwelle ΔZ auf etwa 0,5 m festgelegt werden.
-
In Schritt S107 berechnet die Detektionseinheit 43 basierend auf dem Ergebnis der Trennungsbestimmung in Schritt S106 die Position und Geschwindigkeit der Ladung 53, die ein fallendes Objekt ist. Die Position der Ladung 53 wird basierend auf dem in Schritt S101 aufgenommenen Tiefenbild 61 und dem in Schritt S103 gemessenen Abstand zu dem dreidimensionalen Objekt berechnet. Die Position in einer Z-Achsenrichtung kann basierend auf dem Abstand in Schritt S103 berechnet werden und die Positionen in einer X-Achsenrichtung und einer Y-Achsenrichtung können basierend auf dem Tiefenbild 61 und den Abstandsinformationen in Schritt S101 berechnet werden. Die X-Achsenrichtung entspricht einer seitlichen Richtung des Fahrzeugs, die Y-Achsenrichtung entspricht einer Höhenrichtung des Fahrzeugs und die Z-Achsenrichtung entspricht einer Fahrtrichtung des Fahrzeugs. Die Geschwindigkeit der Ladung 53 wird basierend auf der Geschwindigkeit des ersten Fahrzeugs 51 und Zeitreiheninformationen über die Position der Ladung 53 berechnet.
-
In Schritt S108 sendet die Detektionseinheit 43 an die Fahrzeug-ECU 34 in Schritt S107 berechnete Informationen über die Position und Geschwindigkeit der Ladung 53, die ein fallendes Objekt ist.
-
Die Fahrzeug-ECU 34 nimmt auf die Informationen über die Position und Geschwindigkeit des fallenden Objekts, die in Schritt S108 gesendet werden, Bezug und verringert die Geschwindigkeit des ersten Fahrzeugs 51 oder ändert die Fahrtrichtung durch Lenken, nimmt also beispielsweise einen Spurwechsel vor, um eine Kollision mit diesem fallenden Objekt zu vermeiden. Es ist zu beachten, dass diese Funktion der Fahrzeug-ECU 34 durch das Programm zur Detektion fallender Objekte als Funktion einer Steuereinheit realisiert werden kann. Das heißt, die Vorrichtung zur Detektion fallender Objekte 11 kann ferner die Steuereinheit umfassen, um die Bewegung des ersten Fahrzeugs 51 gemäß der Position und Geschwindigkeit der Ladung 53, die von der Detektionseinheit 43 berechnet werden, zu steuern.
-
Mit dem obigen Betrieb kann selbst dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, die fallende Ladung 53 sofort detektiert werden, so dass eine Kollision mit dem fallenden Objekt vermieden werden kann.
-
Es ist zu beachten, dass die Detektionseinheit 43 in den Schritten S107 und S108 nicht nur die Position und Geschwindigkeit der Ladung 53, sondern basierend auf dem Tiefenbild 61 auch die Größe und Bewegungsrichtung der Ladung 53 berechnen kann und Informationen über die Position, Größe, Bewegungsgeschwindigkeit und Bewegungsrichtung der Ladung 53 an die Fahrzeug-ECU 34 gesendet werden können.
-
Beim Senden von Informationen an die Fahrzeug-ECU 34 kann die Detektionseinheit 43 die Genauigkeit der Informationen bestimmen und das Ergebnis der Genauigkeitsbestimmung zusammen mit den Informationen senden.
-
*** Beschreibung von Wirkungen der Ausführungsform ***
-
In dieser Ausführungsform wird ein Fall der Ladung 53 basierend auf dem Ergebnis der Bestimmung, ob die Ladung 53 auf dem vorausfahrenden Fahrzeug keine Bewegung, die sich von der des vorausfahrenden Fahrzeugs unterscheidet, gemacht hat, unter Verwendung des Tiefenbildes 61 des vorausfahrenden Fahrzeugs und des Bereichs um das vorausfahrende Fahrzeug detektiert. Daher kann ein Fall der Ladung 53 von dem vorausfahrenden Fahrzeug sofort detektiert werden.
-
In dieser Ausführungsform wird die Ladung 53, die gerade fällt oder vielleicht fällt, detektiert, wodurch ein Fall der Ladung sofort detektiert wird. Dies ermöglicht ein Fahren zum Vermeiden der Ladung 53, die von dem zweiten Fahrzeug 52 fällt, selbst dann, wenn der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 kurz ist. Es ist zu beachten, dass dann, wenn detektiert wird, dass die Ladung 53 eine hohe Wahrscheinlichkeit des Fallens hat, die Geschwindigkeit des ersten Fahrzeugs 51 verringert werden kann, um den Zwischenfahrzeugabstand zu dem zweiten Fahrzeug 52 zu vergrößern.
-
In dieser Ausführungsform bestimmt die Bestimmungseinheit 42 den Abstand zwischen dem zweiten Fahrzeug 52 und der Ladung 53 unter Verwendung der Eigenschaften der Reflexionsintensität des Millimeterwellensensors. Da der Millimeterwellensensor stark auf Metalle reagiert, reagiert der Millimeterwellensensor auch dann, wenn die Ladung 53, die kein Metall enthält, wie beispielsweise ein Karton, von dem zweiten Fahrzeug 52 fällt, nicht auf die Ladung 53 und detektiert das zweite Fahrzeug 52. Daher gibt die Messeinheit 44 den Abstand zu dem zweiten Fahrzeug 52 aus. Andererseits detektiert der Tiefensensor 22, beispielsweise eine Stereokamera, die Ladung 53, die von dem zweiten Fahrzeug 52 gefallen ist, und gibt somit den Abstand zu der Ladung 53 aus. Durch Vergleichen der Abstände der beiden Sensortypen kann die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 bestimmt werden.
-
In dieser Ausführungsform bezieht sich die Detektionseinheit 43 auf das Ergebnis der Trennungsbestimmung durch die Bestimmungseinheit 42, so dass ein Fall der Ladung 53 auch in einer Situation bestimmt werden kann, in der sich die Ladung 53 nach dem Fall durch Aufprall bewegt hat.
-
Gemäß dieser Ausführungsform ist es möglich, ein automatisiert fahrendes Fahrzeug zu schaffen, das eine Kollision mit der Ladung 53 auch dann vermeiden kann, wenn die Ladung 53 plötzlich von dem vorausfahrenden Fahrzeug fällt, indem die Ladung 53, die von dem vorausfahrenden Fahrzeug fällt, oder die Ladung 53 mit hoher Fallwahrscheinlichkeit sofort detektiert wird.
-
*** Andere Konfigurationen ***
-
In dieser Ausführungsform werden die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 durch Software realisiert. Als Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 jedoch durch Hardware realisiert werden. In Bezug auf diese Abwandlung werden hauptsächlich Unterschiede zu dieser Ausführungsform beschrieben.
-
Unter Bezugnahme auf 5 wird eine Konfiguration des fahrzeuginternen Systems 10, die die Vorrichtung zur Detektion fallender Objekte 11 umfasst, gemäß der Variation dieser Ausführungsform beschrieben.
-
In dieser Abwandlung umfasst die Vorrichtung zur Detektion fallender Objekte 11 Hardware wie etwa eine elektronische Schaltung 16 und die Sensor-IO 12.
-
Die elektronische Schaltung 16 ist dedizierte Hardware, die die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 realisiert. Die elektronische Schaltung 16 ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallelprogrammierter Prozessor, eine Logik-IC, eine GA, eine FPGA, eine ASIC oder eine Kombination von einigen oder allen von diesen. „IC“ ist eine Abkürzung für integrierte Schaltung. „GA“ ist eine Abkürzung für Gatteranordnung. „FPGA“ ist eine Abkürzung für feldprogrammierbare Gatteranordnung. „ASIC“ ist eine Abkürzung für anwendungsspezifische integrierte Schaltung.
-
Die Vorrichtung zur Detektion fallender Objekte 11 kann als Alternative zu der elektronischen Schaltung 16 mehrere elektronische Schaltungen aufweisen. Diese elektronischen Schaltungen realisieren als Ganzes die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 42 und der Messeinheit 44. Jede der elektronischen Schaltungen ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallelprogrammierter Prozessor, eine Logik-IC, eine GA, eine FPGA, eine ASIC oder eine Kombination von einigen oder allen von diesen.
-
Als andere Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 durch eine Kombination von Software und Hardware realisiert werden. Das heißt, einige der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 können durch die dedizierte Hardware realisiert werden und der Rest der Funktionen kann durch Software realisiert werden.
-
Der Prozessor 13 und die elektronische Schaltung 16 sind beide Verarbeitungsschaltungsanordnungen. Das heißt, der Betrieb der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Messeinheit 44 wird von der Verarbeitungsschaltungsanordnung ausgeführt, unabhängig davon, ob die Konfiguration der Vorrichtung zur Detektion fallender Objekte 11 eine der Konfigurationen ist, die in 1 und 5 dargestellt sind.
-
Zweite Ausführungsform
-
Unter Bezugnahme auf 6 bis 8 werden hauptsächlich Unterschiede zu der ersten Ausführungsform in Bezug auf diese Ausführungsform beschrieben.
-
*** Beschreibung der Konfiguration ***
-
Unter Bezugnahme auf 6 wird eine Konfiguration des fahrzeuginternen Systems 10, das die Vorrichtung zur Detektion fallender Objekte 11umfasst, gemäß dieser Ausführungsform beschrieben.
-
In dieser Ausführungsform umfasst die Vorrichtung zur Detektion fallender Objekte 11 als Funktionselemente die Erfassungseinheit 41, die Bestimmungseinheit 42 und die Detektionseinheit 43. Die Bestimmungseinheit 42 umfasst eine Berechnungseinheit 45. Die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 werden durch Software realisiert.
-
In dieser Ausführungsform ist das Programm zur Detektion fallender Objekte ein Programm zum Veranlassen, dass ein Computer die von der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 ausgeführten Prozesse als Erfassungsprozess, Bestimmungsprozess bzw. Detektionsprozess ausführt. Das heißt, das Programm zur Detektion fallender Objekte ist ein Programm zum Realisieren der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43. Das Programm zur Detektion fallender Objekte wird wie in der ersten Ausführungsform aus dem ROM 15 in den Speicher 14 geladen, von dem Speicher 14 in den Prozessor 13 gelesen und von dem Prozessor 13 ausgeführt.
-
In dieser Ausführungsform umfassen die Sensoreinrichtungen 21 mindestens den Tiefensensor 22.
-
*** Beschreibung des Betriebs ***
-
Unter Bezugnahme auf 6 und auch auf 7 und 8 wird der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 gemäß dieser Ausführungsform beschrieben. Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 ist äquivalent zu einem Verfahren zur Detektion fallender Objekte gemäß dieser Ausführungsform.
-
In dieser Ausführungsform bezieht sich die Vorrichtung zur Detektion fallender Objekte 11 auf die Größe eines Bildbereichs in einem Tiefenbild 61, in dem eine Änderung stattgefunden hat, um den Abstand zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen. Bei dieser Anordnung kann auch dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, kann die Ladung 53, die fällt oder vielleicht fällt, wie in der ersten Ausführungsform sofort detektiert werden, so dass das erste Fahrzeug 51 dieses fallende Objekt vermeidet.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird im Einzelnen beschrieben.
-
In Schritt S201 von 7 erfasst die Erfassungseinheit 41 Tiefenbilder 61 des zweiten Fahrzeugs 52 und des Bereichs um das zweite Fahrzeug 52.
-
In den Schritten S202 bis S206 von 7 bestimmt die Bestimmungseinheit 42 unter Verwendung der von der Erfassungseinheit 41 erfassten Tiefenbilder 61, ob die Ladung 53 keine von der des zweiten Fahrzeugs 52 verschiedene Bewegung gemacht hat. Speziell berechnet die Bestimmungseinheit 42 in den Schritten S202 bis S204 einen Bildbereich, in dem sich die Tiefenwerte zwischen den Tiefenbildern 61 zu mehreren von der Erfassungseinheit 41 erfassten Zeitpunkten geändert haben. In den Schritten S205 und S206 bestimmt die Bestimmungseinheit 42 dann, wenn sich die Größe des berechneten Bildbereichs von einer Größe, die dem zweiten Fahrzeug 52 entspricht, unterscheidet, dass die Ladung 53 eine Bewegung zum Trennen von dem zweiten Fahrzeug 52 als „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat.
-
In den Schritten S207 und S208 von 7 detektiert die Detektionseinheit 43 einen Fall der Ladung 53 basierend auf dem Ergebnis der Bestimmung durch die Bestimmungseinheit 42.
-
Es ist zu beachten, dass in den Schritten S202 bis S204, sofern der Bildbereich des zweiten Fahrzeugs 52 und der Bildbereich der Ladung 53 unterschieden werden können, die Bestimmungseinheit 42 einen Änderungsbetrag der Tiefenwerte zwischen den Bildbereichen des zweiten Fahrzeugs 52 mit einem Änderungsbetrag der Tiefenwerte zwischen den Bildbereichen der Ladung 53 in den Tiefenbildern 61 zu mehreren Zeitpunkten, die von der Erfassungseinheit 41 erfasst wurden, vergleichen kann. In den Schritten S205 und S206 wird kann die Bestimmungseinheit 42 bestimmen, dass die Ladung 53 eine Bewegung zum Trennen von dem zweiten Fahrzeug 52 als „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat, wenn eine Differenz zwischen den Änderungsbeträgen eine Schwelle überschreitet.
-
Selbst wenn die Differenz zwischen den Änderungsbeträgen unter der Schwelle liegt, kann die Bestimmungseinheit 42 ferner basierend auf der Differenz der Änderungsbeträge bestimmen, dass die Ladung 53 nicht fixiert ist. In den Schritten 207 und S208 kann die Detektionseinheit 43 dann, wenn die Bestimmungseinheit 42 bestimmt hat, dass die Ladung 53 nicht fixiert ist, eine Steuerung durchführen, um den Abstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 zu vergrößern.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird im Einzelnen beschrieben.
-
Der Prozess von Schritt S201 ist der gleiche wie der Prozess von Schritt S101 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Der Prozess von Schritt S202 ist der gleiche wie der Prozess von Schritt S102 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
In Schritt S203 schneidet die Bestimmungseinheit 42 Bildbereiche der in Schritt S202 detektierten dreidimensionalen Objekte aus dem Tiefenbild 61 aus.
-
In Schritt S204 berechnet die in der Bestimmungseinheit 42 enthaltene Berechnungseinheit 45 einen Bildbereich, in dem sich die Tiefenwerte geändert haben, in Zeitreihen aus den in Schritt S203 ausgeschnittenen Bildbereichen.
-
In Schritt S205 startet die Bestimmungseinheit 42 einen Prozess zum Bestimmen des Abstands zwischen dem zweiten Fahrzeug 52 und der Ladung 53 und bezieht sich auf den Bildbereich, in dem sich die Tiefenwerte geändert haben, und auf Abstandsinformationen der Tiefenwerte, die in Schritt S204 berechnet werden, um die tatsächliche Größe des in dem Bildbereich erfassten Objekts zu berechnen. Beim Berechnen der tatsächlichen Größe des Objekts wird die Position in Z-Achsenrichtung basierend auf den Abstandsinformationen berechnet, die Positionen in X-Achsenrichtung und Y-Achsenrichtung werden basierend auf den Tiefenbildern 61 und den Abstandsinformationen berechnet und die tatsächliche Größe des Objekts, die dem Bildbereich entspricht, wird basierend auf diesen Positionen bestimmt. Wie oben beschrieben entspricht die X-Achsenrichtung der seitlichen Richtung des Fahrzeugs, die Y-Achsenrichtung der Höhenrichtung des Fahrzeugs und die Z-Achsenrichtung der Fahrtrichtung des Fahrzeugs.
-
Wenn in Schritt S206 die in Schritt S205 berechnete Größe kleiner oder gleich einer Schwelle ist, die der Größe des Fahrzeugs entspricht, schließt die Bestimmungseinheit 42, dass sich die Tiefenwerte aufgrund eines Falls der Ladung 53 geändert haben, wodurch bestimmt wird, das sich das zweite Fahrzeug 52 und die Ladung 53 getrennt haben, und fährt mit Schritt S207 fort. Wenn die in Schritt S205 berechnete Größe größer als die Schwelle ist, die der Größe des Fahrzeugs entspricht, nimmt die Bestimmungseinheit 42 an, dass sich die Tiefenwerte einfach aufgrund einer Änderung des Zwischenfahrzeugabstands zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 geändert haben, wodurch bestimmt wird, dass das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind, und kehrt zu Schritt S201 zurück.
-
8 zeigt ein Beispiel von Bildbereichen in einem Tiefenbild 61. In diesem Beispiel werden die Pixel des Tiefenbildes 61 in Farben angezeigt, die wie in 3 in Abhängigkeit von dem Abstand variieren. Die Farben sind der Einfachheit halber durch Schraffurmuster angegeben.
-
Die obere Darstellung in 8 zeigt das Tiefenbild 61. Die untere Darstellung in 8 zeigt Bildbereiche dreidimensionaler Objekte, die aus dem Tiefenbild 61 der obigen Darstellung ausgeschnitten sind. Wenn sich der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 ändert, ändern sich die Tiefenwerte des Bildbereichs des zweiten Fahrzeugs 52. Wenn sich der Abstand zwischen dem ersten Fahrzeug 51 und der Ladung 53 ändert, ändern sich die Tiefenwerte des Bildbereichs der Ladung 53. Daher kann die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 unter Bezugnahme auf die Größe des Bildbereichs, in dem sich die Tiefenwerte geändert haben, bestimmt werden.
-
Es ist zu beachten, dass sich die Bestimmungseinheit 42 auf Änderungen der Tiefenwerte des gesamten Tiefenbildes 61 beziehen kann, ohne Bildbereiche dreidimensionaler Objekte auszuschneiden, um den Abstand zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen, anstatt Bildbereiche dreidimensionaler Objekte auszuschneiden und sich anschließend auf Änderungen der Tiefenwerte zu beziehen, um die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen.
-
Der Prozess von Schritt S207 ist der gleiche wie der Prozess von Schritt S107 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Der Prozess von Schritt S208 ist der gleiche wie der Prozess von Schritt S108 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Mit dem obigen Betrieb kann selbst dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, die Ladung 53, die gerade fällt, sofort detektiert werden, so dass eine Kollision mit einem fallenden Objekt vermieden werden kann.
-
In dieser Ausführungsform bestimmt die Bestimmungseinheit 42 die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 nur basierend auf der Größe des Bildbereichs, in dem sich die Tiefenwerte geändert haben, so dass es nicht notwendig ist, den Bildbereich des zweiten Fahrzeugs 52 und den Bildbereich der Ladung 53 im Voraus zu unterscheiden.
-
Es ist zu beachten, dass sich die Bestimmungseinheit 42 auf die Tiefenbilder 61 beziehen und den Bildbereich des zweiten Fahrzeugs 52 und den Bildbereich der Ladung 53 im Voraus unterscheiden kann. Die Bestimmungseinheit 42 kann bestimmen, dass das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind, wenn ein Änderungsbetrag der Tiefenwerte in dem Bildbereich des zweiten Fahrzeugs 52 und ein Änderungsbetrag der Tiefenwerte in dem Bildbereich der Ladung 53 ungefähr gleich sind, und bestimmen, dass das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, wenn eine Differenz zwischen den Änderungsbeträgen der Tiefenwerte größer oder gleich einer gegebenen Schwelle ist.
-
Auch wenn die Differenz in den Änderungsbeträgen der Tiefenwerte kleiner als die gegebene Schwelle ist, kann die Bestimmungseinheit 42 dann, wenn ein Zustand fortbesteht, in dem eine Differenz in den Änderungsbeträgen der Tiefenwerte besteht, darauf schließen, dass die Ladung 53 ist nicht an dem zweiten Fahrzeug 52 fixiert ist, und bestimmen, dass die Wahrscheinlichkeit, dass die Ladung 53 fällt, hoch ist. Wenn die Wahrscheinlichkeit eines Falls hoch ist, kann die Detektionseinheit 43 das erste Fahrzeug 51 über die Fahrzeug-ECU 34 steuern, um den Zwischenfahrzeugabstand zu dem zweiten Fahrzeug 52 zu vergrößern.
-
*** Beschreibung von Wirkungen der Ausführungsform ***
-
In dieser Ausführungsform wird ein Fall der Ladung 53 wie in der ersten Ausführungsform basierend auf dem Ergebnis der Bestimmung, ob die Ladung 53 auf dem vorausfahrenden Fahrzeug keine Bewegung gemacht hat, die sich von der des vorausfahrenden Fahrzeugs unterscheidet, unter Verwendung der Tiefenbilder 61 des vorausfahrenden Fahrzeugs und des Bereichs um das vorausfahrende Fahrzeug detektiert. Daher kann ein Fall der Ladung 53 von dem vorausfahrenden Fahrzeug sofort detektiert werden.
-
Anders als in der ersten Ausführungsform, ist ein Abstandssensor wie etwa ein Millimeterwellensensor in dieser Ausführungsform nicht erforderlich.
-
*** Andere Konfigurationen ***
-
In dieser Ausführungsform werden die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 durch Software realisiert. Als Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 jedoch durch Hardware realisiert werden. In Bezug auf diese Abwandlung werden hauptsächlich Unterschiede zu dieser Ausführungsform beschrieben.
-
Unter Bezugnahme auf 9 wird eine Konfiguration des fahrzeuginternen Systems 10, das die Vorrichtung zur Detektion fallender Objekte 11 umfasst, gemäß der Abwandlung dieser Ausführungsform beschrieben.
-
In dieser Abwandlung umfasst die Vorrichtung zur Detektion fallender Objekte 11 Hardware wie etwa die elektronische Schaltung 16 und die Sensor-IO 12.
-
Die elektronische Schaltung 16 ist dedizierte Hardware, die die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 realisiert. Die elektronische Schaltung 16 ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallelprogrammierter Prozessor, eine Logik-IC, eine GA, eine FPGA, eine ASIC oder eine Kombination von einigen oder allen von diesen.
-
Als weitere Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 durch eine Kombination von Software und Hardware realisiert werden. Das heißt, einige der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 können durch die dedizierte Hardware realisiert werden und der Rest der Funktionen kann durch Software realisiert werden.
-
Der Prozessor 13 und die elektronische Schaltung 16 sind beide Verarbeitungsschaltungsanordnungen. Das heißt, der Betrieb der Erfassungseinheit 41, der Bestimmungseinheit 42 und der Detektionseinheit 43 wird von der Verarbeitungsschaltungsanordnung ausgeführt, unabhängig davon, ob die Konfiguration der Vorrichtung zur Detektion fallender Objekte 11 eine der in 6 und 9 dargestellten Konfigurationen ist.
-
Dritte Ausführungsform
-
Unter Bezugnahme auf 10 bis 15 werden hauptsächlich Unterschiede zu der ersten Ausführungsform in Bezug auf diese Ausführungsform beschrieben.
-
*** Beschreibung der Konfiguration ***
-
Unter Bezugnahme auf 10 wird eine Konfiguration des fahrzeuginternen Systems 10, das die Vorrichtung zur Detektion fallender Objekte 11 umfasst, gemäß dieser Ausführungsform beschrieben.
-
In dieser Ausführungsform umfasst die Vorrichtung zur Detektion fallender Objekte 11 als Funktionselemente die Erfassungseinheit 41, die Bestimmungseinheit 42, die Detektionseinheit 43 und eine Berechnungseinheit 46. Die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 werden durch Software realisiert.
-
In dieser Ausführungsform ist ein Programm zur Detektion fallender Objekte ein Programm, mit dem ein Computer dazu veranlasst wird, die von der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 ausgeführten Prozesse als Erfassungsprozess, Bestimmungsprozess, Detektionsprozess bzw. Berechnungsprozess auszuführen. Das heißt, das Programm zur Detektion fallender Objekte ist ein Programm zum Realisieren der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46. Das Programm zur Detektion fallender Objekte wird wie in der ersten Ausführungsform aus dem ROM 15 in den Speicher 14 geladen, aus dem Speicher 14 in den Prozessor 13 gelesen und von dem Prozessor 13 ausgeführt.
-
In dieser Ausführungsform umfassen die Sensoreinrichtungen 21 mindestens den Tiefensensor 22 und eine Kamera 24.
-
*** Beschreibung des Betriebs ***
-
Unter Bezugnahme auf 10 und auch auf 11 bis 15 wird der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 gemäß dieser Ausführungsform beschrieben. Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 ist äquivalent zu einem Verfahren zur Detektion fallender Objekte gemäß dieser Ausführungsform.
-
In dieser Ausführungsform bezieht sich die Vorrichtung zur Detektion fallender Objekte 11 auf Änderungen der Tiefenbilder 61 und des optischen Flusses, um die Separation zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen. Bei dieser Anordnung kann auch dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, die Ladung 53, die fällt oder vielleicht fällt, wie in der ersten Ausführungsform sofort detektiert werden, so dass das erste Fahrzeug 51 dieses fallende Objekt vermeidet.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird im Einzelnen beschrieben.
-
In Schritt S301 von 11 erfasst die Erfassungseinheit 41 Tiefenbilder 61 des zweiten Fahrzeugs 52 und des Bereichs um das zweite Fahrzeug 52.
-
In den Schritten S302 bis S306 von 11 bestimmt die Bestimmungseinheit 42 unter Verwendung der von der Erfassungseinheit 41 erfassten Tiefenbilder 61, ob die Ladung 53 keine Bewegung gemacht hat, die sich von der des zweiten Fahrzeugs 52 unterscheidet. Speziell berechnet die Berechnungseinheit 46 in Schritt S304 Bewegungsvektoren, die Bewegungen von Objekten zwischen Kamerabildern zu mehreren Zeitpunkten, die durch Fotografieren des zweiten Fahrzeugs 52 und des Bereichs um das zweite Fahrzeug 52 erhalten werden, repräsentieren. In den Schritten S302, S303, S305 und S306 bezieht sich die Bestimmungseinheit 42 auf die Tiefenbilder 61 zu mehreren Zeitpunkten, die von der Erfassungseinheit 41 erfasst werden, und bestimmt, ob der Abstand zu dem zweiten Fahrzeug 52 zugenommen hat. Wenn der Abstand zugenommen hat und wenn die von der Berechnungseinheit 46 berechneten Bewegungsvektoren Abwärtsvektoren sind, bestimmt die Bestimmungseinheit 42, dass die Ladung 53 eine Bewegung zum Trennen von dem zweiten Fahrzeug 52 als die „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat.
-
In den Schritten S307 und S308 von 11 detektiert die Detektionseinheit 43 einen Fall der Ladung 53 basierend auf dem Ergebnis der Bestimmung durch die Bestimmungseinheit 42.
-
Es ist zu beachten, dass in Schritt S306 die Bestimmungseinheit 42 selbst dann, wenn der Abstand zu dem zweiten Fahrzeug 52 abgenommen hat, dann, wenn die von der Berechnungseinheit 46 berechneten Bewegungsvektoren Abwärtsvektoren sind und der Betrag der Vektoren eine Schwelle überschreitet, auch bestimmen, dass die Ladung 53 eine Bewegung eine Bewegung zum Trennen von dem zweiten Fahrzeug 52 als die „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat.
-
In Schritt S306 kann die Bestimmungseinheit 42 auch dann, wenn der Abstand zu dem zweiten Fahrzeug 52 abgenommen hat, dann, wenn die von der Berechnungseinheit 46 berechneten Bewegungsvektoren Aufwärtsvektoren sind, bestimmen, dass die Ladung 53 eine Bewegung zum Trennen von dem zweiten Fahrzeug 52 als „von der des zweiten Fahrzeugs 52 verschiedene Bewegung“ gemacht hat.
-
Der Betrieb der Vorrichtung zur Detektion fallender Objekte 11 wird genauer beschrieben.
-
Der Prozess von Schritt S301 ist der gleiche wie der Prozess von Schritt S101 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Der Prozess von Schritt S302 ist der gleiche wie der Prozess von Schritt S102 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
In Schritt S303 schneidet die Bestimmungseinheit 42 aus den Tiefenbildern 61 Bildbereiche der in Schritt S302 detektierten dreidimensionalen Objekte aus.
-
In Schritt S304 nimmt die Berechnungseinheit 46 zweidimensionale Bilder des Bereichs vor dem ersten Fahrzeug 51 unter Verwendung der Kamera 24 unter den Sensoreinrichtungen 21 auf und berechnet Bewegungsvektoren basierend auf Zeitreihendaten der erhaltene Kamerabilder. Das heißt, basierend auf den von der Kamera 24 aufgenommenen Bildern berechnet die Berechnungseinheit 46 Bewegungsvektoren, die Zeitreihenänderungen in den Bildern repräsentieren. Ein Bewegungsvektor wird auch als optischer Fluss bezeichnet.
-
Als Verfahren zum Berechnen von Bewegungsvektoren kann ein Verfahren zum Berechnen eines spärlichen optischen Flusses oder ein Verfahren zum Berechnen eines dichten optischen Flusses verwendet werden. Bei dem Verfahren zum Berechnen eines spärlichen optischen Flusses wird ein Merkmalspunkt aus Kamerabildern detektiert und eine Bewegungsrichtung und ein Bewegungsbetrag der Bewegung des Merkmalspunkts in den Zeitreihenkamerabildern werden berechnet. Ein Merkmalspunkt ist ein Punkt, an dem Änderungen der Luminanz in einem Nachbarschaftsbildbereich vorhanden sind. Merkmalspunkte werden mithilfe einer Technik wie der Eckendetektion detektiert. Ein Beispiel für das Verfahren zum Berechnen des spärlichen optischen Flusses ist das KLT-Verfahren. „KLT“ ist eine Abkürzung für Kanade-Lucas-Tomasi. Bei dem Verfahren zum Berechnen des dichten optischen Flusses werden Bewegungsvektoren aller Pixel eines Kamerabildes berechnet. Ein Beispiel für das Verfahren zum Berechnen des dichten optischen Flusses ist ein in Nichtpatentdokument 3 beschriebenes Verfahren.
-
In Schritt S305 startet die Bestimmungseinheit 42 einen Prozess zum Bestimmen des Abstands zwischen dem zweiten Fahrzeug 52 und der Ladung 53 und bezieht sich auf die in Schritt S304 berechneten Bewegungsvektoren, um zu bestimmen, ob Abwärtsbewegungsvektoren erzeugt wurden. Wenn Abwärtsbewegungsvektoren erzeugt wurden, bezieht sich die Bestimmungseinheit 42 auf die in Schritt S301 berechneten Tiefenbilder 61, um zu bestimmen, ob der Zwischenfahrzeugabstand abgenommen hat.
-
Wenn in Schritt S305 bestimmt wird, dass Abwärtsbewegungsvektoren erzeugt wurden, aber der Zwischenfahrzeugabstand nicht abgenommen hat, schließt die Bestimmungseinheit 42 in Schritt S306, dass die Abwärtsbewegungsvektoren aufgrund eines Falls der Ladung 53 erzeugt wurden, wodurch bestimmt wird, dass das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, und fährt mit Schritt S307 fort. Wenn in Schritt S305 bestimmt wird, dass kein Abwärtsbewegungsvektor erzeugt wurde oder dass Abwärtsbewegungsvektoren erzeugt wurden und der Zwischenfahrzeugabstand abgenommen hat, bestimmt die Bestimmungseinheit 42, dass das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind, und kehrt zu Schritt S301 zurück.
-
Wie es oben beschrieben ist, bezieht sich die Bestimmungseinheit 42 auf Zeitreihenänderungen in den von der Erfassungseinheit 41 berechneten Tiefenbildern 61 sowie auf die von der Berechnungseinheit 46 berechneten Bewegungsvektoren, um den Abstand zwischen dem zweiten Fahrzeug 52 und der Ladung 53 zu bestimmen. Bewegungsvektoren werden erzeugt, wenn sich in Zeitreihenkamerabildern ein sich bewegendes Objekt befindet. Bewegungsvektoren werden erzeugt, wenn sich die Ladung 53 infolge eines Falls von dem zweiten Fahrzeug 52 bewegt hat. Zudem werden auch Bewegungsvektoren erzeugt, wenn sich der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 geändert hat. Daher ist es notwendig zu bestimmen, ob die Bewegungsvektoren auf einen Fall der Ladung 53 oder auf eine Änderung des Zwischenfahrzeugabstands zurückzuführen sind.
-
12 bis 15 zeigen Beispiele von Zeitreihenkamerabildern und Bewegungsvektoren, die basierend auf den Kamerabildern berechnet werden.
-
Wenn der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 abnimmt, werden üblicherweise wie in dem Beispiel in 12 Abwärtsbewegungsvektoren in dem Bildbereich des zweiten Fahrzeugs 52 erzeugt. Wenn der Zwischenfahrzeugabstand zunimmt, werden üblicherweise wie in dem Beispiel in 13 Aufwärtsbewegungsvektoren in dem Bildbereich des zweiten Fahrzeugs 52 erzeugt. Eine Änderung des Zwischenfahrzeugabstands kann auch basierend auf den Tiefenbildern 61 berechnet werden. Wenn unter Bezugnahme auf die Tiefenbilder 61 bestimmt wird, dass wie in dem Beispiel in 14 der Zwischenfahrzeugabstand nicht abgenommen hat, aber Abwärtsbewegungsvektoren erzeugt wurden, bestimmt die Bestimmungseinheit 42 daher, dass das zweite Fahrzeug 52 und die Ladung 53 getrennt sind. Wenn unter Bezugnahme auf die Tiefenbilder 61 bestimmt wird, dass der Zwischenfahrzeugabstand abgenommen hat, und wenn Abwärtsbewegungsvektoren erzeugt wurden, schließt die Bestimmungseinheit 42, dass die Abwärtsbewegungsvektoren auf eine Änderung des Zwischenfahrzeugabstands zurückzuführen sind, wodurch bestimmt wird, dass das zweite Fahrzeug 52 und die Ladung 53 nicht getrennt sind.
-
Die Bestimmungseinheit 42 kann einen Änderungsbetrag von Abwärtsbewegungsvektoren basierend auf einer Änderung des Zwischenfahrzeugabstands berechnen und bestimmen, dass das zweite Fahrzeug 52 und die Ladung 53 getrennt sind, wenn Abwärtsbewegungsvektoren detektiert werden, die in ausreichendem Maße größer sind als der Änderungsbetrag.
-
Die Beispiele in 12 bis 15 werden im Einzelnen beschrieben.
-
12 zeigt Bewegungsvektoren, die üblicherweise erzeugt werden, wenn der Zwischenfahrzeugabstand abnimmt. Die Darstellung oben links in 12 zeigt ein Kamerabild 71 zum Zeitpunkt T1. Die Darstellung oben rechts in 12 zeigt ein Kamerabild 72 zum Zeitpunkt T1+1. Die untere Darstellung in 12 zeigt Bewegungsvektoren, die basierend auf dem Kamerabild 71 zum Zeitpunkt T1 und dem Kamerabild 72 zum Zeitpunkt T1+1 berechnet wurden. Wenn der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 abnimmt, bewegt sich der Bildbereich des zweiten Fahrzeugs 52 in dem aufgenommenen Bild nach unten, so dass Abwärtsbewegungsvektoren erzeugt werden.
-
13 zeigt Bewegungsvektoren, die üblicherweise erzeugt werden, wenn der Zwischenfahrzeugabstand zunimmt. Die Darstellung oben links in 13 zeigt ein Kamerabild 73 zum Zeitpunkt T2. Die Darstellung oben rechts in 13 zeigt ein Kamerabild 74 zum Zeitpunkt T2+1. Die untere Darstellung in 13 zeigt Bewegungsvektoren, die basierend auf dem Kamerabild 73 zum Zeitpunkt T2 und dem Kamerabild 74 zum Zeitpunkt T2+1 berechnet wurden. Wenn der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 zunimmt, bewegt sich der Bildbereich des zweiten Fahrzeugs 52 in dem aufgenommenen Bild nach oben, so dass Aufwärtsbewegungsvektoren erzeugt werden.
-
14 zeigt Bewegungsvektoren, die einem Fall der Ladung 53 zugeordnet sind. Die Darstellung oben links in 14 zeigt ein Kamerabild 75 zum Zeitpunkt T3. Die Darstellung oben rechts in 14 zeigt ein Kamerabild 76 zum Zeitpunkt T3+1. Die untere Darstellung in 14 zeigt Bewegungsvektoren, die basierend auf dem Kamerabild 75 zum Zeitpunkt T3 und dem Kamerabild 76 zum Zeitpunkt T3+1 berechnet wurden. Es wird angenommen, dass sich der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 nicht ändert. Wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, bewegt sich der Bildbereich der Ladung 53 in dem aufgenommenen Bild nach unten, so dass Abwärtsbewegungsvektoren erzeugt werden.
-
Wie es oben beschrieben ist, bestimmt die Bestimmungseinheit 42, da der Zwischenfahrzeugabstand basierend auf den Tiefenbildern 61 berechnet werden kann, dass die Ladung 53 von dem zweiten Fahrzeug 52 gefallen ist, wenn Abwärtsbewegungsvektoren detektiert werden, während der Zwischenfahrzeugabstand zugenommen hat oder gleich bleibt.
-
Die Ladung 53, die von dem zweiten Fahrzeug 52 gefallen ist, kann mit der Straßenoberfläche kollidieren und nach oben abprallen.
-
15 zeigt Bewegungsvektoren, die dem Abprallen der Ladung 53 zugeordnet sind. Die Darstellung oben links in 15 zeigt ein Kamerabild 77 zum Zeitpunkt T4. Die Darstellung oben rechts in 15 zeigt ein Kamerabild 78 zum Zeitpunkt T4+1. Die untere Darstellung in 15 zeigt Bewegungsvektoren, die basierend auf dem Kamerabild 77 zum Zeitpunkt T4 und dem Kamerabild 78 zum Zeitpunkt T4+1 berechnet wurden. Es wird angenommen, dass sich der Zwischenfahrzeugabstand zwischen dem ersten Fahrzeug 51 und dem zweiten Fahrzeug 52 nicht ändert. Wenn die Ladung 53 abprallt, bewegt sich der Bildbereich der Ladung 53 in dem aufgenommenen Bild nach oben, so dass sich Aufwärtsbewegungsvektoren erzeugt werden.
-
Wie es oben beschrieben ist, kann die Bestimmungseinheit 42, da der Zwischenfahrzeugabstand basierend auf den Tiefenbildern 61 berechnet werden kann, bestimmen, dass die Ladung 53 von dem zweiten Fahrzeug 52 gefallen ist und dann abgeprallt ist, wenn Aufwärtsbewegungsvektoren detektiert werden, während der Zwischenfahrzeugabstand abgenommen hat oder gleich bleibt. Das heißt, die Bestimmungseinheit 42 kann bestimmen, dass die Ladung 53 von dem zweiten Fahrzeug 52 getrennt ist, wenn Bewegungsvektoren in einer Richtung, die sich von derjenigen von Bewegungsvektoren aufgrund einer Änderung des Zwischenfahrzeugabstands unterscheidet, in dem Bildbereich des zweiten Fahrzeugs 52 detektiert werden.
-
Der Prozess von Schritt S307 ist der gleiche wie der Prozess von Schritt S107 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Der Prozess von Schritt S308 ist der gleiche wie der Prozess von Schritt S108 in der ersten Ausführungsform und daher wird eine spezifische Beschreibung weggelassen.
-
Mit dem obigen Betrieb kann auch dann, wenn die Ladung 53 von dem zweiten Fahrzeug 52 fällt, die Ladung 53, die gerade fällt, sofort detektiert werden, so dass eine Kollision mit einem fallenden Objekt detektiert werden kann.
-
*** Beschreibung von Wirkungen der Ausführungsform ***
-
In dieser Ausführungsform wird ein Fall der Ladung 53 basierend auf dem Ergebnis der Bestimmung, ob die Ladung 53 auf dem vorausfahrenden Fahrzeug keine Bewegung gemacht hat, die sich von der des vorausfahrenden Fahrzeugs unterscheidet, wie in der ersten Ausführungsform unter Verwendung der Tiefenbilder 61 des vorausfahrenden Fahrzeugs und des Bereichs um das vorausfahrende Fahrzeug detektiert. Daher kann ein Fall der Ladung 53 von dem vorausfahrenden Fahrzeug sofort detektiert werden.
-
In dieser Ausführungsform ist, obwohl die Kamera 24 anders als in der ersten Ausführungsform erforderlich ist, ein Abstandssensor wie etwa ein Millimeterwellensensor nicht erforderlich. Es ist zu beachten, dass, anstatt die Kamera 24 getrennt vom Tiefensensor 22 bereitzustellen, die Kamera 24 bereitgestellt sein kann, um auch als das Komponentenelement des Tiefensensors 22 zu dienen.
-
*** Andere Konfigurationen ***
-
In dieser Ausführungsform werden die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 durch Software realisiert. Als Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 jedoch durch Hardware realisiert werden. In Bezug auf diese Abwandlung werden hauptsächlich Unterschiede zu dieser Ausführungsform beschrieben.
-
Unter Bezugnahme auf 16 wird eine Konfiguration des fahrzeuginternen Systems 10, das die Vorrichtung zur Detektion fallender Objekte 11umfasst, gemäß der Abwandlung dieser Ausführungsform beschrieben.
-
In dieser Abwandlung umfasst die Vorrichtung zur Detektion fallender Objekte 11 Hardware wie etwa die elektronische Schaltung 16 und die Sensor-IO 12.
-
Die elektronische Schaltung 16 ist dedizierte Hardware, die die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 realisiert. Die elektronische Schaltung 16 ist beispielsweise eine einzelne Schaltung, eine zusammengesetzte Schaltung, ein programmierter Prozessor, ein parallelprogrammierter Prozessor, eine Logik-IC, eine GA, eine FPGA, eine ASIC oder eine Kombination von einigen oder allen von diesen.
-
Als weitere Abwandlung können die Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 durch eine Kombination von Software und Hardware realisiert werden. Das heißt, einige der Funktionen der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 können durch die dedizierte Hardware realisiert werden und der Rest der Funktionen kann durch Software realisiert werden.
-
Der Prozessor 13 und die elektronische Schaltung 16 sind beide Verarbeitungsschaltungsanordnungen. Das heißt, der Betrieb der Erfassungseinheit 41, der Bestimmungseinheit 42, der Detektionseinheit 43 und der Berechnungseinheit 46 wird von der Verarbeitungsschaltungsanordnung ausgeführt, unabhängig davon, ob die Konfiguration der Vorrichtung zur Detektion fallender Objekte 11 eine der in den 10 und 16 dargestellten Konfigurationen ist.
-
Wenn zwei oder mehr der ersten bis dritten Ausführungsformen in Kombination implementiert werden, kann die zu verwendende Ausführungsform gemäß dem Zwischenfahrzeugabstand unterschiedlich sein. Zum Beispiel kann durch Anwenden des Betriebs der ersten Ausführungsform, wenn der Zwischenfahrzeugabstand groß ist, und durch Anwenden des Betriebs der zweiten Ausführungsform, wenn der Zwischenfahrzeugabstand klein ist, ein Auftreten falscher Bestimmungen leichter verhindert werden.
-
Bezugszeichenliste
-
- 10:
- Fahrzeuginternes System,
- 11:
- Vorrichtung zur Detektion fallender Objekte,
- 12:
- Sensor-IO,
- 13:
- Prozessor,
- 14:
- Speicher,
- 15:
- ROM,
- 16:
- Elektronische Schaltung, 2
- 1:
- Sensoreinrichtung,
- 22:
- Tiefensensor,
- 23:
- Abstandssensor,
- 24:
- Kamera,
- 31:
- Fahrzeugsteuereinheit,
- 32:
- Fahrzeugsteuerbusschnittstelle,
- 33:
- Sensor-ECU,
- 34:
- Fahrzeug-ECU,
- 41:
- Erfassungseinheit,
- 42:
- Bestimmungseinheit,
- 43:
- Detektionseinheit,
- 44:
- Messeinheit,
- 45:
- Berechnungseinheit,
- 46:
- Berechnungseinheit,
- 51:
- Erstes Fahrzeug.
- 52:
- Zweites Fahrzeug,
- 53:
- Ladung,
- 61:
- Tiefenbild,
- 71:
- Kamerabild,
- 72:
- Kamerabild,
- 73:
- Kamerabild,
- 74:
- Kamerabild,
- 75:
- Kamerabild,
- 76:
- Kamerabild,
- 77:
- Kamerabild,
- 78:
- Kamerabild
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Castorena, J.; Kamilov, U.; Boufounos, P.T., „Autocalibration of LIDAR and Optical Cameras via Edge Alignment“, Mitsubishi Electric Research Laboratories, TR2016-009, März 2016 [0003]
- Keiji Saneyoshi, „Drive Assist System of a Carby means of Stereo Vision“, Information Processing Society of Japan Technical Report, Bd. 2013-CVIM-185 Nr. 20, 23. Januar 2013 [0003]
- Gunnar Farneback, „Two-Frame Motion Estimation Based on Polynomial Expansion“, Computer Vision Laboratory, Linkoping University, 2003 [0003]
