DE112013006910B4 - Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren - Google Patents

Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren Download PDF

Info

Publication number
DE112013006910B4
DE112013006910B4 DE112013006910.5T DE112013006910T DE112013006910B4 DE 112013006910 B4 DE112013006910 B4 DE 112013006910B4 DE 112013006910 T DE112013006910 T DE 112013006910T DE 112013006910 B4 DE112013006910 B4 DE 112013006910B4
Authority
DE
Germany
Prior art keywords
vehicle
movement information
speed
approaching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112013006910.5T
Other languages
English (en)
Other versions
DE112013006910T5 (de
Inventor
Hiroaki Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE112013006910T5 publication Critical patent/DE112013006910T5/de
Application granted granted Critical
Publication of DE112013006910B4 publication Critical patent/DE112013006910B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Erfassungsvorrichtung, dadurch gekennzeichnet, dass sie umfasst:eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert, erfasst;eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt; undeine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht,wobei:die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, wobeidie Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, einen Schwellenwert überschreitet, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, unddie Annäherungsbestimmungseinheit unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation, enthalten ist.

Description

  • TECHNISCHES GEBIET
  • Eine Ausführungsform der Erfindung betrifft eine Erfassungsvorrichtung, ein Erfassungsverfahren, eine Fahrassistenzvorrichtung und eine Fahrassistenzverfahren zum Erfassen eines Objekts, das sich einem Fahrzeug nähert.
  • STAND DER TECHNIK
  • Eine Vorrichtung, die ein Objekt wie etwa einen Fußgänger erfasst, der sich einem Fahrzeug nähert, ist bereits bekannt. Patentschrift 1 zum Beispiel offenbart einer Vorrichtung, die eine Zeitreihenänderung einer Position und einer Bewegungsgeschwindigkeit eines Fußgängers, der sich vor einem Subjektfahrzeug befindet, auf der Grundlage einer Bildinformation gewinnt und auf der Grundlage der gewonnenen Zeitreihenänderung der Position und der Bewegungsgeschwindigkeit des Fußgängers vorhersagt, ob der Fußgänger auf eine Straße, auf der das Subjektfahrzeug fährt, herausspringen wird oder nicht. Weitere Beispiele für Systeme zum Erfassen von Fußgängern und zum Vermeiden von Kollisionen sind in den Patentschriften 2 und 3 offenbart.
    • Patentschrift 1: Japanische Patentoffenlegungsschrift Nr. JP 2010-102437 A
    • Patentschrift 2: Internationale Patentoffenlegungsschrift Nr. WO 2013/042206 A1 .
    • Patentschrift 3: Deutsche Patentoffenlegungsschrift Nr. DE 112011105330 T5
  • KURZDARSTELLUNG DER ERFINDUNG
  • Jedoch gibt es Raum für Verbesserung der Genauigkeit, mit der ein Objekt, das sich einer Fahrtrichtung nähert, erfasst wird.
  • Eine Ausführungsform der Erfindung ist unter Berücksichtigung dieses Problems entwickelt worden, und es ist ein Ziel von ihr, eine Erfassungsvorrichtung, ein Erfassungsverfahren, eine Fahrassistenzvorrichtung und ein Fahrassistenzverfahren, mit dem ein Objekt, das sich einer Fahrtrichtung nähert, mit verbesserter Genauigkeit erfasst werden kann.
  • Ein Aspekt der Erfindung ist eine Erfassungsvorrichtung, die eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert, erfasst, eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt, und eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, umfasst.
  • Des Weitern bestimmt die Annäherungsbestimmungseinheit, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Ferner bestimmt die Annäherungsbestimmungseinheit, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, einen Schwellenwert überschreitet, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Überdies bestimmt die Annäherungsbestimmungseinheit unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation, enthalten ist.
  • Gemäß dieser Konfiguration bestimmt die Annäherungsbestimmungseinheit auf der Grundlage der Bewegungsinformation, die eine die Bewegung des Objekts betreffende Information ist und durch die Bewegungsinformations-Ermittlungseinheit gewonnen wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht. Dadurch kann die plötzliche Annäherung des Objekts an die Fahrtrichtung, die aus der das Objekt betreffenden Bewegungsinformation allein schwierig zu bestimmen ist, mit höherer Genauigkeit erfasst werden.
  • Gemäß dieser Konfiguration bestimmt die Annäherungsbestimmungseinheit ferner, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, zwischen dem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt. Daher wird die plötzliche Annäherung des Objekts an die Fahrtrichtung aus einer den Hinweis betreffenden Geschwindigkeitserhöhung erfasst. Dadurch kann eine weitere Verbesserung der Erfassungsgenauigkeit erreicht werden.
  • Gemäß dieser Konfiguration bestimmt die Annäherungsbestimmungseinheit des Weiteren, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, den Schwellenwert vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, überschreitet. Durch geeignetes Einstellen des Schwellenwerts derart, dass die mit dem Hinweis zusammenhängende Geschwindigkeitserhöhung quantitativer bestimmt wird, kann ein eine Balance oder ein Gleichgewicht zwischen der Erfassungsempfindlichkeit und der Häufigkeit fehlerhafter Erfassungen gewonnen werden.
  • Gemäß dieser Konfiguration bestimmt die Annäherungsbestimmungseinheit unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation, enthalten ist. Daher kann durch Einstellen des zweiten Zeitpunkts als eine statistische Zeitspanne zwischen einem Punkt, bei dem der Fußgänger den Hinweis zeigt, und zum Beispiel einer plötzlichen Bewegung des Fußgängers die plötzliche Annäherung des Objekts mit noch höherer Genauigkeit erfasst werden.
  • Ein weiterer Aspekt der Erfindung ist eine Fahrassistenzvorrichtung, die eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert erfasst, eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt, eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, und eine Fahrassistenzeinheit, die auf der Grundlage der durch die Annäherungsbestimmungseinheit gemachten Bestimmung eine Fahrassistenz in dem Fahrzeug implementiert, umfasst.
  • Des Weitern bestimmt die Annäherungsbestimmungseinheit, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Ferner bestimmt die Annäherungsbestimmungseinheit, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, einen Schwellenwert überschreitet, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Überdies bestimmt die Annäherungsbestimmungseinheit, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Erhöhung der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Gemäß dieser Konfiguration kann die Annäherungsbestimmungseinheit die plötzliche Annäherung des Objekts an die Fahrtrichtung, die allein aus der das Objekt betreffenden Bewegungsinformation schwierig zu bestimmen ist, mit erhöhter Genauigkeit bestimmen. Demzufolge kann die Fahrassistenzeinheit eine effektivere Fahrassistenz in Antwort auf die Annäherung des Objekts an die Fahrtrichtung durch Implementierung der Fahrassistenz in dem Fahrzeug auf der Grundlage der durch die Annäherungsbestimmungseinheit gemachten Bestimmung implementieren.
  • Wenn in diesem Fall die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, kann die Fahrassistenzeinheit eine Implementierung der Fahrassistenz in dem Fahrzeug stärker unterstützen als wenn die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt nicht der Fahrtrichtung des Fahrzeugs nähert.
  • Wenn gemäß dieser Konfiguration die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, unterstützt die Fahrassistenzeinheit die Implementierung der Fahrassistenz in dem Fahrzeug stärker als wenn die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt nicht der Fahrtrichtung des Fahrzeugs nähert. Daher kann die Fahrassistenz, wenn sich das Objekt der Fahrtrichtung des Fahrzeugs so nähert, dass die Fahrassistenz nicht notwendig wird, in geeigneter Weise durchgeführt werden.
  • Ein weiterer Aspekt der Erfindung ist eine Fahrassistenzvorrichtung, die eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert erfasst, eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt, eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, und eine Fahrassistenzeinheit, die auf der Grundlage der durch die Annäherungsbestimmungseinheit gemachten Bestimmung eine Fahrassistenz in dem Fahrzeug implementiert, umfasst
  • Ferner bestimmt die Annäherungsbestimmungseinheit, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  • Ferner unterstütz die Fahrassistenzeinheit die Implementierung der Fahrassistenz in dem Fahrzeug umso stärker, je weiter sich ein Zeitpunkt der Erhöhung der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit gewonnenen Bewegungsinformation enthalten ist.
  • Gemäß dieser Konfiguration unterstützt die Fahrassistenzeinheit die Implementierung der Fahrassistenz in dem Fahrzeug umso stärker, je weiter sich der Zeitpunkt der Erhöhung der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, dem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt. Daher kann durch Einstellen des zweiten Zeitpunkts als eine statistische Zeitspanne zwischen dem Punkt, bei dem der Fußgänger den Hinweis zeigt, und zum Beispiel einer plötzlichen Bewegung des Fußgängers die unterstützte Fahrassistenz in umso geeigneter Weise durchgeführt werden, je höher die Wahrscheinlichkeit statistisch wird, dass sich der Fußgänger plötzlich nähert.
  • Mit der Erfassungsvorrichtung, dem Erfassungsverfahren, der Fahrassistenzvorrichtung und dem Fahrassistenzverfahren gemäß der Ausführungsform der Erfindung kann ein Objekt, das sich einer Fahrtrichtung nähert, mit verbesserter Genauigkeit erfasst werden.
  • Figurenliste
    • [1] 1 ist ein Blockdiagramm, das eine Konfiguration einer Erfassungsvorrichtung gemäß einer Ausführungsform zeigt; und
    • [2] 2 ist ein Flussdiagramm, das eine Operation der Erfassungsvorrichtung gemäß dieser Ausführungsform zeigt.
  • MODI ZUM DURCHFÜHREN DER ERFINDUNG
  • Nachfolgend ist ein Beispiel einer Erfassungsvorrichtung gemäß einer Ausführungsform der Erfindung mit Bezug auf die Zeichnungen beschrieben. Wie es in 1 gezeigt ist, ist eine Erfassungsvorrichtung 10 als eine Fahrassistenzvorrichtung ausgelegt, die in einem Fahrzeug eingebaut ist, um einen Fahrer des Fahrzeugs durch Erfassen der Annäherung eines Objekt wie etwa eines Fußgängers, eines Fahrrades oder eines Motorrads in Richtung des Fahrzeugs beim Fahren zu unterstützen. In der Erfassungsvorrichtung 10 ist eine Stereokamera 12 mit einem Mehrzweckpersonalcomputer (PC) 100 verbunden.
  • Die Stereokamera 12 umfasst zum Beispiel zwei monokulare Kameras und nimmt Bilder des Objekts aus mehreren unterschiedlichen Richtungen gleichzeitig auf. Der Grund zur Verwendung der Stereokamera 12 besteht darin, eine Bewegungsrichtung des Fußgängers aus unterschiedlichen Abständen in jeweiligen Aufnahmerichtungen zu erfassen. Die Stereokamera 12 kann durch einen anderen Sensor ersetzt sein, der dazu geeignet ist, Abstände zu erfassen, wie etwa ein Laserradar (ein LIDAR). Ferner kann eine monokulare Kamera verwendet werden, um einen Bewegungsbetrag des Objekts in einer Querrichtung zu erfassen.
  • Der Mehrzweck-PC 100 umfasst als Funktionsblöcke zum Durchführen einer nachfolgend beschriebenen Verarbeitung unter Verwendung eines vorbestimmten Programms, eine Fußgängererfassungseinheit 102, eine Positionsberechnungseinheit 104, eine Geschwindigkeitsberechnungseinheit 106, eine Geschwindigkeitsveränderungs-Berechnungseinheit 108, eine Herausspringhinweis-Berechnungseinheit 110 und eine Herausspring-Bestimmungseinheit 112. Der Mehrzweck-PC 100 umfasst ferner eine Warnvorrichtung 114.
  • Die Fußgängererfassungseinheit 102 erfasst den Fußgänger oder das andere Objekt von einem von wenigstens einer der mehreren monokularen Kameras, die die Stereokamera 12 bilden, aufgenommenen Bild. Ein Verfahren zum Erfassen des Fußgängers oder des anderen Objekts kann unter Verwendung zum Beispiel eines typischen Mustererkennungs- oder abgleichverfahrens realisiert sein.
  • Die Positionsberechnungseinheit 104 berechnet eine durch die Fußgängererfassungseinheit 102 erfasste Position des Fußgängers oder des anderen Objekts, einschließlich eines Abstands zu dem Objekt, aus einer sich aus den Abbildungsrichtungen innerhalb eines Bereichs des Objekts ergebenden Parallaxe. Die Positionsberechnungseinheit 104 kann die Position des Objekts unter Verwendung eines typischen Triangulationsverfahrens berechnen.
  • Die Geschwindigkeitsberechnungseinheit 106 berechnet eine Orientierung D und einen Betrag V einer Geschwindigkeit des Objekts aus Unterschieden zwischen den in zeitlichen Abständen durch die Positionsberechnungseinheit 104 berechneten Positionen des Objekts. In zeitlichen Abständen erfasste Objekten können einander zugeordnet werden, indem von zu einem späteren Zeitpunkt innerhalb eines festgelegten Abstands erfassten Objekten dasjenige Objekt ausgewählt wird, das zu einem zu einem früheren Zeitpunkt erfassten Objekt den geringsten Abstand hat. Es ist zu beachten, dass die Geschwindigkeitsberechnungseinheit 106 eine Fahrtrichtung des Fahrzeugs von einem Fahrzeuggeschwindigkeitssensor und einem Lenkwinkelsensor, die in dem Fahrzeug eingebaut sind, gewinnen kann. Die Geschwindigkeitsberechnungseinheit 106 kann eine Geschwindigkeitskomponente des Objekts senkrecht zur Fahrtrichtung des Fahrzeugs berechnen.
  • Die Geschwindigkeitsveränderungs-Berechnungseinheit 108 bestimmt, ob wenigstens entweder die Orientierung D oder der Betrag V der Geschwindigkeit des Objekts, jeweils berechnet durch die Geschwindigkeitsberechnungseinheit 106, einen eingestellten Schwellenwert überschreitet oder nicht. Ferner gewinnt die Geschwindigkeitsveränderungs-Berechnungseinheit 108 einen Zeitpunkt, zu dem entweder die Orientierung D oder der Betrag V der Geschwindigkeit den Schwellenwert überschreitet. Es ist zu beachten, dass die Geschwindigkeitsveränderungs-Berechnungseinheit 108 einen Zeitpunkt gewinnen kann, zu dem die Geschwindigkeitskomponente des Objekts senkrecht zur Fahrtrichtung des Fahrzeugs einen vorbestimmten Schwellenwert überschreitet. In diesem Fall wird, wie es weiter unten beschrieben ist, der Schwellenwert in Antwort auf einen Befehl von der Herausspring-Bestimmungseinheit 112 modifiziert.
  • Die Herausspringhinweis-Berechnungseinheit 110 extrahiert die Bereiche des Fußgängers oder des anderen Objekts, die zu dem früheren Zeitpunkt bzw. dem späteren Zeitpunkt erfasst und von der Geschwindigkeitsberechnungseinheit 106 zur Berechnung der Geschwindigkeit verwendet wurden. Die Herausspringhinweis-Berechnungseinheit 110 wandelt die Objekte in den jeweiligen Bereichen in charakteristische Beträge um, die erforderlich sind, um einen Hinweis darauf, dass das Objekt herausspringt (sich schnell dem Fahrzeug nähert), zu berechnen. Die Herausspringhinweis-Berechnungseinheit 110 bestimmt das Auftreten des Hinweises, dass das Objekt herausspringt, aus einer Differenz zwischen den charakteristischen Beträgen der jeweiligen Bereiche. Die Herausspringhinweis-Berechnungseinheit 110 also gewinnt ferner den Zeitpunkt, zu dem der Hinweis auftritt.
  • Die Herausspring-Bestimmungseinheit 112 bestimmt, dass das Objekt herausgesprungen ist, in Abhängigkeit davon, ob ein Zeitpunkt, zu dem die Geschwindigkeitsveränderungs-Berechnungseinheit 108 bestimmt, dass entweder die Orientierung D oder der Betrag V der Geschwindigkeit den Schwellenwert überschritten hat, in einer vorbestimmten Zeitspanne ab dem Zeitpunkt, zu dem die Herausspringhinweis-Berechnungseinheit 110 den Hinweis erfasst, dass das Objekt hineinspringt, enthalten ist oder nicht.
  • Wenn die Herausspring-Bestimmungseinheit 112 bestimmt, dass das Objekt herausgesprungen ist, ist es sehr wahrscheinlich, dass das Objekt tatsächlich herausgesprungen ist, so dass die Warnvorrichtung 114 eine Warnung an den Fahrer des Fahrzeugs ausgibt. Es ist zu beachten, dass in der Erfassungsvorrichtung 10 gemäß dieser Ausführungsform eine Lautstärke der durch die Warnvorrichtung 114 ausgegebenen Warnung, eine Tonhöhe eines Warntons, eine Dauer der Warnung, ein in der Warnung enthaltener Informationsgehalt und ein Zeitpunkt, zu dem die Warnung ausgegeben wird, in Abhängigkeit von der Wahrscheinlichkeit, dass das Objekt herausgesprungen ist, modifiziert werden kann.
  • Die Warnvorrichtung 114 kann ferner dem Fahrer des Fahrzeugs Informationen und Anweisungen in Form von Bildern und Tönen liefern. Ferner kann eine Vorrichtung, die den Fahrer des Fahrzeugs durch Ausüben einer vorbestimmten Reaktionskraft oder Vibration auf ein Lenkrad, ein Gaspedal oder ein Bremspedal des Fahrzeugs auf der Grundlage der Bestimmung der Herausspring-Bestimmungseinheit 112 veranlasst oder auffordert, geeignete Operationen durchzuführen, vorgesehen sein. Ferner kann eine Vorrichtung, die in die durch den Fahrer des Fahrzeugs durchgeführten Operationen eingreift, um das Fahrzeug auf der Grundlage der Bestimmung der Herausspring-Bestimmungseinheit 112 zu beschleunigen, zu verzögern oder zu lenken, vorgesehen sein.
  • Nachfolgend ist eine Operation der Erfassungsvorrichtung 10 gemäß dieser Ausführungsform beschrieben. Wie es in 2 gezeigt ist, werden durch die in dem Fahrzeug (S1) eingebaute Stereokamera 12 Bilder des Bereichs vor dem Fahrzeug gewonnen. Die Fußgängererfassungseinheit 102 erfasst ein Objekt wie etwa einen Fußgänger aus einem durch wenigstens eine der mehreren monokularen Kameras der Stereokamera 12 (S2) aufgenommenen Bild. Das Verfahren zum Erfassen des Fußgängers oder des anderen Objekts kann unter Verwendung zum Beispiel eines typischen Mustererkennungsverfahrens verwirklicht werden.
  • Die Positionsberechnungseinheit 104 berechnet die Position des Fußgängers oder des anderen Objekts, erfasst durch die Fußgängererfassungseinheit 102, einschließlich des Abstands zu dem Objekt, aus einer sich aus den Abbildungsrichtungen innerhalb des Bereichs ergebenden Parallaxe (S3). Die Positionsberechnungseinheit 104 kann die Position des Objekts unter Verwendung eines typischen Triangulationsverfahrens berechnen.
  • Die Geschwindigkeitsberechnungseinheit 106 berechnet die Orientierung D und den Betrag V der Geschwindigkeit des Objekts aus Differenzen der in zeitlichen Abständen durch die Positionsberechnungseinheit 104 berechneten Positionen des Objekts. In zeitlichen Abständen erfasste Objekten können einander zugeordnet werden, indem von zu einem späteren Zeitpunkt innerhalb eines festgelegten Abstands erfassten Objekten dasjenige Objekt ausgewählt wird, das zu einem zu einem früheren Zeitpunkt erfassten Objekt den geringsten Abstand hat (S4).
  • In diesem Fall kann die Geschwindigkeitsberechnungseinheit 106 eine Geschwindigkeitskomponente | V | des Fußgängers oder des anderen Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs durch referieren auf die von dem Fahrzeuggeschwindigkeitssensor und dem Lenkwinkelsensor gelieferte Fahrtrichtung des Fahrzeugs berechnen.
  • Die Geschwindigkeitsveränderungs-Berechnungseinheit 108 bestimmt, ob wenigstens entweder die Orientierung D oder der Betrag V der Geschwindigkeit des Objekts, berechnet durch die Geschwindigkeitsberechnungseinheit 106, den eingestellten Schwellenwert (S5) überschreitet. Wenn weder die Orientierung D noch der Betrag V der Geschwindigkeit den Schwellenwert überschreitet, kehrt der Mehrzweck-PC 100 zur Berechnung von S1 (S5) zurück. Wenn die Orientierung D oder der Betrag V der Geschwindigkeit den Schwellenwert (S5) überschreitet, gewinnt die Geschwindigkeitsveränderungs-Berechnungseinheit 108 einen Zeitpunkt T1, zu dem entweder die Orientierung D oder der Betrag V der Geschwindigkeit den Schwellenwert überschreitet (S6).
  • In diesem Fall kann die Geschwindigkeitsveränderungs-Berechnungseinheit 108 bestimmen, ob die Geschwindigkeitskomponente | V | des Fußgängers oder des anderen Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einen wie gewünscht eingestellten Schwellenwert α überschreitet oder nicht (S5). Wenn die Geschwindigkeitskomponente | V | den Schwellenwert α überschreitet, gewinnt die Geschwindigkeitsveränderungs-Berechnungseinheit 108 den Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | den Schwellenwert α überschreitet (S6). Es ist zu beachten, dass der Schwellenwert α nach Bedarf modifiziert wird, wie es weiter unten beschrieben ist.
  • Ferner extrahiert die Herausspringhinweis-Berechnungseinheit 110 parallel zu der Verarbeitung von S4 bis S6 die Bereiche der Fußgänger oder der anderen Objekte, die zu dem früheren Zeitpunkt bzw. dem späteren Zeitpunkt erfasst und durch die Geschwindigkeitsberechnungseinheit 106 verwendet wurden, um die Geschwindigkeit zu berechnen. Die Herausspringhinweis-Berechnungseinheit 110 wandelt die Objekte in den jeweiligen Bereichen in charakteristische Beträge um, die zum Berechnen des Hinweises, dass das Objekt herausspringt, notwendig sind. Die Herausspringhinweis-Berechnungseinheit 110 bestimmt dann das Auftreten des Hinweises, dass das Objekt herausspringt, aus der Differenz zwischen den charakteristischen Beträgen der jeweiligen Bereiche (S7).
  • Nachfolgend ist ein Verfahren beschrieben, das von der Herausspringhinweis-Berechnungseinheit 110 durchgeführt wird, um das herausspringende Objekt zu erfassen. Die Herausspringhinweis-Berechnungseinheit 110 extrahiert die Bereiche der Fußgänger oder der anderen Objekte, die zu dem früheren Zeitpunkt bzw. dem späteren Zeitpunkt erfasst und von der Geschwindigkeitsberechnungseinheit 106 verwendet wurden, um die Geschwindigkeit zu berechnen. Die Herausspringhinweis-Berechnungseinheit 110 berechnet dann eine Veränderung einer äußeren Erscheinung des Objekts aus einer Kullback-Leibler-Divergenz zwischen Deskriptoren innerhalb von Rahmen dieser vorbestimmten Zeitintervalle.
  • Die äußere Erscheinung des Objekts verändert sich, wenn sich der Oberkörper des Fußgängers nach vorn beugt, sich der Kopf des Fußgängers nach vorn neigt, die Schrittlänge des Fußgängers zunimmt, der Abstand zwischen den Beinen des Fußgängers zunimmt und so weiter. Somit können plötzliche Richtungsänderungen und so weiter des Fußgängers oder dergleichen erfasst werden. Danach wird ein aperiodischer Verlauf unter Verwendung eines Glättungsverfahrens erfasst. Auf dieses Weise kann eine plötzliche Beschleunigung und so weiter des Fußgängers oder dergleichen erfasst werden. Dieses Verfahren kann auch angewendet werden, wenn das Objekt statt ein Fußgänger ein Fahrrad oder ein Motorrad ist.
  • Wenn der Hinweis darauf, dass das Objekt herausspringt, unter Verwendung des oben beschriebenen Verfahrens nicht erfasst wird, kehrt der Mehrzweck-PC 100 zur Verarbeitung von S1 (S8) zurück. Wenn hingegen der Hinweis darauf, dass das Objekt herausspringt, erfasst wird (S8), gewinnt die Herausspringhinweis-Berechnungseinheit 110 einen Zeitpunkt T2, zu dem der Hinweis auftritt (S9).
  • Die Herausspring-Bestimmungseinheit 112 bestimmt, dass das Objekt herausgesprungen ist (S10), wenn der Zeitpunkt T1, zu dem die Geschwindigkeitsveränderungs-Berechnungseinheit 108 bestimmt, dass entweder die Orientierung D oder der Betrag V der Geschwindigkeit den Schwellenwert überschritten hat, innerhalb einer Zeitspanne Tβ liegt, die als ein vorbestimmter Schwellenwert dient, der sich von dem Zeitpunkt T2 erstreckt, zu dem die Herausspringhinweis-Berechnungseinheit 110 den Hinweis erfasst, dass das Objekt herausspringt. Mit anderen Worten, es wird bestimmt, dass das Objekt herausgesprungen ist, wenn T1-T2 < Tβ ist. Der Grund hierfür ist der, dass die Genauigkeit der Herausspringbestimmung unter Verwendung der Eigenschaft einer Veränderung der Geschwindigkeit innerhalb einer festen Zeitspanne, die auf den Hinweis des Herausspringes folgt, verbessert werden kann. Somit kann in diesem Fall ein statistisch gewonnener Wert als der Schwellenwert Tβ verwendet werden.
  • Wenn sich hier die Geschwindigkeit des Objekts nach dem Zeitpunkt T2, zu dem der Hinweis auftritt, ändert, wird angenommen, dass die Wahrscheinlichkeit, dass das Objekt momentan herausspringt, bis zu einem bestimmten, auf den Zeitpunkt T2 folgenden Zeitpunkt zunimmt, zu einem auf den Zeitpunkt T2 folgenden Zeitpunkt einen Maximalwert erreicht und dann ab diesem Zeitpunkt, zu dem der Maximalwert erreicht wurde, abnimmt.
  • Daher wird in dieser Ausführungsform ein Zeitpunkt Ty mit T2 < Ty < T2 + Tβ eingestellt. Der Zeitpunkt Ty ist der Zeitpunkt, zu dem die Wahrscheinlichkeit, dass das Objekt herausspringt, den Maximalwert erreicht, wenn sich die Geschwindigkeit des Objekts nach dem Zeitpunkt T2, zu dem der Hinweis auftritt, ändert und kann unter Verwendung eines Histogramms oder dergleichen statistisch bestimmt werden. Die Herausspring-Bestimmungseinheit 112 stellt den Schwellenwert α, der von der Geschwindigkeitsveränderungs-Berechnungseinheit 108 verwendet wird, um die Geschwindigkeitskomponente | V | des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zu bestimmen, so ein, dass er umso niedriger ist, je weiter sich der Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | erfasst wird, dem Zeitpunkt Ty nähert. Die Geschwindigkeitsberechnungseinheit 106 bestimmt die Geschwindigkeitskomponente | V | (S5) und gewinnt den Zeitpunkt T1 (S6) unter Verwendung des auf diese Weise eingestellten Schwellenwerts α. Daher kann, da der Zeitpunkt Ty, zu dem statistisch am wahrscheinlichsten ist, dass das Objekt nach dem Auftreten des Hinweises herausspringt, eine Änderung der Geschwindigkeit des Objekts leichter erfasst werden, was es leichter macht zu erfassen, dass das Objekt herausspringt.
  • Wenn die Herausspring-Bestimmungseinheit 112 bestimmt, dass das Objekt herausgesprungen ist, ist es sehr wahrscheinlich, dass das Objekt tatsächlich herausgesprungen ist, so dass die Warnvorrichtung 114 eine Warnung an den Fahrer des Fahrzeugs (S11) ausgibt. In diesem Fall kann die Warnvorrichtung 114 die Lautstärke der Warnung erhöhen, die Tonhöhe des Warntons erhöhen, die Dauer der Warnung erhöhen und den Informationsgehalt der Warnung vergrößern und den Zeitpunkt, zu dem die Warnung ausgegeben wird, umso weiter vorrücken, je weiter sich der Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | erfasst wird, an den Zeitpunkt Ty annähert.
  • Die Warnvorrichtung 114 kann den dem Fahrer des Fahrzeugs über Bilder und Töne zugeführten Gehalt an Informationen und Anweisungen vergrößern und den Zeitpunkt, zu dem die Informationen und Anweisungen ausgegeben werden, umso weiter vorrücken, je weiter sich der Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | erfasst wird, dem Zeitpunkt Ty nähert. Ferner kann eine Vorrichtung, die eine auf das Lenkrad, das Gaspedal oder das Bremspedal des Fahrzeugs ausgeübte Reaktionskraft oder Vibration erhöht und den Zeitpunkt, zu dem die Reaktionskraft und die Vibration ausgeübt werden, umso weiter vorrückt, je weiter sich der Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | erfasst wird, dem Zeitpunkt Ty nähert, vorgesehen sein. Ferner kann eine Vorrichtung, die den Betrag vergrößert, um den das Fahrzeug durch Eingreifen in die durch den Fahrer des Fahrzeugs durchgeführten Operationen beschleunigt, verzögert und gelenkt wird, und den Zeitpunkt, zu dem das Fahrzeug beschleunigt, verzögert und gelenkt wird, umso weiter vorrückt, je weiter sich der Zeitpunkt T1, zu dem die Geschwindigkeitskomponente | V | erfasst wird, dem Zeitpunkt Ty nähert, vorgesehen sein.
  • In dieser Ausführungsform bestimmt die Herausspring-Bestimmungseinheit 112, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, auf der Grundlage der die Bewegung des Objekts betreffenden Bewegungsinformation, die durch die Geschwindigkeitsveränderungs-Berechnungseinheit 108 gewonnen wird, nachdem die Herausspringhinweis-Berechnungseinheit 110 der Erfassungsvorrichtung 10 den Hinweis erfasst, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert. Somit kann die plötzliche Annäherung des Objekts zur Fahrtrichtung des Fahrzeugs, die schwierig nur aus der das Objekt betreffenden Bewegungsinformation gewonnen werden kann, mit erhöhter Genauigkeit erfasst werden.
  • Die Herausspring-Bestimmungseinheit 112 bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Geschwindigkeitsveränderungs-Berechnungseinheit 108 gewonnenen Bewegungsinformation enthalten ist, zwischen einem Punkt, bei dem der Hinweis durch die Herausspringhinweis-Berechnungseinheit 110 erfasst wird, und dem auf die Erfassung des Hinweises durch die Herausspringhinweis-Berechnungseinheit 110 folgenden Zeitpunkt T2 + Tβ zunimmt. Daher wird die plötzliche Annäherung des Objekts zur Fahrtrichtung aus einer mit dem Hinweis zusammenhängenden Geschwindigkeitszunahme erfasst. Dadurch kann eine weitere Verbesserung der Erfassungsgenauigkeit erreicht werden.
  • Die Herausspring-Bestimmungseinheit 112 bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeitskomponente | V | des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Geschwindigkeitsveränderungs-Berechnungseinheit 108 gewonnenen Bewegungsinformation enthalten ist, den Schwellenwert α vor dem auf die Erfassung des Hinweises durch die Herausspringhinweis-Berechnungseinheit 110 folgenden Zeitpunkt T2 + Tβ überschreitet. Durch geeignetes Einstellen des Schwellenwerts derart, dass die mit dem Hinweis zusammenhängende Geschwindigkeitszunahme quantitativer erfasst wird, eine Balance oder ein Gleichgewicht zwischen der Erfassungsempfindlichkeit und der Häufigkeit fehlerhafter Erfassungen gewonnen werden.
  • Die Herausspring-Bestimmungseinheit 112 bestimmt unter Verwendung des Schwellenwerts α, der so eingestellt ist, dass er umso niedriger ist, je weiter sich der Zeitpunkt T1 der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Geschwindigkeitsveränderungs-Berechnungseinheit 108 gewonnenen Bewegungsinformation enthalten ist, dem Zeitpunkt Ty nähert, der so eingestellt ist, dass er vor dem Zeitpunkt T2 + Tβ liegt, der auf die Erfassung des Hinweises durch die Herausspringhinweis-Berechnungseinheit 110 folgt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert. Daher kann durch Einstellen des Zeitpunkts Ty als eine statistische Zeitspanne zwischen dem Punkt, bei dem der Fußgänger den Hinweis zeigt, und zum Beispiel einer plötzlichen Bewegung des Fußgängers die plötzliche Annäherung des Objekts mit sogar noch größerer Genauigkeit erfasst werden.
  • Die Herausspring-Bestimmungseinheit 112 kann die plötzliche Annäherung des Objekts an die Fahrtrichtung des Fahrzeugs, die schwierig nur aus der das Objekt betreffenden Bewegungsinformation bestimmt werden kann, mit verbesserter Genauigkeit bestimmen. Demzufolge kann die Warnvorrichtung 114 eine Fahrassistenz in Antwort auf die Annäherung des Objekts an die Fahrtrichtung durch Implementieren der Fahrassistenz in dem Fahrzeug auf der Grundlage der durch die Herausspring-Bestimmungseinheit 112 durchgeführten Bestimmung effektiver implementieren.
  • Wenn die Herausspring-Bestimmungseinheit 112 bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, unterstützt die Warnvorrichtung 114 die Implementierung der Fahrassistenz in dem Fahrzeug stärker als wenn die Herausspring-Bestimmungseinheit 112 bestimmt, dass sich das Objekt nicht der Fahrtrichtung des Fahrzeugs nähert. Daher kann die Fahrassistenz, wenn sich das Objekt der Fahrtrichtung des Fahrzeugs derart nähert, dass die Fahrassistenz notwendig wird, in geeigneter Weise durchgeführt werden.
  • Die Warnvorrichtung 114 unterstützt die Implementierung der Fahrassistenz in dem Fahrzeug umso stärker, je weiter sich der Zeitpunkt T1 der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs, die in der durch die Geschwindigkeitsveränderungs-Berechnungseinheit 108 gewonnenen Bewegungsinformation enthalten ist, dem Zeitpunkt Ty nähert, der so eingestellt ist, das er vor dem Zeitpunkt T2 + Tβ liegt, der auf die Erfassung des Hinweises durch die Herausspringhinweis-Berechnungseinheit 110 folgt. Daher kann durch Einstellen des Zeitpunkts Ty als eine statistische Zeitspanne zwischen dem Punkt, bei dem der Fußgänger den Hinweis zeigt, und zum Beispiel einer plötzlichen Bewegung des Fußgängers, die unterstützte Fahrassistenz geeigneter durchgeführt werden, da sich die Wahrscheinlichkeit, dass sich der Fußgänger plötzlich nähert, statistisch erhöht.
  • Die Erfindung ist nicht auf die oben beschriebene Ausführungsform beschränkt, sondern kann in verschiedenen weiteren Ausführungsformen implementiert sein. In der oben beschriebenen Ausführungsform wird der zur Bestimmung der Änderung der Geschwindigkeit des Objekts verwendete Schwellenwert α umso weiter verringert, je weiter sich der Zeitpunkt T1 der Zunahme der Geschwindigkeit des Objekts dem statistisch eingestellten Zeitpunkt Ty, der auf den Hinweis folgt, nähert. Jedoch kann in dieser Ausführungsform der Zeitpunkt, zu dem bestimmt werden soll, ob das Objekt herausgesprungen ist oder nicht, vorgerückt sein, indem ein Erfassungsbereich der Stereokamera 12 umso mehr vergrößert wird, je weiter sich zum Beispiel der Zeitpunkt T1 der Erhöhung der Geschwindigkeit des Objekts dem Zeitpunkt Ty nähert, der auf den Hinweis folgt.
  • Ferner ist die Fahrassistenz, die durch Ausgabe einer Warnung an den Fahrer durch die Warnvorrichtung 114 oder dergleichen durchgeführt wird, nicht auf eine Form beschränkt, bei der die Bedingung, dass überhaupt keine Fahrassistenz wie etwa die Ausgabe einer Warnung durchgeführt wird, zu der Bedingung verschoben wird, bei der die Fahrassistenz wie etwa die Ausgabe einer Warnung durchgeführt wird. Diese Ausführungsform umfasst eine Form, bei der die Bedingung, dass die Fahrassistenz wie etwa die Ausgabe einer Warnung durchgeführt wird, zu der Bedingung, dass eine andere Fahrassistenz wie etwa das Eingreifen in die Operationen des Fahrer durchgeführt wird, umgeschaltet wird. Diese Ausführungsform umfasst ferner eine Form, bei der die Bedingung, dass eine Fahrassistenz wie etwa die Ausgabe einer Warnung durchgeführt wird, zu der Bedingung verschoben wird, dass eine andere Fahrassistenz wie etwa ein Eingreifen in die Operationen des Fahrers durchgeführt wird, und zwar zusätzlich zu der Warnung oder dergleichen.
  • INDUSTRIELLE ANWENDBARKEIT
  • Mit der Erfassungsvorrichtung, dem Erfassungsverfahren, der Fahrassistenzvorrichtung und dem Fahrassistenzverfahren gemäß dieser Ausführungsform der Erfindung kann ein Objekt, das sich der Fahrtrichtung nähert, mit verbesserter Genauigkeit erfasst werden.
  • 10
    Erfassungsvorrichtung
    12
    Stereokamera
    100
    Mehrzweck-PC
    102
    Fußgängererfassungseinheit
    104
    Positionserfassungseinheit
    106
    Geschwindigkeitsberechnungseinheit
    108
    Geschwindigkeitsveränderungs-Berechnungseinheit
    110
    Herausspringhinweis-Berechnungseinheit
    112
    Herausspring-Bestimmungseinheit
    114
    Warnvorrichtung

Claims (4)

  1. Erfassungsvorrichtung, dadurch gekennzeichnet, dass sie umfasst: eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert, erfasst; eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt; und eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, wobei: die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, wobei die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, einen Schwellenwert überschreitet, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, und die Annäherungsbestimmungseinheit unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Zunahme der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation, enthalten ist.
  2. Fahrassistenzvorrichtung, dadurch gekennzeichnet, dass sie umfasst: eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert erfasst; eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt; eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht; und eine Fahrassistenzeinheit, die auf der Grundlage der durch die Annäherungsbestimmungseinheit gemachten Bestimmung eine Fahrassistenz in dem Fahrzeug implementiert, wobei: die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn die Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, einen Schwellenwert überschreitet, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, und die Annäherungsbestimmungseinheit bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht, unter Verwendung des Schwellenwerts, der so eingestellt ist, dass er umso niedriger ist, je weiter sich ein Zeitpunkt der Erhöhung der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist.
  3. Fahrassistenzvorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass, wenn die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, die Fahrassistenzeinheit eine Implementierung der Fahrassistenz in dem Fahrzeug stärker unterstützt als wenn die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt nicht der Fahrtrichtung des Fahrzeugs nähert.
  4. Fahrassistenzvorrichtung, dadurch gekennzeichnet, dass sie umfasst: eine Hinweis-Erfassungseinheit, die einen Hinweis darauf, dass sich ein Objekt einer Fahrtrichtung eines Fahrzeugs nähert erfasst; eine Bewegungsinformations-Ermittlungseinheit, die eine Bewegungsinformation, die eine eine Bewegung des Objekts betreffende Information ist, ermittelt; eine Annäherungsbestimmungseinheit, die auf der Grundlage der Bewegungsinformation, die durch die Bewegungsinformations-Ermittlungseinheit ermittelt wird, nachdem die Hinweis-Erfassungseinheit den Hinweis erfasst hat, bestimmt, ob sich das Objekt der Fahrtrichtung des Fahrzeugs nähert oder nicht; und eine Fahrassistenzeinheit, die auf der Grundlage der durch die Annäherungsbestimmungseinheit gemachten Bestimmung eine Fahrassistenz in dem Fahrzeug implementiert, wobei: die Annäherungsbestimmungseinheit bestimmt, dass sich das Objekt der Fahrtrichtung des Fahrzeugs nähert, wenn eine Geschwindigkeit des Objekts in einer Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs zwischen einem Punkt, bei dem der Hinweis durch die Hinweis-Erfassungseinheit erfasst wird, und einem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, zunimmt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit ermittelten Bewegungsinformation enthalten ist, und die Fahrassistenzeinheit eine Implementierung der Fahrassistenz in dem Fahrzeug umso stärker unterstützt, je weiter sich ein Zeitpunkt der Erhöhung der Geschwindigkeit des Objekts in der Annäherungsrichtung relativ zu der Fahrtrichtung des Fahrzeugs einem zweiten Zeitpunkt nähert, der so eingestellt ist, dass er vor dem ersten Zeitpunkt, der auf die Erfassung des Hinweises durch die Hinweis-Erfassungseinheit folgt, liegt, wobei die Geschwindigkeit in der durch die Bewegungsinformations-Ermittlungseinheit gewonnenen Bewegungsinformation enthalten ist.
DE112013006910.5T 2013-04-03 2013-04-03 Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren Active DE112013006910B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/060212 WO2014162538A1 (ja) 2013-04-03 2013-04-03 検出装置、検出方法、運転支援装置及び運転支援方法

Publications (2)

Publication Number Publication Date
DE112013006910T5 DE112013006910T5 (de) 2015-12-24
DE112013006910B4 true DE112013006910B4 (de) 2020-12-10

Family

ID=51657870

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013006910.5T Active DE112013006910B4 (de) 2013-04-03 2013-04-03 Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren

Country Status (5)

Country Link
US (1) US10068142B2 (de)
JP (1) JP5983865B2 (de)
CN (1) CN105103208A (de)
DE (1) DE112013006910B4 (de)
WO (1) WO2014162538A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102015224739A1 (de) * 2015-12-09 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Auslösen von Fußgängerschutzmitteln und/oder Fußgängerwarnmitteln
CN107444262A (zh) * 2016-04-15 2017-12-08 法拉第未来公司 车辆保险杠的投影系统
FR3080702A1 (fr) * 2018-04-25 2019-11-01 Valeo Schalter Und Sensoren Gmbh Estimation de la distance separant un vehicule automobile d'objets detectes par traitement d'images capturees depuis le vehicule automobile
DE112020004692T5 (de) * 2019-09-30 2022-06-23 Honda Motor Co., Ltd. Sattelaufsitzfahrzeug
JP7388238B2 (ja) * 2020-02-21 2023-11-29 トヨタ自動車株式会社 運転支援システム
WO2024113020A1 (en) * 2022-12-01 2024-06-06 J Humble & A Muthiah A sensor fusion based early warning system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102437A (ja) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム
WO2013042206A1 (ja) * 2011-09-20 2013-03-28 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法
DE112011105330T5 (de) * 2011-06-13 2014-03-06 Toyota Jidosha Kabushiki Kaisha Fußgängerbewegungsvorhersagegerät

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19729960A1 (de) * 1997-07-12 1998-11-26 Telefunken Microelectron Verfahren zur Aufprallerkennung
JP4321410B2 (ja) 2004-08-30 2009-08-26 日産自動車株式会社 物体検出装置、および方法
JP4127255B2 (ja) 2004-08-31 2008-07-30 日産自動車株式会社 飛び出し物体検出装置
JP4736677B2 (ja) * 2005-09-29 2011-07-27 トヨタ自動車株式会社 障害物検出装置
US7444241B2 (en) * 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
JP2007164671A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 障害物接近判断装置および障害物衝突警告システム
JP4536674B2 (ja) * 2006-03-27 2010-09-01 本田技研工業株式会社 歩行者認識装置
JP4289421B2 (ja) * 2007-05-14 2009-07-01 株式会社デンソー 車両制御装置
JP5410730B2 (ja) * 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
JP4939564B2 (ja) * 2009-03-23 2012-05-30 本田技研工業株式会社 車両用情報提供装置
DE102009028451A1 (de) * 2009-08-11 2011-02-17 Robert Bosch Gmbh Kollisionsüberwachung für ein Kraftfahrzeug
JP4873068B2 (ja) * 2009-11-20 2012-02-08 株式会社デンソー 衝突被害軽減装置
JP2012203884A (ja) 2011-03-28 2012-10-22 Toyota Central R&D Labs Inc 飛び出し歩行者判定装置及びプログラム
JP2012238185A (ja) 2011-05-12 2012-12-06 Mitsubishi Motors Corp 飛出し警報装置
DE102011102437A1 (de) * 2011-05-25 2012-11-29 Audi Ag Verfahren zum Betrieb eines längsführenden Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
CN103733238B (zh) * 2011-08-02 2016-01-27 丰田自动车株式会社 驾驶辅助装置
EP2759998B1 (de) 2011-09-20 2018-11-28 Toyota Jidosha Kabushiki Kaisha Vorrichtung zur vorhersage der handlungen von fussgängern und verfahren zur vorhersage der handlungen von fussgängern
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102437A (ja) * 2008-10-22 2010-05-06 Toyota Central R&D Labs Inc 歩行者飛び出し予測装置及びプログラム
DE112011105330T5 (de) * 2011-06-13 2014-03-06 Toyota Jidosha Kabushiki Kaisha Fußgängerbewegungsvorhersagegerät
WO2013042206A1 (ja) * 2011-09-20 2013-03-28 トヨタ自動車株式会社 対象物変化検出装置および対象物変化検出方法

Also Published As

Publication number Publication date
JP5983865B2 (ja) 2016-09-06
US10068142B2 (en) 2018-09-04
DE112013006910T5 (de) 2015-12-24
CN105103208A (zh) 2015-11-25
JPWO2014162538A1 (ja) 2017-02-16
US20160042237A1 (en) 2016-02-11
WO2014162538A1 (ja) 2014-10-09

Similar Documents

Publication Publication Date Title
DE112013006910B4 (de) Erfassungsvorrichtung, Erfassungsverfahren, Fahrassistenzvorrichtung und Fahrassistenzverfahren
DE102018124031B4 (de) Kollisionsvermeidungsassistenzvorrichtung
EP1758755B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
DE102014116225B4 (de) Vorrichtung zur Unterstützung beim Spurwechsel und Betriebsverfahren dafür
DE112015003547B4 (de) Kollisionszeitschätzungsberechnungsvorrichtung (ttc-schätzungsberechnungsvorrichtung) und ttc-schätzungsberechnungsverfahren
DE112012007157B4 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
DE112015004817B4 (de) Hinderniswarnvorrichtung
DE102016122996A1 (de) Fahrzeugkollisionsvermeidungsassistenzsystem
DE102018112238B4 (de) Kollisionsverhinderungssteuerungsvorrichtung
DE102018105665A1 (de) Kollisionsverhinderungssteuerungsvorrichtung
DE112016002387T5 (de) Fahrzeugsteuervorrichtung und fahrzeugsteuerverfahren
DE102007027494B4 (de) Verfahren und eine Vorrichtung zur Unterstützung des Fahrers eines Fahrzeugs bei der Fahrzeugführung
DE102018114233B4 (de) Vor-kollision-steuerungsvorrichtung
DE102016122998A1 (de) Fahrzeugkollisionsvermeidungsassistenzsystem
DE102018117561A1 (de) Verfahren zum automatisierten Vermeiden einer Kollision
DE102009047066A1 (de) Verfahren zur Warnung vor einem Objekt in der Umgebung eines Fahrzeugs sowie Fahrassistentensystem
DE112016004471T5 (de) Fahrunterstützungsvorrichtung
DE112016005955B4 (de) Fahrunterstützungsvorrichtung und fahrunterstützungsverfahren
DE102010061922A1 (de) Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug
DE112016001512T5 (de) Fahrzeugsteuerungsvorrichtung in einem fahrzeugsteuerungsverfahren
EP2242674A1 (de) Verfahren und assistenzsystem zum erfassen von objekten im umfeld eines fahrzeugs
DE102014209585A1 (de) Kollisionsminderungsvorrichtung
DE102015208599A1 (de) Objekterkennungsvorrichtung
WO2003105108A1 (de) Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
DE102014223408A1 (de) Zielerkennungsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: WINTER, BRANDL, FUERNISS, HUEBNER, ROESS, KAIS, DE

R083 Amendment of/additions to inventor(s)
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence