DE102016206117B4 - Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem - Google Patents

Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem Download PDF

Info

Publication number
DE102016206117B4
DE102016206117B4 DE102016206117.8A DE102016206117A DE102016206117B4 DE 102016206117 B4 DE102016206117 B4 DE 102016206117B4 DE 102016206117 A DE102016206117 A DE 102016206117A DE 102016206117 B4 DE102016206117 B4 DE 102016206117B4
Authority
DE
Germany
Prior art keywords
road surface
section
vehicle
disparity information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016206117.8A
Other languages
English (en)
Other versions
DE102016206117A1 (de
Inventor
Masakazu Nishijima
Fumio Sugaya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE102016206117A1 publication Critical patent/DE102016206117A1/de
Application granted granted Critical
Publication of DE102016206117B4 publication Critical patent/DE102016206117B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Automation & Control Theory (AREA)

Abstract

Straßenoberflächenerfassungsvorrichtung, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug (V) erhalten wird, der durch eine Onboard-Kamera (3) aufgenommen wird, wobei die Straßenoberflächenerfassungsvorrichtung Folgendes umfasst:
einen Wegabschätzungsabschnitt (22), der auf der Grundlage von Fahrinformation des Fahrzeugs (V) einen Fahrweg abschätzt, auf welchem das Fahrzeug (V) fahren wird; und
einen Erfassungsabschnitt (23),
dadurch gekennzeichnet, dass der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich in dem aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst, und dass
der Erfassungsabschnitt (23) der Ungleichheitsinformation, die auf einer vom Fahrweg entfernten Seite im aufgenommenen Bild positioniert ist, eine geringere Gewichtung verleiht als der Ungleichheitsinformation, die auf einer Seite in der Nähe des Fahrwegs im aufgenommenen Bild positioniert ist, wenn der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet.

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die Erfindung bezieht sich auf eine Straßenoberflächenerfassungsvorrichtung und ein Straßenoberflächenerfassungssystem, das einen Straßenoberflächenbereich erfasst, auf dem ein Fahrzeug fährt.
  • 2. Erläuterung des Stands der Technik
  • Eine bekannte Straßenoberflächenerfassungsvorrichtung erfasst einen Straßenoberflächenbereich, auf dem ein Fahrzeug fährt, aus Ungleichheitsinformation in einem aufgenommenen Bild um ein Fahrzeug, das durch eine Stereokamera aufgenommen wurde. Die als nächstkommend angesehene US 2014/0071240 A , die die Grundlage für den Oberbegriff der unabhängigen Ansprüche bildet, beschreibt ein Bespiel einer derartigen Straßenoberflächenerfassungsvorrichtung. Die in der US 2014/0071240 A beschriebene Vorrichtung erfasst einen Straßenoberflächenbereich unter Verwendung von Ungleichheitsinformation (Abstandsinformation) in einem aufgenommenen Bild. Weiterer relevanter Stand der Technik findet sich in der DE 102 18 924 A1 oder der US 2007 /0 255 480 A1 .
  • Außerdem ist eine Technologie bekannt, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation in einem Bildbereich auf der Innenseite einer weißen Linie in einem aufgenommenen Bild beispielsweise dazu erfasst, um eine Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen.
  • Wenn jedoch eine weiße Linie auf einer Straße nicht erfasst werden kann oder wenn es keine weiße Linie gibt, kann das vorstehend beschriebene Verfahren zur Erhöhung der Genauigkeit der Erfassung des Straßenoberflächenbereichs nicht verwendet werden. Daher gibt es auf diesem technischen Gebiet eine Notwendigkeit, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen, die nicht auf dem Ergebnis einer Erfassung einer weißen Linie basiert.
  • KURZE ERLÄUTERUNG DER ERFINDUNG
  • Somit schafft die Erfindung eine Straßenoberflächenerfassungsvorrichtung, die dazu fähig ist, die Genauigkeit der Erfassung eines Straßenoberflächenbereichs zu verbessern.
  • Ein erster Aspekt der Erfindung bezieht sich auf eine Vorrichtung zur Erfassung einer Straßenoberfläche, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug erhalten wird, der durch eine Kamera an Bord des Fahrzeugs bzw. eine Onboard-Kamera aufgenommen wird. Diese Straßenoberflächenerfassungsvorrichtung umfasst einen Wegabschätzungsabschnitt, der auf der Grundlage von Fahrinformation des Fahrzeugs einen Fahrweg abschätzt, auf dem das Fahrzeug fahren wird, und einen Erfassungsabschnitt, der die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst. Wenn der Erfassungsabschnitt die Ungleichheitsinformation gewichtet, verleiht der Erfassungsabschnitt der Ungleichheitsinformation, die auf einer vom Fahrweg entfernten Seite im aufgenommenen Bild positioniert ist, ein geringeres Gewicht als der Ungleichheitsinformation, die im aufgenommenen Bild auf einer Seite in der Nähe des Fahrwegs positioniert ist.
  • In dieser Straßenoberflächenerfassungsvorrichtung wird der Ungleichheitsinformation ein stärkeres Gewicht verliehen, die auf der Seite in der Nähe des Fahrwegs positioniert ist, als der Ungleichheitsinformation, die auf der vom Fahrweg entfernten Seite positioniert ist. Hier wird angenommen, dass der Bereich um den Fahrweg, auf dem das Fahrzeug fahren wird, eine Straße ist. Außerdem wird vermutet, dass es sehr wahrscheinlich ist, dass der vom Fahrweg entfernte Bereich keine Straße ist. Daher ist die Straßenoberflächenerfassungsvorrichtung durch stärkeres Gewichten der Ungleichheitsinformation, die auf der Seite in der Nähe des Fahrwegs positioniert ist, dazu fähig, die Ungleichheitsinformation, die auf der vom Fahrweg entfernten Seite positioniert ist, daran zu hindern, die Erfassung des Straßenoberflächenbereichs zu beeinflussen. Daher ist die Straßenoberflächenerfassungsvorrichtung dazu fähig, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu verbessern.
  • Im vorstehend beschriebenen ersten Aspekt kann der Wegabschätzungsabschnitt den Fahrweg abschätzen und eine Krümmung einer vom Fahrzeug befahrenen Spur auf der Grundlage des Fahrwegs abschätzen. Außerdem kann der Erfassungsabschnitt einen Vorgang verhindern, der der Ungleichheitsinformation, die auf der vom Fahrweg entfernten Seite im aufgenommenen Bild positioniert ist, weniger Gewicht als der Ungleichheitsinformation verleiht, die auf der Seite in der Nähe des Fahrwegs im aufgenommenen Bild positioniert ist, wenn eine Größe der Änderung pro Zeiteinheit in der Krümmung, die vom Wegabschätzungsabschnitt abgeschätzt wird, größer als eine vorab festgelegte Referenzgröße der Änderung ist. Wenn beispielsweise die Größe der Änderung der abgeschätzten Krümmung der befahrenen Spur pro Zeiteinheit größer als die Referenzänderungsgröße ist, fluktuiert die Form der Straße so stark, dass die Stra-ßenform, die dem abgeschätzten Fahrweg folgt, dazu neigen wird, nicht zur tatsächlichen Straßenform zu passen. Daher ermöglicht das Nicht-Gewichten der Ungleichheitsinformation auf der Grundlage des Abstands vom Fahrweg, wenn die Größe der Änderung pro Zeiteinheit der abgeschätzten Krümmung der befahrenen Spur größer als die Referenzgröße der Änderung ist, zu verhindern, dass die Gewichtung der Ungleichheitsinformation ansteigt, die zu einem Bereich passt, der nicht der Straßenoberflächenbereich ist.
  • Ein zweiter Aspekt der Erfindung bezieht sich auf eine Straßenoberflächenerfassungsvorrichtung, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug erhalten wird, der durch eine Onboard-Kamera aufgenommen wird. Diese Straßenoberflächenerfassungsvorrichtung umfasst einen Wegabschätzungsabschnitt, der einen Fahrweg auf der Grundlage von Fahrinformationen des Fahrzeugs abschätzt, auf dem das Fahrzeug fahren wird, und einen Erfassungsabschnitt, der die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst. Wenn der Erfassungsabschnitt die Ungleichheitsinformation gewichtet, gibt der Erfassungsabschnitt der Ungleichheitsinformation, die außerhalb eines vorab festgelegten Bereichs, der vorab vom Fahrweg im aufgenommenen Bild bestimmt wird, ein geringeres Gewicht als der Ungleichheitsinformation, die innerhalb des vorab festgelegten Bereichs positioniert ist.
  • In dieser Straßenoberflächenerfassungsvorrichtung wird einer Ungleichheitsinformation, die innerhalb des vorab festgelegten Bereichs positioniert ist, der vorab aus dem Fahrweg bestimmt wird, ein größeres Gewicht verliehen als einer Ungleichheitsinformation, die außerhalb des vorab festgelegten Bereichs positioniert ist. Hier wird angenommen, dass der Bereich um den Fahrweg, auf dem das Fahrzeug fahren wird, eine Straße ist. Außerdem wird angenommen, dass es sehr wahrscheinlich ist, dass der vom Fahrweg entfernte Bereich keine Straße ist. Daher ist die Straßenoberflächenerfassungsvorrichtung durch stärkeres Gewichten der Ungleichheitsinformation, die innerhalb des Bereichs positioniert ist, der vorab aus dem Fahrweg bestimmt wird, dazu fähig, zu verhindern, dass Ungleichheitsinformation, die außerhalb des Bereichs positioniert ist, der vorab aus dem Fahrweg bestimmt wird, die Erfassung des Straßenoberflächenbereichs beeinflusst. Daher ist die Straßenoberflächenerfassungsvorrichtung dazu fähig, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen.
  • In dem vorstehend beschriebenen zweiten Aspekt kann der Wegabschätzungsabschnitt den Fahrweg abschätzen und eine Krümmung einer Fahrspur des Fahrzeugs auf der Grundlage des Fahrwegs abschätzen. Außerdem kann der Erfassungsabschnitt einen Vorgang verhindern, der der Ungleichheitsinformation, die außerhalb des vorab festgelegten Bereichs positioniert ist, der vorab aus dem Fahrweg in dem aufgenommenen Bild bestimmt wird, ein geringeres Gewicht als der Ungleichheitsinformation verleiht, die innerhalb des vorab festgelegten Bereichs positioniert ist, wenn eine Größe der Änderung der vom Wegabschätzungsabschnitt abgeschätzten Krümmung pro Zeiteinheit größer als eine vorab festgelegte Referenzänderungsgröße ist. Wenn beispielsweise die Größe der Änderung der abgeschätzten Fahrspurkrümmung pro Zeiteinheit größer als die Referenzänderungsgröße ist, schwankt die Form der Straße so stark, dass die Straßenform, die dem abgeschätzten Fahrweg folgt, dazu neigen wird, nicht zur tatsächlichen Straßenform zu passen. Daher ermöglicht das Nicht-Gewichten der Ungleichheitsinformation basierend darauf, ob die Ungleichheitsinformation innerhalb oder außerhalb des vorab festgelegten Bereichs liegt, der vorab aus dem Fahrweg bestimmt wird, zu verhindern, dass die Gewichtung einer Ungleichheitsinformation steigt, die zu einem Bereich gehört, der nicht der Straßenoberflächenbereich ist, wenn die Größe der Änderung der abgeschätzten Krümmung der befahrenen Spur pro Zeiteinheit größer als die Referenzgröße der Änderung ist.
  • Ein dritter Aspekt der Erfindung bezieht sich auf ein Straßenoberflächenerfassungssystem. Das Straßenoberflächenerfassungssystem umfasst eine Stereokamera, die in einem Fahrzeug montiert ist und ein Bild eines Bereichs um das Fahrzeug aufnimmt, und eine ECU, die Punkte einer potenziellen Straßenoberfläche abschätzt, die eine potenzielle Straßenoberfläche in dem von der Stereokamera aufgenommenen Bild ist, und einen Straßenoberflächenbereich in dem Bild auf der Grundlage der potenziellen Straßenoberflächenpunkte erfasst und Information über den Straßenoberflächenbereich ausgibt. Die ECU schätzt einen Fahrweg ab, auf dem das Fahrzeug fahren wird, und verknüpft den Fahrweg mit Pixeln des von der Stereokamera aufgenommenen Bildes. Die ECU verleiht dem potenziellen Straßenoberflächenpunkt ein derartiges Gewicht, dass das Gewicht größer wird, wenn ein Abstand zwischen dem Fahrweg und dem potenziellen Straßenoberflächenpunkt in dem Bild klein ist, als wenn der Abstand zwischen dem Fahrweg und dem potenziellen Straßenoberflächenpunkt in dem Bild groß ist, und die ECU bestimmt auf der Grundlage des Gewichts, das dem potenziellen Straßenoberflächenpunkt verliehen wurde, dass der potenzielle Straßenoberflächenpunkt der Straßenoberflächenbereich ist.
  • Somit ermöglicht es die Erfindung, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen.
  • KURZE ERLÄUTERUNG DER FIGUREN
  • Merkmale, Vorteile und die technische und industrielle Bedeutung beispielhafter Ausführungsformen der Erfindung werden nachstehend mit Bezug auf die beigefügten Figuren beschrieben, in denen ähnliche Bezugszeichen ähnliche Elemente bezeichnen, und in denen:
    • 1 eine Ansicht ist, die schematisch den Aufbau einer Straßenoberflächenerfassungsvorrichtung nach einer ersten beispielhaften Ausführungsform der Erfindung zeigt;
    • 2 eine Ansicht eines Ungleichheitsbestimmungskennfelds bzw. Ungleichheitsgewichtungskennfelds mit einer Position in der Querrichtung des Ungleichheitsbilds als der horizontalen Achse und der Ungleichheit als der vertikalen Achse ist;
    • 3 eine Ansicht eines Fahrwegs auf dem aufgenommenen Bild ist;
    • 4 eine Ansicht eines Beispiels des Straßenoberflächenbereichs ist, die auf einem V-Ungleichheitsbild bzw. v-disparity-Bild angezeigt wird;
    • 5 ein Ablaufplan ist, der den Ablauf eines Erfassungsprogramms für den Straßenoberflächenbereich der Straßenoberflächenerfassungsvorrichtung veranschaulicht;
    • 6 eine Ansicht ist, die schematisch den Aufbau einer Straßenoberflächenerfassungsvorrichtung nach einer zweiten beispielhaften Ausführungsform der Erfindung zeigt;
    • 7 eine Ansicht eines Fahrbereichs in einem aufgenommenen Bild ist; und
    • 8 ein Ablaufplan ist, der den Ablauf eines Programms zur Erfassung eines Straßenoberflächenbereichs der Straßenoberflächenerfassungsvorrichtung veranschaulicht.
  • GENAUE ERLÄUTERUNG VON AUSFÜHRUNGSFORMEN
  • Nachstehend werden beispielhafte Ausführungsformen der Erfindung mit Bezug auf die beigefügten Figuren beschrieben. In der Beschreibung werden ähnliche Elemente mit ähnlichen Bezugszeichen bezeichnet, und eine redundante Beschreibung wird weggelassen.
  • (Erste beispielhafte Ausführungsform)
  • Zuerst wird eine erste beispielhafte Ausführungsform der Erfindung beschrieben. Wie in 1 gezeigt wird eine Straßenoberflächenerfassungsvorrichtung 1 nach der beispielhaften Ausführungsform in einem Fahrzeug V wie beispielsweise einem Passagierfahrzeug montiert und erfasst einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation (Abstandsinformation von einer Onboard-Kamera), die aus einem aufgenommenen Bild erhalten wird, das ein Bild eines Bereichs um das Fahrzeug V aufnimmt. Der Straßenoberflächenbereich ist eine Straßenoberfläche einer Straße, auf der das Fahrzeug V fahren kann. Zusätzlich zu einer Straßenoberfläche einer Straße, auf der das Fahrzeug V fährt, kann der Straßenoberflächenbereich auch einen Stellplatz auf einem Parkplatz und eine Straßenoberfläche einer Parklücke umfassen.
  • Die Straßenoberflächenerfassungsvorrichtung 1 erhält ein mit einer Onboard-Kamera aufgenommenes Bild, die ein Bild eines Bereichs um das Fahrzeug V aufnimmt, und erfasst einen Straßenoberflächenbereich auf der Grundlage einer Ungleichheitsinformation (Ungleichheit) in einem Ungleichheitsbild, das aus dem aufgenommenen Bild erzeugt wird. Das Ungleichheitsbild ist ein Bild, das Ungleichheitsinformation umfasst.
  • Wie in 1 gezeigt umfasst die Straßenoberflächenerfassungsvorrichtung 1 eine ECU (Electronic Control Unit, elektronische Steuereinheit) 2 zum Erfassen des Straßenoberflächenbereichs, eine Stereokamera (Onboard-Kamera) 3 und einen Innensensor 4. Die ECU 2 ist eine elektronische Steuereinheit, die eine CPU (Zentralprozessoreinheit), ein ROM (Nur-Lese-Speicher) und ein RAM (einen Speicher mit wahlfreiem Zugriff) und dergleichen umfasst. In der ECU 2 werden verschiedene Vorgänge durch Laden eines in dem ROM gespeicherten Programms in das RAM und Ausführen desselben mit der CPU ausgeführt. Die ECU 2 kann auch eine Vielzahl elektronischer Steuereinheiten umfassen.
  • Die Stereokamera 3 ist eine Bildaufnahmevorrichtung, die ein aufgenommenes Bild durch Aufnehmen eines Bilds eines Bereichs um das Fahrzeug V aufnimmt. Die Stereokamera 3 umfasst eine erste Kamera 3A und eine zweite Kamera 3B, die so angeordnet sind, dass sie eine binokulare Ungleichheit wiedergeben. Die erste Kamera 3A und die zweite Kamera 3B sind hinter einer Frontscheibe des Fahrzeugs V vorgesehen und nehmen beispielsweise ein Bild des Bereichs vor dem Fahrzeug V auf.
  • Die Straßenoberflächenerfassungsvorrichtung 1 kann auch eine monokulare Kamera anstelle der Stereokamera 3 sein. Eine monokulare Kamera kann ebenfalls ein Ungleichheitsbild durch ein gut bekanntes Verfahren aufnehmen (beispielsweise ein Verfahren, das eine Zeit-Bild-Differenz bzw. einen Bildunterschied über die Zeit verwendet).
  • Der Innensensor 4 ist eine Erfassungsvorrichtung, die einen Fahrzustand des Fahrzeugs V erfasst. Der Innensensor 4 umfasst beispielsweise einen Fahrzeuggeschwindigkeitssensor und einen Gierratensensor. Der Fahrzeuggeschwindigkeitsensor ist ein Detektor, der die Geschwindigkeit des Fahrzeugs V erfasst. Ein Raddrehzahlsensor, der an einem Rad des Fahrzeugs V oder an einer Antriebswelle vorgesehen ist, die sich zusammen mit den Rädern dreht, kann beispielsweise als Fahrzeuggeschwindigkeitssensor verwendet werden. Der Fahrzeuggeschwindigkeitssensor überträgt die erfasste Fahrzeuggeschwindigkeitsinformation (Fahrzeugfahrinformation) an die ECU. Der Gierratensensor ist ein Detektor, der die Gierrate um eine senkrechte Achse des Schwerpunkts des Fahrzeugs V erfasst. Ein Gyroskopsensor kann beispielsweise als der Gierratensensor verwendet werden. Der Gierratensensor überträgt die erfasste Gierrateninformation des Fahrzeugs V (Fahrzeugfahrinformation) an die ECU 2.
  • Als Nächstes wird der funktionelle Aufbau der ECU 2 beschrieben. Wie in 1 gezeigt weist die ECU 2 einen Bilderfassungsabschnitt 21, einen Wegabschätzungsabschnitt 22, einen Erfassungsabschnitt 23 und einen Abschnitt 24 zur Ausgabe von Straßenoberflächeninformationen auf.
  • Der Bildaufnahmeabschnitt 21 nimmt das von der Stereokamera 3 aufgenommene Bild auf. Der Bildaufnahmeabschnitt 21 erzeugt ein Ungleichheitsbild, das Ungleichheitsinformation umfasst, beispielsweise durch ein gut bekanntes Verfahren auf der Grundlage des von der ersten Kamera 3A aufgenommenen Bilds und des von der zweiten Kamera 3B der Stereokamera 3 aufgenommenen Bilds. Die Ungleichheitsinformation ist beispielsweise in Pixeln enthalten, die das Ungleichheitsbild bilden. Nachstehend wird ein Pixel im Ungleichheitsbild, das Ungleichheitsinformation umfasst, als ein Ungleichheitspunkt bezeichnet.
  • Der Wegabschätzungsabschnitt 22 schätzt den Fahrweg, auf dem das Fahrzeug V fahren wird, auf der Grundlage von Erfassungsergebnissen (Fahrinformation) des Fahrzeugsensors und des Gierratensensors des Innensensors 4 ab. Beispielsweise kann der Wegabschätzungsabschnitt 22 den Fahrweg abschätzen, indem er annimmt, dass sich die derzeitige Geschwindigkeit und der Gierratenzustand, die vom Fahrzeuggeschwindigkeitssensor und dem Gierratensensor erfasst werden, fortsetzen werden. Der Wegabschätzungsabschnitt 22 kann den Fahrweg auch anhand von Information außer den Erfassungsergebnissen des Fahrzeuggeschwindigkeitssensors und des Gierratensensors (beispielsweise einem Lenkwinkel, der durch einen Lenkwinkelsensor erfasst wird (eine Fahrzeugfahrinformation) oder dergleichen) abschätzen.
  • Der Erfassungsabschnitt 23 erfasst den Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der Ungleichheitsinformation. Der Erfassungsabschnitt 23 erfasst den Straßenoberflächenbereich, während er die Nutzung der Ungleichheitsinformation, die auf der vom Fahrweg entfernten Seite des Fahrzeugs V positioniert ist, stärker einschränkt als die Nutzung der Ungleichheitsinformation, die auf einer Seite in der Nähe des Fahrwegs des Fahrzeugs V im aufgenommenen Bild positioniert ist, wenn er den Straßenoberflächenbereich erfasst. Einschränken der Nutzung der Ungleichheitsinformation verringert den Effekt, den die Ungleichheitsinformation auf die Erfassung des Straßenoberflächenbereichs hat. Genauer gesagt gewichtet der Erfassungsabschnitt 23 die in dem Ungleichheitsbild enthaltene Ungleichheitsinformation, und erfasst den Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation. Noch genauer umfasst der Erfassungsabschnitt 23 einen Abschnitt 23A zum Abschätzen eines potenziellen Straßenoberflächenpunkts, einen Gewichtungsabschnitt 23B und einen Straßenoberflächenerfassungsabschnitt 23C.
  • Der Abschnitt 23A zum Abschätzen eines potenziellen Straßenoberflächenpunkts schätzt einen zur Straßenoberfläche passenden Ungleichheitspunkt aus einer Vielzahl von Ungleichheitspunkten im Ungleichheitsbild als einen potenziellen Straßenoberflächenpunkt ab. Der Abschnitt 23A zum Abschätzen eines potenziellen Straßenoberflächenpunkts schätzt durch ein bekanntes Verfahren ab, ob der Ungleichheitspunkt ein zur Straßenoberfläche passender Ungleichheitspunkt oder ein zu einem dreidimensionalen Objekt oder dergleichen außer der Straßenoberfläche passender Ungleichheitspunkt ist.
  • Als ein Beispiel kann der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts den potenziellen Straßenoberflächenpunkt in der nachstehend beschriebenen Weise abschätzen. Der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts legt ein Ungleichheitsbestimmungskennfeld wie in 2 gezeigt fest. Das Ungleichheitsbestimmungskennfeld in 2 ist aus einer Vielzahl von quadratischen Blöcken hergestellt, die so angeordnet sind, dass eine Seite in der Querrichtung so festgelegt ist, dass sie zu einer Position in der Querrichtung (horizontalen Richtung) des Ungleichheitsbilds passt, und eine Seite in der senkrechten Richtung so festgelegt ist, dass sie zur Größe der Ungleichheit passt. Der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts gruppiert (gewichtet) einen Ungleichheitspunkt für einen zugehörigen Block aus der Vielzahl von Blöcken, die das Ungleichheitsbestimmungskennfeld darstellen, auf der Grundlage der Position des Ungleichheitspunkts im Ungleichheitsbild und der Größe der Ungleichheit des Ungleichheitspunkts zu. Auf diese Weise ordnet der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts die Ungleichheitspunkte den Blöcken des Ungleichheitsbestimmungskennfeld zu.
  • Als Nächstes berechnet der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts für jeden Block des Ungleichheitsbestimmungskennfelds einen Mittelwert der Ungleichheit, eine Abweichung der Ungleichheit, einen Mittelwert der Koordinaten der Ungleichheitspunkte in der senkrechten Richtung des Ungleichheitsbilds und eine Abweichung der Koordinaten der Ungleichheitspunkte in der senkrechten Richtung des Ungleichheitsbilds. Der Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte legt für jeden Block im Ungleichheitsbestimmungskennfeld Attribute einer Straßenoberfläche für die Blöcke fest bzw. ordnet diese zu, in denen die Verteilung der Ungleichheitspunkte in der senkrechten Richtung gering und die Verteilung der Ungleichheitspunkte in der Ungleichheitsrichtung groß ist. Genauer gesagt bestimmt der Abschnitt 23A zum Abschätzen der potenziellen Straßenoberflächenpunkte, ob die Verteilung der Ungleichheitspunkte in der senkrechten Richtung (das bedeutet, die Abweichung der Koordinaten der Ungleichheitspunkte in der senkrechten Richtung des Ungleichheitsbilds) beispielsweise kleiner als ein erster vorab festgelegter Schwellenwert ist. Außerdem bestimmt der Abschnitt 23A zum Abschätzen der potenziellen Straßenoberflächenpunkte, ob die Verteilung in der Ungleichheitsrichtung (das bedeutet, die Abweichung der Koordinaten der Ungleichheitspunkte in der senkrechten Richtung des Ungleichheitsbilds/die Abweichung der Ungleichheit) beispielsweise kleiner als ein zweiter Schwellenwert ist. Wenn die Verteilung der Ungleichheitspunkte in der senkrechten Richtung kleiner als der vorab festgelegte erste Schwellenwert ist und die Verteilung in der Ungleichheitsrichtung kleiner als der zweite Schwellenwert ist, legt der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts Qualitätsmerkmale einer Straßenoberfläche für diesen Block fest. Der Abschnitt 23A zum Abschätzen eines potenziellen Straßenoberflächenpunkts legt andere Qualitätsmerkmale als jene einer Straßenoberfläche (beispielsweise Qualitätsmerkmale eines dreidimensionalen Objekts) für Blöcke fest, die den vorstehend beschriebenen Bedingungen nicht entsprechen.
  • Der Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte schätzt einen Ungleichheitspunkt, der einem Block zugeordnet ist, für den das Qualitätsmerkmal einer Straßenoberfläche festgelegt wurde, als einen potenziellen Straßenoberflächenpunkt ab. Hier kann auch ein Ungleichheitspunkt außer einem Ungleichheitspunkt, der zur Straßenoberfläche passt, als ein potenzieller Straßenoberflächenpunkt aufgrund eines Genauigkeitsfehlers des Ungleichheitsbilds oder dergleichen abgeschätzt werden. Daher gewichtet der Erfassungsabschnitt 23 die abgeschätzten potenziellen Straßenoberflächenpunkte in der nachstehend beschriebenen Weise, um einen Genauigkeitsfehler und dergleichen zu eliminieren, und erfasst somit genau den Straßenoberflächenbereich.
  • Der Gewichtungsabschnitt 23B gewichtet die potenziellen Straßenoberflächenpunkte, die durch den Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts abgeschätzt wurden. Der Gewichtungsabschnitt 23B gibt den potenziellen Straßenoberflächenpunkten, die auf der vom Fahrweg entfernten Seite positioniert sind, ein geringeres Gewicht als den potenziellen Straßenoberflächenpunkten, die auf der Seite in der Nähe des Fahrwegs positioniert sind, der vom Wegabschätzungsabschnitt 22 im aufgenommenen Bild abgeschätzt wird.
  • Genauer gesagt projiziert der Gewichtungsabschnitt 23B den Fahrweg, der vom Wegabschätzungsabschnitt 22 abgeschätzt wird, auf das aufgenommene Bild, das von der Stereokamera 3 aufgenommen wird. Als ein Ergebnis wird der Fahrweg mit den Pixeln auf dem aufgenommenen Bild verknüpft, das von der Stereokamera 3 aufgenommen wird. Jedes aufgenommene Bild, das von der ersten Kamera 3A oder der zweiten Kamera 3B aufgenommen wird, kann als das aufgenommenen Bild verwendet werden, das der Gewichtungsabschnitt 23B verwendet, wenn er die Gewichtung durchführt. Der Gewichtungsabschnitt 23B erhöht die Gewichtung (das bedeutet, die Größe des Gewichts) umso mehr, je näher ein potenzieller Straßenoberflächenpunkt in der Horizontalrichtung (Querrichtung) bei einem projizierten Fahrweg K liegt, wie in 3 in einem von der Stereokamera 3 aufgenommenen Bild P gezeigt. Beispielsweise kann ein potenzieller Straßenoberflächenpunkt A eine Gewichtung von „1“ erhalten, und ein potenzieller Straßenoberflächenpunkt B, der näher beim Fahrweg K liegt als der potenzielle Straßenoberflächenpunkt A, kann eine Gewichtung von „2“ erhalten. Auf diese Weise legt der Gewichtungsabschnitt 23B die Gewichtung für jeden potenziellen Straßenoberflächenpunkt, der als eine Straßenoberfläche abgeschätzt wird, auf der Grundlage des Abstands vom Fahrweg K fest. Hier zeigt ein größerer Wert der Gewichtung, die einem potenziellen Straßenoberflächenpunkt gegeben wird, eine größere Tendenz der Position des gewichteten potenziellen Straßenoberflächenpunkts an, als ein Stra-ßenoberflächenbereich erfasst zu werden.
  • Hier ist 3 ein aufgenommenes Bild, das einen Bereich vor dem Fahrzeug V aufnimmt. Weiße Linien (Spurgrenzlinien) L und L1, die eine Fahrzeugfahrspur bilden, und eine weiße Linie L2, die zusammen mit der weißen Linie L eine benachbarte Spur bilden, sind in 3 gezeigt. Das Bezugszeichen R1 bezeichnet die Fahrspur des Fahrzeugs V. Das Bezugszeichen R2 bezeichnet die entgegenkommende Spur (benachbarte Spur).
  • Der Straßenoberflächenerfassungsabschnitt 23C erfasst den Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten potenziellen Straßenoberflächenpunkte. Der Straßenoberflächenerfassungsabschnitt 23C setzt bei der Erfassung des Straßenoberflächenbereich potenzielle Straßenoberflächenpunkte mit höherer Gewichtung stärker ein als potenzielle Straßenoberflächenpunkte mit geringerer Gewichtung. Genauer gesagt erfasst der Abschnitt 23C zur Erfassung der Straßenoberfläche eher die Positionen von stark gewichteten potenziellen Straßenoberflächenpunkten als die Positionen von leicht gewichteten Straßenoberflächenpunkten als Straßenoberflächenbereich.
  • Beispielsweise ist der Abschnitt 23C zur Erfassung der Straßenoberfläche dazu fähig, den Straßenoberflächenbereich auf der Grundlage der Ungleichheit der potenziellen Straßenoberflächenpunkte unter Verwendung eines bekannten V-Ungleichheitsbilds zu erfassen. Wie in 4 gezeigt, ist das V-Ungleichheitsbild ein Schaubild mit der Ungleichheit (dem Abstand, der durch die Ungleichheit angezeigt wird) auf der horizontalen Achse und den Koordinaten in der senkrechten Richtung des Ungleichheitsbildes auf der vertikalen Achse, das ein Histogramm in der horizontalen Richtung mit Bezug auf das Ungleichheitsbild erhält. In dem Ungleichheitsbild ist der Straßenoberflächenbereich so, dass sich die Ungleichheit gleichförmig ändert, wenn sich beispielsweise die Koordinaten in der senkrechten Richtung des Ungleichheitsbildes ändern. Daher wird der Straßenoberflächenbereich wie in 4 gezeigt als ein Liniensegment W auf das V-Ungleichheitsbild projiziert, das sich diagonal (das bedeutet in einer schrägen Richtung) erstreckt.
  • Der Abschnitt 23C zur Erfassung der Straßenoberfläche gibt die potenziellen Straßenoberflächenpunkte in dem V-Ungleichheitsbild derart wieder, dass die potenziellen Straßenoberflächenpunkte, die stärker gewichtet werden, eher für die Erfassung des Straßenoberflächenbereichs herangezogen werden. Wenn die potenziellen Straßenoberflächenpunkte in dem V-Ungleichheitsbild wiedergegeben werden, nimmt der Abschnitt 23A zum Abschätzen des potenziellen Straßenoberflächenpunkts beispielsweise an, dass es eine Anzahl von potenziellen Straßenoberflächenpunkten passend zum Wert der Gewichtung gibt, und gibt die Anzahl der potenziellen Straßenoberflächenpunkte passend zum Wert der Gewichtung im V-Ungleichheitsbild wieder. Wenn beispielsweise einem potenziellen Straßenoberflächenpunkt X eine Gewichtung von „2“ verliehen wird, nimmt der Abschnitt 23A zum Abschätzen der potenziellen Straßenoberflächenpunkte an, dass es zwei potenzielle Straßenoberflächenpunkte X gibt, und gibt zwei potenzielle Straßenoberflächenpunkte X in dem V-Ungleichheitsbild wieder. Folglich werden stärker gewichtete potenzielle Straßenoberflächenpunkte stärker für die Erfassung des Straßenoberflächenbereichs verwendet.
  • Der Abschnitt 23C zur Erfassung der Straßenoberfläche erfasst den Stra-ßenoberflächenbereich unter Verwendung potenzieller Straßenoberflächenpunkte, aber der Abschnitt 23C zur Erfassung der Straßenoberfläche kann auch einen Gradienten der Straßenoberfläche als den Straßenoberflächenbereich erfassen.
  • Der Abschnitt 24 zur Ausgabe einer Straßenoberflächeninformation gibt eine Information bezüglich des Straßenoberflächenbereichs, der vom Erfassungsabschnitt 23 erfasst wird, an eine externe Vorrichtung aus. Der Abschnitt 24 zur Ausgabe der Straßenoberflächeninformation kann beispielsweise auch eine Straßenoberflächeninformation an eine ECU ausgeben, die automatisch das Fahrzeug V fährt, oder eine ECU, die das Fahren des Fahrzeugs V unterstützt.
  • Als Nächstes wird der Ablauf eines Programms zur Erfassung des Stra-ßenoberflächenbereichs, das von der Straßenoberflächenerfassungsvorrichtung 1 durchgeführt wird, mit Bezug auf den Ablaufplan in 5 beschrieben. Das Programm in dem in 5 gezeigten Ablaufplan wird in vorab festgelegten Zeitintervallen ausgeführt, während das Fahrzeug V durch eine Maschine angetrieben wird. Der Bildaufnahmeabschnitt 21 erhält das aufgenommene Bild, das von der Stereokamera 3 aufgenommen wird (S101). Der Bildaufnahmeabschnitt 21 erzeugt ein Ungleichheitsbild auf der Grundlage des erhaltenen aufgenommenen Bilds (S102).
  • Der Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte schätzt potenzielle Straßenoberflächenpunkte auf der Grundlage des erzeugten Ungleichheitsbilds ab (S103). Der Wegabschätzungsabschnitt 22 schätzt den Fahrweg des Fahrzeugs V auf der Grundlage der Erfassungsergebnisse des Innensensors 4 ab (S104). Der Gewichtungsabschnitt 23B gewichtet die potenziellen Straßenoberflächenpunkte, die von dem Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte abgeschätzt wurden, entsprechend ihres Abstands vom Fahrweg (S105). Der Abschnitt 23C zur Erfassung der Straßenoberfläche erfasst den Straßenoberflächenbereich auf der Grundlage der Ungleichheit der potenziellen Straßenoberflächenpunkte beispielsweise unter Verwendung eines bekannten V-Ungleichheitsbildes oder dergleichen (S106). Der Abschnitt 24 zur Ausgabe von Straßenoberflächeninformation gibt Information über den Straßenoberflächenbereich, die vom Erfassungsabschnitt 23 erfasst wird, an eine externe Vorrichtung aus (S107).
  • Die beispielhafte Ausführungsform ist wie vorstehend beschrieben aufgebaut. In dieser Straßenoberflächenerfassungsvorrichtung 1 wird potenziellen Straßenoberflächenpunkten, die auf der Seite in der Nähe des Fahrwegs K positioniert sind, ein größeres Gewicht verliehen als potenziellen Straßenoberflächenpunkten, die auf der vom Fahrweg K entfernten Seite positioniert sind. Hier wird angenommen, dass der Bereich um den Fahrweg K, auf dem das Fahrzeug fahren wird, eine Straße ist. Außerdem wird angenommen, dass es sehr wahrscheinlich ist, dass der vom Fahrweg K entfernte Bereich keine Straße ist. Daher ist die Straßenoberflächenerfassungsvorrichtung 1 dazu fähig, zu verhindern, dass potenzielle Straßenoberflächenpunkte, die auf der vom Fahrweg K entfernten Seite positioniert sind, eine Erfassung des Straßenoberflächenbereichs beeinflussen, indem die potenziellen Straßenoberflächenpunkte, die auf der Seite in der Nähe des Fahrwegs K positioniert sind, höher gewichtet werden. Daher ist die Straßenoberflächenerfassungsvorrichtung 1 dazu fähig, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen.
  • (Modifiziertes Beispiel der ersten beispielhaften Ausführungsform)
  • Als Nächstes wird ein modifiziertes Beispiel der ersten beispielhaften Ausführungsform beschrieben. In diesem modifizierten Beispiel muss der Gewichtungsabschnitt 23B wie in 1 gezeigt die potenziellen Straßenoberflächenpunkte nicht wie vorstehend beschrieben gewichten, wenn eine Größe der Änderung einer Fahrspurkrümmung, auf der das Fahrzeug V fährt, pro Zeiteinheit groß ist. Genauer gesagt legt der Wegabschätzungsabschnitt 22 den Fahrweg fest und schätzt die Fahrspurkrümmung des Fahrzeugs V auf der Grundlage des Fahrwegs ab. Beispielsweise kann der Wegabschätzungsabschnitt 22 die Krümmung des abgeschätzten Fahrwegs als die Krümmung der befahrenen Spur abschätzen.
  • Der Gewichtungsabschnitt 23B bestimmt, ob die Größe der Änderung der Fahrspurkrümmung pro Zeiteinheit, die vom Wegabschätzungsabschnitt 22 abgeschätzt wird, größer als eine vorab festgelegte Referenzänderungsgröße ist. Wenn die Größe der Änderung der Krümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist, wird ein Vorgang nicht durchgeführt, der potenziellen Straßenoberflächenpunkten, die auf der vom Fahrweg entfernten Seite positioniert sind, weniger Gewicht als den potenziellen Straßenoberflächenpunkten verleiht, die auf der Seite in der Nähe des Fahrwegs positioniert sind, der vom Wegabschätzungsabschnitt 22 im aufgenommenen Bild abgeschätzt wird.
  • Wenn beispielsweise die Größe der Änderung der abgeschätzten Fahrspurkrümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist, fluktuiert die Form der Straße so stark, dass die Straßenform, die dem abgeschätzten Fahrweg folgt, dazu neigen wird, nicht zur tatsächlichen Straßenform zu passen. Beispielsweise kann eine Situation, in der die Größe der Änderung der Krümmung der befahrenen Spur groß ist, eine Situation sein, in der die Straßenform sich von gerade auf gekrümmt ändert, oder eine Situation, in der sich die Straßenform von gekrümmt auf gerade ändert, oder dergleichen. Daher ermöglicht das Nicht-Gewichten der potenziellen Straßenoberflächenpunkte auf der Grundlage des Abstands vom Fahrweg, wenn die Größe der Änderung der abgeschätzten Fahrspurkrümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist, zu verhindern, dass die Gewichtung von potenziellen Straßenoberflächenpunkten steigt, die zu einem Bereich gehören, der nicht der Straßenoberflächenbereich ist.
  • (Zweite beispielhafte Ausführungsform)
  • Als Nächstes wird eine zweite beispielhafte Ausführungsform der Erfindung beschrieben. 6 ist eine Ansicht, die schematisch den Aufbau einer Straßenoberflächenerfassungsvorrichtung nach dieser zweiten beispielhaften Ausführungsform zeigt. Wie in 6 gezeigt weist eine Straßenoberflächenerfassungsvorrichtung 1A nach dieser beispielhaften Ausführungsform einen Gewichtungsabschnitt 123B anstelle des Gewichtungsabschnitts 23B der Straßenoberflächenerfassungsvorrichtung 1 nach der ersten beispielhaften Ausführungsform auf. In der Straßenoberflächenerfassungsvorrichtung 1 A sind die bildenden Elemente außer dem Gewichtungsabschnitt 123B dieselben wie die bildenden Elemente der Straßenoberflächenerfassungsvorrichtung 1 nach der ersten beispielhaften Ausführungsform. Folglich werden die anderen bildenden Elemente durch dieselben Bezugszeichen bezeichnet und eine genaue Erläuterung der anderen bildenden Elemente wird weggelassen.
  • Der Erfassungsabschnitt 23 umfasst den Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte, den Gewichtungsabschnitt 123B und den Stra-ßenoberflächenerfassungsabschnitt 23C. Der Gewichtungsabschnitt 123B gewichtet die potenziellen Straßenoberflächenpunkte, die vom Abschnitt 23A zum Abschätzen der potenziellen Straßenoberflächenpunkte abgeschätzt werden. Der Gewichtungsabschnitt 123B verleiht den potenziellen Straßenoberflächenpunkten, die außerhalb eines vorab festgelegten Bereichs positioniert sind, der vorab aus einem Fahrweg bestimmt wird, der vom Wegabschätzungsabschnitt 22 im aufgenommenen Bild abgeschätzt wird, geringeres Gewicht als potenziellen Straßenoberflächenpunkten, die innerhalb des vorab festgelegten Bereichs positioniert sind.
  • Hier verwendet der Gewichtungsabschnitt 123B einen Fahrbereich, der ein Bereich einer Straße ist, auf der das Fahrzeug V fährt, als den vorab festgelegten Bereich. Der Gewichtungsabschnitt 123B legt den Fahrbereich auf der Grundlage eines Fahrwegs fest, den der Wegabschätzungsabschnitt 22 abschätzt. Beispielsweise legt der Gewichtungsabschnitt 123B den Fahrbereich in Japan unter Annahme einer Straße mit einer Spur auf jeder Seite fest (das bedeutet, nimmt eine Straße an, auf der es jeweils eine Spur (also eine befahrene Spur R), auf der das Fahrzeug V fährt, und eine Spur (also eine entgegenkommende Spur R2) gibt, auf der ein entgegenkommendes Fahrzeug fährt). Genauer gesagt legt der Gewichtungsabschnitt 123B wie beispielhaft in 7 gezeigt eine Grenzlinie T1 an einer Position 2,5 Meter links vom Fahrweg K, vom Fahrzeug V aus gesehen, fest. Der Gewichtungsabschnitt 123B legt eine Grenzlinie T2 an einer Position 4,5 Meter rechts vom Fahrweg K fest. Die Position 2,5 Meter links vom Fahrweg K ist eine Position 2,5 Meter links in der horizontalen Richtung vom tatsächlichen Fahrweg K. Die Position 4,5 Meter rechts vom Fahrweg K ist eine Position 4,5 Meter rechts in der horizontalen Richtung vom tatsächlichen Fahrweg K. Der Gewichtungsabschnitt 123B projiziert diese Grenzlinien T1 und T2, die an Positionen in vorab festgelegten Abständen weg vom tatsächlichen Fahrweg K eingestellt sind, auf das von der Stereokamera 3 aufgenommene Bild. Der Gewichtungsabschnitt 123B ist dazu fähig, den Bereich zwischen der Grenzlinie T1 und der Grenzlinie T2, die auf das aufgenommene Bild projiziert werden, als einen Fahrbereich T einzustellen. Der Fahrbereich T ist nicht darauf beschränkt, in der horizontalen Richtung mit Bezug auf den Fahrweg K versetzt zu sein. Der Fahrbereich T ist nicht darauf beschränkt, unter Annahme einer Straße festgelegt zu sein, die eine Spur auf jeder Seite aufweist.
  • Der Gewichtungsabschnitt 123B verleiht einem potenziellen Straßenoberflächenpunkt außerhalb des Fahrbereichs T ein geringeres Gewicht als einem potenziellen Straßenoberflächenpunkt, der im aufgenommenen Bild innerhalb des Fahrbereichs T positioniert ist. Beispielsweise kann der Gewichtungsabschnitt 123B in dem in 7 gezeigten Beispiel einen potenziellen Straßenoberflächenpunkt A, der außerhalb des Fahrbereichs T positioniert ist, eine Gewichtung von „1“ verleihen, und einem potenziellen Straßenoberflächenpunkt B, der innerhalb des Fahrbereichs T positioniert ist, eine Gewichtung von „2“ verleihen. Auf diese Weise legt der Gewichtungsabschnitt 123B die Gewichtung eines potenziellen Straßenoberflächenpunkts, der als die Straßenoberfläche abgeschätzt wird, basierend darauf fest, ob der potenzielle Straßenoberflächenpunkt innerhalb des Fahrbereichs T oder außerhalb des Fahrbereichs T positioniert ist. Der Abschnitt 23C zur Erfassung der Straßenoberfläche erfasst den Straßenoberflächenbereich im aufgenommenen Bild ähnlich wie in der ersten beispielhaften Ausführungsform auf der Grundlage der potenziellen Straßenoberflächenpunkte, die von dem Gewichtungsabschnitt 123B gewichtet wurden,.
  • Als Nächstes wird der Fluss eines Straßenoberflächenbereichserfassungsprogramms, das von der Straßenoberflächenerfassungsvorrichtung 1A durchgeführt wird, mit Bezug auf den in 8 gezeigten Ablaufplan beschrieben. Das Programm in dem in 8 gezeigten Ablaufplan wird in vorab festgelegten Zeitintervallen ausgeführt, während das Fahrzeug V durch eine Maschine angetrieben wird. Der Bildaufnahmeabschnitt 21 erhält das aufgenommene Bild, das von der Stereokamera 3 aufgenommen wurde (S201). Der Bildaufnahmeabschnitt 21 erzeugt ein Ungleichheitsbild auf der Grundlage des erhaltenen aufgenommenen Bildes (S202). Der Abschnitt 23A zum Abschätzen potenzieller Straßenoberflächenpunkte schätzt die potenziellen Straßenoberflächenpunkte auf der Grundlage des erzeugten Ungleichheitsbildes ab (S203).
  • Der Wegabschätzungsabschnitt 22 schätzt den Fahrweg des Fahrzeugs V auf der Grundlage der Erfassungsergebnisse des Innensensors 4 ab (S204). Der Gewichtungsabschnitt 123B legt den Fahrbereich auf der Grundlage des Fahrwegs fest (S205). Der Gewichtungsabschnitt 123B gewichtet die potenziellen Straßenoberflächenpunkte auf der Grundlage dessen, ob die potenziellen Straßenoberflächenpunkte innerhalb oder außerhalb des Fahrbereichs T positioniert sind (S206). Der Abschnitt 23C zur Erfassung der Straßenoberfläche erfasst den Straßenoberflächenbereich beispielsweise auf der Grundlage der Ungleichheit der potenziellen Straßenoberflächenpunkte unter Verwendung eines bekannten V-Ungleichheitsbilds oder dergleichen (S207). Der Abschnitt 24 zur Ausgabe der Straßenoberflächeninformation gibt die Information über den Straßenoberflächenbereich, der von dem Erfassungsabschnitt 23 erfasst wird, an eine externe Vorrichtung aus (S208).
  • Die beispielhafte Ausführungsform ist wie vorstehend beschrieben aufgebaut. In dieser Straßenoberflächenerfassungsvorrichtung 1 A wird potenziellen Straßenoberflächenpunkten, die innerhalb des Fahrbereichs T positioniert sind, eine stärkere Gewichtung verliehen als es potenziellen Straßenoberflächenpunkten verliehen wird, die außerhalb des Fahrbereichs T positioniert sind. Hier wird angenommen, dass der Bereich um den Fahrweg K, auf dem das Fahrzeug fahren wird, eine Straße ist. Außerdem wird angenommen, dass es sehr wahrscheinlich ist, dass der vom Fahrweg K entfernte Bereich keine Straße ist. Daher ist die Straßenoberflächenerfassungsvorrichtung 1A dazu fähig, zu verhindern, dass potenzielle Straßenoberflächenpunkte, die außerhalb des Fahrbereichs T positioniert sind, eine Erfassung des Straßenoberflächenbereichs beeinflussen, indem sie die potenziellen Straßenoberflächenpunkte stärker gewichtet, die innerhalb des Fahrbereichs T positioniert sind, der auf der Grundlage des Fahrwegs K festgelegt ist. Daher ist die Straßenoberflächenerfassungsvorrichtung 1A dazu fähig, die Genauigkeit der Erfassung des Straßenoberflächenbereichs zu erhöhen.
  • (Modifiziertes Beispiel einer zweiten beispielhaften Ausführungsform)
  • Als Nächstes wird ein modifiziertes Beispiel der zweiten beispielhaften Ausführungsform beschrieben. In diesem modifizierten Beispiel muss der Gewichtungsabschnitt 123B wie in 6 gezeigt die vorstehend beschriebenen potenziellen Straßenoberflächenpunkte nicht gewichten, wenn eine Änderungsgröße der Fahrspurkrümmung, auf der das Fahrzeug V fährt, pro Zeiteinheit groß ist. Genauer gesagt legt der Wegabschätzungsabschnitt 22 den Fahrweg fest und schätzt die Krümmung der befahrenen Spur des Fahrzeugs V auf der Grundlage des Fahrwegs ab. Beispielsweise kann der Wegabschätzungsabschnitt 22 die Krümmung des abgeschätzten Fahrwegs als die Fahrspurkrümmung abschätzen.
  • Der Gewichtungsabschnitt 123B bestimmt, ob die Größe der Änderung der Fahrspurkrümmung pro Zeiteinheit, die vom Wegabschätzungsabschnitt 22 abgeschätzt wird, größer als eine vorab festgelegte Referenzgröße der Änderung ist. Wenn die Grö-ße der Änderung der Fahrspurkrümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist, wird ein Vorgang nicht durchgeführt, der potenziellen Straßenoberflächenpunkten, die außerhalb des Fahrbereichs T im aufgenommenen Bild positioniert sind, weniger Gewicht als potenziellen Straßenoberflächenpunkten verleiht, die innerhalb des Fahrbereichs T positioniert sind. Das heißt, dass ein Vorgang verhindert wird, der den potenziellen Straßenoberflächenpunkten, die außerhalb des Fahrbereichs T im aufgenommenen Bild positioniert sind, ein geringeres Gewicht als den potenziellen Straßenoberflächenpunkten verleiht, die innerhalb des Fahrbereichs T im aufgenommenen Bild positioniert sind, wenn die Größe der Krümmungsänderung pro Zeiteinheit größer als die Referenzgröße der Änderung ist.
  • Beispielsweise fluktuiert die Form der Straße stark, sodass die Straßenform, die dem abgeschätzten Fahrweg folgt, dazu neigen wird, nicht zur tatsächlichen Straßenform zu passen, wenn die Größe der Änderung der abgeschätzten Fahrspurkrümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist. Daher ermöglicht das Nicht-Gewichten der potenziellen Straßenoberflächenpunkte auf der Grundlage dessen, ob die potenziellen Straßenoberflächenpunkte innerhalb des Fahrbereichs T oder außerhalb des Fahrbereichs T positioniert sind, wenn die Größe der Änderung der abgeschätzten Fahrspurkrümmung pro Zeiteinheit größer als die Referenzgröße der Änderung ist, zu verhindern, dass das Gewicht potenzieller Straßenoberflächenpunkte steigt, die zu einem Bereich gehören, der nicht der Straßenoberflächenbereich ist.
  • Während beispielhafte Ausführungsformen der Erfindung und modifizierte Beispiele derselben beschrieben wurden, ist die Erfindung nicht auf diese beispielhaften Ausführungsformen und modifizierte Beispiele beschränkt. Beispielsweise kann der Wegabschätzungsabschnitt 22 in den beispielhaften Ausführungsformen und modifizierten Beispielen den Fahrweg, auf dem das Fahrzeug V fahren wird, auf der Grundlage des aufgenommenen Bilds der Stereokamera 3 abschätzen. Beispielsweise berechnet der Wegabschätzungsabschnitt 22 einen optischen Fluss eines Objekts im aufgenommenen Bild aus dem aufgenommenen Bild (eine Fahrzeugfahrinformation) von der Stereokamera 3. Dann schätzt der Wegabschätzungsabschnitt 22 die Richtung der Fahrt des Fahrzeugs V auf der Grundlage des berechneten optischen Flusses ab. Der Wegabschätzungsabschnitt 22 kann auch den Fahrweg des Fahrzeugs V auf der Grundlage der abgeschätzten Fahrtrichtung abschätzen.
  • Zusammenfassend leistet die Erfindung Folgendes: Eine Straßenoberflächenerfassungsvorrichtung, die einen Straßenoberflächenbereich auf der Grundlage einer Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug V erhalten wird, der durch eine Onboard-Kamera 3 aufgenommen wird, umfasst einen Wegabschätzungsabschnitt 22, der einen Fahrweg, auf dem das Fahrzeug V fahren wird, auf der Grundlage von Fahrinformationen des Fahrzeugs V abschätzt; und einen Erfassungsabschnitt 23, der die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst, wobei der Erfassungsabschnitt 23 beim Gewichten der Ungleichheitsinformation durch den Erfassungsabschnitt 23 der Ungleichheitsinformation, die auf einer vom Fahrweg entfernten Seite im aufgenommenen Bild positioniert ist, ein geringeres Gewicht verleiht als der Ungleichheitsinformation, die auf einer Seite in der Nähe des Fahrwegs in dem aufgenommenen Bild positioniert ist.

Claims (5)

  1. Straßenoberflächenerfassungsvorrichtung, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug (V) erhalten wird, der durch eine Onboard-Kamera (3) aufgenommen wird, wobei die Straßenoberflächenerfassungsvorrichtung Folgendes umfasst: einen Wegabschätzungsabschnitt (22), der auf der Grundlage von Fahrinformation des Fahrzeugs (V) einen Fahrweg abschätzt, auf welchem das Fahrzeug (V) fahren wird; und einen Erfassungsabschnitt (23), dadurch gekennzeichnet, dass der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich in dem aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst, und dass der Erfassungsabschnitt (23) der Ungleichheitsinformation, die auf einer vom Fahrweg entfernten Seite im aufgenommenen Bild positioniert ist, eine geringere Gewichtung verleiht als der Ungleichheitsinformation, die auf einer Seite in der Nähe des Fahrwegs im aufgenommenen Bild positioniert ist, wenn der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet.
  2. Straßenoberflächenerfassungsvorrichtung nach Anspruch 1, wobei der Wegabschätzungsabschnitt (22) den Fahrweg abschätzt und eine Krümmung einer Fahrspur des Fahrzeugs (V) auf der Grundlage des Fahrwegs abschätzt; und wenn eine Größe einer Krümmungsänderung pro Zeiteinheit, die vom Wegabschätzungsabschnitt (22) abgeschätzt wird, größer als eine vorab festgelegte Referenzgröße der Änderung ist, verhindert der Erfassungsabschnitt (23) einen Vorgang, der der Ungleichheitsinformation, die auf der Seite weg vom Fahrweg im aufgenommenen Bild positioniert ist, eine geringere Gewichtung als der Ungleichheitsinformation verleiht, die im aufgenommenen Bild auf der Seite in der Nähe des Fahrwegs positioniert ist.
  3. Straßenoberflächenerfassungsvorrichtung, die einen Straßenoberflächenbereich auf der Grundlage von Ungleichheitsinformation erfasst, die von einem aufgenommenen Bild eines Bereichs um ein Fahrzeug (V) erhalten wird, das durch eine Onboard-Kamera aufgenommen ist, wobei die Straßenoberflächenerfassungsvorrichtung Folgendes umfasst: einen Wegabschätzungsabschnitt (22), der einen Fahrweg auf der Grundlage von Fahrinformation des Fahrzeugs (V) abschätzt, auf dem das Fahrzeug (V) fahren wird; und einen Erfassungsabschnitt (23), dadurch gekennzeichnet, dass der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet und einen Straßenoberflächenbereich im aufgenommenen Bild auf der Grundlage der gewichteten Ungleichheitsinformation erfasst, und dass der Erfassungsabschnitt (23) der Ungleichheitsinformation, die außerhalb eines vorab festgelegten Bereichs positioniert ist, der vorab aus dem Fahrweg im aufgenommenen Bild bestimmt wird, ein geringeres Gewicht verleiht als der Ungleichheitsinformation, die innerhalb des vorab festgelegten Bereichs positioniert ist, wenn der Erfassungsabschnitt (23) die Ungleichheitsinformation gewichtet.
  4. Straßenoberflächenerfassungsvorrichtung nach Anspruch 3, wobei der Wegabschätzungsabschnitt (22) den Fahrweg abschätzt, und eine Krümmung einer Fahrspur des Fahrzeugs auf der Grundlage des Fahrwegs abschätzt; und wenn eine Größe der Krümmungsänderung pro Zeiteinheit, die der Wegabschätzungsabschnitt (22) abschätzt, größer als eine vorab festgelegte Referenzgröße der Änderung ist, der Erfassungsabschnitt (23) einen Vorgang verhindert, der der Ungleichheitsinformation, die außerhalb des vorab festgelegten Bereichs positioniert ist, der vorab aus dem Fahrweg im aufgenommenen Bild bestimmt wird, eine geringere Gewichtung als der Ungleichheitsinformation verleiht, die innerhalb des vorab festgelegten Bereichs positioniert ist.
  5. Straßenoberflächenerfassungssystem, das Folgendes umfasst: eine Stereokamera, die an einem Fahrzeug montiert ist und ein Bild eines Bereichs um das Fahrzeug aufnimmt; und eine ECU, dadurch gekennzeichnet, dass die ECU die Punkte einer potenziellen Straßenoberfläche abschätzt, die eine potenzielle Straßenoberfläche in dem Bild bilden, das die Stereokamera aufgenommen hat, und einen Straßenoberflächenbereich in dem Bild auf der Grundlage der potenziellen Straßenoberflächenpunkte erfasst und eine Information über den Straßenoberflächenbereich ausgibt, wobei die ECU einen Fahrweg abschätzt, auf dem das Fahrzeug fahren wird, und den Fahrweg mit Pixeln des Bilds verknüpft, das von der Stereokamera aufgenommen wurde; dass die ECU die potenziellen Straßenoberflächenpunkte derart gewichtet, dass das Gewicht größer ist, wenn der Abstand zwischen dem Fahrweg und dem potenziellen Straßenoberflächenpunkt in dem Bild klein ist, als dann, wenn der Abstand zwischen dem Fahrweg und dem potenziellen Straßenoberflächenpunkt im Bild groß ist; und dass die ECU auf der Grundlage der Gewichtung, die dem potenziellen Straßenoberflächenpunkt verliehen wurde, bestimmt, dass der potenzielle Straßenoberflächenpunkt der Straßenoberflächenbereich ist.
DE102016206117.8A 2015-04-17 2016-04-13 Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem Active DE102016206117B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015084916A JP6350374B2 (ja) 2015-04-17 2015-04-17 路面検出装置
JP2015-084916 2015-04-17

Publications (2)

Publication Number Publication Date
DE102016206117A1 DE102016206117A1 (de) 2016-10-20
DE102016206117B4 true DE102016206117B4 (de) 2024-02-22

Family

ID=57043536

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016206117.8A Active DE102016206117B4 (de) 2015-04-17 2016-04-13 Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem

Country Status (4)

Country Link
US (1) US9912933B2 (de)
JP (1) JP6350374B2 (de)
CN (1) CN106056571B (de)
DE (1) DE102016206117B4 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6678605B2 (ja) 2017-01-11 2020-04-08 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
WO2019006189A1 (en) 2017-06-29 2019-01-03 Open Space Labs, Inc. AUTOMATED SPACE INDEXING OF IMAGES BASED ON MASS PLAN CHARACTERISTICS
JP6936098B2 (ja) 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
JP6985089B2 (ja) 2017-09-29 2021-12-22 トヨタ自動車株式会社 立体物接地判定装置
JP6849569B2 (ja) * 2017-09-29 2021-03-24 トヨタ自動車株式会社 路面検出装置
JP6863476B2 (ja) * 2017-12-07 2021-04-21 日産自動車株式会社 路面状態判定方法及び路面状態判定装置
JP6741646B2 (ja) 2017-12-25 2020-08-19 株式会社Subaru 車外環境認識装置
EP3881163A4 (de) 2018-11-12 2022-08-03 Open Space Labs, Inc. Automatische räumliche indexierung von bildern zu video
CN110930731A (zh) * 2019-10-08 2020-03-27 南京理工大学 智能交通卡及基于该智能交通卡的路面检测系统
US11436812B2 (en) 2020-05-29 2022-09-06 Open Space Labs, Inc. Machine learning based object identification using scaled diagram and three-dimensional model
EP3923241B1 (de) * 2020-06-09 2022-04-06 Axis AB Ausrichtung von digitalen bildern
CN112082628B (zh) * 2020-09-11 2021-12-14 锐马(福建)电气制造有限公司 一种家畜养殖物联网数据采集系统
EP4357813A1 (de) * 2022-10-21 2024-04-24 Magna Electronics Sweden AB Zur bereitstellung einer geschätzten fahrspur angeordnetes fahrzeugradarsystem

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10218924A1 (de) 2002-04-27 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Kursprädiktion bei Kraftfahrzeugen
DE60126382T2 (de) 2000-06-28 2007-05-24 Matsushita Electric Industrial Co. Ltd. Verfahren und Gerät zur Erkennung von Gegenständen
US20070255480A1 (en) 2006-04-21 2007-11-01 Southall John B Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
WO2014017626A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
US20140071240A1 (en) 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7629899B2 (en) * 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
JP2001250199A (ja) * 2000-03-07 2001-09-14 Toyota Central Res & Dev Lab Inc 走行コース推定装置
DE10201523A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1779295A4 (de) * 2004-07-26 2012-07-04 Automotive Systems Lab Schutzsystem für gefährdete strassenbenutzer
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
JP2006273000A (ja) * 2005-03-28 2006-10-12 Advics:Kk 車両用走行支援装置
WO2008024639A2 (en) * 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
JP4695566B2 (ja) * 2006-08-31 2011-06-08 富士重工業株式会社 車線逸脱判定装置および車線逸脱回避システム
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
CN103185571B (zh) * 2011-12-30 2015-04-01 财团法人车辆研究测试中心 可行驶空间的检测系统及其检测方法
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
EP2669845A3 (de) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Zielerkennungssystem, vom Zielerkennungssystem durchgeführtes Zielerkennungsverfahren, auf dem Zielerkennungssystem ausgeführtes Zielerkennungsprogramm und Aufzeichnungsmedium mit darauf gespeichertem Zielerkennungsprogramm
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
EP2778007B1 (de) * 2013-03-12 2022-09-07 INRIA - Institut National de Recherche en Informatique et en Automatique Verfahren und System zur Beurteilung von anormalem Fahrverhalten von Fahrzeugen auf einer Straße
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
KR101526385B1 (ko) * 2013-09-26 2015-06-11 현대자동차 주식회사 단기 운전 성향 판정 방법 및 이를 이용한 변속 제어 장치
KR101534958B1 (ko) * 2013-12-09 2015-07-07 현대자동차주식회사 차량의 자동 조향 제어 장치 및 방법
US10099724B2 (en) * 2014-01-21 2018-10-16 Continental Automotive Systems, Inc. Road departure protection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60126382T2 (de) 2000-06-28 2007-05-24 Matsushita Electric Industrial Co. Ltd. Verfahren und Gerät zur Erkennung von Gegenständen
DE10218924A1 (de) 2002-04-27 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Kursprädiktion bei Kraftfahrzeugen
US20070255480A1 (en) 2006-04-21 2007-11-01 Southall John B Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
WO2014017626A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
US20140071240A1 (en) 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision

Also Published As

Publication number Publication date
CN106056571A (zh) 2016-10-26
DE102016206117A1 (de) 2016-10-20
JP6350374B2 (ja) 2018-07-04
US9912933B2 (en) 2018-03-06
CN106056571B (zh) 2018-09-07
US20160305785A1 (en) 2016-10-20
JP2016206776A (ja) 2016-12-08

Similar Documents

Publication Publication Date Title
DE102016206117B4 (de) Strassenoberflächenerfassungsvorrichtung und strassenoberflächenerfassungssystem
DE102014005688B4 (de) Spurenschätzvorrichtung und verfahren
DE102015116268B4 (de) Spurbegrenzungslinieninformationserlangungsvorrichtung
DE102005009814B4 (de) Fahrzeugzustands-Erfassungssystem und -verfahren
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE102008030555B4 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
DE102015107390B4 (de) Verfahren und Vorrichtung zum automatischen Kalibrieren von Rundumsichtsystemen
DE112012003040T5 (de) Fahrspurerkennungsvorrichtung
DE102013211930A1 (de) Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten
DE102007032544A1 (de) Bewegungszustandsermittlungsvorrichtung
DE102012112724A1 (de) Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102012219834A1 (de) Spurverfolgungssystem
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102018124033B4 (de) Bodenkontaktbestimmungsvorrichtung für ein dreidimensionales Objekt
DE102012107885A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE112016000423T5 (de) Abschnittslinienerkennungsvorrichtung
DE112017004639T5 (de) Haltungsschätzvorrichtung
DE102016201304A1 (de) Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug
DE102013012930A1 (de) Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
DE102017206625A1 (de) Verfahren und Vorrichtung zur Fahrwerksvermessung
EP3788400A1 (de) VERFAHREN UND VORRICHTUNG ZUM ERKENNEN EINES STRAßENZUSTANDS
DE112009005352T5 (de) Distanzmessvorrichtung und Distanzmessverfahren
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division