DE112019006045T5 - Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm - Google Patents

Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm Download PDF

Info

Publication number
DE112019006045T5
DE112019006045T5 DE112019006045.7T DE112019006045T DE112019006045T5 DE 112019006045 T5 DE112019006045 T5 DE 112019006045T5 DE 112019006045 T DE112019006045 T DE 112019006045T DE 112019006045 T5 DE112019006045 T5 DE 112019006045T5
Authority
DE
Germany
Prior art keywords
road surface
dimensional model
vehicle
stereo camera
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019006045.7T
Other languages
English (en)
Inventor
Atsuto OGINO
Kaisei Hashimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Publication of DE112019006045T5 publication Critical patent/DE112019006045T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • G01C7/04Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Eine Fahrbahnoberflächendetektionsvorrichtung gemäß einem Ausführungsbeispiel umfasst eine Bilderfassungseinheit, die aufgenommene Bilddaten erfasst, die von einer Stereokamera ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf der ein Fahrzeug fährt, eine Dreidimensionales-Modell-Erzeugungseinheit, die ein dreidimensionales Modell des Bildgebungsbereichs, das eine Oberflächenform der Fahrbahnoberfläche aus einer Perspektive der Stereokamera umfasst, basierend auf den aufgenommenen Bilddaten erzeugt, und eine Korrektureinheit, die eine Ebene aus dem dreidimensionalen Modell schätzt und das dreidimensionale Modell korrigiert, um eine Orientierung eines Normalenvektors der Ebene mit einem korrekten Wert einer Orientierung eines Normalenvektors der Fahrbahnoberfläche und eine Höhenposition der Ebene mit Bezug auf die Stereokamera mit einem korrekten Wert einer Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.

Description

  • Technisches Gebiet
  • Ausführungsbeispiele der vorliegenden Erfindung beziehen sich auf eine Fahrbahnoberflächendetektionsvorrichtung und ein Fah rba h noberflächendetektionsprog ram m.
  • Hintergrundtechnik
  • Herkömmlich war eine Technik zum Detektieren eines Zustands einer Fahrbahnoberfläche, wie etwa einer Höhenposition der Fahrbahnoberfläche in Bezug auf eine Bildgebungseinheit, basierend auf aufgenommen Bilddaten bekannt, die von der Bildgebungseinheit, wie etwa einer Stereokamera, ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf dem ein Fahrzeug fährt.
  • Literaturverzeichnis
  • Patentliteratur
  • Patentdruckschrift 1: Japanisches Patent Nr. 6209648
  • Kurzfassung der Erfindung
  • Durch die Erfindung zu lösendes Problem
  • Bei der herkömmlichen Technik, wie sie vorstehend beschrieben ist, wird ein Wackeln der Bildgebungseinheit aufgrund eines Wackelns des Fahrzeugs nicht berücksichtigt. Wenn die Bildgebungseinheit wackelt, wird eine Fahrbahnoberfläche, die eigentlich eben ist, auf den aufgenommenen Bilddaten als eine Fahrbahnoberfläche mit Unebenheit detektiert, und kann sich somit die Detektionsgenauigkeit der Fahrbahnoberfläche verschlechtern.
  • Mittel zur Lösung des Problems
  • Eine Fahrbahnoberflächendetektionsvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung umfasst eine Bilderfassungseinheit, die aufgenommene Bilddaten erfasst, die von einer Stereokamera ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf dem ein Fahrzeug fährt, eine Dreidimensionales-Modell-Erzeugungseinheit, die ein dreidimensionales Modell des Bildgebungsbereichs, das eine Oberflächenform der Fahrbahnoberfläche aus einer Perspektive bzw. Sicht der Stereokamera umfasst, basierend auf den aufgenommenen Bilddaten erzeugt, und eine Korrektureinheit, die eine Ebene aus dem dreidimensionalen Modell schätzt und das dreidimensionale Modell korrigiert, um eine Orientierung eines Normalenvektors der Ebene mit einem korrekten Wert einer Orientierung eines Normalenvektors der Fahrbahnoberfläche und eine Höhenposition der Ebene mit Bezug auf die Stereokamera mit einem korrekten Wert einer Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
  • Daher kann beispielsweise eine Verschlechterung der Detektionsgenauigkeit der Fahrbahnoberfläche unterbunden bzw. niedergehalten werden.
  • Die Korrektureinheit gleicht ferner die Orientierung des Normalenvektors der Ebene mit dem korrekten Wert der Orientierung des Normalenvektors der Fahrbahnoberfläche ab und korrigiert dann das gesamte dreidimensionale Modell, um die Höhenposition der Ebene mit Bezug auf die Stereokamera mit dem korrekten Wert der Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
  • Daher kann beispielsweise die Korrektur einfach/leicht ausgeführt werden.
  • Die Korrektureinheit erfasst ferner den korrekten Wert der Orientierung des Normalenvektors der Fahrbahnoberfläche und den korrekten Wert der Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera basierend auf Werten, die während einer Kalibrierung der Stereokamera bestimmt werden.
  • Daher können beispielsweise die korrekten Werte einfach/leicht erhalten werden.
  • Ein Fahrbahnoberflächendetektionsprogramm gemäß dem Ausführungsbeispiel der vorliegenden Erfindung veranlasst einen Computer zum Ausführen von einem Bilderfassungsschritt zum Erfassen bzw. des Erfassens von aufgenommenen Bilddaten, die von einer Stereokamera ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf der ein Fahrzeug fährt, einem Dreidimensionales-Modell-Erzeugungsschritt zum Erzeugen bzw. des Erzeugens eines dreidimensionalen Modells des Bildgebungsbereichs, das eine Oberflächenform der Fahrbahnoberfläche aus einer Perspektive bzw. Sicht der Stereokamera umfasst, basierend auf den aufgenommenen Bilddaten, und einem Korrekturschritt zum Schätzen bzw. des Schätzens einer Ebene aus dem dreidimensionalen Modell und zum Korrigieren bzw. des Korrigierens des dreidimensionalen Modells, um eine Orientierung eines Normalenvektors der Ebene mit einem korrekten Wert einer Orientierung eines Normalenvektors der Fahrbahnoberfläche und eine Höhenposition der Ebene mit Bezug auf die Stereokamera mit einem korrekten Wert einer Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
  • Daher kann beispielsweise eine Verschlechterung der Detektionsgenauigkeit der Fahrbahnoberfläche unterbunden bzw. niedergehalten werden.
  • Figurenliste
    • 1 ist eine Perspektivansicht, die ein Beispiel eines Zustands veranschaulicht, in dem durch einen Teil eines Fahrzeuginnenraums eines Fahrzeugs durchzusehen ist, das mit einer Fahrbahnoberflächendetektionsvorrichtung gemäß einem Ausführungsbeispiel ausgestattet ist;
    • 2 ist eine Draufsicht, die ein Beispiel des Fahrzeugs veranschaulicht, das mit der Fahrbahnoberflächendetektionsvorrichtung gemäß dem Ausführungsbeispiel ausgestattet ist;
    • 3 ist ein Blockschaltbild, das ein Beispiel einer Konfiguration einer elektronischen Steuereinheit (ECU) und einer peripheren Konfiguration der ECU gemäß dem Ausführungsbeispiel veranschaulicht;
    • 4 ist eine Darstellung, die eine Softwarekonfiguration veranschaulicht, die durch die ECU gemäß dem Ausführungsbeispiel realisiert wird;
    • 5 ist eine Darstellung, die einen Überblick einer Fahrbahnoberflächendetektionsfunktion der ECU gemäß dem Ausführungsbeispiel veranschaulicht;
    • 6 ist eine Darstellung, die Einzelheiten der Fahrbahnoberflächendetektionsfunktion der ECU gemäß dem Ausführungsbeispiel veranschaulicht;
    • 7 ist eine Darstellung, die Einzelheiten der Fahrbahnoberflächendetektionsfunktion der ECU gemäß dem Ausführungsbeispiel veranschaulicht;
    • 8 ist eine Darstellung, die Einzelheiten der Fahrbahnoberflächendetektionsfunktion der ECU gemäß dem Ausführungsbeispiel veranschaulicht;
    • 9 ist ein Ablaufdiagramm, das ein Beispiel von Vorgängen einer Fahrbahnoberflächendetektionsverarbeitung durch die ECU gemäß dem Ausführungsbeispiel veranschaulicht; und
    • 10 veranschaulicht ein Detektionsergebnis einer ebenen Fahrbahnoberfläche durch die ECU gemäß dem Ausführungsbeispiel und eine Konfiguration gemäß einem Vergleichsbeispiel.
  • Ausführliche Beschreibung
  • Hierin nachstehend werden beispielhafte Ausführungsbeispiele der vorliegenden Erfindung offenbart. Konfigurationen der Ausführungsbeispiele, die nachstehend aufgeführt sind, ebenso wie Aktionen bzw. Handlungen, Ergebnisse und Wirkungen, die durch die Konfigurationen produziert bzw. hervorgehoben werden, sind Beispiele. Die vorliegende Erfindung kann durch eine andere Konfiguration als die bei den folgenden Ausführungsbeispielen offenbarten Konfigurationen realisiert werden, und zumindest eine von verschiedenen Wirkungen basierend auf der grundlegenden Konfiguration und abgeleiteten bzw. sekundären Wirkungen kann erzielt werden.
  • [Ausführungsbeispiel]
  • Die Konfigurationen der Ausführungsbeispiele werden unter Bezugnahme auf 1 bis 10 geschrieben.
  • (Fahrzeugkonfiguration)
  • 1 ist eine Perspektivansicht, die ein Beispiel eines Zustands veranschaulicht, in dem durch einen Teil eines Fahrzeuginnenraums 2a eines Fahrzeug 1 durchzusehen ist, das mit einer Fahrbahnoberflächendetektionsvorrichtung gemäß einem Ausführungsbeispiel ausgestattet ist. 2 ist eine Draufsicht, die ein Beispiel des Fahrzeugs 1 veranschaulicht, das mit der Fahrbahnoberflächendetektionsvorrichtung gemäß dem Ausführungsbeispiel ausgestattet ist.
  • Das Fahrzeug 1 des Ausführungsbeispiels kann zum Beispiel ein Fahrzeug mit einer (nicht veranschaulichten) Brennkraftmaschine als Antriebsquelle, nämlich ein Verbrennungsmotorfahrzeug, oder ein Fahrzeug mit einem (nicht veranschaulichten) Elektromotor als Antriebsquelle, nämlich ein Elektrofahrzeug, ein Bremsstoffzellenfahrzeug oder dergleichen, oder ein Hybridfahrzeug, das sowohl eine Brennkraftmaschine als auch einen Elektromotor als Antriebsquellen nutzt, oder ein Fahrzeug mit einer anderen Antriebsquelle sein. Ferner kann das Fahrzeug 1 mit verschiedenen Kraftübertragungen bzw. Getrieben ausgestattet sein, und kann es mit verschiedenen Vorrichtungen ausgestattet sein, die zum Antreiben bzw. Ansteuern einer Brennkraftmaschine oder eines Elektromotors notwendig sind, wie etwa einem System oder einer Komponente. Außerdem können eine Methode bzw. Arbeitsweise, eine Anzahl, ein Layout und dergleichen von Vorrichtungen, die in/bei Antriebsrädern 3 die in dem Fahrzeug 1 involviert sind, in verschiedenen Weisen festgelegt sein.
  • Wie es in 1 veranschaulicht ist, bildet ein/eine Fahrzeugkörper/-karosserie 2 den Fahrzeuginnenraum 2a, in dem ein (nicht veranschaulichter) Insasse fährt. In dem Fahrzeuginnenraum 2a sind eine Lenkeinheit 4, eine Beschleunigungsbedieneinheit 5, eine Bremsbedieneinheit 6, eine Drehzahlwechselbedieneinheit 7 und dergleichen so bereitgestellt, dass sie einem Sitz 2b für einen Fahrer als einen Insassen zugewandt sind. Die Lenkeinheit 4 ist zum Beispiel ein Lenkrad, das von einem Armaturenbrett 24 hervorragt. Die Beschleunigungsbedieneinheit 5 ist zum Beispiel ein Beschleuniger- bzw. Fahrpedal, das sich unter dem Fuß des Fahrers befindet. Die Bremsbedieneinheit 6 ist zum Beispiel ein Bremspedal, das sich unter dem Fuß des Fahrers befindet. Die Drehzahlwechselbedieneinheit 7 ist zum Beispiel ein Schalthebel, der von einer Mittelkonsole hervorragt. Die Lenkeinheit 4, die Beschleunigungsbedieneinheit 5, die Bremsbedieneinheit 6, die Drehzahlwechselbedieneinheit 7 und dergleichen sind nicht darauf beschränkt.
  • Ferner sind in dem Fahrzeuginnenraum 2a eine Anzeigevorrichtung 8 und eine Audioausgabevorrichtung 9 bereitgestellt. Die Audioausgabevorrichtung 9 ist zum Beispiel ein Lautsprecher. Die Anzeigevorrichtung 8 ist zum Beispiel eine LCD (Flüssigkristallanzeige), eine OLED (organische Elektrolumineszenzanzeige) oder dergleichen. Die Anzeigevorrichtung 8 ist mit einer transparenten Bedienungseingabeeinheit 10, wie etwa einem Berührfeld, bedeckt bzw. überzogen. Der Insasse kann ein Bild, das auf einem Anzeigebildschirm der Anzeigevorrichtung 8 angezeigt wird, über/durch die Bedienungseingabeeinheit 10 visuell erkennen. Außerdem kann der Insasse eine Bedienungseingabe durch Berühren, Drücken oder Bewegen der Bedienungseingabeeinheit 10 mit seinen oder ihren Fingern oder dergleichen an einer Position ausführen, die dem auf dem Anzeigebildschirm der Anzeigevorrichtung 8 angezeigtem Bild entspricht. Die Anzeigevorrichtung 8, die Audioausgabevorrichtung 9, die Bedienungseingabeeinheit 10 und dergleichen sind zum Beispiel an/in einer Monitorvorrichtung 11 bereitgestellt, die sich in einer Fahrzeugbreitenrichtung, nämlich einer Links-Rechts-Richtung, in einer Mitte des Armaturenbretts 24 befindet. Die Monitorvorrichtung 11 kann (nicht veranschaulichte) Bedienungseingabeeinheiten aufweisen, wie etwa Schalter, Wähleinrichtungen, Joysticks und Druckköpfe bzw. Drucktasten. Ferner kann eine (nicht veranschaulichte) Audioausgabevorrichtung an einer anderen Position in dem Fahrzeuginnenraum 2a, die von der Monitorvorrichtung 11 verschieden ist, bereitgestellt sein. Außerdem kann Audio von der Audioausgabevorrichtung 9 der Monitorvorrichtung 11 und anderen Audioausgabevorrichtungen ausgegeben werden. Die Monitorvorrichtung 11 kann zum Beispiel auch als ein Navigationssystem oder ein Audiosystem verwendet werden.
  • Wie es in 1 und 2 veranschaulicht ist, ist das Fahrzeug 1 zum Beispiel ein Fahrzeug mit vier Rädern, und hat es zwei linke und rechte Vorderräder 3F sowie zwei linke und rechte Hinterräder 3R. Alle dieser vier Räder 3 können so konfiguriert sein, dass sie lenkbar sind.
  • Ferner ist der Fahrzeugkörper 2 zum Beispiel mit vier Bildgebungseinheiten 15a bis 15d als eine Vielzahl von Bildgebungseinheiten 15 versehen. Die Bildgebungseinheiten 15 sind zum Beispiel digitale Stereokameras, die jeweils ein Bildaufnahmeelement, wie etwa ein CCD (ladungsgekoppeltes Bauelement) oder einen CIS (CMOS-Bildsensor), enthalten. Eine Stereokamera nimmt ein Objekt gleichzeitig mit einer Vielzahl von Kameras auf und detektiert eine Position und eine dreidimensionale Form des Objekts aus einer Differenz der Position des Objekts, das durch jede Kamera erhalten wird, auf dem Bild, nämlich einer Parallaxe. Als Ergebnis können Form- bzw. Gestaltinformationen von einer Fahrbahnoberfläche und dergleichen, die in dem Bild umfasst ist, als dreidimensionale Informationen erfasst bzw. beschafft/gewonnen werden.
  • Die Bildgebungseinheiten 15 können aufgenommene Bilddaten in/mit einer vorbestimmten Rahmen- bzw. Bildrate ausgeben. Die aufgenommenen Bilddaten können Bewegtbilddaten sein. Jede der Bildgebungseinheiten 15 weist eine Weitwinkellinse oder eine Fischaugenlinse auf und kann einen Bereich von zum Beispiel 140° oder mehr und 220° oder weniger in einer horizontalen Richtung fotografieren. Ferner kann eine optische Achse der Bildgebungseinheit 15 schräg nach unten eingestellt sein. Als Ergebnis fotografiert die Bildgebungseinheit 15 sequenziell eine umliegende Umgebung außerhalb des Fahrzeugs 1, die eine Fahrbahnoberfläche und ein Objekt umfasst, auf denen sich das Fahrzeug 1 bewegen kann, und gibt sie die aufgenommenen Bilddaten aus. Hier ist das Objekt ein Stein, ein Baum, ein Mensch, ein Fahrrad, ein anderes Fahrzeug oder dergleichen, welches ein Hindernis sein kann, wenn das Fahrzeug 1 fährt.
  • Die Bildgebungseinheit 15a befindet sich zum Beispiel an einem hinteren Ende 2e des Fahrzeugkörpers 2, und ist an einer unteren Wand eines Rückfensters einer Heckklappe 2h bereitgestellt. Die Bildgebungseinheit 15b befindet sich zum Beispiel an einem rechten Ende 2f des Fahrzeugkörpers 2, und ist an einem rechten Türspiegel 2g bereitgestellt. Die Bildgebungseinheit 15c befindet sich zum Beispiel auf einer Vorderseite des Fahrzeugkörpers 2, nämlich an einem vorderen Ende 2c in einer Vorne-Hinten-Richtung des Fahrzeugs, und ist an einer vorderen Stoßstange, einem vorderen Grill bzw. Kühlergrill oder dergleichen bereitgestellt. Die Bildgebungseinheit 15d befindet sich zum Beispiel an einem linken Ende 2d des Fahrzeugkörpers 2, und ist an einem linken Türspiegel 2g bereitgestellt.
  • (ECU-Hardwarekonfiguration)
  • Als Nächstes werden eine ECU (elektronische Steuereinheit) 14 des Ausführungsbeispiels und eine periphere Konfiguration der ECU 14 unter Bezugnahme auf 3 beschrieben. 3 ist ein Blockschaltbild, das die Konfiguration der ECU 14 und eine periphere Konfiguration der ECU 14 gemäß dem Ausführungsbeispiel veranschaulicht.
  • Wie es in 3 veranschaulicht ist, sind, zusätzlich zu der ECU 14 als eine Fahrbahnoberflächendetektionsvorrichtung, die Monitorvorrichtung 11, ein Lenksystem 13, ein Bremssystem 18, ein Lenkwinkelsensor 19, ein Beschleunigersensor 20, ein Schaltungssensor 21, ein Drehzahl- bzw. Radgeschwindigkeitssensor 22 und dergleichen über ein Fahrzeugnetzwerk 23 als eine elektrische Telekommunikationsleitung elektrisch verbunden. Das Fahrzeugnetzwerk 23 ist zum Beispiel als ein CAN (Controller Area Network) konfiguriert.
  • Die ECU 14 kann das Lenksystem 13, das Bremssystem 18 und dergleichen durch Senden eines Steuersignals über das Fahrzeugnetzwerk 23 steuern. Außerdem kann die ECU 14 Detektionsergebnisse eines Drehmomentsensors 13b, eines Bremssensors 18b, des Lenkwinkelsensors 19, des Beschleunigersensors 20, des Schaltungssensors 21, des Drehzahl- bzw. Radgeschwindigkeitssensors 22 und dergleichen, sowie Bedienungssignale der Bedienungseingabeeinheit 10 und dergleichen über das Fahrzeugnetzwerk 23 empfangen.
  • Außerdem führt die ECU 14 eine arithmetische Verarbeitung und eine Bildverarbeitung basierend auf Bilddaten aus, die durch die Vielzahl von Bildgebungseinheiten 15 erhalten werden, um ein Bild mit einem weiteren/breiteren Betrachtungs- bzw. Blickwinkel zu erzeugen, und erzeugt sie ein virtuelles Überkopf- bzw. Vogelperspektivbild des Fahrzeugs 1, von oben gesehen.
  • Die ECU 14 weist zum Beispiel eine CPU (Zentralverarbeitungseinheit) 14a, einen ROM (Festwertspeicher) 14b, einen RAM (Direktzugriffsspeicher) 14c, eine Anzeigesteuereinheit 14b, eine Audiosteuereinheit 14e, ein SSD (Festkörperlaufwerk) 14f, das ein Flashspeicher ist, und dergleichen auf.
  • Die CPU 14a kann verschiedene arithmetische Verarbeitungen und Steuerungen ausführen, wie etwa eine Bildverarbeitung in Bezug auf ein Bild, das auf der Anzeigevorrichtung 8 angezeigt wird, eine Bestimmung einer Zielposition des Fahrzeugs 1, eine Berechnung eines Bewegungspfads des Fahrzeugs 1, eine Bestimmung dahingehend, ob eine Interferenz bzw. gegenseitige Beeinträchtigung mit einem Objekt besteht oder nicht, eine automatische Steuerung des Fahrzeugs 1 und eine Aufhebung einer automatischen Steuerung. Die CPU 14a kann ein Programm lesen, das in einer nichtflüchtigen Speichervorrichtung, wie etwa dem ROM 14b, installiert und gespeichert ist, und eine arithmetische Verarbeitung gemäß dem Programm ausführen. Ein solches Programm umfasst ein Fahrbahnoberflächendetektionsprogramm, das ein Computerprogramm zum Verwirklichen bzw. Realisieren einer Fahrbahnoberflächendetektionsverarbeitung in der ECU 14 ist.
  • Der RAM 14c speichert vorübergehend verschiedene Daten, die bei einer Berechnung durch die CPU 14a verwendet werden.
  • Die Anzeigesteuereinheit 14d führt, unter den arithmetischen Verarbeitungen in der ECU 14, hauptsächlich eine Bildverarbeitung aus, wobei durch die Bildgebungseinheit 15 erhaltene Bilddaten verwendet werden und Bilddaten synthetisiert werden, die durch die Anzeigevorrichtung 8 angezeigt werden.
  • Die Audiosteuereinheit 14e führt, unter den arithmetischen Verarbeitungen in der ECU 14, hauptsächlich eine Verarbeitung von Audiodaten aus, die durch die Audioausgabevorrichtung 9 ausgegeben werden.
  • Das SSD 14f ist eine wiederbeschreibbare nichtflüchtige Speichereinheit, die Daten selbst dann speichern kann, wenn die Leistung bzw. Leistungsversorgung der ECU 14 ausgeschaltet ist.
  • Die CPU 14a, der ROM 14b, der RAM 14c und dergleichen können in der gleichen Packung bzw. Baugruppe integriert sein. Ferner kann die ECU 14 eine Konfiguration aufweisen, in der ein anderer Logikarithmetikprozessor, wie etwa ein DSP (Digitalsignalprozessor), eine Logikschaltung oder dergleichen, anstelle der CPU 14 verwendet wird. Ferner kann anstelle des SSD 14f ein HDD (Festplattenlaufwerk) bereitgestellt sein, und können das SSD 14f und das HDD separat von der ECU 14 bereitgestellt sein.
  • Die Lenkeinheit 13 weist einen Aktor 13a und dem Drehmomentsensor 13b auf, um zumindest zwei der Räder 3 zu lenken. Das heißt, dass das Lenksystem 13 durch die ECU 14 oder dergleichen elektrisch gesteuert wird/ist, um den Aktor 13a zu betätigen bzw. zu betreiben. Das Lenksystem 13 ist zum Beispiel ein elektrisches Servolenksystem, ein SBW-(Steer-By-Wire-)System oder dergleichen. Das Lenksystem 13 fügt Drehmoment, nämlich Unterstützungsdrehmoment, durch den Aktor 13a auf die Lenkeinheit 14 hinzu, um eine Lenkkraft aufzustocken, oder lenkt die Räder 3 durch den Aktor 13a. In diesem Fall kann der Aktor 13a eines der Räder 3 oder eine Vielzahl der Räder 3 lenken. Ferner detektiert der Drehmomentsensor 13b zum Beispiel ein Drehmoment, das durch den Fahrer auf die Lenkeinheit 4 gegeben wird.
  • Das Bremssystem 18 ist zum Beispiel ein ABS (Antiblockierbremssystem), das ein Blockieren einer Bremse unterbindet, eine Schleuderverhinderungsvorrichtung (ESC: elektronische Stabilitätssteuerung), die ein seitliches Rutschen bzw. Schleudern von Fahrzeug 1 während einer Kurvenfahrt unterbindet, ein elektrisches Bremssystem, das eine Bremskraft erhöht, um eine Bremsunterstützung auszuführen, BBW (Break-By-Wire) oder dergleichen. Das Bremssystem 18 wendet eine Bremskraft auf die Räder 3 und somit auf das Fahrzeug 1 über einen Aktor 18a an. Außerdem kann das Bremssystem 18 Anzeichen einer Bremsblockade, eines Stillstands bzw. eines Frei-/Leerdrehens der Räder 3, eines seitlichen Rutschens bzw. Schleuderns und dergleichen aus einer Differenz einer Drehung zwischen den linken und rechten Rädern 3 detektieren und verschiedene Steuerungen ausführen. Der Bremssensor 18b ist zum Beispiel ein Sensor, der eine Position eines beweglichen Teils der Bremsbedieneinheit 6 detektiert. Der Bremssensor 18b kann eine Position eines Bremspedals als ein bewegliches Teil detektieren. Der Bremssensor 18b umfasst einen Weggeber.
  • Der Lenkwinkelsensor 19 ist zum Beispiel ein Sensor, der einen Lenkbetrag der Lenkeinheit 4, wie etwa eines Lenkrads, detektiert. Der Lenkwinkelsensor 19 ist zum Beispiel durch Verwendung eines Hall-Elements oder dergleichen konfiguriert. Die ECU 14 erfasst bzw. beschafft/gewinnt den Lenkbetrag der Lenkeinheit 4 durch den Fahrer, den Lenkbetrag von jedem der Räder 3 während einer automatischen Lenkung und dergleichen von dem Lenkwinkelsensor 19 und führt verschiedene Steuerungen aus. Der Lenkwinkelsensor 19 detektiert einen Drehwinkel eines in der Lenkeinheit 4 umfassten Drehteils. Der Lenkwinkelsensor 19 ist ein Beispiel eines Winkelgebers.
  • Der Beschleunigersensor 20 ist zum Beispiel ein Sensor, der eine Position eines beweglichen Teils der Beschleunigungsbedieneinheit 5 detektiert. Der Beschleunigersensor 20 kann eine Position eines Beschleuniger- bzw. Fahrpedals als ein bewegliches Teil detektieren. Der Beschleunigersensor 20 umfasst einen Weggeber.
  • Der Schaltungssensor 21 ist zum Beispiel ein Sensor, der eine Position eines beweglichen Teils der Drehzahlwechselbedieneinheit 7 detektiert. Der Schaltungssensor 21 kann Positionen von Hebeln, Armen, Tasten bzw. Knöpfen und dergleichen als bewegliche Teile detektieren. Der Schaltungssensor 21 kann einen Weggeber umfassen oder als ein Schalter konfiguriert sein.
  • Der Drehzahl- bzw. Radgeschwindigkeitssensor 22 ist ein Sensor, der einen Drehbetrag der Räder 3 und die Anzahl von Umdrehungen pro Zeiteinheit detektiert. Der Drehzahl- bzw. Radgeschwindigkeitssensor 22 gibt die Anzahl von Drehzahl- bzw. Radgeschwindigkeitspulsen, die die detektierte Anzahl von Umdrehungen bezeichnet, als einen Sensorwert aus. Der Drehzahl- bzw. Radgeschwindigkeitssensor 22 kann zum Beispiel durch Verwendung eines Hall-Elements oder dergleichen konfiguriert sein. Die ECU 14 berechnet einen Bewegungsbetrag des Fahrzeugs 1 basierend auf dem von dem Drehzahl- bzw. Radgeschwindigkeitssensor 22 erfassten bzw. beschafften/gewonnenen Sensorwert und führt verschiedene Steuerungen aus. Der Drehzahl- bzw. Radgeschwindigkeitssensor 22 kann in dem Bremssystem 18 bereitgestellt sein.
  • In diesem Fall erfasst bzw. beschafft/gewinnt die ECU 14 ein Detektionsergebnis des Drehzahl- bzw. Radgeschwindigkeitssensors 22 über das Bremssystem 18.
  • Die Konfigurationen, Anordnungen, Formen bzw. Ausgestaltungen von elektrischen Verbindungen und dergleichen der verschiedenen Sensoren und Aktoren, die vorstehend beschrieben sind, sind Beispiele und können in verschiedenen Weisen festgelegt sein und geändert werden.
  • (ECU-Softwarekonfiguration)
  • Als Nächstes wird eine Softwarekonfiguration, die Funktionen der ECU 14 des Ausführungsbeispiels bezeichnet, unter Bezugnahme auf 4 beschrieben. 4 ist eine Darstellung, die eine Softwarekonfiguration veranschaulicht, die durch die ECU 14 gemäß dem Ausführungsbeispiel realisiert wird. Die in 4 veranschaulichten Funktionen werden durch Zusammenarbeit von Software und Hardware realisiert. Das heißt, dass in dem in 4 veranschaulichten Beispiel Funktionen der ECU 14 als Fahrbahnoberflächendetektionsvorrichtung als Ergebnis dessen realisiert werden, dass die CPU 14a das Fahrbahnoberflächendetektionsprogramm, das in dem ROM 14b oder dergleichen gespeichert ist, liest und ausführt.
  • Wie es in 4 veranschaulicht ist, umfasst die ECU 14 als Fahrbahnoberflächendetektionsvorrichtung eine Bilderfassungseinheit 401, eine Dreidimensionales-Modell-Erzeugungseinheit 402, eine Korrektureinheit 403 und eine Speichereinheit 404. Die vorstehend beschriebene CPU 14a fungiert als die Bilderfassungseinheit 401, die Dreidimensionales-Modell-Erzeugungseinheit 402, die Korrektureinheit 403 und dergleichen, indem sie eine Verarbeitung gemäß einem Programm ausführt. Der RAM 14c, der ROM 14b und dergleichen fungieren als die Speichereinheit 404. Außerdem kann zumindest ein Teil der Funktionen der vorgenannten Einheiten durch Hardware realisiert werden.
  • Die Bilderfassungseinheit 401 erfasst bzw. beschafft/gewinnt eine Vielzahl von Stücken bzw. Elementen von aufgenommenen Bilddaten von der Vielzahl von Bildgebungseinheiten 15, die einen peripheren Bereich des Fahrzeugs 1 aufnehmen. Der Bildgebungsbereich der Bildgebungseinheiten 15 umfasst eine Fahrbahnoberfläche, auf der das Fahrzeug 1 fährt, und die aufgenommenen Bilddaten umfassen eine Oberflächenform bzw. -gestalt der Fahrbahnoberfläche und dergleichen.
  • Die Dreidimensionales-Modell-Erzeugungseinheit 402 erzeugt ein dreidimensionales Modell aus den aufgenommenen Bilddaten, die durch die Bilderfassungseinheit 401 erfasst bzw. beschafft/gewonnen werden. Das dreidimensionale Modell ist eine dreidimensionale Punktgruppe, in der eine Vielzahl von Punkten dreidimensional angeordnet sind gemäß einem Zustand der Fahrbahnoberfläche, wie etwa der Oberflächenform einer Fahrbahnoberfläche, die die Fahrbahnoberfläche umfasst, auf der das Fahrzeug 1 fährt.
  • Die Korrektureinheit 403 korrigiert eine Neigung bzw. Schrägstellung des dreidimensionalen Modells, das durch die Dreidimensionales-Modell-Erzeugungseinheit 402 erzeugt wird. Das dreidimensionale Modell wird basierend auf einem Zustand des Fahrzeugs 1 erzeugt, wie etwa einer Orientierung bzw. Ausrichtung/Lage des Fahrzeugkörpers 2. Selbst wenn das Fahrzeug 1 geneigt bzw. schräg ist, nimmt die Korrektureinheit 403 daher eine Korrektur so vor, dass der Zustand der Fahrbahnoberfläche und dergleichen korrekt widergespiegelt wird.
  • Die Speichereinheit 404 speichert Daten, die bei einer arithmetischen Verarbeitung von jeder Einheit verwendet werden, Daten als Ergebnis der arithmetischen Verarbeitung und dergleichen. Ferner speichert die Speichereinheit 404 Daten einer Kalibrierung, die auf/bezüglich den Bildgebungseinheiten 15 und dergleichen durchgeführt wird, wenn das Fahrzeug 1 von einer Fabrik ausgeliefert wird.
  • (ECU-Funktionsbeispiel)
  • Als Nächstes wird ein Funktionsbeispiel der ECU 14 des Ausführungsbeispiels unter Bezugnahme auf 5 beschrieben. 5 ist eine Darstellung, die einen Überblick der Fahrbahnoberflächendetektionsfunktion der ECU 14 gemäß dem Ausführungsbeispiel veranschaulicht.
  • Als Prämisse wird, wenn das Fahrzeug 1 von der Fabrik ausgeliefert wird, eine Kalibrierung auf/bezüglich den Bildgebungseinheiten 15 durchgeführt, sodass ein aufgenommenes Bild korrekt erhalten werden kann. Die Kalibrierung umfasst zum Beispiel eine Korrektur einer optischen Achse. Durch diese Kalibrierung werden ein Normalenvektor, der senkrecht zu der Fahrbahnoberfläche steht, und eine Höhenposition der Fahrbahnoberfläche basierend auf einer Perspektive bzw. einer Sicht von jeder der Bildgebungseinheiten 15 bestimmt. Bei der Fahrbahnoberflächendetektion durch die ECU 14 werden der Normalenvektor der Fahrbahnoberfläche und die Höhenposition der Fahrbahnoberfläche basierend auf der Perspektive bzw. der Sicht der Bildgebungseinheit 15 als korrekte Werte verwendet. Basierend auf solchen korrekten Werten können eine Entfernung zu einem vorbestimmten Punkt auf der Fahrbahnoberfläche und dergleichen und eine Höhe des vorbestimmten Punkts aus dem aufgenommenen Bilddaten durch die Bildgebungseinheit 15 passend/zutreffend berechnet werden.
  • Wie es in 5(a) veranschaulicht ist, wird nämlich zum Beispiel der Zustand der Fahrbahnoberfläche hauptsächlich basierend auf aufgenommenen Bilddaten detektiert, die durch die Bildgebungseinheit 15c in einem vorderen Teil des Fahrzeugs 1 aufgenommen werden. Zum Beispiel wird, unter den aufgenommenen Bilddaten, die durch die Bildgebungseinheit 15c aufgenommen werden, der Zustand der Fahrbahnoberfläche basierend auf der Entfernung zu und Höhen von vorbestimmten Punkten P1 bis P3 auf der Fahrbahnoberfläche, die dem Fahrzeug 1 am nächsten sind, als der Zustand der Fahrbahnoberfläche betrachtet, auf der sich das Fahrzeug 1 zu dieser Zeit befindet, nämlich der Fahrbahnoberfläche direkt unter dem Fahrzeug 1. Hier wird eine ebene Fahrbahnoberfläche parallel zu dem Fahrzeug 1 detektiert.
  • Ferner wird, unter den aufgenommenen Bilddaten, die durch die Bildgebungseinheit 15c aufgenommen werden, der Zustand der Fahrbahnoberfläche etwas vor dem Fahrzeug 1 basierend auf der Entfernung zu und Höhen von vorbestimmten Punkten P4 bis P6 auf der Fahrbahnoberfläche detektiert, die geringfügig von dem Fahrzeug 1 entfernt sind. Hier wird eine ebene Fahrbahnoberfläche parallel zu der Fahrbahnoberfläche detektiert, auf der sich das Fahrzeug 1 befindet.
  • Ferner wird zum Beispiel, wie es in 5(b) veranschaulicht ist, ein Objekt T, das eine vorbestimmte Höhe aufweist, etwas vor der flachen Fahrbahnoberfläche, auf der sich das Fahrzeug 1 befindet, basierend auf der Entfernung zu und Höhen von den vorbestimmten Punkten P4 bis P6 auf der Fahrbahnoberfläche detektiert.
  • Ferner wird zum Beispiel, wie es in 5(c) veranschaulicht ist, eine Rampe bzw. ein Anstieg, wie etwa eine Bergauffahrt, etwas vor der ebenen Fahrbahnoberfläche, auf der sich das Fahrzeug 1 befindet, basierend auf der Entfernung zu und Höhen von den vorbestimmten Punkten P4 bis P6 auf der Fahrbahnoberfläche detektiert.
  • Ferner wird zum Beispiel, wie es in 5(d) veranschaulicht ist, wenn sich das Fahrzeug 1 auf einer Rampe bzw. einem Gefälle, wie etwa einer Bergabfahrt, befindet, eine ebene Fahrbahnoberfläche parallel zu dem Fahrzeug 1 basierend auf der Entfernung zu und Höhen von den vorbestimmten Punkten P1 bis P3 auf der Fahrbahnoberfläche detektiert. Ferner wird eine ebene Fahrbahnoberfläche parallel zu der Fahrbahnoberfläche, auf der sich das Fahrzeug 1 befindet, basierend auf der Entfernung zu und Höhen von den vorbestimmten Punkten P4 bis P6 auf der Fahrbahnoberfläche detektiert. Das heißt, dass der Zustand der Fahrbahnoberfläche unter der Annahme detektiert wird, dass die Fahrbahnoberfläche an der aktuellen Position des Fahrzeugs 1 parallel zu dem Fahrzeug 1 ist, ungeachtet der Neigung bzw. Schräge der Fahrbahnoberfläche mit Bezug auf die Gravitationsrichtung.
  • Wie es vorstehend beschrieben ist, verwendet die ECU 14 des Ausführungsbeispiels eine Orientierung bzw. Ausrichtung eines Normalenvektors Vc der Fahrbahnoberfläche, die durch Kalibrierung bestimmt wird, als ein korrekter Wert, nämlich eine Richtung, in der ein Normalenvektor Vr der Fahrbahnoberfläche orientiert bzw. gerichtet sein sollte. Das heißt, dass angenommen wird, dass die Orientierung des Normalenvektors Vr, der senkrecht zu der detektierten Fahrbahnoberfläche steht, mit der Orientierung des Normalenvektors Vc, der der korrekte Wert ist, übereinstimmt bzw. zusammenpasst. Außerdem wird eine Höhenposition Hc der Fahrbahnoberfläche, die durch Kalibrierung bestimmt wird, als ein korrekter Wert verwendet, nämlich eine Höhe, die die Fahrbahnoberfläche haben sollte, und wird ein Objekt mit einer Höhe, die nicht mit der Höhenposition Hc übereinstimmt bzw. zusammenpasst, detektiert. Wie in dem vorstehend dargelegten Beispiel ist ein Objekt mit einer Höhe, die nicht mit der Höhenposition Hc übereinstimmt bzw. zusammenpasst, zum Beispiel ein Objekt, wie etwa ein auf die Fahrbahnoberfläche fallender Stein bzw. Kieselstein oder eine Unebenheit der Fahrbahnoberfläche. Wie in dem Beispiel von 5(c) kann es eine andere Fahrbahnoberfläche geben, die eine Neigung aufweist, die von der Fahrbahnoberfläche verschieden ist, auf der sich das Fahrzeug 1 befindet.
  • Fahrbahnoberflächeninformationen, die zum Detektieren des Zustands der Fahrbahnoberfläche verwendet werden, sind nicht auf die vorgenannten vorbestimmten Punkte P1 bis P6 beschränkt. Zum Beispiel erfasst bzw. beschafft/gewinnt die ECU 14 Fahrbahnoberflächeninformationen über einen gesamten Raum bzw. Bereich, der durch die Bildgebungseinheit 15c aufgenommen werden kann, und identifiziert bzw. ermittelt/bestimmt sie den Zustand der Fahrbahnoberfläche.
  • Als Nächstes werden weitere Einzelheiten der Funktionen der ECU 14 des Ausführungsbeispiels unter Bezugnahme auf 6 bis 8 geschrieben. 6 bis 8 sind Darstellungen zur Erläuterung der Einzelheiten der Fahrbahnoberflächendetektionsfunktion der ECU 14 gemäß dem Ausführungsbeispiel. Die folgende Verarbeitung durch die ECU 14 wird hauptsächlich basierend auf aufgenommenen Bilddaten durchgeführt, die durch die Bildgebungseinheit 15c in dem vorderen Teil des Fahrzeugs 1 aufgenommen werden. Wie es vorstehend beschrieben ist, werden die aufgenommenen Bilddaten durch die Bilderfassungseinheit 401 der ECU 14 erfasst bzw. beschafft/gewonnen.
  • Zunächst wird ein Zustand beschrieben, wenn das Fahrzeug 1 eine Lage bzw. Haltung/Stellung parallel zu der Fahrbahnoberfläche beibehält.
  • Wie es in 6(a) veranschaulicht ist, erzeugt die Dreidimensionales-Modell-Erzeugungseinheit 402 ein dreidimensionales Modell M basierend auf den aufgenommenen Bilddaten, die durch die Bilderfassungseinheit 401 erfasst werden. In dem dreidimensionalen Modell M werden/sind verschiedene Objekte, wie etwa die Fahrbahnoberfläche, eine Unebenheit der Fahrbahnoberfläche und Objekte auf der Fahrbahnoberfläche, in eine Vielzahl von Punkten, um-/ gewandelt, die gemäß der Entfernung von dem Fahrzeug 1 zu den verschiedenen Objekten und Höhen der verschiedenen Objekte dreidimensional angeordnet sind.
  • Die Korrektureinheit 403 schätzt die Position und die Orientierung der Fahrbahnoberfläche aus dem dreidimensionalen Modell M, das durch die Dreidimensionales-Modell-Erzeugungseinheit 402 erzeugt wird. Die Position und die Orientierung der Fahrbahnoberfläche werden unter der Annahme geschätzt, dass die Fahrbahnoberfläche eine Ebene mit idealer Flach- bzw. Ebenheit ist, die keine Unebenheit, andere Objekte oder dergleichen umfasst. Eine solche Ebene kann zum Beispiel unter Verwendung einer robusten Schätzung, wie etwa Random Sample Consensus (RANSAC), bestimmt werden. Bei einer robusten Schätzung werden, wenn erhaltene Beobachtungswerte Ausreißer umfassen, die Ausreißer ausgeschlossen, und wird das Gesetz bzw. die Gesetzmäßigkeit der Beobachtungsobjekte geschätzt. Das heißt, dass hier Punkte Px, Py und Pz, die eine Unebenheit und andere Objekte bezeichnen, die in dem dreidimensionalen Modell M umfasst sind, ausgeschlossen werden, und die Flach- bzw. Ebenheit von jeder Position und jeder Orientierung in dem dreidimensionalen Modell M geschätzt wird, um eine Ebene zu erhalten, die an einer vorbestimmten Position in einer vorbestimmten Richtung orientiert bzw. ausgerichtet ist.
  • Wie es 6(b) veranschaulicht ist, berechnet die Korrektureinheit 403 den Normalenvektor Vr, der senkrecht zu einer Ebene R steht, die wie vorstehend beschrieben geschätzt wird. Ferner gleicht die Korrektureinheit 403 die Orientierung des Normalenvektors Vr der Ebene R mit der Orientierung des Normalenvektors Vc als einen durch Kalibrierung bestimmten korrekten Wert ab, und korrigiert sie dann eine Höhenposition der gesamten dreidimensionalen Punktgruppe, die in dem dreidimensionalen Modell M umfasst ist, basierend auf der Höhenposition Hc als ein durch Kalibrierung bestimmter korrekter Wert. In dem korrigierten dreidimensionalen Modell M stimmen die Punkte Px, Py und Pz, die als Ausreißer ausgeschlossen sind, nicht mit der Höhenposition Hc überein, und werden sie als Unebenheit mit einer vorbestimmten Höhe auf der Fahrbahnoberfläche bezeichnet.
  • In 6(b) stimmt die Orientierung des Normalenvektors Vr der Ebene R mit der Orientierung des Normalenvektors Vc als der korrekte Wert überein, und eine solche Korrektur durch die Korrektureinheit 403 scheint unnötig zu sein. Jedoch ist das Beispiel in 6 lediglich ein ideales Beispiel. Das Fahrzeug 1 kann aufgrund eines Einflusses der Unebenheit der Fahrbahnoberfläche ständig gewackelt bzw. gerüttelt werden, und die Neigung des Normalenvektors Vr der Ebene R mit Bezug auf den Normalenvektor Vc kann sich ständig ändern.
  • Daher wird ein Zustand beschrieben, in dem das Fahrzeug 1 gerüttelt bzw. gewackelt wird.
  • 7 veranschaulicht das Fahrzeug 1, das auf ein Objekt auf einer Fahrbahn fährt. Zu dieser Zeit ist das Fahrzeug 1 tatsächlich geneigt bzw. schräg, aber ist auf den aufgenommenen Bilddaten, die durch die Bildgebungseinheit 15 aufgenommen werden, die Fahrbahnoberfläche auf der rechten Seite des Fahrzeugs 1 erhöht und die Fahrbahnoberfläche auf der linken Seite herabgesetzt.
  • Wie es in 7(a) veranschaulicht ist, erzeugt die Dreidimensionales-Modell-Erzeugungseinheit 402 das dreidimensionale Modell M basierend auf den aufgenommenen Bilddaten, die durch die Bilderfassungseinheit 401 erfasst werden.
  • Wie es in 7(b) veranschaulicht ist, schätzt die Korrektureinheit 403 die Position und die Orientierung der Ebene R aus dem dreidimensionalen Modell M, das durch die Dreidimensionales-Modell-Erzeugungseinheit 402 erzeugt wird. Dann berechnet die Korrektureinheit 403 den Normalenvektor Vr der geschätzten Ebene R. In dem in 7(b) veranschaulichten Beispiel stimmt der Normalenvektor Vr der Ebene R nicht mit dem Normalenvektor Vc als der korrekt Wert überein.
  • Wie es in 8(a) veranschaulicht ist, korrigiert die Korrektureinheit 403 die Neigung des Normalenvektors Vr der Ebene R, sodass der Normalenvektor Vr der Ebene R mit dem Normalenvektor Vc als der korrekte Wert übereinstimmt bzw. zusammenpasst. Mit anderen Worten verlagert bzw. versetzt/-schiebt die Korrektureinheit 403 den Normalenvektor Vr der Ebene R in eine Richtung, in der die Ebene R parallel zu den Vorne-Hinten- und Links-Rechts-Achsen des Fahrzeugs 1 ist.
  • Wie es in 8(b) veranschaulicht ist, passt die Korrektureinheit 403 die Höhenposition der Ebene R auf die Höhenposition Hc als den korrekten Wert an. Zu dieser Zeit wird die Höhenposition der gesamten dreidimensionalen Punktgruppe korrigiert, die in dem dreidimensionalen Modell M umfasst ist. Mit anderen Worten wird die Höhenposition der gesamten dreidimensionalen Punktgruppe auf die Höhenposition mit der Bildgebungseinheit 15c als die Perspektive bzw. Sicht korrigiert.
  • Als Ergebnis überlappen/-schneiden sich Punkte, die in der Ebene R der dreidimensionalen Punktgruppe umfasst sind, mit einer virtuellen Fahrbahnoberfläche, die auf der Höhenposition Hc parallel zu dem Fahrzeug 1 ist. Ferner überlappen. Die Punkte Px, Py und Pz, die eine Unebenheit der Fahrbahnoberfläche und andere Objekte der dreidimensionalen Punktgruppe bezeichnen, überlappen/-schneiden sich nicht mit der virtuellen Fahrbahnoberfläche und werden/sind als Unebenheit mit einer vorbestimmten Höhe bezeichnet.
  • (Beispiel von Fahrbahnoberflächendetektionsverarbeitung durch ECU)
  • Als Nächstes wird ein Beispiel der Fahrbahnoberflächendetektionsverarbeitung durch die ECU 14 des Ausführungsbeispiels unter Bezugnahme auf 9 beschrieben. 9 ist ein Ablaufdiagramm, das ein Beispiel von Vorgängen der Fahrbahnoberflächendetektionsverarbeitung durch die ECU 14 gemäß dem Ausführungsbeispiel veranschaulicht.
  • Wie es in 9 veranschaulicht ist, erfasst bzw. beschafft/gewinnt die Bilderfassungseinheit 401 der ECU 14 die aufgenommenen Bilddaten, die durch die Bildgebungseinheit 15 aufgenommen werden/sind (Schritt S101). Bei einer Detektion des Zustands der Fahrbahnoberfläche, die vorstehend beschrieben ist, werden hauptsächlich die aufgenommenen Bilddaten verwendet, die durch die Bildgebungseinheit 15c aufgenommen werden/sind, die in dem vorderen Teil des Fahrzeugs 1 installiert ist. Die aufgenommenen Bilddaten sind vorzugsweise Bewegtbilddaten.
  • Die Dreidimensionales-Modell-Erzeugungseinheit 402 erzeugt hauptsächlich ein dreidimensionales Modell M, in dem eine Vielzahl von Punkten dreidimensional angeordnet sind, aus den aufgenommenen Bilddaten, die durch die Bildgebungseinheit 15c aufgenommen werden/sind (Schritt S102). Das dreidimensionale Modell M umfasst eine Unebenheit der Fahrbahnoberfläche und einen unebenen Zustand der Fahrbahnoberfläche, einschließlich Objekten auf der Fahrbahnoberfläche.
  • Die Korrektureinheit 403 identifiziert bzw. ermittelt/bestimmt die Position und die Orientierung der Ebene R aus dem erzeugten dreidimensionalen Modell M (Schritt S103). Das heißt, dass die Korrektureinheit 403 die Ebene R mit einer vorbestimmten Position und Orientierung aus dem dreidimensionalen Modell M durch Berechnung, wie etwa eine robuste Schätzung, schätzt. Die geschätzte Ebene R umfasst keine Daten, die den unebenen Zustand bezeichnen.
  • Die Korrektureinheit 403 berechnet den Normalenvektor Vr für die identifizierte Ebene R (Schritt S104).
  • Die Korrektureinheit 403 korrigiert eine Neigung bzw. Schrägstellung des Normalenvektors Vr der Ebene R (Schritt S105). Im Speziellen neigt bzw. kippt die Korrektureinheit 403 den Normalenvektor Vr der Ebene R um einen vorbestimmten Winkel, wie es erforderlich ist, und nimmt sie eine Korrektur vor, sodass die Orientierung des Normalenvektors Vr der Ebene R senkrecht zu dem Normalenvektor Vc als der korrekte Wert ist.
  • Die Korrektureinheit 403 korrigiert die Höhenposition des gesamten dreidimensionalen Modells M (Schritt S106). Das heißt, dass die Korrektureinheit 403 die Höhenposition des gesamten dreidimensionalen Modells M basierend auf der Höhenposition Hc als der korrekte Wert korrigiert. Die Höhenposition des gesamten dreidimensionalen Modells M wird korrigiert, indem alle Positionen der dreidimensionalen Punktgruppe, die in dem dreidimensionalen Modell M umfasst ist, um eine Distanz relativ zu einer Bewegungsdistanz der dreidimensionalen Punktgruppe, die in der Ebene R umfasst ist, bewegt werden.
  • Durch die Verarbeitung von Schritt S103 bis S106 durch die Korrektureinheit 403 wird das dreidimensionale Modell basierend auf den Normalenvektoren korrigiert, sodass die Ebene R mit Bezug auf das Fahrzeug 1 horizontal ist. Als Ergebnis überlappen/-schneiden sich Punkte, die aus der dreidimensionalen Punktgruppe geschätzt werden, um die Ebene R zu bezeichnen, mit der Höhenposition Hc der virtuellen Fahrbahnoberfläche, und werden andere Punkte als Unebenheit der Fahrbahnoberfläche mit einer vorbestimmten Höhe bestimmt. Die Unebenheit mit einer vorbestimmten Höhe auf der Fahrbahnoberfläche kann eine Unebenheit der Fahrbahnoberfläche, ein Objekt auf der Fahrbahnoberfläche, eine andere Fahrbahnoberfläche, wie etwa eine Rampe mit einer Neigung, die von der Fahrbahnoberfläche verschieden ist, auf der sich das Fahrzeug 1 befindet, sein.
  • Wie es vorstehend beschrieben ist, ist die Fahrbahnoberflächendetektionsverarbeitung durch die ECU 14 des Ausführungsbeispiels abgeschlossen.
  • (Vergleichsbeispiel)
  • Als Vergleichsbeispiel wird zum Beispiel eine Konfiguration angenommen, in der die Korrektur wie bei dem vorstehend beschriebenen Ausführungsbeispiel nicht durchgeführt wird. In einem solchen Vergleichsbeispiel wackelt, wenn sich das Fahrzeug bewegt, das Fahrzeug abhängig von dem Zustand der Fahrbahnoberfläche und der Bedienung des Fahrers nach oben, unten, links und rechts. Aus Sicht der Stereokamera wackelt die Fahrbahnoberfläche ständig, und eine Genauigkeit einer Detektion einer Höhe an einer vorbestimmten Position auf der Fahrbahnoberfläche verschlechtert sich. Aufgrund des kurzzeitigen Wackelns des Fahrzeugs kann eine nicht bestehende Unebenheit oder dergleichen detektiert werden, als ob sie vorhanden wäre.
  • Die ECU 14 des Ausführungsbeispiels schätzt die Ebene R, die durch Berechnung aus dem dreidimensionalen Modell erhalten wird, nimmt den Normalenvektor Vc und die Höhenposition Hc als korrekte Werte, und korrigiert das dreidimensionale Modell M, sodass die Orientierung des Normalenvektors Vr der geschätzten Ebene R und die Höhenposition der Ebene R mit dem Normalenvektor Vc und der Höhenposition Hc übereinstimmen bzw. zusammenpassen. Als Ergebnis ist es möglich, den Einfluss des Wackelns des Fahrzeugs 1 zu unterbinden bzw. niederzuhalten, und die Detektionsgenauigkeit der Höhe der Fahrbahnoberfläche zu verbessern.
  • 10 ist ein Graph eines Detektionsergebnisses einer ebenen Fahrbahnoberfläche durch die ECU 14 gemäß dem Ausführungsbeispiel und eine Konfiguration gemäß dem Vergleichsbeispiel. Die horizontale Achse des Graphen in 10 bezeichnet eine Fahrtrichtung des Fahrzeugs, und die vertikale Achse bezeichnet eine Unebenheit der Fahrbahnoberfläche. Die Fahrbahnoberfläche ist auf einen Nullpunkt festgelegt, und, über den Nullpunkt hinweg, ist eine Aufwärtsrichtung eine (Plus-) Seite eines Vorsprungs bzw. einer Erhebung und ist eine Abwärtsrichtung eine (Minus-) Seite eines Rücksprungs bzw. einer Vertiefung.
  • Wie es in 10 veranschaulicht ist, werden in der Konfiguration des Vergleichsbeispiels, in der das dreidimensionale Modell nicht korrigiert wird, zwei große Vorsprünge bzw. Erhebungen detektiert, obwohl das Fahrzeug auf einer ebenen Fahrbahnoberfläche fährt. Andererseits wird in der ECU 14 des Ausführungsbeispiels ein Zustand einer im Wesentlichen ebenen Fahrbahnoberfläche detektiert.
  • Auf diese Art und Weise kann die ECU 14 des Ausführungsbeispiels die Höhe der Unebenheit der Fahrbahnoberfläche genau detektieren. Daher kann die ECU 14 des Ausführungsbeispiels zum Beispiel auf ein Parkunterstützungssystem, ein Aufhängungs- bzw. Federungssteuersystem und dergleichen des Fahrzeugs 1 angewandt werden.
  • Zum Beispiel, in dem Parkunterstützungssystem des Fahrzeugs 1 ist es durch genaues Erfassen bzw. Verstehen der Höhe der Unebenheit der Fahrbahnoberfläche möglich, die Bewegungsrichtung des Fahrzeugs 1 genau vorherzusagen, wenn das Fahrzeug 1 entlang einer vorbestimmten Route passiert. Als Ergebnis kann das Fahrzeug 1 zuverlässiger an einen Zielparkplatz geleitet werden.
  • Ferner ist es in dem Aufhängungs-bzw. Federungssteuersystem des Fahrzeugs 1 durch genaues Erfassen bzw. Verstehen der Höhe der Unebenheit der Fahrbahnoberfläche möglich, das Wackeln des Fahrzeugs 1 genau vorherzusagen, wenn das Fahrzeug 1 entlang einer vorbestimmten Route passiert. Als Ergebnis kann das Wackeln des Fahrzeugs 1 zuverlässiger unterbunden bzw. niedergehalten werden.
  • [Weitere Ausführungsbeispiele]
  • Das Fahrbahnoberflächendetektionsprogramm, das durch die ECU 14 des vorstehend beschriebenen Ausführungsbeispiels ausgeführt wird, kann über ein Netzwerk, wie etwa das Internet, bereitgestellt oder verteilt werden. Das heißt, dass das Fahrbahnoberflächendetektionsprogramm in Form dessen bereitgestellt werden kann, dass Downloads über das Netzwerk akzeptiert werden, während es auf einem Computer gespeichert ist, der mit einem Netzwerk, wie etwa dem Internet, verbunden ist.
  • Obgleich die Ausführungsbeispiele der vorliegenden Erfindung vorstehend veranschaulicht wurden, sind die vorstehend beschriebenen Ausführungsbeispiele und Abwandlungen lediglich Beispiele, und ist es nicht vorgesehen, dass der Umfang der Erfindung darauf beschränkt ist. Die vorstehend beschriebenen Ausführungsbeispiele und Abwandlungen können in verschiedenen anderen Formen bzw. Ausgestaltungen implementiert werden, und verschiedene Weglassungen, Ersetzungen, Kombinationen und Änderungen können vorgenommen werden, ohne von dem Kern der Erfindung abzuweichen. Ferner können die Konfigurationen und die Form bzw. Ausgestaltung von jedem Ausführungsbeispiel und jeder Abwandlung teilweise ersetzt werden.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    8
    Anzeigevorrichtung
    14
    ECU
    15
    Bildgebungseinheit
    401
    Bilderfassungseinheit
    402
    Dreidimensionales-Modell-Erzeugungseinheit
    403
    Korrektureinheit
    404
    Speichereinheit
    Hc
    Höhenposition
    M
    dreidimensionales Modell
    R
    Ebene
    Vc, Vr
    Normalenvektor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 6209648 [0003]

Claims (4)

  1. Fahrbahnoberflächendetektionsvorrichtung mit: einer Bilderfassungseinheit, die aufgenommene Bilddaten erfasst, die von einer Stereokamera ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf der ein Fahrzeug fährt; einer Dreidimensionales-Modell-Erzeugungseinheit, die ein dreidimensionales Modell des Bildgebungsbereichs, das eine Oberflächenform der Fahrbahnoberfläche aus einer Perspektive der Stereokamera umfasst, basierend auf den aufgenommenen Bilddaten erzeugt; und einer Korrektureinheit, die eine Ebene aus dem dreidimensionalen Modell schätzt und das dreidimensionale Modell korrigiert, um eine Orientierung eines Normalenvektors der Ebene mit einem korrekten Wert einer Orientierung eines Normalenvektors der Fahrbahnoberfläche und eine Höhenposition der Ebene mit Bezug auf die Stereokamera mit einem korrekten Wert einer Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
  2. Fahrbahnoberflächendetektionsvorrichtung gemäß Anspruch 1, wobei die Korrektureinheit die Orientierung des Normalenvektors der Ebene mit dem korrekten Wert der Orientierung des Normalenvektors der Fahrbahnoberfläche abgleicht und dann das gesamte dreidimensionale Modell korrigiert, um die Höhenposition der Ebene mit Bezug auf die Stereokamera mit dem korrekten Wert der Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
  3. Fahrbahnoberflächendetektionsvorrichtung gemäß Anspruch 2, wobei die Korrektureinheit den korrekten Wert der Orientierung des Normalenvektors der Fahrbahnoberfläche und den korrekten Wert der Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera basierend auf Werten erfasst, die während einer Kalibrierung der Stereokamera bestimmt werden.
  4. Fahrbahnoberflächendetektionsprogramm zum Veranlassen eines Computers zum Ausführen von: einem Bilderfassungsschritt zum Erfassen von aufgenommenen Bilddaten, die von einer Stereokamera ausgegeben werden, die einen Bildgebungsbereich aufnimmt, der eine Fahrbahnoberfläche umfasst, auf der ein Fahrzeug fährt; einem Dreidimensionales-Modell-Erzeugungsschritt zum Erzeugen eines dreidimensionalen Modells des Bildgebungsbereichs, das eine Oberflächenform der Fahrbahnoberfläche aus einer Perspektive der Stereokamera umfasst, basierend auf den aufgenommenen Bilddaten; und einem Korrekturschritt zum Schätzen einer Ebene aus dem dreidimensionalen Modell und Korrigieren des dreidimensionalen Modells, um eine Orientierung eines Normalenvektors der Ebene mit einem korrekten Wert einer Orientierung eines Normalenvektors der Fahrbahnoberfläche und eine Höhenposition der Ebene mit Bezug auf die Stereokamera mit einem korrekten Wert einer Höhenposition der Fahrbahnoberfläche mit Bezug auf die Stereokamera abzugleichen.
DE112019006045.7T 2018-12-04 2019-11-29 Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm Pending DE112019006045T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018227342A JP7211047B2 (ja) 2018-12-04 2018-12-04 路面検出装置および路面検出プログラム
JP2018-227342 2018-12-04
PCT/JP2019/046857 WO2020116352A1 (ja) 2018-12-04 2019-11-29 路面検出装置および路面検出プログラム

Publications (1)

Publication Number Publication Date
DE112019006045T5 true DE112019006045T5 (de) 2021-10-07

Family

ID=70973795

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019006045.7T Pending DE112019006045T5 (de) 2018-12-04 2019-11-29 Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm

Country Status (5)

Country Link
US (1) US20220036097A1 (de)
JP (1) JP7211047B2 (de)
CN (1) CN113165657A (de)
DE (1) DE112019006045T5 (de)
WO (1) WO2020116352A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11684005B2 (en) 2020-03-06 2023-06-27 Deere & Company Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement
US11718304B2 (en) 2020-03-06 2023-08-08 Deere & Comoanv Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement
US11667171B2 (en) * 2020-03-12 2023-06-06 Deere & Company Method and system for estimating surface roughness of ground for an off-road vehicle to control steering
US11678599B2 (en) 2020-03-12 2023-06-20 Deere & Company Method and system for estimating surface roughness of ground for an off-road vehicle to control steering
US11685381B2 (en) 2020-03-13 2023-06-27 Deere & Company Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed
US11753016B2 (en) 2020-03-13 2023-09-12 Deere & Company Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed
US20230260157A1 (en) * 2022-02-16 2023-08-17 GM Global Technology Operations LLC Methods and systems for camera to ground alignment
US20230260291A1 (en) * 2022-02-16 2023-08-17 GM Global Technology Operations LLC Methods and systems for camera to ground alignment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS629648B2 (de) 1981-06-04 1987-03-02 Seikoo Epuson Kk

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP4344860B2 (ja) * 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP2006053754A (ja) * 2004-08-11 2006-02-23 Honda Motor Co Ltd 平面検出装置及び検出方法
JP5455037B2 (ja) * 2009-12-21 2014-03-26 株式会社Ihiエアロスペース 画像から平面を検出する平面検出装置及び検出方法
JP5588332B2 (ja) * 2010-12-10 2014-09-10 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像処理装置および車両用画像処理方法
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2013027628A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6011548B2 (ja) * 2012-01-23 2016-10-19 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
EP2963922B1 (de) * 2013-02-28 2019-02-27 Aisin Seiki Kabushiki Kaisha Programm und vorrichtung zur steuerung eines fahrzeugs
JP5634558B2 (ja) * 2013-04-30 2014-12-03 株式会社東芝 画像処理装置
EP3358295B1 (de) * 2015-09-28 2020-10-07 Kyocera Corporation Bildverarbeitungsvorrichtung, stereokameravorrichtung, fahrzeug und bildverarbeitungsverfahren
EP3176013B1 (de) * 2015-12-01 2019-07-17 Honda Research Institute Europe GmbH Prädiktive aufhängungssteuerung für ein fahrzeug mit einem stereokamerasensor
JP6780661B2 (ja) * 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
JP6556675B2 (ja) * 2016-08-26 2019-08-07 株式会社Zmp 物体検出方法及びその装置
KR20180088149A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 차량 경로 가이드 방법 및 장치
CN107505644B (zh) * 2017-07-28 2020-05-05 武汉理工大学 基于车载多传感器融合的三维高精度地图生成系统及方法
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS629648B2 (de) 1981-06-04 1987-03-02 Seikoo Epuson Kk

Also Published As

Publication number Publication date
JP7211047B2 (ja) 2023-01-24
US20220036097A1 (en) 2022-02-03
WO2020116352A1 (ja) 2020-06-11
CN113165657A (zh) 2021-07-23
JP2020090138A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
DE112019006045T5 (de) Fahrbahnoberflächendetektionsvorrichtung und Fahrbahnoberflächendetektionsprogramm
DE102017117243B4 (de) Umfeldüberwachungsvorrichtung
DE112015004171T5 (de) Fahrzeugpositionserfassungsvorrichtung
DE102015115263A1 (de) Parkassistenzsystem
DE102017112359A1 (de) Fahrassistenzvorrichtung
DE112015004150B4 (de) Fahrunterstützungseinrichtung
DE102015115214A1 (de) Parkassistenzsystem und parkassistenzverfahren
CN106427995A (zh) 停车辅助系统和方法
DE112015004187T5 (de) Parkassistenzvorrichtung und Parkassistenzverfahren
DE102015115212A1 (de) Parkassistenzsystem und parkassistenzverfahren
DE112017003305T5 (de) Peripherieüberwachungsvorrichtung
DE112017003282T5 (de) Peripherieüberwachungsvorrichtung
DE102015115256A9 (de) Parkunterstützungssystem, parkunterstützungsverfahren und parkunterstützungs-steuerprogramm
DE102015115246A1 (de) Steuerungssystem für ein fahrzeug
DE102019128587A1 (de) Kameraparameterschätzgerät, Kameraparameterschätzverfahren, und Kameraparameterschätzprogramm
CN111196277A (zh) 道路劣化信息收集装置
DE102020126830A1 (de) Parkunterstützungsgerät, parkunterstützungsverfahren und -programm
DE102020113655A1 (de) Fahrzeuglenkassistenzvorrichtung
DE112017004970T5 (de) Anzeigesteuervorrichtung
DE102017112592A1 (de) Fahrzeugumfeldüberwachungseinrichtung
DE102020126510A1 (de) Parkassistenzvorrichtung, Parkassistenzverfahren und Programm
DE102020126990A1 (de) Parkassistenzvorrichtung
DE102020126509A1 (de) Parkassistenzvorrichtung, Parkassistenzverfahren und Parkassistenzprogramm
DE102020126501A1 (de) Parkassistenzvorrichtung, Parkassistenzverfahren und Parkassistenzprogramm
DE102019128839A1 (de) Gerät zur Bestimmung des visuellen Bestätigungsziels

Legal Events

Date Code Title Description
R012 Request for examination validly filed