DE112015003605T5 - Mehrere Objekterfassungseinrichtungen verwendende Objekterkennungsvorrichtung - Google Patents

Mehrere Objekterfassungseinrichtungen verwendende Objekterkennungsvorrichtung Download PDF

Info

Publication number
DE112015003605T5
DE112015003605T5 DE112015003605.9T DE112015003605T DE112015003605T5 DE 112015003605 T5 DE112015003605 T5 DE 112015003605T5 DE 112015003605 T DE112015003605 T DE 112015003605T DE 112015003605 T5 DE112015003605 T5 DE 112015003605T5
Authority
DE
Germany
Prior art keywords
learning
axis
object detection
displacement
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112015003605.9T
Other languages
English (en)
Other versions
DE112015003605T8 (de
DE112015003605B4 (de
Inventor
Yuusuke MATSUMOTO
Ryo Takaki
Akira Isogai
Ichiro Aizawa
Jun Tsuchida
Koichi Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Publication of DE112015003605T5 publication Critical patent/DE112015003605T5/de
Publication of DE112015003605T8 publication Critical patent/DE112015003605T8/de
Application granted granted Critical
Publication of DE112015003605B4 publication Critical patent/DE112015003605B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Ein Fahrzeug (50) als ein bewegter Körper weist eine Abbildungsvorrichtung (11) als eine erste Objekterfassungseinrichtung und eine Radarvorrichtung (12) als eine zweite Objekterfassungseinrichtung auf. Eine Objekterkennungsvorrichtung (10) weist eine Achsverschiebungslerneinrichtung zum Lernen einer Achsverschiebung der Bezugsachse X1 der ersten Objekterfassungseinrichtung; eine Achsverschiebungsbestimmungseinrichtung zum Durchführen eines Achsverschiebungsbestimmungsprozesses auf der Grundlage eines Objekterfassungsergebnisses der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung, um zu bestimmen, ob eine Achsverschiebung in der Bezugsachse der zweiten Objekterfassungseinrichtung aufgetreten ist; und eine Sperreinrichtung zum Sperren von Informationen über eine Achsverschiebung der zweiten Objekterfassungseinrichtung, die durch den Achsverschiebungsbestimmungsprozess erlangt werden, auf der Grundlage eines Lernergebnisses der Achsverschiebung mittels der Achsverschiebungslerneinrichtung auf.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, insbesondere eine Objekterkennungsvorrichtung, die an einem bewegten Körper montiert ist.
  • Stand der Technik
  • Es ist eine Technik zum Verbessern der Fahrsicherheit bekannt. Eine Objekterkennungsvorrichtung weist beispielsweise Objekterfassungssensoren auf, die eine Millimeterradarvorrichtung und eine Laserradarvorrichtung enthalten, und erfasst Objekte, die um das Fahrzeug vorhanden sind, beispielsweise vorausbefindliche Fahrzeuge, Fußgänger und Hindernisse. Die Objekterkennungsvorrichtung führt verschiedene Steuerungen entsprechend dem Erfassungsergebnis von Objekten durch, um die Fahrsicherheit des Fahrzeugs zu verbessern.
  • Gemäß einer derartigen Objekterkennungsvorrichtung wird in dem Fall, in dem eine Bezugsachse in einem Objekterfassungssensor, der an dem Fahrzeug montiert ist, verschoben wird (optische Achsverschiebung), ein Objekterfassungsbereich des Objekterfassungssensors gegenüber einem idealen zu erfassenden Bereich verschoben, so dass sich die Erfassungsgenauigkeit verschlechtern kann. In diesem Fall kann sich ebenfalls die Genauigkeit verschiedener Steuerungen zum Verbessern der Fahrsicherheit des Fahrzeugs verschlechtern.
  • Diesbezüglich wurden Techniken zum Erfassen einer Achsverschiebung eines Objekterfassungssensors vorgeschlagen. Gemäß der JP 2004-205398 A , bei der ein Fahrzeug eine Kamera und eine Radarvorrichtung aufweist, wird eine Technik vorgeschlagen, bei der ein Fehler zwischen einer Übertragungsrichtung eines Laserstrahls und einer Geradeausvorwärtsfahrtrichtung des Fahrzeugs erfasst wird, wodurch die Übertragungsrichtung des Laserstrahls eingestellt wird. Der Fehler wird entsprechend Fluchtpunkten und einer Übertragungsrichtung des Laserstrahles erfasst, wobei die Fluchtpunkte und die Übertragungsrichtung auf der Grundlage von Bildern, die von der Kamera erlangt werden, erfasst werden, während das Fahrzeug fährt.
  • Zitierungsliste
  • Patentliteratur
    • PTL 1: JP 2004-205398 A
  • Zusammenfassung
  • Technisches Problem
  • Wenn ein Fall betrachtet wird, bei dem eine Achsverschiebung unter Verwendung von Bildern, die von einer Abbildungsvorrichtung aufgenommen werden, erfasst wird, kann die Verschiebung der Achse in der Radarvorrichtung nicht genau erfasst werden, wenn eine Verschiebung der Bezugsachse (Abbildungsachse) der Abbildungsvorrichtung tatsächlich aufgetreten ist. Somit kann dieses zu einer fehlerhaften Bestimmung führen.
  • Die vorliegende Erfindung entstand im Hinblick auf die oben beschriebenen Probleme und schafft eine Objekterkennungsvorrichtung, die in der Lage ist, eine fehlerhafte Bestimmung in dem Prozess zum Bestimmen, ob die Bezugsachse der Objekterfassungseinrichtung, die an einem bewegten Körper montiert ist, verschoben ist, zu minimieren.
  • Lösung für das Problem
  • Die vorliegende Erfindung ist auf die folgende Weise ausgebildet.
  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, die für einen bewegten Körper (50) verwendet wird, der eine erste Objekterfassungseinrichtung (11) und eine zweite Objekterfassungseinrichtung (12) als eine Objekterfassungseinrichtung aufweist, die ein Objekt, das in vorbestimmten Erfassungsverfügbarkeitsbereichen vorhanden ist, erfasst. Gemäß der Objekterkennungsvorrichtung nach Anspruch 1 enthalten die Erfassungsverfügbarkeitsbereiche jeweils eine Bezugsachse (X1, X2), und die Vorrichtung ist dadurch gekennzeichnet, dass sie enthält: eine Achsverschiebungslerneinrichtung zum Lernen einer Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung; eine Achsverschiebungsbestimmungseinrichtung zum Durchführen eines Achsverschiebungsbestimmungsprozesses, ob eine Achsverschiebung in der Bezugsachse der zweiten Objekterfassungseinrichtung aufgetreten ist, auf der Grundlage eines Objekterfassungsergebnisses der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung; und eine Sperreinrichtung zum Sperren von Informationen über eine Achsverschiebung der zweiten Objekterfassungseinrichtung, die von dem Achsverschiebungsbestimmungsprozess erlangt wird, auf der Grundlage eines Lernergebnisses der Achsverschiebung mittels der Achsverschiebungslerneinrichtung.
  • In dem Fall, in dem die Vorrichtung unter Verwendung des Objekterfassungsergebnisses der ersten Objekterfassungseinrichtung bestimmt, ob eine Verschiebung der Bezugsachse in der zweiten Objekterfassungseinrichtung aufgetreten ist, kann eine Erfassungsgenauigkeit der Achsverschiebungsbestimmung der zweiten Objekterfassungseinrichtung in Abhängigkeit von einem Lernergebnis der Achsverschiebung der ersten Objekterfassungseinrichtung geändert werden. Wenn beispielsweise das Lernergebnis der Achsverschiebung der ersten Objekterfassungseinrichtung keine so hohe Lerngenauigkeit aufweist, kann die Achsverschiebungsbestimmung der zweiten Objekterfassungseinrichtung eine fehlerhafte Bestimmung bewirken. Diesbezüglich werden gemäß der oben beschriebenen Konfiguration Informationen über eine Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung auf der Grundlage eines Lernergebnisses der Achsverschiebung der ersten Objekterfassungseinrichtung gesperrt. Gemäß der Konfiguration kann in dem Prozess zum Bestimmen, ob eine Verschiebung der Bezugsachse in der zweiten Objekterfassungseinrichtung aufgetreten ist, eine fehlerhafte Bestimmung verhindert werden.
  • Kurze Beschreibung der Zeichnungen
  • In den zugehörigen Zeichnungen zeigen:
  • 1 ein Blockdiagramm, das eine Gesamtkonfiguration einer Objekterkennungsvorrichtung zeigt;
  • 2 ein Diagramm, das eine Anordnung einer Abbildungsvorrichtung und einer Radarvorrichtung in einem bewegten Körper zeigt;
  • 3 ein erläuterndes Diagramm, das eine Erfassungsabstandsverschiebung zeigt, wenn eine Abbildungsachse verschoben ist;
  • 4 ein Zeitdiagramm, das einen speziellen Bestimmungsprozess einer Verschiebung der Radarachse zeigt;
  • 5 ein Flussdiagramm, das einen Bestimmungsprozess einer Verschiebung der Radarachse zeigt;
  • 6 ein Flussdiagramm, das einen Rücksetzbestimmungsprozess zeigt;
  • 7 ein Zeitdiagramm, das einen Zählerrücksetzzeitpunkt in Abhängigkeit von einem Lernzustand von Fluchtpunkten zeigt; und
  • 8 ein Zeitdiagramm, das einen speziellen Aspekt anderer Ausführungsformen zeigt.
  • Beschreibung der Ausführungsformen
  • Im Folgenden werden Ausführungsformen, bei denen eine Objekterkennungsvorrichtung des bewegten Körpers ausgeführt ist, mit Bezug auf die Zeichnungen beschrieben. Eine Objekterkennungsvorrichtung 10 gemäß der vorliegenden Ausführungsform ist an einem Fahrzeug als einer mobilen Vorrichtung montiert. Eine Abbildungsvorrichtung 11 und eine Radarvorrichtung 12 erkennen Objekte, die in einem Erfassungsverfügbarkeitsbereich vorhanden sind, der den Bereich vor dem Fahrzeug enthält.
  • Die Abbildungsvorrichtung 11 ist eine fahrzeugeigene Kamera, die aus einer CCD-Kamera, einem CMOS-Bildsensor, einer Kamera im nahen Infrarotbereich oder Ähnlichem ausgebildet ist. Die Abbildungsvorrichtung 11 nimmt eine Umgebung eines eigenen Fahrzeugs 50 einschließlich einer befahrenen Straße des eigenen Fahrzeugs auf, erzeugt Bilddaten, die die aufgenommenen Bilder zeigen, und gibt aufeinanderfolgend die Bilddaten an die Objekterkennungsvorrichtung 10 aus. Die Abbildungsvorrichtung 11 gemäß den vorliegenden Ausführungsformen ist beispielsweise in der Nähe des oberen Endes der vorderen Windschutzscheibe angeordnet und nimmt einen Bereich 61, der sich vor dem eigenen Fahrzeug in einem Gebiet aufspreizt, das durch einen vorbestimmten Winkel θ1 in Bezug auf die Abbildungsachse X1 als der Mitte des Gebietes definiert ist, auf (siehe 2). Man beachte, dass die Abbildungsvorrichtung 11 eine monokulare Kamera oder eine Stereo-Kamera sein kann.
  • Die Radarvorrichtung 12 überträgt elektromagnetische Wellen als Sendewellen (Radarwellen) und empfängt die reflektierten Wellen, um Objekte zu erfassen. Die Radarvorrichtung 12 ist beispielsweise aus einer Millimeterwellenradarvorrichtung oder einer Laserradarvorrichtung oder Ähnlichem aufgebaut. Die Radarvorrichtung 12 ist an dem Vorderteil des eigenen Fahrzeugs 50 montiert und scannt einen Bereich 62, der sich vor dem eigenen Fahrzeug in einem Gebiet aufspreizt, das durch einen vorbestimmten Winkel θ2 (θ2 < θ1) in Bezug auf die Lichtachse X2 als der Mitte des Gebietes definiert ist. Dann erzeugt die Radarvorrichtung 12 Entfernungsmessdaten auf der Grundlage einer Periode von einem Zeitpunkt, zu dem die elektromagnetischen Wellen in Richtung des vorderen Bereiches des Fahrzeugs übertragen bzw. ausgesendet werden, bis zu einem Zeitpunkt, zu dem die reflektierten Wellen empfangen werden, und gibt aufeinanderfolgend die Entfernungsmessdaten an die Objekterkennungsvorrichtung 10 aus. Die Entfernungsmessdaten enthalten Informationen über einen Azimut, bei dem das Objekt vorhanden ist, und eine Relativgeschwindigkeit in Bezug auf das Objekt.
  • Die Abbildungsvorrichtung 11 und die Radarvorrichtung 12 sind an dem eigenen Fahrzeug 50 derart montiert, dass die Abbildungsachse X1 als Bezugsachse der Abbildungsvorrichtung 11 und die Lichtachse X2 als Bezugsachse der Radarvorrichtung 12 parallel zu der Straßenoberfläche sind, auf der das eigene Fahrzeug fährt (befahrene Straßenoberfläche). Der Erfassungsverfügbarkeitsbereich 61 der Abbildungsvorrichtung 11 und der Erfassungsverfügbarkeitsbereich 62 der Radarvorrichtung 12 überdecken sich zumindest in einem Teil des Bereiches. Die Abbildungsvorrichtung 11 entspricht der ersten Objekterfassungseinrichtung und die Radarvorrichtung 12 entspricht der zweiten Objekterfassungseinrichtung.
  • Die Objekterkennungsvorrichtung 10 ist ein Computer, der eine CPU, einen RAM, einen ROM, eine I/O und Ähnliches aufweist. Die Objekterkennungsvorrichtung 10 weist eine Weißlinienerkennungseinheit 13, eine Flussberechnungseinheit 14, eine Fluchtpunktberechnungseinheit 20 und eine Radarachsverschiebungserfassungseinheit 30 auf, deren Funktionen von der CPU, die ein Programm, das in dem ROM gespeichert ist, ausführt, erzielt werden.
  • Die Weißlinienerkennungseinheit 13 nimmt ein Bild, das von der Abbildungsvorrichtung 11 aufgenommen wird, an und erkennt eine weiße Linie, die in dem Bild enthalten ist, als eine Straßenmarkierung. Die Weißlinienerkennungseinheit 13 extrahiert beispielsweise aus den aufgenommenen Bilddaten auf der Grundlage eines Helligkeitsänderungsverhältnisses in einer horizontalen Richtung des Bildes einen Kantenpunkt als einen Kandidaten der weißen Linie und speichert extrahierte Kantenpunkte für jeden Rahmen. Dann erkennt die Weißlinienerkennungseinheit 13 eine weiße Linie auf der Grundlage der Historie der Kantenpunkte der gespeicherten weißen Linie. Die Flussberechnungseinheit 14 nimmt die Bilder, die von der Abbildungsvorrichtung 11 aufgenommen werden, an und berechnet einen optischen Fluss mit Bewegungsvektoren entsprechend jeweiligen Punkten in den Bildern (Flussberechnungseinrichtung). Die Flussberechnungseinheit 14 berechnet beispielsweise die Bewegungsvektoren auf der Grundlage einer Änderung einer räumlichen Helligkeitsverteilung.
  • Die Fluchtpunktberechnungseinheit 20 weist eine Bezugswertschätzeinheit 21, eine Fluchtpunktlerneinheit 22 und eine Lernwertspeichereinheit 25 auf. Die Bezugswertschätzeinheit 21 nimmt Informationen (Weißlinieninformationen) über den Ort der weißen Linie oder Ähnliches von der Weißlinienerkennungseinheit 13 an und nimmt Informationen (Flussinformationen) über den optischen Fluss von der Flussberechnungseinheit 14 an und führt verschiedene Prozesse aus, um Fluchtpunkte (Expansionsfokus: FOE) unter Verwendung dieser Eingangsdaten zu erhalten.
  • Die Bezugswertschätzeinheit 21 berechnet Fluchtpunkte auf der Grundlage der Bilddaten, die von der Abbildungsvorrichtung 11 aufgenommen werden. Insbesondere berechnet die Bezugswertschätzeinheit 21 Fluchtpunkte unter Verwendung der Weißlinieninformationen, die von der Weißlinienerkennungseinheit 13 übertragen werden, und der Flussinformationen, die von der Flussberechnungseinheit übertragen werden. In dem Fall beispielsweise, in dem die Weißlinieninformationen verwendet werden, schätzt die Bezugswertschätzeinheit 21 Kreuzungspunkte eines Paars weißer Linien, die um das Fahrzeug vorhanden sind, als Fluchtpunkt und speichert den Wert (Bezugsfluchtpunkt) in dem ROM. Zu dem Zeitpunkt der Versendung des Fahrzeugs ist ein Anfangswert als Fluchtpunkt in dem ROM gespeichert. Der Anfangswert wird entsprechend einem Parameter, der einen Montagezustand der Abbildungsvorrichtung 11 (beispielsweise Montagehöhe, Depressionswinkel der Abbildungsachse) repräsentiert, und einem Parameter eingestellt, der eine Abbildungsfunktion der Abbildungsvorrichtung 11 (beispielsweise die Anzahl der Pixel, Brennweite) betrifft.
  • Die Fluchtpunktlerneinheit 22 führt das Fluchtpunktlernen zum Berechnen einer stationären Verschiebung (Achsverschiebung einer Abbildungsachse X1) des Fluchtpunktes, die durch eine Änderung der Montagehöhe oder der Achsrichtung der Abbildungsvorrichtung 11 bewirkt wird, aus. Insbesondere enthält die Fluchtpunktlerneinheit 22 eine erste Lerneinheit 23 und eine zweite Lerneinheit 24. Die erste Lerneinheit 23 führt einen Lernprozess des Fluchtpunktes, der aus den Weißlinieninformationen berechnet wird, aus, und die zweite Lerneinheit 24 führt einen Lernprozess des Fluchtpunktes, der anhand der Flussinformationen berechnet wird, aus. Der jeweilige Lernwert (Fluchtpunktlernwert) der ersten Lerneinheit 23 und der zweiten Lerneinheit 24 wird in der Lernwertspeichereinheit 25 jedes Mal, wenn der Lernprozess ausgeführt wird, gespeichert und aktualisiert.
  • Die Fluchtpunktlerneinheit 22 startet ein Fluchtpunktlernen, wenn der Startschalter (beispielsweise Zündschalter) des eigenen Fahrzeugs 50 eingeschaltet wird. Gemäß der vorliegenden Ausführungsform wird unter der Annahme, dass die Montagehöhe oder die Achsrichtung der Abbildungsvorrichtung sich in Abhängigkeit von einem Lastzustand und einem Fahrzustand des Fahrzeugs ändern, das Fluchtpunktlernen aufeinanderfolgend sogar dann ausgeführt, wenn das Fluchtpunktlernen nach dem Einschalten des Startschalters einmal beendet wurde.
  • Die Lernwertspeichereinheit 25 ist beispielsweise aus einem elektrisch beschreibbaren nichtflüchtigen Speicher (beispielsweise EEPROM) aufgebaut. Die Objekterkennungsvorrichtung 10 analysiert Bilddaten unter Verwendung des Fluchtpunktes als einen Index, wodurch die Wertspeichereinheit 25 einen Fahrzustand des eigenen Fahrzeugs 50 auf der befahrenen Straße oder eine Positionsbeziehung in Bezug auf das vorausbefindliche Fahrzeug schätzt oder Fußgänger erkennt.
  • Die Weißlinienerkennung auf der Grundlage der Bilder benötigt mehr Zeit im Vergleich zu der Berechnung des optischen Flusses. Somit wird nach dem Einschalten des Startschalters des eigenen Fahrzeugs 50 das Fluchtpunktlernen des optischen Flusses früher beendet als das Fluchtpunktlernen der Weißlinienerkennung. Andererseits ist die Genauigkeit des Fluchtpunktlernens unter Verwendung der Weißlinienerkennung höher als diejenige des optischen Flusses. Gemäß der vorliegenden Ausführungsform werden nach dem Einschalten des Startschalters des eigenen Fahrzeugs 50 und bis zum Fluchtpunktlernen der Weißlinienerkennung Bilddaten unter Verwendung eines Lernwertes, der durch den optischen Fluss berechnet wird, analysiert, und nach Beendigung des Fluchtlernens der Weißlinienerkennung werden die Bilddaten unter Verwendung eines Lernwertes, der durch die Weißlinienerkennung berechnet wird, analysiert.
  • Die Radarachsverschiebungserfassungseinheit 30 weist eine Kameraobjekterfassungseinheit 31, eine Radarobjekterfassungseinheit 32, eine Achsverschiebungsinformationsberechnungseinheit 33, eine Achsverschiebungsbestimmungseinheit 34 und eine Rücksetzbestimmungseinheit 35 auf.
  • Die Kameraobjekterfassungseinheit 31 nimmt ein Bild, das von der Abbildungsvorrichtung 11 aufgenommen wird, an und erfasst ein Objekt (Kameraobjekt), das in dem Bild enthalten ist. Die Radarobjekterfassungseinheit 32 nimmt Entfernungsmessungsdaten von der Radarvorrichtung 12 an und erfasst ein Objekt (Radarobjekt), das in den Entfernungsmessungsdaten enthalten ist. Die Achsverschiebungsinformationsberechnungseinheit 33 bestimmt auf der Grundlage eines Erfassungsergebnisses der Kameraobjekterfassungseinheit 31 und eines Erfassungsergebnisses der Radarobjekterfassungseinheit 32, ob eine Lichtachsverschiebung in der Radarvorrichtung 12 aufgetreten ist.
  • Insbesondere nimmt die Achsverschiebungsinformationsberechnungseinheit 33 Informationen über das Kameraobjekt, das von der Kameraobjekterfassungseinheit 31 erfasst wird, und Informationen über das Radarobjekt, das von der Radarobjekterfassungseinheit 32 erfasst wird, an. Die Achsverschiebungsinformationsberechnungseinheit 33 berechnet einen Kameraobjekterfassungszähler CA und einen Achsverschiebungsbestimmungszähler CJ. Genauer gesagt wird der Kameraobjekterfassungszähler CA mit einer vorbestimmten Periode in dem Fall erhöht, in dem ein Objekt (beispielsweise vorausbefindliches Fahrzeug) vor dem eigenen Fahrzeug 50 vorhanden ist und mindestens die Kameraobjekterfassungseinheit 31 ein Zielobjekt, das dem Objekt entspricht, erfasst hat. Außerdem wird in dem Fall, in dem die Radarobjekterfassungseinheit 32 ein Zielobjekt, das dasselbe Objekt wie das Zielobjekt sein kann, das von der Kameraobjekterfassungseinheit 31 erfasst wird, erfasst hat, der Achsverschiebungsbestimmungszähler CJ erhöht. Der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ entsprechen Informationen über eine Lichtachsverschiebung.
  • Die Achsverschiebungsbestimmungseinheit 34 bestimmt auf der Grundlage des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ, die von der Achsverschiebungsinformationsberechnungseinheit 33 übertragen werden, ob eine Lichtachsverschiebung der Radarvorrichtung 12 aufgetreten ist. Insbesondere wird das Verhältnis des Achsverschiebungsbestimmungszählers CJ zu dem Kameraobjekterfassungszähler CA berechnet, und das Verhältnis zwischen CJ und CA wird mit dem Bestimmungswert THA2 verglichen, wodurch bestimmt wird, ob die Lichtachsverschiebung der Radarvorrichtung 12 aufgetreten ist. Eine Lichtachsverschiebung wird bestimmt, wenn die Bedingung CJ/CA < THA2 erfüllt ist. Die Rücksetzbestimmungseinheit 35 bestimmt, ob der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ an die Achsverschiebungsbestimmungseinheit 34 ausgegeben werden, oder sperrt die Zähler CA und CB als ungültige Daten.
  • Im Folgenden wird ein Rücksetzbestimmungsprozess, der von der Rücksetzbestimmungseinheit 35 ausgeführt wird, genauer beschrieben. Der Rücksetzbestimmungsprozess wird für den Kameraobjekterfassungszähler CA und den Achsverschiebungsbestimmungszähler CJ durchgeführt. Die Rücksetzbestimmungseinheit 35 nimmt den Fluchtpunktlernwert von der Lernwertspeichereinheit 25 an und bestimmt auf der Grundlage des Fluchtpunktlernwertes, der von der Rücksetzbestimmungseinheit 35 angenommen wird, ob ein Zurücksetzen des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ notwendig ist.
  • Insbesondere setzt die Rücksetzbestimmungseinheit 35 auf der Grundlage des Fluchtpunktlernwertes, der in der Lernwertspeichereinheit 25 gespeichert ist, ein Vergangenheits-FOE-Guthaben-Flag Ftr auf 0 oder 1 und gibt das Flag Ftr, das somit eingestellt wurde, an die Achsverschiebungsinformationsberechnungseinheit 33 aus. Das Vergangenheits-FOE-Guthaben-Flag Ftr bildet Informationen, die repräsentieren, ob ein Zurücksetzen des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ notwendig ist. Die Achsverschiebungsinformationsberechnungseinheit 33 hält Messwerte des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ, wenn das Vergangenheits-FOE-Guthaben-Flag Ftr, das von der Achsverschiebungsinformationsberechnungseinheit 33 angenommen wird, gleich 1 ist. Wenn andererseits das Vergangenheits-FOE-Guthaben-Flag Ftr gleich 0 ist, setzt die Achsverschiebungsinformationsberechnungseinheit 33 den Kameraobjekterfassungszähler CA und den Achsverschiebungsbestimmungszähler CJ auf 0 zurück und nimmt die Messung der Zähler wieder auf. Man beachte, dass die Achsverschiebungsinformationsberechnungseinheit 33 und die Rücksetzbestimmungseinheit 35 eine Sperreinrichtung bilden.
  • Der Rücksetzbestimmungsprozess wird aus dem folgenden Grund durchgeführt. In dem Fall, in dem eine Achsverschiebung in der Abbildungsachse X1 aufgetreten ist, wird in Abhängigkeit von dem Winkel der Achsverschiebung der Abstand zu dem Objekt, der durch die Bilderkennung erkannt wird, fehlerhaft gelesen. 3 zeigt schematisch eine Abstandsverschiebung des Kameraobjektes, die durch die Achsverschiebung der Abbildungsachse X1 verursacht wird. Es wird angenommen, dass eine Lichtachsverschiebung in 3 nicht aufgetreten ist.
  • Wenn das Erfassungsergebnis der Abbildungsvorrichtung 11 mit demjenigen der Radarvorrichtung 12 für die erfassten Abstände von dem eigenen Fahrzeug 50 zu demselben Objekt (vorausbefindliches Fahrzeug 55 in 3) verglichen wird, wird in dem Fall, in dem keine Achsverschiebung in der Abbildungsachse X1 aufgetreten ist, die Differenz Δd1 zwischen den erfassten Abständen relativ klein. Im Gegensatz dazu wird in dem Fall, in dem die Abbildungsachse X1 um einen vorbestimmten Winkel θ3 gegenüber einer horizontalen Position in Bezug auf beispielsweise die befahrene Fahrstraße nach oben verschoben ist, die Differenz Δd2 zwischen den erfassten Abständen relativ groß. In diesem Fall erfassen die Abbildungsvorrichtung 11 und die Radarvorrichtung 12 trotzdem dasselbe Objekt, und der Abbildungsprozess erkennt möglicherweise die beiden Objekte (Kameraobjekt und Radarobjekt) als unterschiedliche Objekte. In diesem Fall verringert sich die Zuverlässigkeit des Achsverschiebungsbestimmungszählers CJ, so dass eine fehlerhafte Bestimmung in dem Bestimmungsprozess einer Radarachsverschiebung bewirkt werden könnte. Die Verschiebung des erfassten Abstandes aufgrund einer derartigen Abbildungsachsverschiebung wird durch das Fluchtpunktlernen (TA2 → TA1) verbessert.
  • Wenn der Betrieb des Fahrzeugs gestartet wird, ändert sich ein Lernzustand des Fluchtpunktes von einem Zustand eines unvollständigen Lernens sowohl für den optischen Fluss als auch die Weißlinienerkennung in einen Zustand eines vollständigen Lernens für den optischen Fluss. Dann ändert sich der Zustand in einen Zustand eines vollständigen Lernens. Außerdem kann sich in Abhängigkeit von diesen Änderungen des Lernzustands eine Zuverlässigkeit des Lernzustands der Fluchtpunkte, das heißt eine Größe einer Verschiebung in Bezug auf den wahren Wert der Fluchtpunkte, nach dem Starten des Bestimmungsprozesses einer Radarachsverschiebung ändern. Die Zuverlässigkeit unterscheidet sich beispielsweise zwischen einem Zustand, in dem das Fluchtpunktlernen durch die Weißlinienerkennung unvollständig ist, und einem Zustand, in dem das Fluchtpunktlernen vollständig ist. In dem ersteren Fall ist die Größe einer Verschiebung in Bezug auf den wahren Wert größer als in dem letzteren Fall. Somit verringert sich die Zuverlässigkeit des Lernergebnisses.
  • Gemäß der vorliegenden Ausführungsform werden der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ in Abhängigkeit von dem Lernergebnis des Fluchtpunktlernens gesperrt. Nach Aktivierung des Bestimmungsprozesses einer Radarachsverschiebung wird insbesondere, wenn sich die Zuverlässigkeit des Lernergebnisses der Fluchtpunkte nicht ändert, ein Aufwärtszählbetrieb des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ aufrechterhalten. Nach einem Starten des Bestimmungsprozesses einer Radarachsverschiebung werden andererseits, wenn sich die Zuverlässigkeit des Lernergebnisses des Fluchtpunktes ändert, der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ zurückgesetzt, und das Zählen des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ wird wiederaufgenommen.
  • Im Folgenden werden mit Bezug auf das Zeitdiagramm der 4 spezielle Aspekte des Rücksetzbestimmungsprozesses auf der Grundlage des Lernergebnisses des Fluchtpunktes für die Zähler CA und CJ beschrieben. In 4 stellt (a) einen Trend eines Ein/Aus-Zustands des Zündschalters (IG-Schalter) dar, (b) stellt einen Trend der Zählerwerte des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ dar, und (c) stellt einen Trend des Lernzustands des Fluchtpunktes dar. In 4 wird ein Fall angenommen, bei dem ein vorausbefindliches Fahrzeug zu einem Zeitpunkt vorhanden ist, zu dem der IG-Schalter eingeschaltet wird.
  • Wenn zu einem Zeitpunkt t10 der IG-Schalter eingeschaltet wird, startet der Kameraobjekterfassungszähler CA seinen Aufwärtszählbetrieb. Wenn ein Radarobjekt, das dasselbe Objekt wie das Kameraobjekt sein kann, erfasst wird, wird der Achsverschiebungsbestimmungszähler CJ um eine Größe erhöht, die der Anzahl der Erfassungen (Erfassungshäufigkeit) entspricht. Da in 4 eine Lichtachsverschiebung in der Radarvorrichtung 12 aufgetreten ist, ist der Zählerwert CJ < CA.
  • Unmittelbar nach dem Einschalten des IG-Schalters sind das Fluchtpunktlernen des optischen Flusses und der Weißlinienerkennung nicht beendet, so dass die Lernwertspeichereinheit 25 den Lernwert, der gespeichert wurde, als die vorherige Fahrt des Fahrzeugs beendet wurde, aufrecht hält. Daher wird während der Zeitdauer von t10 bis t11, bevor das Fluchtpunktlernen auf der Grundlage des optischen Flusses startet, ein Abbildungsprozess unter Verwendung eines vorherigen Lernwertes FOE_A durchgeführt.
  • Zu dem Zeitpunkt t11, zu dem eine vorbestimmte Zeitdauer T1 nach dem Einschalten des IG-Schalters verstrichen ist, wird ein Befehl ausgegeben, um das Fluchtpunktlernen auf der Grundlage des optischen Flusses zu starten. Man beachte, dass die vorbestimmte Zeitdauer T1 (beispielsweise mehrere zehn Sekunden) derart eingestellt wird, dass eine Zeit, die zum Erlangen von Bilddaten benötigt wird, die zum Berechnen des optischen Flusses benötigt werden, erfüllt ist.
  • In dem Fall, in dem der Fluchtpunkt, der entsprechend dem optischen Fluss berechnet wird, sich in Bezug auf den vorherigen Lernwert FOE_A signifikant ändert, wird geschätzt, dass sich die Zuverlässigkeit des Lernergebnisses des Fluchtpunktes nach dem Starten des Aufwärtszählbetriebs des Kameraobjekterfassungszählers CA geändert hat. In diesem Fall werden gemäß der vorliegenden Ausführungsform der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ auf null zurückgesetzt, und der Aufwärtszählbetriebs wird von Beginn an neu gestartet, um die Radarachsverschiebung zu bestimmen. Insbesondere berechnet der Prozess in der vorliegenden Ausführungsform zu einem Zeitpunkt t12, bei dem der Fluchtpunkt (FOE_C) entsprechend dem optischen Fluss stabil wird, einen Absolutwert ΔFOE(C – A) einer Verschiebungsgröße zwischen dem vorherigen Lernwert FOE_A und dem Fluchtpunkt FOE_C entsprechend dem optischen Fluss und bestimmt auf der Grundlage des berechneten ΔFOE(C – A), dass sich die Zuverlässigkeit des Lernergebnisses des Fluchtpunktes geändert hat.
  • Ein ähnlicher Prozess wird durchgeführt, wenn ein Fluchtpunktlernen der Weißlinienerkennung zu dem Zeitpunkt t13 beendet ist, bei dem eine vorbestimmte Zeit T2 (beispielsweise einige Minuten) seit einem Zeitpunkt verstrichen ist, zu dem der Startbefehl ausgegeben wurde, um das Fluchtpunktlernen des optischen Flusses zu starten. Insbesondere wenn entsprechend einem Absolutwert ΔFOE(D – C) einer Verschiebungsgröße zwischen dem Fluchtpunkt FOE_C des optischen Flusses und dem Fluchtpunkt FOE_D der Weißlinienerkennung bestimmt wird, dass die sich Zuverlässigkeit eines Lernergebnisses des Fluchtpunktes geändert hat, werden der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ auf null zurückgesetzt, und der Aufwärtszählbetrieb wird von Beginn an neu gestartet, um die Radarachsverschiebung zu bestimmen.
  • Im Folgenden werden mit Bezug auf die Flussdiagramme der 5 und 6 Prozeduren beschrieben, die von der Radarachsverschiebungserfassungseinheit gemäß der vorliegenden Ausführungsform ausgeführt werden. Diese Prozeduren werden wiederholt mit einer vorbestimmten Periode von der CPU in der Objekterkennungsvorrichtung 10 ausgeführt.
  • Zunächst wird ein Bestimmungsprozess einer Radarachsverschiebung, der in 5 gezeigt ist, beschrieben. In 5 bestimmt der Prozess in Schritt S101, ob das Vergangenheits-FOE-Guthaben-Flag Ftr auf null gesetzt ist. Wenn Ftr = 0 gilt, schreitet der Prozess zum Schritt S102 und setzt den Kameraobjekterfassungszähler CA und den Achsverschiebungsbestimmungszähler CJ auf null zurück. Wenn andererseits Ftr = 1 gilt, schreitet der Prozess zum Schritt S103, ohne den Prozess des Schrittes S102 auszuführen.
  • In Schritt S103 wird ein Bild, das von der Abbildungsvorrichtung 11 aufgenommen wird, angenommen, und der Prozess bestimmt, ob ein Objekt (Kameraobjekt) in dem angenommenen Bild enthalten ist. Wenn kein Kameraobjekt erfasst wird, beendet der Prozess die Prozedur, und wenn ein Kameraobjekt erfasst wird, schreitet der Prozess zum Schritt S104 und erhöht den Kameraobjekterfassungszähler CA.
  • In dem anschließenden Schritt S105 bestimmt der Prozess, ob die Radarvorrichtung 12 dasselbe Objekt wie das Kameraobjekt erfasst hat. Wenn die Radarvorrichtung das Objekt erfasst hat, schreitet der Prozess zum Schritt 106 und erhöht den Achsverschiebungsbestimmungszähler CJ. Wenn andererseits keine Objekte erfasst wurden, schreitet der Prozess zum Schritt 107, ohne den Schritt S106 auszuführen.
  • In Schritt S107 bestimmt der Prozess, ob der Kameraobjekterfassungszähler CA größer als ein Bestimmungswert THA1 (beispielsweise mehrere tausend Male) ist. Wenn der Prozess das Vorliegen der Bedingung CA > THA1 bestimmt, schreitet er zum Schritt S108 und bestimmt, ob das Verhältnis des Achsverschiebungsbestimmungszählers CJ zu dem Kameraobjekterfassungszähler CA kleiner als ein Bestimmungswert THA2 ist. Wenn das Verhältnis CJ/CA gleich oder größer als der Bestimmungswert THA2 ist, schreitet der Prozess zum Schritt 110 und setzt den Kameraobjekterfassungszähler CA und den Achsverschiebungsbestimmungszähler CJ auf null zurück. Wenn andererseits das Verhältnis CJ/CA kleiner als der Bestimmungswert THA2 ist, schreitet der Prozess zum Schritt S109, bestimmt, dass eine Lichtachsverschiebung der Radarvorrichtung 12 aufgetreten ist, und speichert das Bestimmungsergebnis. Danach schreitet der Prozess zum Schritt S110, setzt den Kameraobjekterfassungszähler CA und den Achsverschiebungsbestimmungszähler CJ zurück und beendet die Prozedur.
  • Im Folgenden wird ein Rücksetzbestimmungsprozess, der in 6 gezeigt ist, beschrieben. In 6 bestimmt der Prozess in Schritt S201, ob das Fluchtpunktlernen der Weißlinienerkennung beendet ist. Wenn das Fluchtpunktlernen der Weißlinienerkennung nicht beendet ist, schreitet der Prozess zum Schritt S202, und bestimmt, ob das Fluchtpunktlernen des optischen Flusses beendet ist. Hierbei bestimmt der Prozess, ob der Fluchtpunkt, der durch den optischen Fluss berechnet wurde, einen stabilen Wert aufweist, und berechnet den Fluchtpunktlernwert FOE_C auf der Grundlage einer Streuung in der vertikalen Oberfläche der Fluchtpunkte derart, dass das Ergebnis der Bestimmung positiv ist, wenn die Streuung kleiner als ein vorbestimmter Wert ist. Wenn der Fluchtpunkt, der anhand des optischen Flusses berechnet wird, als stabil bestimmt wird und der Fluchtpunktlernwert (FOE_C) auf der Grundlage des optischen Flusses berechnet ist, schreitet der Prozess zum Schritt S203. Im Schritt S203 bestimmt der Prozess, ob ein Absolutwert ΔFOE(C – A) einer Verschiebungsgröße zwischen dem Anfangswert oder dem vorherigen Lernwert (FOE_A) und dem Fluchtpunktlernwert (FOE_C) entsprechend dem optischen Fluss kleiner als ein Bestimmungswert THF1 ist (Zuverlässigkeitsbestimmungseinrichtung). Wenn die Bedingung ΔFOE(C – A) < THF1 erfüllt ist, schreitet der Prozess zum Schritt S204 und setzt das Vergangenheits-FOE-Guthaben-Flag Ftr auf 1. Wenn der Prozess bestimmt, dass die Bedingung ΔFOE(C – A) < THF1 nicht erfüllt ist, schreitet er zum Schritt S205 und setzt das Vergangenheits-FOE-Guthaben-Flag Ftr auf 0.
  • Wenn das Fluchtpunktlernen des optischen Flusses nicht beendet ist und bevor der Fluchtpunkt stabil wird, ist das Ergebnis der Bestimmung in Schritt S202 negativ, und der Prozess schreitet zum Schritt S204. Da in diesem Fall das Vergangenheits-FOE-Guthaben-Flag Ftr auf 1 gesetzt ist, wird ein Rücksetzen eines Zählers nicht durchgeführt.
  • Wenn das Fluchtpunktlernen der Weißlinienerkennung beendet ist, ist das Ergebnis der Bestimmung in S201 positiv, und der Prozess schreitet zum Schritt S206. In Schritt S206 bestimmt der Prozess, ob ein Absolutwert ΔFOE(D – C) einer Verschiebungsgröße zwischen dem Fluchtpunkt FOE_C des optischen Flusses und dem Fluchtpunkt FOE-D der Weißlinienerkennung kleiner als ein Bestimmungswert THF2 ist (Zuverlässigkeitsbestimmungseinrichtung). Wenn dann die Bedingung ΔFOE(D – C) < THF2 erfüllt ist, schreitet der Prozess zum Schritt S207 und setzt das Vergangenheits-FOE-Guthaben-Flag Ftr auf 1. Wenn andererseits der Prozess bestimmt, dass die Bedingung ΔFOE(D – C) < THF2 nicht erfüllt ist, schreitet der Prozess zum Schritt S208 und setzt das Vergangenheits-FOE-Guthaben-Flag Ftr auf 0.
  • 7 ist ein Zeitdiagramm, das einen Rücksetzzeitpunkt in Abhängigkeit von einem Lernzustand des Fluchtpunktes zeigt. In 7 repräsentiert (a) einen Fall, bei dem der Anfangswert (oder vorheriger Lernwert) in Bezug auf den wahren Wert richtig ist und der Fluchtpunkt auf der Grundlage des optischen Flusses gegenüber dem wahren Wert verschoben ist, und (b) repräsentiert einen Fall, bei dem ein Anfangswert (oder vorheriger Lernwert) gegenüber dem wahren Wert verschoben ist und der Fluchtpunkt, der auf dem optischen Fluss basiert, in Bezug auf den optischen Fluss richtig ist, und (c) und (d) repräsentieren einen Fall, bei dem der Anfangswert (oder vorheriger Lernwert) und der Fluchtpunkt, der auf dem optischen Fluss basiert, verschoben sind. Man beachte, dass der Fall (c) annimmt, dass eine Größe einer Verschiebung in Bezug auf den wahren Wert des Fluchtpunktes des optischen Flusses kleiner als in dem Fall (d) ist. In 7 ist A ein Einschaltzeitpunkt des Zündschalters, B ist ein Startzeitpunkt des Fluchtpunktlernens des optischen Flusses, C ist ein Zeitpunkt, zu dem der Fluchtpunkt, der auf dem optischen Fluss basiert, stabil ist, und D ist ein Beendigungszeitpunkt des Fluchtpunktlernens basierend auf der Weißlinienerkennung, wobei diese jeweils A bis D in 4 entsprechen.
  • Der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ werden zu dem Zeitpunkt C, zu dem der Fluchtpunkt des optischen Flusses stabil wird, oder zu dem Zeitpunkt D, zu dem das Fluchtpunktlernen der Weißlinienerkennung beendet ist, zurückgesetzt. In den Szenen (a) und (c) sind beispielsweise ein Absolutwert ΔFOE(C – A) und ein Absolutwert ΔFOE(D – C) groß, wobei ΔFOE(C – A) als eine Verschiebungsgröße zwischen dem vorherigen Lernwert FOE_A und dem Fluchtpunkt FOE_C entsprechend dem optischen Fluss, die groß ist, definiert ist, und ΔFOE(D – C) als eine Verschiebungsgröße zwischen dem Fluchtpunkt FOE_C des optischen Flusses und dem Fluchtpunkt FOE_D der Weißlinienerkennung definiert ist. In diesem Fall werden die Zähler CA und CJ zu dem Zeitpunkt C und dem Zeitpunkt D zurückgesetzt. In der Szene (b) werden die Zähler CA und CJ nur zu dem Zeitpunkt C zurückgesetzt, und in der Szene (d) werden die Zähler CA und CJ nur zu dem Zeitpunkt D zurückgesetzt.
  • Gemäß den oben beschrieben Ausführungsformen können die folgenden positiven Wirkungen erzielt werden.
  • Die Konfiguration gemäß den Ausführungsformen sperrt die Informationen über die Verschiebung der Lichtachse X2 der Radarvorrichtung 12, die bis zu dem derzeitigen Zeitpunkt erlangt wurden, auf der Grundlage eines Ergebnisses des Fluchtpunktlernens, das eine Größe einer Achsverschiebung der Abbildungsachse X1 der Abbildungsvorrichtung 11 lernt. In dem Fall, in dem unter Verwendung eines Objekterfassungsergebnisses der Abbildungsvorrichtung 11 bestimmt wird, ob eine Lichtachsverschiebung der Radarvorrichtung 12 aufgetreten ist, ändert sich die Bestimmungsgenauigkeit der Lichtachsverschiebung in der Radarvorrichtung 12 in Abhängigkeit von dem Lernergebnis der Größe einer Achsverschiebung der Abbildungsvorrichtung 11. Diesbezüglich kann gemäß den oben beschriebenen Konfigurationen eine fehlerhafte Bestimmung in dem Prozess zum Bestimmen, ob eine Lichtachsverschiebung aufgetreten ist, verhindert werden.
  • Insbesondere sperrt die Konfiguration gemäß den Ausführungsformen die Zähler CA und CJ, die Informationen über die Lichtachsverschiebung angeben, wenn nach Aktivierung des Bestimmungsprozesses einer Radarachsverschiebung eine Änderung der Zuverlässigkeit des Lernergebnisses des Fluchtpunktes in Bezug auf den wahren Wert erfasst wird. Nach Aktivierung des Bestimmungsprozesses einer Radarachsverschiebung verringert sich die Genauigkeit des Bestimmungsprozesses einer Radarachsverschiebung, wenn sich die Zuverlässigkeit in dem Lernergebnis des Fluchtpunktlernens ändert und wenn die Bildverarbeitung auf der Grundlage des Fluchtpunktes durchgeführt wird, der einen großen Verschiebungswert in Bezug auf den wahren Wert aufweist. Dementsprechend kann eine fehlerhafte Bestimmung bewirkt werden. Diesbezüglich wird die Konfiguration verwendet, um die Informationen über die Radarachsverschiebung, die erlangt wurden, als das Ergebnis des Fluchtpunktlernens unzuverlässig war, zu sperren. Somit kann eine fehlerhafte Bestimmung des Bestimmungsprozesses einer Radarachsverschiebung soweit wie möglich vermieden werden.
  • Das Fluchtpunktlernen der Weißlinienerkennung benötigt eine bestimmte Zeitdauer (beispielsweise mehrere Minuten bis mehrere zehn Minuten), um das Lernen zu beenden, während die Zuverlässigkeit des Fluchtpunktlernens hoch ist. Somit ist es während der Periode, bis das Fluchtpunktlernen der Weißlinienerkennung beendet ist, notwendig, eine Bildverarbeitung unter Verwendung eines Lernwertes, der bei der vorherigen Fahrzeugfahrt verwendet wurde, oder eines Lernwertes, der durch einen Lernprozess erlangt wurde, der eine niedrigere Zuverlässigkeit als derjenige einer Weißlinienerkennung aufweist, beispielsweise eines Lernwertes des Fluchtpunktlernens basierend auf dem optischen Fluss, durchzuführen. Andererseits werden gemäß dem Bestimmungsprozess einer Radarachsverschiebung gemäß der vorliegenden Ausführungsform Bilddaten verwendet, die von der Abbildungsvorrichtung 11 aufgenommen werden. Wenn der gelernte Fluchtpunkt in Bezug auf den wahren Wert verschoben ist, kann daher eine fehlerhafte Bestimmung bewirkt werden. Diesbezüglich wird eine Konfiguration verwendet, bei der Informationen über die Lichtachse auf der Grundlage des Lernergebnisses des Fluchtpunktes, das heißt der Zuverlässigkeit des Fluchtpunktlernergebnisses, zu einem Zeitpunkt gesperrt, zu dem das Fluchtpunktlernen der Weißlinienerkennung beendet ist, nachdem der Antrieb des Fahrzeugs gestartet wurde. Gemäß dieser Konfiguration können die Zähler CA und CJ in dem Bestimmungsprozess einer Radarachsverschiebung zu einem geeigneten Zeitpunkt gesperrt werden, was eine fehlerhafte Bestimmung minimiert, die durch eine unzureichende Lerngenauigkeit des Fluchtpunktlernens verursacht wird. Wenn die Genauigkeit für das Fluchtpunktlernen ausreichend gewährleistet wird, kann der Bestimmungsprozess einer Radarachsverschiebung außerdem sogar durchgeführt werden, bevor das Fluchtpunktlernen der Weißlinienerkennung beendet ist.
  • In dem Fluchtpunktlernen des optischen Flusses ist es möglich, das Lernen früher nach einem Starten des Antriebs des Fahrzeugs zu beenden. Dessen Lerngenauigkeit ist jedoch niedriger als bei der Weißlinienerkennung, so dass eine Verschiebung in Bezug auf den wahren Wert auftreten kann. Da gemäß der vorliegenden Ausführungsform die Zähler CA und CJ in dem Fall gesperrt werden, in dem die Zähler CA und CJ bei einer unzureichenden Zuverlässigkeit des Fluchtpunktlernergebnisses gemessen werden, kann eine fehlerhafte Bestimmung der Radarachsverschiebung sogar minimiert werden, bevor das Fluchtpunktlernen der Weißlinienerkennung beendet ist.
  • Gemäß der vorliegenden Ausführungsform wird eine Konfiguration verwendet, bei der eine Achsverschiebung der Radarvorrichtung 12 auf der Grundlage eines Objekterfassungsergebnisses der Abbildungsvorrichtung 11 und der Radarvorrichtung 12 in einem Fahrzeug verwendet wird, das die Abbildungsvorrichtung 11 und eine Radarvorrichtung 12 als eine Objekterfassungseinrichtung aufweist. Da der Erfassungsbereich und die Erfassungsgenauigkeit eines Objektes für die Abbildungsvorrichtung 11 und die Radarvorrichtung 12 unterschiedlich sind, ergänzen sich ihre Schwächen bzw. heben sich auf, wenn diese zur Objekterfassung montiert sind. Außerdem werden die Abbildungsvorrichtung 11 und die Radarvorrichtung 12 kombiniert, wodurch die Lichtachse der Radarvorrichtung 12 unter Verwendung der Abbildungsvorrichtung 11 und der Bilddaten erfasst werden kann.
  • Die vorliegende Erfindung ist nicht auf die oben beschriebenen Ausführungsformen beschränkt und kann auf die folgende Weise ausgeführt werden.
  • In den oben beschriebenen Ausführungsformen werden, wenn sich die Zuverlässigkeit des Lernergebnisses des Fluchtpunktes geändert hat und die Informationen (Kameraobjekterfassungszähler CA und Achsverschiebungsbestimmungszähler CJ) über die Lichtachsverschiebung zurückgesetzt werden, Inhalte des Kameraobjekterfassungszählers CA und des Achsverschiebungsbestimmungszählers CJ gehalten. Nach dem Zurücksetzen der Zähler CA und CJ und wenn die Zuverlässigkeit für das Ergebnis des Fluchtpunktlernens durch eine Messperiode der zurückgesetzten Zähler ausreichend gewährleistet wurde, wird ein anschließender Bestimmungsprozess einer Radarachsverschiebung unter Verwendung der Informationen, die vor dem Zurücksetzen erlangt wurden, durchgeführt. Gemäß der oben beschriebenen Konfiguration kann durch Verwenden der Zähler CA und CJ, die in einem Zustand erlangt werden, in dem die Zuverlässigkeit des Lernergebnisses gewährleistet wird, eine Zeit, die benötigt wird, um eine Verschiebung der Achse der Radarvorrichtung 12 zu bestimmen, verkürzt werden.
  • 8 ist ein Zeitdiagramm, das eine spezielle Prozedur des Rücksetzbestimmungsprozesses in der oben beschriebenen Konfiguration zeigt. In 8 sind Teile der Diagramme (a) bis (c) dieselben wie in 4. In 8 wird ein Fall angenommen, bei dem der Absolutwert ΔFOE(C – A) groß ist, wobei ΔFOE(C – A) eine Verschiebungsgröße zwischen dem vorherigen Lernwert FOE_A und dem Fluchtpunkt FOE_C entsprechend dem optischen Fluss ist. In diesem Fall werden zu dem Zeitpunkt t22 der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ gespeichert (Informationshalteeinrichtung). Anschließend werden der Kameraobjekterfassungszähler CA und der Achsverschiebungsbestimmungszähler CJ zurückgesetzt (Sperreinrichtung). Wenn danach zu dem Zeitpunkt t23 das Fluchtpunktlernen der Weißlinienerkennung beendet wird und die Zuverlässigkeit für das Ergebnis des Fluchtpunktlernens, das vor dem Zeitpunkt t22 durchgeführt wurde, ausreichend gewährleistet wurde, werden die Zähler, die zu dem Zeitpunkt 22 gespeichert wurden, zu dem Zeitpunkt t23 wieder aufgenommen. Hier wird beispielsweise ”die Zuverlässigkeit wurde für das Ergebnis des Fluchtpunktlernens, das vor dem Zeitpunkt t22 durchgeführt wurde, ausreichend gewährleistet” auf der Grundlage des Lernergebnisses des Fluchtpunktlernens erfasst. Insbesondere wird bestimmt, dass die Zuverlässigkeit des Lernergebnisses des Fluchtpunktlernens vor dem Zeitpunkt t22 ausreichend gewährleistet wurde, wenn der Absolutwert ΔFOE(D – C) größer als der Bestimmungswert THF2 ist und ein Absolutwert ΔFOE(D – A) kleiner als ein Bestimmungswert THF3 ist, wobei ΔFOE(D – C) ein Absolutwert einer Verschiebungsgröße zwischen dem Fluchtpunkt (FOE_C) des optischen Flusses und dem Fluchtpunkt FOE_D der Weißlinienerkennung ist und ΔFOE(D – A) ein Absolutwert einer Verschiebungsgröße zwischen einem vorherigen Lernwert FOE_A und dem Fluchtpunktlernwert FOE_D der Weißlinienerkennung ist. In diesem Fall muss zu dem Zeitpunkt t23, zu dem das Fluchtpunktlernen beendet ist, wird die Achsverschiebungsbestimmung der Radarvorrichtung 12 nicht notwendigerweise wieder aufgenommen, wodurch früh bestimmt wird, ob eine Achsverschiebung in der Radarvorrichtung 12 aufgetreten ist.
  • Gemäß der oben beschriebenen Ausführungsform wird gemäß einem Beispiel ein Radarachsverschiebungsbestimmungsprozess beschrieben, bei dem der Radarachsverschiebungsbestimmungsprozess während einer Zeitdauer ab dem Einschalten des Zündschalters bis zur Beendigung des Fluchtpunktlernens durchgeführt wird. Für die vorliegende Erfindung kann jedoch ein Radarachsverschiebungsbestimmungsprozess während einer Zeitdauer nach Beendigung des Fluchtpunktlernens der Weißlinienerkennung durchgeführt werden. Das Fluchtpunktlernen der Weißlinienerkennung weist eine hohe Genauigkeit auf, und wenn das Lernen einmal beendet ist, ist eine Änderung des Lernwertes relativ gering. In Abhängigkeit von einer Änderung eines Lastzustands und eines Fahrzustands des Fahrzeugs ändert sich jedoch eine Achsrichtung der Abbildungsachse X1, so dass die Position des Fluchtpunktes sich wahrscheinlich ändert. Sogar in einem Radarachsverschiebungsbestimmungsprozess, der nach Beendigung des Fluchtpunktlernens der Weißlinienerkennung durchgeführt wird, werden somit Informationen (Zähler) über die Lichtachsverschiebung auf der Grundlage des Lernergebnisses des Fluchtpunktlernens gesperrt, wodurch eine fehlerhafte Bestimmung in dem Radarachsverschiebungsbestimmungsprozess der Radarvorrichtung 12 verhindert werden kann.
  • Die oben beschriebenen Ausführungsformen sind für eine Konfiguration ausgelegt, bei der das Fluchtpunktlernen basierend auf dem optischen Fluss und das Fluchtpunktlernen basierend auf der Weißlinienerkennung durchgeführt werden. Es kann jedoch eine Konfiguration des Fluchtpunktlernens basierend entweder auf dem optischen Fluss oder der Weißlinienerkennung verwendet werden. In dem Fall beispielsweise, in dem das Fluchtpunktlernen des optischen Flusses nicht durchgeführt wird, ist, wenn auf 4 Bezug genommen wird, der Zählerrücksetzzeitpunkt nur ein Zeitpunkt, zu dem das Fluchtpunktlernen der Weißlinienerkennung beendet ist (D).
  • Eine Achsverschiebungsbestimmungseinrichtung zum Bestimmen einer Achsverschiebung der zweiten Objekterfassungseinrichtung ist nicht auf die oben beschriebenen Konfigurationen beschränkt, solange wie die Achsverschiebung auf der Grundlage des Objekterfassungsergebnisses mittels der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung bestimmt wird. Es kann beispielsweise eine Konfiguration verwendet werden, bei der eine Achsverschiebung der Radarvorrichtung 12 durch Erfassung auf der Grundlage des Fluchtpunktes, der unter Verwendung eines Bildes erfasst wird, das aufgenommen wird, wenn das Fahrzeug fährt, und der Übertragungsrichtung des Signals, das von der Radarvorrichtung 12 übertragen bzw. ausgesendet wird, eines Fehlers zwischen der Übertragungsrichtung des Signals und einer graden Richtung des Fahrzeugs bestimmt wird.
  • Gemäß den oben beschriebenen Ausführungsformen wird als eine Zuverlässigkeitsbestimmungseinrichtung, bei der eine Änderung der Zuverlässigkeit des Lernergebnisses des Fluchtpunktlernens erfasst wird, nachdem der Radarachsverschiebungsbestimmungsprozess gestartet wurde, eine Konfiguration verwendet, bei der eine Änderung des Niveaus des Fluchtpunktlernwertes erfasst wird. Insbesondere werden ein Absolutwert ΔFOE(C – A), der eine Verschiebungsgröße zwischen dem vorherigen Lernwert FOE_A und dem Fluchtpunkt FOE_C entsprechend dem optischen Fluss ist, und ein Absolutwert ΔFOE(D – C), der eine Verschiebungsgröße zwischen dem Fluchtpunkt FOE_C des optischen Flusses und dem Fluchtpunkt (FOE_D) ist, mit einem Bestimmungswert verglichen, wodurch eine Änderung der Zuverlässigkeit erfasst wird. Die Zuverlässigkeitsbestimmungseinrichtung ist nicht auf diese Konfiguration beschränkt. Die Zuverlässigkeit kann beispielsweise auf der Grundlage eines Grades einer Änderung (Differentialwert) des Fluchtpunktlernwertes erfasst werden.
  • Gemäß den oben beschriebenen Ausführungsformen kann eine Konfiguration verwendet werden, bei der ein Achsverschiebungsbestimmungsergebnis entsprechend einem Verhältnis CJ/CA, das heißt ein Bestimmungsergebnis, dass eine Lichtachsverschiebung vorhanden ist, auf der Grundlage des Ergebnisses eines Fluchtpunktlernens nach einem Erfassen einer Lichtachsverschiebung auf der Grundlage des Verhältnisses CJ/CA gesperrt wird. In diesem Fall entspricht das Bestimmungsergebnis der Achsverschiebung basierend auf dem Verhältnis CJ/CA ”Informationen über eine Achsverschiebung der zweiten Objekterfassungseinrichtung”.
  • Gemäß den oben beschrieben Ausführungsformen wird ein Fall beschrieben, bei dem die erste Objekterfassungseinrichtung der Abbildungsvorrichtung 1 entspricht und die zweite Objekterfassungseinrichtung der Radarvorrichtung 12 entspricht. Die Kombination aus der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung ist jedoch nicht auf die oben beschriebene Kombination beschränkt. Die vorliegende Erfindung kann beispielsweise für ein System verwendet werden, das mehrere Radarvorrichtungen (erste Radarvorrichtung, zweite Radarvorrichtung) als erste Objekterfassungseinrichtung und zweite Objekterfassungseinrichtung aufweist. Insbesondere werden in einer Konfiguration, die bestimmt, ob eine Achsverschiebung einer Lichtachse in der zweiten Radarvorrichtung basierend auf dem Objekterfassungsergebnis der ersten und zweiten Radarvorrichtungen durchführt, Informationen über eine Achsverschiebung der zweiten Radarvorrichtung auf der Grundlage eines Lernergebnisses einer Größe einer Achsverschiebung der Lichtachse in der ersten Radarvorrichtung gesperrt.
  • In 3 der obigen Ausführungsformen wird ein Fall als ein Beispiel beschrieben, bei dem eine Achsverschiebung in einer vertikalen Oberfläche der Abbildungsvorrichtung 11 auftritt. Die Erfindung ist jedoch nicht auf eine Achsverschiebung in der vertikalen Oberfläche beschränkt. Die vorliegende Erfindung kann für einen Fall verwendet werden, bei dem eine Achsverschiebung in der horizontalen Oberfläche auftritt.
  • Der Erfassungsverfügbarkeitsbereich der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung ist nicht auf den Bereich vor dem Fahrzeug beschränkt. Der Erfassungsverfügbarkeitsbereich kann ein Bereich hinter oder auf der Seite des Fahrzeugs sein. Außerdem sind Montagepositionen der ersten und zweiten Objekterfassungseinrichtungen nicht besonders beschränkt.
  • Gemäß den oben beschriebenen Ausführungsformen werden eine Abbildungsvorrichtung und eine Radarvorrichtung als Objekterfassungseinrichtung verwendet.
  • Die Objekterfassungseinrichtung ist jedoch nicht auf diese Vorrichtungen beschränkt. Es kann beispielsweise ein Sonar verwendet werden, um Objekte unter Verwendung von Ultraschallwellen als Sendewellen zu erfassen.
  • Gemäß den oben beschriebenen Ausführungsformen ist eine Objekterkennungsvorrichtung, die an einem Fahrzeug montiert ist, als Beispiel dargestellt. Es kann jedoch eine Objekterkennungsvorrichtung an bewegten Körpern wie beispielsweise Schienenfahrzeugen, Schiffen oder Flugzeugen montiert sein.
  • Bezugszeichenliste
    • 10
    Objekterkennungsvorrichtung
    11
    Abbildungsvorrichtung (erste Objekterfassungseinrichtung)
    12
    Radarvorrichtung (zweite Objekterfassungseinrichtung)
    13
    Weißlinienerkennungseinheit
    14
    Flussberechnungseinheit
    20
    Fluchtpunktberechnungseinheit
    22
    Fluchtpunktlerneinheit
    23
    erste Lerneinheit
    24
    zweite Lerneinheit
    25
    Lernwertspeichereinheit
    30
    Radarachsverschiebungserfassungseinheit
    31
    Kameraobjekterfassungseinheit
    32
    Radarobjekterfassungseinheit
    33
    Achsverschiebungsinformationsberechnungseinheit
    34
    Achsverschiebungsbestimmungseinheit
    35
    Rücksetzbestimmungseinheit
    50
    eigenes Fahrzeug
    X1
    Abbildungsachse (Bezugsachse)
    X2
    Lichtachse (Bezugsachse)

Claims (6)

  1. Objekterkennungsvorrichtung, dadurch gekennzeichnet, dass die Vorrichtung für einen bewegten Körper (50) verwendet wird, der eine erste Objekterfassungseinrichtung (11) und eine zweite Objekterfassungseinrichtung (12) als eine Objekterfassungseinrichtung aufweist, die ein Objekt, das in vorbestimmten Erfassungsverfügbarkeitsbereichen vorhanden ist, erfasst, wobei die Erfassungsverfügbarkeitsbereiche jeweils eine Bezugsachse (X1, X2) enthalten, wobei die Vorrichtung aufweist: eine Achsverschiebungslerneinrichtung zum Lernen einer Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung; eine Achsverschiebungsbestimmungseinrichtung zum Durchführen eines Achsverschiebungsbestimmungsprozesses auf der Grundlage eines Objekterfassungsergebnisses der ersten Objekterfassungseinrichtung und der zweiten Objekterfassungseinrichtung, um zu bestimmen, ob eine Achsverschiebung in der Bezugsachse der zweiten Objekterfassungseinrichtung aufgetreten ist; und eine Sperreinrichtung zum Sperren von Informationen über eine Achsverschiebung der zweiten Objekterfassungseinrichtung, die von dem Achsverschiebungsbestimmungsprozess erlangt werden, auf der Grundlage eines Lernergebnisses der Achsverschiebung mittels der Achsverschiebungslerneinrichtung.
  2. Objekterkennungsvorrichtung nach Anspruch 1, wobei die Vorrichtung eine Zuverlässigkeitsbestimmungseinrichtung zum Bestimmen auf der Grundlage eines Lernergebnisses der Achsverschiebung mittels der Achsverschiebungslerneinrichtung, ob eine Änderung einer Zuverlässigkeit des Lernergebnisses in Bezug auf einen wahren Wert aufgetreten ist, nach Aktivieren des Achsverschiebungsbestimmungsprozesses enthält; und wobei die Sperreinrichtung ausgelegt ist, Informationen über eine Verschiebung der Bezugsachse der zweiten Objekterfassungseinrichtung zu sperren, wenn die Zuverlässigkeitsbestimmungseinrichtung bestimmt, dass eine Änderung der Zuverlässigkeit des Lernergebnisses aufgetreten ist.
  3. Objekterkennungsvorrichtung nach Anspruch 2, wobei die Vorrichtung eine Informationshalteeinrichtung zum Halten von Informationen über eine Verschiebung der Bezugsachse der zweiten Objekterfassungseinrichtung enthält, wobei die Informationen von einem Zeitpunkt vor einem Sperren erlangt wurden; und die Vorrichtung in dem Fall, in dem die Sperreinrichtung Informationen über eine Verschiebung der Bezugsachse der zweiten Objekterfassungseinrichtung sperrt, danach den Achsverschiebungsbestimmungsprozess unter Verwendung von Informationen, die in der Informationshalteeinrichtung gehalten werden, durchgeführt, wobei die Zuverlässigkeit des Lernergebnisses, die ausreichend gewährleistet wird, in Bezug auf den wahren Wert zu einem Zeitpunkt erfasst wurde, zu dem die gesperrten Informationen erlangt wurden.
  4. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die erste Objekterfassungseinrichtung als eine Abbildungsvorrichtung ausgelegt ist, die ein Bild einer Umgebung einschließlich einer Straße aufnimmt; die Vorrichtung eine Markierungserkennungseinrichtung zum Erkennen einer Markierung der Straße auf der Grundlage des Bildes, das von der ersten Objekterfassungseinrichtung aufgenommen wird, enthält; die Achsverschiebungslerneinrichtung eine Einrichtung zum Lernen einer Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung auf der Grundlage von Markierungsinformationen enthält, die Informationen über eine Markierung sind, die von der Markierungserkennungseinrichtung erkannt wird; und die Sperreinrichtung ausgelegt ist, nach einem Starten des Betriebs des bewegten Körpers Informationen über eine Verschiebung der Bezugsachse der zweiten Objekterfassungseinrichtung auf der Grundlage des Lernergebnisses zu einem Zeitpunkt zu sperren, zu dem ein Lernen der Achsverschiebung auf der Grundlage der Markierungsinformationen der Achsverschiebungslerneinrichtung beendet ist.
  5. Objekterkennungsvorrichtung nach Anspruch 4, wobei die Vorrichtung eine Flussberechnungseinrichtung zum Berechnen eines optischen Flusses auf der Grundlage eines Bildes, das von der ersten Objekterfassungseinrichtung aufgenommen wird, enthält; die Achsverschiebungslerneinrichtung eine erste Lerneinrichtung und eine zweite Lerneinrichtung enthält, wobei die erste Lerneinrichtung eine Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung auf der Grundlage der Markierungsinformationen lernt und die zweite Lerneinrichtung eine Achsverschiebung der Bezugsachse der ersten Objekterfassungseinrichtung auf der Grundlage des optischen Flusses, der von der Flussberechnungseinrichtung berechnet wird, lernt; und die Sperreinrichtung ausgelegt ist, nach einem Starten des Betriebs des bewegten Körpers und vor einer Beendigung des Lernens der Achsverschiebung auf der Grundlage der Markierungsinformationen Informationen über eine Verschiebung der Bezugsachse der zweiten Objekterfassungseinrichtung auf der Grundlage des Lernergebnisses zu einem Zeitpunkt zu sperren, zu dem ein Lernen der Achsverschiebung auf der Grundlage der Markierungsinformationen der Achsverschiebungslerneinrichtung beendet ist.
  6. Objekterkennungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die erste Objekterfassungseinrichtung als eine Abbildungsvorrichtung ausgebildet ist, die ein Bild einer Umgebung einschließlich einer Straße aufnimmt; und die zweite Objekterfassungseinrichtung als eine Erfassungseinrichtung ausgebildet ist, die das Objekt durch Aussenden von Sendewellen und Empfangen der Sendewellen erfasst.
DE112015003605.9T 2014-08-06 2015-08-04 Mehrere Objekterfassungseinrichtungen verwendende Objekterkennungsvorrichtung Active DE112015003605B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014160680A JP6396714B2 (ja) 2014-08-06 2014-08-06 物体認識装置
JP2014-160680 2014-08-06
PCT/JP2015/072111 WO2016021606A1 (ja) 2014-08-06 2015-08-04 複数の物体検出手段を用いた物体認識装置

Publications (3)

Publication Number Publication Date
DE112015003605T5 true DE112015003605T5 (de) 2017-04-27
DE112015003605T8 DE112015003605T8 (de) 2017-05-18
DE112015003605B4 DE112015003605B4 (de) 2023-02-09

Family

ID=55263868

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112015003605.9T Active DE112015003605B4 (de) 2014-08-06 2015-08-04 Mehrere Objekterfassungseinrichtungen verwendende Objekterkennungsvorrichtung

Country Status (6)

Country Link
US (1) US10422871B2 (de)
JP (1) JP6396714B2 (de)
KR (1) KR101961571B1 (de)
CN (1) CN106574961B (de)
DE (1) DE112015003605B4 (de)
WO (1) WO2016021606A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441795B1 (de) 2017-08-09 2020-01-08 Sick AG Sensor zur erfassung eines objekts und verfahren zum einstellen eines schaltpunktes

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390459B2 (ja) * 2015-02-10 2018-09-19 株式会社デンソー 光軸ずれ検出装置
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6637472B2 (ja) * 2017-07-06 2020-01-29 本田技研工業株式会社 情報処理方法及び情報処理装置
JP6986962B2 (ja) * 2017-12-28 2021-12-22 株式会社デンソーテン カメラずれ検出装置およびカメラずれ検出方法
JP7127356B2 (ja) * 2018-05-14 2022-08-30 富士通株式会社 データ収集方法、データ収集プログラムおよび情報処理装置
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
US11557061B2 (en) * 2019-06-28 2023-01-17 GM Cruise Holdings LLC. Extrinsic calibration of multiple vehicle sensors using combined target detectable by multiple vehicle sensors
JP7412254B2 (ja) * 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置，中心軸偏向量補正装置，および車間制御装置
JPH11142520A (ja) * 1997-11-06 1999-05-28 Omron Corp 測距装置の軸調整方法及び軸ずれ検出方法並びに測距装置
US6714156B1 (en) * 2002-11-22 2004-03-30 Visteon Global Technologies, Inc. Method for correcting radar misalignment
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP4019933B2 (ja) * 2002-12-26 2007-12-12 日産自動車株式会社 車両用レーダ装置およびレーダの光軸調整方法
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
EP1584946A3 (de) * 2004-04-02 2006-03-22 Omron Corporation Verfahren zur Ausrichtung von optischen Sensoren
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5146716B2 (ja) * 2007-03-01 2013-02-20 マツダ株式会社 車両用障害物検知装置
JP2008232887A (ja) * 2007-03-22 2008-10-02 Omron Corp 物体検知装置、および照射軸調整方法
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP5328491B2 (ja) 2009-06-02 2013-10-30 三菱電機株式会社 レーダ画像処理装置
JP5551892B2 (ja) * 2009-06-19 2014-07-16 富士通テン株式会社 信号処理装置、及びレーダ装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
JP6428270B2 (ja) 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
US9286679B2 (en) * 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441795B1 (de) 2017-08-09 2020-01-08 Sick AG Sensor zur erfassung eines objekts und verfahren zum einstellen eines schaltpunktes

Also Published As

Publication number Publication date
KR101961571B1 (ko) 2019-03-22
WO2016021606A1 (ja) 2016-02-11
US20170227634A1 (en) 2017-08-10
KR20170041775A (ko) 2017-04-17
DE112015003605T8 (de) 2017-05-18
CN106574961A (zh) 2017-04-19
DE112015003605B4 (de) 2023-02-09
JP2016038261A (ja) 2016-03-22
CN106574961B (zh) 2019-09-13
JP6396714B2 (ja) 2018-09-26
US10422871B2 (en) 2019-09-24

Similar Documents

Publication Publication Date Title
DE112015003605B4 (de) Mehrere Objekterfassungseinrichtungen verwendende Objekterkennungsvorrichtung
DE102018111778B4 (de) Verfahren, Vorrichtung und System zur Steuerung eines Fahrzeugs, das eine Kreuzung passiert.
DE60316226T2 (de) Verfahren und Vorrichtung zur Bestimmung ob ein von mehreren Sensoren detektiertes Objekt identisch ist und Verfahren und Vorrichtung zur Positionskorrektur in einem Multisensor-System
DE112017002743B4 (de) Parkunterstützungsvorrichtung und Parkunterstützungsverfahren
DE102016117710B4 (de) Verfahren und fusionssystem zur bestimmung der geschwindigkeit eines zielobjektes
DE102014101400B4 (de) Zielerkennungsvorrichtung
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE102006045115A1 (de) System und Verfahren zur Zielverfolgung unter Verwendung von Sensorfusion
DE112017002651T5 (de) Zielerfassungsvorrichtung
DE112017005245T5 (de) Fahrzeugerkennungseinrichtung und Fahrzeugerkennungsverfahren
DE112017004803T5 (de) Schätzvorrichtung für axiale Fehlausrichtung
DE102014216667A1 (de) Zielerfassungsvorrichtung und programm
DE102014005688A1 (de) Spurenschätzvorrichtung und verfahren
DE102017102506B4 (de) Verfahren zum erfassen anderer fahrzeuge relativ zu einem trägerfahrzeug mittels raderfassung
DE112009001686T5 (de) Objekterfassungsvorrichtung
DE102018108027A1 (de) Objekterfassungsvorrichtung
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102017200562A1 (de) Objekterkennung-integrationsvorrichtung und objekterkennung-integrationsverfahren
EP3292423A1 (de) Diagnoseverfahren für einen sichtsensor eines fahrzeugs und fahrzeug mit einem sichtsensor
DE102006046843A1 (de) Verfahren zur Erkennung eines Umfelds
DE102020124236A1 (de) Mehrweg-geisterabmilderung im fahrzeug-radarsystem
EP2856390A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE102011087751A1 (de) Verfahren und Vorrichtung zum Erkennen des Vorhandenseins von Objekten
DE112018004529T5 (de) Positionsschätzeinrichtung und positionsschätzverfahren einer mobileinheit
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: WINTER, BRANDL, FUERNISS, HUEBNER, ROESS, KAIS, DE

Representative=s name: WINTER, BRANDL - PARTNERSCHAFT MBB, PATENTANWA, DE

R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence