DE102016216500A1 - Objekterkennungsverfahren und trübungsbestimmungsverfahren - Google Patents

Objekterkennungsverfahren und trübungsbestimmungsverfahren Download PDF

Info

Publication number
DE102016216500A1
DE102016216500A1 DE102016216500.3A DE102016216500A DE102016216500A1 DE 102016216500 A1 DE102016216500 A1 DE 102016216500A1 DE 102016216500 A DE102016216500 A DE 102016216500A DE 102016216500 A1 DE102016216500 A1 DE 102016216500A1
Authority
DE
Germany
Prior art keywords
change
target
amount
segments
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016216500.3A
Other languages
English (en)
Inventor
Masakazu Nishijima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of DE102016216500A1 publication Critical patent/DE102016216500A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

Eine Objekterkennungsvorrichtung (1) ist ausgestattet mit einem Erlanger (21), der eine Mehrzahl von Bildern (P) zu erlangen vermag, welche von einer Stereokamera (10) aufgenommen werden; einem Segmentextraktor (22), der eine Parallaxe aus der Mehrzahl von Bildern zu berechnen vermag und der einen Satz, in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als Segment (S) in Abständen einer bestimmten Breite in Bildbreitenrichtung zu extrahieren vermag; einem Zielextraktor (23) der Segmente als Ziel (Tg) zu extrahieren vermag, welche in Bildseitenrichtung und Bildtiefenrichtung miteinander in Verbindung sind; einem Rechner (24), der einen Änderungsbetrag von oberen Endpositionen (su) und einen Änderungsbetrag von Höhenabmessungen (sh) der Segmente zu berechnen vermag, welche das Ziel bilden; und einem Bestimmer (25) der zu bestimmen vermag, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenabmessung größer als ein bestimmter Schwellenwert ist.

Description

  • Die vorliegende Erfindung betrifft eine Objekterkennungsvorrichtung, sowie ein Verfahren zur Erkennung von Trübungen, wobei Aufnahmebilder einer Stereokamera verwendet werden, die in einem Fahrzeug, beispielsweise einem Kraftfahrzeug angeordnet ist.
  • Als ein Typ dieser Vorrichtung ist eine Vorrichtung bekannt, welche Dunst, Nebel oder dergleichen in Aufnahmebildern erkennen kann, in dem verschiedene Verarbeitungen an den Aufnahmebildern durchgeführt werden. Beispielsweise wird in der JP 2013-203337 A eine Vorrichtung vorgeschlagen, welche aus Objekten, welche durch Verarbeitung der Aufnahmebilder erkannt werden, ein Objekt als eine Trübung erkennt, bei dem eine große Änderung der Parallaxe vorliegt. In der JP 2012-118698 A und der JP 2015-069381 A wird jeweils eine Vorrichtung vorgeschlagen, welche ein Objekt als Trübung erkennen kann, wenn das Objekt eine niedrige Bildrandstärke hat. In der JP 2013-206328 A wird eine Vorrichtung vorgeschlagen, die ein Objekt oder einen Bereich als eine Trübung erkennen kann, wobei das Objekt, welches eine starke Größenänderung hat, auf zeitserieller Basis unterteilt wird.
  • Bei einem semi-globalen Anpassen (semi global matching, SGM) was ein Verfahren zur Berechnung von Stereoparallaxen ist, kann die Parallaxe auch an einem Pixel oder einem Bereich mit einem schwachen Bildrand (das heißt mit einer niedrigen Pixelrandstärke) berechnet werden, indem auf die Parallaxe in der Umgebung des Pixels oder Bereichs Bezug genommen wird. SGM erlaubt somit die Berechnung der Parallaxe einer Wand oder Leitplanke mit niedrigen Oberflächenunregelmäßigkeiten oder dergleichen, was mit anderen kanten- oder randbasierenden Technologien nicht möglich ist.
  • Jedoch kann ein Objekt mit niedriger Bildrandstärke (Kontrast), welches durch Stereoparallaxenrechenverfahren, beispielsweise SGM erkannt wird, bei den Technologien gemäß der JP 2012-118698 A oder JP 2015-069381 A möglicherweise fehlerhaft als Trübung oder Dunst erkannt werden. Weiterhin neigt bei dem SGM die Parallaxe dazu, sich stark zu ändern, da die Parallaxe unter Bezug auf die Parallaxe der Umgebung in einem Bereich erhalten wird, wo niedrige Bildrandstärke vorliegt. Somit kann bei der Technologie gemäß der JP 2013-203337 A das Objekt möglicherweise fehlerhaft als Trübung oder Nebel erkannt werden. Wenn gemäß obiger Beschreibung das SGM, das eines von Stereoparallaxenrechenverfahren ist, verwendet wird, ein Objekt zu erkennen, wird es schwierig, genau zu bestimmen, ob oder ob nicht das Objekt mit der geringen Bildrandstärke (geringem Kontrast) eine Trübung ist, was technische Probleme verursachen kann.
  • Demgegenüber benötigt bei der Technologie gemäß der JP 2013-206328 A die Bestimmung eine gewisse Zeit, da die Größenänderung auf zeitserieller Basis herangezogen wird und weiterhin kann der Prozess, der für die Bestimmung notwendig ist, sehr kompliziert werden, was ebenfalls technisch problematisch werden kann.
  • Mit Blick auf die obigen Probleme ist es Aufgabe der vorliegenden Erfindung, eine Objekterkennungsvorrichtung und ein Trübungsbestimmungsverfahren zu schaffen, mit der bzw. dem das Vorhandensein einer Trübung, von Dunst, Nebel oder dergleichen in Aufnahmebildern bestimmt werden kann.
  • Die obige Aufgabe kann gemäß der Erfindung gelöst werden durch eine Objekterkennungsvorrichtung, welche aufweist: einen Erlanger, der eine Mehrzahl von Bildern erlangen kann, welche von einer Stereokamera aufgenommen werden; einen Segmentextraktor, der eine Parallaxe aus der Mehrzahl von Bildern berechnen kann und einen Satz in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als ein Segment in Intervallen einer bestimmten Breite in Bildseitenrichtung extrahieren kann; einen Zielextraktor, der Segmente als ein Ziel extrahieren kann, welche in Bildseitenrichtung und in Bildtiefenrichtung in Verbindung sind; einen Rechner, der einen Änderungsbetrag von oberen Endpositionen und einen Änderungsbetrag von Höhenweiten (Höhenwerten oder -abmessungen) von den Segmenten berechnen kann, welche das Ziel bilden; und einen Bestimmer, der bestimmten kann, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenweiten größer als ein bestimmter Schwellenwert ist.
  • Bei der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung wird das Ziel als eine Trübung bestimmt, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenweiten der Segmente, welche das Ziel bilden, größer als der bestimmte Schwellenwert ist. Es ist somit möglich, zu bestimmen, ob oder ob nicht das Ziel mit einer niedrigen Bildrandstärke eine Trübung ist.
  • Die obige Aufgabe der vorliegenden Erfindung kann weiterhin durch ein Trübungsbestimmungsverfahren gelöst werden, wobei das Verfahren aufweist: Erlangen einer Mehrzahl von Bildern, welche von einer Stereokamera aufgenommen werden; Berechnen einer Parallaxe aus der Mehrzahl von Bildern und Extrahieren eines Satzes, in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als ein Segment an Intervallen einer bestimmten Breite in einer Bildseitenrichtung; Extrahieren von Segmenten als ein Ziel, welche in Bildseitenrichtung und einer Bildtiefenrichtung miteinander verbunden sind; Berechnen einen Änderungsbetrags oberer Endpositionen und eines Änderungsbetrags von Höhenweiten (Höhenwerten oder -abmessungen) der Segmente, welche das Ziel bilden; und Bestimmen, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenweiten größer als ein bestimmter Schwellenwert ist.
  • Bei dem Trübungsbestimmungsverfahren gemäß der vorliegenden Erfindung kann wie bei der Objekterkennungsvorrichtung gemäß der vorliegenden Erfindung bestimmt werden, ob oder ob nicht das Ziel mit einer geringen Bildrandstärke eine Trübung ist.
  • Weitere Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden Beschreibung von Ausführungsformen anhand der Zeichnung.
  • 1 als Blockdiagramm einen wesentlichen Teil einer Objekterkennungsvorrichtung einer ersten Ausführungsform;
  • 2 in einem Flussdiagramm den Ablauf eines Trübungsbestimmungsprozesses gemäß der ersten Ausführungsform;
  • 3 in einer schematischen Darstellung ein Beispiel eines Aufnahmebilds mit einer durchgängigen Struktur;
  • 4 eine Konzeptdarstellung eines Ziels entsprechend der durchgängigen Struktur;
  • 5 eine schematische Darstellung eines Beispiels eines Aufnahmebilds mit einer Trübung;
  • 6 ein Konzeptdiagramm eines Ziels entsprechend der Trübung;
  • 7 ein Konzeptdiagramm zur Erläuterung eines Verfahrens zur Berechnung eines statistischen Werts einer Segmentinformation;
  • 8 eine grafische Darstellung eines Beispiels eines Änderungsbetrags einer oberen Endposition des Ziels entsprechend der durchgängigen Struktur;
  • 9 eine grafische Darstellung eines Beispiels eines Änderungsbetrags einer oberen Endposition des Ziels entsprechend der Trübung;
  • 10 eine grafische Darstellung eines Beispiels eines Änderungsbetrags einer Höhenweite des Ziels entsprechend der durchgängigen Struktur;
  • 11 eine grafische Darstellung eines Beispiels eines Änderungsbetrags der Höhenweite des Ziels entsprechend der Trübung; und
  • 12 ein Flussdiagramm des Ablaufs eines Trübungsbestimmungsprozesses gemäß einer zweiten Ausführungsform.
  • Eine Objekterkennungsvorrichtung und ein Trübungsbestimmungsverfahren gemäß der vorliegenden Erfindung werden nachfolgend anhand der Zeichnung beschrieben.
  • <Erste Ausführungsform>
  • Eine Objekterkennungsvorrichtung und ein Trübungsbestimmungsverfahren gemäß einer ersten Ausführungsform der vorliegenden Erfindung werden nachfolgend erläutert.
  • (Konfiguration der Objekterkennungsvorrichtung)
  • Zunächst wird die Konfiguration oder der Aufbau der Objekterkennungsvorrichtung gemäß der ersten Ausführungsform anhand von 1 beschrieben. 1 ist ein Blockdiagramm, welches einen Hauptteil der Objekterkennungsvorrichtung gemäß der ersten Ausführungsform zeigt.
  • In 1 sei eine Objekterkennungsvorrichtung 1 in ein Fahrzeug, beispielsweise ein Kraftfahrzeug eingebaut und ist in der Lage, ein Objekt zu erkennen, welches sich in der Umgebung des Fahrzeugs befindet. Die Objekterkennungsvorrichtung 1 kann die Objekterkennung unter Verwendung einer Parallaxe zwischen Aufnahmebildern durchführen, wie nachfolgend beschrieben wird, kann jedoch die Objekterkennung genauso gut durch eine Musteranpassung durchführen. Die Objekterkennungsvorrichtung 1 ist ausgestattet mit einer Stereokamera 10 und einer Stereobilderkennungsvorrichtung 20.
  • Die Stereokamera 10 ist versehen mit: einer linken Kamera 11 mit einer Linse 11a und einem Abbildungselement 11b; einer rechten Kamera 12 mit einer Linse 12a und einem Abbildungselement 12b; einer zentralen Verarbeitungseinheit (CPU) 13 für die Kamera; und einer Bildausgabe 14.
  • Die Abbildungselemente 11b und 12b können eine ladungsträgergekoppelte Vorrichtung (CCD) oder dergleichen enthalten. Die Kamera-CPU 13 kann eine Belichtungssteuerung für die linke Kamera 11, die rechte Kamera 12 etc. durchführen. Weiterhin kann die Kamera-CPU 13 Aufnahmebilder, welche von den Abbildungselementen 11b und 12b erzeugt worden sind, als Bildsignale an die Stereobilderkennungsvorrichtung 20 über die Bildausgabe 14 ausgeben, welche eine Ausgabeschnittstelle ist.
  • Hierbei sind die linke Kamera 11 und die rechte Kamera 12, welche die Stereokamera 10 bilden, an Positionen angeordnet, wo die linke Kamera 11 und die rechte Kamera 12 einen Bereich überblicken und aufnehmen können, in welchem ein von der Objekterkennungsvorrichtung 1 zu erkennendes Objekt vorhanden ist. Beispielsweise befindet sich die Stereokamera 10 an einer Stelle, wo die Stereokamera 10 einen Bereich vorderhalb des Fahrzeugs durch einen Windschutzscheibe aufnehmen kann, das heißt einen Bereich entsprechend eines Gesichtsfeld des Fahrers. Wenn ein Objekt an Seiten oder hinterhalb des Fahrzeugs zu erkennen ist, kann die Stereokamera 10 an einer Position angebracht werden, wo ein Bereich seitlich oder hinterhalb des Fahrzeugs aufgenommen werden kann. Weiterhin kann die Objekterkennung an einer Mehrzahl von Bereichen vorgenommen werden, wenn eine Mehrzahl von Stereokameras 10 angeordnet wird.
  • Die Stereobilderkennungsvorrichtung 20 ist ausgestattet mit einem Bilderlanger 21, einem Segmentextraktor 22, einem Zielextraktor 23, einem Änderungsrechner 24 und einem Trübungsbestimmer 25. Der Bilderlanger 21, der Segmentextraktor 22, der Zielextraktor 23, der Änderungsrechner 24 und der Trübungsbestimmer 25 sind Funktionen, welche von einer nicht dargestellten CPU realisiert werden, welche für die Stereobilderkennungsvorrichtung 20 vorgesehen ist, und ein Computerprogramm benutzt, welches in einem nicht dargestellten Lesespeicher (ROM) gespeichert ist. Der Bilderlanger 21, der Segmentextraktor 22, der Zielextraktor 23, der Änderungsrechner 24 und der Trübungsbestimmer 25 sind jeweils ein Beispiel für „Erlanger”, „Segmentextraktor”, „Zielextraktor”, „Rechner” und „Bestimmer”.
  • Die Stereobilderkennungsvorrichtung 20 gibt das Ergebnis des Trübungsbestimmungsprozesses (das heißt ob oder ob nicht das erkannte Objekt eine Trübung ist) aus. Das Ergebnis des Trübungsbestimmungsprozesses wird für beispielsweise ein Fahrzeugsicherheitssystem oder dergleichen verwendet.
  • (Trübungsbestimmungsprozess)
  • Nachfolgend wird der Trübungsbestimmungsprozess anhand von 2 beschrieben, der von der Objekterkennungsvorrichtung 1 durchgeführt wird. 2 ist ein Flussdiagramm, das den Ablauf des Trübungsbestimmungsprozesses gemäß der ersten Ausführungsform zeigt. Der Ablauf des Trübungsbestimmungsprozesses von 2 wird wiederholt zu bestimmten Zeitpunkten durchgeführt, während ein Zündschalter des Fahrzeugs eingeschaltet ist.
  • In 2 werden zunächst in dem Trübungsbestimmungsprozess, der von der Objekterkennungsvorrichtung 1 gemäß der ersten Ausführungsform durchgeführt wird, Aufnahmebilder erlangt oder erhalten (Schritt S101). Genauer gesagt, von der linken Kamera 11 und der rechten Kamera 12 der Stereokamera 10 aufgenommene Bilder werden dem Bilderlanger 21 der Stereobilderkennungsvorrichtung 20 über die Kamera-CPU 13 und die Bildausgabe 14 als Bilddaten eingegeben. Von dem Bilderlanger 21 wird ein Paar von Bilddaten (das heißt Bilddaten der rechten Kamera 11 und Bilddaten der linken Kamera 12) zu jedem bestimmten Zeitpunkt erlangt oder erhalten. Der Bilderlanger 21 gibt das erlangte Paar von Bilddaten an den Segmentextraktor 22 aus.
  • Im Segmentextraktor 22 wird aus dem Paar von Bilddaten eine Parallaxe berechnet (Schritt S102). Die Parallaxe wird als ein Parallaxenwert für jedes entsprechende Pixel oder einem Pixelblock aus einer Korrelation zwischen dem Paar von Bilddaten berechnet. Der Parallaxenwert wird als ein Verschiebungsbetrag zwischen dem Paar von Bilddaten berechnet und ist ein Wert, der sich abhängig von einem Abstand zu einem Objekt in den Aufnahmebildern ändert. Genauer gesagt, wenn der Abstand zu dem Objekt gering ist, wird der Parallaxenwert als ein relativ hoher Wert berechnet. Wenn andererseits der Abstand zu dem Objekt weit ist, wird der Parallaxenwert als relativ kleiner Wert berechnet. Für die Berechnung des Parallaxenwerts kann beispielsweise SGM verwendet werden, welches eines von möglichen Stereoparallaxenberechnungsverfahren ist. In dem nachfolgenden Prozess wird ein Parallaxenbilddatenwert (das heißt Bilddaten mit Parallaxeninformationen) aus dem Paar von Bilddaten verwendet.
  • Wenn die Parallaxe berechnet worden ist, wird im Segmentextraktor 22 weiterhin ein Segment S extrahiert (Schritt S103). Das Segment S ist ein Satz von Pixeln oder Pixelblöcken, bei denen der Parallaxenwert innerhalb eines bestimmten Bereichs liegt und die Entnahme oder Extraktion erfolgt in Intervallen einer bestimmten Breite in Bildseitenrichtung oder Bildquerrichtung. Der „bestimmte Bereich” ist hierbei ein Bereich, der vorab gesetzt worden ist, um zu bestimmen, ob oder ob nicht die Parallaxe ausreichend angenähert ist, um als im Wesentlichen gleich betrachtet zu werden. Weiterhin ist die „bestimmte Breite” ein Wert, der vorab als eine Breite des extrahierten Segmentes gesetzt worden ist und wird auf der Grundlage von verschiedenen Umständen gesetzt, beispielsweise die Anzahl von Pixeln in den Aufnahmebildern und der Größe eines zu erkennenden Objekts.
  • Für die Extraktion des Segments S wird eine lange schmale Schachtel (langgestreckt/schmaler Block) verwendet, die erhalten wird durch Unterteilen des aufgenommenen Bildes in Intervallen der bestimmten Breite in Seitenrichtung (oder eines virtuellen Bereichs entsprechend einer Segmentextraktionseinheit). In der Schachtel wird ein Parallaxenset angewählt, der in einem Bereich entsprechend der Schachtel vorliegt und wo der Parallaxenwert innerhalb eines bestimmten Bereichs ist und wo Pixel mit ähnlichen Bildseitenpositionen vorliegen (das heißt ein Satz von Pixeln mit Parallaxeninformation). Der in jeder Schachtel an- oder ausgewählten Parallaxenset hat Positionsinformationen betreffend einen Höhenrichtung des Bilds und hält die Positionsinformation betreffend die Höhenrichtung nach der Auswahl bei. Nach dem Auswählen wird eine jede Schachtel in Längsrichtung (das heißt in Höhenrichtung) abgetastet und die Parallaxensätze, welche in jeder Schachtel in Höhenrichtung miteinander verbunden sind, werden als Segment S entnommen.
  • Bei dem oben genannten Auswahlprozess wird aus den Pixeln entsprechend einer jeden Schachtel eine Mehrzahl von (z. B. M) Parallaxensätzen, bei denen der Parallaxenwert innerhalb des vorbestimmten Bereichs ist und welche in Seitenrichtung miteinander verbunden sind, entnommen und aus der entnommenen Mehrzahl von Parallaxensätzen wird eine Mehrzahl von (z. B. M) Parallaxensätzen, welche weiterhin in Längsrichtung miteinander verbunden sind, entnommen (als Segment entnommen). Eine Mehrzahl von Segmenten S kann aus einer Schachtel entnommen werden. Ein Segmententnahmeergebnis durch den Segmentextraktor 22 wird an den Zielextraktor 23 ausgegeben. Im Zielextraktor 23 werden die Segmente S, die im Bildseitenrichtung und einer Tiefenrichtung (das heißt Abstandsrichtung) verbunden sind, als ein Ziel Tg entsprechend dem Objekt in den Aufnahmebildern extrahiert (S104). Die „Tiefenrichtung” ist hierbei eine Richtung, welche von der berechneten Parallaxe definiert ist. Die Bilddaten selbst haben nur eine Information betreffend die Längsrichtung und die Seitenrichtung (das heißt sind zweidimensionale Daten); die Bilddaten können jedoch neue Informationen betreffend die Tiefenrichtung durch Berechnung der Parallaxe erlangen. Nachfolgend wird anhand von 3 bis 6 das zu entnehmende Ziel Tg genauer erläutert.
  • 3 ist eine Darstellung eines Beispiels eines Aufnahmebildes mit einer durchgängigen Struktur. Ein Aufnahmebild P1 enthält eine durchgängige Struktur 100 (z. B. eine Leitplanke, eine Wand oder dergleichen). Die durchgängige Struktur 100 hat hier insbesondere das charakteristische Merkmal, dass ihre Oberfläche geringe Ungleichmäßigkeiten hat und dass die Bildrandstärke (der Kontrast) niedrig ist. Die Parallaxe der durchgängigen Struktur 100 gemäß obiger Beschreibung kann durch ein Parallaxenberechnungsverfahren auf Randbasis schwer berechnet werden. Unter Verwendung von SGM kann jedoch die Parallaxe berechnet werden, indem auf die Parallaxe in der Umgebung zurückgegriffen wird, auch in einem Bereich, wo eine niedrige Bildrandstärke vorliegt. Somit kann selbst bei einem Objekt mit niedriger Bildrandstärke also der durchgängigen Struktur 100 im Aufnahmebild P1 das Ziel Tg extrahiert oder entnommen werden.
  • 4 ist eine konzeptuelle Darstellung eines Ziels Tg1 entsprechend der durchgängigen Struktur 100. Das Ziel Tg1 entsprechend der durchgängigen Struktur 100 wird als eine Mehrzahl von Segmenten S entnommen, welche in Bildseitenrichtung und in Tiefenrichtung miteinander verbunden sind. Die durchgängige Struktur 100 hat eine Form ähnlich einem Rechteck. Somit wird das Ziel Tg1 entsprechende der durchgängigen Struktur 100 in Form von Segmenten S entnommen, welche gleichmäßig miteinander verbunden sind.
  • 5 ist eine Darstellung eines Beispiels eines Aufnahmebilds mit einer Trübung (Dunst, Nebel oder dergleichen). Ein Aufnahmebild P2 enthält eine solche Trübung 200. Die Trübung 200 hat entsprechend ihrer Natur eine niedrige Bildrandstärke, ähnlich der durchgängigen Struktur 100 von 3. Unter Verwendung von SGM kann jedoch das Ziel Tg auch betreffend die Trübung 200 entnommen werden.
  • 6 ist eine konzeptuelle Darstellung eines Ziels Tg2 entsprechend der Trübung 200. Das Ziel Tg2 entsprechend der Trübung 200 wird als eine Mehrzahl von Segmenten S extrahiert, welche in Bildseitenrichtung und in Tiefenrichtung miteinander verbunden sind. Die Trübung 200 hat nicht die klare Form wie die durchgängige Struktur 100. Somit hat im Vergleich zum Ziel Tg1 entsprechend der durchgängigen Struktur 100 von 4 das Ziel Tg2 entsprechend der Trübung 200 eine verzerrte Form.
  • Zurückkehrend zu 2 wird, wenn das Ziel Tg extrahiert worden ist, ein Statistikwert der Segmentinformation im Zielextraktor 23 berechnet (Schritt S105). Der „Statistikwert der Segmentinformation” ist ein Statistikwert oder statistischer Wert, der die Mehrzahl von Segmenten S betreffend berechnet wird, welche das Ziel Tg bilden und der zumindest die Anzahl der Segmente S enthält, welche das Ziel Tg bilden, sowie jeweilige obere Endpositionen und Höhenweiten (Höhenabmessungen) der Segmente S. „Höhenweite” ist hier als Höhenabmessung zu verstehen, welche eine Länge von der oberen Endposition zu einer unteren Endposition des Segments S bezeichnet. Bezugnehmend auf 7 wird nachfolgend der Statistikwert der Segmentinformation näher erläutert. 7 ist eine erläuternde Darstellung, welche ein Verfahren zur Berechnung des Statistikwerts der Segmentinformation erläutert.
  • Wie in 7 gezeigt, sei angenommen, dass ein Ziel Tg3 mit 5 Segmenten S1 bis S5 extrahiert worden ist. Als Statistikwert der Segmentinformation wird die Anzahl von Segmenten, welche nachfolgend als Segmentzahl n bezeichnet wird (wobei n hier „5” ist), obere Endpositionen u1 bis u5 der Segmente S1 bis S5 und Höhenabmessungen h1 bis h5 der Segmente S1 bis S5 berechnet. Jeder Wert der Segmentzahl n, die oberen Endpositionen u1 bis u5 der Segmente S und die Höhenabmessungen h1 bis h5 der Segmente S, welche berechnet worden sind, werden dem Änderungsrechner 24 eingegeben.
  • Zurückkehrend zu 2, so wird im Änderungsrechner 24 zunächst bestimmt, ob oder ob nicht die Segmentzahl n größer als oder gleich einem bestimmten Schwellenwert A ist (Schritt S106). Wenn die Segmentzahl n nicht größer als oder gleich dem bestimmten Schwellenwert A ist (Schritt S106: NEIN), wird der nachfolgende Prozess weggelassen und eine Serie von Prozessabläufen, welche der Trübungsbestimmung zugeordnet sind, wird beendet.
  • Der Schwellenwert A ist ein Schwellenwert zur Bestimmung, ob oder ob nicht die Anzahl von Segmenten S groß genug für einen Änderungsbetrag der oberen Endpositionen und einem Änderungsbetrag der Höhenabmessung der Segmente S gemäß nachfolgender Beschreibung ist, um statistisch sinnvoll zu sein. Wenn beispielsweise die Segmentzahl n gering ist, beispielsweise „1” oder „2”, ist der Änderungsbetrag der oberen Endpositionen und der Änderungsbetrag der Höhenabmessung der Segmente S so, dass es statistisch nicht sinnvoll ist. Dies kann einen nachteiligen Effekt auf das Ergebnis der Trübungsbestimmung unter Verwendung der Änderungsbeträge haben. Der Schwellenwert A wird vorab gesetzt, um den obigen Fall auszuschließen, bei dem die Segmentzahl n sehr klein ist. Der Schwellenwert A ist ein bestimmtes Beispiel der „bestimmten Anzahl”.
  • Wenn die Segmentzahl n größer oder gleich dem Schwellenwert A ist (Schritt S106: JA), wird ein oberer Endpositionsänderungsbetrag σu, der der Änderungsbetrag der oberen Endpositionen u der Segmente S ist, welche das Ziel Tg bilden in dem Änderungsrechner 24 berechnet und es wird bestimmt, ob oder ob nicht der Änderungsbetrag σu der oberen Endposition größer als ein bestimmter Schwellenwert B ist (Schritt S107). Was die Berechnung des Änderungsbetrags σu der oberen Endposition betrifft, ist eine genauere Beschreibung hier weggelassen, da ein bestehendes Verfahren angewendet werden kann. Wenn bestimmt wird, dass der Änderungsbetrag σu der oberen Endposition der Segmente S größer als der Schwellenwert B ist (Schritt S107: JA), wird das Ziel Tg als eine Trübung („Schattierung”) bestimmt (Schritt S109).
  • Der Schwellenwert B ist ein Schwellenwert zur Bestimmung, ob oder ob nicht die oberen Endpositionen u der Segmente S, welche das Ziel Tg bilden, sich stark genug ändert, um zu bestimmen, dass das Ziel Tg die Trübung 200 ist. Wie sich aus den 4 und 6 ergibt, hat das Ziel Tg1 entsprechend der durchgängigen Struktur 100 von 4 die oberen Endpositionen u der Segmente S, welche in einer Linie fluchten und das Ziel Tg2 entsprechend der Trübung 200 von 6 hat obere Endpositionen u der Segmente S, deren Lagen sich stark ändern. Die oberen Endpositionen u der Segmente S neigen dazu, eine klar unterschiedliche Tendenz abhängig davon zu zeigen, ob das Ziel Tg der durchgängigen Struktur 100 oder der Trübung 200 entspricht. Es ist daher möglich, zu bestimmen, ob oder ob nicht das Ziel Tg die Trübung 200 ist, in dem der Änderungsbetrag σu der oberen Endpositionen der Segmente S mit dem Schwellenwert B verglichen wird. Der Schwellenwert B ist ein bestimmtes Beispiel des „bestimmten Schwellenwerts”.
  • Nachfolgend wird das Bestimmungsverfahren unter Verwendung des Änderungsbetrags σu der oberen Endposition anhand der 8 und 9 näher erläutert. 8 ist eine Grafik, die ein Beispiel des Änderungsbetrags σu der oberen Endposition des Ziels Tg1 entsprechend der durchgängigen Struktur 100 zeigt. 9 ist eine Grafik, die ein Beispiel des Änderungsbetrags σu der oberen Endposition des Ziels entsprechend der Trübung 200 zeigt. Die Werte der Änderungsbeträge σu der oberen Endpositionen in den 8 und 9 sind rein als Beispiel zu verstehen, welche die Differenz der Tendenz zwischen der durchgängigen Struktur 100 und der Trübung 200 darstellt und entsprechen nicht dem Ziel Tg1 und dem Ziel Tg2 der 4 und 6.
  • Wie in 8 gezeigt, ist der Änderungsbetrag σu der oberen Endposition für das Ziel Tg1 entsprechend der durchgängigen Struktur 100 auf einen relativ niedrigen Wert stabil, obgleich er sich zu einem gewissen Grad abhängig von der Bildseitenposition ändert. Insbesondere übersteigt der Änderungsbetrag σu der oberen Endposition für das Ziel Tg1 den Schwellenwert B nicht. In diesem Fall wird das Ziel Tg1 nicht als Trübung 200 bestimmt.
  • Gemäß 9 ändert sich der Änderungsbetrag σu der oberen Endposition für das Ziel Tg2 entsprechend der Trübung 200 abhängig von der Bildseitenposition erheblich. Insbesondere übersteigt der Änderungsbetrag σu der oberen Endposition für das Ziel Tg2 den Schwellenwert B an den meisten Positionen. In diesem Fall wird das Ziel Tg2 als Trübung 200 bestimmt.
  • Bei Bestimmung der Trübung 200 kann die Anzahl von Malen mit in Betracht gezogen werden, die der Änderungsbetrag σu der oberen Endposition den Schwellenwert B übersteigt. Insbesondere kann das Ziel als Trübung 200 bestimmt werden, wenn der Änderungsbetrag σu der oberen Endposition den Schwellenwert B einmal übersteigt oder wenn der Änderungsbetrag σu der oberen Endposition den Schwellenwert B mehrmals, also zweimal oder öfter übersteigt. Alternativ kann das Ziel als Trübung 200 bestimmt werden, wenn das Verhältnis der Anzahl von Malen, welche der Änderungsbetrag σu der oberen Endposition den Schwellenwert B übersteigt zur Gesamtzahl größer als oder gleich einem bestimmten Verhältnis ist.
  • Zurück zu 2, wenn bestimmt wird, dass der Änderungsbetrag σu der oberen Endposition des Segments S kleiner als oder gleich dem Schwellenwert B ist (Schritt S107: NEIN), wird ein Änderungsbetrag σh der Höhenabmessung, welcher der Änderungsbetrag der Höhenabmessungen h der Segmente S ist, welche das Ziel Tg bilden, im Änderungsrechner 24 berechnet und es wird bestimmt, ob oder ob nicht der Änderungsbetrag σh der Höhenabmessung größer als ein bestimmter Schwellenwert C ist (Schritt S108). Was die Berechnung des Änderungsbetrags σh der Höhenabmessung betrifft, erfolgt eine detaillierte Beschreibung nicht, da ein existierendes Verfahren angewendet werden kann. Wenn bestimmt wird, dass der Änderungsbetrag σh der Höhenabmessung der Segmente S größer als der Schwellenwert C ist (Schritt S108: JA), wird das Ziel Tg als Trübung 200 bestimmt (Schritt S109). Mit anderen Worten, selbst wenn das Ziel nicht als Trübung 200 aus der Beziehung zwischen dem Änderungsbetrag σu der oberen Endposition und dem Schwellenwert B bestimmt wird, kann das Ziel als Trübung 200 abhängig von der Beziehung zwischen dem Änderungsbetrag σh der Höhenabmessung der Segmente S und dem Schwellenwert C bestimmt werden.
  • Der Schwellenwert C ist ein Schwellenwert zur Bestimmung, ob oder ob nicht die Höhenabmessungen h der Segmente S, welche das Ziel Tg bilden, sich stark genug ändern, um zu bestimmen, dass das Ziel Tg die Trübung 200 ist. Wie sich klar aus den 4 und 6 ergibt, hat das Ziel Tg1 entsprechend der durchgängigen Struktur 100 von 4 Höhenabmessungen h der Segmente S, welche im Wesentlichen konstant sind und das Ziel Tg2 entsprechend der Trübung 200 von 6 hat Höhenabmessungen h der Segmente S, welche sich stark voneinander unterscheiden. Die Höhenabmessungen h der Segmente S neigen dazu, eine stark unterschiedliche Tendenz abhängig zu zeigen, ob das Ziel Tg der durchgängigen Struktur 100 oder der Trübung 200 entspricht. Es ist damit möglich, zu bestimmen, ob oder ob nicht das Ziel Tg die Trübung 200 ist, in dem der Änderungsbetrag σh der Höhenabmessung der Segmente S mit dem Schwellenwert C verglichen wird. Der Schwellenwert C ist ein Beispiel des „bestimmten Schwellenwerts”, wie der Schwellenwert B gemäß obiger Beschreibung. Die Schwellenwerte B und C sind jedoch nicht notwendigerweise von gleichem Wert und können unterschiedlich zueinander gesetzt werden (das heißt, können separat als Werte gesetzt werden, welche jeweils dem Änderungsbetrag σu für die obere Endposition und dem Änderungsbetrag σh für die Höhenabmessung entsprechen).
  • Nachfolgend wird anhand der 10 und 11 das Bestimmungsverfahren unter Verwendung des Änderungsbetrags σh der Höhenabmessung erläutert. 10 ist eine grafische Darstellung eines Beispiels des Änderungsbetrags σh der Höhenabmessung für das Ziel Tg1 entsprechend der durchgängigen Struktur 100. 11 ist eine grafische Darstellung eines Beispiels des Änderungsbetrags σh der Höhenänderung des Ziels Tg2 entsprechend der Trübung 200. Die Werte der Änderungsbeträge σh der Höhenabmessung gemäß der 10 und 11 sind rein exemplarisch, um die Differenz der Tendenz zwischen der durchgängigen Struktur 100 und der Trübung 200 zu erläutern und entsprechen nicht dem Ziel Tg1 und dem Ziel Tg2 der 4 und 6.
  • Wie in 10 gezeigt, ist der Änderungsbetrag σh der Höhenabmessung des Ziels Tg1 entsprechend der durchgängigen Struktur 100 auf relativ niedrigem Wert stabil, obgleich er sich zu einem gewissen Grad abhängig von der Bildseitenposition ändert. Insbesondere übersteigt der Änderungsbetrag σh der Höhenabmessung des Ziels Tg1 den Schwellenwert C nicht. In diesem Fall wird das Ziel Tg1 nicht als Trübung 200 bestimmt.
  • Gemäß 11 ändert sich der Änderungsbetrag σh der Höhenabmessung für das Ziel Tg2 entsprechend der Trübung 200 abhängig von der Bildseitenposition relativ stark. Insbesondere übersteigt der Änderungsbetrag σh der Höhenabmessung für das Ziel Tg2 den Schwellenwert C an den meisten Stellen. In diesem Fall wird das Ziel Tg2 als Trübung 200 bestimmt.
  • Bei Bestimmung der Trübung 200 kann wie im Fall des Änderungsbetrags σu gemäß obiger Beschreibung die Anzahl von Malen, die der Änderungsbetrag σh für die Höhenabmessung den Schwellenwert C übersteigt, mit berücksichtigt werden. Genauer gesagt, das Ziel kann als Trübung 200 bestimmt werden, wenn der Änderungsbetrag σh für die Höhenabmessung den Schwellenwert C nur einmal übersteigt oder wenn der Änderungsbetrag σh für die Höhenabmessung den Schwellenwert C mehrmals übersteigt, also zweimal oder öfter. Alternativ kann das Ziel als Trübung 200 bestimmt werden, wenn das Verhältnis der Anzahl von Malen, welche der Änderungsbetrag σh für die Höhenabmessung den Schwellenwert C übersteigt zur Gesamtanzahl größer als oder gleich einem bestimmten Verhältnis ist.
  • Zurück zu 2, wenn bestimmt wird, dass der Änderungsbetrag σh der Höhenabmessung der Segmente S kleiner oder gleich dem Schwellenwert C ist (Schritt S108: NEIN), wird das Ziel Tg als durchgängige Struktur 100 bestimmt (Schritt S110). Wie oben beschrieben wird in dem Trübungsbestimmungsprozess gemäß der Ausführungsform das Ziel Tg als Trübung 200 bestimmt, wenn wenigstens entweder der Änderungsbetrag σu der oberen Endposition oder der Änderungsbetrag σh der Höhenabmessung für die Segmente S größer als der zugehörige bestimmte Schwellenwert ist (das heißt der Schwellenwert B oder Schwellenwert C) und das Ziel Tg wird in den übrigen Fällen als durchgängige Struktur 100 bestimmt.
  • In der obigen Ausführungsform wird die Bestimmung betreffend den Änderungsbetrag σu der oberen Endposition der Segmente S durchgeführt, bevor der Änderungsbetrag σh betreffend die Höhenabmessung der Segmente S bestimmt wird; jedoch kann jeder dieser Bestimmungsprozesse (das heißt der Schritt 107 oder der Schritt S108 in 2) als erster durchgeführt werden. Das Bestimmungsergebnis ändert sich nicht, auch wenn die Bestimmung betreffend den Änderungsbetrag σu der oberen Endposition der Segmente S durchgeführt wird, nachdem die Bestimmung des Änderungsbetrags σh der Höhenabmessung der Segmente S durchgeführt worden ist.
  • (Effekt der Erfindung)
  • Bei der Objekterkennungsvorrichtung 1 gemäß der beschriebenen Ausführungsform erlaubt der Trübungsbestimmungsprozess die Bestimmung, ob das entnommene Ziel Tg die Trübung 200 oder die durchgängige Struktur 100 ist.
  • Insbesondere haben die Trübung 200 und die durchgängige Struktur 100 das gemeinsame charakteristische Merkmal, dass die Bildrandstärke (der Kontrast) niedrig ist, wenn eine Bildverarbeitung durchgeführt wird. Somit ist es schwierig, die Trübung 200 und die durchgängige Struktur 100 voneinander alleine anhand der Bildrandstärke zu unterscheiden.
  • Bei der Ausführungsform wird jedoch bestimmt, ob oder ob nicht das Ziel Tg die Trübung 200 ist, indem auf den Änderungsbetrag σu der oberen Endposition und den Änderungsbetrag σh der Höhenabmessung der Segmente S zurückgegriffen wird, wie beschrieben worden ist. Es ist daher möglich, genau zu bestimmen, ob oder ob nicht das Ziel Tg die Trübung 200 ist. Mit anderen Worten, es ist möglich, zu verhindern, dass das Ziel Tg entsprechend der Trübung 200 als durchgängige Struktur 100 bestimmt wird oder dass das Ziel Tg entsprechend der durchgängigen Struktur 100 als Trübung 200 bestimmt wird.
  • Unter Verwendung des Bestimmungsergebnisses von der Objekterkennungsvorrichtung 1 kann beispielsweise ein Zusammenstoßsicherheitssystem für das Fahrzeug betrieben oder ausgelöst werden. Insbesondere dann, wenn das erkannte Ziel Tg als durchgängige Struktur 100 erkannt wird, kann eine Bremse automatisch betätigt werden, wenn das Risiko eines Zusammenstoßes mit der durchgängigen Struktur 100 besteht. In diesem Fall kann der Zusammenstoß des Fahrzeugs mit der durchgängigen Struktur 100 mit Sicherheit vermieden werden. Wenn andererseits das erkannte Ziel Tg als Trübung 200 bestimmt wird, wird die Bremse nicht ausgelöst. Auf diese Weise ist es möglich, zu verhindern, dass das Fahrzeug unnötig aufgrund eines automatischen Bremsvorgangs verzögert wird, der aufgrund einer Trübung (Nebel, Dunst etc.) ausgelöst wird, wo an sich keine Notwendigkeit für eine Zusammenstoßvermeidung vorliegt.
  • <zweite Ausführungsform>
  • Nachfolgend werden eine Objekterkennungsvorrichtung und ein Trübungsbestimmungsverfahren gemäß einer zweiten Ausführungsform der vorliegenden Erfindung erläutert. In der zweiten Ausführungsform unterscheidet sich die Arbeitsweise teilweise von der ersten Ausführungsform gemäß obiger Beschreibung; der verbleibende Aufbau ist im Wesentlichen gleich. Somit wird nachfolgen nur der Unterschied zur ersten Ausführungsform genauer beschrieben und die Erläuterungen von gleichen Teilen oder Abschnitten entfällt.
  • (Trübungsbestimmungsverfahren)
  • Das Trübungsbestimmungsverfahren gemäß der zweiten Ausführungsform wird anhand des Flussdiagramms von 12 beschrieben. 12 zeigt den Ablauf eines Trübungsbestimmungsprozesses gemäß der zweiten Ausführungsform. Der Ablauf des Trübungsbestimmungsprozesses von 12 wird wiederholt zu jeder bestimmten Zeitdauer durchgeführt, während der Zündschalter des Fahrzeugs eingeschaltet ist.
  • In 12 wird im Trübungsbestimmungsprozess für die Objekterkennungsvorrichtung 1 gemäß der zweiten Ausführungsform zunächst ein Paar von Bilddaten, aufgenommen von der Stereokamera 10, erlangt (Schritt S201). Der Bilderlanger 21 gibt das erlangte Paar von Bilddaten an den Segmentextraktor 22 aus.
  • Im Segmentextraktor 22 wird aus dem Paar von Bilddaten eine Parallaxe berechnet (Schritt S202). Wenn die Parallaxe berechnet worden ist, wird im Segmentextraktor 22 weiterhin ein Segment S extrahiert (Schritt S203). Das Segmentextraktionsergebnis durch den Segmentextraktor 22 wird an den Zielextraktor 23 ausgegeben.
  • Im Zielextraktor 23 werden die Segmente S, die in Bildseitenrichtung und in Tiefenrichtung miteinander in Verbindung sind, als Ziel Tg entsprechend einem Objekt in den Aufnahmebildern extrahiert (Schritt S204). Wenn das Ziel Tg extrahiert oder entnommen worden ist, wird ein Statistikwert der Segmentinformation in dem Zielextraktor 23 berechnet (Schritt S205). Wie bei der ersten Ausführungsform enthält hierbei der Statistikwert der Segmentinformation zumindest die Anzahl von Segmenten, welche das Ziel Tg bilden, und welche nachfolgen als Segmentzahl n bezeichnet wird, obere Endpositionen u der Segmente S und Höhenabmessungen h der Segmente S. Die Segmentzahl n und die oberen Endpositionen u und Höhenabmessungen h der Segmente S, welche berechnet worden sind, werden dem Änderungsrechner 24 zugeführt.
  • Im Änderungsrechner 24 wird zunächst bestimmt, ob oder ob nicht die Segmentzahl n größer als oder gleich einem bestimmten Schwellenwert A ist (Schritt S206). Wenn die Segmentzahl n nicht größer als oder gleich dem bestimmten Schwellenwert A ist (Schritt S206: NEIN), werden die nachfolgenden Prozesse weggelassen und der Prozessablauf für die Trübungsbestimmung wird beendet.
  • Wenn die Segmentanzahl n größer als oder gleich dem Schwellenwert A ist (Schritt S206: JA), wird ein Änderungsbetrag σu der oberen Endposition der Segmente S, welche das Ziel Tg bilden, im Änderungsrechner 24 berechnet und es wird bestimmt, ob oder ob nicht der Änderungsbetrag σu der oberen Endposition größer als ein bestimmter Schwellenwert B ist (Schritt S207). Der Schwellenwert B bei der zweiten Ausführungsform ist ein Beispiel für den „ersten Schwellenwert”.
  • Insbesondere wird bei der zweiten Ausführungsform, wenn bestimmt wird, dass der Änderungsbetrag σu der oberen Endposition der Segmente S kleiner oder gleich dem Schwellenwert B ist (Schritt S207: NEIN), das Ziel Tg als durchgängige Struktur 100 bestimmt (Schritt S210). Mit anderen Worten, bei der zweiten Ausführungsform kann alleine aus der Beziehung zwischen dem Änderungsbetrag σu der oberen Endposition der Segmente S und dem Schwellenwert B bestimmt werden, dass das Ziel Tg nicht die Trübung 200 ist.
  • Wenn bestimmt wird, dass der Änderungsbetrag σu der oberen Endposition der Segmente S größer als der Schwellenwert B ist (Schritt S207: JA), wird ein Änderungsbetrag σh der Höhenabmessung der Segmente S, welche das Ziel Tg bilden, im Änderungsrechner 24 berechnet und es wird bestimmt, ob oder ob nicht der Änderungsbetrag σh der Höhenabmessung größer als ein bestimmter Schwellenwert C ist (Schritt S208). Der Schwellenwert C gemäß der zweiten Ausführungsform ist ein Beispiel für den „zweiten Schwellenwert”.
  • Wenn bestimmt wird, dass der Änderungsbetrag σh der Höhenabmessung der Segmente S kleiner oder gleich dem Schwellenwert C ist (Schritt S208: NEIN), wird das Ziel Tg als durchgängige Struktur 100 bestimmt (Schritt S210). Wie sich aus dem Prozess bisher ergibt, wird in dem Trübungsbestimmungsprozess gemäß der zweiten Ausführungsform das Ziel Tg als durchgängige Struktur 100 bestimmt, wenn festgestellt wird, das wenigstens entweder der Änderungsbetrag σu der oberen Endposition oder der Änderungsbetrag σh der Höhenabmessung der Segmente S nicht größer als ein bestimmter Schwellenwert ist.
  • Wenn andererseits bestimmt wird, dass der Änderungsbetrag σh der Höhenabmessung der Segmente S größer als der Schwellenwert C ist (Schritt S208: JA), wird das Ziel Tg als Trübung 200 bestimmt (Schritt S209). Wie oben beschrieben wird bei der zweiten Ausführungsform das Ziel Tg als Trübung 200 bestimmt, wenn sowohl der Änderungsbetrag σu der oberen Endposition als auch der Änderungsbetrag σh der Höhenabmessung der Segmente S größer als die jeweiligen vorbestimmten Schwellenwerte ist.
  • In obiger Ausführungsform wird die Bestimmung betreffend den Änderungsbetrag σu der oberen Endposition der Segmente S vor der Bestimmung betreffend den Änderungsbetrag σh der Höhenabmessung der Segmente S durchgeführt; jedoch kann jeder dieser Bestimmungsprozesse (das heißt Schritt S207 und Schritt S208 in 12) als erster durchgeführt werden. Das Bestimmungsergebnis ändert sich nicht, auch wenn die Bestimmung betreffend den Änderungsbetrag σu der oberen Endposition der Segmente S nach der Bestimmung betreffend den Änderungsbetrag σh der Höhenabmessung der Segmente S durchgeführt wird.
  • Solange nicht anders erläutert sind die Abläufe vom Schritt S201 zum Schritt S210 in 12 jeweils gleich den Abläufen der Schritte S101 bis S110 in 2.
  • (Effekt der Erfindung)
  • Bei der Objekterkennungsvorrichtung 1 gemäß der zweiten Ausführungsform wird das Ziel Tg als Trübung 200 bestimmt, wenn sowohl der Änderungsbetrag σu der oberen Endposition als auch der Änderungsbetrag σh der Höhenabmessung der Segmente S größer als die jeweiligen vorbestimmten Schwellenwerte ist, wie soeben beschrieben worden ist. Selbst wenn nur einer von Änderungsbetrag σu der oberen Endposition und Änderungsbetrag σh der Höhenabmessung der Segmente S größer als der bestimmte Schwellenwert ist, wird das Ziel Tg nicht als Trübung 200 bestimmt. Das Ziel Tg wird im Vergleich zur ersten Ausführungsform kaum als eine Trübung bestimmt.
  • Wenn das Bestimmungsergebnis der Objekterkennungsvorrichtung 1 für ein Zusammenstoßsicherheitssystem im Fahrzeug verwendet wird, wird, selbst wenn das Ziel Tg, welches als Trübung 200 bestimmt werden sollte, irrtümlich als durchgängige Struktur 100 bestimmt wird, die Bremse des Fahrzeugs zu einem unpassenden Zeitpunkt betätigt. Wenn jedoch das Ziel Tg, welches als durchgängige Struktur 100 bestimmt werden sollte, fehlerhafterweise als Trübung 200 bestimmt wird, wird die Bremse nicht automatisch betätigt, was wahrscheinlich einen Zusammenstoß des Fahrzeugs mit der durchgängigen Struktur 100 bewirken würde. Es ist daher mit Priorität zu vermeiden, dass die durchgängige Struktur 100 fehlerhafterweise als Trübung 200 bestimmt wird.
  • Bei der zweiten Ausführungsform wird im Gegensatz hierzu bei der Bestimmung, dass das Ziel Tg die Trübung ist, es zur Notwendigkeit gemacht, dass sowohl der Änderungsbetrag σu der oberen Endposition der Segmente S als auch der Änderungsbetrag σh der Höhenabmessung der Segmente S größer als die jeweiligen bestimmten Schwellenwerte ist. Dies macht es möglich, noch sicherer zu verhindern, dass das Ziel Tg, welches als durchgängige Struktur 100 zu bestimmen wäre, irrtümlich als Trübung 200 bestimmt wird.
  • Beschrieben wurde insoweit zusammenfassend eine Objekterkennungsvorrichtung, welche aufweist: einen Erlanger, der eine Mehrzahl von Bildern zu erlangen vermag, welche von einer Stereokamera aufgenommen werden; einen Segmentextraktor, der eine Parallaxe aus der Mehrzahl von Bildern zu berechnen vermag und der einen Satz, in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als Segment in Abständen einer bestimmten Breite in Bildbreitenrichtung zu extrahieren vermag; einen Zielextraktor, der Segmente als Ziel zu extrahieren vermag, welche in Bildseitenrichtung und Bildtiefenrichtung miteinander in Verbindung sind; einen Rechner, der einen Änderungsbetrag von oberen Endpositionen und einen Änderungsbetrag von Höhenabmesungen der Segmente zu berechnen vermag, welche das Ziel bilden; und einen Bestimmer, der zu bestimmen vermag, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenabmessung größer als ein bestimmter Schwellenwert ist.
  • Die Erfindung kann in anderen Formen ausgeführt werden, ohne vom Wesen oder Umfang hiervon abzuweichen. Die beschriebenen Ausführungsformen und Beispiele sind somit als rein exemplarisch und nicht einschränkend zu verstehen; der Umfang der vorliegenden Erfindung ergibt sich vielmehr alleine aus den beigefügten Ansprüchen und deren Äquivalente.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2013-203337 A [0002, 0004]
    • JP 2012-118698 A [0002, 0004]
    • JP 2015-069381 A [0002, 0004]
    • JP 2013-206328 A [0002, 0005]

Claims (4)

  1. Objekterkennungsvorrichtung (1) aufweisend: einen Erlanger (21), der eine Mehrzahl von Bildern (P) zu erlangen vermag, welche von einer Stereokamera (10) aufgenommen werden; einen Segmentextraktor (22), der eine Parallaxe aus der Mehrzahl von Bildern zu berechnen vermag und der einen Satz, in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als Segment (S) in Abständen einer bestimmten Breite in Bildbreitenrichtung zu extrahieren vermag; einen Zielextraktor (23) der Segmente als Ziel (Tg) zu extrahieren vermag, welche in Bildseitenrichtung und Bildtiefenrichtung miteinander in Verbindung sind; einen Rechner (24), der einen Änderungsbetrag von oberen Endpositionen (σu) und einen Änderungsbetrag von Höhenabmessungen (σh) der Segmente zu berechnen vermag, welche das Ziel bilden; und einen Bestimmer (25) der zu bestimmen vermag, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenabmessung größer als ein bestimmter Schwellenwert ist.
  2. Objekterkennungsvorrichtung (1) nach Anspruch 1, wobei der Bestimmer (25) zu bestimmen vermag, dass das Ziel (Tg) die Trübung ist, wenn der Änderungsbetrag der oberen Endpositionen (σu) größer als ein erster Schwellenwert ist, der der bestimmte Schwellenwert ist und wenn der Änderungsbetrag der Höhenabmessungen (σh) größer als ein zweiter Schwellenwert ist, der der bestimmte Schwellenwert ist.
  3. Objekterkennungsvorrichtung (1) nach Anspruch 1 oder 2, wobei der Rechner (24) den Änderungsbetrag der oberen Endpositionen (σu) und den Änderungsbetrag der Höhenabmessungen (σh) zu berechnen vermag, wenn die Anzahl der Segmente (S), welche das Ziel (Tg) bilden, größer oder gleich als eine bestimmte Anzahl ist.
  4. Trübungsbestimmungsverfahren, aufweisend: Erlangen einer Mehrzahl von Bildern, fotografiert durch eine Stereokamera (10); Berechnen einer Parallaxe aus der Mehrzahl von Bildern (P) und Extrahieren eines Satzes, in welchem die Parallaxe innerhalb eines bestimmten Bereichs ist, als ein Segment (S) in Abständen einer bestimmten Breite in Bildbreitenrichtung; Extrahieren von Segmenten, die in Bildseitenrichtung und Bildtiefenrichtung miteinander in Verbindung sind, als ein Ziel (Tg); Berechnen eines Änderungsbetrags oberer Endpositionen (σu) und eines Änderungsbetrags von Höhenabmessungen (σh) der Segmente, welche das Ziel bilden; und Bestimmen, dass das Ziel eine Trübung ist, wenn wenigstens entweder der Änderungsbetrag der oberen Endpositionen oder der Änderungsbetrag der Höhenabmessungen größer als ein bestimmter Schwellenwert ist.
DE102016216500.3A 2015-10-02 2016-09-01 Objekterkennungsverfahren und trübungsbestimmungsverfahren Pending DE102016216500A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-196817 2015-10-02
JP2015196817A JP6299720B2 (ja) 2015-10-02 2015-10-02 物体認識装置及び煙判定方法

Publications (1)

Publication Number Publication Date
DE102016216500A1 true DE102016216500A1 (de) 2017-04-06

Family

ID=58355576

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016216500.3A Pending DE102016216500A1 (de) 2015-10-02 2016-09-01 Objekterkennungsverfahren und trübungsbestimmungsverfahren

Country Status (4)

Country Link
US (1) US10102628B2 (de)
JP (1) JP6299720B2 (de)
CN (1) CN106560837B (de)
DE (1) DE102016216500A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112018001579B1 (pt) * 2015-07-27 2022-07-19 Nissan Motor Co., Ltd Método de detecção de objeto e dispositivo de detecção de objeto
US10204418B2 (en) * 2016-09-07 2019-02-12 Nokia Technologies Oy Method and apparatus for facilitating stereo vision through the use of multi-layer shifting
EP3614299A1 (de) * 2018-08-21 2020-02-26 Siemens Aktiengesellschaft Verfahren und anordnung zum erkennen von objekten an anlagen
JP2021125541A (ja) * 2020-02-04 2021-08-30 キオクシア株式会社 処理装置および処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118698A (ja) 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
JP2013203337A (ja) 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 運転支援装置
JP2013206328A (ja) 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
JP2015069381A (ja) 2013-09-27 2015-04-13 富士重工業株式会社 車外環境認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416297B2 (en) * 2007-01-16 2013-04-09 Utc Fire & Security Corporation System and method for video detection of smoke and flame
FR2965354B1 (fr) * 2010-09-28 2012-10-12 France Etat Ponts Chaussees Procede et dispositif de detection de brouillard, la nuit
DE102012213125A1 (de) * 2012-07-26 2014-01-30 Robert Bosch Gmbh Brandüberwachungssystem
RU2571368C1 (ru) * 2012-07-27 2015-12-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов
WO2014017302A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用周囲環境認識装置
JP5886809B2 (ja) * 2013-09-27 2016-03-16 富士重工業株式会社 車外環境認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118698A (ja) 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
JP2013203337A (ja) 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 運転支援装置
JP2013206328A (ja) 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 物体検出装置
JP2015069381A (ja) 2013-09-27 2015-04-13 富士重工業株式会社 車外環境認識装置

Also Published As

Publication number Publication date
JP2017068789A (ja) 2017-04-06
US10102628B2 (en) 2018-10-16
CN106560837B (zh) 2019-07-26
JP6299720B2 (ja) 2018-03-28
US20170098298A1 (en) 2017-04-06
CN106560837A (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
DE112010002047B4 (de) Objekterfassungsvorrichtung
DE102016200828B4 (de) Objekterfassungsvorrichtung und Objekterfassungsverfahren
EP1062640B1 (de) Verfahren zum verifizieren der authentizität eines im rahmen einer personenerkennung aufgenommenen bildes
DE102005063199B4 (de) Vorrichtung und Verfahren zur Erkennung von Straßenmarkierungen
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102016216500A1 (de) Objekterkennungsverfahren und trübungsbestimmungsverfahren
DE102015205225A1 (de) Verfahren und Vorrichtung zum Erkennen eines Zielobjekts im toten Winkel eines Fahrzeugs
DE112007000371T5 (de) Objekterkennungssystem und -Verfahren
DE102009005860A1 (de) Umgebungs-Erkennungssystem
DE102015207443B4 (de) Fahrzeugerkennungseinrichtung
DE19948608B4 (de) Verfahren und Vorrichtung zum Erfassen eines Fahrzeugs
EP2856390A1 (de) Verfahren und vorrichtung zur verarbeitung stereoskopischer daten
DE112012001606T5 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
DE102015209147A1 (de) Verfahren zur Parkflächenerkennung
EP2787485B1 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
EP3619060B1 (de) Verfahren zur ermittlung des knickwinkels eines gespanns
DE102017209631B4 (de) Objektidentifizierungsvorrichtung
DE102016201741A1 (de) Verfahren zur Höhenerkennung
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE102011005969A1 (de) In einem Fahrzeug montierte Vorrichtung zur Erfassung einer Linienmarkierung
DE112018000224B4 (de) Verfahren und Vorrichtung zum Bestimmen einer Position eines Schlitzes in einer zu verarbeitenden Probe
DE102012015282A1 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102009024030B3 (de) Verfahren zur optischen Ermittlung von geometrischen Oberflächenmerkmalen
DE102019132012A1 (de) Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication