DE112021005102T5

DE112021005102T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112021005102T5
Application number: DE112021005102.4T
Authority: DE
Inventors: Ryosuke Toki; Tatsuo Saishu
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-12-14
Filing date: 2021-10-21
Publication date: 2023-08-17
Also published as: JPWO2022130780A1; JP7466695B2; WO2022130780A1

Abstract

Eine Bildverarbeitungsvorrichtung wird bereitgestellt, welche die Identifizierungsleistung und die Robustheit verbessern kann. Eine Bildverarbeitungsvorrichtung umfasst eine Objekterfassungseinheit 301, die ein in jedem von Bildern enthaltenes Objekt auf Basis der Bilder von einer ersten Kamera und einer zweiten Kamera erfasst, eine Objektidentifizierungseinheit 303, die einen Typ des erfassten Objekts durch Verwenden des Bildes von der ersten Kamera oder des Bildes von der zweiten Kamera spezifiziert (identifiziert), und eine Verschlechterungszustand-Bestimmungseinheit 302, die einen Verschlechterungszustand von jedem vom Bild von der ersten Kamera und Bild von der zweiten Kamera bestimmt. Die Objektidentifizierungseinheit 303 bestimmt auf Basis des Verschlechterungszustands, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, die einen Identifizierungsprozess in einer Bordkamera ausführt.
Bisheriger Stand der Technik
Durch den Fortschritt der Fahrassistenz-Steuertechnik finden Adaptive Cruise Control (ACC), Autonomous Emergency Braking System (AEBS) und dergleichen eine weite Verbreitung. Durch die zunehmende Verbreitung der Fahrassistenz-Steuertechnik ist es erforderlich, die Betriebsgenauigkeit und die robuste Leistung zu verbessern, um eine kontinuierliche Steuerung auch bei ungünstiger Umgebung in einem gewissen Maße zu ermöglichen.
Herkömmlicherweise wurde, da die Verschlechterung der Erkennungsleistung (Identifizierungsleistung) aufgrund einer Verschlechterung der Bilderfassungsumgebung etwa durch Regentropfen und Gegenlicht einen stabilen Betrieb der Fahrassistenzsteuerung beeinflusst, ein Prozess zum Unterbrechen der Fahrassistenzsteuerung ausgeführt.
Im herkömmlichen Verfahren wie in PTL 1 offenbart wird hingegen der Grad der Verschlechterung der Bilderfassungsumgebung in drei Stufen bestimmt, und wenn der Grad der Verschlechterung gering ist, wird ein Erkennungsprozess ausgeführt, um ein Fortsetzen der Fahrassistenzsteuerung zu versuchen.
Liste der Anführungen
Patentliteratur
PTL 1: JP 2009-241636 A
Zusammenfassung der Erfindung
Technische Aufgabe
Im zuvor beschriebenen herkömmlichen Verfahren wird das Ergebnis eines Stereoprozesses verwendet, wenn der Grad der Verschlechterung eines Bildes ermittelt wird, aber der Erkennungsprozess erfolgt fest durch eine Kamera und wird ausgeführt. Daher bestehen insofern Probleme, als die Erkennungsleistung stark von der Verschlechterungssituation eines Kamerabildes an einer Seite abhängt und die Robustheit abnimmt.
Die vorliegende Erfindung wurde aufgrund der zuvor beschriebenen Umstände entwickelt und eine Aufgabe von dieser besteht im Bereitstellen einer Bildverarbeitungsvorrichtung, die in der Lage ist, die Identifizierungsleistung und Robustheit zu verbessern.
Technische Lösung
Zum Lösen der vorhergehenden Probleme umfasst gemäß der vorliegenden Erfindung eine Bildverarbeitungsvorrichtung eine Objekterfassungseinheit, die ein in jedem von Bildern enthaltenes Objekt auf Basis der Bilder von einer ersten Kamera und einer zweiten Kamera erfasst, eine Objektidentifizierungseinheit, die einen Typ des erfassten Objekts durch Verwenden des Bildes von der ersten Kamera oder des Bildes von der zweiten Kamera spezifiziert, und eine Verschlechterungszustand-Bestimmungseinheit, die einen Verschlechterungszustand von jedem vom Bild von der ersten Kamera und Bild von der zweiten Kamera bestimmt. Die Objektidentifizierungseinheit bestimmt auf Basis des Verschlechterungszustands, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Erfindung kann die Identifizierungsleistung durch Bestimmen eines für einen Identifizierungsprozess geeigneten Bildes, Wechseln des Bildes und Ausführen des Identifizierungsprozesses verbessert werden.
Aufgaben, Konfigurationen und vorteilhafte Wirkungen zusätzlich zu den zuvor beschriebenen gehen aus den Beschreibungen der folgenden Ausführungsformen hervor.
Figurenliste

[1] 1 zeigt ein Blockdiagramm zur Darstellung einer schematischen Konfiguration einer Bord-Stereokameravorrichtung, umfassend eine Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung.
[2] 2 zeigt ein Fließbild zum Erläutern eines Inhalts eines Stereokameraprozesses als eine Basis der Ausführungsform der vorliegenden Erfindung.
[3] 3 zeigt ein Blockdiagramm zur Darstellung einer Funktionsblockkonfiguration einer Rechenoperations-Verarbeitungseinheit der Bildverarbeitungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung.
[4] 4 zeigt ein Diagramm zur Darstellung eines Ergebnisses eines Objekterfassungsprozesses.
[5] 5 zeigt ein Diagramm zur Darstellung eines Ergebnisses der Bereichsunterteilung zum Ausführen eines Verschlechterungszustand-Bestimmungsprozesses von linker und rechter Kamera.
[6] 6 zeigt ein Fließbild des Verschlechterungszustand-Bestimmungsprozesses von linker und rechter Kamera.
[7] 7 zeigt ein Diagramm zum Erläutern eines Inhalts eines Identifizierungsbereich-Festlegungsprozesses.
[8] 8 zeigt ein Fließbild eines Beispiels eines Prozesses zum Wechseln zwischen linker und rechter Kamera.
[9] 9 zeigt ein Fließbild eines weiteren Beispiels eines Prozesses zum Wechseln zwischen linker und rechter Kamera.
[10] 10 zeigt ein Diagramm von jeder Prozessstufe eines Identifizierungsprozesses.

Beschreibung von Ausführungsformen
Nachfolgend ist eine Ausführungsform der vorliegenden Erfindung in Bezug auf die Zeichnungen erläutert. In den Zeichnungen sind Teile mit den gleichen Funktionen mit den gleichen Bezugszeichen bezeichnet und auf eine Wiederholung der Beschreibung hiervon wird gegebenenfalls verzichtet.
1 zeigt ein Blockdiagramm zur schematischen Darstellung einer Gesamtkonfiguration einer Bord-Stereokameravorrichtung, umfassend eine Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform. Eine Bord-Stereokameravorrichtung 100 in der vorliegenden Ausführungsform ist eine Vorrichtung, die an einem Fahrzeug montiert ist und eine Außenumgebung des Fahrzeugs auf der Basis der Bildinformationen eines Bilderfassungs-Zielbereichs um das Fahrzeug herum, etwa im Frontbereich des Fahrzeugs, erkennt. Die Bord-Stereokameravorrichtung 100 erkennt beispielsweise eine weiße Linie auf einer Straße, einen Fußgänger, ein Fahrzeug, andere dreidimensionale Objekte, eine Ampel, ein Schild, eine Beleuchtungslampe und dergleichen und passt eine Bremse, eine Lenkung und dergleichen des Fahrzeugs (des eigenen Fahrzeugs), an dem die Bord-Stereokameravorrichtung 100 montiert ist, an.
Die Bord-Stereokameravorrichtung 100 umfasst zwei Kameras 101 und 102 (ein Paar, linke Kamera 101 und rechte Kamera 102), die an der linken und rechten Seite (nebeneinander) angeordnet sind und Bildinformationen erfassen, und eine Bildverarbeitungsvorrichtung 110, die jedes Bild von Bildgebungselementen der Kameras 101 und 102 verarbeitet. Die Bildverarbeitungsvorrichtung 110 ist als ein Computer, umfassend einen Prozessor wie eine Central Processing Unit (CPU) und einen Speicher wie ein Read Only Memory (ROM), ein Random Access Memory (RAM) und ein Hard Disk Drive (HDD), ausgebildet. Jede Funktion der Bildverarbeitungsvorrichtung 110 wird vom Prozessor ausgeführt, der ein im ROM gespeichertes Programm ausführt. Der RAM speichert Daten, umfassend Zwischendaten einer Rechenoperation durch ein vom Prozessor ausgeführtes Programm. Die Bildverarbeitungsvorrichtung 110 umfasst eine Bildeingabe-Schnittstelle 103 zum Steuern der Bilderfassung der Kameras 101 und 102 und Eingeben eines erfassten Bildes. Daten des durch die Bildeingabe-Schnittstelle 103 eingegebenen Bildes werden durch einen internen Bus 109 gesendet und durch eine Bildverarbeitungseinheit 104 und eine Rechenoperations-Verarbeitungseinheit 105 verarbeitet. Ein Ergebnis in der Mitte des Prozesses, Bilddaten als ein Endergebnis und dergleichen werden in einer Speichereinheit 106 gespeichert.
Die Bildverarbeitungseinheit 104 vergleicht ein erstes Bild (auch als linkes Bild oder linkes Kamerabild bezeichnet), erhalten vom Bildgebungselement der Kamera 101, mit einem zweiten Bild (auch als rechtes Bild oder rechtes Kamerabild bezeichnet), erhalten vom Bildgebungselement der Kamera 102, und führt eine Bildkorrektur, etwa eine Korrektur einer für die Vorrichtung spezifische Abweichung, verursacht durch das Bildgebungselement, oder eine Interpolation des Rauschens, an jedem Bild durch. Zusätzlich speichert die Bildverarbeitungseinheit 104 ein Ergebnis der Bildkorrektur in der Speichereinheit 106. Ferner berechnet die Bildverarbeitungseinheit 104 eine Parallaxeninformation durch Berechnen der entsprechenden Punkte zwischen erstem und zweitem Bild und speichert die berechnete Parallaxeninformation in der Speichereinheit 106 wie zuvor beschrieben.
Die Rechenoperations-Verarbeitungseinheit 105 erkennt verschiedene zur Wahrnehmung der Umgebung um das Fahrzeug erforderliche Objekte durch Verwendung des Bildes und der Parallaxeninformation (Abstandsinformation für jeden Punkt auf dem Bild), die in der Speichereinheit 106 gespeichert sind. Die verschiedenen Objekte umfassen eine Person, ein Fahrzeug, andere Hindernisse, eine Ampel, ein Schild, ein Rücklicht, einen Scheinwerfer und dergleichen eines Fahrzeugs. Einige Erkennungsergebnisse und Zwischenberechnungsergebnisse werden in der Speichereinheit 106 auf die gleiche Weise aufgezeichnet wie zuvor beschrieben. Nachdem verschiedene Arten von Objekterkennung am erfassten Bild durchgeführt wurden, wird eine Steuerrichtlinie des Fahrzeugs durch Verwenden der Erkennungsergebnisse berechnet.
Die Steuerrichtlinie des Fahrzeugs und ein Abschnitt des als Ergebnis der Berechnung erhaltenen Objekterkennungsergebnisses werden an ein Bord-Netzwerk-CAN 111 durch eine CAN-Schnittstelle 107 gesendet und es wird dadurch ein Bremsen des Fahrzeugs durchgeführt. In Bezug auf diese Vorgänge überwacht eine Steuerverarbeitungseinheit 108, ob jede Verarbeitungseinheit einen anormalen Betrieb verursacht hat, ob ein Fehler zum Zeitpunkt der Datenübertragung aufgetreten ist und dergleichen, wodurch ein anormaler Betrieb verhindert wird.
Die Bildverarbeitungsvorrichtung 104 ist mit der Steuerverarbeitungseinheit 108, der Speichereinheit 106, der Rechenoperations-Verarbeitungseinheit 105, der Bildeingabe-Schnittstelle 103, die eine Eingabe-/Ausgabeeinheit zum Durchführen des Eingabe-/Ausgabevorgangs zum und vom Bildgebungselement ist, und der CAN-Schnittstelle 107, die eine Eingabe-/Ausgabeeinheit zum Durchführen eines Eingabe-/Ausgabevorgangs zu und von einem externen Bord-Netzwerk-CAN 111 ist, über den internen Bus 109 verbunden. Die Steuerverarbeitungseinheit 108, die Bildverarbeitungseinheit 104, die Speichereinheit 106, die Rechenoperations-Verarbeitungseinheit 105 und die Eingabe-/Ausgabeeinheiten 103 und 107 sind durch eine einzelne oder eine Vielzahl von Computereinheiten ausgebildet. Die Speichereinheit 106 umfasst beispielsweise einen Speicher, der durch die Bildverarbeitungseinheit 104 erhaltene Bildinformationen, als ein Ergebnis der Abtastung durch die Rechenoperations-Verarbeitungseinheit 105 erzeugte Bildinformationen und dergleichen speichert. Die Eingabe-/Ausgabeeinheit 107 zum Durchführen des Eingabe-/Ausgabevorgangs zum und vom externen Bord-Netzwerk-CAN 111 gibt von der Bord-Stereokameravorrichtung 100 ausgegebene Informationen an ein Steuersystem des eigenen Fahrzeugs über das Bord-Netzwerk-CAN 111 aus.
2 zeigt einen Verarbeitungsablauf (das heißt den Inhalt eines Stereokameraprozesses, der die Basis der vorliegenden Ausführungsform darstellt) in der Bord-Stereokameravorrichtung 100.
Zunächst werden in S201 und S202 Bilder von der linken und rechten Kamera 101 und 102 erfasst und ein Bildprozess S203, etwa eine Korrektur zum Absorbieren eines spezifischen Verhaltens des Bildgebungselements, wird für jeden Teil von Bilddaten 121 und 122, erhalten durch die Bilderfassung von jeder Kamera, ausgeführt. Das Verarbeitungsergebnis wird in einem Bildpuffer 126 gespeichert. Der Bildpuffer 126 ist in der Speichereinheit 106 in 1 angeordnet. Ferner werden die zwei korrigierten Bilder zum Vergleichen der Bilder miteinander verwendet, wodurch eine Parallaxeninformation der Bilder (linkes und rechtes Bild), erhalten durch die linke und rechte Kamera, erhalten wird. Die Parallaxe zwischen linkem und rechtem Bild ergibt eindeutige Positionen eines bestimmten Punkts, der die Aufmerksamkeit auf ein Zielobjekt zieht, in Bildern der linken und rechten Kamera und der Abstand des Zielobjekts kann durch das Prinzip der Triangulation ermittelt werden. Dies wird in einem Parallaxenprozess S204 durchgeführt. Der Bildprozess S203 und der Parallaxenprozess S204 werden von der Bildverarbeitungseinheit 104 in 1 ausgeführt und das schließlich erhaltene Bild und die Parallaxeninformation werden in der Speichereinheit 106 gespeichert.
Ein Objekterfassungsprozess S205 zum Erfassen eines Objekts (dreidimensionalen Objekts) in einem dreidimensionalen Raum wird durch Verwenden eines wie zuvor beschrieben erhaltenen Parallaxenbildes ausgeführt. (Details sind nachfolgend beschrieben.) Ferner werden verschiedene Erkennungsprozesse S206 durch Verwenden des gespeicherten Bildes und der gespeicherten Parallaxeninformation ausgeführt. (Details sind nachfolgend beschrieben.) Beispiele des zu erkennenden Objekts umfassen eine Person, ein Fahrzeug, andere dreidimensionale Objekt, ein Schild, eine Ampel, ein Rücklicht und dergleichen und Details des Erkennungsprozesses werden durch Bedingungen bestimmt, etwa Merkmale des Ziels und die auf das System angewendete Verarbeitungszeit. Ferner wird unter Berücksichtigung des Ergebnisses der Objekterkennung des Zustands (Geschwindigkeit, Lenkwinkel und dergleichen) des eigenen Fahrzeugs in einem Fahrzeug-Steuerprozess S207 beispielsweise eine Warnung an den Insassen ausgegeben, ein Bremsen, etwa eine Anpassung des Bremsens oder Lenkwinkels des eigenen Fahrzeugs, durchführt oder eine Steuerrichtlinie zum Durchführen einer Vermeidungssteuerung des Zielobjekts durch den Fahrzeug-Steuerprozess S207 bestimmt und das Ergebnis wird als Steuerinformation des eigenen Fahrzeugs oder dergleichen -durch die CAN-Schnittstelle 107 ausgegeben (S208). Der Objekterfassungsprozess S205, die verschiedenen Erkennungsprozesse S206 und der Fahrzeug-Steuerprozess S207 werden von der Rechenoperations-Verarbeitungseinheit 105 in 1 ausgeführt und ein Ausgabeprozess an das Bord-Netzwerk-CAN 111 wird von der CAN-Schnittstelle 107 ausgeführt. Jedes der Verarbeitungsmittel ist beispielsweise durch eine einzelne oder eine Vielzahl von Computereinheiten ausgebildet und ist dazu ausgebildet, Daten aneinander und voneinander senden und empfangen zu können.
Die Parallaxe oder der Abstand von jedem Pixel zwischen linkem und rechtem Bild wird im Parallaxenprozess S204 ermittelt. Im Objekterfassungsprozess S205 wird die Parallaxe oder der Abstand als ein Objekt (dreidimensionales Objekt) in einem dreidimensionalen Raum gruppiert. Anschließend werden die verschiedenen Erkennungsprozesse S206 auf Basis einer Position und eines Bereichs im Bild ausgeführt. Zu diesem Zeitpunkt ist es zum stabilen Erkennen eines Objekts in den verschiedenen Erkennungsprozessen S206 erforderlich, dass ein Objektbereich im Bild mit der Reflexion des zu erkennenden Objekts übereinstimmt. In einer Stereokamera ist es aber gegebenenfalls nicht möglich, dass aufgrund der Helligkeit einer äußeren Umgebung, einer Variation in der Bildgebungsleistung zwischen den Kameras, einer Abdeckung durch Fremdpartikel auf einer Glasfläche oder dergleichen eine vollständige Übereinstimmung mit dem Objektbereich im zu erkennenden Bild erzielt wird. Dies gilt auch dann, wenn ein Millimeterwellen-Radar oder dergleichen und ein Bildsensor, etwa eine Kamera, kombiniert sind.
3 zeigt eine Funktionsblockkonfiguration der Rechenoperations-Verarbeitungseinheit der Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform. Die Konfiguration ist nachfolgend unter Annahme einer Stereokamera beschrieben. Die Rechenoperations-Verarbeitungseinheit 105 in der Bildverarbeitungsvorrichtung 110 umfasst eine Objekterfassungseinheit 301, eine Verschlechterungszustand-Bestimmungseinheit 302 und eine Objektidentifizierungseinheit 303. In der vorliegenden Ausführungsform wird der Objekterkennungsprozess S205 von der Objekterfassungseinheit 301 ausgeführt und die verschiedenen Erkennungsprozesse S206 werden von der Verschlechterungszustand-Bestimmungseinheit 302 und der Objektidentifizierungseinheit 303 ausgeführt.
(Objekterfassungseinheit)
Die Objekterfassungseinheit 301 führt einen im Objekterfassungsprozess S025 ausgeführten Erfassungsprozess für ein Objekt (dreidimensionales Objekt) aus und berechnet einen Bereich (Objektbereich), in dem das im durch die linke und rechte Kamera erhaltenen Bild enthaltene Objekt angeordnet ist.
4 zeigt ein Ergebnis des Objekterfassungsprozesses S205 an einem Kamerabild. Ein Objektbereich 401, der ein Ergebnis des Objekterfassungsprozesses S205 ist, wird für jedes Objekt mit einer Höhe auf der Straßenoberfläche, etwa einen Fußgänger, ein Fahrzeug, einen Baum oder eine Straßenlaterne, das in einem dreidimensionalen Bereich vorhanden ist, ermittelt und als ein Bereich auf ein Bild projiziert. Der Objektbereich 401 kann ein rechteckiger Bereich wie in 4 dargestellt oder ein aus der Parallaxe oder dem Abstand ermittelter unendlicher Bereich sein. Zum Erleichtern der Handhabung durch einen Computer in den folgenden Prozessen wird der Objektbereich allgemein als ein Rechteck behandelt. Im vorliegenden Beispiel wird der Objektbereich 401 als ein Rechteck behandelt und Details von jedem Prozess sind durch Verwenden eines Fahrzeugs als ein Beispiel des Objektbereichs 401 beschrieben.
(Verschlechterungszustand-Bestimmungseinheit)
Die Verschlechterungszustand-Bestimmungseinheit 302 vergleicht die Reflexionsgrade der linken und rechten Kamera in Bezug auf das linke und rechte Kamerabild und berechnet den Verschlechterungszustand für die Kamera, deren Bild zur Verwendung im Erkennungsprozess (Identifizierungsprozess) geeignet ist.
Insbesondere wird in einem Verschlechterungszustand-Bestimmungsprozess S210 für die linke und rechte Kamera der im Erkennungsprozess verwendete Kamerabildwinkel in eine Vielzahl von Bereichen unterteilt, der Grad der Verschlechterung wird für jeden der unterteilten Bereiche des entsprechenden linken und rechten Kamerabildes berechnet und verglichen, der Verschlechterungszustand wird bestimmt und das Ergebnis wird für jeden der unterteilten Bereiche erzeugt. In der vorliegenden Ausführungsform ist ein Beispiel (501) beschrieben, in dem ein Bildschirm in 25 rechteckige Bereiche unterteilt ist, die nicht gleichmäßig unterteilt sind wie in 5 dargestellt. Wenn aber der Prozess effektiv ausgeführt wird, kann bei Bedarf jede beliebige Form statt einem Rechteck und eine beliebige Zahl von Unterteilungen verwendet werden oder der gesamte Bildschirm kann als ein Bereich ohne Unterteilung behandelt werden. Als ein Unterteilungsverfahren ist es beispielsweise denkbar, den Bereich fein (klein) in der Nähe der Mitte des Bildschirms entsprechend dem Fahrweg des eigenen Fahrzeugs zu unterteilen und den Bereich grob in der Nähe des Bildschirmendes zu unterteilen. Der Unterteilungszustand des Bereichs ist nicht fest und kann entsprechend gemäß der Fahrsituation geändert werden. Beispielsweise ist es denkbar, die Zahl von Unterteilungen unter der Annahme zu reduzieren, dass eine Bildverschlechterung eher nicht auftreten wird, wenn die äußere Umgebung sonnig ist, und die Zahl von Unterteilungen in einem Bereich, zulässig durch die maschinelle Verarbeitungszeit zulässig, zum feinen Identifizieren eines verschlechterten Abschnitts, wenn es anfängt zu regnen, zu erhöhen.
Als ein Verfahren zum Bestimmen des Verschlechterungszustands im Verschlechterungszustand-Bestimmungsprozess S210 für die linke und rechte Kamera ist in diesem Beispiel ein Verfahren zum Vergleichen der jeweiligen Kantenextraktionsprozesse im linken und rechten Bild beschrieben. In der Stereokamera wird ein Bild eines gemeinsamen Teils von der rechten Kamera 102 und der linken Kamera 101 erfasst. Somit sollte, wenn die Bilderfassungsumgebung gut ist, das Ergebnis der Kantenextraktion zwischen linkem und rechtem Bild ähnlich sein. 6 zeigt einen Verarbeitungsablauf der Verschlechterungszustand-Bestimmung für die linke und rechte Kamera, wenn die Zahlen von linken und rechten Kantenextraktionen miteinander verglichen werden. In einer linken und rechten Kantenextraktion und einem Vergleichsprozess wird der wiederholte Prozess entsprechend der Zahl von unterteilten Bereichen (der Zahl von Bereichsunterteilungen) ausgeführt. Eine Kantenextraktion eines durch das linke und rechte Bild unterteilten Bereichs (Bildes) wird durchgeführt (S601 und S602) und es wird aus der Zahl von Kantenextraktionen des linken und rechten Kamerabildes bestimmt, ob das rechte Bild (insbesondere das rechte Unterteilungsbereichsbild) oder das linke Bild (insbesondere das linke Unterteilungsbereichsbild) verschlechtert ist (S603, S604 und S605). Wenn nur das rechte Bild verschlechtert ist (die Zahl von Kantenextraktionen klein ist), wird eine Information zur Angabe, dass das rechte Bild verschlechtert ist, dem unterteilten Bereich zugewiesen (S606). Ebenso wird, wenn nur das linke Bild verschlechtert ist (die Zahl von Kantenextraktionen klein ist), die linke Bildverschlechterungsinformation den unterteilten Bereichen zugewiesen (5607). Zusätzlich wird, wenn sowohl das rechte Bild als auch das linke Bild verschlechtert ist (die Zahl von Kantenextraktionen klein ist) oder keines der beiden Bilder verschlechtert ist (die Zahl von Kantenextraktionen groß ist), eine Information zur Angabe, dass linkes und rechtes Bild einander entsprechen, dem unterteilten Bereich zugewiesen (S608). Das heißt, die Kantenextraktionsgrade werden zwischen linkem und rechtem Bild (linkem und rechtem Unterteilungsbereichsbild) verglichen (S603, S604 und S605). Wenn die Extraktionszahl des rechten Kamerabildes kleiner ist als die Kantenextraktionszahl des linken Kamerabildes, insbesondere wenn die Kantenextraktionszahl des rechten Kamerabildes kleiner ist als die Kantenextraktionszahl des linken Kamerabildes um einen vorbestimmten Schwellenwert oder mehr, wird bestimmt, dass das Bild der rechten Kamera verschlechtert ist, und eine Information zur Angabe, dass das rechte Bild verschlechtert ist, wird dem unterteilten Bereich zugewiesen (S606). Ebenso wird, wenn das Bild der linken Kamera verschlechtert ist, eine Information zur Angabe, dass das linke Bild verschlechtert ist, dem unterteilten Bereich zugewiesen (S607). Wenn die Verschlechterungsgrade des linken und rechten Kamerabildes nahezu gleich sind, insbesondere wenn der Unterschied zwischen der Zahl von Kantenextraktionen des rechten Kamerabildes und der Zahl von Kantenextraktionen des linken Kamerabildes kleiner ist als ein vorbestimmter Schwellenwert, wird eine Information zur Angabe, dass das linke und rechte Bild miteinander übereinstimmen, dem unterteilten Bereich zugewiesen (S608). Die Übereinstimmungen zwischen rechtem und linkem Bild werden selbst dann angewendet, wenn keines von rechtem und linkem Kamerabild verschlechtert ist.
Zusätzlich zur vorhergehenden Beschreibung kann zum Bestimmen des Grades der Verschlechterung des linken und rechten Kamerabildes ebenfalls bestimmt werden, welches von linkem und rechtem Kamerabild Regentropfen aufweist, indem eine Änderung in der Luminanzverteilung betrachtet wird. Wenn Regentropfen vorhanden sind, wird das Bild durch die Reflexion der Wassertröpfchen verwischt und somit kann ein anderes Verfahren verwendet werden, so dass der Luminanzwert im gesamten Bild zunimmt.
(Objektidentifizierungseinheit)
Die Objektidentifizierungseinheit 303 führt den Identifizierungsprozess am von der Objekterfassungseinheit 301 erfassten Objekt (dreidimensionalen Objekt) durch Verwenden des Ergebnisses der Objekterfassungseinheit 301 und des Ergebnisses der Verschlechterungszustand-Bestimmungseinheit 302 als Eingaben aus und spezifiziert den Typ des Objekts (dreidimensionalen Objekts).
Insbesondere wird in einem Identifikationsbereich-Festlegungsprozess S211 ein Bereich, in dem der Identifizierungsprozess ausgeführt wird, auf Basis des durch die Objekterfassungseinheit 301 (dessen Objekterfassungsprozess S205) berechneten Objektbereichs festgelegt. Wie im Ergebnis (502) der Erfassung als Objektbereich des Fahrzeugs in 5 kann, wenn der Objektbereich im Bild zum Umfassen des gesamten zu identifizierenden Objekts erfasst werden kann, der Objektbereich unverändert als ein dem Identifizierungsprozess zu unterziehender Bereich verwendet werden. Wie im Objekterfassungsergebnis (703) in 7 jedoch können Regentropfen oder dergleichen mit dem Ziel überlappen und es ist gegebenenfalls nicht möglich, das gesamte Ziel im Bild zu erfassen. In diesem Zustand wird, selbst wenn ein Identifizierungsbereich festgelegt und der Identifizierungsprozess ausgeführt wird, die Identifizierungsleistung nicht verbessert. Daher wird im Identifizierungsbereich-Festlegungsprozess S211 angenommen, dass der Erfassungsbereich nicht das gesamte zu identifizierende Fahrzeug umfasst, und der Identifizierungsbereich (kann als ein Objektbereich bezeichnet werden) wird unter Verwendung der Annahme festgelegt, dass das Identifizierungsziel ein Fahrzeug ist. Das heißt, wenn die Größe des erfassten Objektbereichs nicht der Fahrzeuggröße entspricht, wird der Identifizierungsbereich (702) so festgelegt, dass der Objektbereich auf die Fahrzeuggröße erweitert wird.
Im Prozess S212 zum Wechseln zwischen linker und rechter Kamera wird für jedes Objekt (dreidimensionale Objekt) bestimmt, ob eine Identifizierung durch die rechte Kamera 102 (deren Bild) oder die linke Kamera 101 (deren Bild) durchgeführt wird (das heißt, es wird bestimmt, welches vom Bild von der rechten Kamera 102 und vom Bild von der linken Kamera 101 für den Identifizierungsprozess zum Spezifizieren verwendet wird), indem der im Identifizierungsbereich-Festlegungsprozess S211 berechnete Identifizierungsbereich und der von der Verschlechterungszustand-Bestimmungseinheit 302 (deren Verschlechterungszustand-Bestimmungsprozess S210 für die linke und rechte Kamera) berechnete Verschlechterungszustand verglichen werden.
8 zeigt einen spezifischen Verarbeitungsablauf der Bestimmung des Wechselns zwischen linker und rechter Kamera. Zunächst wird ein überlappender Abschnitt zwischen dem durch den Identifizierungsbereich-Festlegungsprozess S211 festgelegten Identifizierungsbereich und dem Verschlechterungszustand-Bestimmungsbereich (= eine Vielzahl von Unterteilungsbereichen von linkem und rechtem Kamerabild) durch eine Überlappungsbereichsbestimmung S801 ermittelt. Anschließend wird eine Identifizierungsverarbeitung-Bildwechselbestimmung S802 durchgeführt. Vom Verschlechterungszustand von linkem und rechtem Kamerabild im Bereich des überlappenden Abschnitts wird die Zahl von Bereichen, in denen das rechte Kamerabild verschlechtert ist (die Zahl von rechten verschlechterten Bereichen), mit der Summe der Zahl von Bereichen, in denen das linke Kamerabild verschlechtert ist (der Zahl von linken verschlechterten Bereichen), und der Zahl von Bereichen, in denen die Verschlechterungszustände von linkem und rechtem Kamerabild gleich sind (der Zahl von linken und rechten übereinstimmenden Bereichen), im Bereich des überlappenden Abschnitts verglichen (S803) und das Wechseln zwischen links und rechts wird bestimmt. Wenn die Zahl von rechten verschlechterten Bereichen größer gleich der Summe der Zahl von linken verschlechterten Bereichen und der Zahl von rechten und linken übereinstimmenden Bereichen ist, wird ein Linksbildwechsel durchgeführt (S804). Wenn die Zahl von rechten verschlechterten Bereichen kleiner ist als die Zahl von linken verschlechterten Bereichen und die Zahl von rechten und linken übereinstimmenden Bereichen, wird ein Links- und Rechtsbildwechsel nicht durchgeführt (das heißt, das rechte Bild wird als Standard im Objektidentifizierungsprozess in der folgenden Stufe verwendet) (S805).
9 zeigt einen weiteren spezifischen Verarbeitungsablauf der Bestimmung des Wechselns zwischen linker und rechter Kamera. Hier wird ein überlappender Bereich zwischen dem durch den Identifizierungsbereich-Festlegungsprozess S211 festgelegten Identifizierungsbereich und jedem Verschlechterungszustand-Bestimmungsbereich (= eine Vielzahl von unterteilten Bereichen von linkem und rechtem Kamerabild) ermittelt (S901) und ein Verhältnis des überlappenden Bereichs zum Identifizierungsbereich (Identifizierungsbereich-Überlappungsverhältnis) wird berechnet (S902).
Anschließend wird eine Identifizierungsverarbeitung-Bildwechselbestimmung S903 durchgeführt. Die Links- und Rechtswechselpriorität (Linkswechselpriorität und Rechtswechselpriorität) wird für den Identifizierungsbereich für jedes Objekt beispielsweise durch Multiplizieren des berechneten Verhältnisses (= des Gewichts für den Verschlechterungszustand) mit dem Ergebnis des Verschlechterungszustand-Bestimmungsbereichs (für jeden Unterteilungsbereich) und einzelnes Hinzufügen des Bereichs, in dem das rechte Kamerabild verschlechtert ist, und des Bereichs, in dem das linke Kamerabild verschlechtert ist, für den gesamten Identifizierungsbereich berechnet (S904). Die Linkswechselpriorität (entsprechend dem Grad der Verschlechterung des rechten Kamerabildes) und die Rechtswechselpriorität (entsprechend dem Grad der Verschlechterung des linken Kamerabildes) werden miteinander verglichen (S9045) und es wird der Links- und Rechtswechsel bestimmt. Wenn die Linkswechselpriorität größer gleich der Rechtswechselpriorität ist, wird der Linksbildwechsel durchgeführt (S906). Wenn die Linkswechselpriorität kleiner gleich der Rechtswechselpriorität ist, wird kein Links- und Rechtsbildwechsel durchgeführt (das heißt, das rechte Bild wird als Standard im Objektidentifizierungsprozess in der folgenden Stufe verwendet) (S907).
Als ein mit dem Überlappungsverhältnis zu multiplizierender Wert kann ein durch die Verschlechterungszustand-Bestimmungseinheit 302 (deren Verschlechterungszustand-Bestimmungsprozess S210 für die linke und rechte Kamera) berechneter Wert (etwa die Zahl von Kantenextraktionen) verwendet werden. Zusätzlich kann die Rechenoperation durch Verwenden eines positiven vorbestimmten Werts, wenn das rechte Kamerabild verschlechtert ist, und Verwenden eines negativen vorbestimmten Werts, wenn das linke Kamerabild verschlechtert ist, vereinfacht werden.
Beispielsweise nimmt durch Berechnen eines numerischen Wertes, der ein positiver Wert wird, wenn das rechte Kamerabild verschlechtert ist, und ein negativer Wert wird, wenn das linke Kamerabild verschlechtert ist, Multiplizieren des Überlappungsverhältnisses als ein Gewicht (für den Verschlechterungszustand) und Berechnen und Vergleichen der Links- und Rechtswechselpriorität für den Identifizierungsbereich für jedes Objekt, selbst wenn die Zahl von Bereichen, in denen das rechte Kamerabild als verschlechtert bestimmt ist, kleiner ist als die Zahl von Bereichen, in denen das linke Kamerabild als verschlechtert bestimmt ist (siehe in 8 dargestelltes Beispiel), die Priorität des Wechselns zum linken Kamerabild zu (das heißt, das Bild von der linken Kamera 101 wird verwendet), wenn das Überlappungsverhältnis des Bereichs, in dem das rechte Kamerabild als verschlechtert bestimmt ist, zum Identifizierungsbereich groß ist, zu. Zusätzlich kann als das Gewicht für den Verschlechterungszustand ein Koeffizient, der zur Mitte des Bildes hin zunimmt und zum oberen und unteren Ende des Bild hin abnimmt, in Bezug auf jeden für die Verschlechterungszustandsbestimmung unterteilten Bereich multipliziert werden. Somit wird zusätzlich zum Verhältnis des Überlappungsbereichs die Priorität des Links-Rechts-Wechsels als hoch für ein in der Mitte angeordnetes Ziel, das heißt, das Ziel, für das die Bedeutung des Identifizierungsprozesses oder eines Nachverfolgungsprozesses hoch in der Fahrassistenzsteuerung oder dergleichen ist, berechnet und es kann der Links- und Rechtskamerawechsel erfolgen, in dem die Identifizierungsleistung zusätzlich im Identifizierungsprozess S214 verbessert werden kann.
In einem Koordinatensystem-Transformationsprozess S213 für die linke Kamera wird, wenn in der Links- und Rechtskamera-Wechselbestimmung bestimmt wird, dass die Kamera zur linken Kamera gewechselt wird (das Bild von der linken Kamera 101 verwendet wird), der Koordinatenwert des im Koordinatensystem für die rechte Kamera festgelegten Identifizierungsbereichs in den Koordinatenwert entsprechend der linken Kamera transformiert. Die Beziehung zwischen den Koordinatensystemen der rechten Kamera und der linken Kamera kann aus der Beziehung zwischen den Brennweiten der linken und rechten Kamera berechnet werden, wobei die internen Parameter den Bildursprung umfassen und die externen Parameter die Position und die Haltung umfassen. Ferner ist im Falle von parallelem Stereo eine Koordinatenumwandlung ebenfalls durch eine Translationsbewegung unter Verwendung von Parallaxenwerten möglich. Somit werden die Koordinaten des Identifikationsbereichs im Koordinatensystem für die rechte Kamera in das Koordinatensystem der linken Kamera transformiert (Koordinatentransformation) und der Bereich des linken Kamerabildes entsprechend dem im rechten Kamerabild festgelegten Bereich wird festgelegt. Die vorliegende Ausführungsform verwendet die rechte Kamera als Referenz und weist somit die zuvor beschriebenen Verarbeitungsinhalte auf. Wenn aber die linke Kamera als Referenz verwendet wird, wird der umgekehrte Prozess (das heißt der Koordinatensystem-Transformationsprozess für die rechte Kamera auf Basis des Koordinatensystems für die linke Kamera) ausgeführt.
10 zeigt ein Verarbeitungsergebnis, wenn die vorliegende Ausführungsform im Objekterfassungsergebnis (703) von 7 angewendet wird. Das vom durch die rechte Kamera 102 erfassten rechten Kamerabild (1001) erfasste und vom durch die linke Kamera 101 erfassten linken Kamerabild (1002) erfasste Objekterfassungsergebnis (703) kann den Bereich des Fahrzeugs nicht korrekt erfassen. Der linke und rechte Verschlechterungszustand für jeden Bereich (Unterteilungsbereich), berechnet durch den Verschlechterungszustand-Bestimmungsprozess S210 für die linke und rechte Kamera, ist 1003 und der schattierte Bereich gibt einen Bereich an, in dem das rechte Kamerabild verschlechtert ist. Im in 10 dargestellten Beispiel wird der Bereich (702) für das Objekterfassungsergebnis (703) im Identifizierungsbereich-Festlegungsprozess S211 festgelegt und der Linkskamerawechsel wird durch den Links- und Rechtskamera-Wechselprozess S212 bestimmt, da der Bereich (das Verhältnis), in dem das rechte Kamerabild verschlechtert ist, größer ist als der festgelegte Bereich (702). Anschließend wird ein Bild eines Bereichs (1004), ermittelt durch Koordinatentransformation des im Identifizierungsbereich-Festlegungsprozess S211 festgelegten Bereichs (702), im Koordinatensystem-Transformationsprozess S213 für die linke Kamera im Identifizierungsprozess S214 identifiziert.
Im Identifizierungsprozess S214 wird der Identifizierungsprozess zum Identifizieren des Typs des erfassten Objekts (dreidimensionalen Objekts) durch Verwenden des Bildes des im Identifizierungsbereich-Festlegungsprozess S211 festgelegten Bereichs oder des Bildes des Identifizierungsbereichs der linken Kamera, welcher der Koordinatentransformation im Koordinatensystem-Transformationsprozess S213 unterzogen wurde (siehe 1004 in 10), das heißt durch Verwenden entweder des Bildes des Identifizierungsbereichs von der rechten Kamera 102 oder des Bildes des Identifizierungsbereichs von der linken Kamera 101, ausgeführt. Beispiele des Identifizierungsprozesses umfassen die folgenden Verfahren. Mustervergleich zum Vergleichen eines Identifizierungsbereichs mit einem mit einer Erkennungszielwahrscheinlichkeit erstellten Muster. Ein Verfahren unter Verwendung eines Diskriminators, in dem eine Merkmalsmenge wie ein Luminanzbild, HOG oder Haar-ähnliche mit einem maschinellen Lernverfahren, etwa eine Stützvektormaschine oder Deep Learning, etwa CNN oder Ada-Boost, kombiniert wird. Zusätzlich kann die Kantenform oder dergleichen durch eine künstlich bestimmte Schwellenbestimmung erkannt werden. Ferner kann, wenn solch eine Identifizierung durchgeführt wird, ein an eine Eingabequelle des Identifizierungsprozesses angepasstes Identifizierungsmodell, etwa ein durch das Bild der rechten Kamera gelerntes Identifizierungsmodell und ein durch die linke Kamera gelerntes Identifizierungsmodell, erstellt werden oder es kann ein an jede Kamera angepasster Schwellenwert erstellt werden.
Wie zuvor beschrieben umfasst die Bildverarbeitungsvorrichtung 110 in der vorliegenden Ausführungsform die Objekterfassungseinheit 301, die ein in jedem von Bildern auf Basis der Bilder von der ersten Kamera und der zweiten Kamera enthaltenes Objekt erfasst, die Objektidentifizierungseinheit 303, die den Typ des erfassten Objekts durch Verwenden des Bildes von der ersten Kamera oder des Bildes von der zweiten Kamera spezifiziert (identifiziert) und die Verschlechterungszustand-Bestimmungseinheit 302, die den Verschlechterungszustand von jedem vom Bild von der ersten Kamera und vom Bild von der zweiten Kamera bestimmt. Die Objektidentifizierungseinheit 303 bestimmt auf Basis des Verschlechterungszustands, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.
Das heißt, der Verschlechterungszustand von linkem und rechtem Bild wird berechnet und ein im Ausführen des Identifizierungsprozesses nützlicheres Bild wird entsprechend ausgewählt (gewechselt), so dass der Identifizierungsprozess am Ziel fortgesetzt wird.
Zusätzlich unterteilt die Verschlechterungszustand-Bestimmungseinheit 302 das Bild von der ersten Kamera oder das Bild von der zweiten Kamera in eine Vielzahl von Bereichen und bestimmt den Verschlechterungszustand in jedem der Vielzahl von Bereichen (für jeden Bereich).
Ferner bestimmt die Objektidentifizierungseinheit 303 auf Basis des Verschlechterungszustands in jedem der Vielzahl von Bereichen und eines Überlappungsgrades zwischen dem erfassten Objekt und der Vielzahl von Bereichen (jedem von diesen), welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.
Zusätzlich führt die Objektidentifizierungseinheit 303 eine Koordinatentransformation zwischen dem Bild von der ersten Kamera und dem Bild von der zweiten Kamera durch und führt einen Prozess zum Identifizieren des Typs des Objekts im Bild nach der Koordinatentransformation aus.
Gemäß der vorliegenden Ausführungsform kann die Identifizierungsleistung durch Bestimmen eines für einen Identifizierungsprozess geeigneten Bildes, Wechseln des Bildes und Ausführen des Identifizierungsprozesses verbessert werden.
In der vorhergehenden Ausführungsform wurde die Bord-Stereokameravorrichtung 100, umfassend zwei Kameras, als ein Beispiel beschrieben; die Zahl von Kameras kann aber drei oder mehr betragen.
Die vorliegende Erfindung ist nicht auf die vorhergehende Ausführungsform beschränkt und es können verschiedene Modifikationsformen bereitgestellt werden. Beispielsweise wurde die vorhergehende Ausführungsform ausführlich beschrieben, um die vorliegende Erfindung auf eine einfach nachvollziehbare Weise zu beschrieben und die vorhergehende Ausführungsform ist nicht notwendigerweise auf einen Fall umfassend alle beschriebenen Konfigurationen beschränkt.
Einige oder alle der Konfigurationen, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen können hardwaremäßig durch Gestaltung mit beispielsweise einer integrierten Schaltung ausgeführt sein. Ferner können die zuvor beschriebenen jeweiligen Komponenten, Funktionen und dergleichen durch Software durch den Prozessor zum Interpretieren und Ausführen eines Programms zum Ausführen der jeweiligen Funktionen ausgeführt sein. Informationen wie ein Programm, eine Tabelle und eine Datei, die jede Funktion ausführt, können in einem Speicher, einer Speichervorrichtung wie einer Festplatte und einem Solid State Drive (SSD) oder einem Aufzeichnungsmedium wie einer IC-Karte, einer SD-Karte und einer DVD gespeichert sein.
Steuerleitungen und Informationsleitungen, die als erforderlich für die Beschreibungen erachtet werden, sind dargestellt und es sind nicht notwendigerweise alle Steuerleitungen und Informationsleitungen im Produkt dargestellt. In der Praxis kann davon ausgegangen werden, dass nahezu alle Komponenten miteinander verbunden sind.
Bezugszeichenliste

100: Bord-Stereokameravorrichtung
101: linke Kamera
102: rechte Kamera
103: Bildeingabe-Schnittstelle
104: Bildverarbeitungseinheit
105: Rechenoperations-Verarbeitungseinheit
106: Speichereinheit
107: CAN-Schnittstelle
108: Steuerverarbeitungseinheit
109: interner Bus
110: Bildverarbeitungsvorrichtung
111: Bord-Netzwerk-CAN
301: Objekterfassungseinheit
302: Verschlechterungszustand-Bestimmungseinheit
303: Objektidentifizierungseinheit
401: Objektbereich

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009241636 A [0005]

Claims

Bildverarbeitungsvorrichtung, umfassend: eine Objekterfassungseinheit, die ein in jedem von Bildern enthaltenes Objekt auf Basis der Bilder von einer ersten Kamera und einer zweiten Kamera erfasst; eine Objektidentifizierungseinheit, die einen Typ des erfassten Objekts durch Verwenden des Bildes von der ersten Kamera oder des Bildes von der zweiten Kamera spezifiziert; und eine Verschlechterungszustand-Bestimmungseinheit, die einen Verschlechterungszustand von jedem vom Bild von der ersten Kamera und Bild von der zweiten Kamera bestimmt, wobei die Objektidentifizierungseinheit auf Basis des Verschlechterungszustands bestimmt, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Verschlechterungszustand-Bestimmungseinheit das Bild von der ersten Kamera oder das Bild von der zweiten Kamera in eine Vielzahl von Bereichen unterteilt und den Verschlechterungszustand in jedem der Vielzahl von Bereichen bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Verschlechterungszustand-Bestimmungseinheit eine Größe von jedem der Vielzahl von Bereichen oder eine Zahl von Unterteilungen für die Vielzahl von Bereichen gemäß einer befahrenen Straße oder einer Außenumgebung eines eigenen Fahrzeugs, an dem die erste Kamera und die zweite Kamera montiert sind, ändert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Verschlechterungszustand-Bestimmungseinheit den Verschlechterungszustand von jedem vom Bild von der ersten Kamera und Bild von der zweiten Kamera auf Basis einer Änderung in einer Zahl von Kantenextraktionen oder der Luminanzverteilung des Bildes von der ersten Kamera und des Bildes von der zweiten Kamera bestimmt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Objektidentifizierungseinheit bestimmt, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera für jedes erfasste Objekt verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Objektidentifizierungseinheit auf Basis des Verschlechterungszustands in jedem der Vielzahl von Bereichen und eines Überlappungsgrades zwischen dem erfassten Objekt und der Vielzahl von Bereichen bestimmt, welches vom Bild von der ersten Kamera und vom Bild von der zweiten Kamera verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei die Objektidentifizierungseinheit durch Vergleichen einer Zahl von Bereichen, in denen das Bild von der ersten Kamera verschlechtert ist, mit einer Zahl von Bereichen, in denen das Bild von der zweiten Kamera verschlechtert ist, in einem überlappenden Bereich vom Verschlechterungszustand, den der Bereich aufweist, in dem das erfasste Objekt mit der Vielzahl von Bereichen überlappt, bestimmt, welches vom Bild von der ersten Kamera und Bild von der zweiten Kamera verwendet wird.
Bildverarbeitungsvorrichtung nach Anspruch 6, wobei die Objektidentifizierungseinheit ein Verhältnis eines Bereichs, in dem das erfasste Objekt mit der Vielzahl von Bereichen überlappt, zu einem Bereich des erfassten Objekts berechnet und das Verhältnis als ein Gewicht für den Verschlechterungszustand verwendet.
Bildverarbeitungsvorrichtung nach Anspruch 8, wobei die Objektidentifizierungseinheit jeden der Vielzahl von Bereichen, unterteilt zur Verschlechterungszustandsbestimmung durch einen Koeffizienten, der zu einer Bildmitte hin zunimmt und zu einem Bildende hin abnimmt, als das Gewicht für den Verschlechterungszustand berechnet.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Objektidentifizierungseinheit eine Koordinatentransformation zwischen dem Bild von der ersten Kamera und dem Bild von der zweiten Kamera durchführt und einen Prozess zum Identifizieren des Typs des Objekts in einem Bild nach der Koordinatentransformation ausführt.