DE102019007001B4

DE102019007001B4 - FAHRZEUGBILDVERARBEITUNGSVORRICHTUNG, FAHRZEUGBILDVERARBEITUNGSVERFAHREN, PROGRAMM und SPEICHERMEDIUM

Info

Publication number: DE102019007001B4
Application number: DE102019007001.1A
Authority: DE
Inventors: Kenta Nakao; Kiichi Sugimoto; Tomohiro Matsumoto; Kensuke Futahashi
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Logisnext Co Ltd Nagaokakyo Shi Jp
Priority date: 2018-10-15
Filing date: 2019-10-08
Publication date: 2023-09-28
Anticipated expiration: 2039-10-09
Also published as: US11450029B2; JP2020064341A; JP7184591B2; CN111038387B; CN111038387A; DE102019007001A1; US20200118294A1

Abstract

Fahrzeugbildverarbeitungsvorrichtung (1), aufweisend:eine Vielzahl von Puffern (2), die konfiguriert sind, um Teile von Bilddaten (G) zu akkumulieren, die von einer Vielzahl von Kameras (8) einzeln und sequenziell eingegeben sind, die in einem Fahrzeug (9) installiert sind und jeweils unterschiedliche Umgebungsgebiete des Fahrzeugs (9) aufnehmen, um die Teile von Bilddaten (G) mit den Kameras (8) zu verknüpfen;einen Prozessor (3), der konfiguriert ist, um den Puffer (2) basierend auf Zustandsinformationen (S) zum Bestimmen von Fahrbedingungen des Fahrzeugs (9) auszuwählen, und um den Teil von Bilddaten (G) aus dem ausgewählten Puffer (2) zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen;eine Signalleitung (4), die die Teile von Bilddaten (G) in den Puffern (2) zu dem Prozessor (3) überträgt; undeine Transfersteuerung (5), die konfiguriert ist, um den von dem Prozessor (3) benötigten Teil von Bilddaten (G) in dem Puffer (2) an die Signalleitung (4) auszugeben, indem basierend auf den Zustandsinformationen (S) ausgewählt wird,wobei die Zustandsinformationen (S) eine Fahrzeuggeschwindigkeit (V) umfassen, undder Prozessor (3) die Auswahl des Puffers (2) basierend auf einem Vergleich der Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) durchführt,wobei die Schwellenwerte (L) einen Umschaltbeginn-Schwellenwert (Ls) und einen Umschaltbeendigungs-Schwellenwert (Le) umfassen, bei welchen eine Differenz zu dem Umschaltbeginn-Schwellenwert (Ls) ein erster Wert ist,der Prozessor (3) konfiguriert ist, um die Bildverarbeitung auf einer vorbestimmten Anzahl an Teilen der Bilddaten (G) pro Einheitszeit durchzuführen, undwenn die Fahrzeuggeschwindigkeit (V) zwischen dem Umschaltbeginn-Schwellenwert (Ls) und dem Umschaltbeendigungs-Schwellenwert (Le) liegt, der Prozessor (3) die auszuwählenden Puffer (2) derart umschaltet, dass, wenn sich die Fahrzeuggeschwindigkeit (V) dem Umschaltbeendigungs-Schwellenwert (Le) von dem Umschaltbeginn-Schwellenwert (Ls) nähert, die vorbestimmte Anzahl an Teilen von Bilddaten (G), auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit (V) den Umschaltbeginn-Schwellenwert (Ls) erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten (G) ersetzt wird, nachdem die Fahrzeuggeschwindigkeit (V) den Umschaltbeendigungs-Schwellenwert (Le) erreicht hat.

Description

Technisches Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Außenumgebungserkennung, welche mit einer in einem Fahrzeug installierten Vielzahl von Kameras durchgeführt wird.
Hintergrund der Erfindung
In den vergangenen Jahren sind viele Technologien entwickelt worden, in welchen eine in einem Fahrzeug installierte Vielzahl von Kameras verwendet wird, um eine Außenumgebungserkennung bezüglich des Fahrzeugs durchzuführen, und in welchen somit ein Bremsen in Abhängigkeit von der Situation auf das Fahrzeug automatisch mit dem Ergebnis angewendet wird, dass die Fahrunterstützung und das automatische Fahren von Fahrzeugen voranschreitet. Da sich in den vorstehend beschriebenen Technologien nicht nur das vorliegende Fahrzeug, sondern auch Menschen drumherum, andere Fahrzeuge und dergleichen bewegen, müssen hinsichtlich einer Rückkopplung von der Außenumgebungserkennung zum Steuern von Alarmen, einem Bremsen und dergleichen mit den Kameras aufgenommene Bilder in Echtzeit verarbeitet werden. Wenn allerdings ein Prozessor in jeder der Kameras vorgesehen ist, dann werden die Kosten des Fahrzeugs signifikant zunehmen.
Zur Lösung eines solchen Problems offenbart die Patentschrift 1, dass in einer Konfiguration, in welcher eine Vielzahl von Stereokameras mit I/Os einzeln verbunden sind, und in welcher eine CPU (Bildverarbeitungs-IC) einen RAM verwendet, um nach Bedarf eine Bildverarbeitung auf aufgenommenen Bilddaten durchzuführen, ein Situationsbeurteilungs-/Bildauswahlabschnitt bestimmt, welches der mit den Stereokameras aufgenommenen Bilder an einen Bildverarbeitungsabschnitt gemäß einer
Unterstützungsbetriebsart ausgegeben wird, und dass somit der Bildverarbeitungsabschnitt (ein Vorverarbeitungsabschnitt und die nachfolgenden Abschnitte) die Bildverarbeitung durchführt. Auf diese Weise kann vermieden werden, dass eine Berechnungsvorrichtung verwendet werden muss, deren Verarbeitungsfähigkeit hoch ist, und dergleichen, und somit können die Kosten verringert werden.
In ähnlicher Weise offenbart die Patentschrift 2, dass eine CPU (Berechnungsabschnitt) die eine Vorderkennungsverarbeitung für die Bildinformation einer Vorderkamera, die in einen Eingabeabschnitt eingegeben werden, und eine Rückerkennungsverarbeitung für die Bildinformationen einer Rückkamera durchführen kann, eine jeweils als die Vordererkennungsverarbeitung und die Rückerkennungsverarbeitung ausgeführte Verarbeitung basierend auf den Zustandsinformationen des vorliegenden Fahrzeugs (Informationen, die eine Vorwärtsbewegung und eine Rückwärtsbewegung und einen Fahrzustand anzeigen) auswählt und durchführt. Auf diese Weise kann im Vergleich zu dem Fall, dass CPUs für die Vordererkennungsverarbeitung und die Rückerkennungsverarbeitung getrennt vorgesehen sind, ihre Konfiguration vereinfacht werden.
Außerdem offenbart die Patentschrift 3, dass ein Teil von aufgenommenen Bildern, die durch Abbilden der Außenumgebung eines Fahrzeugs erhalten sind, gemäß Bedingungen des Fahrzeugs einschließlich der Fahrtumgebung und des Fahrzustands des Fahrzeugs als ein Zielgebiet ausgewählt wird, dass eine Bildverarbeitung auf dem ausgewählten Zielgebiet durchgeführt wird, und somit im Vergleich zu dem Fall, dass eine Bildverarbeitung auf die gesamten aufgenommenen Bilder durchgeführt wird, eine Verarbeitungslast verringert werden kann.
Die Patentschrift 4 offenbart eine Bereitstellung einer Bildaufnahmevorrichtung und eines Bildaufnahmeverfahrens zum Anzeigen des optimalen Beobachtungsbereichs ohne Abhängigkeit von den Bedingungen, unter denen das Fahrzeug in die Straße einfährt, oder von der Installationssituation der Vielzahl von Kameras. Zudem ist eine Bereitstellung einer Vielzahl von Peripherie-Bildaufnahmemitteln offenbart, die Bilder von der Peripherie eines Fahrzeugs erhalten, wobei die Peripherie-Bildaufnahmemittel, die die für den Fahrer des Fahrzeugs angezeigten Bilder erhalten, und der Bildbereich der durch die Peripherie-Bildaufnahmemittel erhaltenen Bilder, die dem Fahrer des Fahrzeugs angezeigt werden, ausgewählt werden.
Die Patentschrift 5 offenbart einen Bildprozessor für ein Fahrzeug mit einer Vielzahl von Kameras und einem Monitor, der ein Panoramabild anzeigt, das aus mehreren von der Vielzahl von Kameras erzeugten Bildern abgeleitet ist. Der Prozessor umfasst Eingangspuffer zum Speichern von Kamerabilddaten, die durch entsprechende Kameramodule erfasst werden, und Ausgangspuffer zum Speichern eines Panoramabildes. Die Kamerabilddaten zur Erzeugung des Panoramabildes werden aus den Eingangspuffern abgerufen. Die Kamerabilddaten werden unter Verwendung einer rekonfigurierten Adressumwandlungstabelle in einem Ausgangspuffer gespeichert. Die rekonfigurierte Adressumwandlungstabelle ist eine Adressumwandlungstabelle, die durch Rekonfiguration einer Adressumwandlungstabelle erhalten wird, wenn davon ausgegangen wird, dass die Kameramodule frei von Fahrzeuginstallationsfehlern sind. Die Rekonfiguration wird auf der Grundlage von Parametern durchgeführt, die zur Korrektur von Fahrzeuginstallationsfehlern von Kameramodulen verwendet werden.
Die Patentschrift 6 offenbart eine Bildverarbeitungsvorrichtung, die Stereokameras enthält und den Abstand zu einem Ziel in der Umgebung eines Fahrzeugs erfasst. Die Bildverarbeitungsvorrichtung enthält in dem Fahrzeug installierte Sensoren; bestimmt eine Fahrzeugsituation durch Kombinieren von Erfassungssignalen der Sensoren und schaltet von Bilddaten einer Stereokamera zur Fahrunterstützung auf Bilddaten einer Stereokamera zur Türöffnungs-/schließunterstützung um; führt Verzerrungskorrekturen, die für die Vielzahl von Stereokameras jeweils einzigartig sind, an den ausgewählten Bilddaten durch, so dass eine für die Vielzahl von Stereokameras gemeinsame Korrelationsberechnung ausgeführt werden kann; führt die Korrelationsberechnung an zwei Sätzen von Bilddaten der einzelnen Stereokamera aus; und erfasst den Abstand zu dem Ziel unter Verwendung eines Berechnungsergebnisses der Korrelationsberechnung.
Die Patentschrift 7 offenbart einen Bildprozessor, der ein natürlicheres synthetisiertes Bild aus Kamerabildern erzeugt, die mit einer Vielzahl von Kameras aufgenommen wurden, die die Umgebung eines Fahrzeugs erfassen. Ein Parameterspeicherabschnitt speichert eine Vielzahl von Bildsynthese-Parametergruppen, die die Korrespondenz zwischen den Kamerabildern und dem synthetisierten Bild darstellen und unterschiedliche räumliche oder zeitliche Auflösungsbeziehungen aufweisen. Ein Parameterauswahlabschnitt wählt die Bildsynthese-Parametergruppe gemäß der Ausgabe eines Fahrzeugbewegungserfassungsabschnitts zum Erfassen der Bewegung des Fahrzeugs, wie z.B. der Fahrgeschwindigkeit und -richtung, aus. Ein Bildsyntheseabschnitt erzeugt das synthetisierte Bild aus den Kamerabildern gemäß der ausgewählten Bildsynthese-Parametergruppe.
Die Patentschrift 8 offenbart eine Verkehrssignalerfassungsvorrichtung, die eine Schmalwinkelkamera, eine Weitwinkelkamera, die einen größeren Blickwinkel als die Schmalwinkelkamera hat, und einen Verkehrssignaldetektor umfasst, der so konfiguriert ist, dass er ein Verkehrssignal aus mindestens einem von der Schmalwinkelkamera erfassten Schmalwinkelbild und einem von der Weitwinkelkamera erfassten Weitwinkelbild erfasst. Der Verkehrssignaldetektor wählt als Erfassungsergebnis ein Verkehrssignal, das aus dem Schmalwinkelbild erfasst wird, oder ein Verkehrssignal, das aus dem Weitwinkelbild erfasst wird, auf der Grundlage eines Verzögerungsstartbereichs aus, in dem ein Fahrzeug mit der Verzögerung beginnen sollte, wobei der Verzögerungsstartbereich aus einer Position eines Verkehrssignals in Bezug auf das Fahrzeug und einer Geschwindigkeit des Fahrzeugs berechnet wird, um das Fahrzeug an einer Halteposition in Bezug auf das Verkehrssignal anzuhalten.
Patentliteratur

Patentschrift 1: JP 2013 - 93 013 A
Patentschrift 2: JP 2018 - 95 067 A
Patentschrift 3: JP 2015 - 210 584 A
Patentschrift 4: US 2008/0143833 A1
Patentschrift 5: US 2006/0197761 A1
Patentschrift 6: US 2013/0088578 A1
Patentschrift 7: EP 1 150 252 A2
Patentschrift 8: EP 3 306 589 A1

Zusammenfassung der Erfindung
Allerdings werden in der Patentschrift 1 alle Bilddaten, die durch Aufnehmen mit den einzelnen Stereokameras erzeugt sind, zeitweise in die CPU eingegeben, damit die Bildauswahl mit dem Situationsbeurteilungs-/Bildaufnahmeabschnitt durchgeführt wird. Somit muss die CPU eine Verarbeitung zum Aufnehmen aller Bilddaten in einer Stufe vor der vorstehend beschriebenen Bildauswahl durchführen, und demgemäß wird eine der Bildverarbeitung zugeordnete Betriebszeit verringert. In ähnlicher Weise empfängt die CPU in der Patentschrift 2 Eingaben von allen Bildinformationen der Vorderkamera und der Rückkamera, führt eine Korrekturverarbeitung (Verformungskorrektur) bezüglich aller Bildinformationen durch, welche eingegeben worden sind, und führt danach die vorstehend beschriebene Auswahl durch. Somit muss die CPU beispielsweise eine Verarbeitung zum Aufnehmen aller Bilddaten und eine Verarbeitung von Bildinformationen, welche nicht ausgewählt worden sind, durchführen, und somit wird eine der Bildverarbeitung zugeordnete Betriebszeit demgemäß verringert. Wenn wie vorstehend beschrieben die durch einen Prozessor für die Bildverarbeitung durchgeführte Verarbeitungsmenge vergrößert wird, um aufgenommene Bilder in Echtzeit zu verarbeiten, dann muss der Prozessor eine höhere Verarbeitungsfähigkeit mit dem Ergebnis aufweisen, dass die Kosten des Fahrzeugs wahrscheinlich nicht ausreichend verringert werden können.
In Anbetracht der vorstehenden Situation besteht eine Aufgabe von zumindest einem Ausführungsbeispiel der vorliegenden Erfindung darin, eine Fahrzeugbildverarbeitungsvorrichtung bereitzustellen, welche eine Bildverarbeitung von Bildern, die mit einer Vielzahl von Kameras aufgenommen worden sind, schneller durchzuführen, während die Kosten eines Fahrzeugs verringert werden.
Gemäß der vorliegenden Erfindung sind eine Fahrzeugbildverarbeitungsvorrichtung gemäß den unabhängigen Patentanspruch 1, ein Fahrzeugbildverarbeitungsverfahren gemäß dem unabhängigen Patentanspruch 13, ein Fahrzeugbildverarbeitungsprogramm gemäß dem unabhängigen Patentanspruch 14, und ein computerlesbares Speichermedium gemäß dem unabhängigen Patentanspruch 15 vorgesehen. Vorteilhafte Modifikationen befinden sich in den abhängigen Patentansprüchen.

Eine Fahrzeugbildverarbeitungsvorrichtung gemäß zumindest einem Ausführungsbeispiel der vorliegenden Erfindung umfasst: eine Vielzahl von Puffern, die konfiguriert sind, um Teile von Bilddaten, die von einer Vielzahl von Kameras einzeln und sequenziell eingegeben sind, die in einem Fahrzeug installiert sind, zu akkumulieren, um die Teile von Bilddaten mit den Kameras zu verknüpfen; einen Prozessor, der konfiguriert ist, um den Puffer basierend auf den Zustandsinformationen des Fahrzeugs auszuwählen, und um den Teil von Bilddaten aus dem ausgewählten Puffer zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung zum Übertragen der Teile von Bilddaten in den Puffern zu dem Prozessor; und eine Transfersteuerung, die konfiguriert ist, um den Teil von Bilddaten in dem Puffer, der von dem Prozessor benötigt wird, an die Signalleitung auszugeben.

In der vorstehend beschriebenen Konfiguration von (1) führt der Prozessor für die Bildverarbeitung nicht irgendeine Verarbeitung auf den Bilddaten durch, bis die Bilddaten mit der Transfersteuerung von dem Puffer, in welchem die mit jeder der Kameras aufgenommenen Bilddaten gespeichert sind, übertragen werden, und er führt die Bildverarbeitung lediglich auf den Bilddaten durch, die durch die Übertragung akquiriert sind. Auf diese Weise kann die Last des Prozessors verringert werden, und somit kann eine größere Menge an Betriebszeit der Bildverarbeitung zugeordnet werden. Außerdem bestimmt der Prozessor beispielsweise aus den in den Puffern zugeordneten Bilddaten der einzelnen Kameras basierend auf den Zustandsinformationen des Fahrzeugs, wie etwa die Fahrzeuggeschwindigkeit und die Schaltposition, die Puffer, welche auf das Ziel für die Bildverarbeitung eingestellt werden müssen, um die auf das Ziel für die Bildverarbeitung eingestellten Kameras auf zumindest einen Teil davon einzuschränken, und somit kann die Anzahl an Teilen von Bilddaten, welche pro Einheitszeit verarbeitet werden müssen, verringert werden.
Wie vorstehend beschrieben, stellt der Prozessor für die Bildverarbeitung die basierend auf den Zustandsinformationen des Fahrzeugs bestimmten Bilddaten der Kameras auf das Ziel für die Bildverarbeitung ein, und er führt keine Verarbeitung durch, bis die auf das Ziel eingestellten Bilddaten akquiriert worden sind, mit dem Ergebnis, dass eine Umgebungserkennung (die Erfassung einer Person und eines Artikels) um das Fahrzeug herum durch die Kameras schneller durchgeführt werden kann. Somit können die Bereitstellung des Prozessors für jede der Kameras und die Verwendung eines teuren Prozessors mit besserer Verarbeitungsfähigkeit vermieden werden, und somit können die Kosten des Fahrzeugs verringert werden.
(2) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) bestimmt der Prozessor basierend auf den Zustandsinformationen zumindest einen Puffer der Puffer als ein Auswahlziel, und er stellt eine Auswahlfrequenz von dem zumindest einen in dem Auswahlziel enthaltenen Puffer größer als Auswahlfrequenzen der anderen Puffer ein, um den zumindest einen in dem Auswahlziel enthaltenen Puffer sequenziell auszuwählen.
In der vorstehend beschriebenen Konfiguration von (2) bestimmt der Prozessor aus den Kameras eine oder mehrere Kameras (einen oder mehrere Puffer), welche auf das Ziel für die Bildverarbeitung eingestellt sind, akquiriert die Bilddaten aus dem einen oder den mehreren Puffern korrespondierend zu der einen oder den mehreren Kameras sequenziell, die bestimmt ist/sind, um die Bildverarbeitung durchzuführen, und führt dadurch die Bildverarbeitung auf einer vorbestimmten Anzahl an Teilen von Bilddaten pro Einheitszeit durch. Wie vorstehend beschrieben, werden die Kameras, welche auf das Ziel für die Bildverarbeitung eingestellt sind, auf zumindest einen Teil der Kameras eingeschränkt, und somit kann die Anzahl an Teilen von Bilddaten, welche pro Einheitszeit verarbeitet werden müssen, mit dem Ergebnis verringert werden, dass eine Umgebungserkennung (Erfassung einer Bewegung von einer Person und einem Artikel) um das Fahrzeug herum durch die Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden kann.
(3) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) und (2) umfasst die Fahrzeugbildverarbeitungsvorrichtung ferner: eine Erfassungseinheit, die die Puffer und die darin vorgesehene Transfersteuerung aufweist; einen Arbeitspuffer der konfiguriert ist, um den durch die Transfersteuerung an die Signalleitung ausgegebenen und der durch den Prozessor durgeführten Bildverarbeitung ausgesetzten Teil von Bilddaten zu speichern; und eine Prozessoreinheit, die den Prozessor und den darin vorgesehenen Arbeitsspeicher aufweist, und wobei die Signalleitung konfiguriert ist, um die Puffer in der Erfassungseinheit und den Arbeitspuffer in der Prozessoreinheit miteinander verbinden zu können.
In der vorstehend beschriebenen Konfiguration von (3) werden die mit den Puffern verwalteten Teile von Bilddaten der einzelnen Kameras durch die Signalleitung zum Verbinden der Erfassungseinheit und der Prozessoreinheit übermittelt, und an den in der Prozessoreinheit vorgesehenen Arbeitspuffer übertragen und der Bildverarbeitung in dem Prozessor ausgesetzt. Die Verwaltung und die Transferverarbeitung der Puffer in der Erfassungseinheit werden mit der Bildverarbeitung in der Prozessoreinheit hinsichtlich Hardware auf diese Weise voneinander getrennt, und somit kann, wie vorstehend beschrieben, eine Umgebungserkennung (die Erfassung von einer Person und einem Artikel) um das Fahrzeug herum durch die Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
(4) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) bis (3) umfassen die Zustandsinformationen eine Fahrzeuggeschwindigkeit, und der Prozessor führt die Auswahl des Puffers basierend auf dem Vergleich der Fahrzeuggeschwindigkeit und Schwellenwerten durch.
Im Allgemeinen gibt es eine obere Grenze bezüglich der Anzahl an Teilen von Bilddaten, auf welchen ein Prozessor eine Bildverarbeitung pro Einheitszeit durchführen kann. Wenn somit die Teile von Bilddaten der Kameras sequenziell verarbeitet werden, wenn die Anzahl an Kameras (Puffer) erhöht wird, dann wird die Anzahl an Teilen von Bilddaten pro Kamera, die einer Bildverarbeitung zu einer Einheitszeit ausgesetzt sind, verringert. Wenn diese Anzahl verringert wird, dann tritt eine längere Verzögerung bei der Bildverarbeitung bezüglich der Teile von Bilddaten auf, welche von jeder der Kamera sequenziell zugeführt werden, und somit wird eine Zeitverzögerung bei der Umgebungserkennung durch die Bildverarbeitung der Kameras vergrößert.
In der vorstehend beschriebenen Konfiguration von (4) führt der Prozessor basierend auf dem Vergleich der Fahrzeuggeschwindigkeit und der Schwellenwerte eine Auswahl durch, indem er etwa die Puffer bestimmt, welche als das Ziel für die Bildverarbeitung eingestellt werden. Wenn die Fahrzeuggeschwindigkeit erhöht wird, dann wird die Zeitverzögerung bei der Umgebungserkennung durch die Bildverarbeitung wahrscheinlicher schlimm, wohingegen wenn die Fahrzeuggeschwindigkeit verringert wird, die Zeitverzögerung wahrscheinlicher in einem zulässigen Bereich liegen wird. Somit kann, wenn die Fahrzeuggeschwindigkeit verringert wird, sogar wenn eine größere Anzahl an Kameras auf das Ziel für die Bildverarbeitung eingestellt sind, eine Fahrunterstützung für das Fahrzeug in geeigneter Weise durchgeführt werden. Deshalb werden die Kameras, welche auf das Ziel für die Bildverarbeitung eingestellt sind, durch die Beziehung zu der Fahrzeuggeschwindigkeit ausgewählt, und somit kann sogar der Prozessor, dessen Verarbeitungsfähigkeit relativ gering ist, die Fahrunterstützung für das Fahrzeug durch die Umgebungserkennung unter Verwendung der Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
(5) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (4) umfassen die Kameras eine oder mehrere der Kameras zum Aufnehmen der Umgebung des Fahrzeugs, die Schwellenwerte umfassen einen ersten Schwellenwert, und wenn die Fahrzeuggeschwindigkeit kleiner als der erste Schwellenwert ist, dann wählt der Prozessor den Puffer aus, in welchem der Teil von Bilddaten akkumuliert ist, der mit der einen oder den mehreren der Kameras zum Aufnehmen der gesamten Umgebung des Fahrzeugs aufgenommen ist.
Wenn beispielsweise das Fahrzeug gestoppt wird, bevor es bewegt worden ist, oder es sich in einem Zustand (Zustand, in welchem ein Fahren gestartet worden ist) befindet, in welchem das Fahrzeug mit einer sehr geringen Geschwindigkeit aufgrund eines Kriechphänomens oder dergleichen bewegt wird, dann kann das Fahrzeug zu verschiedenen Positionen in Abhängigkeit von einem Lenkwinkel bewegt werden. Somit ist es mit den Nahfeldkameras, welche einen relativ breiten Sichtwinkel aufweisen, um ein Nahfeld oder dergleichen in geeigneter Weise aufnehmen zu können, erforderlich, die gesamte Umgebung des vorliegenden Fahrzeugs (zumindest die gesamte Orientierung in einer Horizontalrichtung) zu überwachen.
In der vorstehend beschriebenen Konfiguration von (5) stellt der Prozessor, wenn der vorstehend beschriebene Zustand (Zustand, in welchem ein Fahren gestartet worden ist) mit dem ersten Schwellenwert erfasst worden ist, Bilder, die mit einer oder mehreren der Kameras (wie etwa eine oder mehrere der Nahfeldkameras) aufgenommen sind, die zum Erhalten von Bildern um das Fahrzeug herum (die gesamte Orientierung) erforderlich sind, auf das Ziel für die Bildverarbeitung ein. Auf diese Weise kann eine Fahrunterstützung korrespondierend zu Bedingungen des Fahrzeugs durch Überwachung mit den Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
Wenn beispielsweise die Kameras, wie etwa insgesamt vier Kameras zum Aufnehmen der Vorderseite, der Rückseite, der linken Seite und der rechten Seite des Fahrzeugs installiert sind, um die gesamte Umgebung zu erhalten, dann wird die Anzahl an Kameras, die auf das Ziel für die Bildverarbeitung eingestellt sind, wahrscheinlicher erhöht werden. Wenn somit die Bilder der Kameras sequenziell eins zu eins umgeschaltet werden, und dann die Bildverarbeitung durchgeführt wird, wenn die Anzahl an Kameras erhöht ist, dann wird der Verarbeitungszyklus der Bilddaten in den einzelnen Kameras (einzelne Puffer) verlängert. Da allerdings das Fahrzeug mit einer sehr geringen Geschwindigkeit bewegt wird, solange die Bildverarbeitung als die Fahrunterstützung für das Fahrzeug zulässig (nicht problematisch ist), kann die Bildverarbeitung bezüglich der mit den einzelnen Kameras aufgenommenen Bilder durchgeführt werden.
(6) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (4) und (5) umfassen die Kameras eine Kamera zum Aufnehmen eines Gebiets vor dem Fahrzeug und eine Kamera zum Aufnehmen eines Gebiets hinter dem Fahrzeug, die Zustandsinformationen umfassen ferner eine Schaltposition von einem Getriebe des Fahrzeugs, die Schwellenwerte umfassen den ersten Schwellenwert und einen zweiten Schwellenwert, welcher größer als der erste Schwellenwert ist, und wenn die Fahrzeuggeschwindigkeit gleich oder größer als der erste Schwellenwert und kleiner als der zweite Schwellenwert ist, und die Schaltposition zeigt eine Vorwärtsbewegung an, der Prozessor wählt lediglich den Puffer aus, in welchem der Teil von Bilddaten akkumuliert ist, der mit der Kamera zum Aufnehmen des Gebiets vor dem Fahrzeug aufgenommen ist, wohingegen wenn die Schaltposition eine Rückwärtsbewegung anzeigt, der Prozessor lediglich den Puffer auswählt, in welchem der Teil von Bilddaten akkumuliert ist, der mit der Kamera zum Aufnehmen des Gebiets hinter dem Fahrzeug aufgenommen ist.
In einem Zustand (Niedriggeschwindigkeitsfahrzustand), in welchem das Fahrzeug in einer Lateralrichtung mit Bezug auf die Fahrtrichtung in Abhängigkeit von dem Lenkwinkel schnell bewegt werden kann, ist es beispielsweise erforderlich, die Nahfeldkameras (vorstehend beschrieben) und dergleichen zu verwenden, damit ein Gebiet in der Fahrtrichtung des vorliegenden Fahrzeugs in umfangreichem Maße überwacht wird.
In der vorstehend beschriebenen Konfiguration von (6) stellt der Prozessor, wenn der vorstehend beschriebene Zustand (Niedriggeschwindigkeitsfahrzustand) mit dem ersten Schwellenwert und dem zweiten Schwellenwert erfasst ist, Bilder, die mit den Kameras zum Aufnehmen von Bildern in der Fahrtrichtung des Fahrzeugs aufgenommen sind, auf das Ziel für die Bildverarbeitung ein. Auf diese Weise kann eine Fahrunterstützung korrespondierend zu Bedingungen des Fahrzeugs durch Überwachen mit den Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
(7) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (4) bis (6) umfassen die Kameras eine Fernfeldkamera, welche ein Fernfeldgebiet in der Fahrtrichtung des Fahrzeugs aufnimmt, und eine Nahfeldkamera welche ein Nahfeldgebiet in der Fahrtrichtung des Fahrzeugs aufnimmt, und welche einen breiteren Sichtwinkel als die Fernfeldkamera aufweist, die Schwellenwerte umfassen den zweiten Schwellenwert, und wenn die Fahrzeuggeschwindigkeit gleich oder größer als der zweite Schwellenwert ist, dann wählt der Prozessor den Puffer aus, in welchem der Teil von Bilddaten akkumuliert ist, der mit der Fernfeldkamera aufgenommen ist, wohingegen wenn die Fahrzeuggeschwindigkeit kleiner ist als der zweite Schwellenwert ist, der Prozessor den Puffer auswählt, in welchem der Teil von Bilddaten akkumuliert ist, der mit der Nahfeldkamera aufgenommen ist.
In einem Fahrzustand, in welchem die Fahrzeuggeschwindigkeit relativ so hoch ist, dass das Fahrzeug nicht schnell in einer Richtung durch Lenken abbiegen kann, wird die Zeit, die für eine Rückkopplung (z.B. automatisches Bremsen in dem Fahrzeug oder eine Warnung an den Fahrer) von der Umgebungserkennung (die Erfassung einer Person und eines Artikels) durch die Bildverarbeitung zu dem Fahrer des Fahrzeugs oder dergleichen zulässig ist, weiter verkürzt. Somit ist es erforderlich, ein entferntes Gebiet von dem Fahrzeug zu überwachen, um ein Ziel (eine Person und ein Artikel) in einem entfernten Gebiet früher zu erfassen.
In der vorstehend beschriebenen Konfiguration von (7) stellt der Prozessor, wenn der vorstehend beschriebene Fahrzustand mit dem zweiten Schwellenwert erfasst wird, Bilder, die mit den Fernfeldkameras zum Aufnehmen eines entfernten Gebiets in der Fahrtrichtung des Fahrzeugs aufgenommen sind, auf das Ziel für die Bildverarbeitung ein. Wie vorstehend beschrieben, werden beispielsweise Bilder, die mit einer kleineren Anzahl an Kameras, wie etwa eine Kamera, aufgenommen sind, auf das Ziel für die Bildverarbeitung eingestellt, und somit kann eine Fahrunterstützung korrespondierend zu Bedingungen des Fahrzeugs durch Überwachen mit den Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
(8) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (4) bis (7) umfassen die Schwellenwerte einen Umschaltbeginn-Schwellenwert und einen Umschaltbeendigungs-Schwellenwert, bei welchem eine Differenz zu dem Umschaltbeginn-Schwellenwert ein erster Wert ist, der Prozessor ist konfiguriert, um die Bildverarbeitung bezüglich einer vorbestimmten Anzahl an Teilen der Bilddaten pro Einheitszeit durchzuführen, und wenn die Fahrzeuggeschwindigkeit zwischen dem Umschaltbeginn-Schwellenwert und dem Umschaltbeendigungs-Schwellenwert liegt, schaltet der Prozessor die auszuwählenden Puffer derart um, dass, wenn sich die Fahrzeuggeschwindigkeit dem Umschaltbeendigungs-Schwellenwert von dem Umschaltbeginn-Schwellenwert annähert, die vorbestimmte Anzahl an Teilen von Bilddaten, bezüglich welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit den Umschaltbeginn-Schwellenwert erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten ersetzt wird, nachdem die Fahrzeuggeschwindigkeit den Umschaltbeendigungs-Schwellenwert erreicht hat.
Wenn die Kameras (Puffer), welche auf das Ziel für die Bildverarbeitung eingestellt sind, bei einem vorbestimmten Schwellenwert exakt umgeschaltet werden, falls beispielsweise die von dem Fahrzeug erhaltene Fahrzeuggeschwindigkeit einen Fehler umfasst, werden geeignete Puffer korrespondierend zu der Fahrzeuggeschwindigkeit um den Schwellenwert herum nicht ausgewählt, mit dem Ergebnis, dass die geeignete Umgebungserkennung wahrscheinlich nicht durchgeführt wird.
Gemäß der vorstehend beschriebenen Konfiguration von (8) werden die Kameras (Puffer), welche auf das Ziel für die Bildverarbeitung des Prozessors eingestellt sind, von der vorangegangenen Stufe graduell umgeschaltet, um bei den vorbestimmten Schwellenwerten (wie etwa der vorstehend beschriebene erste Schwellenwert und der zweite Schwellenwert) vollständig umgeschaltet zu werden. Auf diese Weise kann, sogar wenn die von dem Fahrzeug erhaltene Fahrzeuggeschwindigkeit einen Fehler aufweist, die Außenumgebungserkennung bezüglich des Fahrzeugs in geeigneter Weise durchgeführt werden.
(9) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (8) schaltet der Prozessor, wenn die Fahrzeuggeschwindigkeit den Umschaltbeginn-Schwellenwert erreicht, zunächst die Kamera korrespondierend zu dem Puffer um, welche ausgewählt werden muss, wenn die Fahrzeuggeschwindigkeit den Umschaltbeendigungs-Schwellenwert erreicht, und den Puffer korrespondierend zu der Kamera um, welche zumindest mit einer Aufnahmerichtung verknüpft ist.
Gemäß der vorstehend beschriebenen Konfiguration von (9) kann die Außenumgebungserkennung bezüglich des Fahrzeugs in geeigneter Weise durchgeführt werden, sogar wenn die von dem Fahrzeug erhaltene Fahrzeuggeschwindigkeit einen Fehler aufweist.
(10) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration (1) bis (9) umfasst die Fahrzeugbildverarbeitungsvorrichtung ferner: einen Akquirierungsabschnitt, der Eigenschaftsinformationen einschließlich einer Anweisung für die Überwachungsrichtung an einem spezifischen Ort akquiriert, und der Prozessor wählt die Puffer basierend auf der Fahrtposition und den Eigenschaftsinformationen aus.
Gemäß der vorstehend beschriebenen Konfiguration von (10) stellt der Prozessor die Bilddaten der Kamera zum Aufnehmen des Gebiets in der durch die Eigenschaftsinformationen angezeigten Überwachungsrichtung auf das Ziel für die Bildverarbeitung ein. Obwohl es in dem an verschiedenen Orten fahrenden Fahrzeug erforderlich sein kann, die spezifische Richtung in einer fokussierten Art und Weise zu überwachen, wie etwa ein Ort, an welchem Unfälle häufig auftreten, werden die Kameras, welche auf das Ziel für die Bildverarbeitung eingestellt sind, basierend auf den Eigenschaftsinformationen umgeschaltet, und somit kann die Fahrunterstützung durchgeführt werden, was sicherer ist.
(11) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) bis (10) stellt das Fahrzeug ein Nutzfahrzeug dar, die Zustandsinformationen umfassen die Fahrzeuggeschwindigkeit und den Lenkwinkel, der Prozessor bestimmt basierend auf den Zustandsinformationen, ob ein Abbiegen des Fahrzeugs ein Abbiegen nach rechts oder ein Abbiegen nach links darstellt, und wenn das Fahrzeug nach rechts abbiegt, wählt der Prozessor den Puffer aus, in welchem der Teil von Bilddaten akkumuliert ist, der durch Aufnehmen zumindest eines Gebiets an einer rechten Seite in einer Vorwärtsrichtung und eines Gebiets an einer linken Seite in einer Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten ist, wohingegen wenn das Fahrzeug nach links abbiegt, der Prozessor den Puffer auswählt, in welchem der Teil von Bilddaten akkumuliert ist, der durch Aufnehmen zumindest eines Gebiets an der linken Seite in der Vorwärtsrichtung und eines Gebiets an der rechten Seite in der Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten ist.
Da beispielsweise ein Nutzfahrzeug, wie etwa ein Gabelstapler, einen kurzen Radstand und einen großen Lenkwinkel aufweist, ist es erforderlich, auf die Lateralrichtung im Vergleich zu der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung aufzupassen, wenn ein Fahren gestartet wird, in einem Zustand, in welchem ein Lenkrad gedreht wird. Insbesondere ist es erforderlich, nicht nur die rechte Seite in der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung, sondern auch die linke Seite in der Rückwärtsrichtung mit Bezug darauf zu dem Zeitpunkt eines Abbiegens nach rechts, und nicht nur die linke Seite in der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung, sondern auch die rechte Seite in der Rückwärtsrichtung mit Bezug darauf zu dem Zeitpunkt eines Abbiegens nach links simultan zu überwachen.
Gemäß der vorstehend beschriebenen Konfiguration von (11) bestimmt der Prozessor die Abbiegungsrichtung basierend auf der Fahrzeuggeschwindigkeit und dem Lenkwinkel, und er wählt basierend auf dem Bestimmungsergebnis die Kameras aus, welche auf das Ziel für die Bildverarbeitung eingestellt sind. Wie vorstehend beschrieben, werden gemäß der Abbiegungsrichtung (Lenkwinkel) des Fahrzeugs die Bilddaten von nicht nur einer Seite, wie etwa der rechten Seite, sondern auch der entgegengesetzten Seite (linke Seite) auf das Ziel für die Bildverarbeitung eingestellt, und somit wird zu dem Zeitpunkt eines lateralen Abbiegens, während auf die der Fahrtrichtung entgegengesetzten Richtung aufgepasst wird, beispielsweise die Erfassung einer Person und eines Artikels mit dem Ergebnis durchgeführt, dass die Fahrunterstützung durchgeführt werden kann, was sicherer ist.
(12) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (11) umfassen die Kameras eine rechtsseitige Aufnahmekamera zum Aufnehmen eines Gebiets an der rechten Seite des Fahrzeugs und eine linksseitige Aufnahmekamera zum Aufnehmen eines Gebiets an der linken Seite desselben, und wenn das Fahrzeug nach rechts abbiegt, führt der Prozessor die Bildverarbeitung auf dem Gebiet von einem Teil an einer linken Seite der Teile von Bilddaten durch, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera einzeln aufgenommen worden sind, wohingegen wenn das Fahrzeug nach links abbiegt, der Prozessor die Bildverarbeitung auf dem Gebiet von einem Teil an einer rechten Seite der Teile von Bilddaten durchführt, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera einzeln aufgenommen worden sind.
Gemäß der Abbiegungsrichtung (Lenkwinkel) des Fahrzeugs werden die Bilddaten von nicht nur einer Seite, wie etwa der rechten Seite, sondern auch der entgegengesetzten Seite (linke Seite) auf das Ziel für die Bildverarbeitung eingestellt, und somit wird die Anzahl an Kameras, die auf das Ziel für die Bildverarbeitung eingestellt sind, mit dem Ergebnis erhöht, dass die Frequenz, mit welcher die Bildverarbeitung mit dem Prozessor auf den in jedem der Puffer (Kameras) akkumulierten Bilddaten durchgeführt wird, verringert wird (der Zyklus wird verringert).
Gemäß der vorstehend beschriebenen Konfiguration von (12) führt der Prozessor die Bildverarbeitung auf dem Gebiet von einem Teil von jedem Teil von Bilddaten durch, die akquiriert werden, wenn das Fahrzeug abbiegt. Beispielsweise verarbeitet die Kamera an der rechten Seite zum Zeitpunkt eines Abbiegens nach rechts das Gebiet (die linke Seite des Bildes) von lediglich der Vorderseite des Fahrzeugs, und die Kamera an der linken Seite verarbeitet das Gebiet (die linke Seite des Bildes) von lediglich der Rückseite des Fahrzeugs in einer begrenzten Art und Weise gemäß dem Lenkwinkel, d.h., die Bildverarbeitung wird lediglich auf den Gebieten von Teilen mit dem Ergebnis durchgeführt, dass die Verlängerung des Akquirierungszyklus der Bilddaten von jedem der Puffer verringert werden kann. Auf die Weise kann, sogar wenn die Anzahl an Kameras erhöht wird, eine Fahrunterstützung in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden, was sicherer ist.
(13) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) bis (12) umfassen die Zustandsinformationen den Lenkwinkel und die Schaltposition des Getriebes des Fahrzeugs, und der Prozessor führt basierend auf dem Lenkwinkel und der Schaltposition die Bildverarbeitung auf einem Gebiet von einem Teil durch, der in den von den Puffern akquirierten Teilen von Bilddaten enthalten ist.
Gemäß der vorstehend beschriebenen Konfiguration von (13) wird basierend auf dem Lenkwinkel und der Schaltposition ein Teil von jedem Teil von Bilddaten extrahiert, um auf das Ziel für die Bildverarbeitung eingestellt zu werden. Auf diese Weise kann in jedem Teil von Bilddaten auf die Bildverarbeitung auf dem Teilgebiet verzichtet werden, welches den basierend auf den Lenkwinkel und der Schaltposition vorhergesagten Fahrweg des Fahrzeugs nicht umfasst. Somit kann die Last der Bildverarbeitung auf jedem Teil von Bilddaten verringert werden, und somit kann die Anzahl an Teilen von Bilddaten erhöht werden, auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt werden kann. Somit kann eine Leistungszeit bewältigt werden, welche bei einer hohen Fahrzeuggeschwindigkeit oder dergleichen erforderlich ist.
(14) In einigen Ausführungsbeispielen gemäß der vorstehend beschriebenen Konfiguration von (1) bis (13) umfassen die Kameras eine erste Kamera zum Aufnehmen eines Gebiets in einer ersten Richtung des Fahrzeugs und eine zweite Kamera zum Aufnehmen eines Gebiets in einer von der ersten Richtung verschiedenen Richtung, und die Fahrzeugbildverarbeitungsvorrichtung umfasst ferner einen Einstellungsabschnitt, der basierend auf der Helligkeit der Teile von Bilddaten, die mit der ersten Kamera und der zweiten Kamera einzeln aufgenommen worden sind, den Aufnahmeparameter für jede der Kameras einstellt.
Gemäß der vorstehend beschriebenen Konfiguration von (14) werden das Vorderlicht und das Rücklicht der Kameras, welche auf das Ziel für die Bildverarbeitung eingestellt sind, derart erfasst, dass die Aufnahmeparameter für die Kameras eingestellt werden, und somit kann ein Einfluss minimiert werden, der durch Helligkeitsvariationen bewirkt wird, die durch Sonnenlicht erzeugt sind, mit dem Ergebnis, dass eine stabile Umgebungserkennung durchgeführt werden kann.
(15) Ein Fahrzeugbildverarbeitungsverfahren gemäß zumindest einem Ausführungsbeispiel der vorliegenden Erfindung wird durch einen Prozessor eines Computers durchgeführt, wobei der Computer umfasst: eine Vielzahl von Puffern, die konfiguriert sind, um Teile von Bilddaten zu akkumulieren, die von einer Vielzahl von Kameras einzeln und sequenziell eingegeben sind, die in einem Fahrzeug installiert sind, um die Teile von Bilddaten mit den Kameras zu verknüpfen; den Prozessor, der konfiguriert ist, um den Puffer basierend auf den Zustandsinformationen des Fahrzeugs einschließlich einer Fahrzeuggeschwindigkeit auszuwählen, und den Teil von Bilddaten von dem ausgewählten Puffer zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung zum Übertragen der Teile von Bilddaten in den Puffern zu dem Prozessor; und eine Transfersteuerung, die konfiguriert ist, um den Teil von Bilddaten in dem Puffer, der von dem Prozessor benötigt wird, an die Signalleitung auszugeben, und wobei das Fahrzeugbildverarbeitungsverfahren einen Schritt zum Durchführen der Auswahl des Puffers basierend auf einem Vergleich der Fahrzeuggeschwindigkeit und Schwellenwerten umfasst.
Gemäß der vorstehend beschriebenen Konfiguration von (15) werden dieselben Effekte wie in (1) vorstehend beschrieben erzielt.
(16) Ein Fahrzeugbildverarbeitungsprogramm gemäß zumindest einem Ausführungsbeispiel der vorliegenden Erfindung weist einen Prozessor eines Computers an, einen Schritt zum Durchführen der Auswahl eines Puffers basierend auf dem Vergleich von einer Fahrzeuggeschwindigkeit und Schwellenwerten durchzuführen, und der Computer umfasst: eine Vielzahl von Puffern, die konfiguriert sind, um Teile von Bilddaten, die von einer Vielzahl von Kameras einzeln und sequenziell eingegeben sind, die in einem Fahrzeug installiert sind, zu akkumulieren, um die Teile von Bilddaten mit den Kameras zu verknüpfen; den Prozessor, der konfiguriert ist, um den Puffer basierend auf Zustandsinformationen des Fahrzeugs einschließlich der Fahrzeuggeschwindigkeit auszuwählen, und um den Teil von Bilddaten von dem ausgewählten Puffer zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung zum Übertragen der Teile von Bilddaten in den Puffern zu dem Prozessor; und eine Transfersteuerung, die konfiguriert ist, um den Teil von Bilddaten in dem Puffer, der von dem Prozessor benötigt wird, an die Signalleitung auszugeben.
Gemäß der vorstehend beschriebenen Konfiguration von (16) werden dieselben Effekte, wie in (1) vorstehend beschrieben, erzielt.
(17) Ein Speichermedium gemäß zumindest einem Ausführungsbeispiel der vorliegenden Erfindung ist ein computerlesbares Speichermedium, das das vorstehend in (16) beschriebene Fahrzeugbildverarbeitungsprogramm speichert.
Gemäß der vorstehend beschriebenen Konfiguration von (17) wird das in dem Speichermedium gespeicherte Fahrzeugbildverarbeitungsprogramm ausgeführt, und somit werden dieselben Effekte, wie in (1) vorstehend beschrieben, erzielt.
Gemäß zumindest einem Ausführungsbeispiel der vorliegenden Erfindung wird eine Fahrzeugbildverarbeitungsvorrichtung bereitgestellt, welche eine Bildverarbeitung bezüglich Bildern, die mit einer Vielzahl von Kameras aufgenommen worden sind, schneller durchführen kann, während die Kosten eines Fahrzeugs verringert werden.
Kurze Beschreibung der Zeichnungen

1 ist ein Diagramm, das die Hardware-Konfiguration einer Fahrzeugbildverarbeitungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung schematisch zeigt;
2 ist ein Diagramm, das ein Installationsbeispiel einer Vielzahl von Kameras in einem Fahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
3 ist ein Diagramm, das die funktionalen Blöcke der Fahrzeugbildverarbeitungsvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
4 ist ein Flussdiagramm, das ein Verfahren zum Bestimmen der Puffer eines Auswahlziels gemäß dem Ausführungsbeispiel der vorliegenden Erfindung und zum Auswählen der Kameras gemäß einer Fahrzeuggeschwindigkeit zeigt;
5 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer (Kameras) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kleiner als ein erster Schwellenwert ist (V < L1);
6 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer (Kameras) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit gemäß dem Ausführungsbeispiel der vorliegenden Erfindung gleich oder größer als der erste Schwellenwert und kleiner als ein zweiter Schwellenwert ist (L1 ≤ V < L2);
7 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer (Kameras) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit gemäß dem Ausführungsbeispiel der vorliegenden Erfindung gleich oder größer als der zweite Schwellenwert ist (L2 < V);
8 ist ein Diagramm zum Darstellen des schrittweise Umschaltens der Puffer um den ersten Schwellenwert herum, wenn die Fahrzeuggeschwindigkeit gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erhöht wird;
9 ist ein Diagramm zum Darstellen des schrittweise Umschaltens der Puffer um den zweiten Schwellenwert herum, wenn die Fahrzeuggeschwindigkeit gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erhöht wird;
10 ist ein Diagramm, das Richtungen und Gebiete zeigt, welche überwacht werden, wenn ein Gabelstaplerfahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung abbiegt;
11 ist ein Flussdiagramm, das ein Verfahren zum Bestimmen der Puffer zeigt, wenn das Gabelstaplerfahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung abbiegt;
12 ist ein Diagramm, das einen Fahrweg in Bilddaten, welche auf das Ziel für eine Bildverarbeitung eingestellt sind, gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt; und
13 ist ein Diagramm zum Darstellen eines Falles, in welchem die Fahrzeugbildverarbeitungsvorrichtung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung den von hinten beleuchteten Zustand des Fahrzeugs bestimmt.

Detaillierte Beschreibung der Erfindung
Nachstehend werden einige Ausführungsbeispiele der vorliegenden Erfindung mit Bezug auf begleitende Zeichnungen beschrieben. Allerdings wird durch die Dimensionen, die Materialien, die Formen, die relativen Anordnungen und dergleichen von Bestandteilkomponenten, welche als Ausführungsbeispiele beschrieben oder in Zeichnungen gezeigt sind, nicht beabsichtigt, den Umfang der vorliegenden Erfindung zu begrenzen. Sie stellen lediglich einfache Beschreibungsbeispiele dar.
Beispielsweise soll ein Ausdruck einer relativen oder absoluten Anordnung, wie etwa „in einer Richtung“, „entlang einer Richtung“, „parallel“, „orthogonal“, „zentriert“, „konzentrisch“ und „koaxial“ nicht dahingehend ausgelegt werden, dass lediglich die Anordnung in einem streng wörtlichen Sinne angezeigt wird, sondern auch einen Zustand umfasst, in welchem die Anordnung durch eine Abweichung oder durch einen Winkel oder eine Entfernung relativ verschoben ist, wodurch dieselbe Funktion erzielt werden kann.
Beispielsweise soll ein Ausdruck eines gleichen Zustands, wie etwa „derselbe, dieselbe, dasselbe“, „gleich“, und „gleichmäßig bzw. gleichförmig“ nicht dahingehend ausgelegt werden, dass lediglich der Zustand angezeigt ist, in welchem das Merkmal strenggenommen gleich ist, sondern auch einen Zustand umfasst, in welchem eine Abweichung oder eine Differenz vorliegt, die immer noch dieselbe Funktion erzielen kann.
Ferner soll beispielsweise ein Ausdruck einer Form, wie etwa eine rechteckige Form oder eine zylindrische Form, nicht als lediglich geometrisch strenge Form ausgelegt werden, sondern auch eine Form mit einer Unebenheit oder abgeschrägten Ecken innerhalb des Bereichs umfassen, in welchem derselbe Effekt erzielt werden kann.
Andererseits beabsichtigt ein Ausdruck, wie etwa „aufweisen“, „umfassen“, „haben“, „enthalten“ und „bilden“ nicht, dass andere Komponenten ausgeschlossen sind.
1 ist ein Diagramm, das die Hardware-Konfiguration einer Fahrzeugbildverarbeitungsvorrichtung 1 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung schematisch zeigt. 2 ist ein Diagramm, das ein Installationsbeispiel einer Vielzahl von Kameras 8 in einem Fahrzeug 9 gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt. 3 ist ein Diagramm, das die funktionalen Blöcke der Fahrzeugbildverarbeitungsvorrichtung 1 gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Die Fahrzeugbildverarbeitungsvorrichtung 1 (nachstehend nach Bedarf die Bildverarbeitungsvorrichtung 1) ist eine Vorrichtung zum Durchführen einer Bildverarbeitung auf Bildern (Bilddaten G), die mit einer Vielzahl von Kameras 8 einzeln aufgenommen werden, die in dem Fahrzeug 9 installiert (enthalten) sind, welches ein allgemeines Automobil oder ein Nutzfahrzeug, wie etwa einen Gabelstapler, darstellt. Wie in 1 gezeigt, sind die Kameras 8 in der Bildverarbeitungsvorrichtung 1 mit separaten Drähten oder dergleichen einzeln verbunden, und die mit den einzelnen Kameras 8 aufgenommenen Bilder werden in die Bildverarbeitungsvorrichtung 1 eingegeben. Die Anzahl an Kameras 8 ist beliebig und wird vorzugsweise gemäß dem Zwecke derselben und den Spezifikationen (wie etwa ein Sichtwinkel und eine Entfernung, die ein Aufnehmen durchführen kann) der Kameras bestimmt. In den einzelnen Kameras 8 werden mit den Kameras 8 aufgenommene Bilder kontinuierlich in die Bildverarbeitungsvorrichtung 1 eingegeben.
Gemäß dem in 1 und 2 gezeigten Ausführungsbeispiel erzeugt jede der Kameras 8 eine vorbestimmte Anzahl an Bildern pro Sekunde. Gemäß dem in 2 gezeigten Ausführungsbeispiel sind insgesamt sechs Kameras 8 in dem Fahrzeug 9 installiert, und die einzelnen Kameras sind installiert, um in der Umfangsrichtung des Fahrzeugs 9 aufzunehmen. Insbesondere sind vier von den sechs Kameras 8 Nahfeldkameras 81 für eine Nahfeldaufnahme, und zwei Kameras sind Fernfeldkameras 82 für eine Fernfeldaufnahme. Die Nahfeldkamera 81 hat einen breiteren Sichtwinkel als die Fernfeldkameras, um ein relativ nahes Feld in geeigneter Weise aufnehmen zu können. Im Gegensatz dazu hat die Fernfeldkamera 82 einen eingeschränkteren Sichtwinkel als die Nahfeldkamera 81, um ein relativ fernes Feld in geeigneter Weise aufnehmen zu können. Somit sind die vier Nahfeldkameras 81 an vier Orten der Vorderseite, der Rückseite, der linken Seite und der rechten Seite des Fahrzeugs 9 getrennt installiert, um den gesamten Umfang des Fahrzeugs 9 mit den vier Nahfeldkameras 81 vollständig aufzunehmen. Die beiden Fernfeldkameras 82 sind an zwei Orten der Vorderseite (an welcher der Sichtschutz des Fahrers vorliegt) und der Rückseite des Fahrzeugs 9 getrennt voneinander installiert, um entfernte Gebiete in der Vorwärts- und Rückwärtsrichtung aufzunehmen.
Damit die aufgenommenen Bilder, welche von den Kameras 8, die in dem Fahrzeug 9 installiert sind, wie vorstehend beschrieben, sequenziell eingegeben sind, wie in 1 gezeigt, in Echtzeit verarbeitet werden, umfasst die Bildverarbeitungsvorrichtung 1 eine Vielzahl von Puffern 2, einen Prozessor 3, eine Signalleitung 4 und eine Transfersteuerung 5.
Die Konfigurationen derselben werden einzeln beschrieben.
Die Puffer 2 sind Speicherabschnitte, welche konfiguriert sind, um Teile von Bilddaten G zu akkumulieren, die von den Kameras 8, die in dem Fahrzeug 9 installiert sind, für jede der Kameras 8 einzeln und sequenziell eingegeben werden. Wie in 1 gezeigt, ist ein dedizierter Puffer 2 für jede der Kameras 8 vorgesehen, und somit werden die Bilddaten G für jede der Kameras 8 verwaltet (gespeichert). Gemäß dem in 1 gezeigten Ausführungsbeispiel stellt jeder der Puffer 2 eine Warteschlange (FIFO) dar, und somit werden die Teile von Bilddaten G in einer Reihenfolge entnommen, in welcher die Teile von Bilddaten G in die Puffer 2 eingegeben sind. Jeder der Puffer 2 kann eine Ringpufferstruktur aufweisen. Jeder der Puffer 2 kann eingestellt sein, um eine solche Kapazität aufzuweisen, damit lediglich eine kleine Anzahl an Teilen von Bilddaten G gespeichert werden kann, und ein Speicher, welcher eine kleinere Kapazität aufweist, wird derart verwendet, dass die Kosten verringert werden können. Gemäß dem in 1 gezeigten Ausführungsbeispiel wandelt ein A/D-Umwandler 22 die analogen Informationen des von jeder der Kameras 8 aufgenommenes Bildes in digitale Informationen um, und somit werden die Bilddaten G in jedem der Puffer 2 akkumuliert. Die Transfersteuerung 5, welche nachstehend beschrieben wird, verwaltet die einzelnen Puffer 2, um die Bilddaten G in den einzelnen Puffern 2 zu akkumulieren (speichern).
Der Prozessor 3 wählt den Puffer 2 unter den vorstehend beschriebenen Puffern 2 basierend auf z.B. den Zustandsinformationen S des Fahrzeugs 9 aus, wie etwa einer Fahrzeuggeschwindigkeit V und einer Schaltposition Sp, und akquiriert die Bilddaten G aus dem ausgewählten Puffer, um die Bildverarbeitung durchzuführen. Insbesondere wird jeder Prozessor 3 gemäß dem Befehl eines Programms (Bildverarbeitungsprogramm), das in einer Hauptspeichervorrichtung geladen ist, betrieben (wie etwa die Berechnung von Daten), um die Bilddaten G aus irgendeinem der Puffer 2 sequenziell zu akquirieren, und um die Bildverarbeitung (wie etwa die Erfassung einer Person und eines Artikels) auf den Bilddaten G, welche akquiriert sind, durchzuführen. Wie in 1 gezeigt, ist die Anzahl an Prozessoren 3 kleiner als die Anzahl an Puffern 2, damit die Kosten des Fahrzeugs 9 verringert werden. Gemäß dem in 1 gezeigten Ausführungsbeispiel weist der in der Bildverarbeitungsvorrichtung 1 enthaltene Prozessor 3 eine in der Figur gezeigte CPU auf.
Insbesondere wird der Prozessor 3 gemäß dem Bildverarbeitungsprogramm betrieben, welches eine in 3 gezeigte Funktion aufweist, um zumindest einen der Puffer 2 als ein Auswahlziel unter den Puffern 2 basierend auf den Zustandsinformationen S des Fahrzeugs 9 zu bestimmen, und er stellt die Auswahlfrequenzen der in dem Auswahlziel enthaltenen Puffer 2 größer ein als die Auswahlfrequenzen der anderen Puffer 2, die in dem Auswahlziel nicht enthalten sind, um einen oder mehrere der in dem Auswahlziel enthaltene Puffer 2 sequenziell auszuwählen. Insbesondere indem beispielsweise die Auswahlfrequenzen der Puffer 2, die nicht in dem Auswahlziel enthalten sind, auf eine signifikant niedrige Frequenz, wie etwa Null, eingestellt werden, kann verhindert werden, dass sie durch den Prozessor 3 ausgewählt werden. Gemäß dem in 3 gezeigten Ausführungsbeispiel weist das Bildverarbeitungsprogramm einen Computer an, um folgendes zu realisieren: einen Auswahlzielpuffer-Bestimmungsabschnitt 71 welcher die Puffer 2 des Auswahlziels bestimmt; einen Bilddaten-Akquirierungsabschnitt 72, welcher einen oder mehrere der Puffer 2, die in dem Auswahlziel bestimmt und enthalten sind, sequenziell auswählt, und welcher die Bilddaten G der ausgewählten Puffer 2 akquiriert; und einen Bildverarbeitungsabschnitt 73, welcher die Bildverarbeitung auf den akquirierten Bilddaten G durchführt.
Da im Allgemeinen die Anzahl an Teilen von Bilddaten G, auf welchen ein Prozessor 3 die Bildverarbeitung pro Einheitszeit durchführen kann, begrenzt ist, wenn die Bilddaten G von allen Kameras 8 in Echtzeit überwacht werden, muss beispielsweise ein Prozessor 3 vorgesehen sein, welcher eine exzellente Verarbeitungsfähigkeit aufweist, oder der Prozessor 3 muss für jede der Kameras 8 vorgesehen sein. Allerdings liegt im Allgemeinen eine Priorität (Wichtigkeit) in der Richtung vor, welche gemäß Fahrbedingungen überwacht werden muss, und es ist beispielsweise die Notwendigkeit zum Überwachen der Richtung entgegengesetzt zu der Fahrtrichtung zum Zeitpunkt eines Fahrens gering. Somit sind jedes Mal, wenn die Fahrbedingungen des Fahrzeugs 9 basierend auf den Zustandsinformationen S des Fahrzeugs 9 bestimmt werden, die Kameras 8, welche auf das Ziel für die Bildverarbeitung eingestellt werden müssen, auf zumindest einen Teil der Kameras 8, die in dem Fahrzeug 9 installiert sind, gemäß den Details einer Fahrunterstützung, welche durchgeführt wird, mit dem Ergebnis beschränkt, dass der Prozessor 3 die Bildverarbeitung durchführt. Da auf diese Weise, sogar wenn eine Vielzahl von Puffern 2 in dem Auswahlziel enthalten ist, die Anzahl an Puffern 2, welche auf das Ziel für die Bildverarbeitung eingestellt sind, minimiert ist, wird die Frequenz, mit welcher der Prozessor 3 die Bilddaten G akquiriert, für jeden der Puffer 2 erhöht (der Zyklus, in welchem die Bildverarbeitung durchgeführt wird, wird verkürzt), mit dem Ergebnis, dass eine Umgebungserkennung, die die Kameras 8 verwendet, in Echtzeit durchgeführt werden kann.
Die Signalleitung 4 ist ein Transferpfad zum Übertragen der Bilddaten G in jedem der vorstehend beschriebenen Puffer 2 zu dem Prozessor 3. Die Signalleitung 4 kann so konfiguriert sein, um die Bilddaten G seriell zu übertragen, oder sie kann so konfiguriert sein, um die Bilddaten G parallel zu übertragen. Somit werden die Bilddaten G in jedem der Puffer 2 durch die Signalleitung 4 übertragen, um zu dem Prozessor 3 übertragen zu werden.
Die Transfersteuerung 5 kann mit dem Prozessor 3 für eine vorstehend beschriebene Bildverarbeitung kommunizieren, verwaltet die Akkumulation der Bilddaten G in den Puffern 2, und gibt die von dem Prozessor 3 benötigten Bilddaten G an die Signalleitung 4 aus. Anders ausgedrückt, die Transfersteuerung 5 speichert die Bilddaten G in geeigneter Weise in jedem der Puffer 2, während die Kommunikation mit den Kameras 8 und Speicheradressen verwaltet werden, um die kommunizierten Bilddaten G in jedem der Puffer 2 in geeigneter Weise zu speichern. Wie vorstehend beschrieben, bestimmt der Prozessor 3 die Puffer 2, welche auf das Auswahlziel eingestellt sind, basierend auf den Zustandsinformationen S des Fahrzeugs 9, und jedes Mal, wenn der Prozessor 3 den Puffer 2 darin sequenziell auswählt, werden die Bilddaten G des ausgewählten Puffers 2 akquiriert. Hier gibt die Transfersteuerung 5 die Bilddaten G des benötigten Puffers 2 an die Signalleitung 4 aus, wenn der Prozessor 3 den zu der Transfersteuerung 5 zu akquirierenden Puffer 2 spezifiziert, um die Bilddaten G zu benötigen, und somit überträgt die Transfersteuerung 5 die Bilddaten G an den Prozessor 3. Der Prozessor 3 kann das vorstehend beschriebene Erfordernis (Steuerungssignal) für die Transfersteuerung 5 durch die Signalleitung 4 durchführen, oder er kann es durch eine Steuerungssignalleitung durchführen, welche getrennt vorgesehen ist.
Wie vorstehend beschrieben, wird der Transfer der Bilddaten G an den Prozessor 3 durch die Transfersteuerung 5 durchgeführt, und somit kann der Prozessor 3 der Bildverarbeitung eine Betriebszeit zuordnen, ohne die Transferverarbeitung auf den Bilddaten G durchzuführen. Somit kann der Prozessor 3 der Bildverarbeitung einen größeren Anteil der Verarbeitungsfähigkeit zuordnen, und somit kann der Prozessor 3, sogar wenn der Prozessor 3 eine relativ geringe Verarbeitungsfähigkeit aufweist, eine Fahrunterstützung durch die einzelnen Kameras 8 in Echtzeit in geeigneter Weise durchführen.
Kurzum, da in der wie vorstehend beschrieben konfigurierten Bildverarbeitungsvorrichtung 1 die Transfersteuerung 5 die Transferverarbeitung auf den Bilddaten G durchführt, führt der Prozessor 3 für die Bildverarbeitung keine Verarbeitung auf den Bilddaten G durch, bis die Bilddaten G mit der Transfersteuerung 5 von dem Puffer 2, in welchem die mit jeder der Kameras 8 aufgenommenen Bilddaten G gespeichert sind, übertragen worden sind, und er führt die Bildverarbeitung lediglich auf den Bilddaten G durch, die durch den Transfer akquiriert worden sind. Außerdem bestimmt der Prozessor 3 beispielsweise aus den in den Puffern 2 akkumulierten Bilddaten G der einzelnen Kameras 8 basierend auf den Zustandsinformationen S des Fahrzeugs 9 die Puffer 2, welche auf das Ziel für die Bildverarbeitung eingestellt werden müssen, um die auf das Ziel für die Bildverarbeitung eingestellten Kameras 8 auf zumindest einen Teil der Kameras 8 einzuschränken, und somit wird die Anzahl an Teilen von Bilddaten, welche pro Einheitszeit verarbeitet werden müssen, verringert.
Wie vorstehend beschrieben, stellt der Prozessor 3 die basierend auf den Zustandsinformationen S des Fahrzeugs 9 bestimmten Bilddaten G der Kameras 8 auf das Ziel für die Bildverarbeitung ein und führt keine Verarbeitung durch, bis die auf das Ziel eingestellten Bilddaten G akquiriert worden sind, mit dem Ergebnis, dass eine Umgebungserkennung (die Erfassung einer Person und eines Artikels) um das Fahrzeug 9 herum durch die Kameras 8 schneller durchgeführt werden kann. Somit kann die Bereitstellung des Prozessors 3 für jede der Kameras 8 und die Verwendung eines teuren Prozessors 3 mit besserer Verarbeitungsfähigkeit vermieden werden, und somit können die Kosten des Fahrzeugs 9 verringert werden.
In einigen Ausführungsbeispielen kann die Bildverarbeitungsvorrichtung 1, wie in 1 gezeigt, ferner umfassen: eine Erfassungseinheit 11 (Tafel bzw. Platine bzw. Karte), in welcher einer Vielzahl von vorstehend beschriebenen Puffern 2 und die Transfersteuerung 5 vorgesehen sind; einen Bildverarbeitungspuffer 6 (Arbeitspuffer), welcher die Bilddaten G speichert, welche durch die Transfersteuerung 5 an die Signalleitung 4 ausgegeben worden sind, und auf welchen der Prozessor 3 die Bildverarbeitung durchführt; eine Prozessoreinheit 12 (Tafel bzw. Platine bzw. Karte), in welcher der Prozessor 3 und der Bildverarbeitungspuffer 6 vorgesehen sind. In diesem Fall kann die vorstehend beschriebene Signalleitung 4 die Puffer 2 in der Erfassungseinheit 11 und den Bildverarbeitungspuffer 6 in der Prozessoreinheit 12 miteinander verbinden. Die vorstehend beschriebene Erfassungseinheit 11 kann mit einer programmierbaren Logikvorrichtung, wie etwa einem FPGA, ausgebildet sein.
Anders ausgedrückt, die Bilddaten G, welche mit der Transfersteuerung 5 gemäß dem Erfordernis des Prozessors 3 übertragen werden, sind in dem in der Prozessoreinheit 12 vorgesehenen Bildverarbeitungspuffer 6 gespeichert. Dann führt der Prozessor 3 die Bildverarbeitung auf den in dem Bildverarbeitungspuffer 6 gespeicherten Bilddaten G durch. Der Bildverarbeitungspuffer 6 des in 1 gezeigten Ausführungsbeispiels ist eine Warteschlange (FIFO), und der Prozessor 3 führt die Bildverarbeitung auf einem oder mehreren Teilen von in dem Bildverarbeitungspuffer 6 gespeicherten Bilddaten G in einer Reihenfolge durch, in welcher die Teile von Bilddaten G in dem Bildverarbeitungspuffer 6 gespeichert sind.
Gemäß dem in 1 gezeigten Ausführungsbeispiel akquiriert die Bildverarbeitungsvorrichtung 1 die vorstehend beschriebenen Zustandsinformationen S des Fahrzeugs 9 von einem Fahrzeugzustandsüberwachungsabschnitt 14, wie etwa einer ECU, welche in dem Fahrzeug 9 installiert ist. Insbesondere sammelt der Fahrzeugzustandsüberwachungsabschnitt 14 durch ein in dem Fahrzeug 9 installiertes Fahrzeugnetzwerk 15 (wie etwa ein CAN) die Zustandsinformationen S des Fahrzeugs 9, die die Fahrzeuggeschwindigkeit und die Schaltposition Sp umfassen, und speichert die Zustandsinformationen S in einen Puffer (Zustandsinformationspuffer 62) zum Speichern der in der Prozessoreinheit 12 vorgesehenen Zustandsinformationen S. Das Sammeln der Zustandsinformationen S mit dem Fahrzeugzustandsüberwachungsabschnitt 14 und das Speichern der Zustandsinformationen S in dem Zustandsinformationspuffer 62 werden zyklisch durchgeführt, und somit werden die letzten Zustandsinformationen S in dem Zustandsinformationspuffer 62 gespeichert. Somit greift der Prozessor 3 auf den vorstehend beschriebenen Zustandsinformationspuffer 62 zu, um die letzten Zustandsinformationen S des Fahrzeugs 9 akquirieren zu können, und bestimmt die Puffer 2, welche auf das Auswahlziel eingestellt sind, basierend auf den akquirierten Zustandsinformationen S.
Obwohl in dem in 1 gezeigten Ausführungsbeispiel der Fahrzeugzustandsüberwachungsabschnitt 14 in der anderen Einheit auf der Seite des Fahrzeugs (Steuerungseinheit 13) vorgesehen ist, können die Steuerungseinheit 13 und die Prozessoreinheit 12 mit dem Fahrzeugnetzwerk 15 verbunden sein, oder sie können mit getrennten Drähten verbunden sein.
Gemäß der vorstehend beschriebenen Konfiguration werden die Bilddaten G der mit den Puffern 2 verwalteten einzelnen Kameras 8 durch die Signalleitung 4 zum Verbinden der Erfassungseinheit 11 und der Prozessoreinheit 12 übertragen, sie werden an den in der Prozessoreinheit 12 vorgesehenen Bildverarbeitungspuffer 6 übertragen und der Bildverarbeitung in dem Prozessor 3 ausgesetzt. Die Verwaltung und die Transferverarbeitung der Puffer 2 in der Erfassungseinheit 11 und die Bildverarbeitung in der Prozessoreinheit 12 sind hinsichtlich Hardware auf diese Weise voneinander getrennt, und somit kann, wie vorstehend beschrieben, die Umgebungserkennung (Erfassung von einer Bewegung einer Person und eines Artikels) um das Fahrzeug 9 herum durch die Kameras 8 in einer zufriedenstellenden Art und Weise in Echtzeit durchgeführt werden.
Einige Ausführungsbeispiele bezüglich eines Verfahrens zum Bestimmen der Puffer 2 des vorstehend beschriebenen Auswahlziels werden dann mit Bezug auf 4 bis 10 beschrieben. 4 ist ein Flussdiagramm, das das Verfahren zum Bestimmen der Puffer 2 des Auswahlziels gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt, und die Kameras 8 werden gemäß der Fahrzeuggeschwindigkeit V ausgewählt. 5 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer 2 (Kameras 8) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit V gemäß dem Ausführungsbeispiel der vorliegenden Erfindung kleiner als ein erster Schwellenwert L1 ist (V < L1). 6 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer 2 (Kameras 8) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit V gemäß dem Ausführungsbeispiel der vorliegenden Erfindung gleich oder größer als der erste Schwellenwert L1 und kleiner als ein zweiter Schwellenwert L2 ist (L1 ≤ V < L2). 7 ist ein Diagramm, das eine Reihenfolge zeigt, in welcher die Puffer 2 (Kameras 8) ausgewählt werden, wenn die Fahrzeuggeschwindigkeit V gemäß dem Ausführungsbeispiel der vorliegenden Erfindung gleich oder größer als der zweite Schwellenwert L2 ist (L2 ≤ V). 8 ist ein Diagramm zum Darstellen des schrittweise Umschaltens der Puffer um den ersten Schwellenwert L1 herum, wenn die Fahrzeuggeschwindigkeit V gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erhöht wird. 9 ist ein Diagramm zum Darstellen des schrittweise Umschaltens der Puffer um den zweiten Schwellenwert L2 herum, wenn die Fahrzeuggeschwindigkeit V gemäß dem Ausführungsbeispiel der vorliegenden Erfindung erhöht wird. 10 ist ein Diagramm, das Richtungen und Gebiete zeigt, welche überwacht werden, wenn ein Gabelstaplerfahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung abbiegt. 11 ist ein Flussdiagramm, das ein Verfahren zum Bestimmen der Puffer 2 zeigt, wenn das Gabelstaplerfahrzeug gemäß dem Ausführungsbeispiel der vorliegenden Erfindung abbiegt.
In der folgenden Beschreibung wird angenommen, dass der Prozessor 3 gemäß dem Befehl des vorstehend beschriebenen Bildverarbeitungsprogramms betrieben wird, um eine Realisierung zu erzielen. Es wird auch angenommen, dass gemäß dem ersten Schwellenwert L1, dem zweiten Schwellenwert L2 und einem dritten Schwellenwert L3 eine Beziehung L1 < L2 < L3 gilt.
Gemäß einigen Ausführungsbeispielen umfassen die Zustandsinformationen S des Fahrzeugs 9 die Fahrzeuggeschwindigkeit V. Wie in 4 gezeigt, kann der Prozessor 3 die Auswahl der vorstehend beschriebenen Puffer 2 basierend auf dem Vergleich der Fahrzeuggeschwindigkeit V und vorbestimmten Schwellenwerten L durchführen. Gemäß dem in 1 bis 4 gezeigten Ausführungsbeispiel bestimmt der Prozessor 3 einen oder mehrere der Puffer 2, welche auf das vorstehend beschriebene Auswahlziel eingestellt sind, gemäß dem Befehl des Bildverarbeitungsprogramms für den Auswahlzielpuffer-Bestimmungsabschnitt 71 basierend auf dem Vergleich der Fahrzeuggeschwindigkeit V und einer Vielzahl von Schwellenwerten L (L1 bis L3). Insbesondere überprüft der Prozessor 3 (Auswahlzielpuffer-Bestimmungsabschnitt 71) in Schritt S1 von 4, ob ein Fahrer beabsichtigt, das Fahrzeug 9 zu bewegen oder nicht, indem überprüft wird, ob sich die Schaltposition Sp nicht auf Parken befindet. Gemäß den Befehlen des Auswahlzielpuffer-Bestimmungsabschnitts 71 und des Bilddaten-Akquirierungsabschnitts 72, wenn sich die Schaltposition Sp nicht auf Parken (P) befindet, wird in Schritt S2 und den nachfolgenden Schritten die Auswahl der Kameras 8 (Puffer 2) korrespondierend zu der Fahrzeuggeschwindigkeit V durchgeführt.
Im Allgemeinen liegt eine obere Grenze bezüglich der Anzahl an Teilen von Bilddaten vor, auf welchen ein Prozessor eine Bildverarbeitung pro Einheitszeit durchführen kann. Wenn somit die Teile von Bilddaten G der Kameras 8 sequenziell verarbeitet werden, wenn die Anzahl an Kameras 8 (Puffer 2) erhöht wird, dann wird die Anzahl an Teilen von Bilddaten, auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, in jeder der Kameras 8 verringert. Wenn diese Anzahl verringert wird, dann tritt eine längere Verzögerung in der Bildverarbeitung bezüglich der Teile von Bilddaten G auf, welche von jeder der Kameras 8 sequenziell zugeführt sind, und somit wird eine Zeitverzögerung in der Umgebungserkennung durch die Bildverarbeitung der Kameras vergrößert. Wenn allerdings die Fahrzeuggeschwindigkeit V erhöht wird, dann wird die Zeitverzögerung bei der Umgebungserkennung durch die Bildverarbeitung wahrscheinlicher schlimm, wohingegen wenn die Fahrzeuggeschwindigkeit V verringert wird, sich die Zeitverzögerung wahrscheinlicher in einem zulässigen Bereich befinden wird. Anders ausgedrückt, wenn die Fahrzeuggeschwindigkeit V verringert wird, sogar wenn eine höhere Anzahl an Kameras 8 auf das Ziel für die Bildverarbeitung eingestellt sind, dann kann eine Fahrunterstützung für das Fahrzeug 9 in geeigneter Weise durchgeführt werden. Somit werden gemäß dem vorliegenden Ausführungsbeispiel die Puffer 2 gemäß der Fahrzeuggeschwindigkeit V umgeschaltet, und somit wird die Bildverarbeitung auf Bildern durchgeführt, die mit Kameras 8 aufgenommen worden sind, welche eine höhere Priorität gemäß der Fahrunterstützung unter den Kameras 8 aufweisen, die in dem Fahrzeug 9 installiert sind.
Wenn insbesondere beispielsweise das Fahrzeug 9 gestoppt wird, bevor es bewegt wird, oder es sich in einem Zustand befindet (Zustand in welchem ein Fahren gestartet wird), in welchem das Fahrzeug 9 mit einer sehr geringen Geschwindigkeit aufgrund eines Kriechphänomens oder dergleichen bewegt wird, dann kann das Fahrzeug 9 zu verschieden Positionen in Abhängigkeit von einem Lenkwinkel bewegt werden. Somit wird berücksichtigt, dass es mit den Nahfeldkameras 81, welche einen relativ breiten Sichtwinkel aufweisen, um ein Nahfeld oder dergleichen in geeigneter Weise aufnehmen zu können, erforderlich ist, die gesamte Umgebung des vorliegenden Fahrzeugs zu überwachen.
Somit umfassen die Kameras 8 gemäß einigen in 2 gezeigten Ausführungsbeispielen eine oder mehrere der Kameras 8 (in 2 die vier Nahfeldkameras 81) zum Aufnehmen der Umgebung des Fahrzeugs 9. Die vorstehend beschriebenen Schwellenwerte L, welche mit der Fahrzeuggeschwindigkeit V verglichen werden, umfassen den ersten Schwellenwert L1. In diesem Fall kann der Prozessor 3, wie in 4 gezeigt, wenn die Fahrzeuggeschwindigkeit V kleiner als der erste Schwellenwert L1 ist (V < L1), die Puffer 2 auswählen, in welchen die Bilddaten G akkumuliert sind, die mit der einen oder den mehreren der Kameras 8 zum Aufnehmen der gesamten Umgebung des Fahrzeugs aufgenommen worden sind.
Wenn gemäß dem in 4 gezeigten Ausführungsbeispiel in Schritt S2 V < L1 gilt, dann wird in Schritt S3, wie in 5 gezeigt, eine Außenumgebungserkennung durch die Bildverarbeitung auf den Bilddaten G der Nahfeldkameras 81 durchgeführt. Anders ausgedrückt, der Prozessor 3 stellt als das Auswahlziel die vier Puffer 2 (2a bis 2d) ein, in welchen die Bilddaten G akkumuliert sind, die von den vier Nahfeldkameras 81 einzeln eingegeben worden sind. Hier kann beispielsweise, obwohl die Reihenfolge, in welcher die Puffer 2 des Auswahlziels ausgewählt werden, beliebig ist, die Auswahl, wie in 5 gezeigt, durchgeführt werden. Da gemäß dem in 5 gezeigten Ausführungsbeispiel der Prozessor 3 die Bildverarbeitung auf den durch Aufnehmen mit den Nahfeldkameras 81 erhaltenen Bilddaten G in der Reihenfolge einer ersten Nahfeldkamera 81a (die Vorderseite des Fahrzeugs 9), einer zweiten Nahfeldkamera 81b (die rechte Seite des Fahrzeugs 9), einer dritten Nahfeldkamera 81c (die Rückseite des Fahrzeugs 9), und einer vierten Nahfeldkamera 81d (die linke Seite des Fahrzeugs 9) durchführt (s. Schritte S31 bis S34 in 5), werden die Teile von Bilddaten G sequenziell akquiriert, während die Puffer 2 in der Reihenfolge eines ersten Puffers 2a, eines zweiten Puffers 2b, eines dritten Puffers 2c, eines vierten Puffers 2d, des ersten Puffers 2a, ... ausgewählt werden.
Wie in dem in 1 gezeigten Ausführungsbeispiel wird zum Erhalten der gesamten Umgebung die Anzahl an Kameras, die auf das Ziel für die Bildverarbeitung eingestellt sind, wahrscheinlicher erhöht. Wenn somit die Bilder der Kameras 8 sequenziell eines nach dem anderen umgeschaltet werden, und dann die Bildverarbeitung durchgeführt wird, wenn die Anzahl an Kameras 8 erhöht ist, dann wird der Verarbeitungszyklus der Bilddaten G in den einzelnen Kameras 8 (einzelne Puffer 2) verlängert. Da allerdings das Fahrzeug 9 mit einer sehr geringen Geschwindigkeit bewegt wird, kann die Bildverarbeitung auf den mit den einzelnen Kameras 8 aufgenommenen Bildern durchgeführt werden, solange die Bildverarbeitung als die Fahrunterstützung für das Fahrzeug 9 zugelassen (nicht problematisch) ist.
Es wird berücksichtigt, dass sogar wenn die Fahrzeuggeschwindigkeit V gleich oder größer als der erste Schwellenwert L1 ist, beispielsweise in einem Zustand (Niedriggeschwindigkeitsfahrzustand), in welchem das Fahrzeug 9 in einer Lateralrichtung mit Bezug auf die Fahrtrichtung in Abhängigkeit von dem Lenkwinkel schnell bewegt werden kann, es erforderlich ist, die Nahfeldkameras 81 und dergleichen zu verwenden, um ein breites Gebiet in der Fahrtrichtung des vorliegenden Fahrzeugs zu überwachen.
Somit umfassen gemäß einigen anderen Ausführungsbeispielen, wie in 2 gezeigt, die Kameras 8 zumindest die Kameras 8 (in 2 sind die beiden Nahfeldkameras 81 an der Vorder- und der Rückseite des Fahrzeugs 9 installiert) zum einzelnen Aufnehmen eines Gebiets vor dem Fahrzeug 9 und eines Gebiets hinter dem Fahrzeug 9. Die Zustandsinformationen S des Fahrzeugs 9 umfassen ferner die Schaltposition Sp des Getriebes des Fahrzeugs 9. Die vorstehend beschriebenen Schwellenwerte L, welche mit der Fahrzeuggeschwindigkeit V verglichen werden, umfassen den ersten Schwellenwert L1 und den zweiten Schwellenwert L2, welcher größer als der erste Schwellenwert L1 ist. Wenn in diesem Fall, wie in 4 und 6 gezeigt, die Fahrzeuggeschwindigkeit V gleich oder größer als der erste Schwellenwert L1 und kleiner als der zweite Schwellenwert L2 ist (L1 ≤ V < L2), und die Schaltposition Sp eine Vorwärtsbewegung anzeigt, dann kann der Prozessor 3 den Puffer 2 auswählen, in welchem die Bilddaten G akkumuliert sind, die mit der Kamera 8 (in 2 die erste Nahfeldkamera 81a) zum Aufnehmen des Gebiets vor dem Fahrzeug 9 aufgenommen worden sind, wohingegen wenn die Schaltposition Sp eine Rückwärtsbewegung anzeigt, der Prozessor 3 den Puffer 2 auswählen kann, in welchem die Bilddaten G akkumuliert sind, die mit der Kamera 8 (in 2 die dritte Nahfeldkamera 81c) zum Aufnehmen des Gebiets hinter dem Fahrzeug 9 aufgenommen worden sind.
Wenn gemäß dem in 4 gezeigten Ausführungsbeispiel in dem vorstehend beschriebenen Schritt S2 eine Beziehung V < L1 nicht gilt und in dem folgenden Schritt S4 L1 ≤ V < L2 gilt, dann wird in Schritt S5 die Außenumgebungserkennung, welche von der in dem vorstehend beschriebenen Schritt S3 verschieden ist, durch die Bildverarbeitung auf den Bilddaten G der Nahfeldkameras 81 durchgeführt. Wie insbesondere in 6 gezeigt, überprüft der Prozessor 3 (Auswahlzielpuffer-Bestimmungsabschnitt 71) in Schritt S61 die Schaltposition Sp. Dann wird, wenn die Schaltposition Sp die Vorwärtsbewegung anzeigt, in Schritt S62 der erste Puffer 2a, in welchem die Bilddaten G der ersten Nahfeldkamera 81a zum Aufnehmen eines Nahfeldgebiets vor dem Fahrzeug 9 akkumuliert sind, auf das Auswahlziel eingestellt. Wenn im Gegensatz dazu die Schaltposition Sp die Rückwärtsbewegung anzeigt, dann wird in Schritt S63 der dritte Puffer 2c, in welchem die Bilddaten G der dritten Nahfeldkamera 81c zum Aufnehmen eines Nahfeldgebiets hinter dem Fahrzeug 9 akkumuliert sind, auf das Auswahlziel eingestellt.
Im Gegensatz dazu wird in einem Fahrzustand, in welchem die Fahrzeuggeschwindigkeit relativ so hoch ist, dass das Fahrzeug durch Lenken nicht schnell in einer Richtung abbiegen kann, die für eine Rückkopplung zulässige Zeit (z.B. automatisches Bremsen in dem Fahrzeug 9 oder eine Warnung an den Fahrer) von der Umgebungserkennung (die Erfassung einer Person und eines Artikels) durch die Bildverarbeitung zu dem Fahrer des Fahrzeugs 9 oder dergleichen weiter verkürzt. Somit wird berücksichtigt, dass ein entferntes Gebiet von dem Fahrzeug 9 überwacht wird, und dass es somit erforderlich ist, ein Ziel (eine Person und einen Artikel) in einem entfernten Gebiet früher zu erfassen.
Somit umfassen gemäß einigen Ausführungsbeispielen, wie in 2 gezeigt, die Kameras 8: die Fernfeldkameras 82 zum Aufnehmen eines Fernfeldgebiets in der Fahrtrichtung des Fahrzeugs 9; und die Nahfeldkameras 81, welche das Nahfeldgebiet in der Fahrtrichtung des Fahrzeugs 9 aufnehmen, und welche einen breiteren Sichtwinkel als die Fernfeldkameras 82 aufweisen. Die vorstehend beschriebenen Schwellenwerte L, welche mit der Fahrzeuggeschwindigkeit V verglichen werden, umfassen den zweiten Schwellenwert L2. Wie in 4 und 7 gezeigt, kann der Prozessor 3 die Puffer 2 (2e und 2f in 1), in welchen die Bilddaten G akkumuliert sind, die mit den Fernfeldkameras 82 aufgenommen worden sind, auswählen, wenn die Fahrzeuggeschwindigkeit V gleich oder größer als der zweite Schwellenwert L2 ist, wohingegen wenn die Fahrzeuggeschwindigkeit V kleiner als der zweite Schwellenwert L2 ist, der Prozessor 3 die Puffer 2 (2a bis 2d in 1) auswählen kann, in welchen die Bilddaten G akkumuliert sind, die mit den Nahfeldkameras 81 aufgenommen worden sind.
Wenn gemäß dem in 4 gezeigten Ausführungsbeispiel in dem vorstehend beschriebenen Schritt S4 eine Beziehung von V < L2 nicht gilt und in dem folgenden Schritt S6 L2 ≤ V < L3 (oder L2 ≤ V) gilt, dann wird in Schritt S7 die Außenumgebungserkennung durch die Bildverarbeitung auf den Bilddaten G der Fernfeldkameras 82 durchgeführt. Wie insbesondere in 7 gezeigt, überprüft der Prozessor 3 (Auswahlzielpuffer-Bestimmungsabschnitt 71) in Schritt S71 die Schaltposition Sp. Dann stellt der Prozessor 3 (derselbe wie vorstehend beschrieben), wenn die Schaltposition Sp die Vorwärtsbewegung anzeigt, in Schritt S72 den fünften Puffer 2e als das Auswahlziel ein, in welchem die Bilddaten G der ersten Fernfeldkamera 82a zum Aufnehmen des Fernfeldgebiets vor dem Fahrzeug 9 akkumuliert sind. Wenn im Gegensatz dazu die Schaltposition Sp die Rückwärtsbewegung anzeigt, dann stellt der Prozessor 3 in Schritt S73 den sechsten Puffer 2f als das Auswahlziel ein, in welchem die Bilddaten G der zweiten Fernfeldkamera 82b zum Aufnehmen eines Fernfeldgebiets hinter dem Fahrzeug 9 akkumuliert sind.
Gemäß der vorstehend beschriebenen Konfiguration führt der Prozessor 3 basierend auf dem Vergleich der Fahrzeuggeschwindigkeit V und der Schwellenwerte L eine Auswahl durch, indem beispielsweise die Puffer 2 bestimmt werden, welche auf das Ziel für die Bildverarbeitung eingestellt sind. Wie vorstehend beschrieben, werden die Kameras 8 (Puffer 2), welche auf das Ziel für die Bildverarbeitung eingestellt sind, durch die Beziehung zu der Fahrzeuggeschwindigkeit V ausgewählt, und somit kann sogar der Prozessor 3, dessen Verarbeitungsfähigkeit relativ gering ist, die Fahrunterstützung für das Fahrzeug durch die Umgebungserkennung unter Verwendung der Kameras in einer zufriedenstellenden Art und Weise in Echtzeit durchführen.
Gemäß einigen Ausführungsbeispielen können, wie in 8 und 9 gezeigt, die vorstehend beschriebenen Schwellenwerte L, welche mit der Fahrzeuggeschwindigkeit V verglichen werden, einen Umschaltbeginn-Schwellenwert Ls und einen Umschaltbeendigungs-Schwellenwert Le umfassen, bei welchem eine Differenz mit dem Umschaltbeginn-Schwellenwert Ls einen ersten Wert W darstellt. Wenn in diesem Fall die Fahrzeuggeschwindigkeit V zwischen dem Umschaltbeginn-Schwellenwert Ls und dem Umschaltbeendigungs-Schwellenwert Le liegt, dann kann der Prozessor 3 die auszuwählenden Puffer 2 derart umschalten, dass, wenn sich die Fahrzeuggeschwindigkeit V dem Umschaltbeendigungs-Schwellenwert Le von dem Umschaltbeginn-Schwellenwert Ls annähert, eine vorbestimmte Anzahl an Teilen von Bilddaten G, auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit V den Umschaltbeginn-Schwellenwert Ls erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten G ersetzt wird, nachdem die Fahrzeuggeschwindigkeit V den Umschaltbeendigungs-Schwellenwert Le erreicht hat. Anders ausgedrückt, ein Verhältnis der Kamera 8 (in 8 die erste Nahfeldkamera 81a), deren Priorität (Wichtigkeit) hoch ist, wird gemäß der Fahrzeuggeschwindigkeit V graduell erhöht.
Wenn die Kameras 8 (Puffer 2), welche auf das Ziel für die Bildverarbeitung des Prozessors 3 eingestellt sind, bei einem vorbestimmten Schwellenwert L (der erste Schwellenwert L1 oder der zweite Schwellenwert L2) genau umgeschaltet werden, falls beispielsweise die von dem Fahrzeug 9 erhaltene Fahrzeuggeschwindigkeit V einen Fehler umfasst, dann werden geeignete Puffer 2 korrespondierend zu der Fahrzeuggeschwindigkeit V nicht um den Schwellenwert L herum ausgewählt, mit dem Ergebnis, dass die geeignete Umgebungserkennung wahrscheinlich nicht durchgeführt wird. Somit werden gemäß dem vorliegenden Ausführungsbeispiel die Puffer 2, welche auf das Auswahlziel eingestellt sind, graduell umgeschaltet.
Da hier der Prozessor 3 die Bildverarbeitung auf der vorbestimmten Anzahl an Teilen von Bilddaten G pro Einheitszeit durchführt, wird die vorbestimmte Anzahl an Teilen von Bilddaten G mit Bilddaten G ausgebildet, die von einem oder mehreren Puffern 2 des Auswahlziels akquiriert sind. Der Umschaltbeginn-Schwellenwert Ls ist der Schwellenwert L, welcher eine Möglichkeit bietet, einen Teil der Puffer 2, die die vorbestimmten Teile von Bilddaten G akquirieren, zu einem des einen oder der mehreren Puffer 2, die durch den Prozessor 3 ausgewählt sind, umzuschalten, wenn die Fahrzeuggeschwindigkeit V den Umschaltbeendigungs-Schwellenwert Le erreicht. Der Umschaltbeendigungs-Schwellenwert Le ist beispielsweise der erste Schwellenwert L1 oder der zweite Schwellenwert L2, die vorstehend beschrieben sind, und der Umschaltbeginn-Schwellenwert Ls ist ein Wert, der durch Erhöhen oder Verringern des Umschaltbeendigungs-Schwellenwert Le lediglich um den ersten Wert W erhalten ist. Wenn insbesondere beispielweise der Umschaltbeendigungs-Schwellenwert Le der vorstehend beschriebene erste Schwellenwert L1 ist, dann beträgt der Umschaltbeginn-Schwellenwert Ls Le+W (wobei Le+W < L2) oder Le-W. Wenn beispielsweise der Umschaltbeendigungs-Schwellenwert Le der vorstehend beschriebene zweite Schwellenwert L2 ist, dann beträgt der Umschaltbeginn-Schwellenwert Ls Le+W oder Le-W (wobei Le-W > L1). Zwischen dem Umschaltbeginn-Schwellenwert Ls und dem Umschaltbeendigungs-Schwellenwert Le kann ferner, wie in 8 und 9 gezeigt, einer oder mehrere Schwellenwerte (schrittweiser Schwellenwert Lm) vorgesehen sein, sodass das vorstehend beschriebene Umschalten eher Schrittweise durchgeführt wird.
Gemäß dem in 8 gezeigten Ausführungsbeispiel ist der Umschaltbeendigungs-Schwellenwert Le der vorstehend beschriebene erste Schwellenwert L1, und der Umschaltbeginn-Schwellenwert Ls ist ein Wert, der durch Verringern des ersten Schwellenwerts L1 lediglich um den ersten Wert W erhalten ist (Ls=Le-W). Wenn in diesem Fall gemäß dem in 1 bis 3 gezeigten Ausführungsbeispiel die Fahrzeuggeschwindigkeit V kleiner als der erste Schwellenwert L1 (Le) ist, dann wählt der Prozessor 3 die vier Puffer 2 (2a bis 2d) korrespondierend zu den vier Nahfeldkameras 81 (s. 5) sequenziell aus, wohingegen wenn die Fahrzeuggeschwindigkeit V gleich oder größer als der erste Schwellenwert L1 ist, der Prozessor 3 lediglich den ersten Puffer 2a korrespondierend zu der ersten Nahfeldkamera 81a auswählt, welche das Gebiet vor dem Fahrzeug 9 aufnimmt (s. 6).
Wenn somit in einem Fall, in welchem die Schaltposition Sp die Vorwärtsbewegung anzeigt und die Fahrzeuggeschwindigkeit V von Null sequenziell erhöht wird, die Fahrzeuggeschwindigkeit V kleiner als der Umschaltbeginn-Schwellenwert Ls ist (V < Ls), dann wählt der Prozessor 3 (Bilddaten-Akquirierungsabschnitt 72) den ersten Puffer 2a, den zweiten Puffer 2b, den dritten Puffer 2c und den vierten Puffer 2d sequenziell aus, kehrt danach zu dem ersten Puffer 2a erneut zurück, und führt wiederholt die Auswahl in derselben Reihenfolge durch. Wenn danach die Fahrzeuggeschwindigkeit V den Umschaltbeginn-Schwellenwert Ls erreicht, dann ersetzt der Prozessor 3 (derselbe wie vorstehend beschrieben) zumindest einen des zweiten Puffers 2b, des dritten Puffers 2c und des vierten Puffers 2d unter den Puffern 2 (2a bis 2d), welche bislang in dem Auswahlziel enthalten sind, mit dem ersten Puffer 2a.
Wenn hier die Fahrzeuggeschwindigkeit V, wie in 8 gezeigt, den Umschaltbeginn-Schwellenwert Ls erreicht, dann kann der Prozessor 3 die Kamera 8 (in 8 die erste Nahfeldkamera 81a zum Aufnehmen des vorausliegendes Gebiets) korrespondierend zu dem Puffer 2 (in 8 lediglich der erste Puffer 2a), welcher ausgewählt werden muss, wenn die Fahrzeuggeschwindigkeit V den Umschaltbeendigungs-Schwellenwert Le erreicht, und den Puffer 2 (in 8 der dritte Puffer 2c) korrespondierend zu der Kamera 8 (in 8 die dritte Nahfeldkamera 81c zum Aufnehmen des zurückliegendes Gebiets), welche am wenigsten mit der Aufnahmerichtung verknüpft ist, umschalten.
Gemäß dem in 8 gezeigten Ausführungsbeispiel schaltet der Prozessor 3 den dritten Puffer 2c korrespondierend zu der dritten Nahfeldkamera 81c zum Aufnehmen des Gebiets hinter dem Fahrzeug 9 zu dem ersten Puffer 2a um. Anders ausgedrückt, wenn die Fahrzeuggeschwindigkeit V den Umschaltbeendigungs-Schwellenwert Le (erster Schwellenwert L1) erreicht, da ein Zustand, in welchem die Bilddaten G in den vier Richtungen der Vorderseite, der Rückseite, der linken Seite und der rechten Seite des Fahrzeugs 9 bislang auf das Ziel für die Bildverarbeitung eingestellt worden sind, zu einem Zustand geändert worden ist, in welchem lediglich das vorausliegende Gebiet überwacht wird, und somit die Rückwärtsrichtung entgegengesetzt zu der Vorwärtsrichtung ist, dann sind die Bilddaten G in der Rückwärtsrichtung die am wenigsten Wichtigen unter der linken Seite, der rechten Seite und der Rückseite des Fahrzeugs 9. Wenn somit die Fahrzeuggeschwindigkeit V den Umschaltbeginn-Schwellenwert Ls erreicht, dann schaltet der Prozessor 3 den dritten Puffer 2c um.
Gemäß dem in 8 gezeigten Ausführungsbeispiel ist der schrittweise Schwellenwert Lm zwischen dem Umschaltbeginn-Schwellenwert Ls und dem Umschaltbeendigungs-Schwellenwert Le vorgesehen, und wenn die Fahrzeuggeschwindigkeit V von dem Umschaltbeginn-Schwellenwert Ls erhöht wird, um den schrittweise Schwellenwert Lm zu erreichen (V = Lm), dann wird der zweite Puffer 2b korrespondierend zu der zweiten Nahfeldkamera 81b zum Aufnehmen eines Gebiets an der rechten Seite des Fahrzeugs 9 zu dem ersten Puffer 2a umgeschaltet. Dann schaltet der Prozessor 3, wenn die Fahrzeuggeschwindigkeit V weiter erhöht wird, um den Umschaltbeendigungs-Schwellenwert Le zu erreichen (V = Le), den vierten Puffer 2d korrespondierend zu der vierten Nahfeldkamera 81d zum Aufnehmen eines Gebiets an der linken Seite des Fahrzeugs 9 zu dem ersten Puffer 2a um. Auf diese Weise stellt der Prozessor 3 bei dem ersten Schwellenwert L1 den ersten Puffer 2a korrespondierend zu der ersten Nahfeldkamera 81a auf das Auswahlziel ein, um die Bildverarbeitung durchzuführen. Somit wird das Verhältnis der Kamera 8 (in 8 die erste Nahfeldkamera 81a), deren Wichtigkeit hoch ist, gemäß der Fahrzeuggeschwindigkeit V graduell erhöht.
Andererseits ist der Umschaltbeendigungs-Schwellenwert Le gemäß dem in 9 gezeigten Ausführungsbeispiel der vorstehend beschriebene zweite Schwellenwert L2, und der Umschaltbeginn-Schwellenwert Ls ist ein Wert, der durch Verringern des zweiten Schwellenwerts L2 lediglich um den ersten Wert W erhalten ist (Ls=Le-W). In diesem Fall wählt der Prozessor 3 gemäß dem in 1 bis 3 gezeigten Ausführungsbeispiel, wie vorstehend beschrieben, wenn die Fahrzeuggeschwindigkeit V gleich oder größer als der erste Schwellenwert L1 und kleiner als der zweite Schwellenwert L2 ist, lediglich den ersten Puffer 2a korrespondierend zu der ersten Nahfeldkamera 81a zum Aufnehmen des Gebiets vor dem Fahrzeug 9 aus (s. 6), wohingegen wenn die Fahrzeuggeschwindigkeit V gleich oder größer als der zweite Schwellenwert L2 ist, der Prozessor 3 lediglich den fünften Puffer 2e korrespondierend zu der ersten Fernfeldkamera 82a zum Aufnehmen des Gebiets vor dem Fahrzeug 9 auswählt (s. 7).
Somit wählt der Prozessor 3 lediglich den ersten Puffer 2a aus, in einem Fall, in welchem die Schaltposition Sp die Vorwärtsbewegung anzeigt und die Fahrzeuggeschwindigkeit V von dem ersten Schwellenwert L1 sequenziell erhöht wird, wenn die Fahrzeuggeschwindigkeit V kleiner als der Umschaltbeginn-Schwellenwert Ls ist (V < Ls). Danach umfasst (addiert) der Prozessor 3 den fünften Puffer 2e in das gegenwärtige Auswahlziel und verringert die Auswahlfrequenz des ersten Puffers 2e, welcher das gegenwärtige Auswahlziel darstellt, wenn die Fahrzeuggeschwindigkeit V den Umschaltbeginn-Schwellenwert Ls erreicht. Gemäß dem in 9 gezeigten Ausführungsbeispiel wird unter drei kontinuierlichen Teilen von Bilddaten G, auf welchen die Bildverarbeitung durchgeführt wird, der erste Puffer 2a des letzten Teils von Bilddaten G mit dem fünften Puffer 2e ersetzt, und somit wird die Auswahlfrequenz des ersten Puffers 2a verringert. Wenn außerdem die Fahrzeuggeschwindigkeit V so erhöht wird, dass der schrittweise Schwellenwert Lm erreicht wird, dann werden die letzten beiden Teile unter den drei kontinuierlichen Teilen von Bilddaten G mit dem fünften Puffer 2e ersetzt. Wenn außerdem die Fahrzeuggeschwindigkeit V erhöht wird, um den Umschaltbeendigungs-Schwellenwert Le zu erreichen, dann wird lediglich der fünfte Puffer 2e ausgewählt. Auf diese Weise wird ein Verhältnis der Kamera 8 (in 9 die erste Fernfeldkamera 82a), deren Wichtigkeit hoch ist, gemäß der Fahrzeuggeschwindigkeit V graduell erhöht.
Obwohl gemäß der vorstehenden Diskussion der Fall beschrieben worden ist, in welchem die Fahrzeuggeschwindigkeit V erhöht ist, gilt dasselbe für einen Fall, in welchem, wenn die Fahrzeuggeschwindigkeit V verringert ist, die Fahrzeuggeschwindigkeit V durch den Umschaltbeginn-Schwellenwert Ls, den schrittweise Schwellenwert Lm und den Umschaltbeendigungs-Schwellenwert Le in dieser Reihenfolge verläuft.
Gemäß der vorstehend beschriebenen Konfiguration werden die Kameras 8 (Puffer 2), welche auf das Ziel für die Bildverarbeitung des Prozessor 3 eingestellt sind, von der vorhergehenden Stufe graduell umgeschaltet, um mit den vorbestimmten Schwellenwerten L vollständig umgeschaltet zu werden (wie etwa der erste Schwellenwert L1 und der zweite Schwellenwert L2, die vorstehend beschrieben sind). Auf diese Weise kann, sogar wenn die von dem Fahrzeug 9 erhaltene Fahrzeuggeschwindigkeit V einen Fehler aufweist, die Außenumgebungserkennung bezüglich des Fahrzeugs 9 in geeigneter Weise durchgeführt werden.
Gemäß einigen Ausführungsbeispielen kann die Bildverarbeitungsvorrichtung 1 ferner einen Eigenschaftsinformations-Akquirierungsabschnitt 74 (Akquirierungsabschnitt) umfassen, welcher Eigenschaftsinformationen akquiriert, die eine Anweisung für die Überwachungsrichtung an einem spezifischen Ort umfassen, und der Prozessor 3 wählt den Puffer 2 basierend auf den Eigenschaftsinformationen aus. In dem Fahrzeug 9, welches sich an verschiedenen Orten fortbewegt, liegt ein Ort (spezifischer Ort) vor, an welchem die spezifische Richtung vorzugsweise in einer fokussierten Weise als die Fahrunterstützung überwacht wird, und es liegt beispielsweise ein Ort vor, an welchem Unfälle häufig auftreten, bei welchen eine Person aus der rechten Richtung hervorspringt. Somit akquiriert die Bildverarbeitungsvorrichtung 1 die vorstehend beschriebenen Eigenschaftsinformationen, um in dem Auswahlziel den Puffer 2 korrespondierend zu der Kamera 8 zum Aufnehmen eines Gebiets in der durch die Eigenschaftsinformationen angezeigten Überwachungsrichtung zu umfassen. Hier kann die Auswahlfrequenz des Puffers 2 korrespondierend zu der Kamera 8 zum Aufnehmen des Gebiets in der durch die Eigenschaftsinformationen angezeigten Überwachungsrichtung auch über die der in dem Auswahlziel enthaltenen anderen Puffer 2 erhöht werden.
Insbesondere kann die Bildverarbeitungsvorrichtung 1 (Bildverarbeitungsprogramm) ferner, wie in 3 gezeigt, zusätzlich zu dem vorstehend beschriebenen Eigenschaftsinformations-Akquirierungsabschnitt 74 einen Positionsakquirierungsabschnitt 75 umfassen, welcher die Fahrtposition des Fahrzeugs 9 akquiriert. Gemäß dem in 3 gezeigten Ausführungsbeispiel korrespondieren die vorstehend beschriebenen Eigenschaftsinformationen zu dem spezifischen Ort, und wenn die Fahrtposition des Fahrzeugs 9 den spezifischen Ort korrespondierend zu den Eigenschaftsinformationen erreicht, dann ist der Puffer 2 korrespondierend zu der Kamera 8 zum Aufnehmen des Gebiets in der durch die Eigenschaftsinformationen angezeigten Überwachungsrichtung in dem Auswahlziel enthalten. Der Eigenschaftsinformations-Akquirierungsabschnitt 74 und der Positionsakquirierungsabschnitt 75 können durch den Betrieb des Prozessors 3 gemäß dem Befehl des Bildverarbeitungsprogramms realisiert werden, oder sie können unter Verwendung von Hardware realisiert werden. Gemäß dem in 3 gezeigten Ausführungsbeispiel wird die Anweisung für die Überwachungsrichtung in den Auswahlzielpuffer-Bestimmungsabschnitt 71 eingegeben, und somit ist der Puffer 2 korrespondierend zu der Kamera 8 zum Aufnehmen des Gebiets in der Überwachungsrichtung in dem Auswahlziel enthalten.
Die Fahrtposition des Fahrzeugs 9 kann durch eine Eigenpositionserkennungstechnologie akquiriert werden, wie etwa GPS („Global Positioning System“) oder SLAM („Simultaneous Localization and Mapping“), oder die Fahrtposition (Positionsinformationen) kann von außen durch Kommunikation mit einer in einer Straße installierten Bakenstation, eine Kommunikation mit einer Basisstation in einem mobilen Kommunikationsnetzwerk, oder eine Kommunikation mit der Außenseite unter Verwendung einer drahtlosen Kommunikationstechnologie, wie etwa eine Nahfeldkommunikation unter Verwendung von RFID („Radio Frequency IDentification“) akquiriert werden. Der spezifische Ort und die Eigenschaftsinformationen sind im Voraus in der Datenbank gespeichert, und die Informationen derselben können akquiriert werden, indem eine Kommunikation mit der Außenseite nach Bedarf durchgeführt wird, oder die Bildverarbeitungsvorrichtung 1 kann diese Datenbank speichern. Alternativ kann in der Bildverarbeitungsvorrichtung 1 eine Vorrichtung, wie etwa eine Bakenstation, in der Nähe des spezifischen Orts installiert sein, und der Puffer 2 korrespondierend zu der Kamera 8, welche, wenn eine Kommunikation von der Vorrichtung, wie etwa eine Bakenstation, empfangen ist, basierend auf den Informationen der in den Eigenschaftsinformationen enthaltenen Überwachungsrichtung, die durch diese Kommunikation erhalten sind, ein Gebiet in der Richtung derselben aufnimmt, kann in dem Auswahlziel enthalten sein.
Gemäß der vorstehend beschriebenen Konfiguration stellt der Prozessor 3 die Bilddaten G der Kamera 8 zum Aufnehmen des Gebiets in der durch die Eigenschaftsinformationen angezeigten Überwachungsrichtung auf das Ziel für die Bildverarbeitung ein. Obwohl es in dem Fahrzeug 9, welches an verschiedenen Orten fährt, erforderlich sein kann, die spezifische Richtung in einer fokussierten Art und Weise zu überwachen, wie etwa ein Ort, an welchem häufig Unfälle auftreten, werden die Kameras 8, welche auf das Ziel für die Bildverarbeitung eingestellt sind, basierend auf den Eigenschaftsinformationen umgeschaltet, und somit kann die Fahrunterstützung durchgeführt werden, was sicherer ist.
Wenn gemäß einigen Ausführungsbeispielen beispielsweise das Fahrzeug 9 ein Nutzfahrzeug ist, dann umfassen die Zustandsinformationen S des Fahrzeugs 9 die Fahrzeuggeschwindigkeit V und einen Lenkwinkel A, und der Prozessor 3 kann basierend auf den Zustandsinformationen S bestimmen, ob das Abbiegen des Fahrzeugs 9 ein Abbiegen nach rechts oder ein Abbiegen nach links ist. Dann kann der Prozessor 3, wenn das Fahrzeug 9 nach rechts abbiegt, den Puffer 2 auswählen, in welchem die Bilddaten G akkumuliert sind, die durch Aufnehmen von zumindest einem Gebiet auf der rechten Seite in der Vorwärtsrichtung und einem Gebiet auf der linken Seite in der Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten sind, wohingegen das Fahrzeug 9 nach links abbiegt, der Prozessor den Puffer 2 auswählen kann, in welchem die Bilddaten G akkumuliert sind, die durch Aufnehmen von zumindest einem Gebiet auf der linken Seite in der Vorwärtsrichtung und einem Gebiet auf der rechten Seite in der Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten sind.
Da beispielsweise, wie in 10 gezeigt, ein Nutzfahrzeug, wie etwa ein Gabelstapler einen kurzen Radstand und einen großen Lenkwinkel aufweist, ist es erforderlich, auf die laterale Richtung im Vergleich zu der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung in ausreichendem Maße aufzupassen, wenn ein Fahren in einem Zustand gestartet wird, in welchem ein Lenkrad betätigt wird. Insbesondere ist es erforderlich, nicht nur die rechte Seite in der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung, sondern auch die linke Seite in der Rückwärtsrichtung mit Bezug dazu zum Zeitpunkt eines Abbiegens nach rechts, und nicht nur die linke Seite in der Vorwärtsrichtung mit Bezug auf die Fahrtrichtung, sondern auch die rechte Seite in der Rückwärtsrichtung mit Bezug dazu zum Zeitpunkt eines Abbiegens nach links simultan zu überwachen.
Wenn allerdings, wie vorstehend beschrieben, die durch Aufnehmen eines Gebiets an der Seite der Richtung, die zu der Fahrtrichtung entgegengesetzt ist, erhaltenen Bilddaten G auch auf das Ziel für die Bildverarbeitung eingestellt sind, wird die Anzahl an Kameras 8, bezüglich welchen der Prozessor 3 die Bildverarbeitung durchführt, einfach erhöht, und somit werden die Auswahlfrequenzen der in dem Auswahlziel enthaltenen Puffer 2 verringert (der Auswahlzyklus wird verlängert).
Somit umfassen gemäß einigen Ausführungsbeispielen, wie in 10 und 11 gezeigt, die Kameras 8 eine rechtsseitige Aufnahmekamera (in 2 die zweite Nahfeldkamera 81b) zum Aufnehmen des Gebiets an der rechten Seite des Fahrzeugs 9 und eine linksseitige Aufnahmekamera (in 2 die vierte Nahfeldkamera 81d) zum Aufnehmen des Gebiets an der linken Seite desselben. Der Prozessor 3 wird gemäß dem Befehl des Bildverarbeitungsprogramms für den Bildverarbeitungsabschnitt 73 betrieben, und somit kann die Bildverarbeitung zum Zeitpunkt eines Abbiegens nach rechts auf dem Gebiet (Teilgebiet Gp, in 10 die linke Hälfte der Bilddaten G) eines Teils der linken Seite der Bilddaten G durchgeführt werden, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera, die vorstehend beschrieben sind, einzeln aufgenommen sind, wohingegen zum Zeitpunkt eines Abbiegens nach links die Bildverarbeitung auf dem Teilgebiet Gp (in 10 die rechte Hälfte der Bilddaten G) der rechten Seite der Bilddaten G durchgeführt werden kann, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera, die vorstehend beschrieben sind, einzeln aufgenommen sind. Auf diese Weise kann die Fahrunterstützung, was sicherer ist, auf eine zufriedenstellende Art und Weise durchgeführt werden.
11 korrespondiert zu einem Übergang von Schritt S2 zu Schritt S3 in 4, und wenn in Schritt S2 von 4 die Fahrzeuggeschwindigkeit V kleiner als der vorstehend beschriebene erste Schwellenwert L1 ist (V < L1), dann wird in Schritt S21 von 11 der Lenkwinkel A überprüft, und wenn der Lenkwinkel A gleich oder kleiner als ein Lenkwinkelschwellenwert At ist (A ≤ At), dann fährt der Prozess zu Schritt S3 von 4, wie bereits beschrieben, fort. Im Gegensatz dazu, wenn in Schritt S21 von 11 der Lenkwinkel A größer als der Lenkwinkelschwellenwert At ist (A > At), dann wird in Schritt S22 der Lenkwinkel A überprüft. Dann wird, wenn der Lenkwinkel A ein Abbiegen nach rechts anzeigt, in Schritt S23 die Bildverarbeitung auf dem Gebiet der linken Hälfte der Bilddaten G durchgeführt, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera, die vorstehend beschrieben sind, einzeln aufgenommen sind. Wenn im Gegensatz dazu der Lenkwinkel A ein Abbiegen nach links anzeigt, dann wird in Schritt S24 die Bildverarbeitung auf dem Gebiet der rechten Hälfte der Bilddaten G durchgeführt, die mit der rechtsseitigen Aufnahmekamera und der linksseitigen Aufnahmekamera, die vorstehend beschrieben sind, einzeln aufgenommen sind.
Gemäß der vorstehend beschriebenen Konfiguration bestimmt der Prozessor 3 die Abbiegungsrichtung basierend auf der Fahrzeuggeschwindigkeit V und dem Lenkwinkel A, und wählt basierend auf dem Bestimmungsergebnis die Kameras 8 aus, welche auf das Ziel für die Bildverarbeitung eingestellt sind. Wie vorstehend beschrieben, sind gemäß der Abbiegungsrichtung (Lenkwinkel) des Fahrzeugs die Bilddaten G von nicht nur einer Seite, wie etwa der rechten Seite, sondern auch der entgegengesetzten Seite (linke Seite) auf das Ziel für die Bildverarbeitung eingestellt, und somit wird zum Zeitpunkt eines lateralen Abbiegens, während auf die Richtung entgegengesetzt zu der Fahrtrichtung ebenfalls aufgepasst wird, beispielsweise die Erfassung von einer Person und einem Artikel mit dem Ergebnis durchgeführt, dass die Fahrunterstützung durchgeführt werden kann, was sicherer ist.
Im Folgenden wird mit Bezug auf 12 und 13 ein anderes Ausführungsbeispiel beschrieben. 12 ist ein Diagramm, das einen Fahrweg in den Bilddaten G zeigt, welche auf das Ziel für die Bildverarbeitung gemäß dem Ausführungsbeispiel der vorliegenden Erfindung eingestellt sind. 13 ist ein Diagramm zum Darstellen eines Falls, in welchem die Fahrzeugbildverarbeitungsvorrichtung 1 gemäß dem Ausführungsbeispiel der vorliegenden Erfindung den von hinten beleuchteten Zustand des Fahrzeugs 9 bestimmt.
Gemäß einigen Ausführungsbeispielen umfassen die vorstehend beschriebenen Zustandsinformationen S des Fahrzeugs 9 den Lenkwinkel A und die Schaltposition Sp. Wie in 12 gezeigt, wird der Prozessor 3 gemäß dem Befehl des Bildverarbeitungsprogramms für den Bildverarbeitungsabschnitt 73 betrieben, um die Bildverarbeitung auf dem Gebiet (Teilgebiet Gp) eines Teils durchzuführen, der in den Bilddaten G enthalten ist, die von den Puffern 2 basierend auf dem Lenkwinkel A und der Schaltposition Sp akquiriert sind. Obwohl in einem in 12 gezeigten Kamerabild ein Horizont h in einem entfernten Gebiet gezeigt wird und eine Straße r in der Richtung nach rechts gekrümmt ist, wenn das Fahrzeug 9 entlang der Straße r fährt, wird berücksichtigt, dass die Notwendigkeit, eine automatische Erfassungsverarbeitung auf den von dem Fahrweg verschiedenen Gebieten durchzuführen, nicht hoch ist. Wie vorstehend beschrieben, wird die Bildverarbeitung auf lediglich dem Teilgebiet Gp der Bilddaten G durchgeführt, und somit kann die Informationsmenge von jedem Teil von Bilddaten G, auf welchen die Bildverarbeitung durchgeführt wird, mit dem Ergebnis verringert werden, dass die Leistungszeit der Bildverarbeitung auf einem Teil von Bilddaten G verringert wird.
Beispielsweise kann gemäß einigen Ausführungsbeispielen, wie in 12 gezeigt, der Weg, auf welchem das Fahrzeug 9 fährt, basierend auf dem Lenkwinkel A und der Schaltposition Sp geschätzt werden, und das Teilgebiet Gp der Bilddaten G kann basierend auf dem Schätzergebnis bestimmt werden. Gemäß dem in 12 gezeigten Ausführungsbeispiel führt der Prozessor 3 die Bildverarbeitung auf dem geschätzten Fahrweg durch, und er führt beispielsweise die automatische Erfassungsverarbeitung lediglich auf dem geschätzten Fahrweg durch. Wenn beispielsweise die Schwellenwert L, welche mit der vorstehend beschriebenen Fahrzeuggeschwindigkeit V verglichen werden, den dritten Schwellenwert L3 umfassen, und die Fahrzeuggeschwindigkeit V, wie in 4 gezeigt, gleich oder größer als der dritte Schwellenwert L3 ist, dann kann der Prozessor 3 basierend auf dem Ergebnis einer Vorhersage des Fahrwegs basierend auf dem Lenkwinkel A und der Schaltposition Sp die Bildverarbeitung auf dem Teilgebiet Gp durchführen, das in den von den Puffern 2 akquirierten Bilddaten G enthalten ist. Obwohl die Vorhersage des Fahrwegs durch ein bekanntes Verfahren durchgeführt werden kann, kann die Vorhersage des Fahrwegs unter Berücksichtigung der Größe des vorliegenden Fahrzeugs, der Position, an welcher die Kamera 8 angebracht ist, des Winkels (optischer Achsenwinkel), mit welchem die Kamera 8 angebracht ist, und der internen Parameter der Kamera 8 durchgeführt werden. Wenn auf diese Weise beispielsweise die Fahrzeuggeschwindigkeit V den zweiten Schwellenwert 12 überschreitet und ferner erhöht wird, dann wird die Anzahl an Kameras 8, welche auf das Ziel für die Bildverarbeitung eingestellt sind, eingeschränkt, und außerdem wird das Gebiet von jedem Teil von akquirierten Bilddaten G, auf welchen die Bildverarbeitung durchgeführt wird, mit dem Ergebnis verringert, dass die Anzahl an Teilen von Bilddaten G, auf welchen der Prozessor 3 die Bildverarbeitung pro Einheitszeit durchführen kann, erhöht wird, und dass somit die Umgebungserkennung in Echtzeit durchgeführt werden kann.
Gemäß einigen anderen Ausführungsbeispielen werden beispielsweise die Gebiete eines oberen Abschnitts und eines Teils der linken und rechten Seite der Bilddaten G, welche gemäß der Fahrzeuggeschwindigkeit V und dem Lenkwinkel A bestimmt sind, aus dem Ziel der Bildverarbeitung entfernt, und somit kann basierend auf der Fahrzeuggeschwindigkeit V, dem Lenkwinkel A und der Schaltposition Sp das Teilgebiet Gp der Bilddaten G bestimmt werden, auf welchem die Bildverarbeitung durchgeführt werden soll. Es ist beispielsweise in 12 aus dem Lenkwinkel A ersichtlich, dass das Fahrzeug 9 fährt, um nach rechts abzubiegen, und somit können unter Berücksichtigung der Fahrzeuggeschwindigkeit V Gebiete eines oberen Abschnitts und einer linken Seite des aufgenommenen Bildes von dem Ziel für die Bildverarbeitung entfernt werden.
Gemäß der vorstehend beschriebenen Konfiguration wird basierend auf dem Lenkwinkel A und der Schaltposition Sp ein Teil von jedem Teil von Bilddaten G extrahiert, um auf das Ziel für die Bildverarbeitung eingestellt zu sein. Auf diese Weise kann in jedem Teil von Bilddaten G auf die Bildverarbeitung auf dem Teilgebiet, welches den Fahrweg des Fahrzeugs nicht umfasst, der basierend auf dem Lenkwinkel A und der Schaltposition Sp vorhergesagt ist, verzichtet werden. Somit kann die Last der Bildverarbeitung auf jedem Teil von Bilddaten G verringert werden, und somit kann die Anzahl an Teilen von Bilddaten G, auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt werden kann, erhöht werden. Folglich kann mit einer Leistungszeit zurechtgekommen werden, welche bei einer hohen Fahrzeuggeschwindigkeit V oder dergleichen erforderlich ist.
Gemäß einigen Ausführungsbeispielen, wie in 13 gezeigt, umfassen die Kameras 8 eine erste Kamera 8a zum Aufnehmen eines Gebiets in einer Richtung des Fahrzeugs 9 und eine zweite Kamera 8b zum Aufnehmen eines Gebiets in einer von der einen Richtung verschiedenen Richtung. Wie in 3 gezeigt, kann die Bildverarbeitungsvorrichtung 1 ferner einen Einstellungsabschnitt 76 umfassen, welcher basierend auf der Helligkeit der Bilddaten G, die mit der ersten Kamera 8a und der zweiten Kamera 8b, die vorstehend beschrieben sind, einzeln aufgenommen sind, Aufnahmeparameter für jede der Kameras 8 einstellt. Der vorstehend beschriebene Prozessor 3 kann gemäß dem Befehl des Bildverarbeitungsprogramms derart betrieben werden, dass der Einstellungsabschnitt 76 realisiert wird, oder der Einstellungsabschnitt 76 kann unter Verwendung eines anderen Typs einer Hardware realisiert werden. Gemäß dem in 13 gezeigten Ausführungsbeispiel ist die erste Kamera 8a die erste Fernfeldkamera 82a, und die zweite Kamera 8b ist die zweite Fernfeldkamera 82b, welche ein Gebiet in einer Richtung aufnimmt, die der mit der ersten Kamera 8a aufgenommenen einen Richtung entgegengesetzt ist. Allerdings ist die vorliegende Erfindung auf das vorliegende Ausführungsbeispiel nicht beschränkt. Gemäß einigen anderen Ausführungsbeispielen müssen die erste Kamera 8a und die zweite Kamera 8b nicht von demselben Typ sein, solange die Aufnahmerichtungen zwischen der ersten Kamera 8a und der zweiten Kamera 8b verschieden sind, und beispielsweise ist die erste Kamera 8a die Fernfeldkamera 82, und die zweite Kamera 8b ist die Nahfeldkamera.
Da die gesamte Umgebung des Fahrzeugs 9, wie vorstehend beschrieben, mit den Kameras 8 in einem Außengebiet in Abhängigkeit von einer Positionsbeziehung mit dem Sonnenlicht aufgenommen wird, werden einige Kameras 8 von hinten beleuchtet, und einige Kameras 8 werden von vorne beleuchtet, und wenn die Aufnahmeparameter für alle Kameras gleich sind, dann liegt wahrscheinlich eine Kamera vor, welche Bilder von geeigneter Bildqualität (z.B. Helligkeit) nicht erhalten kann. Somit sind gemäß dem vorliegenden Ausführungsbeispiel beispielsweise jedes Mal Kameras 8, die von den Kameras 8 verschieden sind, welche auf das Ziel für die Bildverarbeitung eingestellt sind, zeitweise in dem Auswahlziel enthalten, die Helligkeit der Bilddaten G wird derart bewertet, dass eine Außenumgebung bezüglich Licht und dergleichen geschätzt wird, und somit werden die Aufnahmeparameter für die Kameras 8 nach Bedarf automatisch mit dem Ergebnis eingestellt, dass in irgendeiner Umgebung die Bilddaten G einer geeigneter Bildqualität von den einzelnen Kameras 8 erhalten werden können.
Wenn insbesondere gemäß dem vorstehend beschriebenen Ausführungsbeispiel die Fahrzeuggeschwindigkeit V gleich oder größer als der erste Schwellenwert L1 ist, dann wird die Umgebungserkennung lediglich mit der Kamera 8 (die erste Nahfeldkamera 81a oder die erste Fernfeldkamera 82a) zum Aufnehmen des Gebiets in der Fahrtrichtung durchgeführt, und beispielsweise ist diese Kamera 8 die vorstehend beschriebene erste Kamera 8a. Hier akquiriert der Prozessor 3 die mit der Kamera 8 (die dritte Nahfeldkamera 81c oder die zweite Fernfeldkamera 82b) zum aufnehmen des Gebiets in der Richtung, die der Fahrtrichtung oder dergleichen entgegengesetzt ist, aufgenommenen Bilddaten G zyklisch (z.B. einmal alle 10 Sekunden). Beispielsweise ist diese Kamera 8 die vorstehend beschriebene zweite Kamera 8b. Dann wird die Helligkeit der Bilddaten G von jeder der ersten Kamera 8a und der zweiten Kamera 8b bewertet.
Danach können beispielsweise die Durchschnittshelligkeit (erste Durchschnittshelligkeit I1) von einer Vielzahl von Teilen von Bilddaten G, die lediglich mit Bildern ausgebildet sind, die mit der ersten Kamera 8a aufgenommen sind, und die Durchschnittshelligkeit (zweite Durchschnittshelligkeit 12) einer Vielzahl von Teilen von Bilddaten G, die mit Bildern ausgebildet sind, die mit der ersten Kamera 8a und der zweiten Kamera 8b aufgenommen sind, einzeln bewertet werden. Beispielsweise kann unter Teilen von Bilddaten G, die kontinuierlich mit der Zeit akquiriert sind, die zweite Durchschnittshelligkeit 12 einer Vielzahl von kontinuierlichen Teilen von Bilddaten G, welche die Bilddaten G enthalten, die durch Aufnehmen des Gebiets der Richtung erhalten sind, die zu der Fahrtrichtung entgegengesetzt ist, bewertet werden, und es kann die erste Durchschnittshelligkeit I1 einer Vielzahl von kontinuierlichen Teilen von Bilddaten G, welche die Bilddaten G in der entgegengesetzten Richtung nicht enthalten, bewertet werden. Dann, wenn I1 < 12, wird bestimmt, dass die Kamera 8 zum Aufnehmen des Gebiets in der Fahrtrichtung zu diesem Zeitpunkt in dem von hinten beleuchteten Zustand ist, und somit wird die Einstellung der Aufnahmeparameter für die erste Kamera 8a derart geändert, dass beispielsweise die durch die Kameras 8 in dem von hinten beleuchteten Zustand erzeugten Bilddaten G hell gemacht werden, und dass somit eine geeignete Aufnahme durchgeführt werden kann. Im Gegensatz dazu, wenn I1 > 12, wird die Einstellung derart geändert, dass die Helligkeit der ersten Kamera 8a verringert wird.
Gemäß dem in 13 gezeigten Ausführungsbeispiel ist die Helligkeit der Bilddaten G der ersten Kamera 8a aufgrund des Rücklichts relativ gering, und die Helligkeit der Bilddaten G der zweiten Kamera 8b ist aufgrund des Vorderlichts relativ hoch. Somit gilt eine Beziehung von I1 < 12, und somit bestimmt der Einstellungsabschnitt 76, dass die erste Kamera 8a für die Fahrtrichtung von hinten beleuchtet wird, um die Einstellung der Aufnahmeparameter zu ändern, und um dadurch die Bilddaten G der ersten Kamera 8a hell zu machen.
Gemäß der vorstehend beschriebenen Konfiguration werden das Vorderlicht und das Rücklicht der Kameras 8, welche auf das Ziel für die Bildverarbeitung eingestellt sind, derart erfasst, dass die Aufnahmeparameter für die Kameras 8 eingestellt werden, und somit kann ein Einfluss minimiert werden, der durch Änderungen der durch Sonnenlicht erzeugten Helligkeit bewirkt wird, mit dem Ergebnis, dass eine stabile Umgebungserkennung durchgeführt werden kann.
Die vorliegende Erfindung ist auf die vorstehend beschriebenen Ausführungsbeispiele nicht beschränkt, und umfasst Ausführungsbeispiele, die durch Hinzufügen von Variationen zu den vorstehend beschriebenen Ausführungsbeispielen erhalten sind, und Ausführungsbeispiele, die durch Kombinieren dieser Ausführungsbeispiele erhalten sind.
Der Eigenschaftsinformations-Akquirierungsabschnitt 74, der vorstehend beschrieben ist, stellt ein Beispiel des Akquirierungsabschnitts dar.
Die vorstehend beschriebenen Programme stellen Software zum Anweisen eines Computers dar, einzelne Funktionsabschnitte zu realisieren, welche nachstehend beschrieben werden, und sie können in einem computerlesbaren Speichermedium gespeichert sein.

Claims

Fahrzeugbildverarbeitungsvorrichtung (1), aufweisend: eine Vielzahl von Puffern (2), die konfiguriert sind, um Teile von Bilddaten (G) zu akkumulieren, die von einer Vielzahl von Kameras (8) einzeln und sequenziell eingegeben sind, die in einem Fahrzeug (9) installiert sind und jeweils unterschiedliche Umgebungsgebiete des Fahrzeugs (9) aufnehmen, um die Teile von Bilddaten (G) mit den Kameras (8) zu verknüpfen; einen Prozessor (3), der konfiguriert ist, um den Puffer (2) basierend auf Zustandsinformationen (S) zum Bestimmen von Fahrbedingungen des Fahrzeugs (9) auszuwählen, und um den Teil von Bilddaten (G) aus dem ausgewählten Puffer (2) zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung (4), die die Teile von Bilddaten (G) in den Puffern (2) zu dem Prozessor (3) überträgt; und eine Transfersteuerung (5), die konfiguriert ist, um den von dem Prozessor (3) benötigten Teil von Bilddaten (G) in dem Puffer (2) an die Signalleitung (4) auszugeben, indem basierend auf den Zustandsinformationen (S) ausgewählt wird, wobei die Zustandsinformationen (S) eine Fahrzeuggeschwindigkeit (V) umfassen, und der Prozessor (3) die Auswahl des Puffers (2) basierend auf einem Vergleich der Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) durchführt, wobei die Schwellenwerte (L) einen Umschaltbeginn-Schwellenwert (Ls) und einen Umschaltbeendigungs-Schwellenwert (Le) umfassen, bei welchen eine Differenz zu dem Umschaltbeginn-Schwellenwert (Ls) ein erster Wert ist, der Prozessor (3) konfiguriert ist, um die Bildverarbeitung auf einer vorbestimmten Anzahl an Teilen der Bilddaten (G) pro Einheitszeit durchzuführen, und wenn die Fahrzeuggeschwindigkeit (V) zwischen dem Umschaltbeginn-Schwellenwert (Ls) und dem Umschaltbeendigungs-Schwellenwert (Le) liegt, der Prozessor (3) die auszuwählenden Puffer (2) derart umschaltet, dass, wenn sich die Fahrzeuggeschwindigkeit (V) dem Umschaltbeendigungs-Schwellenwert (Le) von dem Umschaltbeginn-Schwellenwert (Ls) nähert, die vorbestimmte Anzahl an Teilen von Bilddaten (G), auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit (V) den Umschaltbeginn-Schwellenwert (Ls) erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten (G) ersetzt wird, nachdem die Fahrzeuggeschwindigkeit (V) den Umschaltbeendigungs-Schwellenwert (Le) erreicht hat.
Fahrzeugbildverarbeitungsvorrichtung nach Anspruch 1, wobei der Prozessor (3) basierend auf den Zustandsinformationen (S) zumindest einen Puffer (2) der Puffer (2) als ein Auswahlziel bestimmt und eine Auswahlfrequenz des zumindest einen in dem Auswahlziel enthaltenen Puffers (2) größer als Auswahlfrequenzen der anderen Puffer (2) einstellt, um den in dem Auswahlziel enthaltenen zumindest einen Puffer (2) sequenziell auszuwählen.
Fahrzeugbildverarbeitungsvorrichtung (1) nach Anspruch 1 oder 2, ferner aufweisend: eine Erfassungseinheit (11), die die Puffer (2) und die darin vorgesehene Transfersteuerung (5) aufweist; einen Arbeitspuffer (6), der konfiguriert ist, um den durch die Transfersteuerung (5) an die Signalleitung (4) ausgegebenen und der durch den Prozessor (3) durchgeführten Bildverarbeitung ausgesetzten Teil von Bilddaten (G) zu speichern; und eine Prozessoreinheit (12), die den Prozessor (3) und den darin vorgesehenen Arbeitspuffer (6) aufweist, wobei die Signalleitung (4) konfiguriert ist, um die Puffer (2) in der Erfassungseinheit (11) und den Arbeitspuffer (6) in der Prozessoreinheit (12) miteinander verbinden zu können.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die Kameras (8) eine oder mehrere der eine Umgebung des Fahrzeugs (9) aufnehmenden Kameras umfassen, die Schwellenwerte (L) einen ersten Schwellenwert (L1) umfassen, und wenn die Fahrzeuggeschwindigkeit (V) kleiner als der erste Schwellenwert (L1) ist, der Prozessor (3) den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der mit der einen oder mehreren der die Gesamtumgebung des Fahrzeugs (9) aufnehmenden Kameras (8) aufgenommen ist.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 4, wobei die Kameras (8) eine Kamera, die ein Gebiet vor dem Fahrzeug (9) aufnimmt, und eine Kamera, die ein Gebiet hinter dem Fahrzeug (9) aufnimmt, umfassen, die Zustandsinformationen (S) ferner eine Schaltposition (Sp) von einem Getriebe des Fahrzeugs (9) umfassen, die Schwellenwerte (L) den ersten Schwellenwert (L1) und einen zweiten Schwellenwert (L2), welcher größer als der erste Schwellenwert (L1) ist, umfassen, und wenn die Fahrzeuggeschwindigkeit (V) gleich oder größer als der erste Schwellenwert (L1) und kleiner als der zweite Schwellenwert (L2) ist, und die Schaltposition (Sp) eine Vorwärtsbewegung anzeigt, der Prozessor (3) lediglich den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der mit der Kamera aufgenommen ist, die das Gebiet vor dem Fahrzeug (9) aufnimmt, wohingegen wenn die Schaltposition (Sp) eine Rückwärtsbewegung anzeigt, der Prozessor (3) lediglich den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der mit der Kamera aufgenommen ist, die das Gebiet hinter dem Fahrzeug (9) aufnimmt.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 5, wobei die Kameras (8) eine Fernfeldkamera (82), welche ein Fernfeldgebiet in einer Fahrtrichtung des Fahrzeugs (9) aufnehmen, und eine Nahfeldkamera (81), welche ein Nahfeldgebiet in der Fahrtrichtung des Fahrzeugs (9) aufnimmt und welche einen breiteren Sichtwinkel als die Fernfeldkamera (82) aufweist, umfassen, die Schwellenwerte (L) den zweiten Schwellenwert (L2) umfassen, und wenn die Fahrzeuggeschwindigkeit (V) gleich oder größer als der zweite Schwellenwert (L2) ist, der Prozessor (3) den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der mit der Fernfeldkamera (82) aufgenommen ist, wohingegen wenn die Fahrzeuggeschwindigkeit (V) kleiner als der zweite Schwellenwert (L2) ist, der Prozessor (3) den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der mit der Nahfeldkamera (81) aufgenommen ist.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei, wenn die Fahrzeuggeschwindigkeit (V) den Umschaltbeginn-Schwellenwert (Ls) erreicht, der Prozessor (3) zunächst die Kamera korrespondierend zu dem Puffer (2) umschaltet, welcher ausgewählt werden muss, wenn die Fahrzeuggeschwindigkeit (V) den Umschaltbeendigungs-Schwellenwert (Le) erreicht, und zu dem Puffer (2) korrespondierend zu der Kamera, welche zumindest mit einer Aufnahmerichtung verknüpft ist.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 7, ferner aufweisend: einen Akquirierungsabschnitt (74), der Eigenschaftsinformationen mit einer Anweisung für eine Überwachungsrichtung an einem spezifischen Ort umfasst, wobei der Prozessor (3) zumindest einen der Puffer (2) basierend auf einer Fahrtposition und den Eigenschaftsinformationen auswählt.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 8, wobei das Fahrzeug (9) ein Nutzfahrzeug ist, die Zustandsinformationen (S) die Fahrzeuggeschwindigkeit (V) und einen Lenkwinkel (A) umfassen, der Prozessor (3) basierend auf den Zustandsinformationen (S) bestimmt, ob ein Abbiegen des Fahrzeugs (9) ein Abbiegen nach rechts oder ein Abbiegen nach links ist, und wenn das Fahrzeug (9) nach rechts abbiegt, der Prozessor (3) den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der durch Aufnehmen zumindest eines Gebiets auf einer rechten Seite in einer Vorwärtsrichtung und eines Gebiets auf einer linken Seite in einer Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten wird, wohingegen wenn das Fahrzeug (9) nach links abbiegt, der Prozessor (3) den Puffer (2) auswählt, in welchem der Teil von Bilddaten (G) akkumuliert ist, der durch Aufnehmen zumindest eines Gebiets auf der linken Seite in der Vorwärtsrichtung und eines Gebiets auf der rechten Seite in der Rückwärtsrichtung mit Bezug auf die Fahrtrichtung erhalten wird.
Fahrzeugbildverarbeitungsvorrichtung (1) nach Anspruch 9, wobei die Kameras (8) eine rechtsseitige Aufnahmekamera (81b), die ein Gebiet auf der rechten Seite des Fahrzeugs (9) aufnimmt, und eine linksseitige Aufnahmekamera (81d), die ein Gebiet auf der linken Seite desselben aufnimmt, umfassen, und wenn das Fahrzeug (9) nach rechts abbiegt, der Prozessor (3) die Bildverarbeitung auf einem Gebiet von einem Teil auf einer linken Seite der Teile von Bilddaten (G) durchführt, die mit der rechtsseitigen Aufnahmekamera (81b) und der linksseitigen Aufnahmekamera (81d) einzeln aufgenommen sind, wohingegen wenn das Fahrzeug (9) nach links abbiegt, der Prozessor (3) die Bildverarbeitung auf einem Gebiet von einem Teil auf einer rechten Seite der Teile von Bilddaten (G) durchführt, die mit der rechtsseitigen Aufnahmekamera (81b) und der linksseitigen Aufnahmekamera (81d) einzeln aufgenommen sind.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 10, wobei die Zustandsinformationen (S) den Lenkwinkel (A) und die Schaltposition (Sp) des Getriebes des Fahrzeugs (9) umfassen, und der Prozessor (3) basierend auf dem Lenkwinkel (A) und der Schaltposition (Sp) einen Weg schätzt, auf welchem das Fahrzeug (9) fährt, und basierend auf einem Ergebnis der Schätzung die Bildverarbeitung auf einem Gebiet von einem Teil durchführt, der in den aus den Puffern (2) akquirierten Teilen von Bilddaten (G) enthalten ist.
Fahrzeugbildverarbeitungsvorrichtung (1) nach einem der Ansprüche 1 bis 11, wobei die Kameras (8) eine erste Kamera (8a), die ein Gebiet in einer ersten Richtung des Fahrzeugs (9) aufnimmt, und eine zweite Kamera (8b), die ein Gebiet in einer von der ersten Richtung verschiedenen Richtung aufnimmt, umfassen, und die Fahrzeugbildverarbeitungsvorrichtung (1) ferner einen Einstellungsabschnitt (76) aufweist, der basierend auf einer Helligkeit der Teile von Bilddaten (G), die mit der ersten Kamera (8a) und der zweiten Kamera (8b) einzeln aufgenommen sind, einen Aufnahmeparameter für jede der Kameras (8) einstellt.
Fahrzeugbildverarbeitungsverfahren, das durch einen Prozessor (3) eines Computers durchgeführt wird, wobei der Computer aufweist: eine Vielzahl von Puffern (2), die konfiguriert sind, um Teile von Bilddaten (G) zu akkumulieren, die von einer Vielzahl von Kameras (8) einzeln und sequenziell eingegeben sind, die in einem Fahrzeug (9) installiert sind, um die Teile von Bilddaten (G) mit den Kameras (8) zu verknüpfen; wobei der Prozessor (3) konfiguriert ist, um den Puffer (2) basierend auf Zustandsinformationen (S) des Fahrzeugs (9) einschließlich einer Fahrzeuggeschwindigkeit (V) auszuwählen, und um den Teil von Bilddaten (G) aus dem ausgewählten Puffer (2) zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung (4), die die Teile von Bilddaten (G) in den Puffern (2) zu dem Prozessor (3) überträgt; und eine Transfersteuerung (5), die konfiguriert ist, um den von dem Prozessor (3) benötigten Teil von Bilddaten (G) in dem Puffer (2) an die Signalleitung (4) auszugeben, wobei das Fahrzeugbildverarbeitungsverfahren einen Schritt zum Durchführen der Auswahl des Puffers (2) basierend auf einem Vergleich der Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) aufweist, wobei die Zustandsinformationen (S) eine Fahrzeuggeschwindigkeit (V) umfassen, und der Prozessor (3) die Auswahl des Puffers (2) basierend auf einem Vergleich der Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) durchführt, wobei die Schwellenwerte (L) einen Umschaltbeginn-Schwellenwert (Ls) und einen Umschaltbeendigungs-Schwellenwert (Le) umfassen, bei welchen eine Differenz zu dem Umschaltbeginn-Schwellenwert (Ls) ein erster Wert ist, der Prozessor (3) konfiguriert ist, um die Bildverarbeitung auf einer vorbestimmten Anzahl an Teilen der Bilddaten (G) pro Einheitszeit durchzuführen, und wenn die Fahrzeuggeschwindigkeit (V) zwischen dem Umschaltbeginn-Schwellenwert (Ls) und dem Umschaltbeendigungs-Schwellenwert (Le) liegt, der Prozessor (3) die auszuwählenden Puffer (2) derart umschaltet, dass, wenn sich die Fahrzeuggeschwindigkeit (V) dem Umschaltbeendigungs-Schwellenwert (Le) von dem Umschaltbeginn-Schwellenwert (Ls) nähert, die vorbestimmte Anzahl an Teilen von Bilddaten (G), auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit (V) den Umschaltbeginn-Schwellenwert (Ls) erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten (G) ersetzt wird, nachdem die Fahrzeuggeschwindigkeit (V) den Umschaltbeendigungs-Schwellenwert (Le) erreicht hat.
Fahrzeugbildverarbeitungsprogramm, das einen Prozessor (3) eines Computers anweist, einen Schritt zum Durchführen einer Auswahl eines Puffers (2) basierend auf einem Vergleich einer Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) durchzuführen, wobei der Computer aufweist: eine Vielzahl von Puffern (2), die konfiguriert sind, um Teile von Bilddaten (G) zu akkumulieren, die von einer Vielzahl von Kameras (8) einzeln und sequenziell eingegeben sind, die in einem Fahrzeug (9) installiert sind, um die Teile von Bilddaten (G) mit den Kameras (8) zu verknüpfen; wobei der Prozessor (3) konfiguriert ist, um den Puffer (2) basierend auf Zustandsinformationen (S) des Fahrzeugs (9) einschließlich der Fahrzeuggeschwindigkeit (V) auszuwählen, und um den Teil von Bilddaten (G) aus dem ausgewählten Puffer (2) zu akquirieren, um diesbezüglich eine Bildverarbeitung durchzuführen; eine Signalleitung (4), die die Teile von Bilddaten (G) in den Puffern (2) zu dem Prozessor (3) überträgt; und eine Transfersteuerung (5), die konfiguriert ist, um den von dem Prozessor (3) benötigten Teil von Bilddaten (G) in dem Puffer (2) an die Signalleitung (4) auszugeben, wobei die Zustandsinformationen (S) eine Fahrzeuggeschwindigkeit (V) umfassen, und der Prozessor (3) die Auswahl des Puffers (2) basierend auf einem Vergleich der Fahrzeuggeschwindigkeit (V) und Schwellenwerten (L) durchführt, wobei die Schwellenwerte (L) einen Umschaltbeginn-Schwellenwert (Ls) und einen Umschaltbeendigungs-Schwellenwert (Le) umfassen, bei welchen eine Differenz zu dem Umschaltbeginn-Schwellenwert (Ls) ein erster Wert ist, der Prozessor (3) konfiguriert ist, um die Bildverarbeitung auf einer vorbestimmten Anzahl an Teilen der Bilddaten (G) pro Einheitszeit durchzuführen, und wenn die Fahrzeuggeschwindigkeit (V) zwischen dem Umschaltbeginn-Schwellenwert (Ls) und dem Umschaltbeendigungs-Schwellenwert (Le) liegt, der Prozessor (3) die auszuwählenden Puffer (2) derart umschaltet, dass, wenn sich die Fahrzeuggeschwindigkeit (V) dem Umschaltbeendigungs-Schwellenwert (Le) von dem Umschaltbeginn-Schwellenwert (Ls) nähert, die vorbestimmte Anzahl an Teilen von Bilddaten (G), auf welchen die Bildverarbeitung pro Einheitszeit durchgeführt wird, bevor die Fahrzeuggeschwindigkeit (V) den Umschaltbeginn-Schwellenwert (Ls) erreicht, mit der vorbestimmten Anzahl an Teilen von Bilddaten (G) ersetzt wird, nachdem die Fahrzeuggeschwindigkeit (V) den Umschaltbeendigungs-Schwellenwert (Le) erreicht hat.
Computerlesbares Speichermedium, das das Fahrzeugbildverarbeitungsprogramm nach Anspruch 14 speichert.