DE112020000836T5

DE112020000836T5 - Auswertungseinrichtung für ein Kamerasystem und Auswertungsverfahren

Info

Publication number: DE112020000836T5
Application number: DE112020000836.3T
Authority: DE
Inventors: Takayoshi Chiyoda; Hiroaki Nakata; Michio Morioka; Masayuki Kanai
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-03-19
Filing date: 2020-02-07
Publication date: 2022-01-05
Also published as: WO2020189081A1; US20220101500A1; JP7245318B2; JPWO2020189081A1

Abstract

Es soll eine Auswertung bereitgestellt werden, die ein virtuelles Videobild verwendet, das durch Ausführen einer optischen Bildverarbeitung für Helligkeit und Verzerrung, die durch ein Auswertungsobjekt angefordert wird, erzeugt wird. Eine Auswertungseinrichtung für ein Kamerasystem, das eine Kamera zum Aufnehmen eines Videobilds der Außenansicht enthält, enthält: eine Videoerzeugungseinheit zum Erzeugen eines Simulationsvideobilds, das das durch die Kamera aufgenommene Videobild der Außenansicht simuliert; eine optische Filtereinheit, die eine optische Bildverarbeitung auf dem Simulationsvideobild ausführt, um das aus der Kamera ausgegebene Videobild zu simulieren; und eine Kamerabildverarbeitungseinheit, die durch Ausführen einer Erkennungsverarbeitung unter Verwendung des verarbeiteten Videobilds ein Fahrzeugsteuersignal erzeugt.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf eine Auswertungseinrichtung, die die Bedingungen eines Fahrzeugs, das auf einer Straße fährt, simuliert und ein auf dem Fahrzeug montiertes Kamerasystem auswertet.
Stand der Technik
In den letzten Jahren sind Untersuchungen zu Fahrassistenzsystemen und System für automatisiertes Fahren vorgenommen worden, die sich auf die Realisierung einer sicheren und komfortablen Autogesellschaft richten. In der Zukunft werden gesteigerte Niveaus von Technologien für automatisiertes Fahren zu einem Bedarf an der Entwicklung komplizierter Fahrzeugsteuerlogik führen, die eine Umgebung oder das Links- oder Rechtsabbiegen an einer Eimündung von Autobahnen oder einer Kreuzung betreffen. Ferner wird es einen Bedarf an einem Testfall von gewaltigem Umfang geben, um die komplizierte Steuerlogik für diese Funktionen zu verifizieren und auszuwerten. Die Verifizierungen und Auswertungen konzentrieren sich derzeit auf den tatsächlichen Weg des Fahrzeugs. In Zukunft wird der Testprozess eine enorme Anzahl von Schritten enthalten, so dass es schwierig sein wird, einfach dadurch, dass man reale Fahrzeuge fahren lässt, eine Auswertung bereitzustellen. Dementsprechend ist es üblich, Simulatoren zu nutzen.
HILS („Hardware In the Loop Simulator“) als ein Simulator für einen solchen Zweck ist ein Werkzeug zum virtuellen Auswerten eines realen Steuersystems. Das Werkzeug verwendet einen realen Gegenstand als ein Auswertungsobjekt und bildet eine Auswertungseinrichtung durch Modellieren der anderen Fahrzeugelemente und Kombinieren dieser Elemente miteinander. Eine in Patentdokument 1 offenbarte Einrichtung ist beispielsweise als ein solcher Simulator bekannt.
Entgegenhaltungsliste
Patentliteratur
Patentliteratur 1: Japanische Offenlegungsschrift Nr. 2010-26845
Zusammenfassung der Erfindung
Technische Aufgabe
In einem Fall, in dem der HILS unter Verwendung eines Auswertungsobjekts, das eine Arithmetikverarbeitung basierend auf unterschiedlichen Sensorinformationseinheiten ausführt, ist es notwendig, die Sensorinformationen zu der Zeit, zu der das Auswertungsobjekt die Sensorinformationen anfordert, zuzuführen. Beispielsweise muss ein Videobild in eine Kamera als das Auswertungsobjekt zu der Zeit, zu der die Kamera den Verschluss auslöst, eingegeben werden. Da es für den HILS unmöglich ist, ein reales Videobild in das Auswertungsobjekt einzugeben, wird ein virtuelles Videobild der Außenansicht, das durch CG (Computergrafik) erzeugt wird, eingegeben. Im Wesentlichen nimmt das Auswertungsobjekt konstant Helligkeitsanpassung und dergleichen für Objektive und eine Bildaufnahmevorrichtung vor. Es ist wünschenswert, auch das in das Auswertungsobjekt eingegebene virtuelle Videobild gemäß einer Anweisung von dem Auswertungsobjekt zu variieren.
Gemäß dem vorstehend beschriebenen Patentdokument 1 (Japanische Patentanmeldung Offenlegungs-Nr. 2010-26845 ), weist der Simulator keine Funktion auf, um ein Zeitsignal von dem Auswertungsobjekt (Kamerasteuerungs-ECU) in ein Kameramodell zurückzumelden. Deshalb kann der Simulator kein erforderliches Videobild unter der Steuerung des Auswertungsobjekts eingeben. Als ein Ergebnis kann das Auswertungsobjekt weder das Videobild korrekt erkennen noch das Fahrzeug basierend auf dem Erkennungsergebnis steuern.
In diesem Zusammenhang ist es eine Aufgabe der Erfindung, dass dann, wenn das Auswertungsobjekt in einer HILS-Umgebung unter Verwendung eines CG-Videos ausgewertet wird, die Auswertung unter Verwendung eines virtuellen Videos, das unter Verwendung der aus dem Auswertungsobjekt ausgegebenen Informationen erzeugt wird, und durch Ausführen von optischer Bildverarbeitung für die Helligkeit, Verzerrung und dergleichen, die durch das Auswertungsobjekt gefordert sind, bereitgestellt wird.
Lösung der Aufgabe
Ein typisches Beispiel für die in dieser Anmeldung offenbarte Erfindung ist wie folgt.
Gemäß einem Aspekt der Erfindung enthält eine Auswertungseinrichtung für ein Kamerasystem, das eine Kamera zum Aufnehmen eines Videobilds der Außenansicht enthält: eine Videoerzeugungseinheit zum Erzeugen eines Simulationsvideobilds, das das durch die Kamera aufgenommene Videobild der Außenansicht simuliert; eine optische Filtereinheit, die eine optische Bildverarbeitung auf dem Simulationsvideobild ausführt, um das aus der Kamera ausgegebene Videobild zu simulieren; und eine Kamerabildverarbeitungseinheit, die ein Fahrzeugsteuersignal durch Ausführen einer Erkennungsverarbeitung unter Verwendung des verarbeiteten Videobilds erzeugt.
Vorteilhafte Effekte der Erfindung
Gemäß einem Aspekt der Erfindung kann die Kamerabildverarbeitungseinheit unter Verwendung des virtuellen Bilds, das der optischen Bildverarbeitung für Helligkeit und Verzerrung, die durch das Auswertungsobjekt angefordert ist, unterzogen wird, korrekt ausgewertet werden. Die Probleme, Beschaffenheit und Effekte, die oben nicht erwähnt wurden, gehen aus der Beschreibung der folgenden Ausführungsformen hervor.
Figurenliste

1 ist ein Diagramm, das eine beispielhafte Konfiguration von HILS unter Verwendung einer optischen Filterfunktion gemäß einer Ausführungsform der Erfindung zeigt;
2 ist ein Diagramm, das eine Konfiguration eines Fahrzeugverhaltenssimulators gemäß einer ersten Ausführungsform hiervon zeigt;
3 ist ein Diagramm, das eine Konfiguration einer Erzeugungsfunktion für ein Video für einen Blickwinkel gemäß der ersten Ausführungsform hiervon zeigt;
4 ist ein Diagramm, das eine Konfiguration einer optischen Filterfunktion gemäß der ersten Ausführungsform hiervon zeigt;
5 ist ein konzeptionelles Diagramm einer Verstärkungsanpassungseinheit gemäß der ersten Ausführungsform hiervon;
6 ist ein Diagramm, das eine Konfiguration einer Kameraformatumsetzungsfunktion gemäß der ersten Ausführungsform hiervon zeigt;
7 ist ein Diagramm, das eine Konfiguration einer Stereokamera-ECU gemäß der ersten Ausführungsform hiervon zeigt;
8 ist ein Ablaufdiagramm, das Operationen individueller Funktionen, die den HILS bilden, gemäß der ersten Ausführungsform hiervon zeigt;
9 ist ein Diagramm, das eine beispielhafte Konfiguration des HILS zeigt, wobei eine optische Filterfunktion gemäß einer zweiten Ausführungsform hiervon in eine Videoerzeugungsfunktion integriert ist;
10 ist ein Diagramm, das eine Konfiguration einer Erzeugungsfunktion für ein Video für einen Blickwinkel, die die optische Filterfunktion gemäß der zweiten Ausführungsform hiervon enthält, zeigt;
11 ist ein Ablaufdiagramm, das Operationen individueller Funktionen, die den HILS bilden, gemäß der zweiten Ausführungsform hiervon zeigt;
12 ist ein Diagramm, das eine beispielhafte Konfiguration von SILS unter Verwendung einer optischen Filterfunktion gemäß einer dritten Ausführungsform hiervon zeigt;
13 ist ein Diagramm, das eine beispielhafte Konfiguration des HILS einer Monokularkamera gemäß einer vierten Ausführungsform hiervon zeigt;
14 ist ein Diagramm, das eine Konfiguration einer Blickwinkelvideo-CG-Videoeinheit gemäß einer fünften Ausführungsform hiervon zeigt; und
15 ist ein Diagramm, das eine Konfiguration einer Verstärkungsanpassungsverarbeitungseinheit gemäß der fünften Ausführungsform hiervon zeigt.

Beschreibung von Ausführungsformen
Die Ausführungsformen der Erfindung werden nachstehend mit Bezug auf die begleitenden Zeichnungen beschrieben.
Erste Ausführungsform
1 ist ein Diagramm, das eine beispielhafte Konfiguration des HILS unter Verwendung einer optischen Filterfunktion gemäß einer Ausführungsform der Erfindung zeigt. Eine Auswertungsumgebung zur Auswertung einer Stereokamera-ECU 6, in die ein CG-Video S7 eingegeben wird, enthält: einen Fahrzeugverhaltenssimulator 1; eine Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel; eine Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel; eine optische Filterfunktion 4 und eine Kameraformatumsetzungsfunktion 5.
Der Fahrzeugverhaltenssimulator 1 berechnet ein Verhalten eines Fahrzeugs in vorbestimmten Zeitabständen (z. B. 1 Millisekunde) durch Berechnen linker und rechter Kamerakoordinaten und der Stellung des in einem Simulationsraum vorhandenen Fahrzeugs. Die Kamerakoordinaten und die Stellung, die zu berechnen sind, können durch eine relative Variation zwischen den Koordinaten und der Stellung, wie sie zu einem gegebenen Zeitpunkt bestimmt werden, oder durch absolute Koordinaten und einen absoluten Stellungswinkel basierend auf einer vorbestimmten Position und Richtung ausgedrückt werden. Das Fahrzeugverhalten wird unter Verwendung von sowohl Informationen über Operationen durch einen Fahrer, der ein Fahrpedal, eine Bremse oder ein Lenkrad betätigt, als auch von Fahrzeugsteuerinformationen S10, die die Fahrpedalbetätigung, die Bremsenbetätigung, den Lenkwinkel und dergleichen enthalten, die aus der Stereokamera-ECU 6 eingegeben werden, berechnet. Der Fahrzeugverhaltenssimulator sendet die berechneten Koordinaten für den linken Blickwinkel und die Stellung S1 zu der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel und die berechneten Koordinaten für den rechten Blickwinkel und die Stellung S2 zu der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel. Ferner sendet der Fahrzeugverhaltenssimulator auch Fahrzeuginformationen S11 wie z. B. die Fahrzeuggeschwindigkeit zu der Stereokamera-ECU 6.
Die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel erzeugt ein Videobild für den linken Blickwinkel S3 aus den Koordinaten für den linken Blickwinkel und der Stellung S1, die durch den Fahrzeugverhaltenssimulator 1 berechnet sind, und sendet das resultierende Videobild zu der optischen Filterfunktion 4.
Die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel erzeugt ein Videobild für den rechten Blickwinkel S4 aus den Koordinaten für den rechten Blickwinkel und der Stellung S2, die durch den Fahrzeugverhaltenssimulator 1 berechnet sind, und sendet das resultierende Videobild zu der optischen Filterfunktion 4.
Gemäß Informationen über die optische Verarbeitung S8, die aus der Stereokamera-ECU 6 ausgegeben werden, erzeugt die optische Filterfunktion ein optisch verarbeitetes Videobild für den linken Blickwinkel S5 und Videobild für den rechten Blickwinkel S6 durch optische Verarbeitung der Videobilder für den linken und den rechten Blickwinkel S3, S4 für Helligkeit, Rauschen und dergleichen und sendet die resultierenden Videobilder zu der Kameraformatumsetzungsfunktion 5 zu der Zeit eines Verschlusssignals S9.
Die Kameraformatumsetzungsfunktion 5 setzt das eingegebene optisch verarbeitete Videobild für den linken Blickwinkel S5 und Videobild für den rechten Blickwinkel S6 in das CG-Video S7 um, das hinsichtlich Hardware und Software mit einer Kamera-I/F kompatibel ist, so dass es durch die Stereokamera-ECU 6 empfangen wird.
Die Stereokamera-ECU 6 empfängt die Eingaben des CG-Videos S7, die mit der Kamera-I/F kompatibel sind, und die Fahrzeuginformationen S11, wie z. B. die Fahrzeuggeschwindigkeit, und gibt die Fahrzeugsteuerinformationen S10 wie z. B. die Fahrpedalbetätigung, Bremsenbetätigung und Lenkwinkel auf einer Basis nach Bedarf zu dem Fahrzeugverhaltenssimulator 1 aus. Ferner gibt die Stereokamera-ECU 6 zu der optischen Filterfunktion 4 die Informationen über die optische Verarbeitung S8, die Belichtungsinformationen und dergleichen enthalten, die durch die Stereokamera-ECU 6 angefordert werden, und das Verschlusssignal S9, das die Zeit zum Anfordern eines Videobilds angibt, zur Zeit der Anforderung des Videobilds aus. Das Verschlusssignal S9 wird auch zu dem Fahrzeugverhaltenssimulator 1 ausgegeben.
Nachstehend wird eine Beschreibung für das Videobild für den linken Blickwinkel in einem Fall, in dem die gleiche Operation für sowohl das Videobild für den linken Blickwinkel als auch das Videobild für den rechten Blickwinkel ausgeführt wird, vorgenommen. Obwohl die Beschreibung in Bezug auf das Videobild für den rechten Blickwinkel weggelassen ist, wird die gleiche Operation wie diejenige für das Videobild für den linken Blickwinkel ausgeführt.
2 ist ein Diagramm, das eine Konfiguration des Fahrzeugverhaltenssimulators 1 gemäß der Ausführungsform zeigt.
Der Fahrzeugverhaltenssimulator 1 enthält: ein Simulationsmodell 101, eine Blickwinkelinformations-I/F 105 und eine CAN-I/F 106. Das Simulationsmodell 101 enthält ein Sensormodell 102, ein Umgebungsmodell 103 und ein Fahrzeugmodell 104.
Das Simulationsmodell 101 berechnet das Verhalten (z. B. den Ort und die Stellung) des Fahrzeugs in vorbestimmten Zeitabständen (z. B. 1 Millisekunde) und gibt die berechneten Koordinaten für den linken und den rechten Blickwinkel und die Stellungen S1, S2 zur Zeit des Verschlusssignals S9 aus. Das Fahrzeugmodell 104 fährt auf einer virtuellen Straße, die zu dem Umgebungsmodell 103 gehört, um zu ermöglichen, dass das Simulationsmodell ein Fahrzeugverhalten äquivalent dem eines realen Fahrzeugs berechnet. Das Fahrzeugmodell 104 erfasst die Fahrzeugsteuerinformationen S10 wie z. B. die Fahrpedalbetätigung, die Bremsenbetätigung und den Lenkwinkel, wie sie aus der Stereokamera-ECU 6 eingegeben werden, über die CAN-I/F 106 und spiegelt die Informationen auf dem Fahrzeugverhalten wider. Die durch das Fahrzeugmodell 104 simulierten Fahrzeuginformationen S11 werden durch die CAN-I/F 106 umgesetzt und werden zu der Stereokamera-EUC 6 gesendet.
Das Sensormodell 102 konfiguriert die Einstellungen für einen Außenansichtserkennungssensor, der auf einem durch das Fahrzeugmodell 104 simulierten Fahrzeug montiert ist. Gemäß der Ausführungsform wird eine Montageposition der an das Fahrzeug montierten Stereokamera eingestellt. Die Einstellungen für den Außenansichtserkennungssensor werden für die Berechnungen der Koordinaten für den linken und den rechten Blickwinkel und der Stellungen S1, S2 verwendet. Die berechneten Koordinaten für den linken und den rechten Blickwinkel und Stellungen S1, S2 werden zu den jeweiligen Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3 über die Blickwinkelinformations-I/F 105 gesendet.
Hier ist die Beschreibung zu einer physikalischen Struktur eines Rechners, der die Auswertungsumgebung gemäß der Ausführungsform bildet, vorgenommen.
Die Auswertungsumgebung der Ausführungsform wird durch einen Rechner, der einen Prozessor (CPU), einen Speicher, eine zusätzliche Speichervorrichtung und eine Kommunikationsschnittstelle enthält, gebildet. Die Auswertungsumgebung kann außerdem eine Eingabeschnittstelle und eine Ausgabeschnittstelle enthalten.
Der Prozessor ist eine Arithmetikvorrichtung zum Ausführen eines in dem Speicher gespeicherten Programms. Die Funktionen der individuellen Komponenten der Auswertungsumgebung (wie z. B. des Fahrzeugverhaltenssimulators 1, der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel, der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel, der optischen Filterfunktion 4 und der Kameraformatumsetzungsfunktion 5) sind durch den Prozessor, der das Programm ausführt, implementiert. Es wird darauf hingewiesen, dass ein Teil der Verarbeitung, die durch den das Programm ausführenden Prozessor ausgeführt wird, auch durch eine andere Arithmetikvorrichtung (beispielsweise Hardware wie z. B. ASIC oder FPGA) implementiert sein kann.
Der Speicher enthält ROM als ein nichtflüchtiges Speicherelement und RAM als ein flüchtiges Speicherelement. Der ROM speichert feste Programme (z. B. BIOS) und dergleichen. Der RAM ist ein schnelles und flüchtiges Speicherelement wie z. B. DRAM (dynamischer Direktzugriffsspeicher), das ein durch den Prozessor ausgeführtes Programm und Daten, die während der Ausführung des Programms verwendet werden, temporär speichert.
Die zusätzliche Speichervorrichtung ist eine Massen- und nichtflüchtige Speichervorrichtung wie z. B. eine Magnetspeichervorrichtung (HDD) und ein Flash-Speicher (SSD). Ferner speichert die zusätzliche Speichervorrichtung Daten, die verwendet werden, wenn der Prozessor ein Programm ausführt, und das durch den Prozessor ausgeführte Programm. Insbesondere wird das Programm aus der zusätzlichen Speichervorrichtung gelesen, in den Speicher geladen und durch den Prozessor ausgeführt, so dass die individuellen Funktionen der Auswertungsumgebung implementiert werden.
Die Kommunikationsschnittstelle ist eine Netzschnittstellenvorrichtung, die die Kommunikation mit anderen Vorrichtungen gemäß einem vorbestimmten Protokoll steuert.
Die Eingabeschnittstelle ist mit einer Eingabevorrichtung wie z. B. einer Tastatur und einer Maus verbunden und empfängt eine Eingabe von einem Bediener. Die Ausgabeschnittstelle ist mit einer Ausgabevorrichtung wie z. B. einer Anzeigevorrichtung und einem Drucker (nicht gezeigt) verbunden und gibt ein Ausführungsergebnis eines Programms in einer für den Bediener sichtbaren Form aus. Im Übrigen kann auch ein Anwenderendgerät, das mit der Auswertungsumgebung über das Netz verbunden ist, als die Eingabevorrichtung und die Ausgabevorrichtung verwendet werden. In diesem Fall kann die Auswertungsumgebung als ein Webserver funktionieren, während das Anwenderendgerät auf die Auswertungsumgebung gemäß einem vorbestimmten Protokoll zugreifen kann.
Das durch den Prozessor ausgeführte Programm wird der Auswertungsumgebung über ein herausnehmbares Medium (wie z. B. eine CD-ROM und ein Flash-Speicher) oder über ein Netz zugeführt und ist in einer nichtflüchtigen zusätzlichen Speichervorrichtung als ein nicht temporäres Speichermedium gespeichert. Dementsprechend kann die Auswertungsumgebung vorzugsweise eine Schnittstelle zum Abrufen von Daten aus einem herausnehmbaren Medium enthalten.
Die Auswertungsumgebung ist ein Computersystem, das physikalisch auf einem Computer konstruiert ist oder auf mehreren logisch oder physikalisch konfigurierten Computern konstruiert ist. Die Auswertungsumgebung kann auch auf einem virtuellen Computer arbeiten, der auf mehreren physikalischen Computerbetriebsmitteln konstruiert ist. Beispielsweise können der Fahrzeugverhaltenssimulator 1, die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel, die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel, die optische Filterfunktion 4 und die Kameraformatumsetzungsfunktion 5 jeweils auf unterschiedlichen physikalischen oder logischen Computern arbeiten. Ansonsten können zwei oder mehr des/der vorstehenden Simulators und Funktionen miteinander kombiniert sein, um auf einem physikalischen oder logischen Computer zu arbeiten.
3 ist ein Diagramm, das eine Konfiguration der Erzeugungsfunktion für ein Video für einen Blickwinkel 2, 3 gemäß der Ausführungsform zeigt. Obwohl 3 die Konfiguration der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel zeigt, ist die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel auf die gleiche Weise konfiguriert.
Die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel enthält CG-Umgebungsinformationen 201, eine Koordinateninformationsempfangseinheit 202, eine Blickwinkelvideo-CG-Erzeugungseinheit 203 und eine CG-Videosendeeinheit 204. Die Koordinateninformationsempfangseinheit 202 setzt die Blickwinkelkoordinaten und die Stellung S1, die durch den Fahrzeugverhaltenssimulator 1 berechnet werden, in Daten in einem Format, das mit der Blickwinkelvideo-CG-Erzeugungseinheit 203 kompatibel ist, um und sendet die resultierenden Daten zu der Blickwinkelvideo-CG-Erzeugungseinheit 203.
In einem virtuellen Raum, der durch die CG-Umgebungsinformationen 201 spezifiziert ist, erzeugt die Blickwinkelvideo-CG-Erzeugungseinheit 203 ein CG-Video gemäß den Blickwinkelkoordinaten und der Stellung S1, die durch die Koordinateninformationsempfangseinheit 202 umgesetzt sind, und sendet das resultierende Video zu der CG-Videosendeeinheit 204.
Bei Empfangen des durch die Blickwinkelvideo-CG-Erzeugungseinheit 203 erzeugten Videos sendet die CG-Videosendeeinheit 204 das Videobild für den linken Blickwinkel S3 sofort zu der optischen Filterfunktion 4. Die CG-Videosendeeinheit 204 kann außerdem einen Puffer zum Speichern des Videos enthalten.
4 ist ein Diagramm, das eine Konfiguration der optischen Filterfunktion 4 gemäß der Ausführungsform zeigt.
Die optische Filterfunktion 4 enthält eine CG-Videoempfangseinheit 401, eine Verstärkungsanpassungseinheit 402, eine Retuschierverarbeitungseinheit 403, eine Rauschenverarbeitungseinheit 404, eine Verzerrungsverarbeitungseinheit 405 und ein CG-Videosendeeinheit 406. Die CG-Videoempfangseinheit 401 empfängt das Videobild für den linken Blickwinkel S3 oder das Videobild für den rechten Blickwinkel S4 und sendet das Blickwinkelvideobild zu der Verstärkungsanpassungseinheit 402, der Retuschierverarbeitungseinheit 403, der Rauschenverarbeitungseinheit 404 und der Verzerrungsverarbeitungseinheit 405. Die CG-Videoempfangseinheit 401 kann außerdem einen Puffer zum Speichern des empfangenen Videobilds enthalten. Die optische Filterfunktion 4 kann außerdem konfiguriert sein, die Reihenfolge der Verstärkungsanpassungseinheit 402, der Retuschierverarbeitungseinheit 403, der Rauschenverarbeitungseinheit 404 und der Verzerrungsverarbeitungseinheit 405 beliebig zu ändern.
Die Verstärkungsanpassungseinheit 402, die Retuschierverarbeitungseinheit 403, die Rauschenverarbeitungseinheit 404 und die Verzerrungsverarbeitungseinheit 405 führen eine Verarbeitung zum Simulieren eines optischen Systems der Kamera basierend auf den Informationen über die optische Verarbeitung S8, die aus der Stereokamera-ECU 6 eingegeben werden, aus. Eine oder mehrere dieser Verarbeitungsoperationen können gemäß einer Eigenschaft des simulierten optischen Systems (Objektiv und Bildaufnahmevorrichtung) selektiv ausgeführt werden. Insbesondere führt die Verstärkungsanpassungseinheit 402 eine Verarbeitung zum Simulieren der Helligkeit des Videobilds durch Durchführen von Verstärkungsanpassung der Bildaufnahmevorrichtung der Kamera aus. Die Retuschierverarbeitungseinheit 403 führt eine Verarbeitung zum Simulieren von optischer Unschärfe, die dem Objektiv inhärent ist, aus. Die Rauschenverarbeitungseinheit 404 führt eine Verarbeitung zum Simulieren von Rauschen, das in einem durch die Kamera aufgenommenen Videobild enthalten ist, aus. Die Verzerrungsverarbeitungseinheit 405 führt eine Verarbeitung zum Simulieren von optischer Verzerrung, die dem Objektiv inhärent ist, aus.
Danach speichert die optische Filterfunktion 4 die optisch verarbeiteten Blickwinkelvideobilder in der CG-Videosendeeinheit 406 und sendet die Videobilder für den linken und den rechten Blickwinkel S5, S6 zu der Kameraformatumsetzungsfunktion 5 zur Zeit des Verschlusssignals S9. Die CG-Videosendeeinheit 406 kann außerdem einen Puffer zum Speichern des Videos enthalten.
5 ist ein konzeptionelles Diagramm der Verstärkungsanpassungseinheit 403 gemäß der Ausführungsform.
Das durch die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel erzeugte Videobild für den linken Blickwinkel S3 ist aus Gruppen aus mehreren Pixeln zusammengesetzt. In einem Fall, in dem beispielsweise jedes Pixel als drei separate RGB-Werte ausgedrückt ist, enthalten die separaten RGB-Werte jeweils Helligkeitsinformationen. Daher ist jeder der RGB-Werte bestimmt. Die Stereokamera-ECU 6, die die Belichtungszeit der Kamera gemäß dem Niveau des Umgebungslichts angepasst hat, gibt die Informationen über die optische Verarbeitung S8 aus. In einem Fall, in dem die Belichtungsinformationen, die in den Informationen über die optische Verarbeitung S8 enthalten sind, einen Befehl angeben, die Helligkeit der individuellen Pixel auf 1/2 einzustellen, führt die Verstärkungsanpassungseinheit eine Verarbeitung zum Einstellen der Helligkeit jedes Pixels auf 1/2 aus. Somit wird ein Videobild erzeugt, das einem Bild, das tatsächlich durch die Bildaufnahmevorrichtung durch das optische System wie z. B. ein Objektiv aufgenommen ist, äquivalent ist.
6 ist ein Diagramm, das eine Konfiguration der Kameraformatumsetzungsfunktion 5 gemäß der Ausführungsform zeigt.
Die Kameraformatumsetzungsfunktion 5 ist eine Schnittstelle zum Verbinden der Videobilder für den linken und den rechten Blickwinkel S4, S6 als Dateninformationen mit der Hardware und enthält eine CG-Videoempfangseinheit 501, eine Farbfilterumsetzungseinheit 502, eine Sendeformatumsetzungseinheit 503 und eine CG-Videosende-I/F 504.
Die CG-Videoempfangseinheit 501 empfängt die Videobilder für den linken und den rechten Blickwinkel S5, S6, die durch die optische Filterfunktion 4 optisch verarbeitet sind, und sendet die Videobilder zu der Farbfilterumsetzungseinheit 502 zur Farbmusterumsetzung in das RGGB-Format oder das RCC-Format, das mit der Kamera-ECU kompatibel ist.
Die Farbfilterumsetzungseinheit 502 sendet das in das mit der Stereokamera-ECU 6 kompatible Farbmuster (wie z. B. das gleiche Format wie das des aus der Bildaufnahmevorrichtung ausgegebenen Videobilds) umgesetzte CG-Videobild zu der Sendeformatumsetzungseinheit 503, die das CG-Video in ein mit einer kameragebundenen Sende-I/F kompatibles Format umsetzt.
Die CG-Videosende-I/F 504 gibt das durch die Sendeformatumsetzungseinheit 503 in das mit dem Kameraformat konforme Format umgesetzte CG-Video S7 zu der Stereokamera-ECU 6 aus.
7 ist ein Diagramm, das eine Konfiguration der Stereokamera-ECU 6 gemäß der Ausführungsform zeigt.
Die Stereokamera-ECU 6 enthält: eine CG-Videoempfangs-I/F 601, eine Bilderkennungseinheit 602 und eine Fahrzeugsteuereinheit 603.
Die CG-Videoempfangs-I/F 601 empfängt das eingegebene CG-Videobild in dem Kameraformat und sendet das CG-Videobild zu der Bilderkennungseinheit 602.
Die Bilderkennungseinheit 602 führt eine Außenansichtserkennungsverarbeitung unter Verwendung des eingegebenen CG-Videobilds aus und gibt Erkennungsergebnisse wie z. B. Geschwindigkeit und gefahrene Strecke eines erkannten Objekts aus.
Die Fahrzeugsteuereinheit 603 gibt die Fahrzeugsteuerinformationen S10 aus. Die Fahrzeugsteuerinformationen S10 enthalten die Fahrpedalbetätigung, die Bremsenbetätigung, den Lenkwinkel und dergleichen, die Steuerrückmeldungsinformationen zur Fahrzeugsteuerung sind. Die Steuerrückmeldungsinformationen werden basierend auf den durch die Bilderkennungseinheit 602 gegebenen Erkennungsergebnisse und den Fahrzeuginformationen S11 erzeugt. Die Fahrzeugsteuereinheit 603 gibt die Informationen über die optische Verarbeitung S8, die durch die Stereokamera-ECU 6 angefordert sind, wie z. B. die Belichtungszeit, die über die Helligkeit des Videobilds entscheidet, und das Verschlusssignal S9, das die Zeit für die Stereokamera-ECU 6 angibt, um das Videobild anzufordern, aus.
8 ist ein Ablaufdiagramm, das Operationen individueller Funktionen, die den HILS bilden, gemäß der Ausführungsform zeigt. Obwohl 8 die Verarbeitung zum Erzeugen des Videobilds für den linken Blickwinkel zeigt, wird das Videobild für den rechten Blickwinkel ebenfalls durch die gleiche Verarbeitung erzeugt.
Zu jeder Zeit zum Anfordern des Videobilds sendet die Stereokamera-ECU 6 das Verschlusssignal S9 und die Informationen über die optische Verarbeitung S8. Wenn das Verschlusssignal S9 empfangen wird, berechnet der Fahrzeugverhaltenssimulator 1 die Kamerablickwinkelkoordinaten und Stellung S1 zur Zeit des Signalempfangs und informiert die Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3 über den Empfang. Wenn sie über die Kamerablickwinkelkoordinaten und die Stellung S1 informiert wird, erzeugt die Erzeugungsfunktion für ein Video für einen Blickwinkel 2, 3 das CG-Videobild S3 der gemeldeten Kamerablickwinkelkoordinaten und Stellung S1 und sendet das CG-Videobild zu der optischen Filterfunktion 4. Gemäß den Informationen über die optische Verarbeitung S8, die von der Stereokamera-ECU 6 empfangen werden, führt die optische Filterfunktion 4 eine optische Bildverarbeitung auf dem empfangenen CG-Videobild aus, um eine Ausgabe für die Stereokamera-ECU 6 bereitzustellen, und hält das verarbeitete Videobild. Zu der Zeit für die Stereokamera-ECU 6, das nächste Verschlusssignal S9 anzufordern, sendet die optische Filterfunktion 4 das optisch verarbeitete Videobild S5 zu der Kameraformatumsetzungsfunktion 5 zur Umsetzung in ein mit der Stereokamera-ECU 6 kompatibles Signalformat. Die Kameraformatumsetzungsfunktion 5 setzt das so empfangene optisch bearbeitete Videobild S5 in ein mit der Stereokamera-ECU kompatibles Kameraformat um und sendet das resultierende Videobild zu der Stereokamera-ECU 6.
Ein CG-Video durch die optische Bearbeitung, die keinen Deckungsfehler zwischen dem linken und dem rechten Blickwinkelvideobild produziert, kann durch Fertigstellen der Bearbeitung der linken und rechten Kamerabilder innerhalb einer Verschlusszeit und Senden der Daten zu der nächsten Verschlusszeit bereitgestellt werden.
Gemäß der ersten Ausführungsform wie vorstehend beschrieben enthält die Auswertungseinrichtung: Eine Videoerzeugungsfunktion 2, 3, die das Simulationsvideobild, das das durch die Kamera aufgenommene Außenansichtsvideobild simuliert, erzeugt; die optische Filterfunktion 4, die die optische Bildverarbeitung auf dem Simulationsvideobild ausführt, um das aus der Kamera ausgegebene Videobild zu simulieren; und die Kamerabildverarbeitungseinheit (Stereokamera-ECU 6, Stereokameramodell 7), die die Erkennungsverarbeitung unter Verwendung des verarbeiteten Videobilds ausführt, um das Fahrzeugsteuersignal zu erzeugen. Somit kann die Auswertungseinrichtung die Kamerabildverarbeitungseinheit unter Verwendung eines virtuellen Videobilds, das der optischen Bildverarbeitung für Helligkeit und Verzerrung, die durch das Auswertungsobjekt angefordert ist, unterzogen wird, korrekt auswerten.
Falls das CG-Videobild, dessen Helligkeit basierend auf den Informationen aus der Stereokamera-ECU 6 verändert ist, gezeichnet wird, nimmt die Last auf dem System zu. Deshalb führt die optische Filterfunktion 4 die optische Bildverarbeitung auf dem durch die Videoerzeugungsfunktionen 2, 3 erzeugten Simulationsvideobild aus, so dass das Simulationsvideobild, das mit der Anforderung von der Stereokamera-ECU 6 konform ist, erzeugt werden kann, während die Systemlast reduziert wird.
Die Operationen der Stereokamera-ECU können manchmal abhängig von der Helligkeit variieren. Zu der Zeit des Lernens durch die Stereokamera-ECU 6 ist es effektiv, Videobilder des gleichen Objekts, die sich nur in der Helligkeit unterscheiden, zu verwenden. Jedoch besitzen Live-Videobilder oder CG-Videobilder, die unter spezifizierten Bedingungen erzeugt werden, nur ein Helligkeitsniveau. Das macht es für die ECU schwierig, an unterschiedlichen Helligkeitsniveaus zu lernen. Gemäß der Ausführungsform werden jedoch Videobilder in der CG-Umgebung erzeugt, so dass Videobilder des gleichen Objekts unter unterschiedlichen Bedingungen erzeugt werden können. Das ermöglicht es der Stereokamera-ECU 6, basierend auf genaueren Helligkeitsspezifikationen als die Helligkeitsbedingungen von Live-Videobildern adäquat zu lernen.
Ferner weist die Ausführungsform den Fahrzeugverhaltenssimulator 1 auf, der das Verhalten des mit der Kamera ausgestatteten Fahrzeugs und seine Umgebung simuliert, während die Videoerzeugungsfunktionen 2, 3 die CG-Videobilder basierend auf der Ausgabe aus dem Fahrzeugverhaltenssimulator 1 erzeugen. Somit kann ein CG-Video, das mit dem Fahrzeugweg konform ist, erzeugt werden.
Die Einrichtung enthält die Kameraformatumsetzungsfunktion 5, die das Datenformat des durch die optische Filterfunktion 4 bearbeiten Videobilds in das zur Eingabe in die Stereokamera-ECU 6 geeignete umsetzt. Deshalb können, wenn die Auswertungseinrichtung in einem realen Fahrzeug installiert ist, die Videodaten in dem mit der Stereokamera-ECU 6 kompatiblen Format (z. B. RGB-Pixeldaten, die aus der Bildaufnahmevorrichtung ausgegeben werden) in die Stereokamera-ECU 6 eingegeben werden, so dass die Stereokamera-ECU 6 korrekt ausgewertet werden kann.
Gemäß der ersten Ausführungsform ist die Kamera eine Facettenaugen-Kamera, die wenigstens das Videobild für den linken Blickwinkel und das Videobild für den rechten Blickwinkel aufnimmt. Andererseits ist eine Kamera gemäß einer vierten Ausführungsform eine Monokularkamera, die ein einzelnes Video aufnimmt. Die Erfindung ist auch an unterschiedliche Anzahlen von Kameras (Bildaufnahmevorrichtungen) angepasst.
Die optische Filterfunktion 4 führt wenigstens eines aus der Verstärkungsanpassungsverarbeitung, der Retuschierverarbeitung, der Rauschenverarbeitung und der Verzerrungsverarbeitung aus. Deshalb kann die Ausführungsform ein Videobild erzeugen, das dem durch die Bildaufnahmevorrichtung über das optische System wie z. B. reale Objektive aufgenommenen äquivalent ist.
Zweite Ausführungsform
9 ist ein Diagramm, das eine beispielhafte Konfiguration des HILS, wobei die optische Filterfunktion 4 in eine Videoerzeugungsfunktion integriert ist, gemäß einer Ausführungsform hiervon zeigt. Gemäß einer zweiten Ausführungsform führen die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel und die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel die optische Bildverarbeitung aus, wenn sie das CG-Video erzeugen. In der folgenden Beschreibung der zweiten Ausführungsform sind vorwiegend Unterschiede gegenüber der ersten Ausführungsform beschrieben. Gleiche Bezugszeichen beziehen sich auf die entsprechenden funktionalen Komponenten der ersten Ausführungsform, und auf ihre Beschreibung ist verzichtet.
Eine Auswertungsumgebung zur Auswertung der Stereokamera-ECU 6, in die das CG-Video S7 eingegeben wird, enthält: der Fahrzeugverhaltenssimulator 1, die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel, die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel und die Kameraformatumsetzungsfunktion 5.
Der Fahrzeugverhaltenssimulator 1 berechnet das Verhalten des Fahrzeugs in vorbestimmten Zeitabständen (z. B. 1 Millisekunde) durch Berechnen der linken und rechten Kamerakoordinaten und der Stellung des in dem Simulationsraum vorhandenen Fahrzeugs. Das Fahrzeugverhalten wird unter Verwendung sowohl der Informationen über die Operationen durch den Fahrer als auch der Fahrzeugsteuerinformationen S10, die die Fahrpedalbetätigung, die Bremsenbetätigung, den Lenkwinkel und dergleichen enthalten, die durch die Stereokamera-ECU 6 eingegeben werden, berechnet. Der Fahrzeugverhaltenssimulator sendet die berechneten Koordinaten für den linken Blickwinkel und die Stellung S1 zu der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel und die berechneten Koordinaten für den rechten Blickwinkel und Stellung S2 zu der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel. Ferner sendet der Fahrzeugverhaltenssimulator die Fahrzeuginformationen S11 wie z. B. die Fahrzeuggeschwindigkeit zu der Stereokamera-ECU 6.
Die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel erzeugt ein optisch bearbeitetes Videobild für den linken Blickwinkel S5 aus den Koordinaten für den linken Blickwinkel und der Stellung S1, die durch den Fahrzeugverhaltenssimulator 1 berechnet werden, und den Informationen über die optische Verarbeitung S8, die aus der Stereokamera-ECU 6 ausgegeben werden, und sendet das Videobild zu der Kameraformatumsetzungsfunktion 5 zu der Zeit der Eingabe des Verschlusssignals S9.
Die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel erzeugt ein optisch bearbeitetes Videobild für den rechten Blickwinkel S6 aus den Koordinaten für den rechten Blickwinkel und der Stellung S2, die durch den Fahrzeugverhaltenssimulator 1 berechnet werden, und den Informationen über die optische Verarbeitung S8, die aus der Stereokamera-ECU 6 ausgegeben werden, und sendet das Videobild zu der Kameraformatumsetzungsfunktion 5 zu der Zeit der Eingabe des Verschlusssignals S9.
Die Kameraformatumsetzungsfunktion 5 setzt das optisch verarbeitete und eingegebene Videobild für den linken Blickwinkel S5 und Videobild für den rechten Blickwinkel S6 in das CG-Video S7 um, das hinsichtlich Hardware und Software mit einer Kamera-I/F kompatibel ist, so dass es durch die Stereokamera-ECU 6 empfangen wird.
Die Stereokamera-ECU 6 empfängt die Eingaben des CG-Videos S7, die mit der Kamera-I/F kompatibel sind, und die Fahrzeuginformationen S11, wie z. B. die Fahrzeuggeschwindigkeit, und gibt die Fahrzeugsteuerinformationen S10 wie z. B. die Fahrpedalbetätigung, Bremsenbetätigung und Lenkwinkel zu dem Fahrzeugverhaltenssimulator 1 auf einer Basis nach Bedarf aus. Ferner gibt die Stereokamera-ECU 6 die Informationen über die optische Verarbeitung S8, die Belichtungsinformationen und dergleichen, die durch die Stereokamera-ECU 6 angefordert sind, enthalten, zu der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel und der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel aus. Darüber hinaus steuert die Stereokamera-ECU 6 die Zeit zum Anfordern des Videobilds durch Ausgeben des Verschlusssignals S9, das die Zeit zum Anfordern eines Videobilds angibt, zu der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel, der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel und dem Fahrzeugverhaltenssimulator 1.
Nachstehend wird die Beschreibung auf dem linken Videobild vorgenommen in einem Fall, in dem die gleiche Operation für sowohl das linke als auch das rechte Videobild ausgeführt wird. Die gleiche Verarbeitung wie diejenige für das linke Videobild wird für das rechte Videobild, auf deren Beschreibung verzichtet wird, ausgeführt.
10 ist ein Diagramm, das eine Konfiguration einer Erzeugungsfunktion für ein Video für einen Blickwinkel 2, 3, die die optische Filterfunktion gemäß der Ausführungsform enthält, zeigt. Obwohl 10 die Konfiguration der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel zeigt, weist auch die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel die gleiche Konfiguration auf.
Die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel enthält: die CG-Umgebungsinformationen 201, die Koordinateninformationsempfangseinheit 202, die Blickwinkelvideo-CG-Erzeugungseinheit 203 und die CG-Videosendeeinheit 204. Die Blickwinkelvideo-CG-Erzeugungseinheit 203 enthält die optische Filterfunktion 4. Die Blickwinkelvideo-CG-Erzeugungseinheit 203 enthält die optische Filterfunktion 4 und erzeugt das CG-Video durch Ausführen von Bildverarbeitung mit Hilfe der Verstärkungsanpassungseinheit 402, der Retuschierverarbeitungseinheit 403, der Rauschenverarbeitungseinheit 404 und der Verzerrungsverarbeitungseinheit 405.
Wenn sie die Blickwinkelkoordinaten und die Stellung S1, die durch den Fahrzeugverhaltenssimulator 1 berechnet sind, empfängt, sendet die Koordinateninformationsempfangseinheit 202 die berechneten Blickwinkelkoordinaten und Stellung zu der Blickwinkelvideo-CG-Erzeugungseinheit 203.
In einem virtuellen Raum, der durch die CG-Umgebungsinformationen 201 spezifiziert ist, erzeugt die Blickwinkelvideo-CG-Erzeugungseinheit 203 ein CG-Video gemäß den Blickwinkelkoordinaten und der Stellung S1, die durch die Koordinateninformationsempfangseinheit 202 umgesetzt sind. Basierend auf den Informationen über die optische Verarbeitung S8, die durch die Stereokamera-ECU 6 eingegeben werden, erzeugt die Blickwinkelvideo-CG-Erzeugungseinheit 203 das optisch verarbeitete Videobild durch Ausführen der Verarbeitung mit Hilfe der Verstärkungsanpassungseinheit 402, der Retuschierverarbeitungseinheit 403, der Rauschenverarbeitungseinheit 404 und der Verzerrungsverarbeitungseinheit 405 und sendet das Videobild zu der CG-Videosendeeinheit 204. Die CG-Videosendeeinheit 204 kann außerdem einen Puffer zum Speichern des Videobilds enthalten.
Zu der Zeit der Eingabe des Verschlusssignals S9 aus der Stereokamera-ECU 6 sendet die CG-Videosendeeinheit 204 das optisch verarbeitete Videobild für den linken Blickwinkel S5 zu der Kameraformatumsetzungsfunktion 5.
11 ist ein Ablaufdiagramm, das Operationen der individuellen Funktionen, die den HILS bilden, gemäß der Ausführungsform zeigt.
Die Stereokamera-ECU 6 sendet das Verschlusssignal S9 und die Informationen über die optische Verarbeitung S8 zu jeder Zeit der Anforderung für das Videobild. Wenn er das Verschlusssignal S9 empfängt, berechnet der Fahrzeugverhaltenssimulator 1 die Kamerablickwinkelkoordinaten und Stellung S1 zur Zeit des Signalempfangs und sendet das Berechnungsergebnis zu der Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3. Wenn ihr die Kamerablickwinkelkoordinaten und die Stellung S1 gemeldet werden, erzeugt die Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3 ein CG-Videobild der gemeldeten Kamerablickwinkelkoordinaten und Stellung S1. Gemäß den Informationen über die optische Verarbeitung S8, die von der Stereokamera-ECU 6 empfangen werden, führt die Erzeugungsfunktionen für ein Video für einen Blickwinkel die optische Bildverarbeitung auf dem empfangenen CG-Videobild S3 aus, um das CG-Videobild S5 zu erzeugen, das zu der Stereokamera-ECU 6 auszugeben ist. Das erzeugte Videobild wird durch die Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3 gehalten. Zu der Zeit für die Stereokamera-ECU 6, das nächste Verschlusssignal S9 anzufordern, sendet die Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, 3 das optisch verarbeitete Videobild S5 zu der Kameraformatumsetzungsfunktion 5 zur Umsetzung in ein mit der Stereokamera-ECU 6 kompatibles Signalformat. Die Kameraformatumsetzungsfunktion 5 setzt das so empfangene optisch bearbeitete Videobild S5 in das Kameraformat um und sendet das resultierende Videobild zu der Stereokamera-ECU 6.
Gemäß der zweiten Ausführungsform wie vorstehend beschrieben ist eine Verarbeitungszeit für die CG-Videoerzeugung wegen der optischen Filterfunktion 4, die in der Videoerzeugungsfunktion 2, 3 angeordnet ist, länger als diejenige der ersten Ausführungsform. Die Anzahl von Prozessen, die zu der Videoerzeugung gehören, wie z. B. Eingabe/Ausgabe von Informationen in den / aus dem Puffer und Datenübertragung, reduziert sein. Deshalb kann die Stereokamera-ECU 6 schneller ausgewertet werden.
Dritte Ausführungsform
12 ist ein Diagramm, das eine beispielhafte Konfiguration von SILS unter Verwendung einer optischen Filterfunktion gemäß einer dritten Ausführungsform hiervon zeigt. Gemäß der dritten Ausführungsform ist die Funktion der Stereokamera-ECU 6 der ersten Ausführungsform durch ein Stereokameramodell 7, das durch Software gebildet ist, implementiert, so das Formt der Daten, die in das Stereokameramodell 7 eingegeben werden, nicht umgesetzt werden muss. Das verneint die Notwendigkeit der Kameraformatumsetzungsfunktion 5. In der folgenden Beschreibung der dritten Ausführungsform sind vorwiegend Unterschiede gegenüber der ersten Ausführungsform beschrieben. Gleiche Bezugszeichen beziehen sich auf die entsprechenden funktionalen Komponenten der ersten Ausführungsform, und auf ihre Beschreibung ist verzichtet.
Eine Auswertungsumgebung zur Auswertung des Stereokameramodells7, in die das CG-Video S7 eingegeben wird, enthält: den Fahrzeugverhaltenssimulator 1, die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel, die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel und die optische Filterfunktion 4.
Der Fahrzeugverhaltenssimulator 1 berechnet das Verhalten des Fahrzeugs in vorbestimmten Zeitabständen (z. B. 1 Millisekunde) durch Berechnen der linken und rechten Kamerakoordinaten und der Stellung des in dem Simulationsraum vorhandenen Fahrzeugs. Das Fahrzeugverhalten wird unter Verwendung sowohl der Informationen über die Operationen durch den Fahrer als auch der Fahrzeugsteuerinformationen S10, die Fahrpedalbetätigung, Bremsenbetätigung, Lenkwinkel und dergleichen enthalten, die aus der Stereokamera-ECU 6 eingegeben werden, berechnet. Der Fahrzeugverhaltenssimulator sendet die berechneten Koordinaten für den linken Blickwinkel und die Stellung S1 zu der Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel und die berechneten Koordinaten für den linken Blickwinkel und Stellung S2 zu der Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel. Ferner sendet der Fahrzeugverhaltenssimulator auch die Fahrzeuginformationen S11 wie z. B. die Fahrzeuggeschwindigkeit zu der Stereokamera-ECU 6.
Die Erzeugungsfunktion 2 für ein Video für den linken Blickwinkel erzeugt das Videobild für den linken Blickwinkel S3 aus den linken Blickwinkelkoordinaten und der Stellung S1, die durch den Fahrzeugverhaltenssimulator 1 berechnet sind, und sendet das Videobild zu der optischen Filterfunktion 4.
Die Erzeugungsfunktion 3 für ein Video für den rechten Blickwinkel erzeugt ein Videobild für den rechten Blickwinkel S4 aus den rechten Blickwinkelkoordinaten und der Stellung S2, die durch den Fahrzeugverhaltenssimulator 1 berechnet sind, und sendet das Videobild zu der optischen Filterfunktion 4.
Die optische Filterfunktion 4 erzeugt das Videobild für den linken Blickwinkel S5 und das Videobild für den rechten Blickwinkel S6 durch optische Verarbeitung der Videobilder für den linken und den rechten Blickwinkel S4, S3 für Helligkeit, Rauschen und dergleichen gemäß den Informationen über die optische Verarbeitung S8, die aus der Stereokamera-ECU 6 ausgegeben werden, und sendet die Videobilder S5, S6 zu der Kameraformatumsetzungsfunktion 5 zur Zeit eines Verschlusssignals S9.
Das Stereokameramodell 7 empfängt die optisch verarbeiteten Bilder für den linken und den rechten Blickwinkel S5, S6 und die Fahrzeuginformationen S11, wie z. B. die Fahrzeuggeschwindigkeit, und gibt die Fahrzeugsteuerinformationen S10 wie z. B. die Fahrpedalbetätigung, Bremsenbetätigung und Lenkwinkel auf einer Basis nach Bedarf zu dem Fahrzeugverhaltenssimulator 1 aus. Ferner gibt das Stereokameramodell 7 die Informationen über die optische Verarbeitung S8, die Belichtungsinformationen und dergleichen enthalten, die durch die Stereokamera-ECU 6 angefordert sind, und das Verschlusssignal S9, das die Zeit zum Anfordern eines Videobilds angibt, zu der optischen Filterfunktion 4 zur Zeit des Anforderung des Videobilds aus.
Das Verschlusssignal S9 wird auch zu dem Fahrzeugverhaltenssimulator 1 ausgegeben.
Das heißt, die Konfiguration zum Simulieren der Stereokamera als einen der Außenansichtserkennungssensoren kann durch die Hardware (HiLS) wie durch die erste und zweite Ausführungsform dargestellt gebildet sein oder kann durch die Software (SiLS) wie durch die dritte Ausführungsform dargestellt gebildet sein.
Gemäß der dritten Ausführungsform wie vorstehend beschrieben wird die Stereokamera-ECU, die durch die Hardware gebildet ist, mit Hilfe von Software simuliert. Die Steuerlogik der Stereokamera-ECU kann verifiziert werden, ohne durch die Hardware-Spezifikationen (z. B. Signalpegel) der Stereokamera-ECU beeinflusst zu werden.
Vierte Ausführungsform
13 ist ein Diagramm, das eine beispielhafte Konfiguration des HILS einer Monokularkamera gemäß einer vierten Ausführungsform zeigt. In der folgenden Beschreibung der vierten Ausführungsform sind vorwiegend Unterschiede gegenüber der ersten Ausführungsform beschrieben. Gleiche Bezugszeichen beziehen sich auf die entsprechenden funktionalen Komponenten der ersten Ausführungsform, und auf ihre Beschreibung ist verzichtet.
Eine Auswertungsumgebung zur Auswertung der Stereokamera-ECU 6, in die das CG-Video S7 eingegeben wird, enthält: den Fahrzeugverhaltenssimulator 1, die Erzeugungsfunktionen für ein Video für einen Blickwinkel 2, die optische Filterfunktion 4 und die Kameraformatumsetzungsfunktion 5. Die Prozesse der einzelnen Funktionen sind gleich denen der ersten Ausführungsform.
Die Kamera, die einer der Außenansichtserkennungssensoren ist, kann die Facettenaugen-Kamera (wie z. B. die Stereokamera) sein, wie sie durch die erste bis dritte Ausführungsform dargestellt ist, oder kann die Monokularkamera sein, wie sie durch die vierte Ausführungsform dargestellt ist. Die Erfindung schränkt die Anzahl von Bildaufnahmevorrichtungen der Kamera nicht ein. Die Erfindung ist auch auf eine Facettenaugen-Kamera anwendbar, die drei oder mehr Augen aufweist (ein System, das ein Rundumansichtvideobild mit einer Ansicht von oben nach unten erzeugt).
Es wird darauf hingewiesen, dass die Erfindung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt ist und eine Vielzahl von Modifikationen und äquivalenten Komponenten enthält, sofern solche Modifikationen und äquivalente Komponenten nicht von dem Schutzbereich der Erfindung anderweitig abweichen. Die vorstehenden Ausführungsformen sind beispielsweise genaue Darstellungen zum Verdeutlichen der Erfindung. Die Erfindung ist nicht notwendigerweise auf diejenigen, die alle vorstehend beschriebenen Komponenten enthalten, beschränkt. Irgendeine Komponente einer Ausführungsform kann durch irgendeine Komponente einer anderen Ausführungsform ersetzt werden. Ferner kann eine Komponente einer Ausführungsform zu der Anordnung einer anderen Ausführungsform hinzugefügt werden. Ein Teil der Anordnung jeder Ausführungsform erlaubt das Hinzufügen irgendeiner Komponente einer anderen Ausführungsform, ihr Weglassen oder ihr Ersetzen.
Einige der oder alle vorstehend beschriebenen Komponenten, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen können durch Hardware oder beispielsweise durch Konstruierten spezieller integrierter Schaltungen implementiert sein. Anderweitig können die vorstehend beschriebenen Komponenten, Funktionen, Verarbeitungseinheiten, Verarbeitungsmittel und dergleichen durch Software, die Programme für den Prozessor interpretiert und ausführt, um die einzelnen Funktionen zu erreichen, implementiert sein.
Informationen, die Programme, Tabellen, Dateien und dergleichen zum Implementieren der einzelnen Funktionen enthalten, können in einem Speichermedium wie z. B. einem Speicher, einer Festplatte oder SSD (Festkörperlaufwerk) oder in einem Aufzeichnungsmedium wie z. B. einer IC-Karte, SD-Karte und DVD gespeichert sein.
Die Zeichnungen zeigen nur die Steuerleitungen und Datenleitungen, die als für den Zweck der Erläuterung notwendig erachtet werden, zeigen jedoch nicht notwendigerweise alle Steuerleitungen und Datenleitungen, die zum Zweck der Implementierung erforderlich sind. In der Realität kann angenommen werden, dass fast alle Komponenten miteinander verbunden sind.
Fünfte Ausführungsform
14 zeigt eine Blickwinkelvideo-CG-Videoeinheit als ein Beispiel für eine Ausführungsform. Gemäß der Ausführungsform wird in einem Fall, in dem ein CG-Videobild mit Licht durch reale Objektive erzeugt wird, ein RGB-Bild unter Verwendung von Licht aus einer in dem virtuellen Raum vorhandenen Lichtquelle gezeichnet. Informationen über Licht aus der Lichtquelle enthalten die Helligkeit, die in den Informationen über die optische Verarbeitung S8 enthalten ist. Farbtiefe existiert in dem erzeugten RGB-Videobild, das mehrere Elemente von Farbinformationen aufweist. Die Farbtiefe kann beliebig eingestellt und als Xbit ausgedrückt sein. Die Farbtiefeninformationen sind den Helligkeitsinformationen zugeordnet. Die Helligkeitsinformationen und die Farbtiefeninformationen können beliebig eingestellt sein. Es ist auch möglich, auf ein eindimensionales oder zweidimensionales Argument Bezug zu nehmen.
15 zeigt eine Verstärkungsanpassungsverarbeitungseinheit 402 zum optischen Verarbeiten des CG-Videos. Die Einheit empfängt die in 14 gezeigten RGB-Daten und führt eine optische Verarbeitung genau wie die durch eine reale Kamera ausgeführte unter Berücksichtigung der CMOS-Eigenschaft aus. Die Verstärkungsanpassungsverarbeitungseinheit 402 empfängt die RGB-Daten, um die Verstärkungsanpassung unter Berücksichtigung der CMOS-Eigenschaft oder dergleichen vorzunehmen. Die Verstärkungsanpassung ermöglicht auch Bezugnahme auf das eindimensionale oder zweidimensionale Argument. Somit reproduziert die Anpassungseinheit die reale CMOS-Eigenschaft.
Gemäß der Ausführungsform erzeugt die Videoerzeugungseinheit beliebige Videodaten basierend auf den aus der Kamerabildverarbeitungseinheit ausgegebenen Helligkeitsinformationen.
Ferner werden die Videodaten durch Umsetzen der Helligkeitsinformationen unter Verwendung einer beliebigen zuweisbaren Variablen erzeugt.
Ferner werden die durch die Videoerzeugungseinheit erzeugten Videodaten in Videodaten, die den optischen Sensor simulieren, umgesetzt.
Ferner werden die durch die Videoerzeugungseinheit erzeugten Videodaten in die Videodaten, die den optischen Sensor simulieren, unter Verwendung einer beliebigen zuweisbaren Variablen umgesetzt.
Bezugszeichenliste

1: Fahrzeugverhaltenssimulator
2: Erzeugungsfunktion für ein Video für den linken Blickwinkel
3: Erzeugungsfunktion für ein Video für den rechten Blickwinkel
4: optische Filterfunktion
5: Kameraformatumsetzungsfunktion
6: Stereokamera-ECU
7: Stereokameramodell
101: Simulationsmodell
102:: Sensormodell
103: Umgebungsmodell
104: Fahrzeugmodell
105: Blickwinkelinformations-I/F
106: CAN-I/F
201: CG-Umgebungsinformationen
202: Koordinateninformationsempfangseinheit
203: Blickwinkelvideo-CG-Erzeugungseinheit
204: CG-Videosendeeinheit
401: CG-Videoempfangseinheit
402: Verstärkungsanpassungsverarbeitungseinheit
403: Retuschierverarbeitungseinheit
404: Rauschenverarbeitungseinheit
405: Verzerrungsverarbeitungseinheit
406: CG-Videosendeeinheit
501: CG-Videoempfangseinheit
502: Farbfilterumsetzungseinheit
503: Videoformatumsetzungseinheit
504: CG-Videosende-I/F
601: CG-Videoempfangs-I/F
602: Bilderkennungseinheit
603: Fahrzeugsteuereinheit
S1: Koordinaten für den linken Blickwinkel und Stellung
S2: Koordinaten für den rechten Blickwinkel und Stellung
S3: Videobild für den linken Blickwinkel
S4: Videobild für den rechten Blickwinkel
S5: optisch verarbeitetes Videobild für den linken Blickwinkel
S6: optisch verarbeitetes Videobild für den rechten Blickwinkel
S7: Blickwinkelvideo kompatibel mit der Kamera-I/F
S8: Informationen über die optische Verarbeitung
S9: Verschlusssignal
S10: Fahrzeugsteuerinformationen wie z. B. Fahrpedalbetätigung, Bremsenbetätigung und Lenkwinkel
S11: Fahrzeuginformationen

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2010026845 [0004]
JP 201026845 [0006]

Claims

Auswertungseinrichtung für ein Kamerasystem, das eine Kamera zum Aufnehmen eines Videobilds der Außenansicht enthält, die umfasst: eine Videoerzeugungseinheit zum Erzeugen eines Simulationsvideobilds, das das durch die Kamera aufgenommene Videobild der Außenansicht simuliert; eine optische Filtereinheit, die eine optische Bildverarbeitung auf dem Simulationsvideobild ausführt, um das aus der Kamera ausgegebene Videobild zu simulieren; und eine Kamerabildverarbeitungseinheit, die ein Fahrzeugsteuersignal durch Ausführen einer Erkennungsverarbeitung unter Verwendung des verarbeiteten Videobilds erzeugt.
Auswertungseinrichtung nach Anspruch 1, die ferner umfasst: einen Simulator zum Simulieren des Verhaltens eines mit der Kamera ausgestatteten Fahrzeugs in dessen Umgebung; und eine Umsetzungseinheit zum Umsetzen eines Formats des Videos, wobei die Videoerzeugungseinheit das Simulationsvideobild basierend auf einer Ausgabe aus dem Simulator erzeugt, die Umsetzungseinheit das verarbeitete Videobild in ein Videobild in einem mit der Kamerabildverarbeitungseinheit kompatiblen Format umsetzt, und die Kamerabildverarbeitungseinheit nach der Bildverarbeitung die Erkennungsverarbeitung unter Verwendung des in das Format umgesetzten Videos ausführt und somit ein Fahrzeugsteuersignal erzeugt.
Auswertungseinrichtung nach Anspruch 2, wobei die optische Filtereinheit an der Videoerzeugungseinheit angeordnet ist.
Auswertungseinrichtung nach Anspruch 2, wobei die Kamera eine Facettenaugen-Kamera ist, die wenigstens ein Videobild für den linken Blickwinkel und ein Videobild für den rechten Blickwinkel erzeugt, die Videoerzeugungseinheit ein Simulationsvideobild für den linken Blickwinkel und ein Simulationsvideobild für den rechten Blickwinkel basierend auf der Ausgabe aus dem Simulator erzeugt; die optische Filtereinheit die optische Bildverarbeitung auf jedem aus dem Simulationsvideobild für den linken Blickwinkel und dem Simulationsvideobild für den rechten Blickwinkel basierend auf der Ausgabe aus der Kamerabildverarbeitungseinheit ausführt und das optisch verarbeitete Simulationsvideobild für den linken Blickwinkel und das optisch verarbeitete Simulationsvideobild für den rechten Blickwinkel synchron gemäß einem Zeitsignal aus der Kamerabildverarbeitungseinheit ausgibt; die Umsetzungseinheit das verarbeitete Simulationsvideobild für den linken Blickwinkel und das verarbeitete Simulationsvideobild für den rechten Blickwinkel in Videobilder in einem mit der Kamerabildverarbeitungseinheit kompatiblen Format umsetzt; und die Kamerabildverarbeitungseinheit die Erkennungsverarbeitung unter Verwendung der im Format umgesetzten Videobilder nach der Bildverarbeitung ausführt und somit das Fahrzeugsteuersignal erzeugt.
Auswertungseinrichtung nach Anspruch 4, wobei die optische Filtereinheit an der Videoerzeugungseinheit angeordnet ist.
Auswertungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die optische Filtereinheit wenigstens eines aus einer Verstärkungsanpassungsverarbeitung, einer Retuschierverarbeitung, einer Rauschenverarbeitung und einer Verzerrungsverarbeitung ausführt.
Auswertungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die Kamerabildverarbeitungseinheit eine elektronische Steuereinheit ist, die in dem Kamerasystem implementiert ist.
Auswertungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die Kamerabildverarbeitungseinheit ein Kamerafunktionssimulator ist, der durch Software implementiert ist.
Verfahren, wobei eine Arithmetikvorrichtung eine Auswertung eines Kamerasystems, das eine Kamera zum Aufnehmen eines Videobilds der Außenansicht enthält, bereitstellt, das umfasst: einen Videoerzeugungsschritt, wobei die Arithmetikvorrichtung ein Simulationsvideobild der durch die Kamera aufgenommenen Außenansicht erzeugt; einen Schritt zum optischen Filtern, wobei die Arithmetikvorrichtung eine optische Bildverarbeitung auf dem Simulationsvideobild ausführt, um das aus der Kamera ausgegebene Videobild zu simulieren; und einen Kamerabildverarbeitungsschritt, wobei die Arithmetikvorrichtung ein Fahrzeugsteuersignal durch Ausführen eines Erkennungsschritts unter Verwendung des verarbeiteten Videobilds erzeugt.
Auswertungseinrichtung nach einem der Ansprüche 1 bis 5, wobei die optische Filtereinheit die Reihenfolge einer Verstärkungsanpassungsverarbeitung, einer Retuschierverarbeitung, einer Rauschenverarbeitung und einer Verzerrungsverarbeitung beliebig ändert.
Auswertungseinrichtung nach Anspruch 2, wobei die Videoerzeugungseinheit beliebige Videodaten basierend auf den aus der Kamerabildverarbeitungseinheit ausgegebenen Helligkeitsinformationen erzeugt
Auswertungseinrichtung nach Anspruch 11, wobei die Erzeugung der Videodaten aus den Helligkeitsinformationen durch Umsetzen der Helligkeitsinformationen in eine beliebige zuweisbare Variable erreicht wird.
Auswertungseinrichtung nach Anspruch 6, wobei die durch die Videoerzeugungseinheit erzeugten Videodaten in Videodaten, die einen optischen Sensor simulieren, umgesetzt werden.
Auswertungseinrichtung nach Anspruch 13, wobei die durch die Videoerzeugungseinheit erzeugten Videodaten in die Videodaten, die den optischen Sensor simulieren, unter Verwendung einer beliebigen zuweisbaren Variablen umgesetzt werden.