DE102019210333A1

DE102019210333A1 - Kamerasystem, ereignisaufzeichnungssystem und ereignisaufzeichnungsverfahren

Info

Publication number: DE102019210333A1
Application number: DE102019210333.2A
Authority: DE
Inventors: Toshikazu Murao; Kazuyoshi Akiba; Tetsuya Kimata; Kazuhiko Kobayashi; Takayuki Kimura
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-07-19
Filing date: 2019-07-12
Publication date: 2020-01-23
Also published as: US11425337B2; US20200029052A1; CN110738751A; JP7151234B2; US20220353476A1; CN110738751B; JP2020014144A

Abstract

Um eine Verkomplizierung einer Konfiguration eines Fahrzeugs zu verringern, während eine Erhöhung des Gewichts des Fahrzeugs verhindert wird, enthält ein Kamerasystem (100), das an einem Fahrzeug 10 montiert ist, eine Abbildungseinheit (110) zum Aufnehmen von mehreren Rahmenbildern einer Außenseite des Fahrzeugs je Zyklus und einen Bildprozessor (124) zum Erlangen der Rahmenbilder von der Abbildungseinheit (110) und zum Trennen der Rahmenbilder in eine erste gegebene Anzahl von Rahmenbildern als ein Erkennungsziel und eine zweite gegebene Anzahl von Rahmenbildern als ein Speicherziel, das in einem Bildrekorder (160) zu sichern ist. Der Bildprozessor (124) gibt die ersten und zweiten gegebenen Anzahlen von Rahmenbilder, die zu erkennen und zu sichern sind, separat aus.

Description

Hintergrund
Technisches Gebiet
Ausführungsformen der vorliegenden Erfindung betreffen ein Kamerasystem, ein Ereignisaufzeichnungssystem und ein Ereignisaufzeichnungsverfahren.
Stand der Technik
In den vergangenen Jahren wurden immer häufiger Fahrunterstützungssysteme in Fahrzeugen installiert. In einem derartigen Fahrunterstützungssystem wird herkömmlich eine Kamera, die in dem Fahrzeug installiert ist, verwendet, um Hindernisse und andere Fahrzeuge oder Ähnliches zu erkennen. Außerdem wird als eine Vorrichtung zum Abbilden und Aufzeichnen von Szenen auf Vorder- und Rückseiten des Fahrzeugs entweder eine sogenannte Dash-Kamera oder ein Fahrtrekorder in großem Ausmaß verwendet. Eine Technologie zum Aufzeichnen verschiedener Ereignisse, die in einem Fahrzeug auftreten, wurde vor Kurzem ebenfalls vorgeschlagen.
Im Allgemeinen müssen verschiedene Vorrichtungen an dem Fahrzeug montiert werden, um eine Fahrzeugsteuerung wie beispielsweise die Fahrunterstützung und Ähnliches und ein Aufzeichnen verschiedener Daten zu erzielen. Als Ergebnis wird die Konfiguration des Fahrzeugs komplizierter, und es erhöht sich dessen Gewicht.
Somit schafft die vorliegende Erfindung die unten beschriebenen Ausführungsformen zum Lösen der obigen Probleme.
Zusammenfassung
Ein Aspekt der vorliegenden Erfindung schafft ein Kamerasystem (100), das an einem Fahrzeug montiert ist. D.h., das Kamerasystem (100) ist an einem Fahrzeug (10) montiert und enthält eine Bildgebungseinheit bzw. Abbildungseinheit (110) zum Aufnehmen von mehreren Rahmenbildern einer Außenseite des Fahrzeugs je Zyklus und einen Bildprozessor (124) zum Erlangen der Rahmenbilder von der Abbildungseinheit (110) und zum Trennen der Rahmenbilder in eine erste gegebene Anzahl von Rahmenbildern als einem Erkennungsziel und eine zweite gegebene Anzahl von Rahmenbildern als einem Speicherziel, das in einem Bildrekorder (160) zu sichern ist. Der Bildprozessor (124) gibt die erste gegebene Anzahl von Rahmenbildern und die zweite gegebene Anzahl von Rahmenbildern, die zu erkennen und zu sichern sind, jeweils separat aus.
Da die Abbildungseinheit unter Verwendung der Steuerungseinheit ein Abbilden zum Erlangen von Rahmenbildern durchführen kann, die als ein Erkennungs- und Speicherziel verwendet werden, wird gemäß dem einen Aspekt der vorliegenden Erfindung die Konfiguration des Fahrzeugs nicht komplizierter, während gleichzeitig das Gewicht des Fahrzeugs nicht vergrößert wird.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Ereignisaufzeichnungssystem (20) geschaffen. D.h., das Ereignisaufzeichnungssystem (20) enthält: das oben angegebene Kamerasystem (100); eine Fahrzeugsteuerung (130) zum Durchführen eines Erkennens des Rahmenbildes des Erkennungsziels und eines Steuerns des Fahrzeugs entsprechend einem Ergebnis der Erkennung; und einen Sensor (140) zum Erfassen eines Verhaltens des Fahrzeugs. Das Ereignisaufzeichnungssystem enthält außerdem einen Kommunikator (150) zum Kommunizieren mit einer externen Einrichtung bzw. Ausrüstung (30) und zum Erlangen von externen Daten von der externen Ausrüstung (30), wenn die Sensoreinheit ein Ereignis betreffend ein Verhalten eines eigenen Fahrzeugs erfasst und wenn die externe Ausrüstung (30) dem Kommunikator ein Ereignis betreffend ein Verhalten des Fahrzeugs meldet, das an dem anderen Fahrzeug auftritt. Die externen Daten enthalten mindestens Vor-Ereignisdaten und/oder Nach-Ereignisdaten. Die Vor-Ereignisdaten repräsentieren Phänomene, die vor dem Auftreten des Ereignisses vorhanden sind bzw. waren, und die Nach-Ereignisdaten repräsentieren Phänomene, die nach dem Auftreten des Ereignisses vorhanden sind bzw. waren. Das Ereignisaufzeichnungssystem enthält außerdem einen Rekorder (160) zum Aufzeichnen der Ereignisse, der Rahmenbilder des Speicherziels und der externen Daten, wobei die Ereignisse, die Rahmenbilder des Speicherziels und die externen Daten einander zugeordnet werden.
Somit werden gemäß dem Ereignisaufzeichnungssystem des anderen Aspekts der vorliegenden Erfindung Rahmenbilder von dem Kamerasystem aufgenommen und erkannt, und das Fahrzeug kann auf der Grundlage der Rahmenbilder gesteuert werden. Wenn ein Ereignis betreffend das Verhalten des Fahrzeugs auftritt, nimmt das Kamerasystem Rahmenbilder auf und speichert diese Rahmenbilder in Zuordnung zu dem Ereignis. Somit wird eine Konfiguration des Fahrzeugs nicht kompliziert, wodurch das Gewicht des Fahrzeugs nicht erhöht wird.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Verfahren zum Aufzeichnen eines Ereignisses unter Verwendung eines Kamerasystems (100), das an einem Fahrzeug (10) montiert ist, geschaffen. D.h., das Verfahren enthält die Schritte: Aufnehmen von mehreren Rahmenbildern einer Außenseite des Fahrzeugs in einem gegebenen Zyklus mit einer Abbildungseinheit (110); Erlangen der Rahmenbilder von der Abbildungseinheit (110) zur Verarbeitung in einem Bildprozessor (124); und Trennen der Rahmenbilder in dem Bildprozessor (124) in eine erste gegebene Anzahl von Rahmenbildern als einem Erkennungsziel und eine zweite gegebene Anzahl von Rahmenbildern als einem Speicherziel, das in einem Bildrekorder (160) zu sichern ist. Das Verfahren enthält außerdem die folgenden Schritte: getrenntes Ausgeben der ersten gegebenen Anzahl von Rahmenbildern und der zweiten gegebenen Anzahl von Rahmenbildern, die zu erkennen und zu sichern sind, jeweils von dem Bildprozessor (124); Empfangen der ersten gegebenen Anzahl von Rahmenbildern und der zweiten gegebenen Anzahl von Rahmenbildern in einer Fahrzeugsteuerung (130); und Durchführen einer Erkennung des Rahmenbilds des Erkennungsziels. Das Verfahren enthält außerdem die folgenden Schritte: Steuern des Fahrzeugs entsprechend einem Ergebnis der Erkennung; entweder Erfassen eines Ereignisses betreffend ein Verhalten eines eigenen Fahrzeugs unter Verwendung des Sensors oder Empfangen einer Meldung hinsichtlich eines Ereignisses betreffend ein Verhalten eines anderen Fahrzeugs, das an dem anderen Fahrzeug auftritt, von der externen Ausrüstung (30); und Kommunizieren mit einer externen Ausrüstung (30) und Erlangen von externen Daten von der externen Ausrüstung (30) über einen Kommunikator (150), wobei die externen Daten mindestens Vor-Ereignisdaten, die Phänomene repräsentieren, die vor dem Auftreten des Ereignisses vorhanden sind bzw. waren, und/oder Nach-Ereignisdaten enthalten, die Phänomene repräsentieren, die nach dem Auftreten des Ereignisses vorhanden sind bzw. waren. Das Verfahren enthält außerdem den Schritt eines Aufzeichnens der Ereignisse, der Rahmenbilder des Speicherziels und der externen Daten in dem Rekorder (160), wobei die Ereignisse, die Rahmenbilder des Speicherziels und die externen Daten einander zugeordnet werden.
Die vorliegende Erfindung kann mit verschiedenen anderen Kategorien als das Kamerasystem und das Ereignisaufzeichnungssystem sowie das entsprechende Verfahren erzielt werden. Es können beispielsweise ein Verfahren zum Steuern eines Kamerasystems oder eines Ereignisaufzeichnungssystems, ein Computerprogramm zur Durchführung des Steuerungsverfahrens und ein nichtflüchtiges computerlesbares Aufzeichnungsmedium, auf dem das Computerprogramm gespeichert ist, ebenfalls Teil der vorliegenden Erfindung sein.
Figurenliste
Ein besseres Verständnis der vorliegenden Erfindung und der zugehörigen Vorteile werden anhand der folgenden detaillierten Beschreibung mit Bezug auf die zugehörigen Zeichnungen deutlich. Es zeigen:

1 ein Blockdiagramm, das eine Umrisskonfiguration eines beispielhaften Fahrzeugs gemäß einer ersten Ausführungsform der vorliegenden Erfindung darstellt;
2 ein Diagramm, das ein beispielhaftes Abbildungssystem darstellt, das durch ein Kamerasystem der ersten Ausführungsform der vorliegenden Erfindung implementiert wird;
3 ein Diagramm, das beispielhafte Daten darstellt, die von einem Rekorder in den jeweiligen verschiedenen Ausführungsformen der vorliegenden Erfindung aufgezeichnet werden;
4 ein Diagramm, das ein beispielhaftes Abbildungssystem darstellt, das von einem Kamerasystem gemäß einer zweiten Ausführungsform der vorliegenden Erfindung implementiert wird;
5 ein Diagramm, das beispielhafte Kennlinien von Rahmenbildern darstellt, die jeweils als Sicherungs-und Erkennungsziele gemäß einer Ausführungsform der vorliegenden Erfindung verwendet werden;
6 ein Diagramm, das eine beispielhafte Tonkorrekturverarbeitung gemäß einer dritten Ausführungsform der vorliegenden Erfindung darstellt;
7 ein Blockdiagramm, das eine beispielhafte Umrisskonfiguration eines Fahrzeugs gemäß einer vierten Ausführungsform der vorliegenden Erfindung darstellt;
8 ein Diagramm, das eine beispielhafte Flacker-Unterdrückungsfunktion des Fahrzeugs gemäß der vierten Ausführungsform der vorliegenden Erfindung darstellt;
9 ein Diagramm, das eine beispielhafte Bildkorrekturverarbeitung darstellt, die gemäß der vierten Ausführungsform der vorliegenden Erfindung implementiert wird;
10 ein Diagramm, das ein erstes beispielhaftes System einer Verbindung zwischen einem Kamerasystem und einer ECU (elektronische Steuereinheit) gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
11 ein Diagramm, das ein zweites beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
12 ein Diagramm, das ein drittes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
13 ein Diagramm, das ein viertes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
14 ein Diagramm, das ein fünftes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
15 ein Diagramm, das ein sechstes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
16 ein Diagramm, das ein siebtes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
17 ein Diagramm, das ein achtes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
18 ein Diagramm, das ein neuntes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;
19 ein Diagramm, das ein zehntes beispielhaftes System einer Verbindung zwischen dem Kamerasystem und der ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt; und
20 ein Diagramm, das ein elftes beispielhaftes System einer Verbindung zwischen einem Kamerasystem und einer ECU gemäß einer Ausführungsform der vorliegenden Erfindung darstellt;

Detaillierte Beschreibung
Im Folgenden wird mit Bezug auf die Zeichnungen, in denen gleiche Bezugszeichen identische oder entsprechende Teile in den verschiedenen Ansichten bezeichnen, und insbesondere mit Bezug auf 1 und die anwendbaren Zeichnungen, eine beispielhafte Konfiguration einer ersten Ausführungsform der vorliegenden Erfindung beschrieben.
Wie es in 1 dargestellt ist, enthält ein Fahrzeug 10 gemäß der ersten Ausführungsform der vorliegenden Erfindung ein Ereignisaufzeichnungssystem 20. Das Ereignisaufzeichnungssystem 20 besteht aus einem Kamerasystem 100, einer Fahrzeugsteuerung 130 und einer Sensoreinheit 140. Das Ereignisaufzeichnungssystem 20 enthält außerdem einen Kommunikator 150 und einen Rekorder 160.
Das Kamerasystem 100 ist an dem Fahrzeug 10 als eine Abbildungsausrüstung zum Abbilden einer Szene einer Umgebung des Fahrzeugs 10 montiert. Insbesondere bildet das Kamerasystem 100 gemäß dieser Ausführungsform der vorliegenden Erfindung eine vordere Szene des Fahrzeugs 10 ab. Das Kamerasystem 100 enthält eine Abbildungseinheit 110 und einen Erkennungsverarbeitungs-Chip 120.
Unter Verwendung eines darin installierten Abbildungselements 112 führt die Abbildungseinheit 110 ein Abbilden durch und erlangt mehrere Rahmenbilder in einem gegebenen Zyklus zu unterschiedlichen Zeiten. Die Abbildungseinheit 110 ist vorzugsweise eine bordeigene Abbildungseinheit, die Rahmenbilder mit einer Rahmenrate von 10 bis 60 Rahmen je Sekunde erlangt. In dieser Ausführungsform der vorliegenden Erfindung führt die Abbildungseinheit 110 ein Abbilden durch und erlangt vierzig Rahmenbilder je Sekunde in einem regelmäßigen Intervall von beispielsweise 25 ms (Millisekunden).
Der Erkennungsverarbeitungs-Chip 120 enthält eine Belichtungssteuerung 122, einen Bildprozessor 124 und einen Erkennungsprozessor 126. Die Belichtungssteuerung 122 führt ein Steuern einer Belichtung des Abbildungselements 112 durch. Der Bildprozessor 124 erlangt mehrere Rahmenbilder von der Abbildungseinheit 110 und gibt mindestens einen Teil der Rahmenbilder als Rahmenbilder aus, die bei einer Bilderkennung verwendet werden (d.h. als ein Erkennungsziel). Der Bildprozessor 124 gibt außerdem einen Teil der Rahmenbilder als ein Speicherziel, das in einem Rekorder 160 zu sichern ist, getrennt von den Rahmenbildern des Erkennungsziels aus. D.h., der Bildprozessor 124 erlangt die Rahmenbildervon der Abbildungseinheit 110 und gibt eine gegebene Anzahl Rahmenbilder, die in einer Bilderkennung verwendet werden, und die übrigen Rahmenbilder, die in dem Rekorder 160 zu sichern sind, getrennt aus. Der Erkennungsprozessor 126 führt auf der Grundlage der Rahmenbilder, die von dem Bildprozessor 124 als Bilderkennungsziel ausgegeben werden, eine Erkennung von Objekten und Zeichen (d.h. Verkehrszeichen bzw. -schilder) durch, die in einem gegebenen Abbildungsbereich erscheinen, der von der Abbildungseinheit 110 abgedeckt wird. Ein Erkennungsergebnis, das durch den Erkennungsprozessor 126 erlangt wird, wird an die zu sichernden Rahmenbilder angehängt, und die Rahmenbilder werden dann an die Fahrzeugsteuerung 130 und den Rekorder 160 ausgegeben.
Die Fahrzeugsteuerung 130 führt eine Fahrunterstützungssteuerung zur Unterstützung des Fahrzeugs 10 beim Bremsen, Lenken und Beschleunigen entsprechend dem Erkennungsergebnis der Objekte und der Zeichen, das durch den Erkennungsprozessor 126 erhalten wird, durch. Zusätzlich zu den oben beschriebenen Informationen, die durch das Kamerasystem 100 erhalten werden, kann die Fahrzeugsteuerung 130 Informationen verwenden, die von mindestens einem aus einem Millimeterwellenradar und/oder oder einem LIDAR (Abstandserfassung mittels Licht) erhalten werden, um die Unterstützungssteuerung auszuführen.
Die Sensoreinheit 140 ist eine Vorrichtung zum Erfassen eines Verhaltens des Fahrzeugs 10. Die Sensoreinheit 140 enthält beispielsweise einen Beschleunigungssensor, einen Gyro-Sensor und einen Fahrzeuggeschwindigkeitssensor. Die Sensoreinheit 140 kann einen Ortungssensor, einen Lenkwinkelsensor und einen Gierratensensor enthalten. Die Sensoreinheit 140 kann außerdem einen Temperatursensor und einen Türsensor zum Erfassen von Zuständen einer Verriegelung und Entriegelung einer Tür oder Ähnlichem enthalten.
Der Kommunikator 150 ist eine Ausrüstung bzw. Einrichtung zum drahtlosen Kommunizieren mit einer externen Einrichtung bzw. Ausrüstung 30. Die externe Ausrüstung 30 kann beispielsweise einen Computer-Server, der über ein Internet verbunden ist, eine Ausrüstung, die in einem anderen Fahrzeug angeordnet ist, um sogenannte Fahrzeug-zu-Fahrzeug-Kommunikationen auszuführen, und eine Ausrüstung zum Ausführen von sogenannten Straße-zu-Fahrzeug-Kommunikationen enthalten. Die externe Ausrüstung 30 kann auch eine Mobilvorrichtung wie beispielsweise ein Smartphone und Ähnliches, die von einem Fußgänger befördert wird, enthalten. Die externe Ausrüstung 30 kann verschiedene Aufzeichnungen von Ereignissen beinhalten.
Der Rekorder 160 dient als ein Fahrtrekorder zum Aufzeichnen von Rahmenbildern, die von dem Kamerasystem ausgegeben werden und zu sichern sind. Außerdem dient der Rekorder 160 als ein Ereignisdatenrekorder zum Aufzeichnen von Informationen, die ein Verhalten des Fahrzeugs 10 repräsentieren, das von der Sensoreinheit 140 erfasst wird. Außerdem kann die Aufzeichnungseinheit 160 dieser Ausführungsform der vorliegenden Erfindung verschiedene Arten von Daten, die durch den Kommunikator 150 erhalten werden, zusammen mit einem Rahmenbild, das zu sichern ist, und Informationen, die das Verhalten des Fahrzeugs 10 repräsentieren, aufzeichnen. Der Rekorder 160 kann beispielsweise diese Informationen entweder auf einem darin installierten Aufzeichnungsmedium oder in der externen Ausrüstung 30, die drahtlos über den Kommunikator 150 verbunden ist, aufzeichnen. Außerdem kann das Rahmenbild, das von dem Rekorder 160 als ein Speicherziel aufgezeichnet wird, von einer Bildreproduktionsausrüstung betrachtet werden. Hier kann die Bildreproduktionsausrüstung aus einem Monitor, der entweder in dem Fahrzeug 10 oder in dem Rekorder 160 selbst installiert ist, oder einem Endgerät bestehen, das in der Lage ist, ein Rahmenbild zu lesen, das in einem Aufzeichnungsmedium gespeichert ist, das von dem Rekorder 160 entfernbar ist.
Im Folgenden wird ein beispielhaftes Abbildungssystem, das durch das Kamerasystem 100 gemäß einer Ausführungsform der vorliegenden Erfindung implementiert wird, mit Bezug auf 2 beschrieben. Wie es in der obersten Reihe der Zeichnung dargestellt ist, werden sechs Rahmenbilder (d.h. ein Rahmenbild DR, ein Rahmenbild A1, ein Rahmenbild DR, ein Rahmenbild A2, ein Rahmenbild DR und ein Rahmenbild A3) in einem Zyklus aufgenommen. Unter diesen Rahmenbildern sind die drei Rahmenbilder DR Speicherziele, die an den Rekorder 160 auszugeben sind. Im Gegensatz dazu werden die Rahmenbilder A1, A2 und A3 von dem Erkennungsprozessor 126 als Erkennungsziele zur Durchführung einer Bilderkennung verwendet. D.h., in dieser Ausführungsform der vorliegenden Erfindung werden mehrere Rahmenbilder, die von der Abbildungseinheit 110 je Zyklus aufgenommen werden, teilweise in der Bilderkennung verwendet, und einige andere Rahmenbilder aus den Rahmenbildern werden zur Sicherung verwendet. Außerdem werden in dieser Ausführungsform der vorliegenden Erfindung die jeweiligen zu sichernden Rahmenbilder während jedes Intervalls zwischen (benachbarten zwei) Rahmenbildern aufgenommen, die in der Bilderkennung verwendet werden.
Das Rahmenbild A1 wird beispielsweise von dem Erkennungsprozessor 126 als ein Erkennungsziel verwendet, um eine Fahrzeugspur zu identifizieren. Somit verlängert die Belichtungssteuerung 122 die Belichtungszeit und stellt diese auf länger ein, um in der Lage zu sein, die Fahrzeugspur sogar bei Nacht zu erkennen. Das Rahmenbild A2 wird beispielsweise von dem Erkennungsprozessor 126 als ein Erkennungsziel verwendet, um Zeichen auf den Verkehrszeichen bzw. -schildern zu identifizieren. Somit stellt die Belichtungssteuerung 122 eine kürzere Belichtungszeit ein, die zur Zeichenerkennung geeignet ist. Das Rahmenbild A3 wird von dem Erkennungsprozessor 126 als ein Erkennungsziel verwendet, um ein Objekt zu erfassen. Somit stellt die Belichtungssteuerung 122 erneut eine längere Belichtungszeit ein, um in der Lage zu sein, dieses sowohl bei Tag als auch bei Nacht zu erkennen. Wenn diese Rahmenbilder A1, A2 und A3 als Erkennungsziele aufgenommen werden, stellt die Belichtungssteuerung 122 jeweilige Belichtungszeiten entsprechend einer Helligkeit eines ähnlichen Rahmenbilds als einem Erkennungsziel, das in einem vorherigen Zyklus aufgenommen wurde, ein.
Im Folgenden werden beispielhafte Daten mit Bezug auf 3 beschrieben, die von dem Rekorder 160 aufgezeichnet werden. Der Rekorder 160 kann dazu dienen, Informationen, die ein Ereignis betreffend ein Verhalten des Fahrzeugs 10 repräsentieren, (erstens) aufzuzeichnen, Informationen, die von einem eigenen Fahrzeug erhalten werden, wenn das Ereignis auftritt (beispielsweise ein zu sicherndes Rahmenbild), (zweitens) aufzuzeichnen, und Informationen, die von der externen Ausrüstung 30 erhalten werden, wenn das Ereignis auftritt, (drittens) aufzuzeichnen. Der Rekorder 160 kann diese Aufzeichnungen von Informationen vor der Aufzeichnung einander zuordnen.
Wenn beispielsweise ein Beschleunigungssensor, der in der Sensoreinheit 140 enthalten ist, eine Vibration in einem parkenden Fahrzeug erfasst, zeichnet der Rekorder 160 Ereignisinformationen auf, die angeben, dass die Vibration erfasst wird. Gleichzeitig zeichnet der Rekorder 160 als eine Aufzeichnung von Informationen, die von dem eigenen Fahrzeug erhalten werden, wenn die Vibration erfasst wird, Rahmenbilder (beispielsweise Vorderbilder), die von dem Kamerasystem 100 aufgenommen werden, als Speicherziel, Positionsinformationen, die von dem Ortungssensor erlangt werden, und eine Zeit auf. Der Rekorder 160 zeichnet außerdem eine Temperatur, die durch einen Temperatursensor erhalten wird, Belichtungsbedingungen, die in dem Kamerasystem 100 verwendet werden, und Fahrzeuginformationen auf. Die Fahrzeuginformationen enthalten beispielsweise einen Lenkwinkel, eine Fahrzeuggeschwindigkeit und eine Beschleunigung. Wenn ein Millimeterwellenradar, ein Sonar und ein Beleuchtungsstärkenmessgerät in dem Fahrzeug 10 installiert sind, können Informationen, die von diesen Vorrichtungen erhalten werden, enthalten sein. Zusätzlich zu den Ereignisinformationen, die die Erfassung einer Vibration angeben, zeichnet der Rekorder 160 Bilddaten einer Sicherheitskamera, die in der Nähe des eigenen Fahrzeugs angeordnet ist, als Nach-Ereignisdaten auf, die von der externe Ausrüstung 30 erhalten werden. Das Fahrzeug 10 kann beispielsweise die Bilddaten auf der Grundlage der Straße-zu-Straße-Kommunikation, die über den Kommunikator 150 durchgeführt wird, erhalten, wenn die Vibration erfasst wird. Hier sind die Nach-Ereignisdaten Daten, die äquivalent zu verschiedenen Phänomenen sind, die nach der Erfassung des Ereignisses auftreten. Durch Aufzeichnen derartiger Informationen in dem Rekorder 160, wenn die Vibration auftritt, können einen Zustand und eine Situation, in denen das Fahrzeug 10 beispielsweise gestohlen wird bzw. wurde, auf der Grundlage der Informationen analysiert werden, die auf diese Weise aufgezeichnet werden.
Außerdem kann der Rekorder 160 Ereignisinformationen aufzeichnen, die eine Kollision des Fahrzeugs 10 angeben, wenn der Beschleunigungssensor, der in der Sensoreinheit 140 enthalten ist, ein Ereignis derart erfasst, dass das Fahrzeug 10 mit einem Hindernis kollidiert. Gleichzeitig mit dem Aufzeichnen des Ereignisses kann der Rekorder 160 eine Aufzeichnung durch Sammeln von ähnlichen Informationen von dem eigenen Fahrzeug wie denjenigen, die aufgezeichnet werden, wenn die Vibration erfasst wird, durchführen. Außerdem zeichnet der Rekorder 160 Informationen auf, die von der externen Ausrüstung 30 als Vor-Ereignisdaten durch Ausführen von Kommunikationen mit einem externen Server-Computer, einer Straße-zu-Fahrzeug-Kommunikation oder einer Zwischen-Fahrzeuge-Kommunikation (d.h. Fahrzeug-zu-Fahrzeug-Kommunikation) und Ähnlichem erhalten werden. Hier sind die Vor-Ereignisdaten äquivalent zu Daten, die ein Phänomen beschreiben, das vor dem Ereignis auftritt. Insbesondere wenn eine Kollision erfasst wird, erlangt das Fahrzeug 10 Wetterinformationen und Verkehrsstauinformationen, die vor der Kollision erzeugt wurden, von dem externen Server-Computer und zeichnet diese Informationen auf. Wenn eine Kollision erfasst wird, erlangt das Fahrzeug 10 unter Verwendung der Straße-zu-Fahrzeug-Kommunikation sowohl Zustandsinformationen, die einen Zustand eines Ampelsignals vor dem Auftreten der Kollision repräsentieren, von der externen Ausrüstung 30 und Bilddaten, die vor dem Auftreten der Kollision durch eine an einer Kreuzung installierte Kamera erzeugt wurden. Das Fahrzeug 10 kann diese Informationen aufzeichnen. Wenn eine Kollision erfasst wird, erlangt das Fahrzeug 10 außerdem unter Verwendung der Zwischen-Fahrzeuge-Kommunikation Bilddaten, die vor der Kollision in einem anderen Fahrzeug erlangt wurden, das in der Nähe des eigenen Fahrzeugs fährt, und zeichnet diese auf. Außerdem erlangt das Fahrzeug 10 als Informationen, die von der externen Ausrüstung 30 zu erhalten sind, Bilddaten, die nach der Kollision durch die Kamera erlangt werden, die in der Umgebung des eigenen Fahrzeugs installiert ist, über den Kommunikator 150. Das Fahrzeug 10 zeichnet dann diese Daten als Nach-Ereignisdaten auf. D.h., die Nach-Ereignisdaten sind Daten, die ein Phänomen angeben, das nach dem Ereignis auftritt. Da der Rekorder 160 Informationen zusammen mit der Erfassung einer Kollision aufzeichnet und nicht nur die Informationen des eigenen Fahrzeugs, sondern auch andere Arten von Informationen verwendet, die von außerhalb des eigenen Fahrzeugs erhalten werden, kann die Ursache der Kollision schnell analysiert werden. Im Folgenden werden die Vor-Ereignisdaten oder die Nach-Ereignisdaten, die von der externen Ausrüstung 30 erhalten werden, manchmal auch einfach als externe Daten bezeichnet.
Außerdem können die verschiedenen Ereignisse durch eine gegebene externe Kommunikationsvorrichtung gemeldet werden. Der Rekorder 160 kann beispielsweise eine Meldung hinsichtlich des Verhaltens in Bezug auf ein Ereignis, das in einem anderen Fahrzeug auftritt (beispielsweise Kollisionen), über entweder die Zwischen-Fahrzeuge-Kommunikation oder die Straße-zu-Fahrzeug-Kommunikation empfangen und auf ähnliche Weise die oben genannten verschiedenen Informationen aufzeichnen. In einer derartigen Situation wird eine Identifizierungsnummer des Fahrzeugs, das das Ereignis erzeugt hat, beispielsweise in Zuordnung zu Nach-Ereignisdaten aufgezeichnet. Insbesondere kann das andere Fahrzeug durch Aufzeichnen unterschiedlicher Arten von Informationen in dem Rekorder 160 sogar dann, wenn das andere Fahrzeug die Kollision verursacht hat, einen objektiven Beweis im Vergleich zu den selbst gesammelten Informationen sammeln. Sogar wenn das andere Fahrzeug ernsthaft beschädigt ist, so dass eine Aufzeichnung in dessen Rekorder 160 zerstört ist, kann eine Ursache der Kollision des anderen Fahrzeugs auf der Grundlage der Informationen, die in dem Fahrzeug 10 aufgezeichnet sind, analysiert werden.
Wenn eine feste Kamera entweder an einer Kreuzung oder einer Kurve installiert ist, um das Auftreten einer Kollision an diesem Punkt zu schätzen, kann der Rekorder 160 ein Signal, das das Schätzergebnis angibt, von einer gegebenen Ausrüstung , die mit der festen Kamera verbunden ist, über eine Straße-zu-Fahrzeug-Kommunikation empfangen und das Aufzeichnen der oben genannten verschiedenen Informationen auf ähnliche Weise starten. D.h., da sich die Menge an von dem Rekorder 160 aufzuzeichnenden Vor-Ereignisdaten erhöht, können damit detaillierte Umstände bis zu dem Auftreten der Kollision effektiv analysiert werden.
Da gemäß dieser Ausführungsform der vorliegenden Erfindung die Abbildungseinheit 110 sowohl Rahmenbilder, die in einem Erkennungsprozess als ein Erkennungsziel verwendet werden, als auch Rahmenbilder, die durch den Rekorder 160 aufgezeichnet und gesichert werden, abbilden und erlangen kann, kann eine Verkomplizierung des Fahrzeugs 10 entweder vermieden oder verringert werden, während eine Erhöhung des Gewichts des Fahrzeugs 10 vermieden werden kann.
Außerdem kann gemäß dieser Ausführungsform der vorliegenden Erfindung eine Fahrunterstützung auf der Grundlage von Rahmenbildern durchgeführt werden, die von einem Kamerasystem 100 als ein Erkennungsziel aufgenommen werden. Wenn ein Ereignis hinsichtlich eines Verhaltens des Fahrzeugs 10 auftritt, werden Rahmenbilder durch ein Kamerasystem 100 aufgenommen und gesichert und können in Zuordnung zu dem Ereignis aufgezeichnet werden. Somit kann eine Verkomplizierung des Fahrzeugs 10 entweder vermieden oder verringert werden, während eine Erhöhung des Gewichts des Fahrzeugs 10 verhindert wird.
Außerdem kann gemäß dieser Ausführungsform der vorliegenden Erfindung ein Kamerasystem 100 unabhängig von einem Zustand eines Startschalters eines Fahrzeug 10 (d.h. einem Einschaltzustand oder einem Ausschaltzustand) ein Abbilden zu jeder Zeit durchführen, und ein Rekorder 160 kann auf ähnliche Weise verschiedene Arten von Daten aufzeichnen. Wenn jedoch eine Restlebensdauer einer Batterie, die als Stromquelle für das Kamerasystem 100 und den Rekorder 160 dient, auf unterhalb eines gegebenen Pegels absinkt, können ein Abbilden und Aufzeichnen von Daten gestoppt werden.
Das Abbilden durch das Kamerasystem 100 und das Aufzeichnen der verschiedenen Daten durch den Rekorder 160 müssen nicht notwendiger Weise durchgeführt werden, wenn der Startschalter des Fahrzeugs 10 ausgeschaltet ist. In einer derartigen Situation können das Abbilden durch das Kamerasystem 100 und das Aufzeichnen der verschiedenen Daten durch den Rekorder 160 beim Empfangen eines Aufwecksignals von der Sensoreinheit 140 in im Wesentlichen demselben Startprozess wie er herkömmlich implementiert wird, wenn ein Startschalter eingeschaltet wird, um die Fahrt des Fahrzeugs 10 zu starten, gestartet werden. Es ist ebenfalls möglich, dass das Abbilden durch das Kamerasystem 100 und das Aufzeichnen der verschiedenen Daten durch den Rekorder 160 nach dem Empfang des Aufwecksignals durch schnelles Starten einer Fahrt des Fahrzeugs 10 in einem gegebenen Boot-Modus mit einer verringerten Startzeitdauer, die kleiner als diejenige ist, die bei einem normalen Startprozess verwendet wird, schnell initiiert werden. Bei einem derartigen Modus mit verringerter Startzeit kann beispielsweise ein Fehlererfassungsprozess wie beispielsweise ein Funktionssicherheitsüberprüfungsprozess und Ähnliches, der entweder in dem Fahrzeug 10 oder in verschiedenen Hilfseinrichtungen des Fahrzeugs 10 verwendet wird, übersprungen werden. Außerdem kann die Sensoreinheit 140 das Aufwecksignal senden, wenn eine Vibration des Fahrzeugs 10 durch den Beschleunigungssensor erfasst wird und wenn eine Tür des Fahrzeugs 10 auf abnorme Weise ohne Verwendung eines Schlüssels oder Ähnlichem entriegelt wird.
Außerdem können das Abbilden durch das Kamerasystem 100 und das Aufzeichnen der verschiedenen Daten durch den Rekorder 160 gestoppt werden, um Vorrichtungen zu schützen, wenn die von dem Temperatursensor erfasste Temperatur oberhalb eines gegebenen Pegels liegt. Bei einer derartigen Hochtemperaturumgebung kann eine Bilderkennung durch den Erkennungsprozessor 126 aufgrund der großen Verarbeitungslast gestoppt werden, während nur zu sichernde Rahmenbilder kontinuierlich ausgegeben werden.
Im Folgenden wird eine zweite Ausführungsform der vorliegenden Erfindung mit Bezug auf 4 beschrieben. In der ersten Ausführungsform der vorliegenden Erfindung, die in 2 dargestellt ist, werden die Rahmenbilder DR für die Sicherung zu Zeiten (d.h. Intervallen) zwischen Abbildungsbetrieben der Rahmenbilder A1, A2 und A3 der Erkennungsziele aufgenommen. Im Gegensatz dazu werden gemäß der zweiten Ausführungsform der vorliegenden Erfindung, die in 4 dargestellt ist, mehrere Rahmenbilder während eines Zyklus aufgenommen und als Rahmenbilder ausgegeben, die bei der Erkennung und teilweise gleichzeitig zur Sicherung zu verwenden sind. D.h., in dieser Ausführungsform der vorliegenden Erfindung werden einige Rahmenbilder als Erkennungsziel und gleichzeitig als ein Speicherziel ausgegeben, so dass diese Rahmenbilder teilweise gemeinsam als Erkennungs- und Speicherziel verwendet werden. Durch eine derartige Steuerung kann eine Verkomplizierung des Fahrzeugs 10 entweder vermieden oder verringert werden, während eine Erhöhung des Gewichts des Fahrzeugs 10 vermieden wird, da die Abbildungseinheit 110 ein Abbilden durchführen kann, um Rahmenbilder zu erlangen, die als Erkennungs- und Speicherziele dienen. Die übrigen Konfigurationen des Fahrzeugs 10 und des Kamerasystems 100, die in der zweiten Ausführungsform der vorliegenden Erfindung verwendet werden, sind im Wesentlichen dieselben wie in der ersten Ausführungsform der vorliegenden Erfindung.
Im Folgenden wird eine dritte Ausführungsform der vorliegenden Erfindung mit Bezug auf 5 beschrieben. In der dritten Ausführungsform der vorliegenden Erfindung verwendet der Bildprozessor 124 eine Tonkorrektur bzw. Farbtonkorrektur für jeweilige Rahmenbilder der Erkennungs- und Speicherziele. Die jeweiligen Konfigurationen des Fahrzeugs 10 und des Kamerasystems 100 der dritten Ausführungsform sind im Wesentlichen dieselben wie diejenigen der ersten Ausführungsform der vorliegenden Erfindung. Außerdem ist ein Verfahren zum Abbilden der jeweiligen Rahmenbilder als Erkennungs- und Speicherziele im Wesentlichen dasselbe wie in der zweiten Ausführungsform der vorliegenden Erfindung. D.h., in dieser Ausführungsform der vorliegenden Erfindung gibt der Bildprozessor 124 einige der Rahmenbilder, die sowohl zur Erkennung als auch zum Sichern verwendet werden, auf ähnliche Weise wie in der zweiten Ausführungsform der vorliegenden Erfindung aus.
In 5 sind beispielhafte Bildkennlinien jeweiliger Rahmenbilder von Erkennungs- und Speicherzielen dargestellt. Wie es dort dargestellt ist, wird in dieser Ausführungsform der vorliegenden Erfindung ein Prozess zum Erhöhen einer Helligkeit auf einen Bereich mit niedriger Helligkeit des Rahmenbilds des Erkennungsziels, so dass diese höher als diejenige des Rahmenbilds des Speicherziels ist, angewendet. Dieses geschieht aufgrund dessen, dass die Genauigkeit der Erkennung des Rahmenbilds als Erkennungsziel erhöht werden kann, wenn eine Helligkeit eines dunklen Bereichs nach heller korrigiert wird.
Wenn die Helligkeit des Bereichs mit niedriger Helligkeit des zu sichernden Rahmenbilds erhöht wird, weicht jedoch die Qualität des Bildes von einem tatsächlichen Ton bzw. Farbton ab, und das Bild ist nicht sowohl zur Betrachtung als auch zum Analysieren geeignet. Somit wendet der Bildprozessor 124 in dieser Ausführungsform der vorliegenden Erfindung unterschiedliche Toneinstellungen auf die Rahmenbilder der jeweiligen Erkennungs- und Speicherziele an.
6 stellt eine beispielhafte Folge zum Erlangen der Bildkennlinien dar, die in 5 dargestellt sind. Wie es hier dargestellt ist, wendet der Bildprozessor 124 in einem Tonkorrekturprozess, der in einem Vergleichsbeispiel verwendet wird, eine (erste) Gammakorrektur auf ein Ursprungsrahmenbild an, das von der Abbildungseinheit 110 erzeugt wird, wodurch das Rahmenbild als ein Erkennungsziel mit den in 5 dargestellten Kennlinien erzeugt wird. Der Bildprozessor 124 wendet dann eine umgekehrte Gammakorrektur auf das Rahmenbild des Erkennungsziels mit den Kennlinien der 5 an, um dessen Ton zurück zu demjenigen des Ursprungsrahmenbilds zu bringen. Der Bildprozessor 124 wendet dann eine (zweite) Gammakorrektur auf das Rahmenbild des Erkennungsziels an, das der umgekehrten Gammakorrektur unterzogen wurde, wodurch ein Rahmenbild des Speicherziels mit den in 5 dargestellten Kennlinien erzeugt wird. Im Gegensatz dazu wendet der Bildprozess 124 gemäß dieser Ausführungsform der vorliegenden Erfindung die Gammakorrektur auf ein Ursprungsrahmenbild (von der Abbildungseinheit 110 aufgenommen) an, um das Rahmenbild des Erkennungsziels mit den in 5 gezeigten Kennlinien zu erzeugen. Der Bildprozessor 124 wendet dann jedoch einzigartig eine Farbumwandlung auf das Rahmenbild des Erkennungsziels, das der Gammakorrektur unterzogen wurde, unter Verwendung einer gegebenen Umwandlungsformel an, wodurch das Rahmenbild des Speicherziels mit den in 5 gezeigten Kennlinien direkt erzeugt wird. Die Umwandlungsformel wird im Voraus beispielsweise derart erstellt, dass ideale Rahmenbilder, die sowohl zu Erkennungs- als auch zu Sicherungszwecken verwendet werden, jeweils auf der Grundlage von Ursprungsbildern derselben Szene erzeugt werden, und es wird ein Ausdruck, der eine Lücke zwischen Tönen jeweiliger idealer Rahmenbilder füllen kann, als Umwandlungsformel berechnet und als ein Datenteil der internen Daten gespeichert. Hier können mehrere Arten von Umwandlungsformeln auf ähnliche Weise entsprechend Belichtungsbedingungen, zu denen das Ursprungsrahmenbild erhalten (aufgenommen) wurde, erstellt werden, so dass der Bildprozessor 124 die Formel geeignet entsprechend der Belichtungsbedingung wechseln kann. Auch wenn diese Ausführungsform der vorliegenden Erfindung die Gammakorrektur auf das Ursprungsrahmenbild anwendet, um das Rahmenbild des Erkennungsziels auf der Grundlage des Ursprungsrahmenbilds zu erzeugen, ist die vorliegende Erfindung nicht darauf beschränkt, und es kann auf ähnliche Weise eine andere Bildkorrektur wie beispielsweise eine Helligkeitskorrektur, eine Kontrastkorrektur oder Ähnliches auf das Ursprungsrahmenbild angewendet werden, um das Rahmenbild des Erkennungsziels zu erzeugen. Außerdem ist die Bildkorrektur zum Erzeugen des Erkennungsrahmenbilds nicht auf eine Art beschränkt, und es können mehrere unterschiedliche Arten von Bildkorrekturen verwendet werden.
Wie es oben beschrieben wurde, wird gemäß dem Tonkorrekturprozess der dritten Ausführungsform der vorliegenden Erfindung ein Prozess zum Anwenden der umgekehrten Gammakorrektur auf das Rahmenbild des Erkennungsziels, um das Ursprungsrahmenbild erneut zu reproduzieren, nach dem Erzeugen des Rahmenbilds des Erkennungsziels unnötig. Als Ergebnis kann eine Verarbeitungslast des Bildprozessors 124 effektiv verringert werden.
Außerdem kann der Bildprozessor 124 dieser Ausführungsform der vorliegenden Erfindung bestimmen, ob es Tag oder Nacht ist, wenn beispielsweise das Ursprungsrahmenbild mittels einer automatischen Belichtungsverarbeitung aufgenommen wird. D.h., der Bildprozessor 124 kann dementsprechend auf der Grundlage des Bestimmungsergebnisses eine Umwandlungsformel wechseln, um das Rahmenbild des Speicherziels zu erzeugen. Außerdem kann der Bildprozessor 124 eine automatische Weißausgleichsverarbeitung und Farbreproduktionsverarbeitung auf das Rahmenbild des Speicherziels entsprechend einem Ergebnis eines Erfassens einer Farbtemperatur einer Straßenoberfläche in dem automatischen Weißausgleichsprozess anwenden.
Außerdem muss der Bildprozessor 124 eine Farbmatrixverarbeitung nicht auf ein Rahmenbild des Erkennungsziels anwenden, wohingegen die Farbmatrixverarbeitung auf ein Rahmenbild des Speicherziels angewendet wird. Damit kann ein Einfluss von Rauschen, das durch die Farbmatrixverarbeitung erzeugt wird, auf die Erkennungsverarbeitung des Erkennungsprozessors 126 verhindert werden, während die Farbreproduzierbarkeit des Rahmenbilds verbessert wird.
Im Folgenden wird eine vierte Ausführungsform der vorliegenden Erfindung mit Bezug auf 7 beschrieben. Wie es in 7 dargestellt ist, enthält die Abbildungseinheit 110 gemäß der vierten Ausführungsform der vorliegenden Erfindung einen ersten Fotodetektor 114, der ein hochempfindliches Pixel aufweist, und einen zweiten Fotodetektor 116, der ein niedrigempfindliches Pixel aufweist, dessen Empfindlichkeit niedriger als diejenige des hochempfindlichen Pixels ist. Ein Lichtempfangsbereich des ersten Fotodetektors 114 ist größer als derjenige des zweiten Fotodetektors 116. Dann werden in dem Kamerasystem 100 dieser Ausführungsform der vorliegenden Erfindung sowohl das hochempfindliche Pixel als auch das niedrigempfindliche Pixel verwendet, um ein HDR-Bild (Bild mit hochdynamischen Bereich) zu erzeugen, während eine Flacker-Unterdrückungsverarbeitung darauf angewendet wird. Hier meint HDR, dass ein Dynamikbereich des Bilds erweitert ist.
Im Folgenden wird ein beispielhaftes Abbildungssystem gemäß einer Ausführungsform der vorliegenden Erfindung mit Bezug auf das Zeitdiagramm der 8 beschrieben. Zunächst wird in der Ausführungsform der vorliegenden Erfindung angenommen, dass ein Ampelsignal einer Ampel, die an einer Straße angeordnet ist, wiederholt mit einem Intervall von 10 ms (Millisekunden) mit einem Tastverhältnis von 50 % in einem Einschaltzustand blinkt. Es wird außerdem angenommen, dass ein Intervall zwischen Abbildungsbetrieben der Abbildungseinheit 110 gleich 25 ms ist (d.h. 40 fps (Rahmen je Sekunde)). Eine Lichtquelle des Ampelsignals besteht beispielsweise aus einer lichtemittierenden Diode. In dem Abbildungssystem, das in 8 dargestellt ist, sind, da sich der Abbildungszyklus der Abbildungseinheit 110 von einem ganzzahligen Mehrfachen eines Blinkzyklus des Ampelsignals wie dargestellt unterscheidet, diese Zyklen asynchron zueinander. Hier kann der Abbildungszyklus der Abbildungseinheit 110 ein Zyklus sein, der selten synchron zu dem Lichtblinkzyklus des Ampelsignals ist, beispielsweise 36,7 ms (27,5 fps).
Außerdem stellt 8 einen Prozess eines Abbildungssystems eines Vergleichsbeispiels dar, in dem die Abbildungseinheit 110, die in der ersten Ausführungsform der vorliegenden Erfindung verwendet wird, ein Bild in den HDR bringt. D.h., in dem Abbildungssystem des Vergleichsbeispiels wird, da die Abbildungseinheit 110 nur eine einzige Art von Abbildungselement 112 aufweist, eine Belichtungszeitdauer anfänglich auf länger eingestellt, um ein helles Bild aufzunehmen. Nachdem das helle Bild aufgenommen wurde, wird die Belichtungszeitdauer verkürzt, um ein dunkles Bild aufzunehmen. Danach werden diese Bilder, die auf diese Weise durch Abbilden mit den jeweiligen Zeitdauern erhalten wurden, kombiniert, wodurch der HDR vollendet wird. Wenn jedoch ein derartiges Abbildungssystem verwendet wird, tritt die Belichtung wahrscheinlich auf, wenn ein Ampelsignal ausgeschaltet ist, wie es in 8 dargestellt ist. Auch wenn das Abbilden ausgeführt wird, wenn das Ampelsignal leuchtet, ist als Ergebnis dessen das Ampelsignal in einem Bild, das tatsächlich aufgenommen wird, ausgeschaltet, wodurch ein sogenanntes Flackern erzeugt wird.
Da in der Ausführungsform der vorliegenden Erfindung die Fotodetektoren 114 und 116 der Abbildungseinheit 110 das hochempfindliche Pixel und das niedrigempfindliche Pixel enthalten, führt die Abbildungseinheit 110 diesbezüglich eine Belichtung unter Verwendung dieser hochempfindlichen und niedrigempfindlichen Pixel gleichzeitig während einer Zeitdauer durch, die äquivalent zu einem Zyklus des Ampelsignals ist. Dann werden Bilder, die unter Verwendung der hochempfindlichen und niedrigempfindlichen Pixel aufgenommen werden, kombiniert und einem HDR-Prozess zugeführt. Die kombinierten Bilder werden dann an den Bildprozessor 124 ausgegeben. D.h., gemäß dieser Ausführungsform der vorliegenden Erfindung ist es durch gleichzeitiges Verwenden der hochempfindlichen und niedrigempfindlichen Pixel möglich, das Bild in den HDR zu bringen. Da die Belichtung eine Zeitdauer andauert, die einem Zyklus des Ampelsignals entspricht, kann unter Verwendung dieser hochempfindlichen und niedrigempfindlichen Pixel das Flackern verringert oder effektiv verhindert werden. D.h., die Abbildungseinheit 110 weist eine Flacker-Verringerungsfunktion auf.
Wie es in 9 dargestellt ist, wendet der Bildprozessor 124 gemäß einer Ausführungsform der vorliegenden Erfindung eine Toneinstellung auf ein Bild an, das bereits durch die Abbildungseinheit 110 in den HDR gebracht wurde. Insbesondere wird entsprechend einem Pixelwert (d.h. einem Helligkeitswert) des Bildes eine unterschiedliche Toneinstellung verwendet. Wenn beispielsweise die Pixelwerte in einem Bereich von 0 bis 255 liegen, werden Pixelwerte von 0 bis 127 auf Pixelwerte von 128 bis 255 erhöht, um ein dunkles Bild zu betonen bzw. aufzuhellen. Auf diese Weise wird eine Helligkeit eines dunklen Bereichs eines Bildes, das beispielsweise bei Nacht aufgenommen wird, stark betont bzw. erhöht. Als Ereignis kann das Bild derart korrigiert werden, dass es einen zur Bilderkennung geeigneten Ton unabhängig von dem Zeitpunkt des Abbildens aufweist.
Außerdem kann in der HDR-Verarbeitung dieser Ausführungsform der vorliegenden Erfindung eine Farbsättigung durch Steuern der Abbildungseinheit 110 zur Ausführung eines Abbildens beispielsweise durch feines Unterteilen der Belichtungszeitdauer in dem Abbildungszyklus vermieden werden. Andererseits kann eine Kapazität in der Abbildungseinheit 110 derart bereitgestellt werden, dass eine Sättigung sogar dann nicht erzeugt wird, wenn die Belichtungszeit verlängert wird.
Wie es zuvor in einer Ausführungsform der vorliegenden Erfindung gezeigt wurde, sind die jeweiligen Zyklen des Blinkens des Ampelsignals und des Abbildens asynchron zueinander. In dieser Ausführungsform der vorliegenden Erfindung kann jedoch das Flackern auch dann unterdrückt werden, wenn diese synchron zueinander sind, da die Belichtung unter Verwendung der hochempfindlichen und niedrigempfindlichen Pixel der Fotodetektoren 114 und 116 eine Zeitdauer andauert, die dem Blinkzyklus des Ampelsignals entspricht. Wenn die Belichtungszeit, die die Abbildungseinheit 110 benötigt, kleiner als der Blinkzyklus des Ampelsignals ist, und die Zyklen des Blinkens des Ampelsignals und des Abbildens des Bildes asynchron zueinander sind, kann eine Wahrscheinlichkeit eines Auftretens eines Flackerns zumindest verringert werden. Außerdem kann die Funktion zum Unterdrücken eines Flackerns durch Bewirken, dass die jeweiligen Zyklen des Blinkens des Ampelsignals und des Abbildens des Bildes asynchron zueinander sind, auch für das Kamerasystem 100 verwendet werden, das in den ersten bis dritten Ausführungsformen der vorliegenden Erfindung verwendet wird.
Im Folgenden werden verschiedene beispielhafte Verbindungssysteme, die das Kamerasystem 100 mit der ECU (elektronische Steuereinheit) 170 verbinden, mit Bezug auf die 10 bis 20 beschrieben. Die ECU 170 ist beispielsweise in mindestens einer bzw. einem aus der Fahrzeugsteuerung 130, der Sensoreinheit 140 und dem Rekorder 160 installiert, die in 1 dargestellt sind, und wird verwendet, um diese Vorrichtungen zu steuern. In dem im Folgenden beschriebenen Verbindungssystem ist es vorteilhaft, wenn das Kamerasystem 100 die jeweiligen Rahmenbilder der Erkennungs- und Speicherziele an die ECU 170 beispielsweise mit einer Übertragungsrate von 0,5 bis 10 Gigabyte pro Sekunde ausgibt.
In einem ersten Verbindungssystem, das in 10 dargestellt ist, sind das Kamerasystem 100 und die ECU 170 über einen LVDS-Sender 171 und einen LVDS-Empfänger 172 (LVDS: Differenzielle Signalisierung mit niedriger Spannung) verbunden. Zwischen dem Bildprozessor 124 und dem Erkennungsprozessor 126 ist eine Bildverzweigungsschaltung 125 angeordnet. Somit wird in dem ersten Verbindungssystem ein Bildausgang von dem Bildprozessor 124 durch die Bildverzweigungsschaltung 125 verzweigt, bevor dieser in den Erkennungsprozessor 126 eintritt sowie durch den LVDS-Sender 171 in die ECU 170 eintritt.
In einem zweiten Verbindungssystem, das in 11 dargestellt ist, sind das Kamerasystem 100 und die ECU 170 über zwei NICs (Netzwerkschnittstellensteuerungen) 173 und 174 verbunden. Eine Komprimierungsschaltung 127 ist zwischen der Bildverzweigungsschaltung 125 und der NIC 173 angeordnet. Somit wird in diesem beispielhaften Verbindungssystem der 11 ein Bild, das von dem Bildprozessor 124 ausgegeben wird, durch die Komprimierungsschaltung 127 komprimiert und dann an die ECU 170 ausgegeben.
Gemäß den oben beschriebenen ersten und zweiten Verbindungssystemen kann ein Bild, das für eine Aufzeichnung geeignet ist, auf einfache Weise erhalten werden, da das Bild, das von dem Bildprozessor 124 verarbeitet wird, verzweigt und von dem Kamerasystem 100 ausgegeben wird. Wenn eine Spezifikation des Abbildungselements 112 geändert wird, kann somit ein Bild, das dieselbe Bildqualität aufweist, erhalten werden. Außerdem kann ein gegebener Rahmen aus den Bildern ausgewählt werden. Die Abbildungsrate kann beispielsweise 120 fps betragen, während eine Ausgaberate 30 fps betragen kann. Außerdem kann ein Bilderkennungsergebnis, das durch den Bilderkennungsprozessor 126 erhalten wird, an ein Bild angehängt und zusammen mit diesem ausgegeben werden. Durch entweder Verschlüsseln eines Bildes oder Erzeugen einer Signatur für das Bild in der Bildverzweigungsschaltung 125 und/oder der Komprimierungsschaltung 127 kann außerdem beispielsweise die Authentizität des Ausgangsbilds garantiert werden.
In einem dritten Verbindungssystem, das in 12 dargestellt ist, sind der Bildprozessor 124 und die Bildverzweigungsschaltung 125 entgegengesetzt zu denen angeordnet, die in dem ersten Verbindungssystem der 10 angeordnet sind. Außerdem sind in einem vierten Verbindungssystem, das in 13 dargestellt ist, der Bildprozessor 124 und die Bildverzweigungsschaltung 125 entgegengesetzt zu denjenigen angeordnet, die in dem zweiten Verbindungssystem der 11 angeordnet sind. Auch mit diesen Konfigurationen kann selektiv ein gegebener Rahmen aus den Bildern ausgegeben werden. Außerdem kann ein Bilderkennungsergebnis, das durch den Bilderkennungsprozessor 126 erhalten wird, an ein Bild angehängt und zusammen mit diesem ausgegeben werden.
Außerdem ist in den jeweiligen 14 bis 16 ein beispielhaftes Kamerasystem 100 dargestellt, das mehrere Abbildungseinheiten 110 aufweist. Insbesondere werden in dem fünften Verbindungssystem, das in 14 dargestellt ist, Bilder, die von mehreren Abbildungseinheiten 110 aufgenommen werden, an eine einzelne ECU 170 über eine gemeinsame Bildverzweigungsschaltung 125 und unterschiedliche Routen, die jeweils aus einem LVDS-Sender 171 und einem LVDS-Empfänger 172 bestehen, ausgegeben. In einem sechsten Verbindungssystem, das in 15 dargestellt ist, werden Bilder, die von mehreren Abbildungseinheiten 110 aufgenommen werden, in einen einzelnen LVDS-Sender 171 gemultiplext und an die ECU 170 ausgegeben. In einem siebten Verbindungssystem, das in 16 dargestellt ist, werden jeweilige Bilder, die von mehreren Abbildungseinheiten 110 aufgenommen werden, durch eine Komprimierungsschaltung 127 komprimiert und über die beiden NICs 173 und 174 an die ECU 170 ausgegeben. Somit kann in jedem der Kamerasysteme 100, die die jeweiligen in den 14 bis 16 dargestellten Konfigurationen aufweisen, ein Panoramabild erhalten und an die ECU 170 ausgegeben werden, wenn die beiden Abbildungseinheiten 110 ein Abbilden synchron zueinander durchführen und eine Panoramakomposition der Bilder erzielen. In jeder der 14 bis 16 ist die vorliegende Erfindung nicht auf die Anordnung der Bildverzweigungsschaltung 125 zwischen dem Bildprozessor 124 und dem Erkennungsprozessor 126 beschränkt, sondern es kann die Bildverzweigungsschaltung 125 zwischen der Abbildungseinheit 110 und dem Bildprozessor 124 angeordnet sein.
In den jeweiligen 17 bis 20 ist ein beispielhaftes Verbindungssystem dargestellt, in dem mehrere ECUs 170 mit einem Kamerasystem 100 verbunden sind. D.h., in einem achten Verbindungssystem, das in 17 dargestellt ist, sind mehrere ECUs 170a und 170b durch Verbinden von zwei LVDS-Empfängern 172, die in einer Daisy-Chain-Verbindung miteinander verbunden sind, seriell miteinander verbunden. In einem neunten Verbindungssystem, das in 18 dargestellt ist, ist ein Schalt-Hub 190 zwischen dem Kamerasystem 100 und mehreren ECUs 170a und 170b angeordnet. Somit nehmen eine NIC 173, die in dem Kamerasystem 100 enthalten ist, eine NIC 174a, die in der ECU 170a enthalten ist, und eine NIC 174b, die in der ECU 170b enthalten ist, über den Schalt-Hub 190 Bezug aufeinander.
In den zehnten und elften Verbindungssystemen, die in den 19 und 20 dargestellt sind, sind mehrere ECUs 170a und 170b parallel mit dem Kamerasystem 100 jeweilige Paare aus LVDS-Sender 171a und 171 b und LVDS-Empfänger 172a und 172b verbunden. Wie es in 19 dargestellt ist, ist die Bildverzweigungsschaltung 125 zwischen dem Bildprozessor 124 und dem Erkennungsprozessor 126 angeordnet. Im Gegensatz dazu ist die Bildverzweigungsschaltung 125 in dem Verbindungssystem der 20 zwischen der Abbildungseinheit 110 und dem Bildprozessor 124 angeordnet. Wie es in den 19 und 20 dargestellt ist, wird somit ein Bildsignal bei der Bildverzweigungsschaltung 125 verzweigt, und die Zweigsignale treten parallel in die jeweiligen LVDS-Sender 171a und 171b ein.
Wie es in den 17 bis 20 dargestellt ist, können die jeweiligen ECUs 170 eine unterschiedliche Verarbeitung auf der Grundlage desselben Bildes durchführen, wenn ein Bild von einem einzelnen Kamerasystem 100 an mehrere ECUs 170 gesendet wird.

Claims

Kamerasystem (100), das an einem Fahrzeug (10) montierbar ist und aufweist: eine Abbildungseinheit (110) zum Aufnehmen von mehreren Rahmenbildern einer Außenseite des Fahrzeugs in einem gegebenen Zyklus; und einen Bildprozessor (124) zum Erlangen der Rahmenbilder von der Abbildungseinheit (110) und zum Trennen der Rahmenbilder in eine erste gegebene Anzahl von Rahmenbildern als ein Erkennungsziel und eine zweite gegebene Anzahl von Rahmenbildern als ein Speicherziel, das in einem Bildrekorder 160 zu sichern ist, wobei der Bildprozessor (124) die erste gegebene Anzahl von Rahmenbildern und die zweite gegebene Anzahl von Rahmenbildern, die zu erkennen und zu sichern sind, jeweils separat ausgibt.
Kamerasystem (100) nach Anspruch 1, wobei die gegebene Anzahl von Rahmenbildern des Erkennungsziels mindestens teilweise zur Erkennung und zur Sicherung ausgegeben wird.
Kamerasystem (100) nach Anspruch 2, wobei der Bildprozessor (124) eine Bildkorrektur auf die gegebene Anzahl von Rahmenbildern des Erkennungsziels anwendet, bevor die gegebene Anzahl von Rahmenbildern des Erkennungsziels ausgegeben wird, der Bildprozessor (124) die gegebene Anzahl von Rahmenbildern des Speicherziels durch Anwenden einer Farbumwandlungsverarbeitung auf die gegebene Anzahl von Rahmenbildern des Erkennungsziels, die bereits der Bildkorrektur unterzogen wurden, erzeugt, bevor die gegebene Anzahl von Rahmenbildern des Speicherziels ausgegeben wird.
Kamerasystem (100) nach Anspruch 3, wobei die Bildkorrektur eine Gammakorrektur ist.
Kamerasystem (100) nach Anspruch 1, wobei die zweite gegebene Anzahl durch Subtrahieren der ersten gegebenen Anzahl von der Gesamtanzahl der Rahmenbilder, die von der Abbildungseinheit (110) aufgenommen werden, berechnet wird.
Kamerasystem nach einem der Ansprüche 1 bis 5, wobei die Abbildungseinheit (110) eine Funktion zum Verringern eines Flackerns aufweist, das verursacht wird, wenn die Abbildungseinheit (110) ein Bild eines Ampelsignals aufnimmt, das mit einem gegebenen Intervall blinkt.
Kamerasystem nach Anspruch 6, wobei die Funktion zum Verringern eines Flackerns eine Funktion zum Aufnehmen von mehreren Rahmenbildern in einem gegebenen Zyklus ist, der sich von einem ganzzeiligen Vielfachen eines Blinkzyklus des Ampelsignals unterscheidet.
Kamerasystem nach einem der Ansprüche 1 bis 7, wobei die Abbildungseinheit ein hochempfindliches Pixel (114) und ein niedrigempfindliches Pixel (116) aufweist, das eine niedrigere Empfindlichkeit als das hochempfindliche Pixel aufweist, und die Abbildungseinheit die Rahmenbilder durch Kombinieren von Bildern erzeugt, die gleichzeitig unter Verwendung der hochempfindlichen und niedrigempfindlichen Pixel aufgenommen werden.
Kamerasystem nach einem der Ansprüche 1 bis 8, wobei die Abbildungseinheit die Rahmenbilder mit einer Rahmenrate von 10 bis 60 Rahmen je Sekunde aufnimmt, und das Kamerasystem die Rahmenbilder des Erkennungsziels und die Rahmenbilder des Speicherziels mit einer Übertragungsrate von 0,5 bis 10 Gigabyte pro Sekunde ausgibt.
Ereignisaufzeichnungssystem (20), das aufweist: das Kamerasystem (100) nach Anspruch 1; eine Fahrzeugsteuerung (130) zum Durchführen eines Erkennens des Rahmenbilds des Erkennungsziels und eines Steuerns des Fahrzeugs entsprechend einem Ereignis der Erkennung; einen Sensor (140) zum Erfassen eines Verhaltens des Fahrzeugs; einen Kommunikator (150) zum Kommunizieren mit einer externen Ausrüstung (30) und zum Erhalten von externen Daten von der externen Ausrüstung (30) in einem Fall, in dem der Sensor ein Ereignis betreffend ein Verhalten eines eigenen Fahrzeugs erfasst, und/oder in einem Fall, in dem die externe Ausrüstung (30) dem Kommunikator ein Ereignis meldet, das an einem anderen Fahrzeug auftritt und ein Verhalten des anderen Fahrzeugs betrifft, wobei die externen Daten mindestens Vor-Ereignisdaten und/oder Nach-Ereignisdaten enthalten, die Vor-Ereignisdaten Phänomene repräsentieren, die vor dem Auftreten des Ereignisses vorhanden waren, die Nach-Ereignisdaten Phänomen repräsentieren, die nach dem Auftreten des Ereignisses vorhanden sind, und einen Rekorder (160) zum Aufzeichnen der Ereignisse, der Rahmenbilder des Speicherziels und der externen Daten, wobei die Ereignisse die Rahmenbilder des Speicherziels und die externen Daten einander zugeordnet werden.
Verfahren zum Aufzeichnen eines Ereignisses unter Verwendung eines Kamerasystems (100), das an einem Fahrzeug (10) montiert ist, wobei das Verfahren die folgenden Schritte aufweist: Aufnehmen von mehreren Rahmenbildern einer Außenseite des Fahrzeugs in einem gegebenen Zyklus mit einer Abbildungseinheit (110); Erlangen der Rahmenbilder von der Abbildungseinheit (110) zur Verarbeitung im einem Bildprozessor (124); Trennen der Rahmenbilder in dem Bildprozessor (124) in eine erste gegebene Anzahl von Rahmenbildern als ein Erkennungsziel und eine zweite gegebene Anzahl von Rahmenbildern als ein Speicherziel, das in einem Bildrekorder (160) zu sichern ist; separates Ausgeben der ersten gegebenen Anzahl von Rahmenbilder und der zweiten gegebenen Anzahl von Rahmenbilder, die zu erkennen und zu sichern sind, von dem Bildprozessor (124); Empfangen der ersten gegebenen Anzahl und der zweiten gegebenen Anzahl von Rahmenbildern in einer Fahrzeugsteuerung (130); Durchführen eines Erkennens des Rahmenbilds des Erkennungsziels; Steuern des Fahrzeugs entsprechend einem Ergebnis der Erkennung; entweder Erfassen eines Ereignisses betreffend ein Verhalten des eigenen Fahrzeugs mit dem Sensor oder Empfangen einer Meldung hinsichtlich eines Ereignisses, das an einem anderen Fahrzeug auftritt und ein Verhalten des anderen Fahrzeugs betrifft, von einer externen Ausrüstung (30); Kommunizieren mit der externen Ausrüstung (30) und Erlangen von externen Daten von der externen Ausrüstung (30) über einen Kommunikator (150), wobei die externen Daten mindestens Vor-Ereignisdaten und/oder Nach-Ereignisdaten enthalten, die Vor-Ereignisdaten Phänomene repräsentieren, die vor dem Auftreten des Ereignisses vorhanden waren, die Nach-Ereignisdaten Phänomene repräsentieren, die nach dem Auftreten des Ereignisses vorhanden sind; und Aufzeichnen der Ereignisse, der Rahmenbilder des Speicherziels und der externen Daten in dem Rekorder (160), wobei die Ereignisse, die Rahmenbilder des Speicherziels und die externen Daten einander zugeordnet werden.