DE112014001571T5

DE112014001571T5 - Bildverarbeitungsvorrichtung

Info

Publication number: DE112014001571T5
Application number: DE112014001571.7T
Authority: DE
Inventors: Takayuki Kimura; Toshikazu Murao
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2013-03-22
Filing date: 2014-02-18
Publication date: 2015-12-10
Anticipated expiration: 2034-02-19
Also published as: DE112014001571B4; US9967438B2; JP2014187495A; JP6003745B2; WO2014148175A1; US20160050342A1

Abstract

Ein Bildgebungsmittel erfasst ein aufgezeichnetes Bild in einem vorherbestimmten Bildgebungsbereich für eine jede vorherbestimmte Bildrate. Ein Bildverarbeitungsmittel führt eine Bildverarbeitung durch auf Bilddaten von dem Bild, welches aufgezeichnet worden ist durch das Bildgebungsmittel. Ein erstes Einstellungsmittel (S420) stellt das Bildgebungsmittel dazu ein, einen vorherbestimmten ersten Bereich in dem Bildgebungsbereich mit einer vorherbestimmten ersten Bildrate aufzuzeichnen. Ein zweites Einstellungsmittel (S430) stellt das Bildgebungsmittel dazu ein, einen zweiten Bereich aufzuzeichnen, welcher ein Teil des Bildgebungsbereichs ist, welcher aufgezeichnet ist durch das Bildgebungsmittel, und welcher enger ist als der erste Bereich, mit einer zweiten Bildrate, welche höher ist als die erste Bildrate. Ein Bestimmungsmittel (S420) wählt einen aus aus dem ersten Einstellungsmittel und dem zweiten Einstellungsmittel in Abhängigkeit von den Verfahrensinhalten, welche die Bildverarbeitung durchführt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, welche unter Verwendung von von einem Bildgebungsmittel aufgezeichneten Bilddaten eine Bildverarbeitung durchführt.
Technischer Hintergrund
Aus dem Stand der Technik ist eine Bildverarbeitungsvorrichtung bekannt, welche eine Bildverarbeitung für verschiedene Zwecke (Anwendungen) durchführt unter Verwendung von Bilddaten, welche von einem Bildgebungsmittel aufgezeichnet sind. Eine derartige Bildverarbeitungsvorrichtung führt die Bildverarbeitung durch unter Verwendung der gesamten Bilddaten, welche von dem Bildgebungsmittel aufgezeichnet worden sind (weiterhin bezeichnet als Gesamtbildschirmdaten), oder unter Verwendung eines erforderlichen Abschnittes, welcher aus den Gesamtbildschirmdaten segmentiert worden ist (Segmentbilddaten) in Abhängigkeit von der Anwendung. Beispielsweise ist eine Vorrichtung, welche eine optische Achse eines Bildgebungsmittels einstellt als eine Bildverarbeitungsvorrichtung bekannt, welche eine Bildverarbeitung unter Verwendung von segmentierten Bilddaten durchführt (siehe beispielsweise Patentschrift 1).
Stand der Technik
Patentschrift
Patentschrift 1

Japanische Patentanmeldung mit der Veröffentlichungsnummer 2010-251938 .

Offenbarung der Erfindung
Aufgabe der Erfindung
Die Frequenzen, mit welchen eine Anwendung durchgeführt wird, verändern sich in Abhängigkeit von dem Zweck und der Verwendung. Wenn beispielsweise versucht wird, eine Anwendung durchzuführen, welche eine Bildverarbeitung mit einer höheren Frequenz erfordert, tritt das Problem auf, dass eine Frequenz eines Betriebstakts für den Betrieb des Bildgebungsmittels erhöht werden muss, da bei der herkömmlichen Vorrichtung die Gesamtbildschirmdaten mit einer höheren Bildrate erfasst werden müssen.
Die vorliegende Erfindung wurde im Lichte der vorstehend genannten Probleme gemacht und hat die Aufgabe, eine Bildverarbeitungsvorrichtung bereitzustellen, welche verschiedene Anwendungen durchführen kann, ohne eine Verwendung eines Hochgeschwindigkeitsbetriebstakts.
Mittel zur Lösung der Aufgabe
Um die vorstehend genannte Aufgabe zu lösen, weist eine Bildverarbeitungsvorrichtung, welche ein von einem Bildgebungsmittel in einem vorherbestimmten Bildgebungsbereich für eine jede vorherbestimmte Bildrate aufgezeichnetes Bild verarbeitet, gemäß Anspruch 1 auf: ein Bildverarbeitungsmittel, welches eine Bildverarbeitung auf Bilddaten des von dem Bildgebungsmittel aufgezeichneten Bildes durchführt; ein erstes Einstellungsmittel, welches das Bildgebungsmittel dazu einstellt, einen vorherbestimmten ersten Bereich in dem Bildgebungsbereich mit einer vorherbestimmten ersten Bildrate aufzuzeichnen; und ein zweites Einstellungsmittel, welches das Bildgebungsmittel dazu einstellt, einen zweiten Bereich, welcher ein Teil des von dem Bildgebungsmittel aufgezeichneten Bildgebungsbereichs ist, welcher enger ist als der erste Bereich, mit einer zweiten Bildrate aufzuzeichnen, welche höher ist als die erste Bildrate; und ein Bestimmungsmittel, welches entweder das erste Einstellungsmittels oder das zweite Einstellungsmittel auswählt in Abhängigkeit von den Verarbeitungsinhalten, welche die Bildverarbeitung durchführt.
Daher kann die Bildverarbeitungsvorrichtung der vorliegenden Erfindung eine Bildverarbeitung mit einer erforderlichen Durchführungsfrequenz ausführen, welche für eine Anwendung erforderlich ist, ohne eine Verwendung eines Hochgeschwindigkeitsbetriebstakts. Hierbei befiehlt die Bildverarbeitungsvorrichtung, wenn eine Anwendung ausgeführt wird, welche eine Bildverarbeitung mit höherer Frequenz erfordert, dem Bildgebungsmittel, Daten für den zweiten Bereich zu erfassen, welcher ein Bildbereich ist, welcher mindestens erforderlich ist für die Ausführung der Anwendung, und führt die Bildverarbeitung durch unter Verwendung der aufgezeichneten Daten. Demgemäß ist es möglich, die Prozesslast der Bildverarbeitungsvorrichtung zu reduzieren, da kein Verfahren für die Segmentierung bzw. Aufteilung eines Bildbereichs erforderlich ist.
Hierbei kann, wie in Anspruch 2 definiert, das erste Einstellungsmittel den ersten Bereich auf eine gesamte Fläche des Bildgebungsbereichs einstellen. Weiterhin kann, wie in Anspruch 3 definiert, das zweite Einstellungsmittel ein Paar des zweiten Bereichs und der zweiten Bildrate einstellen oder kann eine Mehrzahl des zweiten Bereichs und der zweiten Bildrate einstellen.
Weiterhin erfolgt, wie in Anspruch 4 definiert, der Betrieb des Bildgebungsmittels in Übereinstimmung mit Takten der gleichen Frequenz unabhängig von einer Bestimmung in dem Bestimmungsmittel. Das heißt, bei der Bildverarbeitungsvorrichtung der vorliegenden Erfindung wird, da die Veränderung der Bildrate durchgeführt wird ohne eine Veränderung der Frequenz des Betriebstakts, eine Verschlechterung der EMV-Eigenschaften (Elektromagnetische Verträglichkeit) oder eine Wärmeerzeugung, welche von einer Erhöhung der Frequenz des Betriebstakt herrühren, verhindert.
Kurzbeschreibung der Figuren
1 zeigt ein Blockdiagramm, welches eine Konfiguration einer Bildverarbeitungsvorrichtung einer ersten Ausführungsform zeigt;
2(a) zeigt ein beispielhaftes Diagramm, welches einen Bildgebungsbereich im Gesamtbildschirmmodus zeigt und (b) zeigt ein erklärendes Diagramm, welches einen Bildgebungsbereich eines Segmentbildschirmmodus zeigt;
3(a) zeigt ein erklärendes Diagramm, welches Zeitgebungssignale des Gesamtbildschirmmodus erklärt und (b) zeigt ein erklärendes Diagramm, welches die Zeitgebungssignale des Segmentbildschirmmodus zeigt;
4 zeigt ein erklärendes Diagramm, welches einen Fokus der Expansion (FOE) erklärt, welcher von einem optische-Achsen-Korrekturverfahren erfasst worden ist, und (a) zeigt ein erklärendes Diagramm, welches eine Beziehung zwischen einer optischen Achse einer Kamera und dem FOE zeigt, während (b) ein beispielhaftes Diagramm zeigt, welches eine Abweichung von dem FOE aufgrund einer Abweichung von der optischen Achse zeigt;
5 zeigt ein Flussdiagramm, welches die Inhalte eines startenden optische-Achse-Korrekturverfahrens zeigt;
6 zeigt ein Flussdiagramm, welches die Inhalte eines optischen-Achse-Korrekturverfahrens zeigt;
7 zeigt ein Flussdiagramm, welches die Inhalte eines normalen Verfahrens in einer zweiten Ausführungsform zeigt;
8 zeigt ein Flussdiagramm, welches die Inhalte eines Bildeinstellungsverfahrens zeigt;
9 zeigt ein beispielhaftes Diagramm, welches Zeitgebungssignale erklärt, wenn in einer dritten Ausführungsform eine Taktfrequenz auf eine Frequenz eingestellt wird, welche höher ist als in dem Segmentbildschirmmodus in der ersten Ausführungsform; und
10 ist ein beispielhaftes Diagramm, welches einen Segmentbildschirm in einer anderen Ausführungsform erklärt.
Ausführungsformen der Erfindung
Eine Ausführungsform der vorliegenden Erfindung wird beschrieben mit Bezugnahme auf die zugehörigen Figuren.
Erste Ausführungsform
1. Gesamtkonfigurationen
1 ist ein Blockdiagramm, welches eine Konfiguration einer Bildverarbeitungsvorrichtung 10 gemäß einer ersten Ausführungsform zeigt.
Die Bildverarbeitungsvorrichtung 10 soll in einem Zustand verwendet werden, in welchem sie an/in einem Fahrzeug montiert ist, und ein Alarmverfahren und eine Lenksteuerung ausführt basierend auf der Erkennung eines vorwärtigen Fahrzeugs zusammen mit einer fahrzeugmontierten Kamera 20 (weiterhin einfach als eine Kamera bezeichnet), welche an/in dem Fahrzeug montiert ist, einer integrierten Entscheidungs-ECU 60, einem Alarmabschnitt 70 und einer Lenk-ECU 80. Es wird darauf hingewiesen, dass eine Konfiguration, welche von der Bildverarbeitungsvorrichtung 10 zusammen mit der Kamera 20 ausgebildet wird, als ein Kamerasystem 1 bezeichnet wird.
Die Kamera 20 ist an einer vorherbestimmten Position in einer Fahrzeugkabine angeordnet, wie z. B. an der Hinterseite eines Rückspiegels, und zeichnet eine Straße auf, welche vorwärtig ist in der Fahrtrichtung des Fahrzeugs. Wenn die Kamera 20 in der vorherbestimmten Position in der Fahrzeugkabine angeordnet ist, sind ihre Richtung und ähnliches derart eingestellt, dass ihr Bildgebungsbereich ein vorherbestimmter Bildgebungsbereich in der Fahrtrichtung des Fahrzeuges ist.
Die Kamera 20 weist einen Sensorabschnitt 30, welcher einen CMOS-Bildsensor hat, welcher aus einem bekannten PD-Array (Anordnung) ausgebildet ist, in welcher PD (Photodioden) in vertikalen und horizontalen Richtungen angeordnet sind, einen Oszillator 40, und einen Steuerungsabschnitt 50 auf und sie ist so ausgelegt, dass eine Belichtungszeit (Schließvorrichtungsgeschwindigkeit bzw. Shuttergeschwindigkeit), eine Verstärkung eines Signals (Pixelwert), welcher an die Bildverarbeitungsvorrichtung 10 ausgegeben wird, und eine Bildrate, ein Bildgebungsbereich und ähnliches eingestellt werden können in Übereinstimmung mit einem Befehl von dem Steuerungsabschnitt 50 basierend auf Kamerasteuerungswerten von der Bildverarbeitungsvorrichtung 10. Die Kamera 20 gibt ein Digitalsignal, welches eine Leuchtdichte (Helligkeit) eines jeden Pixels eines aufgezeichneten Bildes als einen Pixelwert repräsentiert, an die Bildverarbeitungsvorrichtung 10 aus zusammen mit vertikalen und horizontalen Synchronisierungssignalen des Bildes.
Die Kamera 20 gibt den Pixelwert mit einer Zeitgebung aus, wenn der Sensorabschnitt 30 den vertikalen und horizontalen Synchronisierungssignalen und einem Pixeltakt (weiterhin werden diese als Zeitgebungssignale bezeichnet) folgt, und der Oszillator 40 erzeugt diese Zeitgebungssignale in Übereinstimmung mit einer Anweisung von dem Steuerungsabschnitt 50.
Das vertikale Synchronisierungssignal ist ein Signal für die Einstellung eines Abstandes bzw. einer Separierung von einem Bild (eine Gesamtanzahl von Pixeln in dem Bildgebungsbereich), das horizontale Synchronisierungssignal ist ein Signal für die Einstellung eines Abstands bzw. einer Separierung in einer jeden horizontalen Richtung innerhalb des Bilds und der Pixeltakt ist ein Signal (Betriebstakt) für das Einstellen einer Zeitgebung für die Erfassung des Pixelwertes von einem jeden Pixel des aufgezeichneten Bildes durch den Sensorabschnitt 30. Der Pixeltakt ist auf eine vorherbestimmte Frequenz in der Kamera 20 festgelegt. Weiterhin ist die Zeit, welche erforderlich ist, um den einen Bild zu separieren, variabel, und eine Minimalzeit ist so ausgelegt, dass sie im Vergleich mit einer Bildgebungszeit (Belichtungszeit) einen ausreichend großen Wert hat.
Der Steuerungsabschnitt 50 steuert die Einstellung der Bildrate und des Bildgebungsbereichs basierend auf den Kamerasteuerungswerten, welche von der Bildverarbeitungsvorrichtung 10 ausgegeben werden.
Im Speziellen werden als die Kamerasteuerungswerte zur Einstellung der Bildrate eingestellt: eine Periode, welche das vertikale Synchronisierungssignal hoch einstellt (bezeichnet als die Periode Hv des hohen vertikalen Synchronisierungssignals) und eine Periode, welche das vertikale Synchronisierungssignal niedrig einstellt (bezeichnet als die Periode Lv des niedrigen vertikalen Synchronisierungssignals) und eine Periode, welche das horizontale Synchronisierungssignal hoch einstellt (bezeichnet als die Periode Hh des hohen horizontalen Synchronisierungssignals) und eine Periode, welche das horizontale Synchronisierungssignal niedrig einstellt (bezeichnet als die Periode Lh des niedrigen horizontalen Synchronisierungssignals). Es sollte zur Kenntnis genommen werden, dass die Länge der Periode Lv des niedrigen vertikalen Synchronisierungssignals und die Periode Lh des niedrigen horizontalen Synchronisierungssignals jeweils auf eine fixe bzw. festgesetzte Zeit eingestellt sind. Im Folgenden wird, wenn erforderlich, die Länge einer jeden Periode Hv, Lv, Hh, Lh durch diese Symbole repräsentiert.
Zusätzlich werden als Parameter für die Einstellung des Bildgebungsbereichs eine Koordinate auf einem Bildgebungsbildschirm eines ersten Pixels, welches in dem Bildgebungsbereich aufgezeichnet worden ist (bezeichnet als eine Startkoordinate S) und eine Koordinate auf dem Bildgebungsbildschirm eines letzten aufgezeichneten Pixels (bezeichnet als die Endkoordinate E) eingestellt.
Nun wird, wie in 2(a) gezeigt, ein jedes Zeitgebungssignal während der Erfassung der Pixelwerte eines gesamten rechteckigen Bildgebungsbildschirms (weiterhin bezeichnet als ein Gesamtbildschirm), welcher aus m-Pixeln in einer x-Richtung und n-Pixeln in einer y-Richtung besteht, erklärt. Während der Periode, in welcher sowohl das vertikale und das horizontale Synchronisierungssignal hoch eingestellt sind, steuert der Steuerungsabschnitt 50 derart, dass die Pixelwerte von dem Sensorabschnitt 30 in Übereinstimmung mit dem Pixeltakt ausgegeben werden.
Zuerst wird die Startkoordinate S1 des Bildgebungsbereichs auf eine obere linke Ecke eines Bildschirms des Gesamtbildschirms eingestellt, und die Endkoordinate E1 wird auf eine untere rechte Ecke des Bildschirms eingestellt.
Dann wird, wie in 3(a) gezeigt, die Länge der Periode Hv1 des hohen vertikalen Synchronisierungssignals auf eine Zeit eingestellt, welche erforderlich ist für die Erfassung der Pixelwerte des Gesamtbildschirms (Anzahl aller Pixel (m×n Pixel)). Die Länge der Periode Lv1 des niedrigen vertikalen Synchronisierungssignals wird auf eine vorherbestimmte Zeit a eingestellt. Eine Gesamtlänge der Periode Hv1 und der Periode Lv1 wird bestimmt als ein Zyklus des vertikalen Synchronisierungssignals, das heißt eine Bildperiode T1.
Weiterhin wird hierbei die Länge der Periode Hh1 des hohen horizontalen Synchronisierungssignals eingestellt auf ein Produkt einer Periode des Pixeltakts und einer Anzahl von Pixeln in der x-Richtung (m), als eine Zeit, welche erforderlich ist für die Erfassung der Pixelwerte von m-Pixeln in der x-Richtung. Die Länge der Periode Lh1 des niedrigen horizontalen Synchronisierungssignals wird eingestellt auf eine vorherbestimmte Zeitperiode b. Eine Gesamtlänge der Periode Hh1 und der Periode Lh1 wird bestimmt als eine Periode des horizontalen Synchronisierungssignals. Im Folgenden wird ein derartiger Modus der Erfassung der Pixelwerte des Gesamtbildschirms als Gesamtbildschirmmodus bezeichnet.
Als Nächstes wird, wie in 2(b) gezeigt, ein Zeitsignal bei der Erfassung der Pixelwerte eines Segmentbildschirms beschrieben, welcher ein segmentierter Teil des Gesamtbildschirms ist (bezeichnet als Segmentmodus). Aus Gründen der Vereinfachung ist der Segmentbildschirm ein rechteckiger Bildschirm, welcher aus einer Anzahl von Pixeln von m×p (m×p < m×n) mit m-Pixeln in der x-Richtung und einer Anzahl von Pixeln von p (p < n) in der y-Richtung besteht.
In diesem Fall werden die Startkoordinate S2 und die Endkoordinate E2 jeweils in der oberen linken Ecke und der unteren rechten Ecke des Segmentbildschirms eingestellt. Weiterhin wird, wie in 3(B) gezeigt, die Länge der Periode Hv2 des hohen vertikalen Synchronisierungssignals auf eine Zeit eingestellt, welche erforderlich ist zur Erfassung der Pixelwerte von p Linien. Da die Anzahl der Pixel in der x-Richtung dieselben ist, wird die Länge der Periode Hh2 des hohen horizontalen Synchronisierungssignals auf denselben Wert eingestellt wie die Länge der Periode Hh1 des hohen horizontalen Synchronisierungssignals in dem Gesamtbildschirmmodus. Da die Anzahl der zu erfassenden Linien gering ist (die Anzahl der Pixel, welche erfasst werden sollen, ist gering), wird eine Bildperiode T2 des Segmentbildschirmmodus so bestimmt, dass sie kürzer ist als die Bildperiode T1 des Gesamtbildschirmmodus.
Daher wird als Ergebnis die Bildrate niedrig eingestellt, wenn die Kamera 20 dazu ausgelegt ist, die Pixelwerte eines weiteren Bildgebungsbereichs zu erfassen (die Anzahl der Pixel ist groß). Auf der anderen Seite, wenn sie dazu ausgelegt ist, die Pixelwerte eines engeren Bildgebungsbereichs zu erfassen (die Anzahl der Pixel ist gering), wird die Bildrate im Ergebnis höher eingestellt. Solch eine Veränderung in der Bildrate wird durchgeführt, ohne eine Veränderung des Betriebstakts.
In anderen Worten ist die Kamera 20 derart ausgelegt, dass die Anzahl der zu übertragenden Pixeln in einem Bild von dem eingestellten Bildgebungsbereich eingestellt wird und die Bildrate von der eingestellten Anzahl an Pixeln eingestellt wird.
Die Bildverarbeitungsvorrichtung 10 weist zumindest eine CPU 11, einen Speicher 12, eine Bildschnittstelle 13 für die Eingabe von von der Kamera 20 aufgezeichneten Bildern und eine Kommunikationsschnittstelle 14 für eine Kommunikation mit der integrierten Entscheidungs-ECU 60 auf.
Die von der Kamera 20 ausgegebenen Pixelwerte und die horizontalen und vertikalen Synchronisierungssignale werden in die Bildschnittstelle 13 eingegeben. Die CPU 11 erkennt, welcher Pixelposition die von der Kamera 20 nacheinander ausgegebenen Pixelwerte entsprechen basierend auf den horizontalen und vertikalen Synchronisierungssignalen, welche in die Bildschnittstelle 13 eingegeben werden. Dann werden die von der Kamera 20 ausgegebenen Pixelwerte in dem Speicher 12 derart gespeichert, dass sie den erkannten Pixelpositionen entsprechen. Auf diese Weise werden Bildsignale, welche von der Kamera 20 ausgegeben werden, in dem Speicher 12 gespeichert.
Die CPU 11 führt eine Bildverarbeitung durch, welche den Verwendungen (Anwendungen) der verschiedenen Steuerungen entspricht, welche die integrierte Entscheidungs-ECU 60 durchführt, und gibt Verfahrensergebnisse an die integrierte Entscheidungs-ECU 60 aus durch Verarbeitung der von der Kamera 20 ausgegebenen Bildsignale. Im Speziellen führt die CPU 11 für die Ausführung des Alarmverfahrens und des Steuerungsverfahren als die Anwendungen, welche die integrierte Entscheidungs-ECU 60 durchführt, ein Erkennungsverfahren einer Position eines Erkennungszielobjekts (in diesem Fall ein vorwärtiges Fahrzeug) als Bildverarbeitung durch.
Weiterhin steuert die CPU 11 eine Belichtungssteuerung und Einstellungen des Bildgebungsbereichs und der Bildrate der Kamera 20, so dass das Erkennungszielobjekt angemessen erkannt wird. Im Speziellen, um die Belichtungszeit, die Verstärkung, die Bildrate und den Bildgebungsbereich der Kamera 20 einzustellen, gibt die CPU 11 die Kamerakontrollwerte aus, welche diese Einstellungswerte umfassen, an die Kamera 20 aus. Die Kommunikationsstelle 14 soll der Durchführung der Kommunikation zwischen der CPU 11 und der integrierten Entscheidungs-ECU 60 dienen.
Die integrierte Entscheidungs-ECU 60 bestimmt, ob ein Risiko besteht, dass das eigene Fahrzeug das vorwärtige Fahrzeug kontaktiert, basierend auf der Position des vorwärtigen Fahrzeugs, welche von der CPU 11 übermittelt wird, und, wenn bestimmt wird, dass ein solches Risiko besteht, befiehlt die integrierte Entscheidungs-ECU 60 dem Alarmabschnitt 70, einen Alarm auszugeben (das Alarmverfahren). Weiterhin wird, wenn das Risiko hoch ist, nicht nur der Alarm ausgegeben, sondern der Lenk-ECU 80 wird befohlen, die Lenksteuerung durchzuführen (Steuerung für die Einstellung eines Assistenzbetrags eines Lenksystems, oder Vermeiden des Risikos durch automatischen Betrieb des Lenksystems) (Lenkverfahren).
2. Verfahren in der CPU
Als Nächstes wird ein Verfahren (bezeichnet als ein startendes optische-Achsen-Korrekturverfahren) beschrieben, welches die CPU 11 durchführt. Die CPU 11 führt die Bildverarbeitung (Erkennung eines vorwärtigen Fahrzeugs), welche dem Alarmverfahren und dem Lenkverfahren zugehört als die Anwendung durch, welche die integrierte Entscheidungs-ECU 60 nach der Durchführung des optischen-Achsen-Korrekturverfahrens zur Korrektur einer Abweichung von einer optischen Achse der Kamera 20 durchführt.
Zuerst wird ein Überblick des optische-Achsen-Korrekturverfahrens der Kamera 20 beschriebon. Es wird angenommen, dass, wenn die Kamera 20 in der vorherbestimmten Position in der Fahrzeugkabine angeordnet ist, die optische Achse P einer Vorderseite des Fahrzeugs in der Fahrtrichtung zugewandt ist, wie in 4(a) gezeigt, und ein Fokus der Expansion (FOE) in dem aufgezeichneten Bild (G0) derart eingestellt ist, dass er in einem Zentrum des Bildschirms in den horizontalen und vertikalen Richtungen (das heißt im Zentrum des Bildschirms), wie in 4(B) gezeigt, positioniert ist.
Jedoch besteht aufgrund der Tatsache, dass ein Fehler auftreten kann in der Richtung der optischen Achse P der Kamera 20 aufgrund von Veränderungen in einem Montagezustand der Kamera 20, die Möglichkeit, dass eine akkurate Positionierung der aufgezeichneten Bildern (beispielsweise G1, G2) nicht erfasst werden kann. Ein Verfahren für die Korrektur dieser Abweichung der Richtung der optischen Achse P ist das im Folgenden beschriebene optische-Achsen-Korrekturverfahren. Wenn das optische-Achsen-Korrekturverfahren durchgeführt wird, ist es wünschenswert, dass der Bildgebungsbereich auf den Gesamtbildschirm unter Berücksichtigung eines Abweichungsbetrags von der optischen Achse eingestellt wird.
Als Nächstes wird das Verfahren, welches die CPU 11 durchführt, unter Verwendung eines in 6 gezeigten Flussdiagramms beschrieben. Dieses Verfahren wird mit einer Zeitgebung bzw. zu einem Zeitpunkt durchgeführt, welche die CPU 11 vorherbestimmt hat (beispielsweise zum Zeitpunkt, wenn der Zündungsschalter angeschaltet wird) oder zu einer jeden vorherbestimmten Periode in Übereinstimmung mit einem im Vorhinein gespeicherten Programm.
Wenn das Starten der optische-Achsen-Korrekturverfahren gestartet wird, führt die CPU 11 zuerst das optische-Achsen-Korrekturverfahren in Schritt S110 durch, dann wird, nach der Durchführung einer Belichtungseinstellung (S120), die Bildverarbeitung (S130) in Übereinstimmung mit den Anwendungen durchgeführt und die CPU 11 führt das Verfahren wiederholt durch, bis der Zeitpunkt für das Beenden des Alarmverfahrens und des Lenkverfahrens als den Anwendungen erreicht ist (S140: Ja).
Bei dem optische-Achsen-Korrekturverfahren, welches in Schritt S110 durchgeführt wird, wird zuerst, wie in einem Flussdiagramm der 6 gezeigt, ein Bild von der Kamera 20 mit einer vorherbestimmten Belichtungsbedingung in Schritt S210 erfasst. Daraufhin, wird in Schritt S220 überprüft bzw. verifiziert, ob oder nicht eine Geschichte einer optischen Achsenkorrektur in dem Speicher 12 gespeichert ist, und das Verfahren rückt zu Schritt S260 vor, wenn die Geschichte gespeichert ist, während das Verfahren zu Schritt S230 vorrückt, wenn die Geschichte nicht gespeichert ist.
Wenn die Geschichte der optische-Achsen-Korrektur nicht gespeichert ist, rückt das Verfahren zu Schritt S230 vor und die Kamerasteuerungswerte werden so eingestellt, dass der Bildgebungsbereich der Kamera 20 der Gesamtbildschirm wird. Als Nächstes wird in Schritt S240 das Bild (Pixelwert) des Gesamtbildschirms erfasst in dem in Schritt S230 eingestellten Gesamtbildschirmmodus, der Fokus der Expansion (FOE) wird berechnet aus dem erfassten Bild und eine Abweichung (weiterhin bezeichnet als ein optische-Achsen-Abweichungsbetrag) wird berechnet zwischen dem berechneten Fokus der Expansion und dem Zentrum des Bildschirms, wo der Fokus der Expansion ursprünglich hätte positioniert sein sollen. Da verschiedene Verfahren bekannt sind für die Berechnung des Fokus der Expansion, wird eine Beschreibung hiervon weggelassen. In dem darauffolgenden Schritt S250 wird der berechnete optische-Achsen-Abweichungsbetrag und eine Geschichte, dass die optische-Achsen-Korrektur durchgeführt worden ist (beispielsweise ein Signalwert oder ähnliches, welcher die Geschichte anzeigt) in dem Speicher 12 gespeichert, dann rückt das Verfahren zu Schritt S260 vor.
Daraufhin werden in Schritt S260 die Kamerasteuerungswerte derart eingestellt, dass der Bildschirmbereich, welcher für das Alarmverfahren und das Lenkverfahren als Anwendungen mindestens erforderlich ist, das heißt, der Segmentbildschirm, welcher der Bereich ist, der aus dem Gesamtbildschirm als der Bildgebungsbereich segmentiert bzw. herausgeteilt werden muss, eingestellt wird und das vorliegende Verfahren wir beendet. Es wird darauf hingewiesen, dass in Schritt S260, wenn von Schritt S250 vorgerückt wird, die Kamerasteuerungswerte eingestellt werden durch Durchführung eines Abweichungskorrekturverfahrens für die Korrektur des Abweichungsbetrags basierend auf dem optischen-Achsen-Abweichungsbetrag, welcher in Schritt S240 berechnet worden ist. Die Korrektur der Abweichung, welche durchgeführt wird durch das Abweichungsbetrag-Korrekturverfahren, kann durch Einstellung der optischen Achse der Kamera 20 durch einen Antriebsmechanismus oder durch Einstellung des Abweichungsbetrags, wenn die Bildschirmkoordinaten berechnet werden, ausgeführt werden.
Dies führt dazu, dass das optische-Achsen-Korrekturverfahren mit einer relativ geringen Bildrate in dem Gesamtbildschirm ausgeführt wird. In der Zwischenzeit wird die Bildverarbeitung, welche dem Alarmverfahren und dem Lenkverfahren basierend auf der Erkennung des vorwärtigen Fahrzeugs als den Anwendungen entspricht, mit einer relativen hohen Bildrate durch Einstellen einer Vorderseite einer Fahrspur eines eigenen Fahrzeugs als Segmentbildschirm (Bildgebungsbildschirm) ausgeführt.
Effekte
Wie oben beschrieben, wird bei der Bildverarbeitungsvorrichtung 10 der vorliegenden Ausführungsform die Bildrate, mit welcher die Kamera 20 die Bilder erfasst, in Übereinstimmung mit den Inhalten der Bildverarbeitung für die Ausführung der Anwendungen ohne die Verwendung eines Hochgeschwindigkeitsbetriebstakts verändert. Hierbei ist es möglich, wenn die Bildrate hoch eingestellt ist, eine Verarbeitungslast der Bildverarbeitungsvorrichtung 10 zu reduzieren, da das Verfahren der Segmentierung eines erforderlichen Bildbereiches durch die Kamera 20 durchgeführt wird.
Zusätzlich wird bei der Bildverarbeitungsvorrichtung 10 der vorliegenden Ausführungsform, da eine Veränderung der Bildrate ohne eine Veränderung der Frequenz des Betriebstakts durchgeführt wird, verhindert, dass eine Verschlechterung der EMV-Eigenschaften oder eine Wärmeerzeugung auftritt, welche auftritt, wenn die Frequenz des Betriebstakts zunimmt.
4. Entsprechung zwischen dem Umfang der Ansprüche
In der vorliegenden Ausführungsform entspricht die Kamera 20 einem Bildgebungsmittel. Weiterhin entspricht das Verfahren des Schritts S130 einem Verfahren als einem Bildverarbeitungsmittel, das Verfahren von Schritt S220 entspricht einem Verfahren als einem Bestimmungsmittel, das Verfahren von Schritt S230 entspricht einem Verfahren als einem ersten Einstellungsmittel und das Verfahren des Schritts S260 entspricht einem Verfahren als einem zweiten Einstellungsmittel. Weiterhin entspricht das Kamerasystem 1, welches in der vorliegenden Ausführungsform aus der Bildverarbeitungsvorrichtung 10 und der Kamera 20 besteht, einem Bildverarbeitungssystem. Weiterhin entspricht der Gesamtbildschirm einem ersten Bereich, der Segmentbildschirm entspricht einem zweiten Bereich, die Bildrate T1 in dem Gesamtbildschirmmodus entspricht einer ersten Bildrate und die Bildrate T2 in dem Segmentbildschirmmodus entspricht einer zweiten Bildrate.
Zweite Ausführungsform
Eine zweite Ausführungsform wird beschrieben. Obwohl die Konfiguration einer Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform ähnlich zu der der vorstehenden Ausführungsform ist, sind die Verfahrensinhalte, welche die CPU 11 durchführt, unterschiedlich. In anderen Worten, obwohl die Bildverarbeitungsrichtung 10 (CPU 11) eine Bildverarbeitung (S130) für eine Anwendung wie das Lenkverfahren nach der Durchführung des optischen-Achsen-Korrekturverfahrens (S110), wie in 5 gezeigt, durchführt, kann, beider oben genannten Ausführungsform die vorliegende Erfindung auch angewendet werden, wenn eine Bildverarbeitung, welche verschiedenen Anwendungen entspricht, ohne eine Durchführung des Verfahrens der Korrektur der optischen Achse am Anfang durchgeführt wird.
Ein normales Verfahren, das die CPU 11 der vorliegenden Ausführungsform durchführt, wird beschrieben mit Bezugnahme auf ein Flussdiagramm der 7. In dem vorliegenden Verfahren wird zuerst ein Bildeinstellungsverfahren durchgeführt in Schritt S310. Daraufhin wird in den Schritten S320 bis S340 das gleiche Verfahren wie in den Schritten S120 bis S140, welche in 5 gezeigt sind, durchgeführt, bis die Anwendungen beendet sind (S340: Ja).
In dem Bildeinstellungsverfahren, welches in Schritt S310 durchgeführt wird, wie in einem Flussdiagramm der 8 gezeigt, wird zuerst für die Bildverarbeitung, welche in Schritt S330 durchgeführt wird, das heißt, für die Bildverarbeitung, welche der auszuführenden Anwendung in einem integrierten Verfahren entspricht, bestimmt, ob sie durchgeführt werden sollte unter Verwendung der gesamten Kameraauflösung und für ein Bild, welches mit einer relativ geringen Bildrate in Schritt S410 aufgezeichnet ist.
Wenn hier bestimmt worden ist, dass die Bildverarbeitung in dem Gesamtbildschirm und für das Bild durchgeführt wird, welches mit der relativ geringen Bildrate in Schritt S410 (S410: Ja) aufgezeichnet worden ist, rückt das Verfahren zu Schritt S420 vor und das vorliegende Verfahren wird beendet nach der Einstellung von Steuerungswerten des Gesamtbildschirmmodus als Kamerasteuerungswerte. Auf der anderen Seite, wenn die Bestimmung in Schritt S410 (S410: Nein) negativ ist, rückt das Verfahren zu Schritt S430 vor und das Verfahren wird nach der Einstellung der Steuerungswerte des Segmentbildschirmmodus als Kamerasteuerungswerte beendet.
Im Speziellen, wenn eine Bildverarbeitung, welche dem optische-Achsen-Korrekturverfahren entspricht, als eine Anwendung durchgeführt wird, beispielsweise wenn die Bestimmung in Schritt S410 positiv ist, werden die Kamerasteuerungswerte in den Steuerungswerten des Gesamtbildschirmmodus eingestellt. Weiterhin, wenn die Alarmverarbeitung und die Lenkteuerungsverarbeitung basierend auf der Erkennung eines vorwärtigen Fahrzeugs als Anwendungen durchgeführt werden, wenn die Bestimmung negativ ist in Schritt S410, werden die Kamerasteuerungswerte in die Steuerungswerte des Segmentbildschirmmodus eingestellt, welcher die Vorderseite der Fahrspur des eigenen Fahrzeugs als den Bildgebungsbereich einstellt.
Wie oben beschrieben ist es bei der vorliegenden Ausführungsform, gemäß der Bestimmung S410, möglich, die Bildverarbeitung durchzuführen unter Verwendung des aufgezeichneten Bildes, welches aufgezeichnet ist in einem Bildgebungsbereich und mit einer Bildrate, welche verschiedenen Anwendungen entspricht, und der gleiche Effekt wie bei der vorstehenden Ausführungsform kann erlangt werden.
Dritte Ausführungsform
Eine dritte Ausführungsform wird beschrieben. In der vorliegenden Ausführungsform sind, obwohl eine Konfiguration der Vorrichtung ähnlich zu der der oben genannten Ausführungsform ist, die Parameter der Kamerasteuerungswerte teilweise unterschiedlich von der oben genannten Ausführungsform. In anderen Worten wird ein Taktfrequenzparameter für das Einstellen der Frequenz des Pixeltakts der Kamera 20 zu den Kamerasteuerungswerteparametern hinzugefügt, welche in der oben genannten Ausführungsform eingestellt werden in den Parametern der Kamerasteuerungswerte der vorliegenden Ausführungsform. Dann wird die Kamera 20 derart angepasst, dass die Frequenz des Pixeltakts der Kamera 20 durch den Steuerungswert des Taktfrequenzparameters veränderbar ist.
Das heißt, obwohl eine Veränderung in der Bildrate ohne eine Veränderung der Taktfrequenz (f1) des Pixeltakts in den oben genannten Ausführungsformen ausgeführt wird, ist es bei der vorliegenden Ausführungsform, wenn es notwendig ist, möglich, eine höhere Bildrate als die in 9 gezeigte durch Verändern der Taktfrequenz (f2) (f2 > f1) auszuführen.
Andere Ausführungsformen

(1) Obwohl eine Bildverarbeitungsvorrichtung 10 für die Ausführung des Alarmverfahrens oder der Lenksteuerung als Anwendungen (weiterhin bezeichnet als die Segmentbildschirmanwendung), welche eine Bildverarbeitung (Erkennungsverfahren des vorwärtigen Fahrzeugs) eines aufgezeichneten Bilds verwenden, welches erfasst worden ist unter Verwendung des Segmentbildschirmmodus, bei der oben beschriebenen Ausführungsform beschrieben worden ist, sind die Verwendungen (Anwendungen) der Bildverarbeitungsvorrichtungen nicht hierauf beschränkt.

Im Speziellen können die Segmentbildschirmanwendungen eine Vielzahl von Anwendungen sein, welche das Erfassen der Vorderseite des eigenen Fahrzeugs in Verbindung mit dem Alarmverfahren und dem Lenksteuerungsverfahren basierend auf der Erkennung des vorwärtigen Fahrzeugs ausführen, wie z. B. ein Alarmverfahren und ein Lenksteuerungsverfahren basierend auf einem Weiße-Linie-Erkennungsverfahren, welches zumindest einen Bereich vor dem eigenen Fahrzeug, in welchem eine weiße Linie ist, als einen Segmentierungsbereich einstellt, oder ein Alarmverfahren und ein Vermeidungsverfahren basierend auf einem Fußgängererkennungsverfahren, welches zumindest einen erfassten Bereich eines Fußgängers vor dem eigenen Fahrzeug als einen Segmentierungsbereich einstellt.
Alternativ können als Segmentbildschirmanwendungen Anwendungen vorgesehen sein, welche die Funktionen ausführen eines Regentropfensensors für die Erfassung von Regentropfen auf einer Windschutzscheibe, eines Nebelsensors für die Erfassung von Nebel vor der Windschutzscheibe, eines anderen Nebelsensors für das Erfassen von Nebel vor dem eigenen Fahrzeug, eines Beleuchtungssensors für die Erfassung der Helligkeit des Himmels, eines Distanzsensors für die Erfassung einer Distanz zu einem Zielobjekt unter Verwendung einer Stereokamera, oder eines Straßenoberflächenerfassungssensors für die Erfassung von Kanten bzw. Rändern einer Straße.
In anderen Worten wird der Segmentabschnittmodus auf andere Anwendungen angewandt, welche einen Erkennungsbereich, welcher im Vorhinein als der Segmentbildschirm angenommen wird und häufige Aktualisierungen des Segmentbildschirms erfordern. Es wird darauf hingewiesen, dass dieser Segmentbildschirm (Erkennungsbereich) K in einem Bereich eingestellt sein kann, welcher die Montagefehlerbereiche E ignoriert, welche eingestellt sind als ein Montagefehler der Kamera 7 innerhalb des Gesamtbildschirms, wie in 10 gezeigt.
Währenddessen können zusätzlich zu dem optischen-Achsen-Korrekturverfahren Anwendungen wie z. B. ein Verfahren zur Erzeugung einer Vogelperspektivansicht, ein Verfahren zur Erzeugung eines Bilds, zu welchem vorherbestimmte Informationen zugefügt sind, auf einem Bildschirm eines Fahrzeugnavigationssystems, eine Fahraufzeichnung, welche die Details des Fahrens des eigenen Fahrzeugs oder einer Umgebung während des Fahrens aufzeichnet, oder ein Verfahren für ein Nachtsichtsystem zur Gewährleistung der Nachtsicht, als Anwendungen angeführt werden, welche die Bildverarbeitung unter Verwendung eines aufgezeichneten Bildes, welches in dem Gesamtbildschirmmodus (weiterhin bezeichnet als die Gesamtbildschirmanwendung) erfasst worden ist, ausführt.
In anderen Worten, zusätzlich zu dem optischen-Achsen-Korrekturverfahren, wird der Gesamtbildschirmmodus auf Anwendungen angewandt, in welchen ein geringerer Einfluss auf eine genaue Durchführung der Anwendungen besteht, wenn die optische Achse abweicht, und eine weniger häufige Durchführung erforderlich ist. Tatsächlich kann, wenn notwendig, der Gesamtbildschirmmodus auf die Segmentbildschirmanwendungen, welche oben genannt worden sind, angewandt werden.

(2) Obwohl die Kamera bei der oben genannten Ausführungsform den Bereich vor dem Fahrzeug aufzeichnen soll, beschränkt sich die vorliegende Erfindung nicht darauf, und es ist möglich, die vorliegende Erfindung auf verschiedene Anwendungen anzuwenden, welche durchgeführt werden können unter Verwendung von Bildern, welche von einer Kamera aufgezeichnet worden sind, welche die Umgebung, so wie z. B. hinter dem Fahrzeug oder seitlich des Fahrzeugs. aufzeichnet
(3) In der oben genannten Ausführungsform werden die aufgezeichneten Bilder durch die Kamera 20 durch Schalten entweder auf den Gesamtbildschirmmodus oder den Segmentmodus, entsprechend der Anwendungen, aufgezeichnet. Im Gegensatz dazu, kann sie auch derart konfiguriert sein, eine Mehrzahl von Segmentbildschirmmodi einzustellen, in welchen die Bildbereiche für die Segmentierung und die Bildraten unterschiedlich sind entsprechend der Anwendung und zwischen diesen Modi umschalten. Alternativ kann sie konfiguriert sein, um eine Mehrzahl von Segmentbildschirmmodi einzustellen, in welchen Bildbereiche für die Segmentierung und Bildraten unterschiedlich sind, ohne eine Einstellung des Gesamtbildschirmmodus, und zwischen diesen Modi umschalten.
(4) Obwohl der Sensorabschnitt 30 in der vorstehend beschriebenen Ausführungsform aus einem CMOS-Bildsensor besteht, kann der Sensorabschnitt 30 auch aus einem CCD-Bildsensor bestehen.
(5) In der oben genannten Ausführungsform kann die Datenübertragung zwischen der Kamera 20 und der Bildverarbeitungsvorrichtung 10 durch die Kommunikationsschnittstelle 14 ein paralleles Übertragungssystem oder kann ein serielles Übertragungssystem sein.
(6) In der oben genannten Ausführungsform kann, wenn die Frequenz des Betriebstakts, welcher in der Kamera 20 verwendet wird, höher ist als die Frequenz des Betriebstakts, welcher in der CPU 11 etc. der Bildverarbeitungsvorrichtung 10 verwendet wird, auf einem Datenübertragungspfad von der Kamera 20 zu der Bildverarbeitungsvorrichtung 10 ein Frequenzteiler bereitgestellt werden.
(7) Die Bildverarbeitungsvorrichtung 20 kann dazu ausgelegt sein, das Verfahren durchzuführen, das die integrierte Entscheidungs-ECU 60 in der oben genannten Ausführungsform durchführt.
(8) Komponenten der Bildverarbeitungsvorrichtung 10, welche in der oben genannten Ausführungsform beispielhaft aufgeführt sind, können durch Hardware ausgeführt werden, können durch Software ausgeführt werden, oder können durch eine Kombination aus Hardware und Software ausgeführt werden. Beispielsweise kann zumindest ein Teil der Bildverarbeitungsvorrichtung 10 durch ein Computersystem (beispielsweise ein Mikrocomputer), welches das oben beschriebene Verfahren (ein Programm) durchführt, ausgebildet sein. Weiterhin sind diese Komponenten funktionell gedacht und ein Teil oder alle können funktionell oder physisch getrennt sein oder integriert sein.
(9) Die oben genannte Ausführungsform ist nur ein Beispiel, auf welches die vorliegende Erfindung angewandt wird.

Die vorliegende Erfindung kann in verschiedenen Formen, wie als eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Programm für einen Computer, sodass dieser als eine Bildverarbeitungsvorrichtung zu fungiert, oder als ein Aufzeichnungsmedium, welches das Programm speichert, angewandt bzw. ausgeführt werden.
Bezugszeichenliste

1: Kamerasystem
10: Bildverarbeitungsvorrichtung
11: CPU
20: Kamera
30: Sensorabschnitt
40: Oszillator
50: Steuerungsabschnitt

Claims

Bildverarbeitungsvorrichtung, welche ein Bild verarbeitet, welches aufgezeichnet worden ist von einem Bildgebungsmittel (20) in einem vorherbestimmten Bildgebungsbereich für eine jede vorherbestimmte Bildrate, mit: einem Bildverarbeitungsmittel (S130, S330), welches eine Bildverarbeitung durchführt auf den Bilddaten des Bildes, welches von dem Bildgebungsmittel aufgezeichnet ist; einem ersten Einstellungsmittel (S230, S420), welches das Bildgebungsmittel dazu einstellt, einen vorherbestimmten ersten Bereich in dem Bildgebungsbereich mit einer vorherbestimmten ersten Bildrate aufzuzeichnen; einem zweiten Einstellungsmittel (S260, S430), welches das Bildgebungsmittel dazu einstellt, einen zweiten Bereich, welcher ein Teil des Bildgebungsbereichs ist, welcher von dem Bildgebungsmittel aufgezeichnet worden ist und enger als der erste Bereich ist, mit einer zweiten Bildrate aufzuzeichnen, welche höher ist als die erste Bildrate; und einem Bestimmungsmittel (S210, S310), welches zumindest eines von dem ersten Einstellungsmittel und dem zweiten Einstellungsmittel auswählt in Abhängigkeit von den Verfahrensinhalten, welche die Bildverarbeitung durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei das erste Einstellungsmittel den ersten Bereich auf einen Gesamtbereich des Bildgebungsbereichs einstellt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei das zweite Einstellungsmittel zumindest ein Paar des zweiten Bereichs und der zweiten Bildrate einstellt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei der Betrieb des Bildgebungsmittels in Übereinstimmung mit Takten der gleichen Frequenz erfolgt unabhängig von einer Bestimmung in dem Bestimmungsmittel.
Bildverarbeitungssystem mit der Bildverarbeitungsvorrichtung und dem Bildgebungsmittel nach einem der Ansprüche 1 bis 4.