-
Diese Anmeldung beansprucht die Priorität der
japanischen Patentanmeldung Nummer 2010-288638 , angemeldet am 24. Dezember 2010; auf den dortigen Offenbarungsgehalt wird hier vollinhaltlich Bezug genommen.
-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung eines Belichtungssteuerwerts für eine Fahrzeugkamera, welcher dafür geeignet ist, ein Target in einem Bild in der Nähe des Fahrzeugs zu erkennen, das von der Kamera aufgenommen wird.
-
2. Beschreibung des Standes der Technik
-
Es ist bekannt, eine Kamera an einem Fahrzeug anzuordnen, um Bilder in der Nähe des Fahrzeugs aufzunehmen. Beispielsweise nimmt die am Fahrzeug angeordnete Kamera Bilder vorderhalb des Fahrzeugs zum Zweck der Erkennung einer weißen Linie auf einer Fahrbahnoberfläche oder eines dreidimensionalen Objekts, beispielsweiße eines vorausfahrenden oder entgegenkommenden Fahrzeugs auf. Es ist nicht möglich, mit einem hohen Grad an Genauigkeit den Abstand zu einem erkannten Objekt auf der Grundlage von Koordinaten des Objekts in einem Bild zu bestimmen, das von der Fahrzeugkamera aufgenommen worden ist, da es Einbautoleranzen in der optischen Achse der Kamera gibt. Folglich muss die Einstellung einer optischen Achse für jedes Fahrzeug in der Fahrzeugfertigung oder beim Fahrzeughändler durchgeführt werden. Allgemein gesagt, wird ein Target in Form eines Musters mit hellen Abschnitten (weißen Bereichen) und dunklen Abschnitten (schwarzen Bereichen) in einer bestimmten Position bezüglich der Fahrzeugkamera angeordnet und die Einstellung der optischen Achse erfolgt auf der Grundlage von Koordinaten dieser Abschnitte in einem von der Kamera aufgenommenen Bild.
-
Um jedoch die Einstellung der optischen Achse mit einer hohen Genauigkeit durchführen zu können, muss der Belichtungssteuerwert für die Kamera auf einen Wert gesetzt werden, der zur Erkennung des Targets geeignet ist. Der Belichtungssteuerwert, der zur Erkennung des Targets geeignet ist, ist nicht konstant, sondern ändert sich abhängig von der Umgebung des Targets, beispielsweise Hintergrundrauschen. Beispielsweise gehen bei einer allgemeinen Belichtungssteuerung, bei der der Gesamtbereich eines aufgenommenen Bildes als ein photometrischer Bereich gesetzt wird, wenn der Hintergrund dunkel ist, die weißen Bereiche des aufgenommenen Bildes des Targets in die Sättigung, da die Belichtung durch Zielen auf den dunklen Hintergrund festgesetzt wird und dehnen sich folglich werter aus als in der Realität. Wenn andererseits der Hintergrund hell ist, wird, da die Belichtung durch Zielen auf den hellen Hintergrund festgesetzt wird, der Kontrast zwischen weißen und schwarzen Bereichen in dem aufgenommenen Bild des Targets verringert. Wie oben erläutert, kann, wenn der Belichtungssteuerwert nicht geeignet gesetzt ist, da es nicht möglich ist, die Grenze zwischen weißen und schwarzen Bereichen genauer zu erkennen, die Einstellung der optischen Achse nicht mit hoher Genauigkeit durchgeführt werden.
-
Das
japanische Patent Nummer 4179142 beschreibt ein Verfahren, das in der Lage ist, mit diesem Problem umzugehen. Bei diesem Verfahren wird ein Bereich in einem von der Fahrzeugkamera aufgenommenen Bild, innerhalb dem angenommen wird, dass sich ein Target befindet („Targetlagenbereich”) vorab auf der Grundlage der Lagebeziehung zwischen der Kamera und dem Target festgesetzt und der Belichtungssteuerwert wird so berechnet, dass der Mittelwert von Pixeln, die in dem Targetlagebereich enthalten sind, einen bestimmten Wert annimmt. Auch beschreibt das
EP-Patent Nummer 1074430 ein Verfahren, bei dem die Belichtungssteuerung auf der Grundlage eines Helligkeitshistogramms eines photometrischen Bereichs in einem aufgenommenen Bild mit Ausnahme eines zu erkennenden Objekts durchgeführt wird.
-
Das erstere bekannte Verfahren hat ein Problem dahingehend, dass, da der Targetlagenbereich vorab auf der Grundlage der Lagebeziehung zwischen Fahrzeugkamera und der Größe des Targets gesetzt wird, ein Teil des Hintergrunds des Targets auf Grund eines Anordnungsfehlers des Targets in dem Targetlagenbereich enthalten sein kann. Das letztere herkömmliche Verfahren ist ein Verfahren, bei dem die Belichtungssteuerung auf der Grundlage der Helligkeit des Hintergrundes durchgeführt wird und hat folglich das oben beschriebene Problem.
-
Eine beispielhafte Ausführungsform schafft ein Verfahren zur Bestimmung eines Belichtungssteuerwerts zur Steuerung der Belichtung einer in einem Fahrzeug eingebauten Kamera zur Aufnahme von Bildern in der Umgebung des Fahrzeugs, aufweisend:
einen Erkennungsschritt des Erkennens eines Targets aus einem Bild, welches die Kamera in einem Zustand aufgenommen hat, wo das Target innerhalb eines Bildaufnahmebereichs der Kamera angeordnet ist;
einen Messschritt des Messens einer Helligkeit des Targets in dem aufgenommenen Bild; und
einen Berechnungsschritt des Berechnens des Belichtungssteuerwerts auf einen derartigen Wert, dass die Helligkeit des Targets gleich einer Sollhelligkeit wird, welche zur Erkennung des Targets geeignet ist.
-
Gemäß der exemplarischen Ausführungsform ist es möglich, einen Belichtungssteuerwert für eine Fahrzeugkamera passend zu bestimmen, um ein Target zu erkennen, welches ein bestimmtes Helligkeitsmuster aufweist, ohne von der Umgebung des Targets, beispielsweise Hintergrundrauschen beeinflusst zu sein.
-
Weitere Vorteile und Merkmale der exemplarischen Ausführungsform ergeben sich aus der nachfolgenden Beschreibung einschließlich der Zeichnung und der Ansprüche.
-
KURZE BESCHREIBUNG DER ZEICHNUNG
-
In der beigefügten Zeichnung ist:
-
1 ein Blockdiagram, welches den Aufbau einer Belichtungssteuervorrichtung zur Durchführung des Verfahrens zur Bestimmung eines Belichtungssteuerwerts gemäß einer Ausführungsform der Erfindung zeigt;
-
2 eine schematische Darstellung, welche ein Muster eines Targets zur Verwendung bei der Durchführung des Verfahrens gemäß der Ausführungsform zeigt;
-
3 ein Flussdiagram, welches einen Prozess einer Belichtungssteuerung zur Einstellung der optischen Achse, durchgeführt durch die Belichtungssteuervorrichtung, zeigt;
-
4 eine schematische Darstellung, welche einen Bereich zeigt, innerhalb dem das Target in einem von der Fahrzeugkamera aufgenommenem Bild existieren kann;
-
5A eine schematische Darstellung, welche einen Prozess zum Erhalt des Targets aus einem von der Kamera aufgenommenem Bild beim anfänglichen Belichtungssteuerwert zeigt;
-
5B eine schematische Darstellung, die einen Prozess zum Erhalt des Targets aus einem von der Kamera aufgenommenem Bild bei einem Belichtungssteuerwert zeigt, der so gesetzt ist, dass das aufgenommene Bild heller als das in 5A gezeigte aufgenommene Bild ist;
-
5C eine schematische Darstellung, die einen Prozess zum Erhalt des Targets aus einem von der Kamera aufgenommenem Bild bei einem Belichtungssteuerwert zeigt, der so gesetzt ist, dass das aufgenommene Bild heller als das in 5B gezeigte aufgenommene Bild ist; und
-
5D eine schematische Darstellung, die ein von der Kamera aufgenommenes Bild bei einem Belichtungssteuerwert zeigt, der auf einen Wert geeignet zur Erkennung des Targets eingestellt ist.
-
BEVORZUGTE AUSFÜHRUNGSFORMEN DER ERFINDUNG
-
1 ist ein Blockdiagram, das den Aufbau einer Belichtungssteuervorrichtung 10 zur Durchführung des Verfahrens zur Bestimmung eines Belichtungssteuerwerts gemäß einer Ausführungsform der Erfindung zeigt.
-
Die Belichtungssteuervorrichtung 10 ist in ein Fahrzeug eingebaut zur Verwendung bei einem Warnprozess und einer Lenkungssteuerung auf der Grundlage der Erkennung der Landschaft vorderhalb des Fahrzeugs in Zusammenwirkung mit einer Fahrzeugkamera 21, einer umfassenden Bestimmungs-ECU 22, einem Warnabschnitt 23 und einer Lenk-ECU 24.
-
Die Belichtungssteuervorrichtung 10 enthält eine CPU 11, einen Speicher 12, ein Bildinterface 13 zum Empfang von der Kamera 21 aufgenommenen Bildern und ein Kommunikationsinterface 14 zur Durchführung einer Kommunikation mit der umfassenden Bestimmungs-ECU 22.
-
Die Kamera 21 liegt an einem Ort innerhalb des Fahrgastraums, der geeignet ist zur Aufnahme eines Bilds der Fahrbahn vorderhalb des Fahrzeugs, beispielsweise an der Rückseite des Innenrückspiegels.
-
Die Kamera 21 ist so ausgerichtet, dass ihr Bildaufnahmebereich einen bestimmten Bereich vorderhalb des Fahrzeugs entspricht.
-
Die Kamera 21 enthält zusätzlich zu einem CCD-Bildsensor oder einem CMOS-Bildsensor einen Verstärker und einen A/D-Wandler. Der Verstärker und der A/D-Wandler dienen zur Verstärkung von Analogsignalen, welche die Dominanz eines jeden der Pixel zeigen, die ein vom Bildsensor aufgenommenes Bild darstellen, um einen bestimmten Verstärkungsfaktor und zum Wandeln der verstärkten Analogsignale in digitale Pixelwerte. Die Kamera 21 gibt die digitalen Pixelwerte als Bildsignale für jede horizontale Linie eines jeden Bilds aus.
-
Das Bildinterface 13 erhält die digitalen Pixelwerte und die horizontalen und vertikalen Sync-Signale, die von der Kamera 21 ausgegeben werden. Die CPU 11 erkennt, welche der vertikalen und horizontalen Pixelpositionen der Pixelwerte, die für jede horizontale Linie ausgegeben sind, einander entsprechen, und zwar basierend auf den horizontalen und vertikalen Sync-Signalen. Die Pixelwerte werden im Speicher 12 gespeichert, wobei sie ihren Pixelpositionen zugeordnet werden.
-
Die CPU 11 verarbeitet die von der Kamera 21 ausgegebenen und im Speicher 12 gespeicherten Bildsignale zur Erkennung der Position eines zur erkennenden Objekts (bei dieser Ausführungsform eines vorausfahrenden Fahrzeugs) und zur Ausgabe eines Signals, das die Position eines erkannten Objekts angibt, an die umfassende Bestimmungs-ECU 22. Die CPU führt auch eine Belichtungssteuerung an der Kamera 21 durch, damit ein vorausfahrendes Fahrzeug richtig erkannt werden kann. Genauer gesagt, die CPU 11 gibt an die Kamera 21 Kamerasteuerwerte einschließlich von Einstellbefehlswerten aus, auf deren Grundlage die Belichtungszeit (Verschlussgeschwindigkeit) und die Frame-Rate der Kamera 21, und der Verstärkungsfaktor des Verstärkers eingestellt werden.
-
Das Kommunikationsinterface 14 ist für eine Zwischenkommunikation zwischen der CPU 11 und der umfassenden Bestimmungs-ECU 22. Bei dieser Ausführungsform gibt die CPU 11 ein Signal, das die Position eines erkannten vorausfahrenden Fahrzeugs in einem aufgenommenen Bild anzeigt, an die umfassende Bestimmungs-ECU 22 aus. Die umfassende Bestimmungs-ECU 22 bestimmt, ob es eine Wahrscheinlichkeit gibt, dass das Eigenfahrzeug (das Fahrzeug, in welchem sich die Belichtungssteuervorrichtung 10 befindet) das vorausfahrende Fahrzeug berühren kann und gibt eine Anweisung an den Warnabschnitt 23, um eine Warnung auszugeben, wenn bestimmt wird, dass es eine Möglichkeit eines Kontakts mit dem vorausfahrenden Fahrzeug gibt. Weiterhin, wenn die Wahrscheinlichkeit hoch ist, wird zusätzlich zur Anweisung an den Warnabschnitt 23, die Warnung auszugeben, von der umfassenden Bestimmungs-ECU 22 eine Anweisung an die Lenk-ECU 24 ausgegeben, um einen Unterstützungsbetrag für die Lenkvorrichtung einzustellen oder um direkt die Lenkvorrichtung anzutreiben, um eine Gefahr zu vermeiden.
-
Nachfolgend wird ein Verfahren zur Bestimmung des Belichtungssteuerwerts beschrieben, das durchgeführt wird, bevor die optische Achse der Kamera 21 eingestellt wird. Es ist nicht möglich, mit einem hohen Genauigkeitsgrad einem Abstand zu einem erkannten Objekt auf der Grundlage der Koordinaten des Objekts in dem aufgenommenen Bild zu bestimmen, da es Einbautoleranzen der Kamera 21 hinsichtlich der optischen Achse gibt. Folglich wird die Einstellung einer optischen Achse bei jedem Fahrzeug beim Fahrzeughersteller oder beim Fahrzeughändler durchgeführt. Die Einstellung der optischen Achse beginnt mit der Aufnahme eines Bilds eines Targets, welches an einer bestimmten Position bezüglich eines Fahrzeugs angeordnet wird. 2 ist eine Darstellung, welche das Muster des Targets zeigt. Das Muster enthält zwei weiße Quadrate (zwei helle quadratische Abschnitte), die auf einem schwarzen Quadrat (einem schwarzen quadratischen Abschnitt) liegen, der die Abmessung T mal T hat. Die beiden weißen Quadrate sind so angeordnet, dass bezüglich der Mitte des schwarzen Quadrates diagonal einander gegenüber liegen.
-
Die Einstellung der optischen Achse erfolgt auf der Grundlage eines von der Kamera 21 aufgenommen Bilds des Targets. Wenn jedoch der Belichtungssteuerwert, durch welchen die Belichtung der Kamera 21 eingestellt ist, nicht geeignet zur Erkennung des Objekts ist, ist es nicht möglich, mit Genauigkeit die Grenze zwischen dem schwarzen Quadrat und den weißen Quadraten zu erkennen.
-
Das heißt, um die Einstellung der optischen Achse mit hoher Genauigkeit durchführen zu können, ist es, da ein klares und scharfes Bild des Targets aufgenommen werden muss, notwendig, den Belichtungssteuerwert so zu bestimmen, dass er zur Erkennung des Objekts geeignet ist, bevor die Einstellung der optischen Achse durchgeführt wird. Folglich wird bei dieser Ausführungsform die Belichtungssteuerung für die Lichtachseneinstellung durchgeführt, um den Belichtungssteuerwert zu bestimmen, der geeignet zur Erkennung des Objekts ist, und zwar vor der Einstellung der Lichtachse.
-
3 ist ein Flussdiagram, welches den Prozess der Belichtungssteuerung bei der Einstellung der optischen Achse zeigt, den die CPU 11 gemäß einem im Speicher gespeicherten Programm durchführt. Dieser Prozess wird in dem Zustand durchgeführt, in welchem das Target gemäß 2 innerhalb des Bildaufwandbereichs der Kamera 21 angeordnet ist.
-
Der Prozess beginnt im Schritt S11, wo die Belichtungszeit der Kamera 21 ausreichend kurz gesetzt wird, sodass keines der Pixel eines aufgenommener Bildes in Sättigung gerät. Das heißt, der anfängliche Belichtungssteuerwert wird auf einen solchen Wert gesetzt, dass ein von der Kamera 21 aufgenommenes Bild ausreichend dunkel ist.
-
Im nachfolgenden Schritt S12 wird die Belichtungssteuerung der Kamera 21 gemäß dem Belichtungssteuerwert durchgeführt, der im Schritt S11 gesetzt worden ist (oder des Werts, der in dem später erläuterten Schritt S16 gesetzt wird). Nachfolgend wird ein Bild erlangt, das von der Kamera 21 aufgenommen wurde, welche im Schritt S12 belichtungsgesteuert worden ist.
-
Im nachfolgenden Schritt S14 wird das Target erhalten, in dem das im Schritt S13 erlangte Bild abgetastet wird, um das Muster des Targets zu erkennen. Da zu diesem Zeitpunkt das Objekt und die Kamera 21 in einer vorbestimmten Lagebeziehung zueinander sind (welche nicht so genau sein muss, wie es bei der Einstellung der optischen Achse notwendig ist), kann der Bereich, innerhalb dem das Bild in dem aufgenommenen Bild existierend angenommen wird, um einem bestimmten Betrag verkleinert werden. Folglich wird der Targeterhalt innerhalb eines Teils des aufgenommenen Bildes entsprechend dem Bereich durchgeführt, innerhalb dem das Target als vorhanden angenommen wird, wie in 4 gezeigt.
-
Nachfolgend wird im Schritt S15 bestimmt, ob oder ob nicht das Target in dem aufgenommenen Bild im Schritt S14 erkannt worden ist. Wenn das Bestimmungsergebnis im Schritt S15 negativ ist, geht der Ablauf zum Schritt S16, um den Belichtungssteuerwert so zu ändern, dass die Belichtungszeit innerhalb einer Zeitdauer verlängert wird, innerhalb der das Target sich in einem bestimmten Luminanzdynamikbereich befindet. Schritt S16 wird wiederholt durchgeführt, sodass das aufgenommene Bild allmählich heller wird. Danach kehrt der Ablauf zum Schritt S12 zurück, sodass die obigen Abläufe erneut durchgeführt werden.
-
Wenn die Bestimmung im Schritt S15 bejahend ist, geht der Ablauf zum Schritt S17, um die Luminanz der weißen Bereiche (hellen Abschnitte) des Targets zu messen und um den Belichtungssteuerwert zu bestimmen, der zur Erkennung des Targets geeignet ist, und zwar basierend auf der gemessenen Luminanz. Genauer gesagt, der Mittelwert der Werte der Pixel innerhalb der weißen Bereiche wird berechnet und der Belichtungssteuerwert wird basierend auf der Differenz zwischen dem berechneten Mittelwert und einem bestimmten Sollwert bestimmt. Danach endet der Ablauf.
-
Die obige Ausführungsform schafft die folgenden Vorteile. Wie oben erläutert ist das Verfahren zur Bestimmung des Belichtungssteuerwerts dieser Ausführungsform in der Lage, den anfänglichen Belichtungssteuerwert auf einen derartigen Wert zu setzen, dass ein von der Kamera 21 aufgenommenes Bild ausreichend dunkel ist, sodass keines der Pixel in die Sättigung gerät und das aufgenommene Bild wird abgetastet, um das Target zu erlangen. Wenn das Target nicht erkannt worden ist, wird der Belichtungssteuerwert wiederholt geändert, sodass das aufgenommene Bild allmählich heller wird, bis das Target erkannt wird. Folglich ist es möglich, zu verhindern, dass ein aufgenommenes Bild zu hell wird und zu verhindern, dass Pixel, welche das Target darstellen, in die Sättigung geraten.
-
Da weiterhin das Target aus einem Teil des aufgenommenen Bildes erhalten wird, innerhalb dem das Target als existierend angenommen wird, ist es möglich, die Prozessbelastung zu verringern, die zum Erhalt des Targets notwendig ist.
-
Das Verfahren dieser Ausführungsform ist so ausgelegt, dass das Target aus einem Bild erkannt wird, welches die Kamera 21 in einem Zustand aufgenommen hat, in welchem das Target innerhalb des Bildaufnahmebereichs der Kamera 21 angeordnet ist, die Luminanz des Targets in dem aufgenommenen Bild gemessen wird und der Belichtungssteuerwert so berechnet wird, dass die Helligkeit eines Bilds des Targets gleich dem Sollwert wird, der geeignet ist zur Erkennung des Targets. Das heißt, da bei dieser Ausführungsform das Target aus einem aufgenommenen Bild heraus erkannt wird und die Helligkeit des Targetbildes gemessen wird, ist es möglich, den Belichtungssteuerwert auf der Grundlage der gemessenen Luminanz des Targets unter Ausschließung des Hintergrunds zu berechnen. Folglich ist es möglich, die Belichtungssteuerwerte geeignet zu bestimmen, damit das Target ohne Beeinflussung durch die Umgebung des Targets erkannt werden kann. Unter Verwendung des Belichtungssteuerwerts, der auf diese Weise bestimmt worden ist, kann die Einstellung der optischen Achse mit einem hohen Genauigkeitsgrad durchgeführt werden, da ein klares und scharfes Bild des Targets zur Verfügung steht.
-
Da zusätzlich die Luminanz der weißen Bereiche des Targets (der Mittelwert der Pixel) gemessen wird, ist es möglich, die Helligkeit des Targets zuverlässig und genau zu erhalten.
-
Andere Ausführungsformen
-
Es versteht sich, dass verschiedene Abwandlungen an der oben beschriebene Ausführungsform gemacht werden können, wie nachfolgend beschrieben.
-
Das Muster des Objekts gemäß 2 ist nur ein Beispiel und es besteht keine Einschränkung hierauf. Das Verfahren zur Bestimmung des Belichtungssteuerwerts gemäß der Erfindung kann auch für andere Zwecke als zur Einstellung der Lichtachse verwendet werden.
-
In obiger Ausführungsform wird die Fahrzeugkamera 21 verwendet, um ein vorausfahrendes Fahrzeug zu erkennen, damit ein Warnprozess und eine Lenksteuerung durchgeführt werden. Die Fahrzeugkamera kann jedoch auch zur Erkennung einer weißen Linie auf der Fahrbahnoberfläche verwendet werden, um einen Warnprozess und eine Lenksteuerung durchzuführen. Weiterhin kann die vorliegende Erfindung unter Verwendung einer Kamera umgesetzt werden, die an einem Fahrzeug zur Aufnahme von Bildern in der Umgebung des Fahrzeugs anders als vorderhalb des Fahrzeugs angeordnet ist, beispielsweiße hinterhalb des Fahrzeugs.
-
Die oben beschriebenen bevorzugten Ausführungsformen sind beispielhaft für die Erfindung gemäß der vorliegenden Anmeldung, welche alleine durch die nachfolgenden Ansprüche beschrieben ist. Es versteht sich, dass Abwandlungen der bevorzugten Ausführungsformen für den Fachmann auf diesem Gebiet möglich sind.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2010-288638 [0001]
- JP 4179142 [0005]
- EP 1074430 [0005]
