DE102005057090B4

DE102005057090B4 - Vorrichtung zur und Verfahren der Bildextraktion

Info

Publication number: DE102005057090B4
Application number: DE102005057090A
Authority: DE
Inventors: Nobuharu Wako Nagaoka; Fuminori Wako Taniguchi; Masahito Wako Watanabe
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-11-30
Filing date: 2005-11-30
Publication date: 2011-02-03
Anticipated expiration: 2025-12-01
Also published as: JP4224449B2; US7567688B2; DE102005057090A1; JP2006155400A; US20060115163A1

Abstract

Vorrichtung zum Extrahieren eines Bilds eines Objekts durch Vergleich von Bildern, die jeweils von einer Mehrzahl von Bildaufnahmeeinheiten (16R, 16L) erhalten sind, umfassend:
eine Luminanzsignaleinstelleinheit (142) zur Verwendung einer der Bildaufnahmeeinheiten (16R, 16L) als Referenzbildaufnahmeeinheit (16R) und einer anderen (16L) der Bildaufnahmeeinheiten als Suchbildaufnahmeeinheit (16L), und zum Vergleichen eines ersten Luminanzsignals (a1) in einem von der Referenzbildaufnahmeeinheit (16R) aufgenommenen Referenzbild (146) mit einem zweiten Luminanzsignal (a2) in einem von der Suchbildaufnahmeeinheit (16L) aufgenommenen Suchbild (152);
eine Objektbereichsetzeinheit (140) zum Setzen eines Referenz-Objektbereichs (150), der ein bestimmtes Objekt (148) enthält, in dem Referenzbild (146),
eine Bildvergleichseinheit (144) zum Vergleichen eines Bilds des Referenz-Objektbereichs (150) mit dem Suchbild (152); und
eine Bildextraktionseinheit (144) zum Extrahieren eines dem bestimmten Objekt (148) entsprechenden Such-Objekts (154) aus dem Suchbild (152) auf der Basis eines Vergleichsergebnisses von der Bildvergleichseinheit (144),
dadurch gekennzeichnet, dass die Luminanzsignaleinstelleinheit (142) das erste Luminanzsignal (a1) so...

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur und ein Verfahren der Extraktion eines Bilds eines Objekts durch Vergleich erhaltener Bilder des Objekts, der Bilder durch eine Mehrzahl von Bildaufnahmeeinheiten.
Es ist eine Fahrzeugumgebungsüberwachungsvorrichtung entwickelt worden, um Bilder eines Objekts mit zwei an einem Fahrzeug angebrachten Bildaufnahmeeinheiten zu erhalten, z. B. entweder durch Messen des Abstands bis zu dem Objekt auf der Basisparallaxe zwischen den erhaltenen Bildern, oder durch Messen der Position in einem Echtraum des Objekts in Bezug auf das Fahrzeug, und Informieren des Fahrers darüber, ob vor dem Fahrzeug ein Hindernis vorhanden ist oder nicht (siehe JP-A-2003-216937 ).
Zum Extrahieren des selben Objekts aus den zwei Bildern, die von den zwei Bildaufnahmeeinheiten erhalten sind, werden Korrelationsberechnungen dazu verwendet, um die Summe von absoluten Differenzen (SAD) zwischen Bilddaten eines Objektbereichs, der in einem der Bilder identifiziert ist, und Bilddaten des anderen Bilds zu bestimmen, und einen Bereich, wo die Summe minimal ist, als einen Objektbereich in dem anderen Bild zu betrachten.
Die Bildaufnahmeeinheiten, die jeweils eine CCD Kamera oder dergleichen aufweisen, brauchen nicht notwendigerweise identische Videoeigenschaften haben, weil sie tendenziell unterschiedliche typische Eigenschaften und unterschiedliche fotoelektrische Umwandlungseigenschaften der jeweiligen Pixel haben, und die fotoelektrisch umgewandelten Videosignale tendenziell Rauschen enthalten. Wenn die obigen Korrelationsberechnungen an Bildsignalen von den zwei Bildaufnahmeeinheiten durchgeführt werden, deren Videoeigenschaften voneinander unterschiedlich sind, dann könnte möglicherweise der Hintergrund des fraglichen Objekts fehlerhaft erkannt werden, und es könnten möglicherweise unterschiedliche Objekte als das selbe Objekt gewertet werden.
Aus der US 2001/0 002 936 A1 ist eine Vorrichtung nach dem Oberbegriff der Ansprüche 1 und 7 sowie ein Verfahren nach dem Oberbegriff der Ansprüche 10 und 12 bekannt. Dort werden die Luminanzwerte eines Musters und eines Referenzmusters einem Korrelationsprozess unterzogen, zum anschließenden Vergleich der Kontrastwerte darin.
Eine allgemeine Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur und ein Verfahren der zuverlässigen Extraktion eines Bilds eines Objekts aus Bildern anzugeben, die von einer Mehrzahl von Bildaufnahmeeinheiten erhalten sind, selbst wenn die Bildaufnahmeeinheiten unterschiedliche Eigenschaften haben.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur und ein Verfahren der Extraktion eines Bilds eines gewünschten Objekts anzugeben, ohne irrtümlich ein Hintergrundbild zu erkennen.
Zur Lösung der Aufgabenstellung wird eine Vorrichtung nach Anspruch 1 und 7 und ein Verfahren nach Anspruch 10 und 12 angegeben.
Gemäß Anspruch 1 und 10 wird das Luminanzsignal eines Referenzbilds, das von einer Referenzbildaufnahmeeinheit erhalten wird, derart eingestellt, dass das Luminanzsignal des Referenzbilds um einen vorbestimmten Betrag stärker ist als das Luminanzsignal eines Suchbilds, das von einer Suchbildaufnahmeeinheit erhalten wird. Dann wird ein Referenzbild eines bestimmten Objektbereichs, der in dem Referenzbild gesetzt ist, mit dem Suchbild verglichen. Ein Bild, das einem bestimmten Objekt in dem Referenzbild entspricht, kann zuverlässig aus dem Suchbild gesucht werden, ohne irrtümlich den Hintergrund des Referenzbilds oder das Suchbild zu erfassen.
Gemäß Anspruch 7 und 12 wird ein Bild, das ein stärkstes Luminanzsignal hat, aus Bildern ausgewählt, die von einer Mehrzahl von Bildaufnahmeeinheiten erhalten werden, und ein Bild eines bestimmten Objektbereichs, der in dem gewählten Bild gesetzt ist, wird mit einem Bild aus einer anderen der Bildaufnahmeeinheiten verglichen. Ein Bild eines bestimmten Objekts kann aus dem Bild der anderen Bildaufnahmeeinheiten zuverlässig extrahiert werden.
Die obigen und andere Ziele, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung in Verbindung mit den beigefügten Zeichnungen näher ersichtlich, worin bevorzugte Ausführungen der vorliegenden Erfindung nur als illustratives Beispiel gezeigt sind.
Kurzbeschreibung der Zeichnungen
1 ist eine schematische Perspektivansicht eines Nachtsichtsystems, das an einem Fahrzeug installiert ist, das eine Bildextraktionsvorrichtung gemäß einer Ausführung der vorliegenden Erfindung enthält;
2 ist ein Funktionsblockdiagramm einer ECU des in 1 gezeigten Nachtsichtsystems;
3 ist ein Blockdiagramm einer Normalmodusausführungseinheit in der in 2 gezeigten ECU;
4 ist eine Perspektivansicht einer in einer Herstellungsanlage installierten Zielausrichtungssteuervorrichtung;
5 ist eine Perspektivansicht einer in einer Wartungsanlage oder dergleichen installierten Wartungszieleinstellvorrichtung;
6 bis 10 sind Flussdiagramme eines Ausrichtprozesses;
11 ist ein Flussdiagramm eines Objektsuchprozesses in einem Normalmodus;
12 ist ein Diagramm, das einen Objektextraktionsprozess im Normalmodus und eine Luminanzeinstell-LUT (Nachschlagetabelle) darstellt, die zum Extrahieren eines Objekts gesetzt ist;
13 ist ein Diagramm, das einen Prozess des Setzens einer Luminanzeinstell-LUT darstellt;
14 ist ein Diagramm, das einen Prozess des Setzens einer Luminanzeinstell-LUT darstellt;
15 ist ein Diagramm einer Luminanzeinstell-LUT; und
16 ist ein Blockdiagramm einer Normalmodus-Ausführungseinheit gemäß einer anderen Ausführung der vorliegenden Erfindung.
Beschreibung der bevorzugten Ausführungen
Nachfolgend werden eine Vorrichtung zur und ein Verfahren der Extraktion eines Bilds gemäß bevorzugten Ausführungen der vorliegenden Erfindung in Bezug auf die beigefügten Zeichnungen beschrieben.
Wie in 1 gezeigt, ist ein Nachtsichtsystem (Fahrzeugumgebungsüberwachungsvorrichtung) 10 gemäß einer Ausführung der vorliegenden Erfindung an einem Fahrzeug 12 installiert. Das Nachtsichtsystem hat eine ECU (elektronische Steuereinheit) 14, die als Hauptcontroller dient, ein Paar linker und rechter Infrarotkameras (Bildaufnahmeeinheiten) 16R, 16L, ein HUD (Head-Up Display) 18 zum Anzeigen eines erfassten Bilds, einen Lautsprecher 20 zur Ausgabe eines Alarmtons, einen Geschwindigkeitssensor 22 zum Erfassen einer Fahrgeschwindigkeit, einen Gierratensensor 24 zum Erfassen einer Gierrate des Fahrzeugs 12, wenn das Fahrzeug 12 fährt, einen Solarstrahlungssensor 26, einen Scheinwerferschalter 28, einen Hauptschalter 30 zum selektiven Aktivieren und Deaktivieren des Nachtsichtsystems 10, sowie einen Anschluss 32 zum Verbinden des Nachtsichtsystems 10 mit einem externen Computersystem. Diese Komponenten des Nachtsichtsystems 10 können miteinander durch im Fahrzeug eingebaute Kommunikationsleitungen verbunden sein, die auch an anderen Systemen an dem Fahrzeug 12 verwendet werden.
Die Infrarotkameras 16R, 16L sind jeweils in den rechten und linken Enden eines horizontalen Grilllochs angebracht, das in einem unteren Stoßfängerbereich definiert ist. Infrarotkameras 16R, 16L sind an jeweiligen symmetrischen Positionen nach vorne hin orientiert und um einen Zwischenkameraabstand (auch als ”Basislänge” bezeichnet) B horizontal mit Abstand voneinander angeordnet. Jede der Infrarotkameras 16R, 16L erfasst ferner Infrarotstrahlung, um ein Infrarotbild zu erhalten, worin Bereiche höherer Temperatur eine höhere Luminanz repräsentieren, und liefert das erhaltene Bild zur ECU 14.
Das HUD 18 ist an einer Oberseite eines Instrumentenbretts an einer Position direkt vor dem Fahrer angeordnet, der auf einem Fahrersitz des Fahrzeugs 12 sitzt, während versucht wird, die Sicht des Fahrers nach vorne nicht zu behindern. Wenn das Nachtsichtsystem 10 ausgeschaltet ist, wird das HUD 18 nach unten in das Instrumentenbrett eingefahren. Wenn auf der Basis von Informationen von dem Solarstrahlungssensor 26 gewertet wird, dass gegenwärtig Nacht ist, und auch auf der Basis von Information von dem Scheinwerferschalter 28 gewertet wird, dass die Scheinwerfer (oder Nebelleuchten) eingeschaltet sind, dann springt das HUD 18 aus dem Instrumentenbrett hoch, wenn der Hauptschalter 30 eingeschaltet wird. Das HUD 18 hat eine Bildanzeigetafel, die einen konkaven Spiegel aufweist, um ein von innerhalb des Instrumentenbretts ausgesendetes Bild zu reflektieren und zu projezieren. Das Nachtsichtsystem 10 kann von einer automatischen Leuchtfunktion automatisch aktiviert werden, unabhängig davon, ob der Hauptschalter 30 betätigt ist oder nicht. Die Luminanz der Bildanzeigetafel des HUD 18 kann mit einem geeigneten Schalter einstellbar gemacht werden.
Die ECU 14 verarbeitet zwei Infrarotbilder, die von den jeweiligen Infrarotkameras 16R, 16L erhalten werden, um Wärmequellenobjekte zu erfassen, auf der Basis der Parallaxe zwischen den Infrarotbildern, und zeigt die erfassten Wärmequellenobjekte als weiße Silhouetten auf dem HUD 18 an. Wenn die ECU 14 aus den Wärmequellenobjekten einen Fußgänger identifiziert, steuert die ECU 14 den Lautsprecher 20 an, um einen Alarmton auszugeben, und steuert auch das HUD 18 an, um den identifizierten Fußgänger mit einem Umgebungsrahmen hervorzuheben, der eine auffallende Farbe hat, um hierdurch die Aufmerksamkeit des Fahrers zu erwecken. Die ECU 14 führt diese Aufmerksamkeitserweckungsfunktion so guter Zeitgebung durch, dass der Fahrer in der Lage ist, eine ausreichende Gefahrenvermeidungsaktion zu unternehmen, in dem eine Zeitdauer vorhergesagt wird, bis das Fahrzeug 12 die Position des Fußgängers in einem vorbestimmten Geschwindigkeitsbereich erreicht.
Damit die Infrarotkameras 16R, 16L in der Lage sind, die Positionen, Abstände und Formen ferngelegener Wärmequellenobjekte akkurat zu bestimmen, unterliegen die Infrarotkameras 16R, 16L einem Einstellprozess, der Ausrichtprozess (wird später beschrieben) genannt wird, wenn sie in der Herstellungsfabrik hergestellt werden oder wenn sie zu regelmäßigen Intervallen inspiziert werden.
Wie in 2 gezeigt, umfasst die ECU 14 eine Bildeingabeeinheit 40 zum Umwandeln analoger Infrarotbilder, die von den jeweiligen Infrarotkameras 16R, 16L erhalten werden, in digitale Grauwertbilder, ein Binärisierer 42 zum Erzeugen von Binärbildern aus den Grauwertbildern auf der Basis eines Schwellenwerts, einen Bildspeicher 44 zum Speichern der Binärbilder und der Grauwertbilder, eine Ausrichtmodusausführungseinheit 48 zum Speichern von Kameraparametern, die als Ergebnis des Ausrichtprozesses erzeugt werden, in einem Kameraparameterspeicher 46, eine Normalmodusausführungseinheit 50 zum Durchführen eines normalen Bildverarbeitungsprozesses unter Bezug auf Sensoren, die einen Geschwindigkeitssensor 22 etc. beinhalten, und den Kameraparameterspeicher 46, und zum Steuern/Regeln des HUD 18 und des Lautsprechers 20, sowie einen Moduswähler 52 zum Wählen entweder des Ausrichtmodus oder des Normalmodus zu einer Zeit auf der Basis einer Anweisung, die von einem externen Computersystem durch den Anschluss 32 übertragen hat.
Die Ausrichtmodusausführungseinheit 48 hat eine Herstellungsanlagenmoduseinheit 70 zur Durchführung des Ausrichtprozesses mit einer Zielausrichtungssteuervorrichtung 100 (siehe 4) als dem externen Computersystem in der Herstellungsanlage, in der das Fahrzeug 12 hergestellt wird, sowie eine Wartungsmoduseinheit 72, Durchführung des Ausrichtprozesses mit einer Wartungsausrichteinstellvorrichtung 120 (siehe 5) als dem externen Computersystem in einer Wartungseinrichtung oder dergleichen. Zu einer Zeit wird entweder die Herstellungsanlagenmoduseinheit 70 oder die Wartungsmoduseinheit 72 auf der Basis einer Anweisung von einem entsprechenden der externen Computersysteme ausgewählt.
Die Ausrichtmodusausführungseinheit 48 hat eine Parametereingabeeinheit 74 zum Eingeben bestimmter Parameter von dem externen Computersystem, wenn der Ausrichtprozess initiiert wird, eine Initialisierungseinheit 76 zur Durchführung von Anfangseinstellungen, die von dem Ausrichtprozess gefordert werden, eine Mustervorlage-Abgleicheinheit zur Durchführung eines Mustervorlagenabgleichs an den Grauwertbildern, die in dem Bildspeicher 44 gespeichert sind, eine Luminanzeinstell-LUT-Setzeinheit 80 zum Setzen einer Luminanzeinstell-LUT zum Einstellen der Luminanz und der Bildsignale, die von den Infrarotkameras 16R, 16L erzeugt werden, eine Kamerabildverzerrungskorrektureinheit 82 zum Korrigieren von Bildverzerrungen, die aufgrund individueller Differenzen wie etwa der Brennweiten, der Pixelraster etc. zwischen den Infrarotkameras 16R, 16L hervorgerufen werden, eine Kameramontagewinkelberechnungseinheit 84 zum Berechnen jeweiliger Montagewinkel (Schwenkwinkel und Nickwinkel) der Infrarotkameras 16R, 16L, eine Kamerabildausblendkoordinatenberechnungseinheit 86 zum Berechnen von Ausblendkoordinaten, die als Referenz für ausblend-bearbeitete Bereiche aus den Bildern verwendet werden, sowie eine Parallaxenversetzwertberechnungseinheit 88 zum Berechnen eines Parallaxenversatzwerts als einen Fehler, der in der Parallaxe zwischen den Objektbildern enthalten ist, weil die optischen Achsen der Infrarotkameras 16R, 16L nicht parallel zueinander sind.
Die Initialisierungseinheit 76 hat eine Mustervorlagensetzeinheit 94 zum Auswählen einer von sechs Mustervorlagen bzw. Templates TP1, TP2, TP3, TP4, TP5, TP6 (gemeinsam auch als ”Mustervorlage TP” bezeichnet), die in Abhängigkeit vom Abstand zu den Objekten vorbereitet worden ist. Die ECU 14 hat einen Modellspeicher 96, um als Formel ein perspektivisches Transformationsmodell zur Bestimmung der Position eines Objekts zu speichern. Die Ausrichtmodusausführungseinheit 48 und die Normalmodusausführungseinheit 50 berechnen die Position eines abgebildeten Objekts unter Verwendung des perspektivischen Informationsmodells, das in dem Modellspeicher 96 gespeichert ist. Der Modellspeicher 96 speichert ein Kurzabstandsmodell für Objekte in kurzen Abständen und ein Langabstandsmodell für Objekte in langen Abständen.
3 zeigt in Blockform eine Bildextraktionsfunktion der Normalmodusausführungseinheit 50. Wie in 3 gezeigt, hat die Normalmodusausführungseinheit 50 eine Objektbereichsetzeinheit 40 zum Ausblenden und Setzen eines Objektbereichs aus einem binären Bild DR, das von der Infrarotkamera 16R (Referenzbildaufnahmeeinheit) erhalten und in den Bildspeicher 44 gespeichert ist, eine Luminanzsignaleinstelleinheit 142 zum Einstellen des Luminanzsignals eines Bilds (Grauwertbild YR (EIN)), das von der Infrarotkamera 16R erhalten ist, unter Verwendung der Luminanzeinstell-LUT, die in dem Kameraparameterspeicher 46 gespeichert ist, so dass das Luminanzsignal des von der Infrarotkamera 16R erhaltenen Bilds (Grauwertbild YR(EIN)) um einen vorbestimmten Betrag größer ist als das Luminanzsignal eines von der Infrarotkamera (16L) (Suchbildaufnahmeeinheit) erhaltenen Bilds (Grauwertbild YL), sowie eine Mustervorlagenabgleicheinheit 144 (Bildvergleichseinheit, Bildextraktionseinheit) zur Extraktion eines Bilds aus dem von der Infrarotkamera 16L erhaltenen Bild (Grauwertbild YL) gemäß Korrelationsberechnungen unter Verwendung eines Objektbereichs in dem Bild (Grauwertbild YR(AUS)), das von der Infrarotkamera 16R erhalten, und in der Luminanz eingestellt ist, als Mustervorlage.
Die ECU 14 hat eine CPU (zentrale Prozessoreinheit) als Hauptcontroller, ein RAM (Direktzugriffspeicher) und ein ROM (Festwertspeicher) als Speichervorrichtung, sowie andere Komponenten. Die obigen Funktionen in der ECU 14 werden in Software implementiert, wenn die CPU ein Programm liest und das Programm im Zusammenwirken mit der Speichervorrichtung ausführt.
Wie in 4 gezeigt, hat die Zielausrichtungssteuervorrichtung 100 Positionierungsvorrichtungen 102 zur Positionierung des Fahrzeugs 12, ein Tor 104, das an einer gegebenen Position vor der Infrarotkamera 16R, 16L an dem Fahrzeug 12 angeordnet ist, das durch die Positionierungsvorrichtung 12 positioniert ist, sowie eine Hauptsteuervorrichtung 106 zur Kommunikation mit der ECU 14 durch den Anschluss 32 und zur Steuerung des Tors 104. Das Tor 104 hat zwei vertikale Pfosten 108, die horizontal um einen Abstand voneinander angeordnet sind, der etwas größer ist als die Breite des Fahrzeugs 12, sowie eine horizontal langgestreckte Zielausrichtplatte 110, deren linke und rechten Enden jeweils an den Pfosten 108 bewegbar gelagert sind. Die Zielausrichtplatte 110 ist entlang dem Pfosten 108 von der Hauptsteuervorrichtung 106 vertikal bewegbar. Die Zielausrichtplatte 110 trägt daran eine Reihe von acht Ausrichtzielen 112a bis 112h (gemeinsam auch als ”Ausrichtziel 112” bezeichnet) als Wärmequellen, die aufeinander folgend horizontal von links in der genannten Reihenfolge angeordnet sind.
Die vier linken Ausrichtziele 112a bis 112d sind mit relativ kleinen Intervallen W mit Abstand angeordnet und gehören zu einer linken Zielgruppe 114. Die vier rechten Ausrichtziele 112e bis 112h sind auch mit den Intervallen W mit Abstand angeordnet und gehören zur rechten Zielgruppe 116. Das Ausrichtziel 112d am rechten Ende der linken Zielgruppe 114 und das Ausrichtziel 112e am linken Ende der rechten Zielgruppe 116 sind mit einem Abstand voneinander angeordnet, der gleich der Basislänge B ist (W < B). Diese Ausrichtziele 112d, 112e sind jeweils direkt vor den Infrarotkameras 16L, 16R angeordnet.
Wie in 5 gezeigt, hat die Wartungszieleinstellvorrichtung 120 Positionierungsmarkierungen 122 zum Positionieren des Fahrzeugs 12, ein Scheinwerferprüfgerät 124, das an einer gegebenen Position vor den Infrarotkameras 16R, 16R an dem Fahrzeug 12 angeordnet ist, das auf der Basis der Positionierungsmarkierung 122 positioniert ist, sowie eine Hauptsteuervorrichtung 126 zum Kommunizieren mit der ECU 14 durch den Anschluss 32. Das Scheinwerferprüfgerät 124 ist entlang einer Schiene 128 in Richtungen parallel zur Querrichtung des Fahrzeugs 12 bewegbar und hat einen Hubtisch 130, der vertikal bewegbar ist. Der Hubtisch 130 trägt darauf eine Zielplatte 132, die drei Ausrichtziele 134a bis 134c (gemeinsam auch als ”Ausrichtziele 134” bezeichnet) als Wärmequellen aufweist, die horizontal nacheinander angeordnet sind. Die Ausrichtziele 134a bis 134c sind mit den Intervallen W mit Abstand angeordnet (W < B). Das Ausrichtziel 134 kann mit dem Ausrichtziel 112 des in 4 gezeigten Tors 104 identisch oder im wesentlichen das gleiche sein.
Nachfolgend wird der Ausrichtprozess zur Durchführung an dem Nachtsichtsystem 10 unter Verwendung der Zielausrichtsteuervorrichtung 100 oder der Wartungszieleinstellungsvorrichtung 120 beschrieben.
Der Ausrichtprozess enthält einen Herstellungsanlagenausrichtmodus zur Durchführung unter Verwendung der Zielausrichtungssteuervorrichtung 100 sowie einen Wartungsausrichtmodus zur Durchführung unter Verwendung der Wartungszieleinstellungsvorrichtung 120.
Im Herstellungsanlagenausrichtmodus wird das Fahrzeug 10 an der Positionierungsvorrichtung 102 positioniert, und die Hauptsteuervorrichtung 106 wird mit dem Anschluss 32 des Fahrzeugs 12 verbunden. Die Hauptsteuervorrichtung 106 schickt eine Anweisung zur Durchführung des Herstellungsanlagenausrichtmodus unter Verwendung der Zielausrichtsteuervorrichtung 100 zu der ECU 14. Die Ausrichtziele 112a bis 112h werden in der Position in der gleichen Höhe wie die Infrarotkameras 16R, 16L in Abhängigkeit vom Typ des Fahrzeugs 12 eingestellt.
Im Wartungsausrichtmodus wird das Fahrzeug 12 so angeordnet, dass die Räder mit den jeweiligen Positionierungsmarkierungen 122 ausgerichtet sind, und die Hauptsteuervorrichtung 126 wird mit dem Anschluss 32 des Fahrzeugs 12 verbunden. Die Hauptsteuervorrichtung 126 schickt eine Anweisung zur Durchführung des Wartungszielausrichtungsmodus unter Verwendung der Wartungszieleinstellvorrichtung 120 zu der ECU 14. Die Ausrichtziele 134a bis 134c werden auf eine vorbestimmte Höhe positionsmäßig eingestellt.
6 bis 10 zeigen den Ausrichtprozess, der hauptsächlich von der Ausrichtmodusausführungseinheit 48 der ECU 14 ausgeführt wird. Nachfolgend wird der Ausrichtprozess im Detail in Bezug auf 6 bis 10 beschrieben.
Im in 6 gezeigten Schritt S1 wird ein analoges stereographisches Infrarotbild von den Infrarotkameras 16R, 16L in die Bildeingabeeinheit 40 eingegeben. Die Bildeingabeeinheit 40 wandelt in Schritt S2 das analoge stereographische Infrarotbild in ein digitales Grauwertbild um. Das Grauwertbild wird im Bildspeicher 44 gespeichert. Das Grauwertbild wird von dem Binärisierer 42 in ein binäres Bild umgewandelt, das ebenfalls in dem Bildspeicher 44 gespeichert wird.
In Schritt S3 bestimmt der Moduswähler 52, ob der Ausrichtungsmodus oder der Normalmodus ausgeführt werden soll, gemäß einer Anweisung von der Hauptsteuervorrichtung 106 oder 126. Wenn der Normalmodus ausgeführt werden soll, dann geht die Steuerung zu Schritt S5. Wenn der Ausrichtmodus ausgeführt werden soll, dann geht die Steuerung zu Schritt S4.
Im Normalmodus in Schritt S5 arbeitet die Normalmodusausführungseinheit 50 in Bezug auf die Kameraparameter, die in dem Kameraparamterspeicher 46 gespeichert sind, und steuert das HUD 18 und den Lautsprecher 20 an, um nach einem Objekt zu suchen und die Aufmerksamkeit des Fahrers zu erwecken, wie später beschrieben wird. Danach geht die Steuerung zurück zu Schritt S1.
Im Ausrichtmodus in Schritt S4 bestimmt der Moduswähler 52, ob die Zielausrichtungssteuervorrichtung 100 oder die Wartungszieleinstellungsvorrichtung 120 verwendet werden soll. Wenn gewertet wird, dass die Zielausrichtungssteuervorrichtung 100 verwendet werden soll, dann geht die Steuerung zu Schritt S6, damit die Herstellungsanlagenmoduseinheit 70 den Herstellungsanlagenausrichtmodus durchführt. Wenn gewertet wird, dass die Wartungszieleinstellungsvorrichtung 120 verwendet werden soll, dann geht die Steuerung zu Schritt S30 (siehe 8), damit die Wartungsmoduseinheit 72 den Wartungsausrichtmodus durchführt. Der Herstellungsanlagenausrichtmodus und der Wartungsausrichtmodus werden nachfolgend nacheinander beschrieben.
In dem Herstellungsanlagenausrichtmodus wird in Schritt S6 ein Abstand von den Infrarotkameras 16L, 16R zu der Zielausrichtungsplatte 110 gesetzt.
In Schritt S7 wählt die Mustervorlagensetzeinheit 94 eine Referenzmustervorlage entsprechend dem Ausrichtziel 112 aus den Mustervorlagen TP1 bis TP6.
Um in Schritt S8 die Position des Ausrichtziels 112 unter Verwendung eines perspektivischen Transformationsmodells entsprechend dem Abstand bis zu dem kurzen Abstand angeordneten Ausrichtziel 112 zu berechnen, wird ein Fokussierungsabstand (Brennweite) der Infrarotkamera 16R, 16L gesetzt, die zu dem perspektivischen Transformationsmodell passt.
In Schritt S9 wird ein Mustervorlagenabgleichprozess auf der Basis der in Schritt S7 gewählten Mustervorlagen TP durchgeführt. Insbesondere werden Korrelationsberechnungen an einem Grauwertbild des Ausrichtziels 112, das von der Infrarotkamera 16R, 16L erhalten ist, und der Mustervorlage TP durchgeführt, und die Koordinaten eines Grauwertbilds oder eines Ziels, für das die Ergebnisse der Korrelationsberechnungen minimal sind, werden berechnet und in Schritt S10 gespeichert.
In Schritt S11 wird geprüft, ob die Anzahl der erfassten Grauwertbilder eine vorbestimmte Zahl N erreicht hat oder nicht. Wenn die Anzahl der erfassten Grauwertbilder die vorbestimmte Zahl N erreicht hat, dann geht die Steuerung zu Schritt S12. Wenn die Anzahl der erfassten Grauwertbilder kleiner als die vorbestimmte Zahl endet, dann geht die Steuerung zurück zu Schritt S1, um ein anderes Grauwertbild zu erfassen und die Zielkoordinaten zu berechnen und zu speichern.
In Schritt S12 werden die N Sätze von Zielcoordinaten aufgemittelt. Wenn in Schritt S13 gewertet wird, dass die Zielcoordinaten richtig berechnet sind, dann geht die Steuerung zu Schritt S14 über (siehe 7). Wenn in Schritt S13 gewertet wird, dass die Zielcoordinaten nicht richtig berechnet sind, dann geht die Steuerung zurück zu Schritt S3.
In Schritt S14 wird eine Luminanzeinstell-LUT gesetzt. Insbesondere um den Mustervorlagenabgleichprozess auf der Basis der Korrelationsberechnung richtig durchzuführen, werden Pegel der Luminanzsignale des Ausrichtziels 112, die von den Infrarotkameras 16R, 16L erfasst werden, miteinander verglichen, und es wird z. B. eine Luminanzeinstell-LUT derart gesetzt, dass das Luminanzsignal von der Infrarotkamera 16R, die als Referenz für die Korrelationsberechnungen verwendet wird, jederzeit größer ist als das Luminanzsignal von der Infrarotkamera 16L, bei jedem der Luminanzpegel. Wenn in Schritt S15 gewertet wird, dass der Setzprozess einer Luminanzeinstell-LUT richtig durchgeführt ist, dann geht die Steuerung zu Schritt S16.
In Schritt S16 wird ein Bildverzerrungskorrekturwert zum Korrigieren von Bildverzerrungen aufgrund individueller Unterschiede wie etwa Brennweiten, Pixelraster etc. zwischen den Infrarotkameras 16R, 16L berechnet. Wenn in Schritt S17 gewertet wird, dass ein Bildverzerrungskorrekturwert richtig berechnet ist, dann geht die Steuerung zu Schritt S18.
In Schritt S18 werden ein Schwenkwinkel und ein Nickwinkel, die als Montagewinkel der linken und rechten Kameras dienen, d. h. den Infrarotkameras 16R, 16L, berechnet. Wenn in Schritt S19 berechnet wird, dass der Montagewinkel der linken und rechten Kameras richtig berechnet sind, dann geht die Steuerung zu Schritt S20.
In Schritt S20 werden Ausblendkoordinaten zum Ausblenden von Bildbereichen zur Verarbeitung aus den von der Infrarotkamera 16R, 16L erhaltenen Bildern berechnet. Wenn in Schritt S21 gewertet wird, dass die Ausblendkoordinaten richtig berechnet sind, dann geht die Steuerung zu Schritt S22.
In Schritt S22 wird ein Parallaxenversatzwert berechnet, der einen Fehler repräsentiert, der in der Parallaxe zwischen den Objektbildern enthalten ist, weil die optischen Achsen der Infrarotkamera 16R, 16L nicht parallel zueinander sind. Wenn in Schritt S23 gewertet wird, dass der Parallaxenversatzwert richtig berechnet ist, dann geht die Steuerung zu Schritt S24.
In Schritt S24 werden die Luminanzeinstell-LUT, der Bildverzerrungskorrekturwert, der Schwenkwinkel und der Nickwinkel, die Ausblendkoordinaten und der Parallaxenversatzwert, die jeweils in den Schritten S14, S16, S18, S20 und S22 bestimmt sind, in dem Kameraparameterspeicher 46 gespeichert. Wenn diese Parameter richtig gespeichert sind, dann wird der Herstellungsanlagenausrichtmodus beendet. Hierbei schickt die ECU 14 ein Signal, das angibt, dass der Herstellungsanlagenausrichtmodus beendet ist, zu der Hauptsteuervorrichtung 106. Wenn anschließend der Normalmodus ausgeführt werden soll, dann kann ein vorbestimmter Neustartprozess ausgeführt werden. Wenn die Antworten auf die Abzweigprozesse in den Schritten S17, S19, S21, S23 und S25 negativ sind, dann geht die Steuerung zurück zu Schritt S3, wie dann, wenn die Antwort auf den Abzweigprozess in Schritt 13 negativ ist.
Nachfolgend wird der Wartungsausrichtmodus beschrieben. In dem Wartungsausrichtmodus werden die Schritte S1 bis S3 (siehe 6) in der gleichen Weise wie beim Herstellungsanlagenausrichtmodus ausgeführt. Dann zweigt die Steuerung von Schritt S4 zu Schritt S30 ab, damit die Wartungsmoduseinheit 72 eine Prozesssequenz durchführt, die in den 8 bis 10 gezeigt ist.
Im in 8 gezeigten Schritt S30 wird ein Abstand von den Infrarotkameras 16R, 16L zu der Zielplatte 132 gesetzt. Der Abstand von der Infrarotkamera 16R, 16L zu der Zielplatte 132 wird durch die Position des in einer Wartungseinrichtung installierten Ausrichtziels 134 bestimmt, wo der Wartungsausrichtmodus durchgeführt wird. Der Abstand wird von der Hauptsteuervorrichtung 126 zur ECU 14 eingegeben.
In Schritt S31 wird die Höhe H (siehe 1) der Infrarotkamera 16R, 16Lgeprüft und eingegeben.
In Schritt S32 wählt die Mustervorlagensetzeinheit 94 eine der Mustervorlagen TP1 bis TP6, die dem in Schritt S30 gesetzten Abstand zu dem Ausrichtziel 134 entspricht.
In Schritt S33 wird ein Fokussierabstand, der zu dem perspektivischen Transformationsmodell passt, das den Abstand zu dem Ausrichtziel 134 entspricht in der gleichen Weise wie in Schritt S8 gesetzt.
In Schritt S34 wird die Position der Zielplatte 132 geprüft. Insbesondere wird im Wartungsausrichtmodus die Zielplatte 132 nacheinander in einer Mittelposition PC, einer linken Position PL und einer rechten Position PR angeordnet (siehe 5). Wenn der Schritt S34 das erste mal ausgeführt wird, wird ein Signal zur Positionsbestätigung zu der Hauptsteuervorrichtung 126 geschickt, um die Zielplatte 132 in der Mittelposition PC anzuordnen. In Antwort auf das Signal zeigt die Hauptsteuervorrichtung 126 auf den Monitorschirm z. B. eine Meldung ”PLATZIEREN SIE DAS ZIEL IN DER MITTELPOSITION PC UND DRÜCKEN SIE DIE TASTE ”Y””. Gemäß der Meldung bewegt die Bedienungsperson das Scheinwerfertestgerät 124 entlang der Schiene 128 entweder manuell oder mit einem gegebenen Aktuator, bis die Zielplatte 132 in der Mittelposition PC angeordnet ist.
In Schritt S35 zeigt die Steuerung in Abhängigkeit von der Position der Zielplatte 132 zu dieser Zeit ab. Wenn die Zielplatte 132 in der Mittelposition PC angeordnet ist (in ersten bis 30 Zyklen), dann geht die Steuerung zu Schritt S36. Wenn die Zielplatte 132 in der linken Position PL angeordnet ist, in den 31. bis 60. Zyklen), dann geht die Steuerung zu Schritt S41 (siehe 9). Wenn die Zielplatte 132 an der rechten Position PR angeordnet ist (im 61. und nachfolgenden Zyklen), dann geht die Steuerung zu Schritt S46 (siehe 10).
In Schritt S36 wird ein Mustervorlagenabgleichprozess in der gleichen Weise wie in Schritt S9 durchgeführt.
In Schritt S37 werden Zielkoordinaten des Ausrichtziels 134 berechnet und in der gleichen Weise wie in Schritt S10 gespeichert.
In Schritt S38 wird die Anzahl der erfassten Grauwertbilder in der gleichen Weise wie in Schritt S11 geprüft. Wenn die Anzahl der erfassten Grauwertbilder 30 oder mehr ist, dann geht die Steuerung zu Schritt S39. Wenn die Anzahl der erfassten Grauwertbilder kleiner als 30 ist, dann geht die Steuerung zurück zu Schritt S1. In den zweiten und nachfolgenden Zyklen werden die Schritte S3 bis S8 und die Schritte S30 bis S35 übersprungen.
In Schritt S39 werden die Zielkoordinaten an der Mittelposition PC in der gleichen Weise wie in Schritt S12 aufgemittelt. Wenn in Schritt S40 gewertet wird, dass Zielkoordinaten normal berechnet sind, dann geht die Steuerung zurück zu Schritt S1. Wenn die Zielkoordinaten in Schritt S40 nicht normal berechnet sind, dann geht die Steuerung zurück zu Schritt S3.
Die Zielplatte 132 wird in der linken Position PL angeordnet, und die in 9 gezeigten Schritte S41 bis S45 werden ähnlich ausgeführt.
Dann wird die Zielplatte 132 an der rechten Position PR angeordnet, und die in 10 gezeigten Schritte S46 bis S50 werden ähnlich ausgeführt.
Wenn im letzten Schritt S50 gewertet wird, dass die Zielkoordinaten normal berechnet sind, dann geht die Steuerung zurück zu Schritt S14 (siehe 7). Anschließend wird der gleiche Prozess wie im Herstellungsanlagenausrichtmodus durchgeführt, und die Kameraparameter werden in dem Kameraparameterspeicher 46 gespeichert.
Nachdem die Kameraparameter in den Ausrichtmodus gesetzt sind, wird der Normalmodus unter Verwendung der Kameraparameter ausgeführt.
Nachfolgend wird ein Objektsuchprozess, und falls erforderlich ein Aufmerksamkeitserweckungsprozess, im Normalmodus in Bezug auf ein in 11 gezeigtes Flussdiagramm beschrieben.
Ein Bild eines Bereichs vor dem Fahrzeug 12 wird als Referenzbild von der Infrarotkamera 16R erhalten, und ein Bild eines Bereichs vor dem Fahrzeug 12 wird als Suchbild von der Infrarotkamera 16L erhalten. Die erhaltenen Bilder werden in jeweilige Grauwertbilder YR(EIN), YL umgewandelt, die in dem Bildspeicher 44 gespeichert werden, und das Grauwertbild YR(EIN) wird von dem Binärisierer 42 in ein binäres Bild DR umgewandelt, das ebenfalls in den Bildspeicher 44 gespeichert wird, in den Schritten S101, S102.
In Schritt S103 setzt die Objektbereichsetzeinheit 140 (siehe 3) der Normalmodusausführungseinheit 50 einen Objektbereich 150 (siehe 12), der ein Objekt 148 enthält, z. B. eine quadratische Fläche, wo Werte ”1” eines binären Bilds DR aufeinander folgend in einer x Richtung (horizontalen Richtung) und einer y Richtung (vertikalen Richtung) angeordnet sind, unter Verwendung des binären Bilds DR eines Referenzbilds 146, das von der Infrarotkamera 16R erhalten ist. Dann sucht die Objektbereichsetzeinheit 140 nach einem Objekt 154 in dem Suchbild 152, das dem Objekt 148 in dem Referenzbild 146 entspricht, gemäß Korrelationsberechnungen an dem Grauwertbild, berechnete Parallaxe an den Bildern zwischen den Objekten 148, 154, nach denen gesucht worden ist, und bestimmt in Schritt S104 einen Abstand von dem Fahrzeug 12 zu dem Objekt.
Vor den Korrelationsberechnungen stellt die Luminanzsignaleinstelleinheit 142 das Luminanzsignal des Referenzbilds 146 oder des Suchbilds 152 unter Verwendung der Luminanzeinstell-LUT, die Kameraparameter repräsentiert, derart ein, dass das Luminanzsignal des Referenzbilds 146 (Grauwertbilds YR(EIN)) eines Objektbereichs 150, das von der Infrarotkamera 16R erhalten ist, größer ist als das Luminanzsignal des Bilds des Objektbereichs 156 des Suchbilds 152 (Grauwertbilds YL), das von der Infrarotkamera 16L erhalten ist. Dann führt die Mustervorlagenabgleicheinheit 144 Korrelationsberechnungen an dem eingestellten Referenzbild 146 (Grauwertbild YR(AUS)) und dem Suchbild 52 (Grauwertbild YL) durch, um aus dem Suchbild 152 das Objekt 154 zu suchen.
Die Koordinaten der Objekte 148, 154 in dem Referenzbild 146 und im Suchbild 152 werden um einen Bildverzerrungskoeffizienten korrigiert, der einen Kameraparameter präsentiert, und die Parallaxe zwischen den Objekten 148, 154, nach denen gesucht worden ist, wird hoch genau durch einen Parallaxenversatzwert korrigiert, der einen Kameraparameter aufgrund eines relativen Schwenkwinkels repräsentiert. Der Abstand von dem Fahrzeug 12 zu dem tatsächlichen Objekt wird hoch genau berechnet.
Dann werden die zweidimensionalen Koordinaten des Objekts 48 in dem Referenzbild 146 um einen absoluten Schwenkwinkel und einem absoluten Nickwinkel der Infrarotkameras 16R, 16L in Schritt S18 erhalten, korrigiert, und in Schritt S105 wird eine relative Position berechnet, die durch dreidimensionale Koordinaten des Objekts 148 im Echtraum repräsentiert ist, einschließlich dem in Schritt S104 berechneten Abstand.
Die dreidimensionalen Koordinaten des Objekts 148 in dem Echtraum in Schritt S105 werden in kleinen Zeitintervallen wiederholt berechnet, um einen Bewegungsvektor des Objekts 148 in Schritt S106 zu berechnen. Unter Verwendung des bewegenden Vektors werden Straßenstrukturen und Fahrzeuge im Objekt 148 in Schritt S107 beseitigt. Dann wird in Schritt S108 aus der Form des verbleibenden Objekts 148 bestimmt, ob dort ein Fußgänger ist oder nicht.
Wenn in Schritt S108 gewertet wird, dass dort ein Fußgänger ist, dann wird das aus der Infrarotkamera 16R erhaltene Referenzbild auf dem HUD 18 angezeigt, und in Schritt S109 wird das Bild des Fußgängers von einem hervorhebenden Rahmen umschlossen. In Schritt S110 wird der Lautsprecher 20 angeregt, um die Aufmerksamkeit des Fahrers zu erwecken.
Die Gründe zum Einstellen der Luminanzeinstell-LUT derart, dass das Luminanzsignal des Referenzbilds 146 größer ist als ein Luminanzsignal des Suchbilds 152 wird nachfolgend beschrieben.
In 12 wird das Luminanzsignal an den Koordinaten (x, y) des Referenzbilds 146 mit YR(x, y) angegeben, das Luminanzsignal an den Koordinaten (x, y) des Suchbilds (152) mit YL(x, y), die Anzahl der Pixel in den x und y Richtungen des Objektbereichs 150 mit M bzw. N, und die Abstände, um die die Objektbereiche 156 von dem Objektbereich 150 in den x und y Richtungen beabstandet ist, mit p bzw. q. Mustervorlagenabgleicheinheit 144 berechnet eine Korrelationsfunktion SAD(p, q) wie folgt:
Der Objektbereich 156, dessen Korrelationsfunktion SAD(p, q) minimal ist, wird aus dem Suchbild 152 extrahiert.
Selbst wenn die Korrelationsfunktion SAD(p, q) minimal ist, können möglicherweise Hintergrundbilder um die Objekte 148, 154 herum, aufgrund unterschiedlicher Empfindlichkeitseigenschaften und Rauschen der Infrarotkamera 16R, 16L, irrtümlich als Objekte erkannt werden.
Das Luminanzsignal des von der Infrarotkamera 16R erhaltenen Objekts 148 wird mit a1 bezeichnet, das Luminanzsignal des Hintergrunds um das Objekt 148 herum mit b1, das Luminanzsignal des von der Infrarotkamera 16L erhaltenen Objekts 154 mit a2, und das Luminanzsignal des Hintergrunds um das Objekt 154 herum mit b2. Ein Auswertungswert MAD1 für die Korrelationsfunktion SAD(p, q) wenn die Objekte 148, 154 übereinstimmen, und ein Auswertungswert MAD2 für die Korrelationsfunktion SAD(p, q), wenn die Objekte 148, 154 nicht miteinander übereinstimmen, werden wie folgt eingeführt: MAD1 = |a1 – a2| + |b1 – b2| (2) MAD2 = |a1 – b2| + |b1 – b2| (3)
Durch Aufstellen einer Bedingung, die der Beziehung genügt: MAD2 – MAD1 = |a1 – b2| – |a1 – a2| > 0 (4) kann das Objekt 154 gesucht werden, ohne irrtümlich ein Hintergrundbild zu erfassen.
Wenn a1 > b1, a2 > b2, und a1 > a2, dann MAD2 – MAD1 = a2 – b2 > 0 (5) und die Gleichung (4) ist jederzeit erfüllt (siehe 12).
Wenn a2 > a1 und a1 > b2, dann ist die Gleichung (4) nur dann erfüllt (siehe 13), wenn MAD2 – MAD1 = 2·a1 – (a2 + b2) > 0 (6)
Wenn a2 > a1 und b2 > a1, dann ist die Gleichung (4) erfüllt, wenn MAD2 – MAD1 = b2 – a2 > 0 (7) wobei aber die Beziehung b2 > a2 niemals auftritt (siehe 14).
Um daher in der Lage zu sein, jederzeit nach dem Objekt 154 gemäß Korrelationsberechnungen zu suchen, ohne irrtümlich ein Hintergrundbild zu erfassen, kann das Luminanzsignal des von der Infrarotkamera 16R erhaltenen Bilds so gesetzt werden, dass es jederzeit größer ist als das Luminanzsignal des selben Bilds, das von der Infrarotkamera 16L erhalten wird.
Die Luminanzeinstell-LUT-Setzeinheit 80 der Ausrichtmodusausführungseinheit 48 setzt zum Beispiel eine Luminanzeinstell-LUT zum Einstellen des Luminanzsignals in Abhängigkeit vom Pegel, so dass ein Luminanzsignal YR(EIN), das erzeugt wird, wenn die Infrarotkamera 16R ein Bild der Ausrichtziele 112a bis 112h oder 134a bis 134c erhält, jederzeit größer ist als das Luminanzsignal YL, das erzeugt wird, wenn die Infrarotkamera 16L ein Bild der Ausrichtziele 112a bis 112h oder 134a bis 134c erhält. Dann speichert die Luminanzeinstell-LUT Setzeinheit 80 die gesetzte Luminanzeinstell-LUT in den Kameraparameterspeicher 46 (siehe 15).
Die Luminanzeinstelleinheit 142 stellt das Luminanzsignal YR(EIN) von der Infrarotkamera 16R, dessen Luminanz eingestellt werden soll und das aus dem Bildspeicher 44 gelesen wird, mit der Luminanzeinstell-LUT, die einen Kameraparameter repräsentiert, ein und gibt das eingestellte Luminanzsignal YR(EIN) als Luminanzsignal YR(AUS) an die Mustervorlagenabgleicheinheit 144 aus. Die Mustervorlagenabgleicheinheit 144 führt Korrelationsberechnung an dem eingestellten Luminanzsignal YR(AUS) von der Infrarotkamera 16R und dem Luminanzsignal YL von der Infrarotkamera 16L aus, um nach dem Objekt 154 zu suchen. Da die mit der Gleichung (4) angegebene Beziehung jederzeit erfüllt ist, wird das Objekt 154 zuverlässig gesucht, ohne irrtümlich ein Hintergrundbild zu erfassen.
Die Luminanzeinstell-LUT kann gesetzt werden, indem eine Grauwertskala mit stufenweisen Luminanzpegeln als Ausrichtziel durch die Infrarotkameras 16R, 16L gelesen wird, und indem das erhaltene Luminanzsignal YR(EIN) so gesetzt wird, dass es größer ist als das Luminanzsignal YL, bei jedem der Luminanzpegel. Gemäß der Luminanzeinstell-LUT kann das Luminanzsignal YL von der Infrarotkamera 16L, das in der Luminanz eingestellt werden soll und das aus dem Bildspeicher 44 gelesen wird, so eingestellt werden, dass es kleiner ist als das Luminanzsignal YR von der Infrarotkamera 16R. Alternativ kann ein Ausrichtziel mit einem einzigen Luminanzpegel von der Infrarotkamera 16R, 16L gelesen werden, kann ein einziger Korrekturwert gesetzt werden, der in der Lage ist, das Luminanzsignal YR(EIN) größer zu machen als das Luminanzsignal YR im vollen Luminanzbereich, und kann das Luminanzsignal YR(EIN) oder YL unter Verwendung des einzigen Korrekturwerts eingestellt werden.
In 3 wird die Infrarotkamera 16R als die Referenzbildaufnahmeeinheit festgelegt, und die Luminanzeinstell-LUT wird unter Verwendung des von der Infrarotkamera 16R erhaltenen Bilds als Referenzbild gesetzt. Jedoch kann, wie in 16 gezeigt, das Luminanzsignal YR von der Infrarotkamera 16R mit dem Luminanzsignal YL von der Infrarotkamera 16L durch eine Referenzbildwähleinheit 160 verglichen werden, und eine der Infrarotkameras 16R, 16L, die ein größeres Luminanzsignal erzeugt, kann als Referenzbildaufnahmeeinheit gewählt werden. Die Objektbereichsetzeinheit 140 kann einen Objektbereich 150 gemäß dem binären Bild DR oder DL von der gewählten Referenzbildaufnahmeeinheit setzen, und es können Korrelationsberechnungen mit der Mustervorlagenabgleicheinheit 144 unter Verwendung des Grauwertbilds YR oder YL von der Referenzbildaufnahmeeinheit als Referenzbild durchgeführt werden. Gemäß der in 16 gezeigten Ausführung kann das Objekt 154 zuverlässig extrahiert werden, ohne die Luminanz der Bilder einstellen zu müssen.
Das Luminanzsignal eines von einer Infrarotkamera (16R) erhaltenen Referenzbilds wird derart eingestellt, dass das Luminanzsignal des erhaltenen Referenzbilds jederzeit größer ist als das Luminanzsignal des von einer Infrarotkamera (16L) erhaltenen Suchbilds. An dem Referenzbild und dem Suchbild werden Korrelationsberechnungen durchgeführt, um ein Objekt in dem Referenzbild und dem Suchbild zu erfassen, ohne irrtümlich den Hintergrund der Bilder zu erfassen.

Claims

Vorrichtung zum Extrahieren eines Bilds eines Objekts durch Vergleich von Bildern, die jeweils von einer Mehrzahl von Bildaufnahmeeinheiten (16R, 16L) erhalten sind, umfassend: eine Luminanzsignaleinstelleinheit (142) zur Verwendung einer der Bildaufnahmeeinheiten (16R, 16L) als Referenzbildaufnahmeeinheit (16R) und einer anderen (16L) der Bildaufnahmeeinheiten als Suchbildaufnahmeeinheit (16L), und zum Vergleichen eines ersten Luminanzsignals (a1) in einem von der Referenzbildaufnahmeeinheit (16R) aufgenommenen Referenzbild (146) mit einem zweiten Luminanzsignal (a2) in einem von der Suchbildaufnahmeeinheit (16L) aufgenommenen Suchbild (152); eine Objektbereichsetzeinheit (140) zum Setzen eines Referenz-Objektbereichs (150), der ein bestimmtes Objekt (148) enthält, in dem Referenzbild (146), eine Bildvergleichseinheit (144) zum Vergleichen eines Bilds des Referenz-Objektbereichs (150) mit dem Suchbild (152); und eine Bildextraktionseinheit (144) zum Extrahieren eines dem bestimmten Objekt (148) entsprechenden Such-Objekts (154) aus dem Suchbild (152) auf der Basis eines Vergleichsergebnisses von der Bildvergleichseinheit (144), dadurch gekennzeichnet, dass die Luminanzsignaleinstelleinheit (142) das erste Luminanzsignal (a1) so einstellt, dass es um einen vorbestimmten Betrag stärker wird als das zweite Luminanzsignal (a2).
Vorrichtung nach Anspruch 1, worin die Bildvergleichseinheit (144) Korrelationsberechnungen an den Bildern durchführt, und die Bildextraktionseinheit (144) ein Bild, für das die Ergebnisse der Korrelationsberechnungen minimal sind, als das Suchbild (152) extrahiert.
Vorrichtung nach Anspruch 1, worin die Luminanzsignaleinstelleinheit (142) eine Einstelltabelle aufweist, um das Luminanzsignal des Referenzbilds (146) oder des Suchbilds (152), das von der Referenzbildaufnahmeeinheit (116R) oder der Suchbildaufnahmeeinheit (16L) erhalten ist, in Abhängigkeit vom Pegel der Luminanzsignals einzustellen.
Vorrichtung nach Anspruch 1, worin die Luminanzsignaleinstelleinheit (142) einen einzigen Korrekturwert aufweist, um das Luminanzsignal des Referenzbilds (146) oder des Suchbilds (152), das von der Referenzbildaufnahmeeinheit (16R) oder der Suchbildaufnahmeeinheit (16L) erhalten ist, einzustellen.
Vorrichtung nach Anspruch 1, worin die Bildaufnahmeeinheiten (16R, 16L) an einem Fahrzeug (12) angebracht sind.
Vorrichtung nach Anspruch 1, worin die Bildaufnahmeeinheiten (16R, 16L) Infrarotkameras aufweisen, um Infrarotstrahlung zu erfassen, die von dem bestimmten Objekt (148) abgestrahlt wird.
Vorrichtung zum Extrahieren eines Bilds eines Objekts durch Vergleich von Bildern, die jeweils von einer Mehrzahl von Bildaufnahmeeinheiten (16R, 16L) erhalten sind, umfassend: eine Bildwähleinheit (160) zum Wählen eines Bilds (146) unter den von den Bildaufnahmeeinheiten (16R, 16L) erhaltenen Bildern (146, 152) als Referenzbild (146); eine Objektbereichsetzeinheit (140) zum Setzen eines Referenz-Objektbereichs (150), der ein bestimmtes Objekt (148) enthält, in dem Referenzbild (146); eine Bildvergleichseinheit (144) zum Vergleichen des Referenzbilds (146) mit dem nicht gewählten anderen Bild (152); und eine Bildextraktionseinheit (144) zum Extrahieren eines dem bestimmten Objekt (148) entsprechenden weiteren Objekts (154) aus dem anderen Bild (152) auf der Basis eines Vergleichsergebnisses von der Bildvergleichseinheit (144); dadurch gekennzeichnet, dass die Bildwähleinheit (160) ein Bild (146), das das stärkste Luminanzsignal unter den Bildern (146, 152) hat, als das Referenzbild (146) wählt.
Vorrichtung nach Anspruch 7, worin die Bildvergleichseinheit (144) Korrelationsberechnungen an den Bildern durchführt, und die Bildextraktionseinheit (144) ein Bild, für das die Ergebnisse der Korrelationsberechnungen minimal sind, als das andere Bild (152) extrahiert.
Vorrichtung nach Anspruch 7, worin die Bildaufnahmeeinheiten (16R, 16L) an einem Fahrzeug (12) angebracht sind.
Verfahren zum Extrahieren eines Bilds eines Objekts durch Vergleich von Bildern, die jeweils von einer Mehrzahl von Bildaufnahmeeinheiten (16R, 16L) erhalten sind, welches die Schritte umfasst: Verwenden einer der Bildaufnahmeeinheiten (16R, 16L) als Referenzbildaufnahmeeinheit (16R) und einer anderen der Bildaufnahmeeinheiten als Suchbildaufnahmeeinheit (16L), und Einstellen eines ersten Luminanzsignals (a1) in einem von der Referenzbildaufnahmeeinheit (16R) aufgenommenen Referenzbild (146) und eines zweiten Luminanzsignals (a2) in einem von oder der Suchbildaufnahmeeinheit (16L) aufgenommenen Suchbild (152); Setzen eines Referenz-Objektbereichs (150), das ein bestimmtes Objekt (148) enthält, in dem Referenzbild (146); Vergleichen eines Referenz-Bilds des Objektbereichs (150) mit dem Suchbild (152); und Extrahieren eines dem bestimmten Objekt (148) entsprechenden Such-Objekts (154) aus dem Suchbild (152) auf der Basis eines Vergleichsergebnisses des Vergleichsschritts, dadurch gekennzeichnet, dass das erste Luminanzsignal (a1) so eingestellt wird, dass es um einen vorbestimmten Betrag stärker wird als das zweite Luminanzsignal (a2).
Verfahren nach Anspruch 10, worin der Vergleichsschritt einen Schritt umfasst, Korrelationsberechnungen an dem Bild des Objektbereichs (150) und dem Suchbild (152) durchzuführen, und der Extraktionsschritt den Schritt umfasst, ein Bild, für das die Ergebnisse der Korrelationsberechnungen minimal sind, als das Suchbild (152) zu extrahieren.
Verfahren zum Extrahieren eines Bilds eines Objekts durch Vergleich von Bildern, die jeweils von einer Mehrzahl von Bildaufnahmeeinheiten (16R, 16L) erhalten sind, welches die Schritte umfasst: Wählen eines Bilds (146) unter den von den Bildaufnahmeeinheiten (16R, 16L) erhaltenen Bildern (146, 152) als Referenzbild (146); Setzen eines Referenz-Objektbereichs (150), der ein bestimmtes Objekt (148) enthält, in dem Referenzbild (146); Vergleichen des Referenzbilds (146) mit dem nicht gewählten anderen Bild (152); und Extrahieren eines dem bestimmten Objekt (148) entsprechenden weiteren Objekts (154) aus dem anderen Bild (152) auf der Basis eines Vergleichsergebnisses des Vergleichsschritts, dadurch gekennzeichnet, dass im Wählschnitt ein Bild (146), das das stärkste Luminanzsignal unter den Bildern (146, 152) hat, als das Referenzbild (146) ausgewählt wird.
Verfahren nach Anspruch 12, worin der Vergleichsschritt den Schritt umfasst, Korrelationsberechnungen an dem Bild des Objektbereichs (150) und dem Suchbild (152) durchzuführen, und der Extraktionsschritt den Schritt umfasst, ein Bild, für das die Ergebnisse der Korrelationsberechnungen minimal sind, als das andere Bild (152) zu extrahieren.