-
QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
-
Die vorliegende Anmeldung beansprucht Priorität gemäß U.S.C. § 119 der
Koreaischen Patentanmeldung Nr. 10-2012-0089498 , eingereicht am 16. August 2012, deren gesamter Inhalt hiermit zum Gegenstand der vorliegenden Offenbarung gemacht ist.
-
TECHNISCHES SACHGEBIET
-
Die vorliegende Offenbarung betrifft ein(e) Objektdetektionseinrichtung und -verfahren für Fahrzeuge, insbesondere eine Objektdetektionseinrichtung, bei der ein normaler Kamerasensor verwendet wird und ein Detektionsverfahren zum Einstellen einer Detektionsempfindlichkeit gegenüber einem Objekt (Fußgänger oder Tier) selbst in einem urbanen Bereich, in dem die Streureflexion einer Lichtquelle stark ist.
-
HINTERGRUND
-
Im Wesentlichen erfassen Wärmebildkameras, bei denen fernes Infrarot-(far-infrared FIR-)Licht verwendet wird, keinen Bereich mit sichtbarem Licht, sondern erfassen einen fernen Infrarotbereich. Das heißt, dass die Wärmebildkamera eine Infrarot-Wärmeenergie erfasst, die von einem Subjekt erzeugt wird, und das Erfassungsergebnis als ein Wärmebild erhält. Aufgrund dieser Charakteristik können die Wärmebildkameras verwendet werden, um eine Person mit einer Körpertemperatur zu erfassen.
-
Seit kurzer Zeit wird eine Fußgängerdetektionseinrichtung, bei der eine FIR-Kamera verwendet wird, in Fahrzeugen eingesetzt. Die in einem Fahrzeug eingesetzte FIR-Kamera muss eine konsistente Detektionsleistung unabhängig von einer aktuellen Fahrumgebung des Fahrzeugs bieten. Das heißt, dass die in einem Fahrzeug eingesetzte FIR-Kamera eine konsistente Detektionsleistung bieten muss selbst in einem urbanen Bereich, in dem eine Streureflexion aufgrund von Umgebungslichtquellen stark ist, oder in einem außerstädtischen Bereich, in dem eine Streureflexion aufgrund von Umgebungslichtquellen nicht stark ist.
-
Daher ist eine Funktion des Einstellens einer Detektionsempfindlichkeit grundsätzlich einer in einem Fahrzeug eingesetzten, dem Stand der Technik entsprechende FIR-Kamera hinzugefügt, damit diese eine konsistente Detektionsleistung bietet. Mit der Empfindlichkeitseinstellfunktion wird die Einstellgröße einer Abstrahltemperaturdifferenz zwischen Objekten für eine Wärmebildaufnahme eingestellt, wodurch die Detektionsempfindlichkeit eingestellt wird.
-
Es gibt jedoch eine Beschränkung beim Einstellen der Detektionsempfindlichkeit in einem urbanen Bereich, in dem die Streureflexion von Licht, das von einem Gebäude in der Umgebung emittiert wird, die Streureflexion von Licht, das von einer Anschlagtafel, die an einem Gebäude in der Umgebung angebracht ist, emittiert wird und insbesondere die Streureflexion von Licht von vorderen und hinteren Fahrzeugen stark ist. Ferner sind FIR-Kameras eine teure Ausrüstung, wie aber vorstehend beschrieben ist, können die FIR-Kameras eine dem Preis entsprechende Detektionsleistung, die ein Benutzer wünscht, in einem urbanen Bereich, in dem eine Streureflexion stark ist, nicht auf zufriedenstellende Weise erbringen.
-
Ferner ist es möglich, einen Fußgänger mit einer Komplementär-Metalloxid-Silizium-(complementary metal-oxid-silicon CMOS-)Kamera, die relativ kostengünstiger ist als FIR-Kameras, zu detektieren. CMOS-Kameras erhalten jedoch kein Bild eines Subjekts, sondern erfassen eine Infrarot-Wärmeenergie, die von dem Subjekt erzeugt wird, und weisen somit keine Empfindlichkeitseinstellfunktion auf, bei der die Abstrahltemperaturdifferenz eines Subjekts verwendet wird. Das heißt, dass in einem urbanen Bereich, in dem eine Streureflexion stark ist, diese insbesondere nicht in der Lage sind, nachts einen Fußgänger zu detektieren und, wie bei FIR-Kameras, ist es schwierig, eindeutig zu bestimmen, ob ein Objekt ein Fußgänger oder ein Tier ist.
-
ZUSAMMENFASSENDER ÜBERBLICK
-
Entsprechend stellt die vorliegende Offenbarung eine Objektdetektionseinrichtung zum genauen Detektieren eines Subjekts selbst in einem urbanen Bereich, in dem aufgrund einer Anzahl von Lichtquellen eine Streureflexion stark ist, bereit.
-
Die vorliegende Offenbarung schafft ferner ein Objektdetektionsverfahren, bei dem die Objektdetektionseinrichtung verwendet wird.
-
Bei einem allgemeinen Aspekt umfasst eine Objektdetektionseinrichtung, die ein Ausgangsbild ausgibt mit keinem anderen in einem Hintergrund hinzugefügten Licht-Bild als einem Objekt, wenn das Objekt aus einem das Objekt enthaltenen Bild extrahiert wird. einen Sensor, der Licht mit einem spezifischen Wellenlängenband zum Ausgeben einer Vielzahl von Rohdaten, die dem erfassten Licht entsprechen, erfasst; eine Pixeldaten-Extraktionseinrichtung, die eine Vielzahl von Pixeldaten aus der Vielzahl von Rohdaten extrahiert, wobei die Pixeldaten-Extraktionseinrichtung Transmissivitäten für das Wellenlängenband jedes der Rohdaten analysiert und die Vielzahl von Pixeldaten, die aus R-, G- und B-Werten gebildet sind, aus den jeweiligen Rohdaten mit der analysierten Transmissivität extrahiert; eine Referenzwellenlängenwert-Extraktionseinrichtung, die eine arithmetische Operation an den R-, G- und B-Werten durchführt, um Korrekturwellenlängenwerte für Pixeldaten zu berechnen, die berechneten Korrekturwellenlängenwerte vergleicht und einen der Korrekturwellenlängenwerte als einen Referenzwellenlängenwert entsprechend dem Analyseergebnis extrahiert; und einen Datenselektor, der die Vielzahl von Pixeldaten empfängt, Pixeldaten mit einem Wellenlängenwert, der größer ist als der Referenzwellenlängenwert, selektiv aus der Vielzahl von Pixeldaten ausgibt und eine Detektionsempfindlichkeit des Sensors einstellt.
-
Bei einem weiteren allgemeinen Aspekt umfasst ein Objektdetektionsverfahren: Erfassen von Licht mit einem spezifischen Wellenlängenband mittels eines Sensors zum Ausgeben einer Vielzahl von Rohdaten, die dem erfassten Licht entsprechen; Extrahieren einer Vielzahl von Pixeldaten aus der Vielzahl von Rohdaten, wobei Transmissivitäten für das Wellenlängenband jedes der Rohdaten analysiert werden und die Vielzahl von Pixeldaten, die aus R-, G- und B-Werten gebildet sind, aus den jeweiligen Rohdaten mit der analysierten Transmissivität extrahiert werden; Durchführen einer arithmetischen Operation an den R-, G- und B-Werten, um Korrekturwellenlängenwerte für Pixeldaten zu berechnen; Vergleichen der berechneten Korrekturwellenlängenwerte und Extrahieren eines der Korrekturwellenlängenwerte als einen Referenzwellenlängenwert entsprechend dem Analyseergebnis; und Auswählen von Pixeldaten mit einem Wellenlängenwert, der größer ist als der Referenzwellenlängenwert, aus der Vielzahl von Pixeldaten, um eine Detektionsempfindlichkeit des Sensors auf der Basis der Referenzwellenlängenwerte einzustellen.
-
Weitere Merkmale und Aspekte werden anhand der folgenden detaillierten Beschreibung, der Zeichnungen und der Patentansprüche offensichtlich.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt ein Blockschaltbild mit Darstellung von Hauptelementen einer Objektdetektionseinrichtung nach einer Ausführungsform der vorliegenden Erfindung.
-
2 zeigt ein Ablaufdiagramm mit Darstellung eines Objektdetektionsverfahrens nach einer Ausführungsform der vorliegenden Erfindung.
-
3 zeigt ein Diagramm, das schematisch eine Operation zum Setzen eines Referenzwellenlängenwerts "L" bei Operation S224 in 2 darstellt.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
-
Ausführungsbeispiele der vorliegenden Erfindung, die von Fachleuten leicht ausgeführt werden können, werden nun mit Bezug auf die beiliegenden Zeichnungen näher erläutert. Die vorliegende Erfindung kann jedoch in vielen unterschiedlichen Formen ausgeführt werden und darf nicht als auf die hier dargestellten Ausführungsformen beschränkt angesehen werden. In den beiliegenden Zeichnungen ist ein Teil, der für die Beschreibung der vorliegenden Erfindung irrelevant ist, aus Gründen der Klarheit weggelassen worden. Gleiche Bezugszeichen beziehen sich durchgehend auf gleiche Elemente.
-
Hinsichtlich dieser nachstehend beschriebenen Offenbarung sei darauf hingewiesen, dass dann, wenn beschrieben ist, dass ein Teil einige Elemente umfasst (oder aufweist oder besitzt), es nur diese Elemente umfassen (oder aufweisen oder besitzen) kann oder andere Elemente neben diesen Elementen umfassen (oder aufweisen oder besitzen) kann, wenn keine besondere Einschränkung vorgesehen ist. Ferner bezeichnet jeder der Ausdrücke wie z. B. "...einheit", "...teil" und "...einrichtung", die in der Beschreibung dargestellt sind, ein Element zum Durchführen von mindestens einer Funktion oder Operation und kann in Hardware, Software oder der Kombination aus Hardware und Software implementiert sein.
-
1 zeigt ein Blockschaltbild mit Darstellung von Hauptelementen einer Objektdetektionseinrichtung nach einer Ausführungsform der vorliegenden Erfindung.
-
Wie in 1 gezeigt ist, wird bei einer Objektdetektionseinrichtung 100 nach einer Ausführungsform der vorliegenden Erfindung eine Detektionsempfindlichkeit gegenüber einem Objekt (Fußgänger oder Tier) selbst in einer Umgebung eingestellt, wie z. B. einem urbanen Bereich, in dem eine Vielzahl von Lichtquellen nahe dem zu detektierenden Objekt angeordnet ist. Die Objektdetektionseinrichtung 100 gibt ein Ausgangsbild aus mit keinem anderen in einem Hintergrund hinzugefügten Licht-Bild als einem Objekt, wenn sie das Objekt aus einem das Objekt enthaltenen Bild extrahiert.
-
Zu diesem Zweck weist die Objektdetektionseinrichtung 100 einen Sensor 110, eine Pixeldaten-Extraktionseinrichtung 120, eine Referenzwellenlängenwert-Extraktionseinrichtung 130, einen Datenselektor 140 und einen Bildgenerator 150 auf.
-
Der Sensor 110 ist ein Bildsensor, der Objekt-(oder Subjekt-)Informationen erfasst und die erfassten Informationen in ein elektrisches Bildsignal umwandelt. Der Sensor 110 erfasst Licht mit einem spezifischen Wellenlängenband von 300 nm bis 1500 nm und erzeugt eine Vielzahl von Rohdaten, die dem erfassten Licht entsprechen. In erster Linie kann anstelle der bestehenden teuren Wärmebildkamera ein kostengünstiger normaler Kamerasensor, der Licht mit einem spezifischen Wellenlängenband erfasst, verwendet werden. Zum Beispiel kann ein Ladungskopplungsvorrichtungs-(charge-coupled device CCD-)Bildsensor oder ein CMOS-Bildsensor verwendet werden. Der CMOS-Bildsensor ist mit einer Vielzahl von Lichtempfangselementen ausgestaltet, die Licht aufnehmen, das durch eine Linse einfällt. Jedes der Lichtempfangselemente ist als eine Zelle klassifiziert, und Licht, das auf jede Zelle auffällt, wird in ein elektrisches Signal umgewandelt. Das umgewandelte elektrische Signal wird schließlich in unverarbeitete Rohdaten umgewandelt und zum Extrahieren von Rot-(R-), Grün-(G-) und Blau-(B-)Farbkomponenten ausgegeben. Hierbei wird ein Stück von Rohdaten in Einheiten einer Zelle erzeugt, und wenn die Lichtempfangselemente jeweils als eine Anzahl n von Zellen klassifiziert sind, werden n Stücke Rohdaten RAW1 bis RAWn (wobei n eine natürliche Zahl von größer eins ist) erzeugt.
-
Die Pixeldaten-Extraktionseinrichtung 120 empfängt n Stücke Rohdaten RAW1 bis RAWn von dem Sensor 110 und extrahiert n Stücke Pixeldaten R1G1B1 bis RnGnBn, die jeweils den n Stücken Rohdaten RAW1 bis RAWn entsprechen. Die Pixeldaten-Extraktionseinrichtung 120 analysiert die Transmissivität jedes der Rohdaten RAW1 bis RAWn in einem Wellenlängenband von 300 nm bis 1500 nm, berechnet die Quantenausbeute (quantum efficiency QE) bei der analysierten Transmissivität und extrahiert Pixeldaten (einschließlich eines R-Komponentenwerts, eines G-Komponentenwerts und eines B-Komponentenwerts) aus jedem der Rohdaten RAW1 bis RAWn auf der Basis der berechneten QE.
-
Die Referenzwellenlängenwert-Extraktionseinrichtung 130 berechnet die R-, G- und B-Komponentenwerte durch Durchführen einer arithmetischen Operation und berechnet eine Vielzahl von Korrekturwellenlängenwerten Z, die für jedes der Pixeldaten R1G1B1 bis RnGnBn korrigiert worden sind. Hierbei ist jeder der Korrekturwellenlängenwerte Z so definiert, dass er ein Wellenlängenband anzeigt, in dem die Empfindlichkeit jedes der R-, G- und B-Komponentenwerte in einem entsprechenden Pixel am höchsten ist. Der korrigierte Wellenlängenwert wird durch eine arithmetische Operation erhalten, die von der folgenden Gleichung (1) wiedergegeben ist, welche durch mehrere von dem Anmelder durchgeführte Experimente erhalten worden ist. Die Referenzwellenlängenwert-Extraktionseinrichtung 130 extrahiert den größten Wert der berechneten Korrekturwellenlängenwerte Z (Zi, 1 ≤ i ≤ n) als einen Referenzwellenlängenwert L. Zi = k1Ri + k2Gi + k3Bi (1) wobei Zi einen i. Korrekturwellenlängenwert bezeichnet, Ri ein i. R-Komponentenwert ist, Gi ein i. G-Komponentenwert ist, Bi ein i. B-Komponentenwert ist, i einen Bereich von 1 ≤ i ≤ n umfasst, k1 als 0,257 klassifiziert ist, k2 als 0,573 klassifiziert ist und k3 als 0,127 klassifiziert ist.
-
Zum Durchführen der arithmetischen Operation, die als Gleichung (1) wiedergegeben ist, weist die Referenzwellenlängenwert-Extraktionseinrichtung 130 eine Korrekturwellenlängenwert-Berechnungseinheit 132, eine Variablen-Speichereinheit 134 und eine Maximalwellenlängenwert-Extraktionseinheit 136 auf.
-
Die Korrekturwellenlängenwert-Berechnungseinheit 132 führt einen Algorithmus aus, der als Gleichung (1) wiedergegeben ist. Die Korrekturwellenlängenwert-Berechnungseinheit 132 empfängt die Pixeldaten R1G1B1 bis RnGnBn von der Pixeldaten-Extraktionseinrichtung 120 und erste bis dritte Variablen k1 bis k3 von der Variablen-Speichereinheit 134, und durch entsprechendes Multiplizieren der R-, G- und B-Komponentenwerte (die jedes der Pixeldaten bilden) mit den ersten bis dritten Variablen berechnet die Korrekturwellenlängenwert-Berechnungseinheit 132 die Korrekturwellenlängenwerte "Z1(= k1R1 + k2G1 + k3B1) ~ Zn(= k1Rn + k2Gn + k3Bn)". Die Variablen-Speichereinheit 134 kann eine Art von nichtflüchtigem Speicher sein, der die gespeicherten ersten bis dritten Variablen k1 bis k3 in Reaktion auf die Anforderung der Korrekturwellenlängenwert-Berechnungseinheit 132 zu der Korrekturwellenlängenwert-Berechnungseinheit 132 überträgt. Die Maximalwellenlängenwert-Extraktionseinheit 136 nimmt die Korrekturwellenlängenwerte "Z1(= k1R1 + k2G1 + k3B1) ~ Zn(= k1Rn + k2Gn + k3Bn)" auf, die von der Korrekturwellenlängenwert-Berechnungseinheit 132 berechnet worden sind, extrahiert den größten Wert der aufgenommenen Korrekturwellenlängenwerte als einen Korrekturwellenlängenwert Zamax und gibt den extrahierten Korrekturwellenlängenwert "L = Zamax" als den Referenzwellenlängenwert "L = Zamax" aus. Der ausgegebene Referenzwellenlängenwert L wird an den Datenselektor 140 übertragen.
-
Der Datenselektor 140 empfängt den Referenzwellenlängenwert L von der Maximalwellenlängenwert-Extraktionseinheit 136 der Referenzwellenlängenwert-Extraktionseinrichtung 130 und empfängt die Pixeldaten R1G1B1 bis RnGnBn von der Pixeldaten-Extraktionseinrichtung 120. Der Datenselektor 140 gibt selektiv eine Vielzahl von Pixeldaten mit einem Wellenlängenband, das größer ist als der Referenzwellenlängenwert L, an den Bilddatengenerator 150 aus und blockiert die Ausgabe von Pixeldaten (mit einem Wellenlängenband, das kleiner als der oder gleich dem Referenzwellenlängenwert L ist) an den Bilddatengenerator 150.
-
Der Bildgenerator 150 erzeugt ein finales Ausgabebild, das gebildet ist aus einer Vielzahl von Pixeldaten mit einem Wellenlängenband, das größer ist als der Referenzwellenlängenwert L, die von dem Datenselektor 150 ausgewählt worden sind, und gibt dieses aus.
-
Wie oben beschrieben ist, überwindet beim üblichen Erfassen der Wärme eines Objekts und Einstellen der Detektionsempfindlichkeit gegenüber dem Objekt (Fußgänger oder Tier) die Objektdetektionseinrichtung 100 nach der vorliegenden Erfindung eine Einschränkung, bei der es unmöglich ist, die Detektionsempfindlichkeit zum Detektieren des Objekts in einer Umgebung einzustellen, in der eine Anzahl von wärmeerzeugenden Vorrichtungen (zum Beispiel vorausfahrende Fahrzeuge, hinten fahrende Fahrzeuge, Umgebungslicht etc.) wie in einem urbanen Bereich vorhanden ist, und kann das Objekt unter Verwendung eines kostengünstigen normalen Kamerasensors, wie z. B. eines CMOS-Bildsensors, ohne Verwendung einer teuren Wärmebildkamera detektieren.
-
2 zeigt ein Ablaufdiagramm mit Darstellung eines Objektdetektionsverfahrens, bei dem die Objektdetektionseinrichtung von 1 verwendet wird.
-
Wie in 2 gezeigt ist, nimmt die Objektdetektionseinrichtung bei Operation S212 Licht mit einem Bereich von 300 nm bis 1500 nm mit einem normalen Kamerasensor, wie z. B. einem CMOS-Bildsensor oder einem CCD-Bildsensor, auf.
-
Anschließend wandelt die Objektdetektionseinrichtung bei Operation S214 das aufgenommene Licht in Rohdaten um und analysiert bei Operation S216 Transmissivitäten für die Wellenlänge der umgewandelten Rohdaten.
-
Anschließend berechnet die Objektdetektionseinrichtung bei Operation S218 eine QE mittels der analysierten Transmissivitäten für die Wellenlänge und extrahiert eine Vielzahl von Pixeldaten, die aus R-, G-und B-Komponentenwerten gebildet sind, auf der Basis der berechneten QE.
-
Anschließend ersetzt die Objektdetektionseinrichtung bei Operation S220 die R-, G- und B-Komponentenwerte, die bei Operation S218 extrahiert worden sind, in der Gleichung (1), um die Korrekturwellenlängenwerte Z1 bis Zn für Daten jedes Pixels zu berechnen. Anschließend extrahiert die Objektdetektionseinrichtung bei Operation S222 den Korrekturwellenlängenwert Zmax, der dem größten Wert der berechneten Korrekturwellenlängenwerte Z1 bis Zn entspricht.
-
Anschließend setzt die Objektdetektionseinrichtung bei Operation S224 den Korrekturwellenlängenwert Zmax, der bei Operation S222 extrahiert worden ist, als den Referenzwellenlängenwert L und vergleicht bei Operation S226 den Referenzwellenlängenwert L mit einem Wellenlängenband von Pixeldaten.
-
Anschließend werden bei Operation S228 Pixeldaten mit einem Wellenlängenband, das größer ist als der Referenzwellenlängenwert L, als finale Bilddaten gesetzt, die ein Ausgabebild bilden. Ferner werden bei Operation S230 Pixeldaten mit einem Wellenlängenband, das kleiner als der oder gleich dem Referenzwellenlängenwert L ist, nicht als die finalen Bilddaten verwendet, die das Ausgabebild bilden, und werden fallengelassen.
-
3 zeigt ein Diagramm, das schematisch eine Operation zum Setzen eines Referenzwellenlängenwerts "L" bei Operation S224 in 2 darstellt. In 3 zeigt die Abszissenachse eine Wellenlänge an, und die Ordinatenachse zeigt die QEs von R-, G- und B-Komponentenwerten an.
-
Wie in 3 gezeigt ist, wird bei einem normalen Kamerasensor, bei dem die Eingangskennlinie (QE) eines Bilds analysiert wird, ein Punkt, an dem die QEs von R-, G- und B-Komponentenwerten gleichmäßig hoch sind, zum Referenzwellenlängenwert L der vorliegenden Erfindung. Bei dem dargestellten Diagramm liegt der höchste QE-Wert (≒ 21,912) an einem Punkt von 770 nm. Entsprechend ist der Referenzwellenlängenwert L auf 770 nm gesetzt.
-
Nach der vorliegenden Erfindung ist die Objektdetektionseinrichtung vorgesehen, bei der ein normaler Kamerasensor verwendet wird, der eine Detektionsempfindlichkeit gegenüber einem Objekt (Fußgänger oder Tier) selbst in einer Umgebung einstellen kann, in der die Streureflexion aufgrund einer Anzahl von Lichtquellen stark ist, wodurch die Einschränkungen einer dem Stand der Technik entsprechenden Objektdetektionseinrichtung überwunden werden, bei der eine Wärmebildkamera verwendet wird, die nicht in der Lage ist, eine Detektionsempfindlichkeit gegenüber einem Objekt (Fußgänger oder Tier) in einem urbanen Bereich einzustellen, in dem die Streureflexion einer Lichtquelle stark ist.
-
Ferner können durch Auslegen der Objektdetektionseinrichtung unter Verwendung einer kostengünstigen normalen Kamera die Herstellkosten beträchtlich reduziert werden.
-
Vorstehend ist eine Anzahl von Ausführungsbeispielen beschrieben worden. Es sei jedoch darauf hingewiesen, dass verschiedene Modifikationen durchgeführt werden können. Zum Beispiel können geeignete Ergebnisse erzielt werden, wenn die beschriebenen Techniken in einer anderen Reihenfolge durchgeführt werden und/oder wenn Komponenten in einem beschriebenen System, Architektur, Vorrichtung oder Schaltung auf andere Weise kombiniert und/oder durch andere Komponenten oder deren Äquivalente ersetzt oder ergänzt werden. Entsprechend fallen andere Implementierungen in den Schutzumfang der nachfolgenden Patentansprüche.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- KR 10-2012-0089498 [0001]
