DE102005041241A1

DE102005041241A1 - Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs

Info

Publication number: DE102005041241A1
Application number: DE102005041241A
Authority: DE
Inventors: Patrice Reilhac; Adrien Charpentier
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2005-08-31
Filing date: 2005-08-31
Publication date: 2007-04-19
Also published as: WO2007025621A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems (210) eines Fahrzeugs, bei dem in einem ersten Schritt (100) mittels des primären Kamerasystems (210) ein primäres Kamerabild von einer Umgebung des Fahrzeugs erhalten wird. Das Verfahren ist durch die folgenden Schritte gekennzeichnet: DOLLAR A - Ermitteln (110) eines Objekts und seiner tatsächlichen Position in der Umgebung des Fahrzeugs aus dem primären Kamerabild, insbesondere eines Hindernisses und/oder einer Person in der Umgebung des Fahrzeugs, DOLLAR A - Erhalten eines sekundären Kamerabilds mittels eines in einem zweiten Spektralbereich arbeitenden sekundären Kamerasystems (220), wobei das sekundäre Kamerabild zumindest einen Teil der in dem primären Kamerabild enthaltenen Umgebung des Fahrzeugs aufweist, DOLLAR A - Einblenden (120) von das ermittelte Objekt repräsentierenden Informationen in das sekundäre Kamerabild.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems eines Fahrzeugs, bei dem in einem ersten Schritt mittels des primären Kamerasystems ein primäres Kamerabild von einer Umgebung des Fahrzeugs erhalten wird.
Die vorliegende Erfindung betrifft ferner ein System zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems eines Fahrzeugs.

Derartige Verfahren und Systeme sind bekannt und werden beispielsweise in Form von Fahrerassistenzsystemen bei Kraftfahrzeugen dazu eingesetzt, um einen Fahrer des Kraftfahrzeugs mit visuellen Informationen zu versorgen. Neben dem Einsatz von Kamerasystemen, die in einem sichtbaren Spektralbereich arbeiten, ist es auch bekannt, sog. Wärmebildkameras einzusetzen, d.h. Kameras, die in einem Infrarot-Spektralbereich arbeiten und die demnach z.B. auch bei geringer Umgebungshelligkeit die Erkennung von Objekten erlauben, die sich aufgrund ihrer Temperatur von einem Hintergrund wie z.B. einer kälteren Umgebung, abheben.

Nachteilig an den im sichtbaren Spektralbereich arbeitenden Kamerasystemen ist insbesondere die im Vergleich zu Wärmebildkameras geringere Erkennbarkeit von Objekten wie z.B. Fußgängern insbesondere auch in solchen Fällen, bei denen Algorithmen zur Bildverarbeitung eingesetzt werden, um die Objekt zu erkennen.

Kamerabilder eines Wärmebildkamerasystems ermöglichen dagegen prinzipbedingt eine bessere Erkennbarkeit von Fußgängern und anderen Objekten, die sich aufgrund ihrer Temperatur von der Umgebung abheben. Allerdings ist ein entsprechendes Kamerabild schlechter von einem Fahrer des Kraftfahrzeugs auswertbar, insbesondere weil die Zuordnung eines in dem Kamerabild an sich gut erkennbaren Objekts zu einer tatsächlichen Position in der Umgebung des Kraftfahrzeugs aufgrund der gegenüber mit sichtbarem Licht arbeitenden Systeme schlechteren Unterscheidbarkeit von Umgebungsdetails erschwert ist. D.h., bei Wärmebildkamerasystemen sind zwar Objekte wie z.B. Fußgänger leichter erkennbar, aber die Zuordnung zu ihrer tatsächlichen Position relativ zu dem Kraftfahrzeug ist insbesondere für einen menschlichen Betrachter erschwert.

Demgemäß ist es Aufgabe der vorliegenden Erfindung, ein Verfahren und ein System der eingangs genannten Art dahingehend zu verbessern, dass eine zuverlässige Erkennung von Fußgängern und anderen Objekten ermöglicht ist, während gleichzeitig die Anzeige erkannter Objekte in einer einfach und intuitiv z.B. durch einen Fahrer des Fahrzeugs auswertbaren Form gegeben ist.

Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art erfindungsgemäß durch die folgenden Schritte gelöst:

– Ermitteln eines Objekts und seiner tatsächlichen Position in der Umgebung des Fahrzeugs aus dem primären Kamerabild, insbesondere eines Hindernisses und/oder einer Person in der Umgebung des Fahrzeugs,
– Erhalten eines sekundären Kamerabilds mittels eines in einem zweiten Spektralbereich arbeitenden sekundären Kamerasystems, wobei das sekundäre Kamerabild zumindest einen Teil der in dem primären Kamerabild enthaltenen Umgebung des Fahrzeugs aufweist,
– Einblenden von das ermittelte Objekt repräsentierenden Informationen in das sekundäre Kamerabild.

Durch die erfindungsgemäße Verwendung zweier Kamerasysteme, die in jeweils unterschiedlichen Spektralbereichen arbeiten, ist eine besonders gute Erkennung von Objekten wie z.B.

Fußgängern und dergleichen möglich, beispielsweise bei Verwendung eines Infrarot- bzw. Wärmebildkamerasystems als primäres Kamerasystem. Darüberhinaus kann als weiteres, d.h. sekundäres Kamerasystem ein herkömmliches, im sichtbaren Spektralbereich arbeitendes Kamerasystem verwendet werden, dessen sekundäre Kamerabilder dem Fahrer zur Anzeige gebracht werden, um ihn mit visuellen Informationen über die Fahrzeugumgebung zu versorgen.

Das beispielsweise mittels des Wärmebildkamerasystems ermittelte Objekt bzw. diesbezügliche Informationen können in das sekundäre Kamerabild eingeblendet werden, das die Fahrzeugumgebung im sichtbaren Spektralbereich darstellt und somit eine einfache und schnelle Wahrnehmung durch den Fahrer ermöglicht. Gleichzeitig bleiben die Vorteile hinsichtlich der verbesserten Erkennbarkeit von Objekten mittels einer Wärmebildkamera in Form des primären Kamerasystems erhalten.

Neben der Kombination aus einem Wärmebildkamerasystem und einem Kamerasystem, das in dem sichtbaren Spektralbereich arbeitet, sind auch andere Kombinationen denkbar, z.B. zwei Kamerasysteme, die in unterschiedlichen Infrarot- Spektralbereichen wie z.B. near infrared (NIR)/far infrared (FIR) arbeiten oder sonstige Kombinationen.

Bei einer besonders vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens werden die das ermittelte Objekt repräsentierenden Informationen in demjenigen Bereich des sekundären Kamerabilds eingeblendet, der der tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entspricht. Auf diese Weise kann der Fahrer anhand des sekundären Kamerabilds direkt die tatsächliche Position eines ermittelten Objekts, d.h. seine Anordnung relativ zu dem Kraftfahrzeug bzw. der Umgebung, erkennen, und sich hierbei an den weiteren, ebenfalls aus dem sekundären Kamerabild ersichtlichen Merkmalen wie z.B. Fahrbahnmarkierungen usw. orientieren, so dass eine besonders gute Zuordnung des eingeblendeten Objekts zu seiner tatsächlichen Position im Raum gegeben ist.

Besonders vorteilhaft erfolgt das Einblenden gemäß einer weiteren Erfindungsvariante dadurch, dass der der tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entsprechende Bereich des sekundären Kamerabilds gegenüber anderen Bereichen des sekundären Kamerabilds hervorgehoben wird, insbesondere durch

– Verändern der Helligkeit und/oder des Kontrasts, und/oder
– Einblenden geometrischer Objekte wie z.B. Rechtecke, und/oder
– Einblenden von Teilen des primären Kamerabilds.

Durch das erfindungsgemäße Hervorheben des betreffenden Bereiches in dem sekundären Kamerabild wird einer Person die Auswertung des sekundären Kamerabilds sowie das Erfassen des mittels des primären Kamerasystems ermittelten Objekts weiter erleichtert. Insbesondere ist auch eine Kombination der verschiedenen Maßnahmen zur Hervorhebung denkbar.

Beispielweise kann ein Teil des primären Kamerabilds in dem entsprechenden Bereich des sekundären Kamerabilds eingeblendet werden, und gleichzeitig kann dieser eingeblendete Bereich in seiner Helligkeit oder in seinem Kontrast verändert werden, um einem Betrachter des sekundären Kamerabilds weitere Details des betreffenden Teils des primären Kamerabilds kenntlich zu machen.

Besonders vorteilhaft ist auch eine grafische Hervorhebung des betreffenden Bereichs des sekundären Kamerabilds durch Einblenden eines vorzugsweise farbigen Rechtecks, das einerseits aufgrund seiner Farbe eine besondere Signalwirkung aufweist, und das gleichzeitig durch seine Abmessungen in dem sekundären Kamerabild eine Größe des ermittelten Objekts anzeigen kann.

Gemäß einer weiteren vorteilhaften Variante der vorliegenden Erfindung werden zur Ermittlung der tatsächlichen Position des Objekts entsprechender Bereiche des primären Kamerabilds und des sekundären Kamerabilds folgende Schritte durchgeführt:

– Auswählen einer vorgebbaren Anzahl von Zeilen und/oder Spalten des primären Kamerabilds,
– Ermitteln derjenigen Zeilen und/oder Spalten des sekundären Kamerabilds, die den ausgewählten Zeilen und/oder Spalten des primären Kamerabilds entsprechen,
– Speichern der Zuordnung zwischen den Zeilen und/oder Spalten des primären Kamerabilds und den Zeilen und/oder Spalten des sekundären Kamerabilds, vorzugsweise in Form einer Tabelle.

Aufgrund unterschiedlicher Einbauorte des primären und des sekundären Kamerasystems, beispielsweise an einem Kraftfahrzeug, sowie aufgrund unterschiedlicher optischer Parameter der beiden Kamerasysteme wie beispielsweise verschiedener Brennweiten, nicht parallel zueinander verlaufender optischer Achsen, einer unterschiedlichen Anzahl von Bildpunkten und dergleichen, wird ein an einer tatsächlichen Position in der Umgebung des Fahrzeugs befindliches Objekt je nach den Eigenschaften des entsprechenden Kamerasystems in unterschiedlichen Bereichen des primären bzw. sekundären Kamerabilds dargestellt. Um jedoch bei dem erfindungsgemäßen Einblenden von das ermittelte Objekt repräsentierenden Informationen diese Informationen insbesondere in demjenigen Bereich des sekundären Kamerabilds anordnen zu können, der der tatsächlichen Position des Objekts entspricht, werden die vorstehend genannten Verfahrensschritte durchgeführt.

Dabei werden in einem ersten Teilschritt eine vorgebbare Anzahl von Zeilen und/oder Spalten des primären Kamerabilds ausgewählt, beispielsweise diejenigen Zeilen beziehungsweise Spalten, die die oberen und/oder unteren und/oder seitlichen Ränder des primären Kamerabilds darstellen. Auf diese Weise kann durch den zweiten Teilschritt derjenige Bereich des sekundären Kamerabilds ermittelt werden, der dem primären Kamerabild entspricht. Eine auf diese Weise gefundene Zuordnung wird erfindungsgemäß vorteilhaft beispielsweise in Form einer Tabelle gespeichert. Dadurch kann für zukünftige Vorgänge des Einblendens von das ermittelte Objekt repräsentierenden Informationen auf die bereits ermittelte Zuordnung zurückgegriffen werden, ohne dass erneut aufwendige Berechnungen erforderlich sind.

Neben der Auswahl der das primäre Kamerabild nach oben und/oder unten und/oder zu den Seiten begrenzenden Zeilen beziehungsweise Spalten können ferner weitere Zeilen und/oder Spalten ausgewählt werden, zu denen entsprechende Zeilen und/oder Spalten des sekundären Kamerabilds auf die selbe Weise ermittelt werden.

Die jeweilige Ermittlung der entsprechenden Zeilen und/oder Spalten des sekundären Kamerabilds erfolgt hierbei unter Kenntnis des primären und sekundären Kamerasystems sowie deren optischer Parameter und muss bei Speicherung einer hieraus erhaltenen Zuordnung nur einmalig durchgeführt werden.

Bei einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird ausgehendend von der gespeicherten Zuordnung extrapoliert bzw. interpoliert, um einen Bereich, beziehungsweise eine Zeile und/oder Spalte des sekundären Kamerabilds zu ermitteln, der einem Bereich beziehungsweise einer Zeile und/oder Spalte des primären Kamerabilds entspricht, welcher beziehungsweise welche nicht in der gespeicherten Zuordnung enthalten ist/sind.

Die einmalig in Form der beschriebenen Zuordnung ermittelte Entsprechung von Zeilen beziehungsweise Spalten des primären Kamerabilds zu Zeilen beziehungsweise Spalten des sekundären Kamerabilds wird demnach auch zur Ermittlung solcher Zeilen beziehungsweise Spalten beziehungsweise ganzer Bereiche des primären Kamerabilds verwendet, für die nicht bereits zuvor eine entsprechende Zuordnung ermittelt worden ist. Dies wird im Wege der Extrapolation beziehungsweise der Interpolation ausgehend von solchen Zeilen beziehungsweise Spalten realisiert, für die eine entsprechende Zuordnung ermittelt und gespeichert worden ist. Die erfindungsgemäße Extrapolation bzw. Interpolation basierend auf der einmalig ermittelten Zuordnung erlaubt eine besonders effiziente Berechnung solcher entsprechender Bereiche der primären und sekundären Kamerabilder, für die keine derartige Zuordnung existiert bzw. ermittelt worden ist. Dadurch kann die erfindungsgemäße Extrapolation bzw. Interpolation auch auf Rechnersystemen mit begrenzten Ressourcen wie z.B. Arbeitsspeicher und verhältnismäßig geringer Rechenleistung durchgeführt werden. Insbesondere ist das erfindungsgemäße Verfahren damit auch ablauffähig auf Recheneinheiten wie sie typischerweise in Steuergeräten von Kraftfahrzeugen eingesetzt werden. Die einmalig zu ermittelnde Zuordnung kann in solchen Fällen beispielsweise in einem nichtflüchtigen Speicher des Steuergeräts abgelegt sein.

Bei einer weiteren besonders vorteilhaften Ausführungsform der vorliegenden Erfindung wird eine Zeile und/oder Spalte des primären Kamerabilds in mehrere Segmente unterteilt, wobei jedes Segment vorzugsweise eine Mehrzahl von Bildpunkten aufweist, und für die einzelnen Segmente werden jeweils die entsprechenden Segmente bzw. Bildpunkte der Zeile und/oder Spalte des sekundären Kamerabilds ermittelt. Durch die erfindungsgemäße Unterteilung einer Zeile beziehungsweise Spalte in mehrere Segmente wird der Tatsache Rechnung getragen, dass das primäre und das sekundäre Kamerasystem augrund von unterschiedlichen optischen Eigenschaften wie zum Beispiel einer unterschiedlichen Brennweite jeweils eine unterschiedliche Anzahl von Bildpunkten für einen betrachteten mit dem jeweiligen Kamerasystem aufgenommenen Bereich beziehungsweise für ein betrachtetes Objekt aufweisen.

Bei dieser Ausführungsform dienen also beispielsweise jeweils die ein entsprechendes Segment begrenzenden Bildpunkte als Stützstellen, von denen für eine nachfolgende Interpolation beziehungsweise Extrapolation ausgegangen wird, um für weitere Bildpunkte des primären Kamerabilds entsprechende Bildpunkte des sekundären Kamerabilds in dem jeweiligen Segment zu ermitteln.

Ganz allgemein kann anstelle der Spalten bzw. Zeilen auch eine vorgebbare Anzahl an einzelnen Bildpunkten des primären Kamerabilds vorgegeben werden, deren entsprechende Bildpunkte des sekundären Kamerabilds einmalig rechnerisch ermittelt werden, woraus eine zu speichernde Zuordnung erhalten wird. Basierend auf dieser Zuordnung können anschließend wiederum weitere entsprechende Bildpunkte im Wege der Interpolation bzw. Extrapolation gefunden werden.

Besonders vorteilhaft werden die Spalten bzw. Zeilen bzw. die einzelnen Bildpunkte, für die eine erfindungsgemäße Zuordnung zu ermitteln ist, in Abhängigkeit einer Brennweite des entsprechenden Kamerasystems gewählt, um Verzerrungen zu minimieren.

Bei einer weiteren sehr vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Zuordnung zwischen den Zeilen und/oder Spalten des primären Kamerabilds und den Zeilen und/oder Spalten des sekundären Kamerabilds ausgehend von dem sekundären Kamerabild ermittelt wird, was sich insbesondere in solchen Fällen anbietet, in denen das sekundäre Kamerabild nur einem Ausschnitt des primären Kamerabilds entspricht. Falls nur einzelne Bildpunkte als Stützstellen verwendet werden, kann auch für diese die entsprechende Zuordnung alternativ ausgehend von dem sekundären Kamerabild ermittelt werden.

Gemäß einer weiteren bevorzugten Erfindungsvariante ist vorgeschlagen, dass das primäre Kamerasystem in einem Infrarot-Spektralbereich arbeitet, beispielsweise in einem Spektralbereich von etwa 7 μm bis etwa 20 μm.

Ferner wird erfindungsgemäß vorgeschlagen, dass das sekundäre Kamerasystem in einem sichtbaren Spektralbereich arbeitet, beispielsweise in einem Spektralbereich von etwa 400 nm bis etwa 750 nm.

Als eine weitere Lösung der Aufgabe der vorliegenden Erfindung ist ein System gemäß Patentanspruch 11 angegeben.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnung verschiedene Ausführungsbeispiele der Erfindung dargestellt sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein.

In der Zeichnung zeigt:

1 ein vereinfachtes Flussdiagramm einer ersten Ausführungsform des erfindungsgemäßen Verfahrens, und

2 ein Blockdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Systems.

2 zeigt ein Blockschaltbild einer ersten Ausführungsform des erfindungsgemäßen Systems 200 zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems 210 eines Kraftfahrzeugs.
Bei dem ersten Spektralbereich handelt es sich vorzugsweise um einen Infrarot-Spektralbereich, beispielsweise um einen Spektralbereich von etwa 7 μm bis etwa 20 μm. Das heißt, das primäre Kamerasystem 210 ist als Wärmebildkamera ausgebildet. Demgemäß ermöglicht das primäre Kamerasystem 210 eine Erfassung von Objekten in einer Umgebung des Kraftfahrzeugs, die sich aufgrund ihrer Temperatur von einem Hintergrund beziehungsweise der weiteren Umgebung abheben. Hiermit ist es insbesondere möglich, auch bei schlechten Sichtverhältnissen wie beispielsweise bei Dämmerung oder Niederschlag zuverlässig Personen oder auch Tiere in der mittels des primären Kamerasystems 210 erfassten Umgebung des Kraftfahrzeugs zu erkennen.
Die Erkennung von Personen oder anderen Objekten aus einem primären Kamerabild, welches mittels des primären Kamerasystems 210 erhalten wird, findet hierbei in an sich bekannter Weise mit geeigneten Bildverarbeitungsverfahren statt, wie sie beispielsweise auf der Recheneinheit 230 ausgeführt werden können.
Das Ermitteln des primären Kamerabilds ist in dem Flussdiagramm gemäß 1 durch den Block 100 symbolisiert. Der vorstehend beschriebene Schritt des Ermittelns von Objekten aus dem primären Kamerabild ist durch den Block 110 dargestellt. Neben der reinen Erkennung eines Objekts in dem primären Kamerabild wird zusätzlich auch dessen tatsächliche Position in der Umgebung des Fahrzeugs ermittelt, die beispielsweise durch einen Winkelbereich in der Horizontalen angebbar ist. Hierzu werden ebenfalls bekannte Daten über den Einbauort des primären Kamerasystems 210 an dem Kraftfahrzeug sowie die optischen Parameter des primären Kamerasystems 210 wie beispielsweise eine Brennweite und dergleichen verwendet.
Anschließend wird erfindungsgemäß ein sekundäres Kamerabild ermittelt, wobei ein ebenfalls in dem erfindungsgemäßen System 200 (2) vorhandenes sekundäres Kamerasystem 220 verwendet wird. Die Ermittlung des sekundären Kamerabilds kann vorzugsweise auch gleichzeitig zu der Ermittlung 100 des primären Kamerabilds erfolgen und ist nicht in dem Flussdiagramm aus 1 abgebildet.
Das sekundäre Kamerasystem 220 arbeitet im Unterschied zu dem primären Kamerasystem 210, bei dem es sich im vorliegenden Beispiel um ein Wärmebildkamerasystem handelt, in einem sichtbaren Spektralbereich, insbesondere in einem Spektralbereich von etwa 400 nm bis etwa 750 nm. Auf diese Weise liefert das sekundäre Kamerabild beispielsweise einem Fahrer des Kraftfahrzeugs visuelle Informationen über die Umgebung des Fahrzeugs. Im Gegensatz zu dem von der Wärmebildkamera 210 stammenden primären Kamerabild weist das sekundäre Kamerabild, das in dem Spektralbereich des sichtbaren Lichts aufgenommen ist, verhältnismäßig viele Details der aufgenommenen Umgebung des Kraftfahrzeugs auf, so dass der Fahrer des Kraftfahrzeugs aus dem sekundären Kamerabild besonders einfach derartige Umgebungsdetails wiedererkennen beziehungsweise einer tatsächlichen Position relativ zu dem Kraftfahrzeug zuordnen kann.
Um dennoch z.B. auch bei Nacht und bei Niederschlag eine zuverlässige Erkennung von Personen und anderen Objekten zu ermöglichen, werden die erfindungsgemäß in Schritt 110 ermittelten Objekte beziehungsweise diese Objekte repräsentierende Informationen in das sekundäre Kamerabild eingeblendet, vergleiche Schritt 120 aus 1. Dadurch ist es einerseits möglich, dass der Fahrer in Form des sekundären Kamerabilds visuelle Informationen in gewohnter Weise in dem sichtbaren Spektralbereich erhält, und dass gleichzeitig zusätzlich solche Informationen dem Fahrer zur Kenntnis gebracht werden, die nur mittels der Wärmebildkamera 210 erkennbar sind bzw. aus dem Kamerabild der Wärmebildkamera 210 ableitbar sind.
Damit wird einerseits das bekannte Problem von herkömmlichen Wärmebildkamerasystemen in Kraftfahrzeugen umgangen, dass zwar Personen und andere Objekte sehr gut auf derartigen Kamerabildern erkennbar sind, dass aber ein das Bild auswertender Fahrer aufgrund der ansonsten eher geringen Umgebungsdetails eines Kamerabilds eines Wärmebildkamerasystems nur schwierig eine Zuordnung der erkannten Personen beziehungsweise Objekte zu einer tatsächlichen Position beispielsweise relativ zu dem Kraftfahrzeug vornehmen kann.
Andererseits bleibt der Vorteil des Wärmebildkamerasystems 210 erhalten, dass auch Objekte beziehungsweise Personen erkennbar bzw. anzeigbar sind, die mittels mit sichtbarem Licht arbeitenden Kamerasystemen 220 allein gar nicht erfasst werden können.
Besonders vorteilhaft werden die das ermittelte Objekt repräsentierenden Informationen in demjenigen Bereich des sekundären Kamerabilds eingeblendet, der einer tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entspricht. Auf diese Weise ist auch bei unterschiedlichen Brennweiten beziehungsweise Ausrichtungen der jeweiligen optischen Achse sowie bei unterschiedlichen Einbaupositionen der verschiedenen Kamerasysteme 210, 220 gewährleistet, dass ein in das sekundäre Kamerabild eingeblendetes Objekt dem Fahrer auch tatsächlich die richtige tatsächliche Position des Objekts angibt.
Besonders vorteilhaft wird das Einblenden gemäß Schritt 120 (1) dadurch realisiert, dass der der tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entsprechende Bereich des sekundären Kamerabilds gegenüber anderen Bereichen des sekundären Kamerabilds hervorgehoben wird. Eine derartige Hervorhebung kann beispielsweise durch eine Veränderung der Helligkeit und/oder des Kontrasts erfolgen oder auch durch das Einblenden geometrischer Objekte wie zum Beispiel Rechtecke, die sich augrund ihrer Farbe von dem restlichen sekundären Kamerabild abheben und eine dementsprechend hohe Signalwirkung aufweisen. Ferner können derartige geometrische Objekte darüberhinaus eine räumliche Ausdehnung des eingeblendeten Objekts symbolisieren.
Alternativ oder ergänzend hierzu ist es auch möglich, direkt Teile des primären Kamerabilds in dem sekundären Kamerabild einzublenden.
Die für die Umsetzung des erfindungsgemäßen Verfahrens erforderlichen Verarbeitungsschritte werden durch die in dem System 200 (2) angeordnete Recheneinheit 230 durchgeführt, die mit dem primären Kamerasystem 210 und dem sekundären Kamerasystem 220 über einen gemeinsamen Datenbus 250 verbunden ist.
Ferner weist das System 200 eine ebenfalls an den Datenbus 250 angeschlossene Anzeigeeinrichtung 240 auf, die insbesondere die erfindungsgemäß aufbereitenden sekundären Kamerabilder einem Fahrer des Kraftfahrzeugs zur Anzeige bringt.
Insgesamt kann die Funktionalität des erfindungsgemäßen Systems 200 in Form eines Steuergeräts des Kraftfahrzeugs realisiert sein, das seinerseits über einen Datenbus wie beispielsweise einen CAN-Bus 300 mit anderen Steuergeräten des Kraftfahrzeugs (nicht gezeigt) verbunden ist.
Um diejenigen Bereiche des sekundären Kamerabilds zu ermitteln, die der tatsächlichen Position eines ermittelten Objekts entsprechen, und in denen demzufolge die erfindungsgemäße Einblendung von Informationen erfolgt, werden die folgenden Schritte durchgeführt:

– Auswählen einer vorgebaren Anzahl von Zeilen und/oder Spalten des primären Kamerabilds,
– Ermitteln derjenigen Zeilen und/oder Spalten des sekundären Kamerabilds, die den ausgewählten Zeilen und/oder Spalten des primären Kamerabilds entsprechen,
– Speichern der Zuordnung zwischen den Zeilen und/oder Spalten des primären Kamerabilds und den Zeilen und/oder Spalten des sekundären Kamerabilds, vorzugsweise in Form einer Tabelle.

Die Ermittlung einer derartigen Zuordnung ist verhältnismäßig rechenaufwendig und wird daher nur für eine ausgewählte Anzahl von Zeilen bzw. Spalten durchgeführt. Eine hieraus erhaltene Zuordnung zwischen dem primären und dem sekundären Kamerabild wird für nachfolgende Schritte 120 des Einblendens gespeichert und muss daher nicht ständig neu ermittelt werden.
Durch die vorstehend genannten Verfahrensschritte können für die betrachteten Zeilen und/oder Spalten des primären Kamerabilds exakt die entsprechenden Zeilen und/oder Spalten des sekundären Kamerabilds angegeben werden. Zwischen den betrachteten Zeilen und/oder Spalten des primären Kamerabilds liegende Bereiche weisen keine derartige Zuordnung auf, aber die entsprechenden Zeilen und/oder Spalten bzw. Bereiche des sekundären Kamerabilds können ausgehend von den bekannten Zuordnungen im Wege der Interpolation bzw. Extrapolation ermittelt werden.
Besonders vorteilhaft ist es hierbei, wenn zumindest die oberste und unterste Zeile bzw. die einem linken Rand und die einem rechten Rand des primären Kamerabilds entsprechende Spalte den entsprechenden Zeilen bzw. Spalten des sekundären Kamerabilds zugeordnet werden, so dass alle dazwischen liegende Bereiche des primären Kamerabilds bzw. ihre Entsprechungen in dem sekundären Kamerabild mittels Interpolation bestimmt werden können.
Besonders vorteilhaft werden die betreffenden Zeilen und/oder Spalten, für die eine derartige Zuordnung ermittelt wird, in mehrere Segmente mit jeweils einer Mehrzahl von Bildpunkten unterteilt, und die vorstehend beschriebenen entsprechenden Segmente bzw. Bildpunkte des sekundären Kamerabilds werden jeweils getrennt für jedes Segment berechnet.
Dadurch können Unterschiede der beiden Kamerasysteme 210, 220 hinsichtlich der Brennweite ausgeglichen werden. Innerhalb der jeweiligen Segmente können entsprechende Bildpunkte wiederum mittels Interpolation bzw. Extrapolation ermittelt werden.
Beispielsweise kann das sekundäre Kamerabild eine Breite von L Bildpunkten aufweisen, während das primäre Kamerabild eine Breite von C Bildpunkten aufweist. In diesem Fall können die einer Zeile des sekundären Kamerabilds entsprechenden L vielen Bildpunkte durch eine lineare Verteilung auf die C vielen Bildpunkte einer Zeile des primären Kamerabilds abgebildet werden.
Um jedoch Verzerrungen zu vermeiden, die z.B. aufgrund unterschiedlicher Brennweiten der beiden Kamerasysteme 210, 220 und dementsprechend einer unterschiedlichen Dichte von Bildpunkten je Winkelbereich, auftreten können, werden die L vielen Bildpunkte in N viele Segmente eingeteilt. D.h., die betrachtete Zeile des sekundären Kamerabilds wird in N Segmente zerlegt, wobei jedes Segment L/N viele Bildpunkte umfasst.
Anschließend werden die L/N vielen Bildpunkte des ersten Segments den C/N vielen Bildpunkten des primären Kamerabilds zugeordnet, d.h. für das erste Segment des sekundären Kamerabilds wird ein erstes entsprechendes Segment des primären Kamerabilds ermittelt. Dieser Prozess wird fortgeführt, bis alle N Segmente des sekundären Kamerabilds einem entsprechenden Segment des primären Kamerabilds zugeordnet worden sind.
Aus einer auf diese Weise erhaltenen Zuordnung ist die Information bekannt, welche Spalte des sekundären Kamerabilds welcher Spalte des primären Kamerabilds entspricht. Derselbe Vorgang kann für die Zeilen entsprechend wiederholt werden.
Je nach Rechenleistung der Recheneinheit 230 (2) können mehr oder weniger derartige Zuordnungen vorberechnet und z.B. in einem nichtflüchtigen Speicher abgelegt werden, so dass in Echtzeit, d.h. zum Einblenden eines neu erkannten Objekts, ausgehend von den gespeicherten Zuordnungen nur noch eine Interpolation bzw. Extrapolation durchzuführen ist, um denjenigen Bereich des sekundären Kamerabilds zu ermitteln, in dem das Objekt einzublenden ist.
Die erfindungsgemäße Ermittlung der Zuordnung zwischen dem primären Kamerabild und dem sekundären Kamerabild kann in entsprechender Weise auch von dem sekundären Kamerabild ausgehend vorgenommen werden.
Durch das vorstehend beschriebene Verfahren zur Ermittlung sich jeweils entsprechender Bereiche des primären Kamerabilds und des sekundären Kamerabilds ist eine besonders effiziente Einblendung von Informationen in das sekundäre Kamerabild möglich, wobei die Informationen exakt in demjenigen Bereich des sekundären Kamerabilds eingeblendet werden können, der einer tatsächlichen Position eines mit den Informationen verknüpften Objekts entspricht. Hierdurch kann beispielsweise mittels des Wärmebildkamerasystems 210 ein Fußgänger in der Umgebung des Kraftfahrzeugs erkannt werden und in einem sekundären Kamerabild, das die Umgebung des Kraftfahrzeugs in einem sichtbaren Spektralbereich zeigt, an der seiner tatsächlichen Position relativ zu dem Kraftfahrzeug entsprechenden Stelle eingeblendet werden, so dass ein Fahrer des Kraftfahrzeugs aus dem sekundären Kamerabild die visuell dargebotene Umgebung sowie die Person besonders schnell erfassen kann.
Im Vergleich zu herkömmlichen Systemen bzw. Verfahren wird durch die vorliegende Erfindung einerseits durch den Einsatz einer Wärmebildkamera 210 die Erkennung von Personen und anderen Objekten verbessert, und gleichzeitig wird durch das erfindungsgemäße Einblenden 120 eines ermittelten Objekts in ein im sichtbaren Spektralbereich erfasstes sekundäres Kamerabild eine besonders effiziente visuelle Erfassung des sekundären Kamerabilds durch den Fahrer ermöglicht.
Die vorliegende Erfindung ist allerdings nicht auf eine Kombination aus einer Wärmebildkamera und einer im sichtbaren Spektralbereich arbeitenden Kamera begrenzt. Es ist beispielsweise denkbar, dass das primäre Kamerasystem 210 in einem ersten Infrarot-Spektralbereich, beispielsweise in einem sogenannten NIR-Spektralbereich (near infrared) arbeitet, und dass das sekundäre Kamerasystem 220 bspw. in einem weiteren Infrarot-Spektralbereich, insbesondere in einem FIR-Spektralbereich (far infrared) arbeitet.
Bei einer weiteren sehr vorteilhaften Ausführungsform der vorliegenden Erfindung wird in einem ersten Schritt ausgehend von dem primären Kamerabild der Wärmebildkamera 210 z.B. jede zwanzigste Zeile des primären Kamerabilds ausgewählt und deren jeweilig entsprechende Zeile des sekundären Kamerabilds ermittelt.
Ausgehend von Zeile 1, die die unterste Zeile des primären Kamerabilds darstellt, werden also ferner die Zeilen 20, 40, 60, usw. des primären Kamerabilds betrachtet, und zu jeder dieser Zeilen wird eine entsprechende Zeile in dem sekundären Kamerabild ermittelt. Diese Selektion bzw. Berechnung ist zu dem oberen Rand hin durch die oberste Zeile des jeweiligen Kamerabilds begrenzt, die den Horizont des jeweiligen Kamerabilds darstellt. D.h., falls das primäre Kamerabild in der Vertikalen einen kleineren Bildausschnitt darstellt als das sekundäre Kamerabild, wird als letzte Zeile ggf. die den Horizont des primären Kamerabilds darstellende Zeile ausgewertet und deren entsprechende Zeile in dem sekundären Kamerabild ermittelt.
Umgekehrt kann dieser Verfahrensschritt auch dadurch begrenzt sein, dass zu einer betrachteten Zeile des primären Kamerabilds eine (nicht vorhandene) Zeile des sekundären Kamerabilds ermittelt wird, die oberhalb des Horizonts des sekundären Kamerabilds liegt. Auch in diesem Fall wird die Ermittlung korrespondierender Zeilen abgebrochen.
Anschließend kann in vertikaler Richtung eine Interpolation vorgenommen werden, d.h. z.B. den Zeilen 2 bis 19, 21 bis 39 usw. des primären Kamerabilds werden im Wege der Interpolation entsprechende Zeilen des sekundären Kamerabilds zugeordnet.
Als Stützstellen bzw. Ausgangspunkt für eine derartige Interpolation in vertikaler Richtung können die zuvor ermittelten Zeilen 1, 20, 40, .. des primären Kamerabilds und deren Entsprechungen in dem sekundären Kamerabild verwendet werden.
Falls z.B. den Zeilen 1 und 20 des primären Kamerabilds die Zeilen 7 und 17 des sekundären Kamerabilds entsprechen, werden die verbleibenden Zeilen 2 bis 19 des primären Kamerabilds bei der linearen Interpolation den Zeilen 7 bis 17 zugeordnet. Für alle anderen Zeilen des primären Kamerabilds mit Ausnahme der Zeilen 40, 60, .. wird analog verfahren.
Das Ergebnis einer auf diese Weise ermittelten Zuordnung kann vorteilhaft in Tabellenform gespeichert werden, wobei beispielsweise zwei Tabellenspalten vorgesehen sein können, von denen die erste Tabellenspalte Zeilennummern des primären Kamerabilds beinhaltet, und von denen die zweite Tabellenspalte entsprechende Zeilennummern des sekundären Kamerabilds beinhaltet. Hierdurch kann mittels einer einfachen linearen oder auch binären Suche in wenigen Verfahrensschritten eine Zeile des primäre Kamerabilds in der ersten Tabellenspalte und die dieser Zeile entsprechende Zeile des sekundären Kamerabilds durch Auswerten der zweiten Tabellenspalte in derselben Tabellenzeile ermittelt werden.
Falls eine derartige Zuordnung für alle Zeilen des primären Kamerabilds gespeichert werden soll, ist dementsprechend eine der doppelten Zeilenzahl des primären Kamerabilds entsprechende Anzahl an Speicherzellen zur Speicherung der beschriebenen Tabelle erforderlich.
Alternativ hierzu können z.B. auch nur die Zeilen 1, 20, 40, .. des primären Kamerabilds und deren Entsprechungen in dem sekundären Kamerabild in einer derartigen Tabelle gespeichert werden, wobei nicht gespeicherte Werte bei Bedarf auszuwerten sind. Die hierzu erforderliche lineare Interpolation ist allerdings nicht sehr rechenaufwendig, weswegen sie auch auf einfachen Recheneinheiten wie z.B. Mikrocontrollern in Echtzeit ausführbar ist.
Anschließend werden – in Analogie zur vorstehend beschriebenen Ermittlung der entsprechenden Zeilen – vorgebbare Spalten des primären Kamerabilds ausgewählt und für diese Spalten werden wiederum entsprechende Spalten des sekundären Kamerabilds ermittelt.
Beispielsweise werden – ausgehend von der linken Spalte des primären Kamerabilds, d.h. von Spalte 1, z.B. auch noch die Spalten 20, 40, usw. betrachtet, und hierfür werden die entsprechenden Spalten des sekundären Kamerabilds ermittelt.
Die daraus erhaltenen Entsprechungen werden in einer weiteren Tabelle abgelegt. Nicht bereits berücksichtigte Spalten wie z.B. Spalte 7 des primären Kamerabilds usw. können entweder bei Bedarf im Wege der linearen Interpolation berechnet werden. Alternativ hierzu können auch für alle Spalten des primären Kamerabilds die entsprechenden Spalten des sekundären Kamerabilds berechnet und die hieraus enthaltenen Zuordnungen in der weiteren Tabelle gespeichert werden.
Auf diese Weise können durch die ermittelten Entsprechungen zwischen Zeilen und Spalten des primären und sekundären Kamerabilds einander entsprechende Punkte der beiden Kamerabilder gefunden werden.
Da eine einer Spalte des primären Kamerabilds entsprechende Gerade durch Brennweitenunterschiede und dergleichen zwischen den beiden Kamerasystemen 210, 220 i.d.R. auf eine nichtvertikale Gerade in dem sekundären Kamerabild abgebildet wird, ist es zweckmäßig, zum Einblenden von Elementen, die in dem primären Kamerabild vertikale Strukturen aufweisen, zwei Punkte auszuwählen, die innerhalb der vertikalen Struktur liegen, und ausgehend von den vorstehend ermittelten Zuordnungen aus den jeweiligen Tabellen die entsprechenden Koordinaten der Punkte in dem sekundären Kamerabild zu erhalten. Sobald die Punkte und ihre Position in dem sekundären Kamerabild bekannt sind, kann für das sekundäre Kamerabild eine Geradengleichung z.B. vorteilhaft in ihrer Zwei-Punkt-Form aufgestellt werden, und damit ist eine der vertikalen Struktur in dem primären Kamerabild entsprechende nichtvertikale Gerade in dem sekundären Kamerabild ermittelt.
Neben der linearen Interpolation ist es generell auch denkbar, Verfahren zur nichtlinearen Interpolation einzusetzen.

Claims

Verfahren zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems (210) eines Fahrzeugs, bei dem in einem ersten Schritt (100) mittels des primären Kamerasystems (210) ein primäres Kamerabild von einer Umgebung des Fahrzeugs erhalten wird, gekennzeichnet durch die folgenden Schritte: – Ermitteln (110) eines Objekts und seiner tatsächlichen Position in der Umgebung des Fahrzeugs aus dem primären Kamerabild, insbesondere eines Hindernisses und/oder einer Person in der Umgebung des Fahrzeugs, – Erhalten eines sekundären Kamerabilds mittels eines in einem zweiten Spektralbereich arbeitenden sekundären Kamerasystems (220), wobei das sekundäre Kamerabild zumindest einen Teil der in dem primären Kamerabild enthaltenen Umgebung des Fahrzeugs aufweist, – Einblenden (120) von das ermittelte Objekt repräsentierenden Informationen in das sekundäre Kamerabild.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die das ermittelte Objekt repräsentierenden Informationen in demjenigen Bereich des sekundären Kamerabilds eingeblendet werden, der der tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entspricht.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Einblenden (120) dadurch erfolgt, dass der der tatsächlichen Position des Objekts in der Umgebung des Fahrzeugs entsprechende Bereich des sekundären Kamerabilds gegenüber anderen Bereichen des sekundären Kamerabilds hervorgehoben wird, insbesondere durch – Verändern der Helligkeit und/oder des Kontrasts, und/oder – Einblenden geometrischer Objekte wie z.B. Rechtecke, und/oder – Einblenden von Teilen des primären Kamerabilds.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der tatsächlichen Position des Objekts entsprechender Bereiche des primären Kamerabilds und des sekundären Kamerabilds folgende Schritte durchgeführt werden: – Auswählen einer vorgebbaren Anzahl von Zeilen und/oder Spalten des primären Kamerabilds, – Ermitteln derjenigen Zeilen und/oder Spalten des sekundären Kamerabilds, die den ausgewählten Zeilen und/oder Spalten des primären Kamerabilds entsprechen, – Speichern der Zuordnung zwischen den Zeilen und/oder Spalten des primären Kamerabilds und den Zeilen und/oder Spalten des sekundären Kamerabilds, vorzugsweise in Form einer Tabelle.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass ausgehend von der gespeicherten Zuordnung extrapoliert wird, um einen Bereich bzw. eine Zeile und/oder Spalte des sekundären Kamerabilds zu ermitteln, der einem Bereich bzw. einer Zeile und/oder Spalte des primären Kamerabilds entspricht, welcher bzw. welche nicht in der gespeicherten Zuordnung enthalten ist/sind.
Verfahren nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass mindestens für die oberste und/oder unterste Zeile des primären Kamerabilds und/oder die einem linken und/oder rechten Rand des primären Kamerabilds entsprechende Spalte eine entsprechende Zeile bzw. Spalte des sekundären Kamerabilds ermittelt wird.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass eine Zeile und/oder Spalte des primären Kamerabilds in mehrere Segmente unterteilt wird, wobei jedes Segment vorzugsweise eine Mehrzahl von Bildpunkten aufweist, und dass für die einzelnen Segmente die entsprechenden Bildpunkte der Zeile und/oder Spalte des sekundären Kamerabilds ermittelt werden.
Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass die Zuordnung zwischen den Zeilen und/oder Spalten des primären Kamerabilds und den Zeilen und/oder Spalten des sekundären Kamerabilds ausgehend von dem sekundären Kamerabild ermittelt wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das primäre Kamerasystem (210) in einem Infrarot-Spektralbereich arbeitet, beispielsweise in einem Spektralbereich von etwa 7 μm bis etwa 20 μm.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass das sekundäre Kamerasystem (220) in einem sichtbaren Spektralbereich arbeitet, beispielsweise in einem Spektralbereich von etwa 400 nm bis etwa 750 nm.
System (200) zum Betreiben eines in einem ersten Spektralbereich arbeitenden primären Kamerasystems (210) eines Fahrzeugs, bei dem ein primäres Kamerabild von einer Umgebung des Fahrzeugs mittels des primären Kamerasystems (210) ermittelbar ist, dadurch gekennzeichnet, dass das System (200) zur Ausführung des Verfahrens nach einem der vorstehenden Ansprüche geeignet ist.
System (200) nach Anspruch 11, gekennzeichnet durch ein sekundäres Kamerasystem (220), das in einem zweiten Spektralbereich arbeitet, wobei der zweite Spektralbereich vorzugsweise verschieden ist von dem ersten Spektralbereich des primären Kamerasystems (210).