DE102014214352A1

DE102014214352A1 - Verfahren und Anordnung zum Betreiben eines Insassenbeobachtungssystems

Info

Publication number: DE102014214352A1
Application number: DE102014214352.7A
Authority: DE
Inventors: Hoang Trinh
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-07-23
Filing date: 2014-07-23
Publication date: 2016-01-28
Also published as: WO2016012140A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Insassenbeobachtungssystems (3) eines Fahrzeugs, insbesondere Fahrerbeobachtungssystem eines Kraftfahrzeugs (1), wobei das Insassenbeobachtungssystem (3) wenigstens eine Kameraeinrichtung (4) zum Erfassen zumindest eines Insassen aufweist, wobei die Kameraeinrichtung (4) wenigstens einmal kalibriert wird. Dabei sind folgende Schritte vorgesehen: – Bestimmen wenigstens eines feststehenden Merkmals (9) im Innenraum (2) des Fahrzeugs, – Ausrichten der Kameraeinrichtung (4) bei Inbetriebnahme, Erfassen des wenigstens einen Merkmals (9) mittels der Kameraeinrichtung (4) und Ermitteln und Speichern der Position des Merkmals (9) in einem von der Kameraeinrichtung (4) erfassten Bild, – Kalibrieren der Kameraeinrichtung (4) im Betrieb durch erneutes Erfassen des wenigstens einen Merkmals (9) mittels der Kameraeinrichtung (4), Ermitteln seiner aktuellen Position und Vergleichen der gespeicherten Position mit der aktuellen Position.

Description

Die Erfindung betrifft ein Verfahren und eine Anordnung zum Betreiben eines Insassenbeobachtungssystems eines Fahrzeugs, insbesondere eines Fahrerbeobachtungssystems eines Kraftfahrzeugs.
Stand der Technik
Um die Sicherheit im Verkehr zu erhöhen und um den Benutzungskomfort eines Kraftfahrzeug insbesondere für den Fahrer zu verbessern, ist es bekannt, den Fahrer und gegebenenfalls auch weitere Insassen des Fahrzeugs durch ein Insassenbeobachtungssystem zu beobachten. So ist es beispielsweise bekannt, durch ein derartiges System die Kopfposition des Fahrers zu bestimmen, um dann in Abhängigkeit der erfassten Kopfposition die Ausrichtung eines durch ein Head-Up-Display erzeugten Bildes anzupassen beziehungsweise auszurichten, so dass der Fahrer die angezeigten Daten stets im Blick hat. Hierzu wird beispielsweise eine Blickrichtung des Fahrers erfasst.
Um die Blickverfolgung stets mit hoher Genauigkeit durchführen zu können, müssen das Insassenbeobachtungssystem und insbesondere die Kameraeinrichtung kalibriert werden. Dazu ist es bekannt, Kamera-interne Parameter wie Verzeichnung, Kammerkonstante und Hauptpunktlage bei der Installation des Systems zu erfassen und einzustellen. Ebenso wird die Einbaulage der Kameraeinrichtung bei der Installation berücksichtigt.
Durch im Betrieb auftretende Beschleunigungen und/der Vibrationen kann es dazu kommen, dass sich die Lage der Kameraeinrichtung mit der Zeit verändert.
Auch Materialveränderungen oder Temperaturbedingte Lageänderungen können mit der Zeit auftreten.
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass eine Kalibrierung der Kameraeinrichtung beziehungsweise des Insassenbeobachtungssystems im Betrieb des Insassenbeobachtungssystems durchgeführt wird, so dass Veränderungen, die mit der Lebenszeit des Insassenbeoachtungssystems auftreten können kompensiert und ausgeglichen werden können, so dass auch noch nach einer langen Lebensdauer das Insassenbeobachtungssystem mit einer hohen Genauigkeit verlässlich funktioniert. Erfindungsgemäß ist hierzu vorgesehen, dass zunächst wenigstens ein feststehendes Merkmal im Innenraum des Fahrzeugs bestimmt wird. Bei ihrer Erst-Inbetriebnahme wird die Kameraeinrichtung nach ihrer Montage zunächst durch bekannte Verfahren ausgerichtet, wobei zusätzlich das wenigstens eine Merkmal mittels der Kameraeinrichtung erfasst und seine Position im Bild der Kamera ermittelt und gespeichert wird. Im Betrieb beziehungsweise Normalbetrieb der Insassenbeobachtungssystems wird dann zur Kalibrierung beziehungsweise Nachkalibrierung das wenigstens eine Merkmal erneut mittels der Kameraeinrichtung erfasst und seine aktuelle Position in dem Bild der Kameraeinrichtung ermittelt und mit der gespeicherten Position des Merkmals verglichen. Aus dem Vergleich lässt sich auf eine Veränderung der Lage der Kameraeinrichtung schließen und damit Lageänderungen softwareseitig auf einfache Art und Weise ausgeglichen beziehungsweise kalibriert werden.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Kameraeinrichtung im Betrieb mehrmals kalibriert wird. Dadurch wird die Genauigkeit der Insassenbeobachtung auf Dauer beibehalten.
Weiterhin ist bevorzugt vorgesehen, dass die Kameraeinrichtung im Betrieb regelmäßig kalibriert wird. Insbesondere wird die Kameraeinrichtung im Betrieb auf die zuvor beschriebene Art und Weise in vorgebbaren Zeitabständen regelmäßig kalibriert, beispielsweise in Abhängigkeit von der Laufleistung des Fahrzeugs, zum Beispiel gemessen in gefahrenen Kilometern, oder von der Laufleistung des Beobachtungssystems, insbesondere gemessen in Stunden und/oder Minuten. Auch ist es denkbar, nach jeder Inbetriebnahme des Insassenbeobachtungssystems die erfindungsgemäße Kalibrierung erneut durchzuführen.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass als Merkmal die Kontur eines Sitzes, eines Fensters, eines Karosserieteils, einer Kopfstütze und/oder eines Lenkrads verwendet wird. Hierbei ist also vorgesehen, dass für die Kalibrierung sowieso schon vorhandene und visuell erfassbare Merkmale des Fahrzeugs für die Kalibrierung genutzt werden. Dabei wird vorzugsweise berücksichtigt, dass sich die Sitzposition und damit auch die Position einer Kopfstütze des Sitzes verändern lässt. Bei einer elektromotorischen Ansteuerung eines Sitzes lassen sich Positionsdaten leicht generieren und bei der Kalibrierung somit berücksichtigen. Lässt sich der betroffen Sitz nur mechanisch beziehungsweise manuell verstellen, so sind vorteilhafterweise Mittel vorgesehen, die eine Positionserfassung unabhängig von der Kameraeinrichtung erlauben.
Ferner ist vorzugsweise vorgesehen, dass als Merkmal eine Orientierungsmarke im Innenraum angebracht wird. Bei der Orientierungsmarke handelt es sich beispielsweise um eine bestimmte Form oder ein bestimmtes Zeichen, auch ein 3D-Punktfeld ist denkbar, das von der Kameraeinrichtung eindeutig erkannt und ausgewertet werden kann.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass als Merkmal wenigstens ein im Innenraum angeordnetes Leuchtmittel verwendet wird. Damit ist dann eine Kalibrierung des Systems beispielsweise auch bei Nachtfahrten möglich.
Besonders bevorzugt ist vorgesehen, dass als Merkmal wenigstens ein Reflektorelement in dem Innenraum angeordnet wird. Das Reflektorelement bietet auch bei schlechteren Lichtverhältnissen noch eine ausreichend gute Orientierung.
Insbesondere ist vorteilhafterweise vorgesehen, dass der Kameraeinrichtung wenigstens ein Beleuchtungsmittel, insbesondere ein Infrarotstrahler zugeordnet wird, das zumindest zur Kalibrierung, insbesondere zum Anleuchten des Reflektorelements, aktiviert wird. Hierdurch wird gewährleistet, dass die Kalibrierung des Systems zu jeder Zeit möglich ist.
Die erfindungsgemäße Anordnung zum Betreiben eines Insassenbeobachtungssystems eines Fahrzeugs, insbesondere eines Fahrerbeobachtungssystem eines Kraftfahrzeugs, weist wenigstens eine Kameraeinrichtung zum Erfassen zumindest eines Insassen auf sowie Mittel zum Kalibrieren der Kameraeinrichtung, insbesondere zur Durchführung des erfindungsgemäßen Verfahrens. Die erfindungsgemäße Anordnung zeichnet sich durch mindestens ein im Innenraum des Fahrzeugs feststehend angeordnetes Merkmal aus. Bei dem feststehenden beziehungsweise karosseriefesten Merkmal handelt es sich also um ein Merkmal, dass sich stets an derselben Stelle im Fahrzeug befindet und insbesondere stets unabhängig von im Innenraum des Fahrzeugs befindlichen Personen aufzufinden ist.
Besonders bevorzugt ist dabei vorgesehen, dass das Merkmal als Reflektorelement und/oder Orientierungsmarke ausgebildet ist. Insbesondere ist vorgesehen, dass das Reflektorelement dazu ausgebildet ist, Infrarotstrahlung zu reflektieren. Zweckmäßigerweise ist dabei der Kameraeinrichtung wenigstens ein Infrarotstrahler zugeordnet, der das Reflektorelement anstrahlt. Dadurch ist es möglich, eine Kalibrierung des Systems auch im Dunkeln durchzuführen, ohne das der Fahre davon gestört wird.
Im Folgenden soll die Erfindung anhand eines Ausführungsbeispiels näher erläutert werden. Dazu zeigt die einzige
Figur ein Kraftfahrzeug mit einem Insassenbeobachtungssystem in einer vereinfachten Darstellung.
Die Figur zeit in einer vereinfachten Darstellung ein Kraftfahrzeug 1 in einer vereinfachten Seitenansicht. Das Kraftfahrzeug 1 weist einen Innenraum 2 einer Fahrgastzelle auf, in welchem mehrere Sitze für Insassen angeordnet sind. Das Kraftfahrzeug 1 weist ein Insassenbeobachtungssystem 3 auf, das als Fahrerbeobachtungssystem ausgebildet ist und beispielsweise dazu dient, die Blickrichtung des Fahrers oder den Müdigkeitszustand des Fahrers zu erfassen. Dazu weist das Insassenbeobachtungsystem 3 eine Kameraeinrichtung 4 und eine Steuereinheit 5 auf. Die Kameraeinrichtung 4 weist wenigstens ein Infrarot-Kameramodul auf, das auf den Fahrersitz gerichtet ist, um den Fahrer des Fahrzeugs visuell zu erfassen. Durch die Ausbildung als Infrarot-Kameramodul ist es möglich, die Fahrerfassung auch nachts durchzuführen, ohne dass der Fahrer hell angeleuchtet und dadurch geblendet werden müsste. Der Kameraeinrichtung 4 ist außerdem ein Infrarotstrahler 6 zugeordnet, der ebenfalls in Richtung auf den Fahrersitz ausgerichtet ist, um insbesondere den Fahrer anzustrahlen.
Bei der Montage des Insassenbeobachtungssystems 3 wird die Kameraeinrichtung 4 optimal auf die wahrscheinlichste Position des Kopfes des Fahrers ausgerichtet, so das eine verlässliche und genaue Fahrerbeobachtung mittels der Steuereinheit 5 durchgeführt werden kann, die die von der Kameraeinrichtung erfassten Bilder auswertet.
Das Insassenbeobachtungsystem 3 weist weiterhin Mittel 7 zum Kalibrieren der Kameraeinheit im Betrieb des Kraftfahrzeugs 1 auf, um eine veränderte Ausrichtung der Kameraeinrichtung 4, insbesondere des genannten Kameramoduls, kompensieren oder bei der Auswertung des Kamerabildes berücksichtigen zu können. Die Mittel 7 weisen in dem vorliegenden Ausführungsbeispiel eine an der B-Säule 8 des Kraftfahrzeugs 1 angebrachte Orientierungsmarke als Merkmal 9 auf. Das Merkmal 9 ist als Reflektorelement 10 ausgebildet, das insbesondere ein 3D-Punktfeld zur eindeutigen Erkennung aufweist. Das Reflektorelement 10 ist dazu ausgebildet, die Infrarotstrahlen des Infrarotstrahlers 6 zu reflektieren.
Dadurch, dass das Merkmal 9 feststehend bzw. ortsfest im Innenraum 2 des Kraftfahrzeugs 1 angeordnet ist, ist seine Anordnung bezüglich der Kameraeinrichtung 4 stets gleich. Bei der Einrichtung des Insassenbeobachtungsystems 3 wird zur Initialisierung nach der Montage das Kamerabild der Kameraeinrichtung 4 durch die Steuereinheit 5 ausgewertet.
Dabei wird die Position des Merkmals 9 in dem Kamerabild ermittelt und gespeichert. Hierfür können herkömmliche Verfahren der Bildauswertung genutzt werden. Weist das Merkmal 9 das zuvor genannte 3D-Punktfeld oder ein vergleichbares Erkennungsmerkmal auf, kann die Steuereinheit 5 die Position des Merkmals 9 im Kamerabild selbst vornehmen. Wird als Merkmal 9 eine Struktur des Kraftfahrzeugs 1, wie beispielsweise eine Kopfstütze des Fahrersitzes oder die B-Säule 8 selbst verwendet, so kann bei der Initialisierung der Steuereinheit durch eine externe Eingabe in dem Kamerabild das gewünschte Merkmal 9 kenntlich gemacht werden. Das erfasste oder kenntlich gemachte Merkmal 9 wird dann in einem nicht-flüchtigen Speicher der Steuereinheit 5 hinterlegt beziehungsweise gespeichert. Auch ist es möglich, bereits bei der Konstruktion die Anordnung von Kameraeinrichtung 4 zu dem Merkmal 9 in dem Innenraum 2 festzulegen und entsprechend die zu erwartende Position des Merkmals 9 in dem Kamerabild der Kameraeinrichtung 4 zu speichern.
Zur Kalibrierung des Insassenbeobachtungsystems 3 im Betrieb des Kraftfahrzeugs 1 steuert die Steuereinheit 5 den Infrarotstrahler in regelmäßigen Abständen an, um den Innenraum 2 anzustrahlen. Gleichzeitig werden die von der Kameraeinrichtung erfassten Kamerabilder ausgewertet. Insbesondere wird die Aktuelle Position des Merkmals 9 erfasst und mit der gespeicherten Position des Merkmals 9 aus der Initialisierung des Insassenbeobachtungsystems 3 verglichen.
Ergibt der Vergleich, dass die aktuelle Position des Merkmals 9 der gespeicherten Position entspricht, so erkennt die Steuereinheit 5 darauf, dass sich die Ausrichtung der Kameraeinrichtung 4 nicht verändert hat. Ergibt der Vergleich, dass sich die aktuelle Position des Merkmals 9 in dem aktuellen Kamerabild von der gespeicherten Position unterscheidet, zumindest über einen vorgebbaren Grenzwert beziehungsweise eine vorgebbare Entfernung hinaus, so wird eine Kalibrierung des Insassenbeobachtungsystem in Abhängigkeit von der Erfassten Entfernung zwischen der gespeicherten Position und der aktuellen Position durchgeführt. Dies erfolgt vorzugsweise rein software-basiert in der Steuereinheit 5, die die Abweichung des Merkmals 9 von der ursprünglichen beziehungsweise gespeicherten Position bei der Auswertung der aktuellen Kamerabilder berücksichtigt, insbesondere kompensiert.
Somit wird das Insassenbeobachtungsystem 3 regelmäßig kalibriert, so das stets eine sichere und genaue Fahrerbeobachtung gewährleistet ist, insbesondere auch dann, wenn sich die Position oder Ausrichtung der Kameraeinrichtung 4, insbesondere des Kameramoduls, beispielsweise auf Grund von Materialermüdung oder Dergleichen mit der Zeit verändert hat.
Alternativ zu einer reflektierenden Ausbildung des Merkmals 9 ist es auch möglich, das Merkmal 9 selbst als Lichtquelle auszubilden. Insbesondere ist es denkbar, in dem Innenraum 2 eine oder mehrere Leuchtdioden vorzusehen, die im Erfassungsbereich der Kameraeinrichtung 4 liegen und als Referenzpunkte für die Kalibrierung genutzt werden können. Auch ist es denkbar, als Merkmal 9 einen Dachhimmel, einen Sitz 12, oder – wie oben bereits erwähnt – die B-Säule 8 selbst zu nutzen. Auch ist es denkbar, ein Lenkrad 11 des Kraftfahrzeugs 1 als Merkmal 9 zu verwenden. Sofern die Kameraeinrichtung im Kombiinstrument oder in der Nähe davon angeordnet ist, kann dadurch die Rückseite des Lenkrads 11 und damit dessen Kontur erfasst und als Merkmal 9 genutzt werden.

Claims

Verfahren zum Betreiben eines Insassenbeobachtungssystems (3) eines Fahrzeugs, insbesondere Fahrerbeobachtungssystem eines Kraftfahrzeugs (1), wobei das Insassenbeobachtungssystem (3) wenigstens eine Kameraeinrichtung (4) zum Erfassen zumindest eines Insassen aufweist, wobei die Kameraeinrichtung (4) wenigstens einmal kalibriert wird, gekennzeichnet durch folgende Schritte: – Bestimmen wenigstens eines feststehenden Merkmals (9) im Innenraum (2) des Fahrzeugs, – Ausrichten der Kameraeinrichtung (4) bei Inbetriebnahme, Erfassen des wenigstens einen Merkmals (9) mittels der Kameraeinrichtung (4) und Ermitteln und Speichern der Position des Merkmals (9) in einem von der Kameraeinrichtung (4) erfassten Bild, – Kalibrieren der Kameraeinrichtung (4) im Betrieb durch erneutes Erfassen des wenigstens einen Merkmals (9) mittels der Kameraeinrichtung (4), Ermitteln seiner aktuellen Position und Vergleichen der gespeicherten Position mit der aktuellen Position.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kameraeinrichtung (4) im Betrieb mehrmals kalibriert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameraeinrichtung (4) im Betrieb regelmäßig kalibriert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmal (9) die Kontur eines Sitzes, eines Fensters, eines Karosserieteils (8), einer Kopfstütze und/oder eines Lenkrads verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmal (9) eine Orientierungsmarke im Innenraum (2) angebracht wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmal (9) wenigstens ein im Innenraum (2) angeordnetes Leuchtmittel verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Merkmal (9) wenigstens ein Reflektorelement (10) in dem Innenraum (2) angeordnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Kameraeinrichtung (4) wenigstens ein Beleuchtungsmittel, insbesondere ein Infrarotstrahler (6) zugeordnet wird, das zumindest zur Kalibrierung, insbesondere zum Anleuchten des Reflektorelements (10), aktiviert wird.
Anordnung zum Betreiben eines Insassenbeobachtungssystems (3) eines Fahrzeugs, insbesondere eines Fahrerbeobachtungssystem eines Kraftfahrzeugs (1), wobei das Insassenbeobachtungsystem (3) wenigstens eine Kameraeinrichtung (4) zum Erfassen zumindest eines Insassen aufweist, mit Mitteln (7) zum Kalibrieren der Kameraeinrichtung (4), insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, gekennzeichnet durch mindestens ein im Innenraum (2) des Fahrzeugs feststehendes Merkmal (9).
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass als Merkmal (9) wenigstens eine Orientierungsmarke und/oder ein Reflektorelement (10) vorgesehen ist.