-
Die Erfindung betrifft ein Verfahren und ein System zum Simulieren von Kameraeigenschaften.
-
In den amerikanischen Offenlegungsschriften
US 2011/0054872 A1 und
US 2007/0009137 A1 sind Verfahren und Systeme zum Simulieren von Kameraeigenschaften offenbart. Aus der deutschen Offenlegungsschrift
DE 103 18 500 A1 sind eine Vorrichtung und ein Verfahren zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines Bildsensors bekannt, wobei der wenigstens eine Bildsensor eine in Teilen gleich bleibende Szene, insbesondere den Innenraum eines Kraftfahrzeugs, überwacht, wobei der wenigstens eine Bildsensor die Bildsignale zumindest von wenigstens einem invarianten Muster im Bilderfassungsbereich des wenigstens einen Bildsensors ableitet.
-
Aufgabe der Erfindung ist es, die Entwicklung von Kraftfahrzeugen, insbesondere im Bezug auf die Entwicklungszeit, die Entwicklungskosten und/oder die Entwicklungsqualität, zu verbessern.
-
Die Aufgabe ist bei einem Verfahren zum Simulieren von Kameraeigenschaften dadurch gelöst, dass Kameraeigenschaften gezielt simuliert werden, um eine Kopfpose in einem Kraftfahrzeug mit einer Kamera zu erfassen. Die Kamera, deren Kameraeigenschaften simuliert werden, soll in einem zu entwickelnden Kraftfahrzeug die Kopfpose eines Fahrers oder Beifahrers in einem Kraftfahrzeug erfassen. Dabei ist unter anderem die Bestimmung des Einbauortes der Kamera, welche die Kopfpose erfassen soll, von enormer Bedeutung. Daher gibt es Simulationsmodelle, welche die Einbauorte der Kamera zu der Kopfpose in Beziehung setzen, um so für jede mögliche Kopfpose ein entsprechendes Bild bereitstellen und auswerten zu können. Gemäß einem wesentlichen Aspekt der Erfindung wird ergänzend vorgeschlagen, nicht nur den Einbauort der Kamera, sondern auch die Kamera selbst, insbesondere eine Sensoreinheit der Kamera, zu optimieren.
-
Weitere bevorzugte Ausführungsbeispiele des erfindungsgemäßen Verfahrens sind dadurch gekennzeichnet, dass eine Sensoreinrichtung, ein Öffnungswinkel, ein Belichtungsgrad, eine Pixelgröße und/oder eine Bildwiederholrate der Kamera im Hinblick auf die Erfassung der Kopfpose optimiert werden beziehungsweise wird. Die genannten Kameraeigenschaften und weitere Kameraeigenschaften lassen sich simulieren, um anschließend die optimale Kamera auszuwählen beziehungsweise bereitzustellen. Dabei kann vorteilhaft eine Kamera ausgewählt beziehungsweise bereitgestellt werden, die ein qualitativ ausreichendes Bild liefert, ohne überdimensioniert zu sein.
-
Ein weiteres bevorzugtes Ausführungsbeispiel des Verfahrens ist dadurch gekennzeichnet, dass mindestens eine Objektiveigenschaft der Kamera im Hinblick auf die Erfassung der Kopfpose optimiert wird. Bei der Objektiveigenschaft handelt es sich zum Beispiel um eine Brennweite eines zu verwendenden Objektivs. Eine weitere zu berücksichtigende Objektiveigenschaft stellt zum Beispiel eine Lichtstärke eines zu verwendenden Objektivs dar.
-
Die Erfindung betrifft des Weiteren ein System zum Simulieren von Kameraeigenschaften gemäß einem vorab beschriebenen Verfahren. Mit Hilfe des erfindungsgemäßen Systems können auf einfache Art und Weise eine mögliche Einsatzdefinition und Kameraauswahl festgelegt werden.
-
Die Erfindung betrifft des Weiteren ein Computer-Programmprodukt mit einem Programmcode zum Durchführen eines vorab beschriebenen Verfahrens. Das Computer-Programmprodukt wird zum Beispiel auf einem externen Entwicklungscomputer angewendet. Das Computer-Programmprodukt kann aber auch in einem fahrzeuginternen Computer oder einem entsprechenden Steuergerät eingesetzt werden, wenn der Computer beziehungsweise das Steuergerät bei der Entwicklung von Kraftfahrzeugen, zum Beispiel in einem Prototyp, eingesetzt wird.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnung verschiedene Ausführungsbeispiele im Einzelnen beschrieben sind. Es zeigen:
-
1 eine vereinfachte Ablaufdarstellung des erfindungsgemäßen Verfahrens
-
2 eine vereinfachte Darstellung einer radialen Verzerrung, wie sie zum Beispiel beim Abbilden von dreidimensionalen Kamerakoordinaten auf eine zweidimensionale Bildebene auftritt und
-
3 eine entsprechende tangentiale Verzerrung.
-
Bei der Erfindung geht es allgemein um ein Verfahren und ein System zur Bestimmung von optimalen Kameraeigenschaften, insbesondere von optimalen Sensoren, und eines optimalen Operators für Anwendungen und Funktionen im Fahrzeuginnenraum in Abhängigkeit von einer Verbauposition.
-
Durch die Erstellung eines dreidimensionalen Modells von einem Fahrer und dem Fahrzeug inklusive einer Kopfbewegungsverfolgung des Fahrers können zum einen optimale Verbaupositionen für eine Innenraumsensorik bestimmt werden. Darüber hinaus können Kopfbewegungen des Fahrers realistisch nachgebildet werden. Durch eine realistische Fahrermodellierung können verschiedene Algorithmen, die den Fahrer beobachten und auswerten, miteinander verglichen werden.
-
Durch eine Modellierung beziehungsweise Variation von Kameraparametern, insbesondere von intrinsischen Parametern, Kameraeigenschaften und/oder Objektivmodellierungen, kann die Bestimmung der optimalen Verbauposition realistischer gestaltet werden. Dabei stellen das erfindungsgemäße Verfahren und das erfindungsgemäße System wichtige Hilfsmittel für die optimale Auswahl der Kamera, insbesondere der Bildsensoren, dar. In Anbetracht der zur Verfügung stehenden Vielfalt von Kameras beziehungsweise Bildsensoren kann das Preis-/Leistungsverhältnis optimiert werden.
-
Mit Hilfe des erfindungsgemäßen Verfahrens lassen sich Algorithmen zur Fahreridentitätserkennung, Fahrerzustandserkennung und der Fahreraufmerksamkeit in einem frühen Entwicklungsstadium evaluieren. Das kann zum Beispiel dazu verwendet werden, um ein Fahrzeug mit einem Fahrer, dessen Zustand als kritisch erkannt wird, kontrolliert bis zum Stillstand herunter zu bremsen.
-
Durch die Erfindung kann die Entwicklungszeit verkürzt werden, da in einem ersten Entwicklungsschritt keine realen Prototypen aufgebaut werden müssen. Die Entwicklungsqualität wird erhöht, da in der Simulation schon viele problematische Situationen erkannt werden können. Durch die Erfindung lassen sich im Gegensatz zum realen Prototypen die Umgebungsbedingungen für die zu testenden Algorithmen reproduzieren.
-
Bei den zu simulierenden Sensoreigenschaften handelt es sich zum Beispiel um physikalische Eigenschaften eines bildgebenden Sensors. Dabei handelt es sich wiederum vorzugsweise um folgende Eigenschaften: Sensortyp, Sensorgröße, Pixelgröße, Bittiefe, Farbmodus, Sensitivität des Sensors (bezogen auf die Wellenlänge des Lichts); Bildwiederholrate; Objektiveigenschaften (Brennweite, Verzeichnung, Lichtstärke); Sensordefekte (Pixelfehler, Blooming); Filtereigenschaften (Transparenz, Kennlinie); Latenzzeit (Zeit zum Auslesen des Sensors, Zeit zwischen Trigger und Auslösen); Dynamik (Kennlinie der Empfindlichkeit über der Wellenlänge); Sensorrauschen.
-
Bei den zu simulierenden Sensoreigenschaften sind beliebige Kombinationen von Komponenten möglich. Bei Stereo-Kameras kann zum Beispiel eine Tiefenberechnung auf Basis von Korrespondenzen in zwei Kamerabildern durchgeführt werden. Bei Laufzeitkameras kann zum Beispiel eine Tiefenberechnung aufgrund der zeitlichen Verschiebung von reflektierten Lichtstrahlen durchgeführt werden. Bei strukturiertem Licht kann zum Beispiel eine Tiefenberechnung aufgrund einer dreidimensionalen Verzerrung eines auf den Sensor kalibrierten projizierten Lichtmusters durchgeführt werden.
-
In der Simulation ist die Ausrichtung einzelner Komponenten frei wählbar. So ist es zum Beispiel möglich, einen Kamerasensor in einem Kombiinstrument zu platzieren und einen Lichtprojektor in der A-Säule des Kraftfahrzeugs zu platzieren. Darüber hinaus können mehrere Lichtprojektoren/Kameras in Abhängigkeit von einer gemessenen und einer vorhergesagten Kopfgröße alternierend angesteuert werden.
-
In 1 ist das erfindungsgemäße Verfahren beziehungsweise das erfindungsgemäße System mit Hilfe von Rechtecken 1 bis 10 und Pfeilen 11 bis 15 vereinfacht dargestellt. Das Rechteck 1 symbolisiert das erfindungsgemäße Verfahren beziehungsweise System. Das Rechteck 2 symbolisiert eine Hardwareschicht. Das Rechteck 3 symbolisiert eine Funktionsschicht. Das Rechteck 4 symbolisiert die Datenaufzeichnung und Analyse.
-
In der Hardwareschicht 2 symbolisiert das Rechteck 5 eine Kamera, das Rechteck 6 ein Objektiv, das Rechteck 7 einen Filter und das Rechteck 8 Licht. Durch den Pfeil 11 ist eine gerenderte Szene angedeutet. Dabei handelt es sich zum Beispiel um ein zweidimensionales Bild oder um eine dreidimensionale Punktewolke.
-
In der Funktionsschicht 3 symbolisiert das Rechteck 9 eine ID und das Rechteck 10 einen Gesundheitszustand des Fahrers. Durch den Pfeil 12 ist die Übermittlung von Funktionsergebnissen angedeutet. Dabei handelt es sich zum Beispiel um die ID und eine Güte oder um eine Kopfpose und eine Güte. Dabei stehen die Buchstaben ID zum Beispiel für Identifikation oder eine Identifikationsnummer oder eine Identifikationsbezeichnung.
-
Durch den Pfeil 13 ist die Übermittlung von Referenzwerten angedeutet. Durch den Pfeil 14 ist die Übermittlung von Software-Erkenntnissen angedeutet. Durch den Pfeil 15 ist die Übermittlung von Hardware-Erkenntnissen angedeutet.
-
In den 2 und 3 sind mit Hilfe von zwei Kreisen intrinsische Parameter eines bildgebenden Sensors angedeutet. Dabei handelt es sich um die beschreibende Abbildung eines dreidimensionalen Kamerakoordinatensystems auf eine zweidimensionale Bildebene.
-
Mit pV ist in den 2 und 3 ein verzerrter Bildpunkt bezeichnet. Mit pU ist in den 2 und 3 ein unverzerrter Bildpunkt bezeichnet. Der Radius eines dem unverzerrten Bildpunkts pU zugeordneten Kreises um ein optisches Zentrum 20 ist in den 2 und 3 mit rU bezeichnet. Analog ist ein gestrichelter Kreis, der dem verzerrten Bildpunkt pV zugeordnet ist, mit einem Radius rV bezeichnet.
-
In 2 ist eine radiale Verzerrung dargestellt. Die radiale Verzerrung wird zum Beispiel durch sphärische Oberflächen verursacht. Dabei kann ausgehend vom optischen Zentrum 20 ein Richtungsvektor erhalten werden.
-
In 3 ist eine tangentiale Verzerrung dargestellt. Die tangentiale Verzerrung wird zum Beispiel durch eine dezentrale Linse verursacht. Dabei verändert sich der Richtungsvektor.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2011/0054872 A1 [0002]
- US 2007/0009137 A1 [0002]
- DE 10318500 A1 [0002]
