-
Die Erfindung betrifft zwei Verfahren zum Betrieb eines einen Innenraum aufweisenden Kraftfahrzeugs. Das Kraftfahrzeug weist mehrere Kameras zur Überwachung des Innenraums auf. Die Erfindung betrifft ferner ein Computerprogrammprodukt.
-
Kraftfahrzeuge, wie Personenkraftwagen (Pkw), weisen üblicherweise einen Innenraum auf, der vorgesehen ist, dass sich Personen darin aufhalten können. So befindet sich meist ein Fahrer des Kraftfahrzeugs in dem Innenraum. Auch ist es möglich, dass Gegenstände in dem Innenraum transportiert werden, sodass diese vor Witterungseinflüssen geschützt sind. Zur Erhöhung eines Komforts und einer Sicherheit werden in zunehmendem Maße Funktionen des Innenraums auf die sich darin befindenden Objekte, also die Personen/Gegenstände, eingestellt. So wird beispielsweise ein Verstellweg eines Verstellteils in Abhängigkeit der Position der Personen und/oder der Gegenstände eingeschränkt, sodass eine Kollision vermieden wird. Hierbei können sich die Personen und auch die Art und Weise, wie die Gegenstände angeordnet werden, unterscheiden.
-
Auch werden in zunehmendem Maße Vitalfunktionen der Personen (Insassen) oder zumindest des Fahrers erfasst und hieraus beispielsweise ein Notfall abgeleitet. So wird anhand einer Augenbewegung des Fahrers beispielsweise auf dessen Müdigkeitsgrad geschlossen und ggf. eine Warnung ausgegeben, damit ein sogenannter Sekundenschlaf vermieden werden kann. Damit dies zuverlässig erfolgen kann, ist es zunächst erforderlich, die Position des Fahrers vergleichsweise genau zu bestimmen, sodass dessen Augen und daher auch dessen Augenbewegung entsprechend erkannt wird. Auch ist es, wenn die Augenbewegung erkannt wird, möglich abzuleiten, ob der Fahrer beispielsweise einen weiteren Verkehrsteilnehmer nicht wahrgenommen hat.
-
Aus den oben genannten Gründen ist es erforderlich, zunächst den vollständigen Innenraum zu erfassen und hieraus die Position des Fahrers und/oder der etwaigen Gegenstände abzuleiten. Hierfür können beispielsweise im Innenraum angeordnete Radarsensoren herangezogen werden, die im Wesentlichen kontinuierlich betrieben werden. Somit ist eine vergleichsweise genaue Bestimmung der jeweiligen Position möglich. Dies ist jedoch vergleichsweise aufwendig und rechenintensiv, weswegen Herstellungskosten erhöht sind.
-
Der Erfindung liegt die Aufgabe zugrunde, ein besonders geeignetes Verfahren zum Betrieb eines einen Innenraum aufweisenden Kraftfahrzeugs sowie ein besonders Computerprogrammprodukt anzugeben, wobei vorteilhafterweise Herstellungskosten verringert sind, und wobei insbesondere eine Sicherheit erhöht ist.
-
Hinsichtlich des Verfahrens wird diese Aufgabe durch die Merkmale des Anspruchs 1 sowie unabhängig davon durch die Merkmale des Anspruchs 5 und hinsichtlich des Computerprogrammprodukts durch die Merkmale des Anspruchs 6 erfindungsgemäß gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der jeweiligen Unteransprüche.
-
Das Verfahren dient dem Betrieb eines einen Innenraum aufweisenden Kraftfahrzeugs. Das Kraftfahrzeug ist insbesondere landgebunden und vorzugsweise mehrspurig ausgestaltet. Hierbei ist es geeigneterweise möglich, das Kraftfahrzeug im Wesentlichen frei zu positionieren, insbesondere auf einer entsprechenden Fahrbahn. Hierfür weist das Kraftfahrzeug insbesondere entsprechende Räder auf. Zusammenfassend ist es bevorzugt möglich, das Kraftfahrzeug im Wesentlichen unabhängig von sonstigen Gegebenheiten an Land zu positionieren. Mit anderen Worten ist das Kraftfahrzeug geeigneterweise nicht schienengeführt. Vorzugsweise ist das Kraftfahrzeug ein Personenkraftwagen (Pkw) oder ein Nutzkraftwagen, wie ein Lastkraftwagen (Lkw) oder Bus.
-
Der Innenraum des Kraftfahrzeugs ist geeignet, insbesondere vorgesehen und eingerichtet, dass sich Personen (Insassen) darin aufhalten können. Hierfür weist der Innenraum insbesondere einen, geeigneterweise mehrere, Sitz auf, wobei beispielsweise einige der Sitze zu einer gemeinsamen Bank zusammengefasst sind. Insbesondere umfasst das Kraftfahrzeug genauso viele Sitze, wie Personen maximal mit dem Kraftfahrzeug transportiert werden können und/oder sollen. Insbesondere ist die Anzahl an Sitzen des Kraftfahrzeugs gleich 4, 5, 6 oder 7. Geeigneterweise ist zumindest einer, vorzugsweise einige oder alle der Sitze verstellbar ausgestaltet. Hierbei ist es insbesondere möglich, eine Sitzfläche des jeweiligen Sitzes in Längsrichtung des Kraftfahrzeugs zu verschieben und/oder in einer vertikalen Richtung. Alternativ oder in Kombination hierzu ist es möglich, die Neigung der Sitzfläche bezüglich einer Horizontalen zu verstellen. Geeigneterweise umfasst einer, alle oder zumindest mehrere der Sitze eine verstellbare Rückenlehne, deren Neigung beispielsweise verstellt werden kann. Alternativ oder in Kombination hierzu ist eine Position einer Kopfstütze des jeweiligen Sitzes verstellbar.
-
Die Verstellung des Sitzes, und/oder der jeweiligen Komponente des Sitzes erfolgt zum Beispiel manuell. Insbesondere umfasst das Kraftfahrzeug zumindest einen Verstellantrieb, der geeigneterweise elektromotorisch ausgestaltet ist. Mittels des (elektromotorischen) Verstellantriebs erfolgt hierbei eine elektrische Einstellung der Position der jeweiligen Komponente des Sitzes, das in diesem Fall als Verstellteil des Verstellantriebs herangezogen wird. Der Verstellantrieb umfasst ferner einen Elektromotor, der beispielsweise bürstenbehaftet ausgestaltet ist. Besonders bevorzugt jedoch ist der Elektromotor ein bürstenloser Gleichstrommotor (BLDC). Mittels des jeweiligen Elektromotors ist geeigneterweise ein Getriebe, wie ein Schneckenradgetriebe, angetrieben, das in Wirkverbindung mit dem jeweiligen Verstellteil ist. Insbesondere ist zwischen diesen ein zusätzliches Bauteil, wie eine Seiltrommel oder eine Spindel, angeordnet.
-
Ferner weist das Kraftfahrzeug eine Anzahl an Kameras auf, die beispielsweise ein Bestandteil des Innenraums sind, oder die zumindest in den Innenraum gerichtet sind. Die Kameras dienen der Überwachung des Innenraums und sind hierfür geeignet, insbesondere vorgesehen und eingerichtet. Hierbei wird beispielsweise im bestimmungsgemäßen Gebrauch mittels einer der Kameras ein in dem Innenraum angeordnetes Objekt, wie der Fahrer, erfasst und somit überwacht.
-
Es ist möglich, mittels jeder der Kameras ein Bild des Innenraums oder zumindest eines Teils des Innenraums zu erstellen. Insbesondere ist der jeweilige Ausschnitt des Innenraums oder zumindest ein Winkel, unter dem mittels des Bildes der Innenraum abgebildet ist, der unterschiedlichen Kameras unterschiedlich. Mit anderen Worten unterscheiden sich die Bilder, die mittels unterschiedlicher Kameras erstellt werden, auch wenn sich der Innenraum nicht verändert hat. Zusammenfassend sind die Kameras insbesondere unterschiedlich ausgerichtet. Beispielsweise sind auch die Kameras unterschiedlich positioniert. So ist beispielsweise eine der Kameras einem Fahrersitz und eine oder mehrere der Kameras einer rückwärtigen Sitzbank zugeordnet.
-
Jede der Kameras weist geeigneterweise einen Fotosensor auf, der beispielsweise ein CCD- oder CMOS-Sensor ist. Somit ist eine elektronische Verarbeitung der mittels der jeweiligen Kamera erstellten Bilder ermöglicht. Insbesondere weist jede Kamera zumindest ein, und vorzugsweise lediglich ein einziges, Objektiv auf. Mit anderen Worten sind die Kameras insbesondere sogenannte 2-D-Kameras. Alternativ hierzu wird als Kamera eine Stereo-Kamera herangezogen, die insbesondere zwei unterschiedliche Objektive aufweist. Geeigneterweise wird eine derartige Stereo-Kamera jedoch im Weiteren als zwei unterschiedliche Kameras betrachtet.
-
Das Kraftfahrzeug weist mindestens drei, vorzugsweise mehr als vier, sechs oder acht Kameras auf. Geeigneterweise ist die Anzahl der Kameras geringer als zwanzig, achtzehn oder sechzehn. Insbesondere ist zumindest eine der Kameras einem Assistenzsystem des Kraftfahrzeugs zugeordnet, beispielsweise einem Müdigkeitswarner, bei dem in Abhängigkeit einer erfassten Vitalfunktion des Fahrers eine Warnung ausgegeben wird. Alternativ oder in Kombination hierzu ist zumindest eine der Kameras ein Bestandteil eines Einklemmschutz, der beispielsweise einem der etwaigen Verstellantriebe zugeordnet ist. In Abhängigkeit der mittels dieser Kamera erstellten Bilder wird insbesondere ein Verstellweg des jeweiligen zugeordneten Verstellteils eingeschränkt oder eine Position davon vorgegeben. So ist es beispielsweise möglich, den jeweiligen Sitz in Abhängigkeit der sich darauf befindenden, erfassten Person automatisch einzustellen, wofür das jeweilige Bild herangezogen wird.
-
Das Verfahren sieht vor, dass mittels jeder der Kameras ein jeweiliges Bild des Innenraums erstellt wird. Mit anderen Worten werden die Kameras derart angesteuert, dass mittels jeder ein Bild des Innenraums erstellt wird. Aufgrund der unterschiedlichen Ausrichtung der Kameras unterscheiden sich hierbei die Bilder. Zweckmäßigerweise werden die Kameras derart angesteuert, dass im Wesentlichen zeitgleich die Bilder erstellt werden. Die Bilder entsprechen somit dem Zustand des Innenraums zu einem bestimmten Zeitpunkt. Beispielsweise werden die Bilder erstellt, wenn eine bestimmte Bedingung vorliegt. Alternativ hierzu werden die Bilder im Wesentlichen kontinuierlich erstellt. Bei den nachfolgenden Arbeitsschritten des Verfahrens werden jedoch bevorzugt lediglich die Bilder weiterverwendet, die zum gleichen Zeitpunkt erstellt werden, oder deren Erstellungszeitpunkt um weniger als 0,5 Sekunden, 0,1 Sekunde oder weniger voneinander abweicht. Insbesondere werden nachfolgend die Bilder verwendet, die von unterschiedlichen Kameras erstellt wurde. Mit anderen Worten werden die Bilder, die mittels der gleichen Kamera erstellt werden, bei den nachfolgenden Arbeitsschritten nicht verwendet, sondern bevorzugt erst bei einem erneuten Ausführen des Verfahrens oder zumindest bei einem erneuten Ausführen der jeweiligen Arbeitsschritte.
-
In einem nachfolgenden Arbeitsschritt werden zwei der Bilder ausgewählt, die somit von zwei unterschiedlichen Kameras erstellt wurden. Aus den beiden Bildern wird eine erste 3D-Information abgeleitet. Hierbei wird aufgrund der unterschiedlichen Ausrichtung der beiden Kameras und der somit zueinander unterscheidenden Winkel, unter denen der Innenraum mittels der beiden Bilder abgebildet ist, die erste 3D-Information abgeleitet, wofür insbesondere ein entsprechender Algorithmus verwendet wird. Die erste 3D-Information betrifft somit den Innenraum und bildet diesen zumindest ausschnittsweise dreidimensional ab.
-
In einem weiteren Arbeitsschritt werden zwei weitere der Bilder ausgewählt, und daraus wird eine zweite 3D-Information abgeleitet. Das Ableiten erfolgt vorzugsweise anhand der gleichen Algorithmen, anhand derer auch die erste 3D-Information abgeleitet wird, und die zweite 3D-Information entspricht somit ebenfalls einer dreidimensionalen Repräsentation zumindest eines Ausschnitts des Innenraums. Bei der Erstellung der 3D-Informationen anhand der jeweiligen Bilder wird zweckmäßigerweise eine Position und/oder Ausrichtung der dem jeweiligen Bild zugordneten Kamera berücksichtigt. Die Information über die Position/Ausrichtung der jeweiligen Kamera ist vorzugsweise in dem jeweiligen Bild enthalten, insbesondere als Meta-Information.
-
Beispielsweise unterscheiden sich die beiden Bilder, die zum Ableiten der ersten 3D-Information herangezogen von den Bildern, die zum Ableiten der zweiten 3D-Information verwendet werden. Mit anderen Worten sind somit insgesamt mindestens vier Kameras erforderlich. Alternativ hierzu wird eines der Bilder sowohl zum Ableiten der erste 3D-Information und zum Ableiten der zweiten 3D-Information verwendet. Folglich ist das Verfahren auch mit lediglich drei Kameras durchführbar. Zusammenfassend unterscheidet sich somit zumindest eines der Bilder, die zum Ableiten der zweiten 3D-Information ausgewählt werden, von den ausgewählten Bildern, anhand derer die erste 3D-Information abgeleitet wird. Daher unterscheiden sich auch die erste 3D-Information von der zweiten 3D-Information.
-
In einem nachfolgenden Arbeitsschritt werden die erste 3D-Information und die zweite 3D-Information zu einem 3D-Modell des Innenraums verarbeitet. Das 3D-Modell entspricht einer 3D Repräsentation des Innenraums oder zumindest eines Teils des Innenraums. Zur Verarbeitung der beiden 3D-Informationen zu dem 3D-Modell werden beispielsweise die beiden 3D-Informationen zusammengefügt, sodass das 3D-Modell größer als zumindest eine der 3D-Informationen ist. Falls die beiden 3D-Informationen teilweise den gleichen Teil des Innenraums abbilden, überlappen die beiden 3D-Informationen. Zum Beispiel wird in dem Überlappbereich beispielsweise lediglich eine der beiden 3D-Informationen zur Erstellung des 3D-Modells verwendet. Alternativ hierzu erfolgt in diesem Teil beispielsweise eine Mittelwertbildung der beiden 3D-Information, wobei der Mittelwert den entsprechenden Teil des 3D-Modells bildet. Bei der Mittelwertbildung wird zum Beispiel eine Gewichtung oder keine Gewichtung verwendet. Falls eine Gewichtung herangezogen wird, wird dabei insbesondere Qualität der jeweiligen 3D-Information berücksichtigt, wobei insbesondere in einem mittleren Bereich der jeweiligen 3D-Information vorzugsweise eine Qualität erhöht und in einem Randbereich erniedrigt ist. Alternativ oder in Kombination hierzu ist insbesondere die Qualität Abhängig von einem Abstand des jeweiligen Teils der 3D-Information, also des abgebildeten Teils des Innenraums zu der Position der jeweiligen Kamera.
-
Aufgrund des Verfahrens werden somit die Bilder nicht gemeinsam zu dem 3D-Modell verarbeitet, sondern über die 3D-Informationen. Bei der Erstellung der 3D-Information werden jeweils lediglich zwei Bilder verwendet, weswegen bei der Erstellung lediglich vergleichsweise wenige Rechenschritte durchgeführt werden. Insbesondere ist hierbei eine Dimension der Berechnung im Vergleich zu einer Berechnung mittels insgesamt drei Bildern verringert. Zusammenfassend ist ein Rechenaufwand zur Erstellung der beiden 3D-Information vergleichsweise gering. Bei der Verarbeitung der beiden 3D-Information zu dem 3D-Modell sind ebenfalls vergleichsweise wenige Bearbeitungsschritte erforderlich. Folglich sind vergleichsweise wenig Hardwareressourcen erforderlich, weswegen Herstellungskosten reduziert sind. Hierbei ist jedoch aufgrund der Verarbeitung der beiden 3D-Informationen entweder das 3D-Modell umfangreicher als die beiden 3D-Informationen, sodass ein größerer Bereich des Innenraums abgebildet ist. Somit ist ein entsprechendes Wissen um die aktuelle Konfiguration des Innenraums vorhanden ist. Daher ist eine Sicherheit erhöht. Alternativ ist, wenn beispielsweise die beiden 3D-Information den gleichen Teil des Innenraums abbilden, aufgrund der Verarbeitung der beiden 3D-Informationen zu dem 3D-Modell die Genauigkeit erhöht und zumindest teilweise eine Redundanz gegeben. Somit ist auch in diesem Falls eine Sicherheit erhöht. Falls sowohl die beiden 3D-Information teilweise überlappen und jeweils auch teilweise unterschiedliche Bereiche des Innenraums abbilden, ist aufgrund der beiden Effekten ebenfalls die Sicherheit erhöht.
-
Da mittels der Kameras ein aktuelles Bild des Innenraums oder zumindest eines Ausschnitts des Innenraums erstellt wird, ist die jeweilige 3D-Information und somit auch das 3D-Modell aktuell, sodass damit teilweise eine aktuelle Konfiguration des Innenraums, also beispielsweise einer Position von Sitzen oder sonstigen in dem Innenraum vorhandenen Objekten, wie insbesondere Verstellteilen, ermittelbar ist. Somit kann das 3D-Modell zur Ermittlung der Position des Verstellteils des jeweiligen Verstellantriebs herangezogen werden. Alternativ oder in Kombination hierzu wird beispielsweise anhand des 3D-Modells die Präsenz und Position eines zusätzlich in dem Innenraum vorhandenen Objekts, wie eine Person, ein Tier oder ein Gegenstand abgebildet.
-
In einer Alternative werden bei dem Verfahren stets genau zwei der Bilder jeweils ausgewählt um die jeweilige 3D-Information zu erstellen. In einer Alternative werden hierfür bei der Erstellung zumindest einer, insbesondere bei allen, der 3D-Informationen mehr als zwei der Bilder, z.B. drei der Bilder oder vier der Bilder, verwendet. Dabei ist jedoch bevorzugt die Anzahl der verwendeten Bilder zur Erstellung jeweils einer der 3D-Informationen stets geringer als die Anzahl der vorhandene/verwendeten Kameras.
-
Insbesondere erfolgt die Erstellung der jeweiligen 3D-Information mittels eines „Künstliche Intelligenz“-Algorithmus. Alternativ oder in Kombination hierzu wird das 3D-Modell anhand eines entsprechenden „Künstliche Intelligenz“-Algorithmus erstellt. Besonders bevorzugt werden sowohl die 3D-Information als auch das 3D-Modell mittels eines Bordcomputers oder einer sonstigen Recheneinheit des Kraftfahrzeugs erstellt.
-
Besonders bevorzugt werden sämtliche Bilder, die mittels der Kameras erstellt werden, jeweils paarweise ausgewählt, und daraus jeweils eine entsprechende 3D-Information abgeleitet. Sofern beispielsweise vier Kameras vorhanden sind, werden somit insbesondere sechs 3D-Informationen abgeleitet, wobei die 3D-Informationen zumindest teilweise jeweils überlappen. Insbesondere ist die Anzahl an 3D-Informationen gleich der Hälfte der Differenz aus dem Quadrat der Anzahl der Kameras abzüglich 1. Somit werden bei drei Kameras insgesamt drei 3D-Informationen erstellt. Diese 3D-Informationen werden zu dem 3D-Modell verarbeitet, sodass zuzüglich zu der ersten und zweiten 3D-Information noch weitere 3D-Informationen zu dem 3D-Modell verarbeitet werden. Hierbei werden beispielsweise die 3D-Informationen zumindest teilweise zusammengefasst, insbesondere die teilen der 3D-Informationen, die mit keinem weiteren der 3D-Informationen überlappen. In dem Überlappbereich, also wenn zumindest 2 der 3D-Informationen überlappen, erfolgt beispielsweise eine Mittelwertbildung, wobei zum Beispiel eine Gewichtung oder keine Gewichtung erfolgt. Sofern mehrere der 3D-Informationen in einem bestimmten Teil überlappen, werden insbesondere alle diese 3D-Informationen berücksichtigt. In einer Alternative hierzu wird in dem Überlappbereich lediglich eine einzige der 3D-Informationen als 3D-Modell verwendet, insbesondere diejenige der 3D-Information, die die höchste Qualität aufweist.
-
Da sämtliche Bilder verwendet werden, ist nachfolgend das 3D-Modell vergleichsweise umfangreich und detailliert, was eine Sicherheit erhöht. Da jedoch zur Erstellung des 3D-Modells niemals sämtliche Bilder gemeinsam verarbeitet werden, ist eine Dimensionalität bei der Erstellung der 3D-Informationen nicht mit der Anzahl der verwendeten Kameras erhöht, sondern der Rechenaufwand steigt lediglich linear mit der Anzahl an Kameras an. Folglich ist in Hardwareaufwand vergleichsweise gering.
-
In einer Alternative hierzu erfolgt eine Auswahl der Kameras. Mit anderen Worten werden aus den Kameras bestimmte Kameras ausgewählt. Hierbei werden sämtliche mittels dieser Kamera erstellten Bilder jeweils paarweise ausgewählt und daraus jeweils eine entsprechende 3D-Information abgeleitet. Mit anderen Worten werden die mittels der ausgewählten Kameras erstellten Bilder jeweils paarweise verwendet und daraus jeweils eine 3D-Information abgeleitet. Diese 3D-Informationen werden zu dem 3D-Modell des Innenraums verarbeitet. Auch hier erfolgt die Verarbeitung insbesondere mittels zumindest teilweisen Zusammenfassens der 3D-Informationen, also einem Anfügen dieser aneinander, und einer Bearbeitung in einem Überlappbereich, wobei hierbei beispielsweise der Mittelwert sämtlicher 3D-Informationen in dem jeweiligen Teil gebildet und dieser als 3D-Modell in diesem Bereich verwendet wird. Alternativ hierzu wird lediglich ein Teil der 3D-Informationen, die in dem jeweiligen Bereich überlappen, zur Mittelwertbildung verwendet, oder der Teil wird lediglich anhand einer einzigen der 3D-Informationen erstellt.
-
Bei der Auswahl der Kameras wird insbesondere die Aufgabe berücksichtigt, für die das 3D-Modell nachfolgend verwendet wird. Insbesondere werden hierbei die Kameras derart ausgewählt, dass die Bilder lediglich den Teil des Innenraums zeigen, der nachfolgend für relevant erachtet wird. Die Kameras, die auf einen für unrelevant erachteten Teil des Innenraums gerichtet sind, werden nicht ausgewählt. Bei einem nachfolgenden Ausführen des Verfahrens wird zweckmäßigerweise erneut die Relevanz überprüft, sodass sich die Auswahl der Kameras unterscheiden kann. So werden beispielsweise dann, wenn nachfolgend eine Verstellung eines Verstellteils in dem Innenraum erfolgen soll, lediglich die Kameras ausgewählt, die das Verstellteil oder zumindest den Verstellweg zeigen, durch den das Verstellteil verbracht werden soll. Die anderen Kameras, die nicht darauf gerichtet sind, werden nicht ausgewählt. Somit ist in dem 3D-Modell im Wesentlichen lediglich der Verstellweg und das Verstellteil (bzw. deren Repräsentation) enthalten. Folglich ist einerseits ein Rechenaufwand verringert, da nicht sämtliche Bilder verarbeitet werden. Andererseits ist dennoch eine Sicherheit vergleichsweise hoch, da auch bei den anderen Bildern keine relevanten Informationen bezüglich des Verstellrichtung des Verstellteils enthalten sind, sodass kein zusätzlicher Sicherheitsgewinn bei einer Verarbeitung dieser Bilder vorhanden wäre. Vielmehr wäre in diesem Fall die Dauer zur Erstellung des 3D-Modells verlängert, und wenn beispielsweise ein Objekt als Hindernis in den Verstellweg vorhanden ist, würde dieses vergleichsweise spät erkannt werden.
-
Beispielsweise wird das 3D-Modell im Wesentlichen statisch verwendet. Mit anderen Worten ist in dem 3D-Modell lediglich eine Repräsentation der Oberfläche des Innenraums oder zumindest des mittels der Bilder abgebildeten Teils des Innenraums vorhanden. Besonders bevorzugt jedoch wird eine Klassifikation von auf den Bildern abgebildeten Objekten durchgeführt. Die Objekte sind dabei beispielsweise ein Bestandteil des Innenraums, wie zum Beispiel ein Sitz oder ein Teil eines Sitzes. Alternativ oder in Kombination hierzu wird als Objekt ein zusätzlich in dem Kraftfahrzeug angeordneter Gegenstand oder eine sich darin befindende Person oder Tier herangezogen. Aufgrund der Klassifikation ist eine Weiterverarbeitung und/oder Nutzung des 3D-Modells erleichtert, beispielsweise eine Bestimmung von bestimmten Extremitäten einer Person, wie dessen Händen und oder Augen. Somit ist beispielsweise bestimmbar, ob der Fahrer des Kraftfahrzeugs das Lenkrad des Kraftfahrzeugs umgreift. Hierfür wird somit sowohl das Lenkrad als auch die Hand als Objekt erkannt und entsprechend klassifiziert. Beispielsweise erfolgt die Klassifikation erst nach Erstellung des 3D-Modells. Besonders bevorzugt jedoch erfolgt bereits die Klassifikation in den jeweiligen 3D-Informationen. Somit ist einerseits eine Bearbeitungszeit verkürzt. Andererseits ist diese Klassifikation bei der Erstellung des 3D-Modells berücksichtigbar. So sind beispielsweise in den 3D-Information vorhandene Artefakte entfernbar, falls es sich bei dem Objekt um ein dem Kraftfahrzeug zugeordnetes Teil, also ein Bestandteil des Kraftfahrzeugs handelt. Dessen Oberfläche und/oder Gestalt ist bekannt, und wird bevorzugt bei der Erstellung der 3D-Informationen berücksichtigt. Somit ist eine Genauigkeit verbessert. Auch ist es somit möglich, bei der Verarbeitung zu dem 3D-Modell dies zu berücksichtigen, sodass beispielsweise bei einem Übergang zwischen zwei 3D-Informationen keine Kanten oder dergleichen auftreten.
-
Das alternative Verfahren sieht vor, dass ebenfalls zunächst mittels der Kameras ein jeweiliges Bild des Innenraums erstellt wird. Hierbei unterscheiden sich ebenfalls die Bilder unterschiedlicher Kameras aufgrund der unterschiedlichen Anordnung und/oder Ausrichtung der Kameras. Geeigneterweise werden hierbei die Bilder ebenfalls zu einem gemeinsamen Zeitpunkt erstellt, oder diejenigen Bilder der Kameras, die im Wesentlichen zu dem gleichen Zeitpunkt erstellt wurden, werden nachfolgend weiterverwendet.
-
Im Unterschied zu dem vorherigen Verfahren wird jedoch nachfolgend zunächst auf jedem der Bilder zumindest ein Objekt bestimmt. Mit anderen Worten wird bei jedem Bild überprüft, ob ein Objekt abgebildet ist. Zum Beispiel wird lediglich ein einziges Objekt pro Bild bestimmt. Insbesondere werden sämtliche auf jedem der Bilder abgebildeten Objekte bestimmt. Da sich die Ausrichtung der Kameras unterscheidet, sind auf den und einzelnen Bildern unterschiedliche Objekte vorhanden, wobei auf jedem Bild zumindest eines der Objekte, vorzugsweise sämtliche Objekte, oder alle Objekte, die ein bestimmte Vorgabe erfüllen, bestimmt werden. Als Vorgabe wird insbesondere herangezogen, dass das Objekt vollständig oder zumindest ein Bestandteil hiervon auf dem Bild sichtbar ist. Geeigneterweise erfolgt zusätzlich zur Bestimmung des Objekts auch eine Klassifikation. Somit erfolgt eine Zuordnung, ob das Objekt beispielsweise ein Bestandteil des Kraftfahrzeugs und in diesem Fall welcher Bestandteil des Kraftfahrzeugs ist, wie ein Lenkrad, eine Kopfstütze oder dergleichen. Falls das Objekt kein Bestandteil des Kraftfahrzeugs ist, erfolgt bevorzugt eine Klassifikation, ob es sich um ein Lebewesen, wie eine Person oder ein Tier, oder um einen Gegenstand handelt. Zur Bestimmung des Objekts wird insbesondere ein Mustererkennungsalgorithmus herangezogen.
-
Ferner wird die Position des jeweiligen Objekts geschätzt. Sofern mittels eines der Bilder mehrere Objekte abgebildet und diese bestimmt wurden, wird insbesondere die Position jedes Objekts geschätzt. Die Position wird zum Beispiel bezüglich der Kamera geschätzt, also insbesondere relativ, oder in einer Alternative hierzu absolut. Bevorzugt wird die Position jedes der Objekte bezüglich eines Referenzpunkts bestimmt, wobei der Referenzpunkt für sämtliche Bilder gleich ist. Insbesondere wird als Position die angenommene Position des Objekts in kartesischen Koordinaten oder einem sonstigen Koordinatensystem geschätzt. Zum Beispiel wird als Position eine Richtung, in der sich das Objekt bezüglich der Kamera befindet, und/oder ein Abstand herangezogen. Insbesondere erfolgt eine Bestimmung des Abstands des Objekts zu der Kamera anhand der Größe, mit der das Objekt abgebildet ist. Falls das Objekt ein Bestandteil des Kraftfahrzeugs ist, ist dessen tatsächliche Größe bekannt, sodass anhand eines Größenvergleichs der Abstand zu der Kamera bestimmt werden kann. Alternativ oder in Kombination hierzu wird ein Schattenwurf oder ein Vergleich des Objekts mit einem weiteren abgebildeten Objekt zur Bestimmung des Abstands und/oder der sonstigen Position herangezogen. Geeigneterweise wird hierbei ein „Künstliche Intelligenz“-Algorithmus verwendet. Zusammenfassend wird anhand des zweidimensionalen Bildes die dreidimensionale Position des Objekts oder zumindest eines Teils des Objekts abgeleitet, beispielsweise vollständig oder lediglich teilweise, wie dessen Abstand zu der Kamera. Da hierbei eine exakte Bestimmung anhand des jeweiligen zweidimensionalen Bilds nicht möglich ist, handelt es sich um eine Schätzung, wobei zur Schätzung insbesondere ein entsprechender Algorithmus verwendet wird.
-
In einem weiteren Arbeitsschritt wird anhand sämtlicher geschätzter Position jedes Objekts ein 3D-Modell des Innenraums bestimmt. Das 3D-Modell enthält somit sämtliche Objekte und deren jeweilige Position. Sofern der gemeinsame Referenzpunkts verwendet wird, ist hierbei eine Verarbeitung vereinfacht. Falls dem gleichen Objekt bei unterschiedlichen Bildern unterschiedliche Positionen zugeordnet wurden, wird insbesondere der Mittelwert der jeweiligen geschätzten Position verwendet. Hierbei wird beispielsweise bei der Mittelwertbildung eine Gewichtung durchgeführt oder nicht. Alternativ hierzu wird insbesondere die jeweilige geschätzte Position eines der Bilder, falls diese nicht dreidimensional bestimmt ist, sondern beispielsweise lediglich ein Abstand zu der verwendeten Kamera ist, anhand einer weiteren geschätzten Position ergänzt. Falls beispielsweise jede der geschätzten Position lediglich ein Abstand zu der jeweiligen Kamera ist, ist es möglich, dass sich das Objekt auf einer Kugelschale oder zumindest einem Abschnitt einer Kugelschale um die jeweilige Kamera befindet. Nach der Verarbeitung von zwei unterschiedlichen geschätzten Positionen liegt die tatsächliche Position auf einem Kreis, nämlich dem Schnittpunkt der beiden Kugelschalen. Folglich ist eine Genauigkeit erhöht. Zusammenfassend werden die geschätzten Positionen des Objekts zu dem 3D-Modell verarbeitet, in dem die tatsächlichen Position des jeweiligen Objekts vorhanden sind. Hierbei wird beispielsweise der Mittelwert oder eine gewichtete Summe der jeweiligen geschätzten Position verwendet, falls das Objekt auf mehreren Bildern abgebildet und dort dessen jeweilige Position geschätzt wurde.
-
Da jedes Bild einzeln ausgewertet wird, ist ein Rechenaufwand vergleichsweise gering, und ein Berechnungsaufwand steig im Wesentlichen linear mit der Anzahl der Bilder, die verwendet wird. Hierbei ist es dennoch möglich, ein vergleichsweise großes und/oder detailliertes 3D-Modell des Innenraums zu erstellen. Auch ist es möglich, dieses Verfahren mit lediglich zwei Kameras durchzuführen.
-
Zum Beispiel wird als Objekts, ein Gelenk eines Fingers des Fahrers oder einer sonstigen Person in dem Innenraum verwendet und dieses in zumindest einigen der Bilder bestimmt. Dessen Position wird nachfolgend geschätzt, insbesondere anhand dessen Tiefeninformation. Die einzelnen geschätzten Positionen des Gelenks werden verarbeitet und folglich „gematched“, sodass das 3D-Modell des Innenraums erstellt wird. Als Objekt wird bevorzugt jeweils lediglich ein Punkt, wie das Gelenk, verwendet, sodass ein Rechenaufwand verringert ist. Ferner ist eine nachfolgende Bearbeitung vereinfacht.
-
Bei den beiden Verfahren werden beispielsweise entsprechend hierfür vorgesehene Kameras verwendet. Besonders bevorzugt jedoch wird zumindest ein Teil der Kameras zumindest teilweise auch anderweitig verwendet, und diese sind beispielsweise ein Bestandteil eines entsprechenden Assistenzsystems. Folglich werden Kameras zur Durchführung des Verfahrens verwendet, die bereits vorhanden sind, weswegen sich im Wesentlichen keine zusätzlichen Herstellungskosten gegeben. Auch ist bei beiden Verfahren eine Redundanz gegeben, sodass beispielsweise bei einer Verschmutzung einer der Kameras, dennoch eine Bestimmung des 3D-Modells möglich ist, wenn auch mit verringerter Genauigkeit. Zudem sind Erkennungsraten und eine Objektklassifizierung verbessert, weswegen eine Sicherheit, beispielsweise in Form eines Einklemmschutzes, erhöht werden kann.
-
Das Computerprogrammprodukt umfasst eine Anzahl an Befehle, die bei der Ausführung des Programms (Computerprogrammprodukts) durch einen Computer diesen veranlassen, zumindest eines aus zwei Verfahren zum Betrieb eines einen Innenraum aufweisenden Kraftfahrzeugs, das mehrere Kameras zur Überwachung des Innenraums aufweist, durchzuführen. Bei einem der Verfahren wird mittels jeder der Kameras ein jeweiliges Bild des Innenraums erstellt. Zwei der Bilder werden ausgewählt und daraus eine erste 3D-Information abgeleitet. Es werden zwei weitere der Bilder ausgewählt und daraus eine zweite 3D- Information abgeleitet, wobei zumindest eines der Bilder sich von den vorher ausgewählten Bildern unterscheidet. Die erste 3D-Information und die zweite 3D-Information werden zu einem 3D-Modell des Innenraums verarbeitet. Bei dem anderen Verfahren wird ebenfalls mittels jeder der Kameras ein jeweiliges Bild des Innenraums erstellt. Auf jedem der Bilder wird zumindest ein Objekt bestimmt und dessen Position geschätzt. Anhand sämtlicher geschätzter Positionen jedes Objekts wird ein 3D-Modell des Innenraums bestimmt.
-
Der Computer ist zweckmäßigerweise ein Bestandteil einer Steuereinheit oder Elektronik und beispielsweise mittels dieser gebildet. Der Computer umfasst vorzugsweise einen Mikroprozessor oder ist mittels dessen gebildet. Das Computerprogrammprodukt ist beispielsweise eine Datei oder ein Datenträger, der ein ausführbares Programm enthält, das bei einer Installation auf einem Computer das Verfahren automatisch ausführt.
-
Die Erfindung betrifft ferner ein Speichermedium, auf dem das Computerprogrammprodukt gespeichert ist. Ein derartiges Speichermedium ist beispielsweise eine CD-ROM, eine DVD oder eine Blu-Ray Disc. Alternativ hierzu ist das Speichermedium ein USB-Stick oder ein sonstiger Speicher, der zum Beispiel wiederbeschreibbar oder lediglich einmalig beschreibbar ist. Ein derartiger Speicher ist beispielsweise ein Flash Speicher, ein RAM oder ein ROM. Auch betrifft die Erfindung ein Kraftfahrzeug, das gemäß einem derartigen Verfahren betrieben ist, und eine Steuereinheit zur Durchführung des Verfahrens, die also hierfür geeignet, insbesondere vorgesehen und eingerichtet, ist.
-
Die im Zusammenhang mit den Verfahren erläuterten Weiterbildungen und Vorteile sind sinngemäß auch auf das Computerprogrammprodukt/ das Speichermedium / das Kraftfahrzeug / die Steuereinheit und untereinander zu übertragen und umgekehrt.
-
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand einer Zeichnung näher erläutert. Darin zeigen:
- 1 ein Kraftfahrzeug mit einem Innenraum und mehreren Kameras, und
- 2 ein Verfahren zum Betrieb des Kraftfahrzeugs,
- 3 -5 jeweils schematisch ein Bild, das mit unterschiedlichen Kameras aufgenommen wurde, und
- 6 ein weiteres Verfahren zum Betrieb des Kraftfahrzeugs.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist schematisch vereinfacht ein Kraftfahrzeug 2 dargestellt, das als Personenkraftwagen (Pkw) ausgeführt ist mehrere Räder 4 aufweist, mittels derer ein Kontakt zu einer nicht näher dargestellten Fahrbahn erfolgt. Das Kraftfahrzeug 2 umfasst einen Innenraum 6 auf, innerhalb dessen sich mehreren Sitze 8 befinden, von denen zwei dargestellt sind. Die dargestellten Sitze 8 sind unterschiedlichen Sitzreihen zugeordnet und in einer Längsrichtung des Kraftfahrzeugs 2 hintereinander angeordnet. Es ist zu jedem der dargestellten Sitze 8 jedoch zumindest jeweils ein senkrecht zur Längsrichtung benachbarter Sitz vorhanden, der jedoch nicht gezeigt ist.
-
Jedem der Sitze 8 ist ein oder mehrere Verstellantriebe 10 zugeordnet, die als elektromotorische Verstellantriebe ausgestaltet sind, und jeweils einen Elektromotor, wie einen bürstenbehafteten Kommutatormotor, oder einen bürstenlosen Gleichstrommotor (BLDC), umfassen. Mittels des jeweiligen Elektromotors ist über ein Getriebe, wie ein Schneckenradgetriebe, eine Spindel angetrieben, die an einem Verstellteil endseitig befestigt ist. Als Verstellteil wird jeweils ein Bestandteil des zugeordneten Sitzes 8 herangezogen, wie dessen Sitzfläche, Rückenlehne oder Kopfstütze. Somit ist es möglich, mittels Betätigung des jeweiligen Verstellantriebs 12 den jeweils zugeordneten Teil des Sitzes 10 elektromotorisch zu verstellen. Da mehrere derartige Verstellantriebe 10 jedem der Sitze 8 zugeordnet sind, kann eine vergleichsweise umfangreiche elektromotorische Verstellung des jeweiligen Sitzes 8 und somit eine Anpassung an einen nicht näher dargestellten Fahrer oder eine sonstige Person erfolgen.
-
In dem Innenraum 6 sind mehrere Kameras 12 angeordnet, die der Überwachung des Innenraums 6 dienen. Hierbei sind mehrere der Kameras 12 einem einzigen der Sitze 8, nämlich dem Fahrersitz, zugeordnet, sodass mittels dieser Kameras 12 der Fahrer des Kraftfahrzeugs 2 überwacht und dessen Vitalfunktionen abgeleitet werden können. So sind einige der Kameras 12 derart ausgebildet, dass mittels dieser eine Augenbewegung des Fahrers erkannt werden kann. Andere der Kameras 14 sind einer rückwärtigen Reihe der Sitze 10 zugeordnet, sodass mittels dieser etwaige Objekte, also Personen oder Gegenstände, die sich auf den dortigen Sitzen 8 befinden, erfasst werden können. Ein Teil der Kameras 12 wird auch für den Betrieb der Verstellantriebe 10 herangezogen. Auf diese Weise wird vermieden, dass das mittels des jeweiligen Verstellantriebs 10 verbrachte Verstellteil, wie eine Sitzlehne, gegen ein etwaiges Objekt verbracht wird, sodass ein Einklemmen vermieden ist.
-
Zudem weist das Kraftfahrzeug 4 eine Steuereinheit 14 auf, die einen Computer 16 in Form eines Mikroprozessors und ein Speichermedium 18 umfasst, auf dem ein Computerprogrammprodukt 20 abgespeichert ist. Das Computerprogramm 20 der Steuereinheit 14 umfasst mehrere Befehle, die bei der Ausführung durch den Computer 16 diesen veranlassen ein in 2 gezeigtes Verfahren 22 zum Betrieb des Kraftfahrzeugs 4 auszuführen.
-
In einem ersten Arbeitsschritt 24 werden sämtliche Kameras 12 derart angesteuert, dass mittels dieser jeweils ein Bild 26 des Innenraums 6, also des jeweiligen Teils des Innenraums 6, auf denen die jeweilige Kamera 12 gerichtetes, erstellt wird. In den 3 bis 5 sind jeweils derartige Bilder 26 schematisch vereinfacht gezeigt, wobei die Bilder 26 der unterschiedlichen Figuren mittels unterschiedlichen Kameras 12 aufgenommen wurden.
-
Auf jedem der Bilder 26 ist der Innenraum 6 des Kraftfahrzeugs abgebildet, wobei in auf dem in 3 dargestellten Bild 26 ein erstes Objekt 28 gezeigt ist. Auf dem in 4 dargestellten Bilder 26 ist das erste Objekt 28 aus einem abweichenden Winkel aufgrund der abweichenden Orientierung der Kammer 12 dargestellt. Auch ist auf diesem Bild 26 ein zweites Objekt 30 abgebildet, das teilweise durch das erste Objekt 28 verdeckt ist. Auf dem in 5 dargestellten Bild 26 ist das erste Objekt 28 vergleichsweise klein gezeigt, da dieses zu der Kamera 12, mittels derer das Bild 26 erstellt wurde, einen vergleichsweise großen Abstand aufweist. Dahingegen ist das zweite Objekt 30 vollständig, also unverdeckt, und vergleichsweise groß gezeigt.
-
In einem sich anschließenden zweiten Arbeitsschritt 32 werden zwei der Bilder 26 ausgewählt. In einem nachfolgenden dritten Arbeitsschritt 34 wird anhand dieser ausgewählten Bilder 26 eine erste 3D-Information 36 abgeleitet. Die erste 3D-Information 36 entspricht einer dreidimensionalen Repräsentation des mittels der beiden ausgewerteten Bilder 26 abgebildeten Teils des Innenraums 8, insbesondere des Teils des Innenraums 8, der auf beiden Bildern 26 gezeigt ist. Zur Ermittlung der ersten 3D-Information 36 wird ein geeigneter Algorithmus herangezogen und insbesondere ein „Künstliche Intelligenz“-Algorithmus verwendet. Zudem erfolgt in der ersten 3D-Information 36 eine Klassifikation der damit abgebildeten Objekte, also des ersten Objekts 28 und des zweiten Objekts 30. Insbesondere wird diese Klassifikation ebenfalls zur Erstellung der ersten 3D-Information 36 herangezogen. So werden in diesem Fall zunächst die Bilder 26 überprüft, ob die jeweiligen Objekte 28, 30 abgebildet sind, und nachfolgend wird unter Berücksichtigung dieser Informationen die erste 3D-Information 36 erstellt. Alternativ hierzu wird zunächst die erste 3D-Information 36 erstellt und anschließend überprüft, ob diese die Objekte 28, 30 enthalten. Zumindest ist nach Abschluss des dritten Arbeitsschritts 34 in der ersten 3D-Information 36 auch eine Klassifikation des ersten und zweiten Objekts 28, 30 enthalten. In diesem Beispiel wird das erste Objekt 28 als ein Bestandteil des Kraftfahrzeugs 2, wie ein Teil eines der Sitze 8, klassifiziert, wohingegen das zweite Objekt 30 als ein Teil eines Nutzers, wie dessen Kopf, klassifiziert wird.
-
Nachfolgend wird erneut der zweite Arbeitsschritt 32 durchgeführt und erneut zwei der Bilder 26 ausgewählt, wobei zumindest eines der Bilder 26 sich von den vorher ausgewählten Bildern 26 unterscheidet. Nachfolgend wird wiederum der dritte Arbeitsschritt 34 durchgeführt, in dem anhand dieser Bilder 26 eine zweite 3D-Information 38 erstellt wird. Die Art der Erstellung ist hierbei gleich zu der Art der Erstellung der ersten 3D-Information 36, jedoch unterscheiden sich diese selbst, da sich zumindest eines der verwendeten Bilder 26 unterscheidet.
-
Der zweite und dritte Arbeitsschritt 32, 34 werden in einer Alternative so lange wiederholt, bis sämtliche Bilder 26 jeweils paarweise ausgewählt und daraus jeweils eine entsprechende 3D-Information 40 erstellt wurde. Die Gesamtzahl der 3D-Informationen 36, 38, 40 ist in diesem Fall gleich der Hälfte der Differenz aus dem Quadrat der Anzahl an Kameras 12 und eins. In einer anderen Alternativ erfolgt eine Auswahl der Kameras 12, und lediglich die Bilder 26, die mit der Auswahl der Kameras 12 erstellt wurden, werden jeweils paarweise ausgewählt und daraus die jeweils entsprechende 3D-Information 40 abgeleitet. So werden beispielsweise lediglich die Kameras 12 ausgewählt, die einen der Sitze 8, wie den Fahrersitz oder den Beifahrersitz, abbilden, sodass anhand der diesen zugeordnete Bilder 26 die 3D-Informationen 36, 38, 40 abgeleitet werden. Wenn eine Auswahl der Kameras 12 erfolgt, wird in einer weiteren Alternative der erste Arbeitsschritt 24 abgewandelt, sodass lediglich die Kameras 12, die der Auswahl angehören, zum Erstellen der Bilder 26 angesteuert werden.
-
Sobald sämtliche 3D-Informationen 36, 38, 40 abgeleitet wurden, wird ein vierter Arbeitsschritt 42 durchgeführt. In dem vierten Arbeitsschritt 42 werden sämtliche zur Verfügung stehenden 3D-Informationen 36, 38, 40 zu einem 3D-Modell 44 des Innenraums 6 verarbeitet, das in der Steuereinheit 14 abgespeichert wird. Hierbei werden diejenigen Teile der 3D-Informationen 36, 38, 40, die mit keinem weiteren der 3D-Informationen 36, 38, 40 überlappen, im Wesentlichen unverändert in das 3D-Modell 44 aufgenommen. Bei denjenigen Teilen der 3D-Informationen 36, 38, 40, die mit zumeist einem Teil einer weiteren der 3D-Informationen 36, 38,40 überlappen, wird der jeweilige Mittelwert gebildet und dieser in das 3D-Modell 44 eingefügt. Somit ist das 3D-Modell 44 vergleichsweise umfangreich. Falls sämtliche Kameras 12 / Bilder 26 verwendet werden, ist das 3D-Modell 44 vergleichsweise umfangreich. Falls dahingegen lediglich die Auswahl der Kameras 12 verwendet wird, ist die Zeit zur Erstellung des 3D-Modells 44 verkürzt.
-
In Abhängigkeit des 3D-Modells 44 erfolgt eine Ansteuerung beispielsweise der Verstellantriebe 10, sodass ein Einklemmen einer sich in dem Innenraum 6 befindende Person vermieden ist. Auch ist es auf diese Weise möglich, die Position der Person vergleichsweise genau zu bestimmen und beispielsweise auf diese Weise dessen Vitalfunktion verbessert zu erfassen.
-
In 6 ist eine Alternative des Verfahrens 22 dargestellt, das ebenfalls mittels des Computers 16 entsprechend der mittels des Computerprogrammprodukts 20 abgespeicherten Befehle durchgeführt wird. Auch hier wird wiederum der erste Arbeitsschritt 24 durchgeführt und somit sämtliche oder zumindest die Auswahl an Kameras 12 derart angesteuert, dass ein jeweiliges Bild 26 des Innenraums 8 erstellt wird.
-
In dem sich anschließenden zweiten Arbeitsschritt 32 wird auf jedem der Bilder 26 das damit gezeigte Objekt 28, 30 bestimmt. So wird bei dem in 3 gezeigten Bild 26 bestimmt, dass das erste Objekt 28 gezeigt ist, und bei den in 4 und 5 gezeigten Bilder 26 wird jeweils bestimmt, dass das erste und zweite Objekt 28, 30 gezeigt wird. Hierfür wird ein entsprechender Mustererkennungsalgorithmus verwendet und somit die Bilder 26 auf das Vorhandensein der Objekte 26, 28 überprüft.
-
In dem sich anschließenden dritten Arbeitsschritt 34 wird auf einem der Bilder 26 die Position 46 des jeweils gezeigten Objekts 28, 30 geschätzt. Hierfür wird eine Schätzung der Position 46 bezüglich eines nicht näher dargestellten Referenzpunkts, wie beispielsweise des Mittelpunkts des Innenraums 6, durchgeführt. Bei der Schätzung wird die bekannte Position der Kamera 12 berücksichtigt, mittels derer das jeweilige Bild 26 erstellt wurde. Da das erste Objekt 28 ein Bestandteil des Kraftfahrzeugs 2 ist, ist dessen tatsächliche Größe bekannt, sodass anhand eines Größenvergleich der Abstand zu der jeweiligen Kamera 12 geschätzt werden kann. So ist der Abstand des ersten Objekts 28 zu der Kamera 12, mittels derer das in 3 gezeigte Bild 26 erstellt wurde, geringer als zu der Kamera 12, mittels derer das in 5 gezeigte Bild 26 erstellt wurde.
-
Der zweite und dritte Arbeitsschritt 32, 34 werden so lange wiederholt, bis sämtliche Bilder 26 bearbeitet wurden, also auf das Vorhandensein der Objekte 28, 30 hin analysiert und deren jeweilige Position 46 geschätzt wurde. Alternativ hierzu erfolgt auch bei dieser Variante des Verfahrens 22 eine Auswahl an Kameras 12, wobei lediglich die Bilder 26, die mittels der Auswahl an Kameras 12 erstellt wurden, verwendet werden. Nach Abschluss hiervon sind jedem der Objekte 28, 30 mehrere geschätzte Positionen 46 zugewiesen, nämlich pro Bild 26, auf dem das jeweilige Objekt 28, 30 gezeigt wurde, eine.
-
In dem sich anschließenden vierten Arbeitsschritt 42 wird anhand sämtlicher geschätzter Positionen 46 jedes der Objekte 28, 30 das 3D-Modell 44 des Innenraums 8 bestimmt. In diesem sind somit sämtliche Objekte 28, 30 enthalten, und diese bilden im Wesentlichen das 3D-Modell 44. Je nach Art der Objekte 28, 30, die bestimmt werden, ist es somit möglich, das 3D-Modell 44 vergleichsweise zeitsparend oder detailliert zu erstellen.
-
In einer nicht näher dargestellten Alternative werden als Objekte 28,30 die Fingergelenke einer Hand eines nicht näher dargestellten Fahrers herangezogen, und deren jeweilige Position 46 geschätzt. Nach Zusammenführen dieser geschätzten Positionen 46 zu dem 3D-Modell 44 ist somit ermittelbar, wie der Fahrer seine Hand hält, und ob dieser beispielsweise ein Lenkrad umgreift.
-
Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Vielmehr können auch andere Varianten der Erfindung von dem Fachmann hieraus abgeleitet werden, ohne den Gegenstand der Erfindung zu verlassen. Insbesondere sind ferner alle im Zusammenhang mit den einzelnen Ausführungsbeispielen beschriebene Einzelmerkmale auch auf andere Weise miteinander kombinierbar, ohne den Gegenstand der Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 2
- Kraftfahrzeug
- 4
- Rad
- 6
- Innenraum
- 8
- Sitz
- 10
- Verstellantrieb
- 12
- Kamera
- 14
- Steuereinheit
- 16
- Computer
- 18
- Speichermedium
- 20
- Computerprogrammprodukt
- 22
- Verfahren
- 24
- erster Arbeitsschritt
- 26
- Bild
- 28
- erstes Objekt
- 30
- zweites Objekt
- 32
- zweiter Arbeitsschritt
- 34
- dritter Arbeitsschritt
- 36
- erste 3D-Information
- 38
- zweite 3D-Information
- 40
- 3D-Information
- 42
- vierter Arbeitsschritt
- 44
- 3D-Modell
- 46
- geschätzte Position
