-
Die Erfindung betrifft ein Verfahren zur Ermittlung eines Insassenmodells zur Ermittlung und/oder Anpassung von Betriebsparametern wenigstens eines Fahrzeugsystems eines Kraftfahrzeugs sowie eine Bildaufnahmeeinrichtung.
-
Aufgrund von hauptsächlich Sicherheits- und/oder Komforterwägungen wurden im Stand der Technik bereits erste Ansätze vorgeschlagen, Fahrzeugsysteme sowie deren Funktionen individuell auf bestimmte Insassen abzustimmen. Beispielsweise werden bestimmte, den Insassen beschreibende Insassenparameter, insbesondere durch im Kraftfahrzeug vorgesehene Sensorik erfasst, wobei diesen Insassenparametern entsprechende Einstellungen der Betriebsparameter der Fahrzeugsysteme zugeordnet sein können. Beispielhaft können eine Größe oder ein Gewicht eines Insassen ermittelt werden und Sitze und/oder Rückhaltesysteme und/oder Airbagsysteme dementsprechend eingestellt werden.
-
Eine Verbesserung dieser Situation wird in
DE 10 2015 016 511 A1 vorgeschlagen. Die dortige Idee ist es, in Abhängigkeit wenigstens einer Insasseneigenschaft eines Insassen Modellparameter eines biomechanischen Menschmodells zu wählen, so dass hiermit biomechanische Simulationen durchgeführt werden können, die zur Optimierung von Betriebsparametersätzen für Sicherheitssysteme verwendet werden können. Nachdem für die biomechanischen Eigenschaften, die für solche Simulationen von Unfällen benötigt werden, hauptsächlich durch die Knochen des Insassen bestimmt werden, wird dort vorgeschlagen, wenigstens einen Teil der Modellparameter durch Vermessung des Insassen mit einem medizinischen Bildgebungsverfahren zu ermitteln, welches das Skelett wiedergibt.
-
DE 10 2015 016 511 A1 beschreibt mithin einen rein parameterbasierten Ansatz zur Ermittlung von Kenngrößen des Insassen, die für biomechanische Simulationen benötigt werden. Wünschenswert wäre es jedoch, ein Mittel bereitzustellen, um auch über derartige biomechanische Simulationen hinausgehend Funktionalitäten beziehungsweise Fahrzeugsysteme eines Kraftfahrzeugs, insbesondere auch über den automotiven Bereich hinausgehend, insassenindividuell anpassen zu können.
-
US 2012/0162218 A1 beschreibt ein Verfahren zum Generieren eines digitalen Klons eines Menschen, bei dem Informationen über Erscheinungsverformungen aufgrund von Gelenkbewegungen abgeleitet werden sollen, wobei ein Maschenmodell der Oberfläche aus Bildern verschiedener Ansichten und Haltungen eines Menschen abgeleitet werden soll. Dabei geht es insbesondere um den verhaltensbezogenen Ausdruck eines Schauspielers.
US 2010/0172567 A1 betrifft ein Verfahren, in dem zusätzlich zu Entfernungs-Bildgebung auch dreidimensionale Infrarotbildgebung eingesetzt werden soll, um detaillierte anatomische Strukturkarten zu bestimmen. Dabei sollen insbesondere neben der Körperoberfläche auch oberflächennahe Gefäße rekonstruierbar sein.
-
Diese beiden Ansätze liefern nicht in hinreichender Genauigkeit alle für den Einsatz bei Fahrzeugsystemen beziehungsweise deren Parametrierung notwendigen Informationen.
-
Der Erfindung liegt daher die Aufgabe zugrunde, eine Möglichkeit zur Ermittlung eines Insassenmodells als Grundlage für eine Vielzahl möglicher Fahrzeugfunktionen/Fahrzeugsysteme eines Kraftfahrzeugs anzugeben, welches mit hoher Genauigkeit die bezüglich der Fahrzeugsysteme insgesamt benötigten Informationen bereitstellt.
-
Zur Lösung dieser Aufgabe ist bei einem Verfahren der eingangs genannten Art erfindungsgemäß vorgesehen, dass
- - ein erster Bilddatensatz des Insassen mit einer ersten Bildgebungsmodalität aufgenommen wird, wobei der erste Bilddatensatz die Skelettstruktur des Insassen dreidimensional zeigt,
- - ein zweiter Bilddatensatz des Insassen mit einer zweiten Bildgebungsmodalität aufgenommen wird, wobei der zweite Bilddatensatz dreidimensional die Oberfläche des Insassen beschreibt,
- - aus dem ersten Bilddatensatz und dem zweiten Bilddatensatz das die Außenform und biomechanische Eigenschaften des Insassen beschreibende, dreidimensionale Insassenmodell ermittelt wird, und
- - das Insassenmodell auf wenigstens einer Speichereinrichtung zur Auswertung bezüglich des Kraftfahrzeugs bereitgestellt wird.
-
Es wird mithin vorgeschlagen, Bilddaten des Insassen aus zwei Modalitäten zusammenzuführen, nämlich zum einen solche, die die Skelettstruktur, mithin die Knochen des Insassen in drei Dimensionen zeigen, sowie solche, die die Außenform/Oberfläche des Insassen ebenso in drei Dimensionen wiedergeben. Werden der erste und der zweite Bilddatensatz zusammengeführt, wird ein technisches Verfahren beschrieben, das den Insassen komplett als personalisiertes Modell abbildet, welches im insbesondere für den Kraftfahrzeugsektor relevanten Bereichen alle notwendigen Informationen enthält, nämlich zum einen die Oberflächenstruktur hochgenau basierend auf einer Vermessung, zum anderen die Skelettstruktur hochgenau basierend auf einer Vermessung. Dabei sei an dieser Stelle angemerkt, dass Verfahren, die im Stand der Technik bereits angedacht wurden und aus der Außenform des Insassen auf dessen Skelettstruktur zu schließen versuchen, meist bestimmte Ansatzpunkte wiedergeben, jedoch relevante, benötigte Details, wie beispielsweise die genaue Krümmung der Wirbelsäule, nicht wiederzugeben vermögen. Dagegen kann das aus der vorliegenden Erfindung hergeleitete Insassenmodell als eine Art „Passenger Avatar“ verstanden werden, also insbesondere eine Datenstruktur, die benötigte Informationen für eine Vielzahl von Funktionen von Fahrzeugsystemen sowie gegebenenfalls darüber hinausgehend bereitstellt.
-
Mittels des somit gegenüber dem biomechanischen Menschmodell der
DE 10 2015 016 511 A1 erweiterten Insassenmodells ergeben sich mithin verbesserte und erweiterte individualisierte Anwendungsmöglichkeiten, insbesondere zur individuellen Abstimmung von Fahrzeugsystemen und deren Funktionen auf die spezifischen anatomischen und medizinischen Daten des Insassen. So wird ein hoher Komfort- und Sicherheitsgewinn erreicht. Die Verfügbarkeit eines personalisierten Insassenmodells ermöglicht es, dem Kunden viele erweiterte und neue Funktionen bereitzustellen, wobei vorliegend für den Automotive-Bereich relevante Informationen - Außenform und Skelett - besonders verlässlich und robust wiedergegeben werden.
-
Das generierte Insassenmodell kann über definierte Schnittstellen, insbesondere also ein fest definiertes Datenformat der das Insassenmodell abbildenden Datenstruktur, bereitgestellt werden und wird hierzu auf wenigstens einer Speichereinrichtung abgelegt. Dabei kann es sich bei der Speichereinrichtung insbesondere um eine Speichereinrichtung eines Steuergeräts des Kraftfahrzeugs selbst handeln, so dass das Insassenmodell innerhalb des Kraftfahrzeugs, unabhängig von Kommunikationsverbindungen zur Außenwelt, verfügbar ist und somit verlässlich auch für dynamischere Anwendungen genutzt werden kann, beispielsweise für die Anpassung beziehungsweise Ermittlung von Betriebsparametern von Fahrzeugsystemen für aktuelle Fahrsituationen, in denen das Insassenmodell beispielsweise für Simulationen oder dergleichen herangezogen werden kann. Selbstverständlich ist es auch möglich, bevorzugt zusätzlich oder aber alternativ, als die Speichereinrichtung eine Speichereinrichtung einer Cloud und/oder ein lokales Speichermedium des Insassen zu verwenden. Das Ablegen ausschließlich auf einem insasseneigenen lokalen Speichermedium kann den Vorteil haben, dass dem Insassen die Herrschaftsgewalt über seine entsprechenden Daten übertragen wird, er mithin selbst bestimmen kann, wann das Insassenmodell welchen Auswertungen, insbesondere im Hinblick auf bestimmte Fahrzeugsysteme oder deren Funktionen, zugeführt werden kann.
-
Zweckmäßigerweise kann der erste Bilddatensatz mit einer Röntgeneinrichtung in einem Niedrigdosis-Ganzkörperscanverfahren aufgenommen werden. Inzwischen sind bereits medizinische bildgebende Verfahren bekannt geworden, die äußerst belastungsarm die notwendigen Insasseneigenschaften für eine biometrische Beurteilung und mithin die Erzeugung des Insassenmodells zugänglich werden lassen. Rein beispielhaft sei auf das unter „EOS Imaging“ bekannt gewordene Bildgebungsverfahren der gleichnamigen Firma verwiesen. Durch die dort verwendete, niedrige Dosis verwendende Ganzkörper-Bildgebung können hochgenaue, dreidimensionale Bilddaten über das Skelett des Insassen, insbesondere mithin dessen Knochen, erhalten werden. Auch andere medizinische Bildgebungsverfahren, die das Skelett, insbesondere die Knochen, deutlich zeigen, sind zusätzlich oder alternativ zur Röntgenbildgebung einsetzbar.
-
Entsprechend ist es ferner zweckmäßig, wenn der zweite Bilddatensatz in einem 3D-Scanverfahren aufgenommen wird, insbesondere mit einer 3D-Kamera und/oder einer Terahertz-Kamera. Auch zur Ermittlung einer Körperaußenform sind, insbesondere aus dem medizinischen Bereich, bereits Verfahren bekannt geworden, die eine Abtastung der Oberfläche eines Insassen ermöglichen. Die Verwendung einer Terahertz-Technologie hat hierbei den Vorteil, dass auch durch Kleidung hindurch eine Oberfläche des Insassen erfasst werden kann.
-
In zweckmäßiger Weiterbildung der Erfindung kann vorgesehen sein, dass aus wenigstens einem der Bilddatensätze ein Submodell ermittelt wird, insbesondere im Fall des ersten Bilddatensatzes ein die Lage der Knochen und Gelenke beschreibendes Skelettmodell und/oder im Fall des zweiten Bilddatensatzes ein Oberflächenmodell, wobei die Submodelle zur Erzeugung des Insassenmodells lagerichtig übereinander gelegt werden. Beispielsweise kann aus den Bilddaten des ersten Bilddatensatzes durch Segmentierung oder sonstige Bildverarbeitungsverfahren die Lage der Knochen des Insassen äußerst genau bestimmt werden, so dass diese modellartig in einem entsprechenden Skelettmodell beschrieben werden können. Insbesondere kann es sich bei einem derartigen Skelettmodell, wenn auch Gelenke abgebildet werden, um ein dem bereits diskutierten biomechanischen Menschmodell entsprechendes Submodell handeln. Ein derartiges biomechanisches Menschmodell als Skelettmodell beziehungsweise Submodell enthält insbesondere bereits Informationen über die entstehenden Bewegungsmöglichkeiten. Im Fall des zweiten Bilddatensatzes ist es besonders vorteilhaft, auch die Oberfläche des Insassen, aus diesem dreidimensional abgeleitet, in Form eines dedizierten, insbesondere geometrischen Submodells abzuleiten. Beispielsweise kann die Oberfläche in Form eines polygonalen Netzes („surface mesh“) besonders effektiv modelliert werden.
-
Zur lagerichtigen Überlagerung sind oder werden die Bilddatensätze und/oder Submodelle miteinander registriert.
-
Dabei kann in einer besonders vorteilhaften Ausbildung der vorliegenden Erfindung vorgesehen sein, dass die Bilddatensätze mit einer die erste und die zweite Bildgebungsmodalität bereitstellenden, gemeinsamen Bildaufnahmeeinrichtung aufgenommen werden. Sind eine Aufnahmeanordnung der ersten Bildgebungsmodalität und eine Aufnahmeanordnung der zweiten Bildgebungsmodalität miteinander registriert und erfolgt eine zeitgleiche und/oder bei unbewegtem Insassen vorzunehmende Aufnahme der Bilddatensätze, liegt eine Registrierung der Bilddatensätze (und somit gegebenenfalls auch der Submodelle) zueinander ohnehin vor, wobei auch hier selbstverständlich durch Registrierungsverfahren noch kleinere Korrekturen vorgenommen werden können.
-
Zur Registrierung der Bilddatensätze (beziehungsweise gegebenenfalls der Submodelle) kann vorgesehen sein, dass der Registrierungsvorgang anhand von anatomischen und/oder zusätzlich an dem Insassen angebrachten Landmarken und/oder wenigstens einer Simulation erfolgt. Während es grundsätzlich denkbar ist, die Bilddatensätze beziehungsweise Submodelle über algorithmusbasierte Simulationsverfahren zusammenzuführen, ist es auch allgemein zweckmäßig, als Grundlage der Registrierung eindeutig zuordenbare Landmarken in beiden Bilddatensätzen/Submodellen zu verwenden. Dabei können beispielsweise auch externe Landmarken, die von beiden Bildgebungsmodalitäten erfassbar sind, eingesetzt werden. Bevorzugt ist es jedoch, anatomische Landmarken heranzuziehen, beispielsweise also Eigenschaften der Skelettstruktur des Insassen in Beziehung zur Außenform des Insassen zu setzen. Hierzu kann in einer konkreten Ausführung vorgesehen sein, dass wenigstens zwei Paare von Landmarken, von denen jeweils eine im ersten und jeweils eine im zweiten Bilddatensatz lokalisierbar ist und deren geometrische Beziehung bekannt ist, verwendet werden. Liegen mehrere Paare von Landmarken vor, deren geometrische Beziehung zumindest grob bekannt ist, ergibt sich aus einer Betrachtung von deren Gesamtplausibilität eine relativ genau Registrierungsvorschrift.
-
In einer zweckmäßigen Weiterbildung des erfindungsgemäßen Verfahrens kann ferner vorgesehen sein, dass aufgrund wenigstens einer anatomischen Hintergrundwisseninformation eine Ergänzung des Insassenmodells durchgeführt wird, insbesondere hinsichtlich eines Muskelverlaufs. Das bedeutet, zusätzlich zu den durch die Bilddatensätze unmittelbar aufgenommenen und wiedergegebenen Insasseneigenschaften betreffend die Skelettstruktur und die Außenform können unter Nutzung von anatomischen Hintergrundwissen, beispielsweise anatomischen Atlanten/Statistikmodellen, weitere Insasseneigenschaften abgeleitet und dem Modell hinzugefügt werden, beispielsweise im Hinblick auf biomechanische Simulationen bezüglich der Muskeln und/oder im Hinblick auf Sicherheitssysteme hinsichtlich der Position relevanter innerer Organe. Das bedeutet, nachdem die primär für automotive Anwendungen relevanten Insasseneigenschaften durch entsprechende Bildgebungsverfahren unmittelbar erfasst wurden, können weitere, ebenso nützliche Informationen zusätzlich abgeschätzt und dem Insassenmodell hinzugefügt werden.
-
Neben dem Verfahren betrifft die vorliegende Erfindung auch eine Bildaufnahmeeinrichtung, aufweisend insbesondere miteinander registrierte Aufnahmeanordnungen für eine erste und eine zweite Bildgebungsmodalität und eine Steuereinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die erfindungsgemäße Bildaufnahmeeinrichtung übertragen, mit welcher mithin ebenso die bereits genannten Vorteile erhalten werden können. Insbesondere kann die Steuereinrichtung mithin die Aufnahmeanordnungen ansteuern, um den ersten und den zweiten Bilddatensatz aufzunehmen und die aufgenommenen Bilddatensätze sodann auswerten, um das Insassenmodell zu erzeugen und über eine Schnittstelle an die Speichereinrichtung bereitzustellen. Derartige Bildaufnahmeeinrichtungen können beispielsweise als Insassenscanner für Verkaufsstellen für Kraftfahrzeuge bereitgestellt werden und erlauben auf einfache und für den Insassen komfortable Art die Erfassung eines entsprechenden Insassenmodells.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnung. Dabei zeigen:
- 1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, und
- 2 eine erfindungsgemäße Bildaufnahmeeinrichtung in einer Prinzipskizze.
-
1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Ermittlung eines Insassenmodells, das später ausgewertet werden soll, um Betriebsparameter für Fahrzeugsysteme beziehungsweise deren Funktionen zu ermitteln und/oder anzupassen. Mit anderen Worten soll das zu ermittelnde Insassenmodell für automotive Anwendungen geeignet sein.
-
Hierzu werden zunächst in Schritten S1 und S2 ein erster Bilddatensatz 1 und ein zweiter Bilddatensatz 2 aufgenommen. Der erste Bilddatensatz 1 beschreibt dabei dreidimensional das Skelett des Insassen, mithin die Lage der Knochen und indirekt oder direkt auch die von Gelenken. Dabei wird im Schritt S1 eine erste Bildgebungsmodalität, vorliegend Röntgen, verwendet, indem ein Niedrigdosis-Ganzkörperscanverfahren, beispielsweise „EOS Imaging“, angewendet wird, um die Knochen unmittelbar abzubilden. Der zweite Bilddatensatz 2 beschreibt die Oberfläche des Insassen und wird im Schritt S2 mit einem üblichen 3D-Scanverfahren aufgenommen, vorliegend unter Verwendung wenigstens einer Terahertz-Kamera. Dabei werden vorliegend beide Bildgebungsmodalitäten durch eine einzige Bildaufnahmeeinrichtung bereitgestellt, so dass zweckmäßigerweise in einem einzigen Aufnahmedurchgang, bevorzugt wenigstens teilweise simultan, der erste Bilddatensatz 1 und der zweite Bilddatensatz 2 aufgenommen werden können und insbesondere bereits miteinander registriert, also in einem gemeinsamen Koordinatensystem, vorliegen.
-
In jeweiligen Schritten S3 und S4 werden aus den Bilddatensätzen 1, 2 Submodelle 3, 4 abgeleitet. Bei dem Submodell 3 kann es sich um ein Skelettmodell, insbesondere erweitert zu einem biomechanischen Menschmodell, handeln. Hierfür kann eine Segmentierung von Knochen im ersten Bilddatensatz 1 durch gängige Bildverarbeitungsverfahren erfolgen, so dass die dreidimensionale Lage aller Knochen und somit die Skelettstruktur bekannt ist und in einem Skelettmodell entsprechend beschrieben werden kann.
-
Bei dem zweiten Submodell 4 handelt es sich um ein Oberflächenmodell, in dem die Oberfläche des Insassen dreidimensional beispielsweise in einem polygonalen Gittermodell („surface mesh“) beschrieben wird.
-
In einem Schritt S5 werden die Submodelle S3 und S4 lagerichtig überlagert und somit in ein gemeinsames Insassenmodell 5 überführt, welches auch zusätzliche Informationen, die anhand von anatomischem Hintergrundwissen ergänzt wurden, umfassen kann, beispielsweise die Lage und den Verlauf von Muskeln und/oder Fettanteilen. Liegt eine Registrierung der Submodelle 3, 4 beziehungsweise der Bilddatensätze 1, 2 im Schritt S5 noch nicht vor, kann eine entsprechende Registrierung ebenso im Schritt S5 erfolgen, wobei diese bevorzugt basierend auf anatomischen Landmarken, die automatisch detektiert und als Landmarkenpaare aus den jeweiligen Bilddatensätzen 1, 2/Submodellen 3, 4 einander zugeordnet werden. Selbstverständlich sind auch andere Registrierungsverfahren möglich, um die Submodelle 3, 4 in ein gemeinsames Koordinatensystem zu überführen, falls dieses nicht ohnehin vorliegt.
-
Das ermittelte Insassenmodell 5 wird zur weiteren Auswertung in wenigstens einer Speichereinrichtung 6, 7, 8 bereitgestellt, wobei es sich bei der Speichereinrichtung 6 um die Speichereinrichtung eines Steuergeräts des Kraftfahrzeugs, dem der Insasse zugeordnet ist, handelt, bei der Speichereinrichtung 7 um eine Speichereinrichtung einer Cloud und bei der Speichereinrichtung 8 um ein lokales Speichermedium des Insassen.
-
2 zeigt eine Prinzipskizze einer erfindungsgemäßen Bildaufnahmeeinrichtung 9, die vorliegend eine Aufnahmeanordnung 10 für die erste Bildgebungsmodalität und eine Aufnahmeanordnung 12 für die zweite Bildgebungsmodalität umfasst. Die Aufnahmeanordnungen 10, 12 sind miteinander registriert, wobei beispielsweise die Aufnahmeanordnung 10 einen Röntgenstrahler und einen Röntgendetektor umfassen kann, die Aufnahmeanordnung 12 wenigstens eine Terahertz-Kamera. Die Aufnahmeanordnungen 10, 12 sind inklusive ihrer Bewegungsfreiheitsgrade so angeordnet, dass zumindest teilweise simultan ein auf einem Insassenlagerungsmittel 11 positionierter Insasse aufgenommen werden kann.
-
In einer beispielhaften Ausführungsform kann die Bildaufnahmeeinrichtung 9 beispielsweise eine Kabine mit einem Sitzplatz für den Insassen aufweisen, wie dies beispielsweise von EOS-Systemen bekannt ist. Der Insasse kann dann auf dem Insassenlagerungsmittel 11, hier einem Sitz, Platz nehmen und es können komfortabel der erste und der zweite Bilddatensatz 1, 2 aufgenommen werden. Eine Steuereinrichtung 13 der Bildaufnahmeeinrichtung 9 ist entsprechend zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015016511 A1 [0003, 0004, 0010]
- US 2012/0162218 A1 [0005]
- US 2010/0172567 A1 [0005]
