DE112017007713T5 - Systeme und Verfahren zur Fahrzeugbelegungsverwaltung - Google Patents

Systeme und Verfahren zur Fahrzeugbelegungsverwaltung Download PDF

Info

Publication number
DE112017007713T5
DE112017007713T5 DE112017007713.3T DE112017007713T DE112017007713T5 DE 112017007713 T5 DE112017007713 T5 DE 112017007713T5 DE 112017007713 T DE112017007713 T DE 112017007713T DE 112017007713 T5 DE112017007713 T5 DE 112017007713T5
Authority
DE
Germany
Prior art keywords
vehicle
passenger
image
passengers
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112017007713.3T
Other languages
English (en)
Inventor
Bruno Sielly Jales Costa
Madeline J. Goh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE112017007713T5 publication Critical patent/DE112017007713T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

Die Offenbarung stellt Systeme und Verfahren zur Fahrzeugbelegungsverwaltung bereit. Beispielhafte Systeme und Verfahren zur Fahrzeugbelegungsverwaltung werden beschrieben. In einer Umsetzung empfängt ein Verfahren ein aktuelles Fahrzeugbild, das einen aktuellen Innenraum eines Fahrzeugs darstellt. Ein Belegungsverwaltungssystem detektiert mindestens einem Fahrgast im Fahrzeug basierend auf dem aktuellen Fahrzeugbild und bestimmt einen Sitzplatz des Fahrgasts. Eine Sitzkarte wird generiert, welche den Sitzplatz des Fahrgasts im Fahrzeug identifiziert.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft Fahrzeugsysteme und insbesondere Systeme und Verfahren, welche die Insassen in einem Fahrzeug verwalten.
  • ALLGEMEINER STAND DER TECHNIK
  • Automobile und andere Fahrzeuge stellen einen erheblichen Teil des Transports für gewerbliche, behördliche und private Einrichtungen bereit. Fahrzeuge, wie etwa autonome Fahrzeuge, fahren auf Fahrbahnen, Parkplätzen und anderen Flächen, wenn sie Fahrgäste oder Objekte von einem Ort zu einem anderen transportieren. Eine beispielhafte Anwendung autonomer Fahrzeuge ist der Betrieb als ein Taxi- oder Shuttledienst, der einen oder mehrere Fahrgäste als Reaktion auf eine Transportanforderung abholt. Beim Betrieb als Taxi- oder Shuttledienst fährt das autonome Fahrzeug zu einer Abholstelle, sodass ein oder mehrere den Dienst anfordernde Fahrgäste in das Fahrzeug einsteigen kann/können. Das Fahrzeug fährt dann ein oder mehrere Ziele an und erlaubt dem einen oder mehreren Fahrgästen, aus dem Fahrzeug auszusteigen.
  • Wenn ein autonomes Fahrzeug als ein Taxi- oder Shuttledienst betrieben wird, ist es wichtig, die Belegung des Fahrzeugs zu verwalten. So muss das autonome Fahrzeug beispielsweise wissen, welche Sitze belegt sind und wie viele zusätzliche Passagiere in das Fahrzeug einsteigen können. Außerdem kann das autonome Fahrzeug bestimmen wollen, dass ein korrekter Fahrgast am entsprechenden Ziel aus dem Fahrzeug aussteigt.
  • Figurenliste
  • Nicht einschränkende und nicht erschöpfende Ausführungsformen der vorliegenden Offenbarung werden in Bezug auf die folgenden Figuren beschrieben, wobei sich in den unterschiedlichen Figuren gleiche Bezugszeichen auf gleiche Teile beziehen, es sei denn, es wird etwas anderes angegeben.
    • 1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems veranschaulicht, das ein Belegungsverwaltungssystem beinhaltet.
    • 2 ist ein Blockdiagramm, das eine Ausführungsform eines Belegungsverwaltungssystems veranschaulicht.
    • 3 veranschaulicht eine Ausführungsform eines Fahrzeugs mit mehreren Innenkameras, die unterschiedliche Aspekte eines Innenraums des Fahrzeugs aufnehmen.
    • 4 veranschaulicht eine Ausführungsform eines Verfahrens zum Identifizieren eines Fahrgasts in einem Fahrzeug.
    • 5 veranschaulicht eine Ausführungsform eines Verfahrens zum Verwalten der Belegung eines Fahrzeugs, wenn Fahrgäste in das Fahrzeug einsteigen oder aus diesem aussteigen.
    • Die 6A und 6B veranschaulichen beispielhafte Bilder eines Innenraums eines Fahrzeugs mit vier Fahrgastsitzplätzen.
    • Die 7A und 7B veranschaulichen beispielhafte Bilder eines Innenraums eines Fahrzeugs mit fünf Fahrgästen.
    • 8 veranschaulicht ein beispielhaftes Bild eines Innenraums des in den 7A und 7B gezeigten Fahrzeugs, nachdem einige der Fahrgäste ihre Sitzplätze geändert haben.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Offenbarung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen spezifische Umsetzungen, in denen die Offenbarung durchgeführt werden kann, zur Veranschaulichung dargestellt werden. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Eigenschaft, Struktur oder Merkmal beinhalten kann, es muss jedoch nicht unbedingt jede Ausführungsform diese(s) bestimmte Eigenschaft, Struktur oder Merkmal beinhalten. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Eigenschaft, Struktur oder Merkmal in Verbindung mit einer Ausführungsform beschrieben ist, es im Bereich des Fachwissens des Fachmanns liegt, ein(e) derartige(s) Eigenschaft, Struktur oder Merkmal in Verbindung mit anderen Ausführungsformen umzusetzen, ob dies nun ausdrücklich beschrieben ist oder nicht.
  • Umsetzungen der in dieser Schrift offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie sie in dieser Schrift erörtert sind. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können zudem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien (Computerspeichervorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Somit können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend mindestens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
  • Computerspeichermedien (-vorrichtungen) beinhalten RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - „SSDs“) (z. B. basierend auf RAM), Flash-Speicher, Phasenwechselspeicher (phase-change memory - „PCM“), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das dazu verwendet werden kann, gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
  • Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder festverdrahtete, drahtlose oder eine Kombination aus festverdrahteter oder drahtloser) Kommunikationsverbindung an einen Computer übertragen oder diesem bereitgestellt werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang computerlesbarer Medien enthalten sein.
  • Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung auf einem Prozessor bewirken, dass ein Universalcomputer, ein Spezialcomputer oder eine Spezialverarbeitungsvorrichtung eine bestimmte Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die hier beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
  • Der Fachmann wird verstehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, zu denen ein Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, Handheld-Vorrichtungen, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netz-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen gehören. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen ausgeführt werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in entfernten Speichervorrichtungen befinden.
  • Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel dazu programmiert sein, eines bzw. eine oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Bestimmte Ausdrücke werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten mit unterschiedlichen Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
  • Es ist anzumerken, dass die hierin erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um zumindest einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel einen Computercode beinhalten, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen sind in dieser Schrift zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
  • Zumindest einige Ausführungsformen der Offenbarung werden Computerprogrammprodukten zugeführt, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen, dass eine Vorrichtung wie in dieser Schrift beschrieben betrieben wird.
  • 1 ist ein Blockdiagramm, das eine Ausführungsform eines Fahrzeugsteuersystems 100 innerhalb eines Fahrzeugs veranschaulicht, das ein Belegungsverwaltungssystem 104 beinhaltet. Ein automatisiertes Fahr-/Assistenzsystem 102 kann verwendet werden, um den Betrieb eines Fahrzeugs zu automatisieren oder zu steuern oder einen menschlichen Fahrer zu unterstützen. Beispielsweise kann das automatisierte Fahr-/Assistenzsystem 102 eines oder mehrere von der Bremsung, der Lenkung, der Spannung des Sicherheitsgurts, der Beschleunigung, den Leuchten, den Warnmeldungen, den Fahrerbenachrichtigungen, dem Radio, den Fahrzeugverriegelungen oder beliebigen anderen Hilfssystemen des Fahrzeugs steuern. In einem weiteren Beispiel ist das automatisierte Fahr-/Assistenzsystem 102 unter Umständen nicht in der Lage, jegliche Steuerung des Fahrens (z. B. der Lenkung, Beschleunigung oder Bremsung) bereitzustellen, kann jedoch Benachrichtigungen und Warnmeldungen bereitstellen, um einen menschlichen Fahrer dabei zu unterstützen, sicher zu fahren. Das Fahrzeugsteuerungssystem 100 beinhaltet das Belegungsverwaltungssystem 104, das mit verschiedenen Komponenten im Fahrzeug interagiert, um Fahrgäste und deren Sitzplätze im Fahrzeug zu identifizieren. Obwohl das Belegungsverwaltungssystem 104 in 1 als eine separate Komponente gezeigt ist, kann das Belegungsverwaltungssystem 104 in alternativen Ausführungsformen in das automatisierte Fahr-/Assistenzsystem 102 oder eine beliebige andere Fahrzeugkomponente integriert sein. Das Fahrzeugsteuersystem 100 kann mit einem beliebigen Fahrzeugtyp, wie zum Beispiel Autos, Trucks, Bussen, Zügen, Flugzeugen, Booten und dergleichen, verwendet werden.
  • Das Fahrzeugsteuersystem 100 beinhaltet außerdem ein/e oder mehrere Sensorsysteme/-vorrichtungen zum Erfassen eines Vorhandenseins nahegelegener Objekte (oder Hindernisse) oder zum Bestimmen eines Standorts eines Stammfahrzeugs (z. B. eines Fahrzeugs, welches das Fahrzeugsteuersystem 100 beinhaltet). Beispielsweise kann das Fahrzeugsteuersystem 100 ein oder mehrere Radar(Radio Detection And Ranging)-Systeme 106, ein oder mehrere Lidar(Light Detection And Ranging)-Systeme 108, ein oder mehrere Kamerasysteme 110, ein globales Positionsbestimmungssystem (Global Positioning System - GPS) 112 und/oder Ultraschallsysteme 114 beinhalten. Das eine oder die mehreren Kamerasysteme 110 kann bzw. können eine nach hinten gerichtete Kamera, die an dem Fahrzeug (z. B. einem hinteren Abschnitt des Fahrzeugs) angebracht ist, eine nach vorn gerichtete Kamera und eine zur Seite gerichtete Kamera beinhalten. Wie hierin erörtert, können die Kamerasysteme 110 außerdem eine oder mehrere Innenkameras beinhalten, die Bilder von Fahrgästen und anderen Objekten innerhalb des Fahrzeugs aufnehmen. Lidar-Systeme 108 können einen oder mehrere Lidar-Innensensoren beinhalten, die dem Innenbereich des Fahrzeugs zugeordnete Daten erfassen. Das Fahrzeugsteuersystem 100 kann einen Datenspeicher 116 zum Speichern relevanter oder nützlicher Daten zur Navigation und Sicherheit beinhalten, wie etwa Kartendaten, Fahrverlauf oder andere Daten. Das Fahrzeugsteuersystem 100 kann zudem einen Sendeempfänger 118 zur drahtlosen Kommunikation mit einem mobilen oder drahtlosen Netzwerk, anderen Fahrzeugen, Infrastruktur oder einem beliebigen anderen Kommunikationssystem beinhalten.
  • Das Fahrzeugsteuersystem 100 kann Fahrzeugsteueraktoren 120 beinhalten, um verschiedene Aspekte des Fahrens des Fahrzeugs zu steuern, wie etwa Elektromotoren, Schalter oder andere Aktoren, um die Bremsung, Beschleunigung, Lenkung, Spannung des Sicherheitsgurts, Türverriegelungen oder dergleichen zu steuern. Das Fahrzeugsteuersystem 100 kann außerdem eine(n) oder mehrere Anzeigen 122, Lautsprecher 124 oder andere Vorrichtungen beinhalten, sodass einem menschlichen Fahrer oder Fahrgast Benachrichtigungen bereitgestellt werden können. Eine Anzeige 122 kann eine Frontanzeige, eine Anzeige oder eine Angabe am Armaturenbrett, einen Anzeigebildschirm oder eine beliebige andere visuelle Angabe beinhalten, die von einem Fahrer oder Fahrgast eines Fahrzeugs gesehen werden kann. Die Lautsprecher 124 können einen oder mehrere Lautsprecher eines Soundsystems eines Fahrzeugs beinhalten oder können einen für die Fahrer- oder Fahrgastbenachrichtigung vorgesehenen Lautsprecher beinhalten.
  • Es versteht sich, dass die Ausführungsform aus 1 lediglich als Beispiel dient. Andere Ausführungsformen können weniger oder zusätzliche Komponenten beinhalten, ohne vom Umfang der Offenbarung abzuweichen. Des Weiteren können veranschaulichte Komponenten ohne Einschränkung kombiniert oder in andere Komponenten integriert werden.
  • In einer Ausführungsform ist das automatisierte Fahr-/Assistenzsystem 102 dazu konfiguriert, das Fahren oder Navigieren eines Stammfahrzeugs zu steuern. Das automatisierte Fahr-/Assistenzsystem 102 kann zum Beispiel die Fahrzeugsteueraktoren 120 steuern, um einen Weg auf einer Straße, einem Parkplatz, einer Einfahrt oder an einem anderen Ort zu fahren. Zum Beispiel kann das automatisierte Fahr-/Assistenzsystem 102 einen Weg basierend auf durch eine beliebige der Komponenten 106-118 bereitgestellten Informationen oder Wahrnehmungsdaten bestimmen. Ein Weg kann zudem basierend auf einer Route bestimmt werden, die das Fahrzeug manövriert, um eine potentielle Kollision mit einem anderen Fahrzeug oder Objekt zu vermeiden oder abzuschwächen. Die Sensorsysteme/-vorrichtungen 106-110 und 114 können verwendet werden, um Echtzeitsensordaten zu erhalten, sodass das automatisierte Fahr-/Assistenzsystem 102 in Echtzeit einen Fahrer unterstützen oder ein Fahrzeug fahren kann.
  • In einigen Ausführungsformen umfasst das Fahrzeugsteuersystem 100 auch ein oder mehrere Fahrgasteingabevorrichtungen wie zum Beispiel Mikrofone, Touchscreen-Anzeigen, Tasten und dergleichen. Diese Fahrgasteingabevorrichtungen ermöglichen es einem Fahrgast in einem Fahrzeug, Eingaben in das Fahrzeugsteuersystem 100 bereitzustellen, wie zum Beispiel Fragen zu beantworten, Informationen anzufordern, Fahrzeugvorgänge anzufordern und dergleichen.
  • 2 ist ein Blockdiagramm, das eine Ausführungsform eines Belegungsverwaltungssystems 104 veranschaulicht. Wie in 2 gezeigt, beinhaltet das Belegungsverwaltungssystem 104 einen Kommunikationsverwalter 202, einen Prozessor 204 und einen Speicher 206. Der Kommunikationsverwalter 202 ermöglicht, dass das Belegungsverwaltungssystem 104 mit anderen Systemen kommuniziert, wie etwa einem automatisierten Fahr-/Assistenzsystem 102. Der Prozessor 204 führt verschiedene Anweisungen aus, um die Funktionalität umzusetzen, die von dem Belegungsverwaltungssystem 104, wie hier erörtert, bereitgestellt wird. Der Speicher 206 speichert diese Anweisungen sowie andere Daten, die von dem Prozessor 204 und anderen Modulen und Komponenten verwendet werden, die in dem Belegungsverwaltungssystem 104 enthalten sind.
  • Außerdem enthält das Belegungsverwaltungssystem 104 ein Bildverarbeitungsmodul 208, das aktuelle Bilddaten (z. B. Bilddaten, die den aktuellen Innenraum eines Fahrzeugs darstellen) von einem oder mehreren Kamerasystemen 110 empfängt. Außerdem kann das Bildverarbeitungsmodul Bilddaten empfangen, die den Innenraum des Fahrzeugs ohne beliebige Fahrgäste darstellen (z. B. Bilder eines leeren Fahrzeugs). Wie hierin erörtert, werden die aktuellen Fahrzeugbilder und die Bilder des leeren Fahrzeugs zur Identifizierung der Fahrgäste und der Fahrgastsitzplätze im Fahrzeug verwendet. In einigen Ausführungsformen enthält das Bildverarbeitungsmodul 208 einen Bildverwaltungsalgorithmus oder -prozess, der ein oder mehrere Bilder des leeren Fahrzeugs von mehreren Kamerasystemen 110 verwaltet, die sich im Fahrzeuginneren befinden. Mit denselben Kamerasystemen 110 werden aktuelle Fahrzeugbilder des Innenraums zum Vergleich mit den Bildern des leeren Fahrzeugs aufgenommen. In einigen Ausführungsformen werden die aktuellen Fahrzeugbilder und die Bilder des leeren Fahrzeugs zum richtigen Vergleich der Bilder aus ungefähr derselben Position oder Perspektive aufgenommen.
  • Das Belegungsverwaltungssystem 104 enthält auch ein Bildsubtraktionsmodul 210, das die Bilder des leeren Fahrzeugs von den aktuellen Fahrzeugbildern subtrahiert, um Unterschiede zwischen den Bildern zu identifizieren. Diese Unterschiede können Fahrgäste darstellen, die auf bestimmten Plätzen im Fahrzeug sitzen. Das Bildsubtraktionsmodul 210 kann einen beliebigen aus einer Vielfalt von Hintergrundsubtraktionsalgorithmen verwenden, wie zum Beispiel Frame Difference, Weighted Moving Mean, Adaptive Background Learning, Fuzzy Gaussian, Gaussian Mixture Model, Multi-layer BGS und dergleichen.
  • Ein Fahrgastidentifikationsmodul 212 identifiziert einen oder mehrere Fahrgäste im Fahrzeug zum Beispiel anhand der Ergebnisse der Subtraktion der Bilder des leeren Fahrzeugs von den aktuellen Fahrzeugbildern. Basierend auf diesen Ergebnissen (z. B. Unterschiede zwischen den Bildern des leeren Fahrzeugs und den aktuellen Fahrzeugbildern) kann das Fahrgastidentifikationsmodul 212 die Gesichter oder Körper der Fahrgäste identifizieren und jeden identifizierten Fahrgast mit einer bestimmten Sitzposition im Fahrzeug assoziieren. Außerdem kann das Fahrgastidentifikationsmodul 212 spezifische Merkmale jedes identifizierten Fahrgastes identifizieren, wie zum Beispiel Kleidung, Gesichtsmerkmale, Haarmerkmale und dergleichen. Diese Fahrgastmerkmale können zur Identifizierung desselben Fahrgasts verwendet werden, wenn er sich auf einen anderen Sitz im Fahrzeug setzt.
  • In einigen Ausführungsformen versucht ein Gesichtserkennungsmodul 214, basierend auf den aktuellen Fahrzeugbildern eine Identität jedes Fahrgastes im Fahrzeug zu bestimmen. Das Gesichtserkennungsmodul 214 kann auf eine Datenbank oder einen anderen Datenspeichermechanismus zugreifen, um die Gesichtsmerkmale der aktuellen Fahrgäste mit bekannten Personen (z. B. früheren Fahrgästen des aktuellen Fahrzeugs oder von anderen Fahrzeugen) zu korrelieren. Das Gesichtserkennungsmodul 214 kann einen beliebigen aus einer Vielfalt von Gesichtserkennungsalgorithmen verwenden, wie zum Beispiel PCA (Principal Component Analysis), LDA (Linear Discriminant Analysis), ICA (Independent Component Analysis), EP (Evolutionary Pursuit), Kernel-basiert, SVM (Support Vector Machine), CLM (Constrained Local Model), neuronale Netzwerke und dergleichen. Wenn das Gesichtserkennungsmodul 214 die Identität eines oder mehrerer Fahrgäste im Fahrzeug bestimmen kann, kann das Fahrzeugsteuersystem 100 eine/n oder mehrere Fahrzeugeinstellungen oder Betriebsparameter (z. B. Radiosenderpräferenzen, Temperaturpräferenzen usw.) auf der Grundlage bekannter Präferenzen der Fahrgäste anpassen.
  • Das Belegungsverwaltungssystem 104 beinhaltet ferner einen Sitzkartengenerator 216, der basierend auf den aktuellen Fahrgästen im Fahrzeug eine aktuelle Sitzkarte für das Fahrzeug erzeugt. Die Sitzkarte zeigt an, welcher Fahrgast sich auf jedem Sitzplatz befindet. Die Sitzkarte identifiziert auch leere Sitze im Fahrzeug. Der Sitzkartengenerator 216 kann auch Fahrgastidentifikationsinformationen, Fahrgastmerkmale und die Gesichtserkennungsidentität mit jedem Fahrgast im Fahrzeug assoziieren. Beispielsweise können die Fahrgastidentifikationsinformationen, Fahrgastmerkmale und die Gesichtserkennungsidentität als Metadaten enthalten sein, die mit jedem Sitzplatz assoziiert sind.
  • Ein Schätzmodul 218 kann andere Fahrgastmerkmale, wie zum Beispiel Fahrgastgröße, Fahrgastgewicht, Fahrgastalter, Fahrgastgeschlecht und Fahrgastemotion, bestimmen (oder schätzen). In einigen Ausführungsformen sind diese zusätzlichen Fahrgastmerkmale nützlich, um die richtige/sichere Airbagauslösung zu bestimmen, die Notwendigkeit eines Kindersitzes oder einer Sitzerhöhung zu identifizieren und dergleichen. In bestimmten Ausführungsformen können ein oder mehrere Sensoren in den Fahrzeugsitzen das Gewicht eines Fahrgasts schätzen. Die Größe eines Fahrgastes kann zum Beispiel basierend auf den empfangenen Bildern und der Position der Kopfoberseite eines Fahrgastes im Verhältnis zu den bekannten Abmessungen der Sitzflächen geschätzt werden. In einigen Ausführungsformen können das Fahrgastalter, das Fahrgastgeschlecht und die Fahrgastemotion mit Hilfe von Techniken des maschinellen Lernens, wie zum Beispiel neuronalen Netzwerken, geschätzt werden. Ein Alarmgenerator 220 generiert verschiedene Alarme und Warnungen basierend auf Aktivitäten und Situationen, die durch das Belegungsverwaltungssystem 104 detektiert werden. Wenn beispielsweise ein bestimmter Fahrgast versucht, das Fahrzeug am falschen Ziel zu verlassen, kann der Alarmgenerator 220 einen akustischen oder visuellen Alarm generieren, der dem Fahrgast mitteilt, im Fahrzeug zu bleiben. Wenn ein oder mehrere Fahrgäste nicht angeschnallt sind, kann der Alarmgenerator 220 außerdem einen akustischen oder visuellen Alarm generieren, der dem Fahrgast mitteilt, den Sicherheitsgurt anzulegen. Ein anderer Alarmtyp gibt an, ob ein Airbag für einen bestimmten Sitzplatz aktiviert oder deaktiviert wurde. In einigen Ausführungsformen kann ein bestimmter Sitzplatz in einem Fahrzeug für einen bestimmten Fahrgast reserviert sein (z. B. für einen Fahrgast, der in Zukunft abgeholt werden soll). Versucht eine andere Person, auf dem reservierten Sitzplatz zu sitzen, kann ein Alarm darauf hinweisen, dass der Sitzplatz bereits für einen anderen Fahrgast reserviert ist.
  • 3 veranschaulicht eine Ausführungsform eines Fahrzeugs 300 mit mehreren Innenkameras, die unterschiedliche Aspekte eines Innenraums des Fahrzeugs aufnehmen. Wie in 3 gezeigt, weist das Fahrzeug 300 vier Innenkameras 302, 304, 306 und 308 auf. In einigen Ausführungsformen sind die Kameras 302-308 in dem Fahrzeug 300 derart positioniert und ausgerichtet, dass sich alle Sitzplätze im Sichtfeld mindestens einer Kamera 302-308 befinden. Andere Bereiche des Innenraums des Fahrzeugs 300 können sich ebenfalls in dem Sichtfeld von einer oder mehreren Kameras 302-308 befinden. Bei den Kameras 302-308 kann es sich um einen beliebig Kameratyp handeln, wie zum Beispiel eine RGB(rot, grün und blau)-Kamera, eine IR(Infrarot)-Kamera, eine Stereokamera und dergleichen. In einigen Ausführungen können andere Typen von Sensoren (z. B. Lidar-Systeme 108) anstelle von oder in Kombination mit den Kameras 302-308 verwendet werden, um Fahrgäste und andere Gegenstände im Fahrzeug 300 zu detektieren.
  • In der Konfiguration des Fahrzeugs 300 sind die Kameras 302 und 304 so positioniert und ausgerichtet, dass sie Bilder von den Sitzplätzen im vorderen Abschnitt des Fahrzeugs 300 aufnehmen. Außerdem sind die Kameras 306 und 308 so positioniert und ausgerichtet, dass sie Bilder von den Sitzplätzen im hinteren Abschnitt des Fahrzeugs 300 aufnehmen. Obwohl vier Innenkameras 302-308 in 3 gezeigt sind, kann das Fahrzeug 300 in alternativen Ausführungsformen eine beliebige Anzahl an Innenkameras aufweisen, die an verschiedenen Stellen im Fahrzeug positioniert und in verschiedenen Winkeln ausgerichtet sind. In einigen Ausführungsformen können die Kameras 302-308 verschiedene Typen von Bildern erfassen, wie zum Beispiel RGB-, RGB-D-, IR-, Wärme-, Stereofotografie-Bilder und dergleichen.
  • 4 veranschaulicht eine Ausführungsform eines Verfahrens 400 zum Identifizieren eines Fahrgasts in einem Fahrzeug. Zu Anfang empfängt 402 ein Belegungsverwaltungssystem ein oder mehrere aktuelle Bilder eines Fahrzeuginnenraums. Das Belegungsverwaltungssystem greift auch auf ein oder mehrere Bilder eines leeren Fahrzeugs zu 404, die mit dem Fahrzeuginnenraum assoziiert sind. Diese Bilder des leeren Fahrzeugs stellen den Innenraum des Fahrzeugs dar, wenn sich keine Fahrgäste im Fahrzeug befinden (d. h., das Fahrzeug ist leer). Diese Bilder des leeren Fahrzeugs können auch als Referenzbilder bezeichnet werden. In einigen Ausführungsformen ist die Perspektive jedes Bildes des leeren Fahrzeug (oder der in jedem Bild des leeren Fahrzeugs aufgenommene Bereich) im Wesentlichen dieselbe (derselbe) wie die Perspektive (oder der aufgenommene Bereich) in jedem aktuellen Bild des Fahrzeuginnenraums. Das Belegungsverwaltungssystem kann auf die Bilder des leeren Fahrzeugs von einer Speichervorrichtung innerhalb des Fahrzeugs oder außerhalb des Fahrzeugs zugreifen.
  • Das Verfahren 400 wird fortgesetzt, wenn das Belegungsverwaltungssystem Fahrgäste im Fahrzeug basierend auf den aktuellen Fahrzeugbildern und den Bildern des leeren Fahrzeugs detektiert 406. In einigen Ausführungsformen werden die Fahrgäste durch Subtrahieren der Bilder des leeren Fahrzeugs von den aktuellen Fahrzeugbildern, um Unterschiede zwischen den Bildern zu identifizieren, detektiert. In anderen Ausführungsformen können Fahrgäste unter Verwendung von neuronalen Netzwerken oder anderen Techniken detektiert werden. In einer bestimmten Umsetzung analysiert das Belegungsverwaltungssystem die Unterschiede zwischen den Bildern, um zu bestimmen, ob die Unterschiede einen Fahrgast darstellen. Wenn die Unterschiede beispielsweise ein Gesicht oder einen Körper einer Person darstellen, kann das Belegungsverwaltungssystem bestimmen, dass der Unterschied ein Fahrgast ist. Wie weiter unten ausführlicher erörtert wird, kann das Verfahren innerhalb der Bilder des leeren Fahrzeugs interessante Regionen identifizieren, in denen sich der Erwartung nach Fahrgäste befinden. Beim Analysen der Unterschiede zwischen den Bildern des leeren Fahrzeugs und den aktuellen Fahrzeugbildern kann sich das Verfahren 400 auf die Unterschiede innerhalb der identifizierten interessierenden Regionen konzentrieren.
  • Das Belegungsverwaltungssystem bestimmt 408 dann einen Sitzplatz für jeden Fahrgast im Fahrzeug. Basierend auf der Analyse der aktuellen Fahrzeugbilder und der Bilder des leeren Fahrzeugs bestimmt das Belegungsverwaltungssystem, welche Plätze im Fahrzeug aktuell von einem Fahrgast belegt sind. Basierend auf den identifizierten Sitzplätzen generiert 410 das Belegungsverwaltungssystem eine Sitzkarte, die mit dem Fahrzeug assoziiert ist. Die Sitzkarte definiert alle Sitzplätze im Fahrzeug und identifiziert, welche Sitzplätze aktuell von einem Fahrgast belegt sind.
  • Das Verfahren 400 wird fortgesetzt, wenn das Belegungsverwaltungssystem versucht, eine Identität jedes Fahrgasts im Fahrzeug durch Durchführen 412 von Gesichtserkennung an den aktuellen Fahrzeugbildern zu bestimmen. In einigen Ausführungsformen kann der Gesichtserkennungsprozess auf eine Datenbank oder einen anderen Datenspeichermechanismus zugreifen, um die Gesichtsmerkmale der aktuellen Fahrgäste mit bekannten Personen (z. B. früheren Fahrgästen des aktuellen Fahrzeugs oder von anderen Fahrzeugen) zu korrelieren. In anderen Ausführungsformen kann ein beliebiger anderer Typ von Identifizierungs- oder Erkennungssystem verwendet werden, um die Identität spezifischer Fahrgäste zu bestimmen.
  • Wenn die Gesichtserkennung die Identität eines bestimmten Fahrgastes nicht erfolgreich bestimmt, identifiziert 414 das Belegungsverwaltungssystem Merkmale des bestimmten Fahrgastes. Die Fahrgastmerkmale können zum Beispiel Kleidung, Gesichtsmerkmale, Haarmerkmale und dergleichen beinhalten. In dieser Situation kann ein Fahrgast durch eine eindeutige Kennzeichnung (z. B. Fahrgast A, Fahrer B oder Fahrgast 4) identifiziert werden, um den Fahrgast von anderen Fahrgästen zu unterscheiden. Diese Kennzeichnung kann während der aktuellen Fahrt des Fahrgastes im Fahrzeug verwendet und dann gelöscht werden, nachdem der Fahrgast sein Ziel erreicht hat. Durch das Bereitstellen einer eindeutigen Kennzeichnung für jeden Fahrgast sind die hierin beschriebenen Systeme und Verfahren in der Lage, die Position jedes Fahrgastes im Fahrzeug zu verfolgen (z. B. den aktuellen Sitzplatz jedes Fahrgastes zu verfolgen). In einigen Ausführungsformen werden diese Fahrgastmerkmale (und Kennzeichnungen) verwendet, um denselben Fahrgast zu identifizieren, wenn er sich auf einen anderen Sitz im Fahrzeug setzt. Außerdem sind die Fahrgastmerkmale nützlich, um einen Fahrgast von einem anderen zu unterscheiden, obwohl die tatsächliche Identität des Fahrgastes nicht bekannt ist.
  • Wird die Identität eines Fahrgastes mit Hilfe der Gesichtserkennung detektiert, werden diese Identitätsinformationen mit der Sitzkarte assoziiert 416. Wird beispielsweise die Identität eines bestimmten Benutzers bestimmt, so werden diese Identitätsinformationen mit dem jeweiligen Sitzplatz, an dem sich der Fahrgast aktuell befindet, assoziiert. Ebenso werden beliebige Fahrgastmerkmale mit der Sitzkarte assoziiert 416, sodass diese Merkmale mit dem jeweiligen Sitzplatz assoziiert sind, an dem sich der Fahrgast aktuell befindet.
  • Das Verfahren 400 wird fortgesetzt, wenn das Belegungsverwaltungssystem ein Alter, ein Gewicht, eine Größe, ein Geschlecht und/oder eine Emotion jedes Fahrgastes im Fahrgast schätzt 418. Das Belegungsverwaltungssystem passt 420 eine/einen oder mehrere Fahrzeugeinstellungen oder Betriebsparameter basierend auf den identifizierten Fahrgästen an. Zu den Fahrzeugeinstellungen oder Betriebsparametern können beispielsweise Radiosendereinstellungen, Temperatureinstellungen, Merkmale des autonomen Fahrens (langsames/glattes Fahren oder schnelleres Fahren und schnellere Kurvenfahrten) gehören. In einigen Ausführungsformen können diese Fahrzeugeinstellungen oder Betriebsparameter auf der Grundlage bekannter Präferenzen der Fahrgäste, die in einem Fahrgastprofil oder anderen Fahrgastdateneinstellungen identifiziert sind, bestimmt werden.
  • In einigen Ausführungsformen kennt das Belegungsverwaltungssystem eine Anzahl von verfügbaren Sitzplätzen innerhalb eines bestimmten Fahrzeugs. Nachdem Belegungsverwaltungssystem die Anzahl der aktuellen Fahrgäste im Fahrzeug bestimmt hat, kann das Belegungsverwaltungssystem eine Anzahl der verfügbaren Sitze im Fahrzeug bestimmen. Basierend auf der Anzahl der verfügbaren Sitze kann das Belegungsverwaltungssystem bestimmen, ob das Fahrzeug zusätzliche Fahrgäste aufnehmen kann.
  • In einigen Ausführungsformen können ein oder mehrere Sensoren in den Fahrzeugsitzflächen das Vorhandensein eines Fahrgasts auf einem bestimmten Sitzplatz bestätigen. Wenn beispielsweise ein Sensor in einer Sitzfläche ein Gewicht detektiert, das mit dem Gewicht eines Fahrgastes konsistent ist, können diese Daten die Bestimmung (basierend auf dem aktuellen Bild des Fahrzeuginnenraums) bestätigen, dass der entsprechende Sitzplatz durch einen Fahrgast belegt ist.
  • 5 veranschaulicht eine Ausführungsform eines Verfahrens 500 zum Verwalten der Belegung eines Fahrzeugs, wenn Fahrgäste in das Fahrzeug einsteigen oder aus diesem aussteigen. Zunächst hält das Fahrzeug an 502, um einem oder mehreren Fahrgästen das Einsteigen in das Fahrzeug und/oder das Aussteigen aus diesem zu ermöglichen. Das Belegungsverwaltungssystem identifiziert 504 die aktuellen Fahrzeugfahrgäste (nachdem das Einsteigen in das Fahrzeug und/oder das Aussteigen aus diesem beendet ist). In einigen Ausführungsformen generiert 506 das Belegungsverwaltungssystem eine aktualisierte Sitzkarte basierend auf den aktuellen Fahrzeugfahrgästen. So werden Fahrgäste, die aus dem Fahrzeug ausgestiegen sind, zum Beispiel aus der bisherigen Sitzkarte entfernt und werden Fahrgäste, die in das Fahrzeug eingestiegen sind, zu der Sitzkarte hinzugefügt. Außerdem wird die Sitzkarte in Bezug auf Fahrgäste aktualisiert, die ihre Sitzplätze im Fahrgast gewechselt haben. In einigen Ausführungsformen werden neue Fahrgäste, die in das Fahrzeug eingestiegen sind, auf die in Bezug auf 4 hierin erörterte Weise identifiziert und analysiert.
  • Das Verfahren 500 wird fortgesetzt, wenn das Belegungsverwaltungssystem bestimmt 508, ob die korrekten Fahrgäste aus dem Fahrzeug ausgestiegen sind. In einigen Ausführungsformen führt das Belegungsverwaltungssystem eine Liste der Ziele für jeden Fahrgast im Fahrzeug. Wenn die richtigen Fahrgäste aus dem Fahrzeug ausgestiegen sind 510, ist keine Handlung erforderlich. Wenn jedoch ein oder mehrere Fahrgäste versehentlich am falschen Ziel aus dem Fahrzeug ausgestiegen sind 510, generiert 512 das Belegungsverwaltungssystem einen Alarm, der angibt, dass ein Fahrgast irrtümlicherweise am falschen Ort aus dem Fahrzeug ausgestiegen ist. Der Alarm kann ein akustischer Alarm, ein visueller Alarm, ein haptischer Alarm oder ein beliebiger anderer Alarmtyp sein. In einigen Situationen kann es vorkommen, dass das Fahrzeug erst dann wieder zum Fahren zugelassen wird, wenn der irrtümliche Fahrgast wieder in das Fahrzeug einsteigt oder angibt, dass das Fahrzeug ohne ihn weiterfahren kann. Wenn es nicht zugelassen wird 514, dass das Fahrzeug weiterfährt, kehrt das Verfahren 500 zu 504 zurück und wartet, bis der irrtümliche Fahrgast wieder in das Fahrzeug eingestiegen ist. Wenn es zugelassen wird 514, dass das Fahrzeug weiterfährt, passt 516 das Verfahren 500 eine/einen oder mehrere Fahrzeugeinstellungen oder Betriebsparameter basierend auf den identifizierten aktuellen Fahrgästen an. Beispielsweise können sich die Fahrgastpräferenzen ändern, nachdem ein oder mehrere Fahrgäste aus dem Fahrzeug ausgestiegen und/oder in dieses eingestiegen sind.
  • Die 6A und 6B veranschaulichen beispielhafte Bilder eines Innenraums eines Fahrzeugs mit vier Fahrgastsitzplätzen. 6A veranschaulicht einen leeren Fahrzeuginnenraum 600 mit vier Fahrgastsitzplätzen. 6B zeigt denselben Fahrzeuginnenraum 600 mit den vier Fahrgastsitzplätzen, die durch die Begrenzungsrahmen 602-608 identifiziert sind. Im vorliegenden Zusammenhang können die Begrenzungsrahmen ebenfalls als interessierende Regionen bezeichnet werden. Insbesondere identifiziert ein erster Begrenzungsrahmen 602 einen ersten Fahrgastsitzplatz, identifiziert ein zweiter Begrenzungsrahmen 602 einen zweiten Fahrgastsitzplatz, identifiziert ein dritter Begrenzungsrahmen 606 einen dritten Fahrgastsitzplatz und identifiziert ein vierter Begrenzungsrahmen 608 einen vierten Fahrgastsitzplatz. In einigen Ausführungsformen werden die Begrenzungsrahmen für ein bestimmtes Fahrzeug von einem menschlichen Bediener definiert. In Situationen, in denen ein bestimmtes Fahrzeugmodell einheitliche Sitzanordnungen und einheitliche Kamerapositionen aufweist, können dieselben Begrenzungsrahmen für alle Serienfahrzeuge dieses Fahrzeugmodells oder alle Fahrzeuge in einer Flotte autonomer Fahrzeuge verwendet werden. In besonderen Ausführungsformen wird ein automatisierter Prozess verwendet, um Begrenzungsrahmen für ein spezifisches Fahrzeug zu definieren, indem Sitzflächen im Fahrzeug identifiziert werden. Bilder, wie zum Beispiel diejenigen, die in den 6A und 6B gezeigt sind, stellen Beispiele für Bilder eines leeren Fahrzeugs dar, wie hierin erörtert.
  • Die 7A und 7B veranschaulichen beispielhafte Bilder eines Innenraums eines Fahrzeugs mit fünf Fahrgästen. 7A veranschaulicht einen aktuellen Fahrzeuginnenraum 700 mit fünf Fahrgästen, die das Fahrzeug belegen. Die Gesichter der fünf Fahrgäste sind mit Begrenzungsrahmen oder interessierenden Regionen identifiziert. Insbesondere identifiziert ein erster Begrenzungsrahmen 702 einen ersten Fahrgast, identifiziert ein zweiter Begrenzungsrahmen 704 einen zweiten Fahrgast, identifiziert ein dritter Begrenzungsrahmen 706 einen dritten Fahrgast, identifiziert ein vierter Begrenzungsrahmen 708 einen vierten Fahrgast und identifiziert ein fünfter Begrenzungsrahmen 710 einen fünften Fahrgast.
  • 7B veranschaulicht denselben aktuellen Fahrzeuginnenraum 700 mit den fünf Fahrgästen, die durch die Begrenzungsrahmen 702-710 identifiziert sind. Wie in 7B dargestellt, ist jeder Begrenzungsrahmen 702-710 mit einer Fahrgastidentität oder einer Fahrgastkennzeichnung assoziiert. Wird die Identität des Fahrgasts bestimmt (z. B. durch Gesichtserkennung), wird der Name des Fahrgasts mit dem entsprechenden Begrenzungsrahmen assoziiert. Wird die Identität des Fahrgasts nicht bestimmt, dann wird eine Kennzeichnung erzeugt und mit dem entsprechenden Begrenzungsrahmen assoziiert. Zum Beispiel wird der erste Fahrgast, der durch den Begrenzungsrahmen 702 identifiziert ist, als „Fahrer A“ gekennzeichnet und mit Sitz #2 im Fahrzeug assoziiert. Der zweite Fahrgast, der durch den Begrenzungsrahmen 704 identifiziert ist, wird als „Robert“ gekennzeichnet (z. B. hat die Gesichtserkennung den Fahrgast als Robert identifiziert) und mit Sitz #5 im Fahrzeug assoziiert. Der dritte Fahrgast, der durch den Begrenzungsrahmen 706 identifiziert ist, wird als „Fahrer C“ gekennzeichnet und mit Sitz #4 im Fahrzeug assoziiert. Der vierte Fahrgast, der durch den Begrenzungsrahmen 708 identifiziert ist, wird als „Fahrer B“ gekennzeichnet und mit Sitz #3 im Fahrzeug assoziiert. Der fünfte Fahrgast, der durch den Begrenzungsrahmen 710 identifiziert ist, wird als „James“ gekennzeichnet und mit Sitz #1 im Fahrzeug assoziiert. Wie hierin erörtert, können Informationen über belegte Fahrzeugsitze sowie die Identität (oder die Kennzeichnung), die mit jedem Fahrgast assoziiert sind, mit einer Sitzkarte, die für das Fahrzeug generiert wurde, assoziiert werden.
  • 8 veranschaulicht ein beispielhaftes Bild eines Innenraums des in den 7A und 7B gezeigten Fahrzeugs, nachdem einige der Fahrgäste ihre Sitzplätze geändert haben. 8 veranschaulicht einen aktuellen Fahrzeuginnenraum 800 mit fünf Fahrgästen, die das Fahrzeug belegen. Bei dem aktuellen Fahrzeuginnenraum 800 handelt es sich um dasselbe Fahrzeug wie das im aktuellen Fahrzeug 700 gezeigte, jedoch wurde das Fahrzeug angehalten, um den Fahrgästen das Einsteigen in das Fahrzeug oder das Aussteigen aus diesem zu ermöglichen. Wie im aktuellen Fahrzeuginnenraum 800 gezeigt, haben James und Robert die Sitzplätze gewechselt, bleibt Fahrer C auf demselben Sitzplatz, hat Fahrer B einen anderen Sitzplatz eingenommen, ist Fahrer A aus dem Fahrzeug ausgestiegen und ist Fahrer D in das Fahrzeug eingestiegen. Wie hierin aktualisiert, wird die für das Fahrzeug generierte Sitzkarte aktualisiert, um die aktuellen Informationen über belegte Fahrzeugsitze sowie die Identität (oder die Kennzeichnung), die mit jedem Fahrgast assoziiert sind, zu enthalten.
  • Während hierin verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben werden, versteht es sich, dass diese lediglich als Beispiele und nicht als Einschränkung dienen. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eines der beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die Beschreibung wird hierin zum Zwecke der Veranschaulichung und Beschreibung dargelegt. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die konkrete offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der offenbarten Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der hier erörterten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der Offenbarung auszubilden.

Claims (20)

  1. Verfahren, umfassend: Empfangen eines aktuellen Fahrzeugbilds, das einen aktuellen Innenraum eines Fahrzeugs darstellt; Detektieren, durch ein Belegungsverwaltungssystem, von mindestens einem Fahrgast im Fahrzeug basierend auf dem aktuellen Fahrzeugbild; Bestimmen, durch das Belegungsverwaltungssystem, eines Sitzplatzes des Fahrgasts; und Generieren, durch das Belegungsverwaltungssystem, einer Sitzkarte, welche den Sitzplatz des Fahrgasts im Fahrzeug identifiziert.
  2. Verfahren nach Anspruch 1, ferner umfassend Bestimmen der Identität des Fahrgasts durch Durchführen von Gesichtserkennung unter Verwendung des aktuellen F ahrzeugbil ds.
  3. Verfahren nach Anspruch 2, ferner umfassend Anpassen mindestens einer Fahrzeugeinstellung oder eines Betriebsparameters basierend auf der Identität des Fahrgasts.
  4. Verfahren nach Anspruch 1, ferner umfassend Identifizieren von Merkmalen des Fahrgasts basierend auf dem aktuellen Fahrzeugbild.
  5. Verfahren nach Anspruch 4, wobei die Merkmale des Fahrgasts mindestens eines von Fahrgastbekleidung, Fahrgastgesichtsmerkmalen und Fahrgasthaarmerkmalen beinhalten.
  6. Verfahren nach Anspruch 4, wobei die Merkmale des Fahrgasts mit der Sitzkarte assoziiert werden.
  7. Verfahren nach Anspruch 1, ferner umfassend Schätzen von mindestens einem von einem Alter, eines Gewichts, einer Größe, eines Geschlechts und einer Emotion des Fahrgasts.
  8. Verfahren nach Anspruch 1, ferner umfassend: Detektieren einer Vielzahl von Fahrgästen im Fahrzeug basierend auf dem aktuellen F ahrzeugbil d; Bestimmen, durch das Belegungsverwaltungssystem, eines Sitzplatzes von jedem der Vielzahl von Fahrgästen; und Generieren, durch das Belegungsverwaltungssystem, einer Sitzkarte, welche den Sitzplatz von jedem der Vielzahl von Fahrgästen im Fahrzeug identifiziert.
  9. Verfahren nach Anspruch 1, ferner umfassend Zugreifen auf ein Bild eines leeren Fahrzeugs, welches den Fahrzeuginnenraum ohne beliebige Fahrgäste darstellt, wobei Detektieren von mindestens einem Fahrgast im Fahrzeug Vergleichen des Bilds des leeren Fahrzeugs mit dem aktuellen Fahrzeugbild beinhaltet.
  10. Verfahren nach Anspruch 9, wobei Vergleichen des Bilds des leeren Fahrzeugs mit dem aktuellen Fahrzeugbild Subtrahieren des Bilds des leeren Fahrzeugs vom aktuellen Fahrzeugbild beinhaltet.
  11. Verfahren nach Anspruch 1, wobei das Fahrzeug ein autonomes Fahrzeug ist.
  12. Verfahren, umfassend: Empfangen eines aktuellen Fahrzeugbilds, das einen aktuellen Innenraum eines Fahrzeugs darstellt; Detektieren, durch ein Belegungsverwaltungssystem, einer Vielzahl von Fahrgästen im Fahrzeug basierend auf dem aktuellen Fahrzeugbild; Bestimmen, durch das Belegungsverwaltungssystem, eines Sitzplatzes von jedem der Vielzahl von Fahrgästen; Bestimmen, durch das Belegungsverwaltungssystem, einer Identität von jedem der Vielzahl von Fahrgästen durch Durchführen von Gesichtserkennung unter Verwendung des aktuellen Fahrzeugbilds; und Generieren, durch das Belegungsverwaltungssystem, einer Sitzkarte, welche die Identität und den Sitzplatz von jedem der Vielzahl von Fahrgästen im Fahrzeug enthält.
  13. Verfahren nach Anspruch 12, ferner umfassend Anpassen mindestens einer Fahrzeugeinstellung oder eines Betriebsparameters basierend auf der Identität von mindestens einem der Vielzahl von Fahrgästen.
  14. Verfahren nach Anspruch 12, ferner umfassend Identifizieren von Merkmalen von mindestens einem der Vielzahl von Fahrgästen basierend auf dem aktuellen Fahrzeugbild.
  15. Verfahren nach Anspruch 14, wobei die Merkmale des Fahrgasts mindestens eines von Fahrgastbekleidung, Fahrgastgesichtsmerkmalen und Fahrgasthaarmerkmalen beinhalten.
  16. Verfahren nach Anspruch 12, ferner umfassend Zugreifen auf ein Bild eines leeren Fahrzeugs, welches den Fahrzeuginnenraum ohne beliebige Fahrgäste darstellt, wobei Detektieren einer Vielzahl von Fahrgästen im Fahrzeug Vergleichen des Bilds des leeren Fahrzeugs mit dem aktuellen Fahrzeugbild beinhaltet.
  17. Verfahren nach Anspruch 16, wobei Vergleichen des Bilds des leeren Fahrzeugs mit dem aktuellen Fahrzeugbild Subtrahieren des Bilds des leeren Fahrzeugs vom aktuellen Fahrzeugbild beinhaltet.
  18. Einrichtung, umfassend: einen Kommunikationsverwalter, der dazu konfiguriert ist, ein aktuelles Fahrzeugbild zu empfangen, welches einen aktuellen Innenraum eines Fahrzeugs darstellt; ein Bildverarbeitungsmodul, das dazu konfiguriert ist, einen Fahrgast in dem Fahrzeug basierend auf dem aktuellen Fahrzeugbild zu detektieren, wobei das Bildverarbeitungsmodul ferner dazu konfiguriert ist, einen Sitzplatz des Fahrgasts zu bestimmen, und einen Sitzkartengenerator, der dazu konfiguriert ist, eine Sitzkarte zu generieren, welche den Sitzplatz des Fahrgasts im Fahrzeug identifiziert.
  19. Einrichtung nach Anspruch 18, ferner umfassend ein Gesichtserkennungsmodul, das dazu konfiguriert ist, eine Identität des Fahrgasts zu bestimmen.
  20. Einrichtung nach Anspruch 18, wobei das Bildverarbeitungsmodul ferner dazu konfiguriert ist, auf ein Bild eines leeren Fahrgasts zuzugreifen, welches den Fahrzeuginnenraum ohne beliebige Fahrgäste darstellt, wobei das Bildverarbeitungsmodul den Fahrgast im Fahrzeug durch Vergleichen des Bilds des leeren Fahrzeugs mit dem aktuellen Fahrzeugbild detektiert.
DE112017007713.3T 2017-07-31 2017-07-31 Systeme und Verfahren zur Fahrzeugbelegungsverwaltung Pending DE112017007713T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/044743 WO2019027433A1 (en) 2017-07-31 2017-07-31 SYSTEMS AND METHODS FOR MANAGING VEHICLE OCCUPANCY

Publications (1)

Publication Number Publication Date
DE112017007713T5 true DE112017007713T5 (de) 2020-03-19

Family

ID=65233950

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017007713.3T Pending DE112017007713T5 (de) 2017-07-31 2017-07-31 Systeme und Verfahren zur Fahrzeugbelegungsverwaltung

Country Status (4)

Country Link
US (1) US11479147B2 (de)
CN (1) CN110997418A (de)
DE (1) DE112017007713T5 (de)
WO (1) WO2019027433A1 (de)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US11823055B2 (en) * 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11935281B2 (en) * 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
WO2019027433A1 (en) * 2017-07-31 2019-02-07 Ford Global Technologies, Llc SYSTEMS AND METHODS FOR MANAGING VEHICLE OCCUPANCY
US11465631B2 (en) * 2017-12-08 2022-10-11 Tesla, Inc. Personalization system and method for a vehicle based on spatial locations of occupants' body portions
CN111601736B (zh) * 2018-01-25 2022-06-28 三菱电机株式会社 乘客检测装置、乘客检测系统以及乘客检测方法
JP7172464B2 (ja) * 2018-11-07 2022-11-16 トヨタ自動車株式会社 車両及び車両の運用方法
MX2021002808A (es) * 2018-11-09 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistema y método para detectar conflictos dentro de un vehículo.
US11386678B2 (en) * 2018-11-13 2022-07-12 Denso International America, Inc. Driver authentication for vehicle-sharing fleet
US11167693B2 (en) * 2018-11-19 2021-11-09 Honda Motor Co., Ltd. Vehicle attention system and method
JP2020148501A (ja) * 2019-03-11 2020-09-17 日本電産モビリティ株式会社 車内監視装置、車内監視システム、及び車内監視プログラム
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
KR20210032766A (ko) 2019-09-17 2021-03-25 현대자동차주식회사 차량 및 그 제어방법
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
JP7401338B2 (ja) * 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
EP3961483A1 (de) * 2020-09-01 2022-03-02 Aptiv Technologies Limited Verfahren und system zur authentifizierung eines insassen in einem innenraum eines fahrzeuges
US11951875B2 (en) * 2020-10-14 2024-04-09 International Business Machines Corporation Multi-sensor life detection within vehicles
US20220153218A1 (en) * 2020-11-16 2022-05-19 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Car assistance system to activate dispatch and relay medical information
US11954180B2 (en) * 2021-06-11 2024-04-09 Ford Global Technologies, Llc Sensor fusion area of interest identification for deep learning
CN113415220B (zh) * 2021-06-23 2022-07-12 深圳市元征科技股份有限公司 一种车辆座椅温度调节方法及相关设备
US20230139013A1 (en) * 2021-11-04 2023-05-04 Ford Global Technologies, Llc Vehicle occupant physical state detection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5531472A (en) * 1995-05-01 1996-07-02 Trw Vehicle Safety Systems, Inc. Apparatus and method for controlling an occupant restraint system
US8560179B2 (en) 2003-02-20 2013-10-15 Intelligent Mechatronic Systems Inc. Adaptive visual occupant detection and classification system
US8036795B2 (en) 2008-10-08 2011-10-11 Honda Motor Company, Ltd. Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
US10052972B2 (en) * 2013-03-26 2018-08-21 Intel Corporation Vehicular occupancy assessment
US20160301698A1 (en) 2013-12-23 2016-10-13 Hill-Rom Services, Inc. In-vehicle authorization for autonomous vehicles
US9544679B2 (en) * 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
US20160381412A1 (en) * 2015-06-26 2016-12-29 Thales Avionics, Inc. User centric adaptation of vehicle entertainment system user interfaces
US10173643B2 (en) * 2017-02-20 2019-01-08 Ford Global Technologies, Llc Object detection for vehicles
US10252688B2 (en) * 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
US10373316B2 (en) * 2017-04-20 2019-08-06 Ford Global Technologies, Llc Images background subtraction for dynamic lighting scenarios
WO2019027433A1 (en) * 2017-07-31 2019-02-07 Ford Global Technologies, Llc SYSTEMS AND METHODS FOR MANAGING VEHICLE OCCUPANCY
US11376992B2 (en) * 2018-08-08 2022-07-05 Uatc, Llc Automated vehicle seats
US20200393835A1 (en) * 2019-06-17 2020-12-17 Toyota Research Institute, Inc. Autonomous rideshare rebalancing

Also Published As

Publication number Publication date
CN110997418A (zh) 2020-04-10
US20200171977A1 (en) 2020-06-04
WO2019027433A1 (en) 2019-02-07
US11479147B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
DE102018102285A1 (de) System und verfahren zum beurteilen des innenraums eines autonomen fahrzeugs
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE102018111256A1 (de) Flecken- und abfallerkennungssysteme und -verfahren für fahrzeuge
DE102017125484A1 (de) System und verfahren zum einschätzen des innenraums eines autonomen fahrzeugs
DE102017120978A1 (de) Fahrgastüberwachungssysteme und -verfahren
DE102017120839A1 (de) Passagiertrackingsysteme und -verfahren
DE102017129076A1 (de) Autonomer schulbus
DE102018109413A1 (de) Flecken- und abfallerkennungssysteme und -verfahren
DE102017112567A1 (de) Totwinkel-erkennungssysteme und verfahren
DE102017111843A1 (de) Systeme, um einen Nutzer mittels Gehanweisungen in erweiterter Realität dynamisch zu einem Abholungsort eines autonom fahrenden Fahrzeugs zu führen
DE102017121069A1 (de) Insassenvalidierungssysteme und - verfahren
DE102018107344A1 (de) Hinderniserfassungssysteme und -verfahren
DE102019205228A1 (de) Einfädelverhaltenssysteme und Verfahren für Fahrzeuge auf einer Hauptspur
DE102019205223A1 (de) Einfädelverhaltenssysteme und Verfahren zum Einfädeln von Fahrzeugen
DE102017130414A1 (de) Fahrzeug-systeme zur kontextabhängigen beurteilung
DE112017007797T5 (de) Fahrzeugsicherheitssysteme und -verfahren
DE102018101125A1 (de) Rekurrentes tiefes neuronales Faltungsnetzwerk zur Detektion von Objekten
DE112012006226B4 (de) Fahrassistenzvorrichtung
DE102018114609A1 (de) Fahrzeugsauberkeitserkennungssyteme und -verfahren
DE102017128294A1 (de) Fahrzeugumgebung-abbildungssysteme und -verfahren
DE102017102133A1 (de) Längsparkhilfe
DE102020109749A1 (de) Notfallroutenplansystem
DE112018000335T5 (de) Systeme und verfahren für einen berechnungsrahmen zur visuellen warnung des fahrers unter verwendung einer "fully convolutional"-architektur
DE102014015075A1 (de) Verfahren zum Betrieb eines automatisiert geführten, fahrerlosen Kraftfahrzeugs und Überwachungssystem

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: LORENZ SEIDLER GOSSEL RECHTSANWAELTE PATENTANW, DE

R084 Declaration of willingness to licence