DE102019107637A1

DE102019107637A1 - Occupancy registration as a security feature for shared autonomous vehicles

Info

Publication number: DE102019107637A1
Application number: DE102019107637.4A
Authority: DE
Inventors: Orhan BULAN; David H. Clifford; Orthan Demirovic; Eric Hatfield
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-03-27
Filing date: 2019-03-25
Publication date: 2019-10-02
Also published as: CN110304072A

Abstract

Systeme und Verfahren werden zum Steuern eines Fahrzeugs bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von Sensordaten, die aus dem Innenraum eines Fahrzeugs erfasst werden; das Ermitteln mindestens eines Insassen eines Fahrzeugs auf Grundlage der Sensordaten und einer Maschinenlerntechnik; das Bestimmen einer Konfiguration des mindestens einen Insassen des Fahrzeugs; das Vergleichen der Konfiguration mit Sitzvorschriften, die dem Fahrzeug zugeordnet sind, um zu bestimmen, wann ein Verstoß vorliegt; und das gezielte Steuern des Fahrzeugs sowie das Erzeugen von Benachrichtigungssignalen, um einen Benutzer auf Grundlage der Bestimmung, wann ein Verstoß vorliegt, zu benachrichtigen.Systems and methods are provided for controlling a vehicle. In one embodiment, a method includes: receiving sensor data sensed from the interior of a vehicle; determining at least one occupant of a vehicle based on the sensor data and a machine learning technique; determining a configuration of the at least one occupant of the vehicle; comparing the configuration with seating regulations associated with the vehicle to determine when a violation has occurred; and selectively controlling the vehicle and generating notification signals to notify a user based on the determination of when a violation occurs.

Description

EINLEITUNGINTRODUCTION

Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonom fahrende Fahrzeuge und insbesondere auf Systeme und Verfahren zur Erfassung der Belegung in einem autonomen Fahrzeug.The present disclosure relates generally to autonomous vehicles, and more particularly to systems and methods for detecting occupancy in an autonomous vehicle.

Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.An autonomous vehicle is a vehicle that is capable of sensing its environment and navigating with little or no user input. An autonomous vehicle detects its environment using sensor devices, such as radar, lidar, image sensors, and the like. The autonomous vehicle system also uses information from global positioning systems (GPS), navigation systems, vehicle-to-vehicle communications, vehicle infrastructure technologies and / or wireline systems to navigate the vehicle.

Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.The vehicle automation was categorized according to numerical levels from zero, corresponding to no automation with full human control, to five, according to full automation without human control. Different automated driver assistance systems, such as cruise control, adaptive cruise control, and park assist systems, correspond to lower levels of automation, while true "driverless" vehicles conform to higher levels of automation.

In einigen Fällen kann eine Flotte von autonomen Fahrzeugen so verwaltet werden, dass sie Personen in einer Gemeinschaft gemeinschaftliche Fahrten bietet. In einem gemeinschaftlich genutzten Fahrzeug können mehrere Personen und/oder verschiedene Lasten jederzeit im autonomen Fahrzeug fahren. In einigen Fällen kann die Belegung des Fahrzeugs zu groß und/oder für die Fahrt unsicher sein.In some cases, a fleet of autonomous vehicles may be managed to provide community journeys to people in a community. In a shared vehicle, several people and / or different loads can drive at any time in the autonomous vehicle. In some cases, the occupancy of the vehicle may be too large and / or unsafe for the ride.

Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die die Belegung eines autonomen Fahrzeugs erfassen. Es ist des Weiteren wünschenswert, zu erfassen und zu melden, ob die Belegung für ein gemeinschaftlich genutztes autonomes Fahrzeug wünschenswert oder sicher ist. Ferner werden weitere wünschenswerte Funktionen und Merkmale der vorliegenden Offenbarung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen, sowie dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.Accordingly, it is desirable to provide systems and methods that detect the occupancy of an autonomous vehicle. It is further desirable to detect and report whether the occupancy of a shared autonomous vehicle is desirable or safe. Furthermore, other desirable features and features of the present disclosure will become apparent from the subsequent detailed description and the appended claims, taken in conjunction with the accompanying drawings, as well as the foregoing technical field and background.

KURZDARSTELLUNGSUMMARY

In verschiedenen Ausführungsformen sind die Sensordaten Bilddaten, die von mindestens einem Bildsensor des Fahrzeugs erfasst werden. In verschiedenen Ausführungsformen beinhaltet das Verfahren des Weiteren das Bestimmen einer Position des mindestens einen Insassen relativ zum Fahrzeug, worin das Bestimmen der Konfiguration der Insassen auf dem Standort basiert. Das Bestimmen der Konfiguration basiert des Weiteren auf Daten, die einem Sitz oder Sicherheitsgurt des Fahrzeugs zugeordnet sind.In various embodiments, the sensor data is image data captured by at least one image sensor of the vehicle. In various embodiments, the method further includes determining a position of the at least one occupant relative to the vehicle, wherein determining the configuration of the occupants is based on the location. The determination of the configuration is further based on data associated with a seat or seatbelt of the vehicle.

In verschiedenen Ausführungsformen beinhalten die Sitzvorschriften die verfügbaren Sitze des Fahrzeugs. In verschiedenen Ausführungsformen beinhalten die Sitzvorschriften die verfügbaren Sicherheitsgurte des Fahrzeugs. In verschiedenen Ausführungsformen beinhalten die Sitzvorschriften eine Zahl von Insassen, die in einem verfügbaren Sitz des Fahrzeugs sitzen können. In verschiedenen Ausführungsformen beinhalten die Sitzvorschriften eine Gesamtzahl von Insassen, die im Fahrzeug zugelassen sind. In verschiedenen Ausführungsformen umfassen die Sitzvorschriften mindestens eines von einer Größe, einem Gewicht und einen Typ von Insassen, der in einem verfügbaren Sitz des Fahrzeugs sitzen kann.In various embodiments, the seat regulations include the available seats of the vehicle. In various embodiments, the seat regulations include the available seat belts of the vehicle. In various embodiments, the seating regulations include a number of occupants who may sit in an available seat of the vehicle. In various embodiments, the seat regulations include a total number of occupants admitted in the vehicle. In various embodiments, the seating regulations include at least one of a size, a weight, and a type of occupant that may be seated in an available seat of the vehicle.

In verschiedenen Ausführungsformen beinhaltet das gezielte Steuern, das Fahrzeug so zu steuern, dass es in seiner Position verharrt, wenn der Verstoß vorliegt.In various embodiments, targeted control includes controlling the vehicle to remain in position when the violation is present.

In einer anderen Ausführungsform beinhaltet ein System zum Steuern eines Fahrzeugs ein nichtflüchtiges computerlesbares Medium. Das nichtflüchtige computerlesbare Medium beinhaltet ein erstes Modul, das konfiguriert ist, durch einen Prozessor Sensordaten zu empfangen, die aus einem Innenraum eines Fahrzeugs erfasst werden, und mindestens einen Insassen eines Fahrzeugs auf Grundlage der Sensordaten und einer Maschinenlerntechnik zu ermitteln, ein zweites Modul, das konfiguriert ist, durch einen Prozessor eine Konfiguration des mindestens einen Insassen des Fahrzeugs zu bestimmen; ein drittes Modul, das konfiguriert ist, durch einen Prozessor die Konfiguration mit Sitzvorschriften, die dem Fahrzeug zugeordnet sind, zu vergleichen, um zu bestimmen, wann ein Verstoß vorliegt; und ein viertes Modul, das konfiguriert ist, durch einen Prozessor gezielt das Fahrzeug zu steuern und Benachrichtigungssignale zu erzeugen, um einen Benutzer auf Grundlage der Bestimmung, wann ein Verstoß vorliegt, zu benachrichtigen.In another embodiment, a system for controlling a vehicle includes a non-transitory computer-readable medium. The non-transitory computer readable medium includes a first module configured to receive by a processor sensor data sensed from an interior of a vehicle and at least one occupant of a vehicle Based on the sensor data and a machine learning technique to determine a second module that is configured by a processor to determine a configuration of the at least one occupant of the vehicle; a third module configured to compare, by a processor, the configuration with seat regulations associated with the vehicle to determine when a violation has occurred; and a fourth module configured to selectively control, by a processor, the vehicle and generate notification signals to notify a user based on the determination of when a violation occurs.

In verschiedenen Ausführungsformen sind die Sensordaten Bilddaten, die von mindestens einem Bildsensor des Fahrzeugs erfasst werden.In various embodiments, the sensor data is image data captured by at least one image sensor of the vehicle.

In verschiedenen Ausführungsformen ist das zweite Modul des Weiteren konfiguriert, eine Position des mindestens einen Insassen relativ zum Fahrzeug zu bestimmen, worin das Bestimmen der Konfiguration der Insassen auf dem Standort basiert. In verschiedenen Ausführungsformen ist das zweite Modul des Weiteren konfiguriert, die Konfiguration des Weiteren auf Grundlage von Daten zu bestimmen, die einem Sitz oder Sicherheitsgurt des Fahrzeugs zugeordnet sind.In various embodiments, the second module is further configured to determine a position of the at least one occupant relative to the vehicle, wherein determining the configuration of the occupants is based on the location. In various embodiments, the second module is further configured to further determine the configuration based on data associated with a seat or seatbelt of the vehicle.

In verschiedenen Ausführungsformen umfassen die Sitzvorschriften die verfügbaren Sitze des Fahrzeugs. In verschiedenen Ausführungsformen umfassen die Sitzvorschriften die verfügbaren Sicherheitsgurte des Fahrzeugs. In verschiedenen Ausführungsformen umfassen die Sitzvorschriften eine Zahl von Insassen, die in einem verfügbaren Sitz des Fahrzeugs sitzen können oder eine Gesamtzahl von Insassen, die im Fahrzeug zugelassen sind. In verschiedenen Ausführungsformen umfassen die Sitzvorschriften mindestens eines von einer Größe, einem Gewicht und einen Typ von Insassen, der in einem verfügbaren Sitz des Fahrzeugs sitzen kann.In various embodiments, the seating regulations include the available seats of the vehicle. In various embodiments, the seat regulations include the available seat belts of the vehicle. In various embodiments, the seating regulations include a number of occupants who may sit in an available seat of the vehicle or a total number of occupants who are permitted in the vehicle. In various embodiments, the seating regulations include at least one of a size, a weight, and a type of occupant that may be seated in an available seat of the vehicle.

In verschiedenen Ausführungsformen steuert das vierte Modul das Fahrzeug gezielt, in seiner Position zu verharren, wenn der Verstoß vorliegt.In various embodiments, the fourth module selectively controls the vehicle to remain in position when the infringement is present.

In einer anderen Ausführungsform wird ein autonomes Fahrzeug bereitgestellt. Das autonome Fahrzeug beinhaltet: mindestens einen Sensor, der einen Innenraum des autonomen Fahrzeugs erfasst; und ein Steuermodul, das konfiguriert ist, durch einen Prozessor Sensordaten von dem mindestens einen Sensor zu empfangen, mindestens einen Insassen des autonomen Fahrzeugs aus den Sensordaten zu ermitteln, eine Konfiguration des mindestens einen Insassen relativ zum autonomen Fahrzeug zu bestimmen und das autonome Fahrzeug auf Grundlage der Konfiguration zu steuern.In another embodiment, an autonomous vehicle is provided. The autonomous vehicle includes: at least one sensor detecting an interior of the autonomous vehicle; and a control module configured to receive, by a processor, sensor data from the at least one sensor, determine at least one occupant of the autonomous vehicle from the sensor data, determine a configuration of the at least one occupant relative to the autonomous vehicle, and autonomously based on the autonomous vehicle to control the configuration.

Figurenlistelist of figures

Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einem Belegungserfassungssystem gemäß verschiedenen Ausführungsformen veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
Die 3 und 4 sind Datenflussdiagramme, die ein autonomes Fahrsystem veranschaulicht, welches das Belegungserfassungssystem des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen beinhaltet; und
5 ist ein Flussdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen veranschaulicht.

The exemplary embodiments are described below in conjunction with the following drawings, wherein like numerals denote like elements, and wherein:

1 FIG. 10 is a functional block diagram illustrating an autonomous vehicle having an occupancy detection system according to various embodiments; FIG.
2 is a functional block diagram illustrating a transportation system with one or more autonomous vehicles 1 according to various embodiments;
The 3 and 4 FIG. 11 is a data flow diagram illustrating an autonomous driving system incorporating the occupancy detection system of the autonomous vehicle according to various embodiments; FIG. and
5 FIG. 10 is a flowchart illustrating a control method for controlling the autonomous vehicle according to various embodiments. FIG.

AUSFÜHRLICHE BESCHREIBUNGDETAILED DESCRIPTION

Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.The following detailed description is by way of example only and is not intended to limit the application and use in any way. Furthermore, there is no intention to be bound by any expressed or implied theory presented in the preceding technical field, background, brief summary or the following detailed description. The term "module" as used herein refers to all hardware, software, firmware products, electronic control components, processing logic and / or processor devices, singly or in combinations including, but not limited to, an application specific integrated circuit (ASIC) electronic circuit , a processor (shared, dedicated or grouped) and a memory that executes one or more software or firmware programs, combinational logic circuitry, and / or other suitable components that provide the described functionality.

Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.Embodiments of the present disclosure may be described herein as functional and / or logical block components and various processing steps. It should be understood that such block components may be constructed from any number of hardware, software and / or firmware components configured to perform the required functions. For example, an embodiment of the present disclosure of a system or component may have various integrated ones Use circuit components, such as memory elements, digital signal processing elements, logic elements, value tables or the like, which can perform several functions under the control of one or more microprocessors or other control devices. Additionally, those skilled in the art will recognize that the exemplary embodiments of the present disclosure may be used in conjunction with any number of systems, and that the system described herein is merely one exemplary embodiment of the present disclosure.

Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.For the sake of brevity, conventional techniques associated with signal processing, data transmission, signaling, control and other functional aspects of the systems (and the individual controls of the systems) may not be described in detail herein. Furthermore, the connection lines shown in the various figures are intended to represent exemplary functional relationships and / or physical connections between the various elements. It should be noted that many alternative or additional functional relationships or physical connections may be present in one embodiment of the present disclosure.

Mit Bezug auf 1 ist ein Belegungserfassungssystem, das allgemein bei 100 gezeigt ist, einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen zugeordnet. Im Allgemeinen erfasst das Insassenerfassungssystem 100 die Insassen und eine Konfiguration der Insassen im Fahrzeug bestimmt, ob die Konfiguration der Insassen den Vorschriften in Bezug auf die Sicherheit und/oder die angemessene Verwendung erfüllt, und steuert intelligent das Fahrzeug 10 und/oder benachrichtigt die Benutzer basierend darauf.Regarding 1 For example, an occupancy detection system, shown generally at 100, is a vehicle 10 assigned according to various embodiments. In general, the occupant detection system captures 100 the occupants and a configuration of the occupants in the vehicle determines whether the configuration of the occupants complies with safety and / or appropriate use regulations and intelligently controls the vehicle 10 and / or notifies users based on it.

Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Chassis 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.As in 1 shown, includes the vehicle 10 generally a chassis 12 , a body 14 , Front wheels 16 and rear wheels 18 , The body 14 is on the chassis 12 arranged and substantially covers the other components of the vehicle 10 , The body 14 and the chassis 12 can together form a framework. The wheels 16 - 18 are each with the chassis 12 near a corner of the body 14 rotatably connected.

In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Belegungserfassungssystem 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodusspezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.In various embodiments, the vehicle is 10 an autonomous vehicle and the occupancy detection system 100 is in the autonomous vehicle 10 (hereinafter referred to as the autonomous vehicle 10 designated) integrated. The autonomous vehicle 10 For example, a vehicle that is automatically controlled to carry passengers from one place to another. The vehicle 10 is illustrated as a passenger car in the illustrated embodiment, but it should be understood that any other vehicle including motorcycles, trucks, sports cars (SUVs), recreational vehicles (RVs), ships, airplanes, etc., may be used. In an exemplary embodiment, the autonomous vehicle is 10 a so-called level-four or level-five automation system. A level four system indicates "high automation" with reference to the driving mode specific performance by an automated driving system of all aspects of the dynamic driving task even if a human driver does not respond appropriately to a request. A level five system indicates "full automation" and refers to the full-time performance of an automated driving system of all aspects of the dynamic driving task under all road and environmental conditions that can be managed by a human driver.

Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Getriebesystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Drehzahlverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.As shown, includes the autonomous vehicle 10 generally a drive system 20 , a transmission system 22 , a steering system 24 , a braking system 26 , a sensor system 28 , an actuator system 30 , at least one data store 32 , at least one controller 34 and a communication system 36 , The drive system 20 For example, in various embodiments, it may include an internal combustion engine, an electric machine, such as a traction motor, and / or a fuel cell propulsion system. The transmission system 22 is configured to power from the drive system 20 to the vehicle wheels 16 - 18 to transmit in accordance with the selectable speed ratios. According to various embodiments, the transmission system 22 a step ratio automatic transmission, a continuously variable transmission or other suitable transmission include. The brake system 26 is configured to the vehicle wheels 16 - 18 to provide a braking torque. The brake system 26 In various embodiments, it may include friction brakes, brake-by-wire, a regenerative braking system, such as an electric machine, and / or other suitable braking systems. The steering system 24 affects a position of the vehicle wheels 16-18 , While in some embodiments, within the scope of the present disclosure, illustrated by way of illustration as a steering wheel, the steering system may 24 do not include a steering wheel.

Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen beinhalten die vom Belegungserfassungssystem 100 verwendeten Sensorvorrichtungen 40a-40n optische Kameras, die Bilder des Innenraums des Fahrzeugs 10 aufnehmen, sowie in einigen Ausführungsformen Druck- oder Gewichtssensoren in jedem Sitz oder Sicherheitsgurtsensoren. Wie ersichtlich können in verschiedenen Ausführungsformen andere Sensoren implementiert werden.The sensor system 28 includes one or more sensor devices 40a-40n , the observable states of the external environment and / or the interior environment of the autonomous vehicle 10 to capture. The sensor devices 40a-40n radars, lidars, global positioning systems, optical cameras, thermal imagers, Ultrasonic sensors, inertial measurement units, and / or other sensors include, but are not limited to. In various embodiments, those include the occupancy detection system 100 used sensor devices 40a-40n optical cameras, the images of the interior of the vehicle 10 and, in some embodiments, pressure or weight sensors in each seat or seat belt sensors. As can be seen, other sensors may be implemented in various embodiments.

Das Stellantriebssystem 30 beinhaltet ein oder mehrere Stellantriebsvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw. (nicht nummeriert) beinhalten, sind jedoch nicht auf diese beschränkt.The actuator system 30 includes one or more actuator devices 42a - 42n that have one or more vehicle characteristics, such as the propulsion system 20 , the transmission system 22 , the steering system 24 and the brake system 26 to control, but are not limited to. In various embodiments, the vehicle features may further include interior and / or exterior vehicle features, such as doors, a trunk, and interior features such as, for example, vehicle doors. Air, music, lighting, etc. (not numbered), but are not limited to these.

Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.The communication system 36 is configured to send information wirelessly to and from other devices 48 , such as, but not limited to, other vehicles ("V2V" communication,) Infrastructure ("V2I" communication), remote systems, and / or personal devices (relating to 2 described in more detail). In an exemplary embodiment, the wireless communication system is 36 configured to communicate over a wireless local area network (WLAN) using the IEEE 802.11 standard, via Bluetooth or via mobile data communication. However, additional or alternative communication techniques, such as a dedicated short-range communications (DSRC) channel, are also contemplated within the scope of the present disclosure. DSRC channels refer to one-way or two-way short to medium-range radio communication channels designed specifically for the automotive industry and a corresponding set of protocols and standards.

Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Karten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Karten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.The data storage device 32 stores data for use in automatically controlling the autonomous vehicle 10 , In various embodiments, the data storage device stores 32 defined maps of the navigable environment. In various embodiments, the defined cards are pre-defined and stored by a remote system (described in further detail with reference to FIGS 2 described). For example, the defined maps can be composed by the remote system and the autonomous vehicle 10 (wireless and / or wired) and in the data storage device 32 get saved. As can be seen, the data storage device 32 a part of the controller 34 , from the controller 34 disconnected, or part of the controller 34 and be part of a separate system.

Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Mikroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.The control 34 includes at least one processor 44 and a computer readable storage device or media 46 , The processor 44 may be a custom or commercial processor, a central processing unit (CPU), a graphics processor unit (GPU) among multiple processors connected to the controller 34 , a semiconductor-based microprocessor (in the form of a microchip or chip set), a microprocessor, a combination thereof or, in general, any device for executing instructions. The computer readable storage device or media 46 may include volatile and non-volatile memory in a read only memory (ROM), a random access memory (RAM), and a keep alive memory (KAM). CAM is a persistent or non-volatile memory that can be used to store various operating variables while the processor is running 44 is off. The computer readable storage device or media 46 may be any of a number of known memory devices, such as programmable read only memory (PROM), EPROM (Electric PROM), EEPROM (Electrically Erasable PROM), flash memory, or any other electrical, magnetic, optical, or combined memory devices which can store data, some of which represent executable instructions issued by the controller 34 while controlling the autonomous vehicle 10 be used.

Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellgliedsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.The instructions may include one or more separate programs, each of which includes an ordered listing of executable instructions for implementing logical functions. The instructions receive and process, if these from the processor 44 be executed signals from the sensor system 28 , perform logic, calculations, procedures and / or algorithms to automatically control the components of the autonomous vehicle 10 and generate control signals to the actuator system 30 to the components of the autonomous vehicle 10 based on the logic, calculations, methods and / or algorithms to control automatically. Although in 1 only one controller 34 can be shown, embodiments of the autonomous vehicle 10 any number of controllers 34 which communicate and cooperate via a suitable communication medium or combination of communication media to process the sensor signals, perform logics, computations, methods and / or algorithms, and To generate control signals to the functions of the autonomous vehicle 10 to control automatically.

In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 ins Belegungserfassungssystem 100 integriert und verarbeiten bei Ausführung durch den Prozessor 44 Daten, die von einer oder mehreren der Sensorvorrichtungen 40a-40n erzeugt werden, ermitteln Insassen und bestimmen eine Konfiguration der Insassen im Fahrzeug 10 auf Grundlage der Verarbeitung, vergleichen die Konfiguration mit definierten Vorschriften und steuern auf Grundlage des Vergleichs gezielt das Fahrzeug 10 und/oder erzeugen Benachrichtigungssignale.In various embodiments, one or more instructions are the controller 34 into occupancy detection system 100 integrated and processed when executed by the processor 44 Data obtained from one or more of the sensor devices 40a-40n are generated, determine occupants and determine a configuration of the occupants in the vehicle 10 based on the processing, compare the configuration with defined rules and specifically control the vehicle based on the comparison 10 and / or generate notification signals.

Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxis, eines Shuttle-Systems (gemeinschaftlichen Fahrsystems) in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.With further reference to 2 in various embodiments, the autonomous vehicle 10 , with respect to 1 is suitable for use in the context of a taxi, a shuttle system (community driving system) in a certain geographical area (eg a city, a school or a business campus, a shopping center, an amusement park, an event center or the like) be. For example, the autonomous vehicle 10 be associated with an autonomous vehicle-based transport system. 2 FIG. 12 illustrates an example embodiment of an operating environment that generally accompanies 50 is shown and an autonomous vehicle-based transport system 52 that includes, as with respect to 1 described one or more autonomous vehicles 10a-10n assigned. In various embodiments, the operating environment includes 50 one or more user devices 54 that with the autonomous vehicle 10 and / or the remote transport system 52 over a communication network 56 communicate.

Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.The communication network 56 Supports communication between devices, systems and components by the operating environment 50 supported (eg via physical communication links and / or wireless communication links). For example, the communication network 56 a wireless carrier system 60 include, such as a mobile telephone system including a plurality of mobile towers (not shown), one or more mobile switching centers (MSCs) (not shown), and all other network components used to connect the wireless carrier system 60 with the fixed network are required. Each mobile tower includes transmitting and receiving antennas and a base station, where the base stations of different mobile towers are connected to the MSC, either directly or via intermediate devices, such as a base station controller. The wireless carrier system 60 can implement any suitable communication technology, such as digital technologies such as CDMA (eg, CDMA2000), LTE (eg, 4G LTE or 5G LTE), GSM / GPRS, or other current or emerging wireless technologies. Other mobile tower / base station / MSC arrangements are possible and could be used with the wireless carrier system 60 be used. For example, the base station and the mobile tower could be at the same location or remote from each other, each base station could be responsible for a single mobile tower, or a single base station could serve different mobile towers, or different base stations could be coupled to a single MSC to only some of the to name possible arrangements.

Abgesehen vom Verwenden des Drahtlosträgersystems 60 kann ein zweites Drahtlosträgersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.Apart from using the wireless carrier system 60 may be a second wireless carrier system in the form of a satellite communication system 64 Used to communicate unidirectionally or bi-directionally with the autonomous vehicle 10a-10n provide. This may be done using one or more communication satellites (not shown) and an uplink transmitting station (not shown). The unidirectional communication may include, for example, satellite radio services wherein programmed content data (news, music, etc.) are received by the broadcast station, packed for upload, and then sent to the satellite, which broadcasts the programming to the users. Bidirectional communication may include, for example, satellite telephony services using the satellite to facilitate telephone communications between the vehicle 10 and the station. Satellite telephony can be either in addition to or instead of the wireless carrier system 60 be used.

Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Drahtlosträgersystem 60, kommunizieren kann.A landline communication system 62 may include a conventional landline telecommunication network connected to one or more landline telephones and the wireless carrier system 60 with the remote transport system 52 combines. For example, the landline communication system 62 a telephone network (PSTN) such as that used to provide hardwired telephony, packet switched data communications, and the Internet infrastructure. One or more segments of the fixed network communication system 62 could be implemented by using a normal wired network, a fiber optic or other optical network, a cable network, power lines, other wireless networks such as wireless local area networks (WLANs) or networks providing wireless broadband access (BWA) or any combination thereof , Farther must be the remote transport system 52 not via the landline communication system 62 but could include radiotelephone equipment to connect directly to a wireless network, such as a wireless network. B. the wireless carrier system 60 , can communicate.

Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.Although in 2 only one user device 54 may be embodiments of the operating environment 50 any number of user devices 54 including multiple user devices 54 that are the property of a person, used by him or otherwise used. Each user device 54 that from the operating environment 50 can be implemented using a suitable hardware platform. In this regard, the user device 54 be realized in a common form factor, including in: a desktop computer; a mobile computer (eg, a tablet computer, a laptop computer, or a netbook computer); a smartphone; a video game machine; a digital media player; a component of a home entertainment device; a digital camera or video camera; a portable computing device (eg, a smart watch, smart glasses, smart clothing); or similar. Any of the operating environment 50 supported user device 54 is implemented as a computer-implemented or computerized device having the hardware, software, firmware, and / or processing logic required to perform the various techniques and methods described herein. For example, the user device includes 54 a microprocessor in the form of a programmable device which includes one or more instructions stored in an internal memory structure and is applied to receive binary inputs and generate binary outputs. In some embodiments, the user device includes 54 a GPS module that can receive GPS satellite signals and generate GPS coordinates based on those signals. In other embodiments, the user device includes 54 a mobile communication functionality, so that the device voice and / or data communications over the communication network 56 using one or more cellular communication protocols as explained herein. In various embodiments, the user device includes 54 a visual display, such as a graphical touch-screen display or other display.

Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende T eilnehmerinformati onen.The remote transport system 52 includes one or more back-end server systems attached to the specific campus or geographic location of the transport system 52 be served, cloud-based, network-based or resident. The remote transport system 52 can be staffed with a live advisor, an automated advisor, or a combination of both. The remote transport system 52 can with the user devices 54 and the autonomous vehicles 10a-10n communicate to plan trips, autonomous vehicles 10a-10n to put and the like. In various embodiments, the remote transport system stores 52 Account information, such as subscriber authentication data, vehicle registration numbers, profile records, behavior patterns, and other corresponding subscriber information.

Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.In accordance with a typical use case workflow, a registered user of the remote transport system may 52 about the user device 54 create a trip request. The travel request typically indicates the desired pick up location of the passenger (or current GPS location), the desired destination (which can identify a predefined vehicle stop and / or a user defined passenger destination), and a pickup time. The remote transport system 52 receives the trip request, processes the request, and sends a selected one of the autonomous vehicles 10a-10n (if and when available) to pick up the passenger at the designated pick-up point and in due time. The remote transport system 52 In addition, a correspondingly configured confirmation message or notification to the user device 54 generate and send to notify the passenger that a vehicle is traveling.

Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.As can be seen, the subject matter disclosed herein provides certain improved characteristics and functions for what is considered a standard or baseline autonomous vehicle 10 and / or an autonomous vehicle-based transport system 52 can be considered. For this purpose, an autonomous vehicle-based transport system may be modified, extended or otherwise supplemented to provide the additional functions described in more detail below.

Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.According to various embodiments, the controller implements 34 an autonomous drive system (ADS) 70 , as in 3 shown. That is, suitable software and / or hardware components of the controller 34 (eg the processor 44 and the computer readable storage device 46 ) used to be an autonomous propulsion system 70 to provide that in conjunction with the vehicle 10 is used.

In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.In various embodiments, the instructions of the autonomous drive system 70 be structured according to function, module or system. The autonomous drive system 70 can for example, as in 3 presented a computer vision system 74 , a positioning system 76 , a control system 78 and a vehicle control system 80 include. As can be seen, the instructions in various embodiments can be grouped into any number of systems (eg, combined, further subdivided, etc.) since the disclosure is not limited to the present examples.

In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.In various embodiments, the computer vision system synthesizes and processes 74 Sensor data and predicts presence, location, classification and / or course of objects and characteristics of the environment of the vehicle 10 , In various embodiments, the computer vision system 74 Information from multiple sensors includes, but is not limited to, cameras, lidars, radars, and / or any number of other types of sensors.

Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.The positioning system 76 Processes sensor data along with other data to a position (eg, a local position relative to a map, an exact position relative to the lane of a road, vehicle direction, speed, etc.) of the vehicle 10 in relation to the environment. The control system 78 Processes sensor data along with other data to determine a route to which the vehicle 10 should follow. The vehicle control system 80 generates control signals for controlling the vehicle 10 according to the determined route.

In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalserkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.In various embodiments, the controller implements 34 machine learning techniques to the functionality of the controller 34 to support, such. B. feature recognition / classification, obstacle reduction, route crossing, mapping, sensor integration, ground truth determination and the like.

Wie oben kurz erwähnt, ist das Belegungserfassungssystem 100 aus 1 im ADS 70 enthalten, beispielsweise als Teil des Computer-Sichtsystems 74 oder als separates System (Belegungserfassungssystem 82, wie dargestellt). Das Belegungserfassungssystem 82 empfängt Sensordaten vom Sensorsystem 28, verarbeitet die Sensordaten und erzeugt Daten und/oder Signale zur Verwendung durch das Fahrzeugsteuersystem 80 bim Steuern des Fahrzeugs. Wie zum Beispiel detaillierter in Bezug auf 4 und unter weiterer Bezugnahme auf 3 dargestellt, beinhaltet das Belegungserfassungssystem 82 ein Insassenerfassungsmodul 90, ein Konfigurationsbestimmungsmodul 92, ein Vorschriftenvergleichsmodul 94, ein Benachrichtigungsmodul 96, ein Steuermodul 98 und einen Vorschriftendatenspeicher 101.As briefly mentioned above, the occupancy detection system is 100 out 1 in ads 70 included as part of the computer vision system 74 or as a separate system (occupancy detection system 82 , as shown). The occupancy detection system 82 Receives sensor data from the sensor system 28 , processes the sensor data and generates data and / or signals for use by the vehicle control system 80 bim controlling the vehicle. As for example in more detail in relation to 4 and with further reference to 3 shown includes the occupancy detection system 82 an occupant detection module 90 , a configuration determination module 92 , a rules comparison module 94 , a notification module 96 , a control module 98 and a prescription data store 101 ,

Das Insassenerfassungsmodul 90 empfängt als Eingabe Sensordaten 102. Die Sensordaten 102 beinhalten Informationen, die von den Sensorvorrichtungen 40a-40n erfasst werden. Die Informationen sind erfasste Informationen aus dem Innenraum des Fahrzeugs 10. In verschiedenen Ausführungsformen beinhalten die Sensordaten 102 Bilddaten, die von Kameras erzeugt werden, die Bilder der Sitze und anderer Bereiche des Innenraums des Fahrzeugs 10 aufnehmen. Wie ersichtlich können in verschiedenen Ausführungsformen andere Daten verwendet werden, einschließlich, aber ohne darauf beschränkt zu sein, Lidar-Daten, Radardaten usw.The occupant detection module 90 receives as input sensor data 102 , The sensor data 102 include information provided by the sensor devices 40a - 40n be recorded. The information is captured information from the interior of the vehicle 10 , In various embodiments, the sensor data includes 102 Image data generated by cameras, the images of the seats and other areas of the interior of the vehicle 10 take up. As can be appreciated, other data may be used in various embodiments, including, but not limited to, lidar data, radar data, etc.

Das Insassenerfassungsmodul 90 verarbeitet die Sensordaten 102, um Objekte innerhalb des Fahrzeugs 10 zu ermitteln und die Objekte zu klassifizieren. So verarbeitet beispielsweise das Insassenerfassungsmodul 90 die Sensordaten 102 unter Verwendung einer oder mehrerer Maschinenlerntechniken (ML-Techniken), um die Objekte innerhalb des Bildes als Person und/oder ein Gesicht einer Person oder ein Tier zu klassifizieren. Wie ersichtlich kann eine Vielzahl von ML-Techniken verwendet werden, einschließlich beispielsweise multivariate Regression, wiederkehrende neuronale Netze (ANNs), zufällige Waldklassifizierer, Bayes-Klassifizierer (z. B. naive Bayes), Hauptkomponentenanalyse (PCA), Unterstützungsvektormaschinen, lineare Diskriminantanalyse, Clustering-Algorithmen (z. B. KNN, K-Mittel) und dergleichen. In einigen Ausführungsformen werden mehrere ML-Modelle verwendet (z. B. über Ensemble-Lerntechniken). In verschiedenen Ausführungsformen können die Maschinenlerntechniken überwacht oder unüberwacht sein. So kann beispielsweise ein visueller Objektklassen-(VOC)-Datensatz, der annotierte Begrenzungsrahmen um Personen herum beinhaltet, die in verschiedenen Positionen sitzen, verwendet werden, um ein Maschinenlernmodell zu trainieren, die Objekte innerhalb des Bildes als eine Person und/oder ein Gesicht zu klassifizieren.The occupant detection module 90 processes the sensor data 102 to objects within the vehicle 10 to determine and classify the objects. For example, the occupant detection module processes this 90 the sensor data 102 using one or more machine learning techniques (ML techniques) to classify the objects within the image as a person and / or a face of a person or an animal. As can be seen, a variety of ML techniques may be used including, for example, multivariate regression, recurrent neural networks (ANNs), random forest classifiers, Bayesian classifiers (eg naive bayes), principal component analysis (PCA), support vector machines, linear discriminant analysis, clustering Algorithms (e.g., KNN, K means) and the like. In some embodiments, multiple ML models are used (eg, via ensemble learning techniques). In various embodiments, the machine learning techniques may be monitored or unsupervised. For example, a visual object class (VOC) record that includes annotated bounding boxes around people sitting in different positions can be used to train a machine learning model that objects within the image as a person and / or a face classify.

Das Konfigurationsbestimmungsmodul 92 empfängt als Eingabe die klassifizierten Personen/Gesichter 104 und Sensordaten 105. Die Sensordaten 105 beinhalten Informationen, die von den Sensorvorrichtungen 40a-40n erfasst wurden. Die Informationen sind erfasste Informationen aus dem Innenraum des Fahrzeugs 10. In verschiedenen Ausführungsformen beinhalten die Sensordaten 105 Bilddaten, die von Kameras erzeugt werden, die Bilder der Sitze und anderer Bereiche des Innenraums des Fahrzeugs 10 aufnehmen. Wie ersichtlich können in verschiedenen Ausführungsformen andere Daten verwendet werden, einschließlich, aber ohne darauf beschränkt zu sein, Lidar-Daten, Radardaten usw. In verschiedenen Ausführungsformen können die Sensordaten 105 dieselben wie Sensordaten 102 oder unterschiedliche Sensordaten sein.The configuration determination module 92 receives as input the classified persons / faces 104 and sensor data 105 , The sensor data 105 include information provided by the sensor devices 40a-40n were recorded. The information is captured information from the interior of the vehicle 10 , In various embodiments, the sensor data includes 105 Image data generated by cameras, the images of the seats and other areas of the interior of the vehicle 10 take up. As can be appreciated, other data may be used in various embodiments, including, but not limited to, lidar data, radar data, etc. In various embodiments, the sensor data 105 the same as sensor data 102 or different sensor data.

Das Konfigurationsbestimmungsmodul 92 verarbeitet die Sensordaten 105, um einen Ort der identifizierten Personen/Gesichter 104 und eine Konfiguration der identifizierten Personen/Gesichter in Bezug auf das Fahrzeug zu bestimmen. So ermittelt beispielsweise das Konfigurationsbestimmungsmodul 92 eine Schwerpunktsposition der/des klassifizierten Person/Gesichts und bildet die Schwerpunktsposition (oder andere Position(en)) zu Position(en) innerhalb des Bildes ab. In einem anderen Beispiel ermittelt das Konfigurationsbestimmungsmodul 92 eine Sammlung von Positionen, wie beispielsweise, jedoch ohne darauf beschränkt zu sein, einen Umriss der/des Person/Gesichts oder einen Umfang eines Begrenzungsrahmens, der die Person/Fläche umgibt. Das Konfigurationsbestimmungsmodul 92 bildet dann die Position(en) innerhalb des Bildes zu Position(en) innerhalb des Fahrzeugs 10 ab, um eine Insassenkonfiguration 106 zu erzeugen. The configuration determination module 92 processes the sensor data 105 to a place of identified persons / faces 104 and determine a configuration of the identified persons / faces with respect to the vehicle. For example, the configuration determination module determines 92 a centroid position of the classified person / face and maps the centroid position (or other position (s)) to position (s) within the image. In another example, the configuration determination module determines 92 a collection of positions, such as, but not limited to, an outline of the person / face or perimeter of a bounding box surrounding the person / area. The configuration determination module 92 then forms the position (s) within the image to position (s) within the vehicle 10 off to an occupant configuration 106 to create.

In verschiedenen Ausführungsformen empfängt das Konfigurationsbestimmungsmodul 92 des Weiteren als Eingabe Sensordaten 107, die von anderen Sensorvorrichtungen, wie Sitzdrucksensoren, Sitzgewichtssensoren, Sicherheitsgurtsensoren usw. erzeugt werden. Das Konfigurationsbestimmungsmodul 92 bestimmt ferner die Größe, das Gewicht, den Typ, den Sicherheitsgurtstatus und/oder andere Informationen über jede/s der identifizierten Personen/Gesichter 104, deren abgebildete Standorte sowie die Sensordaten 107 und/oder die Sensordaten 105, die den abgebildeten Standorten zugeordnet sind.In various embodiments, the configuration determination module receives 92 furthermore as input sensor data 107 that are generated by other sensor devices, such as seat pressure sensors, seat weight sensors, seat belt sensors, etc. The configuration determination module 92 also determines the size, weight, type, seat belt status, and / or other information about each of the identified persons / faces 104 , their mapped locations and the sensor data 107 and / or the sensor data 105 that are assigned to the mapped locations.

Das Vorschriftenvergleichsmodul 94 empfängt als Eingabe die Insassenkonfiguration 106. Das Vorschriftenvergleichsmodul 94 ruft die Vorschriften 108 aus dem Vorschriftendatenspeicher 101 ab und vergleicht die Insassenkonfiguration 106 mit den Vorschriften 108, um zu bestimmen, ob die aktuelle Konfiguration etwaige Sitzverstöße aufweist. Wie ersichtlich kann sich der Vorschriftendatenspeicher 101 im Fahrzeug 10 befinden und/oder entfernt vom Fahrzeug 10 angeordnet sein. In verschiedenen Ausführungsformen zeigen die Vorschriften 108 die verfügbare Sitz- und/oder Sicherheitsgurtfiguration des Fahrzeugs 10 an. In solchen Ausführungsformen vergleicht das Vorschriftenvergleichsmodul 94 die Insassenkonfiguration 106 mit den Vorschriften, um zu bestimmen, ob der Standort jedes Insassen in einem verfügbaren Sitz ist. Wenn ein Standort eines Insassen nicht in einem verfügbaren Sitz ist, wird ein Verstoß 110 identifiziert. Der Verstoß 110 kann so eingestellt werden, dass er den Sitz und/oder den identifizierten Insassen anzeigt, der sich nicht in einem verfügbaren Sitz befindet.The rules comparison module 94 receives as input the occupant configuration 106 , The rules comparison module 94 call the regulations 108 from the prescription data store 101 and compares the occupant configuration 106 with the regulations 108 to determine if the current configuration has any seat violations. As can be seen, the regulation data memory 101 in the vehicle 10 located and / or removed from the vehicle 10 be arranged. In different embodiments, the regulations show 108 the available seat and / or seat belt configuration of the vehicle 10 at. In such embodiments, the rules comparison module compares 94 the occupant configuration 106 with the regulations to determine if the location of each occupant is in an available seat. If a location of an occupant is not in an available seat, it becomes a violation 110 identified. The infringement 110 can be set to display the seat and / or the identified occupant who is not in an available seat.

In verschiedenen Ausführungsformen zeigen die Vorschriften 108 eine Zahl von Insassen an, die in einem verfügbaren Sitz sitzen können und/oder eine Gesamtzahl von Insassen, die in einem Fahrzeug 10 zugelassen sind. In solchen Ausführungsformen vergleicht das Vorschriftenvergleichsmodul 94 die Insassenkonfiguration 106 mit den Vorschriften 108, um zu bestimmen, ob die Anzahl der Insassen, die als sich innerhalb eines verfügbaren Sitzes befindend ermittelt wurden, die vorschriftsmäßige Anzahl nicht überschreitet oder ob die Gesamtzahl der Insassen die vorschriftsmäßige Gesamtzahl nicht überschreitet. So kann beispielsweise die vorschriftsmäßige Anzahl von Insassen für jeden verfügbaren Fahrgastsitz eins sein. In einem anderen Beispiel kann die vorschriftsmäßige Anzahl der Insassen für den Fahrersitz eines autonomen Fahrzeugs null sein. Wenn die Anzahl der Insassen die vorschriftsmäßige Nummer überschreitet, wird ein Verstoß 110 identifiziert. Der Verstoß 110 kann eingestellt werden, den Sitz und/oder die identifizierten Insassen anzuzeigen, die die vorschriftsmäßige Anzahl überschreiten.In different embodiments, the regulations show 108 a number of occupants who can sit in an available seat and / or a total number of passengers in a vehicle 10 allowed are. In such embodiments, the rules comparison module compares 94 the occupant configuration 106 with the regulations 108 to determine if the number of occupants identified as being within an available seat does not exceed the prescribed number or if the total number of occupants does not exceed the total statutory number. For example, the correct number of occupants for each available passenger seat may be one. In another example, the proper number of occupants for the driver's seat of an autonomous vehicle may be zero. If the number of inmates exceeds the legal number, it becomes a violation 110 identified. The infringement 110 may be set to indicate the seat and / or identified occupants exceeding the prescribed number.

In verschiedenen Ausführungsformen zeigen die Vorschriften 108 eine Größe, ein Gewicht und einen Typ von Insassen an, der in dem verfügbaren Sitz sitzen kann. In solchen Ausführungsformen vergleicht das Vorschriftenvergleichsmodul 94 die Insassenkonfiguration 106 mit den Vorschriften 108, um zu bestimmen, ob die Größe, das Gewicht und/oder der Typ eines Insassen, der als sich innerhalb eines verfügbaren Sitzes befindend ermittelt wird, die vorschriftsmäßige Größe, das Gewicht und/oder den Typ nicht überschreitet. Wenn ein Insasse die vorschriftsmäßige Größe, das Gewicht und/oder den Typ überschreitet, wird ein Verstoß 110 identifiziert. Der Verstoß 110 kann eingestellt werden, den Sitz und/oder die identifizierten Insassen anzuzeigen, die die vorschriftsmäßige Größe, das Gewicht und/oder den Typ überschreiten.In different embodiments, the regulations show 108 a size, a weight and a type of occupant who can sit in the available seat. In such embodiments, the rules comparison module compares 94 the occupant configuration 106 with the regulations 108 to determine if the size, weight and / or type of occupant identified as being within an available seat does not exceed the prescribed size, weight and / or type. If an occupant exceeds the prescribed size, weight and / or type, a violation will result 110 identified. The infringement 110 may be adjusted to indicate the seat and / or the identified occupants exceeding the prescribed size, weight and / or type.

Das Benachrichtigungsmodul 96 empfängt als Eingabe den Verstoß 110. Das Benachrichtigungsmodul 96 erzeugt gezielt Benachrichtigungssignale 112, die eine oder mehrere Benachrichtigungsvorrichtungen des Fahrzeugs, der persönlichen Vorrichtung und/oder des Transportsystems aktivieren. Die Benachrichtigungsvorrichtungen erzeugen eine Warnmeldung, die textlich, visuell, hörbar, haptisch usw. ist und die eine Benachrichtigung über den Verstoß liefert.The notification module 96 receives as input the violation 110 , The notification module 96 generates targeted notification signals 112 which activate one or more notification devices of the vehicle, the personal device and / or the transport system. The notification devices generate a warning message that is textual, visual, audible, haptic, etc. that provides notification of the violation.

Das Steuermodul 98 empfängt als Eingabe den Verstoß 110. Das Steuermodul 98 erzeugt gezielt Steuersignale 114, die beim Steuern eines oder mehrerer Merkmale im Fahrzeug auf Grundlage des Verstoßes 110 verwendet werden. Wenn beispielsweise ein Verstoß 110 identifiziert wird, erzeugt das Steuermodul Steuersignale 114, um zu verhindern, dass das Fahrzeug losfährt, ehe der Verstoß 110 aufgehoben wurde.The control module 98 receives as input the violation 110 , The control module 98 generates targeted control signals 114 when controlling one or more features in the vehicle based on the violation 110 be used. For example, if a violation 110 is identified, the control module generates control signals 114 to prevent the vehicle from going off before the offense 110 was repealed.

Wie ersichtlich können die in 4 dargestellten Untermodule miteinander kombiniert und/oder weiter unterteilt werden, um die hierin beschriebenen Funktionen in ähnlicher Weise auszuführen. Eingaben in die Module können in verschiedenen Ausführungsformen vom Sensorsystem 28 empfangen werden, von anderen dem autonomen Fahrzeug 10 zugeordneten Steuermodulen (nicht dargestellt) empfangen werden, vom Kommunikationssystem 36 empfangen werden und/oder von anderen Untermodulen (nicht dargestellt) innerhalb der Steuerung 34 von 1 ermittelt/modelliert werden.As can be seen in 4 submodules are combined and / or further subdivided to perform the functions described herein in a similar manner. Inputs to the modules can be made in various embodiments by the sensor system 28 to be received by others the autonomous vehicle 10 associated control modules (not shown) are received from the communication system 36 are received and / or from other sub-modules (not shown) within the controller 34 from 1 determined / modeled.

Unter jetziger Bezugnahme auf 5 und fortgesetzter Bezugnahme auf die 1-4, veranschaulicht ein Ablaufdiagramm ein Steuerverfahren 300, das von dem Belegungserfassungssystem 100 von 1 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb der Verfahren nicht, wie in 5 veranschaulicht, auf die sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung ausgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 300 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.With reference now to 5 and continuing reference to 1-4 1, a flowchart illustrates a control method 300 that of the occupancy detection system 100 from 1 according to the present disclosure. As can be seen from the disclosure, the sequence of operations within the methods is not as in 5 is limited to sequential processing, but may be implemented, as appropriate, in one or more different orders according to the present disclosure. In various embodiments, the method 300 be scheduled to run based on one or more predefined events and / or continuously during operation of the autonomous vehicle 10 be executed.

In verschiedenen Ausführungsformen kann das Steuerverfahren 300 durchgeführt werden, um Insassen des Fahrzeugs 10 zu überprüfen, wenn sie das Fahrzeug 10 für gemeinschaftliche Fahrten besteigen und dieses verlassen. Wie ersichtlich kann das Steuerverfahren 300 oder andere Steuerverfahren jederzeit vor, während und nach einer Fahrt durchgeführt werden, und es ist nicht auf die vorliegenden Beispiele beschränkt.In various embodiments, the control method 300 be performed to occupants of the vehicle 10 check if they have the vehicle 10 board for collective journeys and leave. As can be seen, the control method 300 or other control methods are performed at any time before, during and after a trip, and it is not limited to the present examples.

In einer Ausführungsform kann das Verfahren bei 305 beginnen. Es wird bestimmt, ob eine neue Fahrt bei 310 begonnen hat (z. B. bei Erfassung des Schließens aller Türen oder anderer Bedingungen). Wenn bei 310 eine neue Fahrt begonnen hat, werden die Sensordaten 102, 107, die im Innenraum des Fahrzeugs 10 erfasst wurden, und optional die Sensordaten 105, die den Sitzen des Fahrzeugs zugeordnet sind, bei 320 empfangen. Die Sensordaten 102 werden bei 330 verarbeitet, beispielsweise, wie vorstehend erörtert, unter Verwendung einer oder mehrerer Maschinenlerntechniken, um Personen und/oder Gesichter im Innenraum des Fahrzeugs 10 zu klassifizieren. Die Sensordaten 105 und optional die Sensordaten 107 werden verarbeitet, um die Insassenkonfiguration 106 bei 330 zu bestimmen, beispielsweise wie vorstehend erörtert. Die dem Fahrzeug 10 zugeordneten Vorschriften 108 werden bei 350 abgerufen, beispielsweise aus dem Vorschriftendatenspeicher 101, der sich im Fahrzeug 10 oder entfernt vom Fahrzeug 10 befindet. Die Insassenkonfiguration 106 wird dann mit den Vorschriften 108 verglichen, um bei 360 zu bestimmen, ob ein Verstoß vorliegt, wie vorstehend erörtert.In one embodiment, the method may begin at 305. It will determine if a new ride is on 310 has begun (eg when detecting the closure of all doors or other conditions). If at 310 a new ride has started, the sensor data 102 . 107 in the interior of the vehicle 10 and, optionally, the sensor data 105 , which are associated with the seats of the vehicle at 320 receive. The sensor data 102 become at 330 processed, for example, as discussed above, using one or more machine learning techniques to persons and / or faces in the interior of the vehicle 10 to classify. The sensor data 105 and optionally the sensor data 107 are processed to the occupant configuration 106 at 330 for example, as discussed above. The the vehicle 10 associated regulations 108 become at 350 retrieved, for example, from the regulation data store 101 who is in the vehicle 10 or away from the vehicle 10 located. The occupant configuration 106 will then comply with the regulations 108 compared to at 360 to determine whether a violation exists, as discussed above.

Wenn bei 370 in der Insassenkonfiguration 106 kein Verstoß 110 vorliegt, kann das Verfahren bei 400 enden. Wenn jedoch ein oder mehrere Verstöße 110 bei 370 vorliegen, werden bei 380 Benachrichtigungssignale 112 erzeugt, um die Insassen und/oder Andere über den Verstoß 110 zu informieren; und Steuersignale 114 werden bei 390 erzeugt, um beispielsweise das Fahrzeug 10 dahingehend zu steuern, dass es in seiner Position verharrt, bis der Verstoß behoben ist. Danach kann das Verfahren bei 400 enden.If at 370 in the occupant configuration 106 no offense 110 is present, the procedure can 400 end up. However, if one or more violations 110 at 370 be present 380 notification signals 112 generated to the inmates and / or others about the violation 110 to inform; and control signals 114 become at 390 generated, for example, the vehicle 10 to steer it into its position until the violation is resolved. After that, the procedure can be 400 end up.

Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Variationen gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.While at least one exemplary embodiment has been presented in the foregoing detailed description, it should be understood that there are a large number of variations. It is further understood that the exemplary embodiment or exemplary embodiments are merely examples and are not intended to limit the scope, applicability, or configuration of this disclosure in any way. Rather, the foregoing detailed description provides those skilled in the art with a convenient plan for implementing the exemplary embodiment (s). It should be understood that various changes can be made in the function and arrangement of elements without departing from the scope of the disclosure as set forth in the appended claims and their legal equivalents.

Claims

A method of controlling a vehicle, comprising: Receiving sensor data detected from the interior of a vehicle; determining at least one occupant of a vehicle based on the sensor data and a machine learning technique; determining a configuration of the at least one occupant of the vehicle; comparing the configuration with seating regulations associated with the vehicle to determine when a violation has occurred; and selectively controlling the vehicle and generating notification signals to notify a user based on the determination of when a violation occurs.

Method according to Claim 1 wherein the sensor data is image data acquired by at least one image sensor of the vehicle.

Method according to Claim 1 , further comprising determining a position of the at least one occupant relative to the vehicle, wherein determining the configuration of the occupants is based on the location.

Method according to Claim 3 wherein determining the configuration is further based on data associated with a seat or seatbelt of the vehicle.

Method according to Claim 1 wherein the seating regulations include the available seats of the vehicle.

Method according to Claim 1 wherein the seating regulations include the available seat belts of the vehicle.

Method according to Claim 1 wherein the seating regulations include a number of occupants who may sit in an available seat of the vehicle.

Method according to Claim 1 in which the seating regulations include a total number of occupants admitted in the vehicle.

Method according to Claim 1 wherein the seating provisions include at least one of a size, a weight and a type of occupant that may be seated in an available seat of the vehicle.

A system for controlling a vehicle, comprising: a non-transitory computer-readable medium comprising: a first module configured to receive by a processor sensor data sensed from an interior of a vehicle and to determine at least one occupant of a vehicle based on the sensor data and a machine learning technique, a second module configured to determine by a processor a configuration of the at least one occupant of the vehicle; a third module configured to compare, by a processor, the configuration with seat regulations associated with the vehicle to determine when a violation has occurred; and a fourth module configured to selectively control, by a processor, the vehicle and generate notification signals to notify a user based on the determination of when a violation occurs.