DE102021003061A1

DE102021003061A1 - Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern von Fahrzeugen anhand von Kamerabildern

Info

Publication number: DE102021003061A1
Application number: DE102021003061.3A
Authority: DE
Inventors: Mohammad Rasty
Original assignee: FEV Group GmbH
Current assignee: FEV Group GmbH
Priority date: 2020-07-25
Filing date: 2021-06-15
Publication date: 2022-01-27
Also published as: DE102020004513A1

Abstract

Die Erfindung betrifft ein Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern (10) von Fahrzeugen (20) anhand von Kamerabildern (40), umfassend die Schritte:
- Erfassen von Kamerabildern (40) eines Fahrers (10) eines Fahrzeugs (20) mittels einer Kamera (1),
- Identifizieren von Körperhaltungen des Fahrers (10) in den Kamerabildern (40) durch eine Recheneinrichtung (30);
- Kategorisieren der Körperhaltungen anhand von bereitgestellten Kategorien durch die Recheneinrichtung (30);
- Bereitstellen von jeweils unterschiedlichen Zahlenbuchstabenfolgen für die Kategorien durch die Recheneinrichtung (6);
- Erstellen eines Datensatzes (50) durch Zusammenfügen der Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen durch die Recheneinrichtung (30);
- Übermitteln des Datensatzes (50) zwecks Analyse des Datensatzes (50) von der Recheneinrichtung an eine Analyseeinrichtung (60);
- Analysieren des Datensatzes (50) zwecks Identifikation von spezifischen Verhaltensweisen des Fahrers (10) durch die Analyseeinrichtung (60).

Description

Die Erfindung betrifft ein Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern von Fahrzeugen, eine Recheneinrichtung und ein Computerprogrammprodukt.
Die US2015186714A offenbart ein System zum Überwachen von Körperhaltungen eines Fahrers eines Fahrzeugs.
Ein erfindungsgemäßes Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern von Fahrzeugen anhand von Kamerabildern umfasst die Schritte:

- Erfassen von Kamerabildern eines Fahrers eines Fahrzeugs mittels einer Kamera,
- Identifizieren von Körperhaltungen des Fahrers in den Kamerabildern durch eine Recheneinrichtung;
- Kategorisieren der Körperhaltungen anhand von bereitgestellten Kategorien durch die Recheneinrichtung;
- Bereitstellen von jeweils unterschiedlichen Zahlenbuchstabenfolgen für die Kategorien durch die Recheneinrichtung;
- Erstellen eines Datensatzes durch Zusammenfügen der Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen durch die Recheneinrichtung;
- Übermitteln des Datensatzes zwecks Analyse des Datensatzes von der Recheneinrichtung an eine Analyseeinrichtung;
- Analysieren des Datensatzes zwecks Identifikation von spezifischen Verhaltensweisen des Fahrers durch die Analyseeinrichtung.

Dadurch, dass der Datensatz Kategorien zur Kategorisierung der Körperhaltungen umfasst, umfasst der Datensatz indirekt kategorisierte Körperhaltungen des Fahrers.
Dadurch ergibt sich, dass der Datensatz eine einfache und anonymisierte Darstellung der kategorisierten Körperhaltungen des Fahrers ist.
Dadurch, dass der Datensatz mittels der kategorisierten Körperhaltungen erzeugt wird, wird eine schnelle und präzise Analyse des Datensatzes durch die Analyseeinrichtung, welche beispielsweise als neuronales Netz ausgebildet ist, ermöglicht. Dies wird ermöglicht, ohne dass persönliche Daten des Fahrers, wie beispielsweise die Kamerabilder, an die Analyseeinheit übertragen werden müssen.
Weiterhin wird es so ermöglicht, dass eine Vielzahl von Körperhaltungen von einer Vielzahl von Fahrern kategorisiert werden können. Diese große Vielzahl an kategorisierten Körperhaltungen können zum Training von Analyseeinrichtungen wie neuronalen Netzen verwendet werden. Durch den Einsatz der so trainierten Analyseeinrichtungen wird dann wiederum eine genaue und schnelle Analyse der kategorisierten Körperhaltungen ermöglicht.
Körperhaltungen umfassen Blickrichtungen, Augenöffnungswinkel, Augenbewegungen, Lippenbewegungen, Schulterbewegungen und/oder Torsobewegungen.
Fahrer umfassen Fahrzeugführer und/oder Fahrzeuginsassen.
Dadurch, dass der Datensatz durch Zusammenfügen von Zahlenbuchstabenkombinationen erzeugt wird, wird eine geringe Datengröße des Datensatzes ermöglicht. Dies ermöglicht es, dass der Datensatz einfach und unkompliziert auch über mobile Netzwerke transportiert werden kann.
Zahlenbuchstabenfolgen umfassen bevorzugt Ascii Zeichensätze, insbesondere arabische Zahlen und lateinische Buchstaben mit oder ohne Sonderzeichen. Dies ermöglicht eine einfache Verarbeitung des Datensatzes durch eine Vielzahl an international eingesetzten Computern.
Dadurch, dass der Datensatz derart aufgebaut ist, wird es ermöglicht, dass Analyseeinrichtungen, wie neuronale Netze diesen besonders leicht verarbeiten können. Dies wiederum ermöglicht ein einfaches Analysieren der Körperhaltungen des Fahrers, wodurch möglicherweise gefährliche Verhaltensweise des Fahrers schnell identifiziert werden können. Dies ermöglicht eine Erhöhung der Sicherheit für den Fahrer und andere Verkehrsteilnehmer.
Verhaltensweisen umfassen einen Aufmerksamkeitsgrad des Fahrers für den aktuellen Straßenverkehr, eine Aktivität des Fahrers, wie Essen, Trinken und das Führen von Unterhaltungen, einen Müdigkeitsgrad des Fahrers und/oder einen Aktivitätsgrad des Fahrers. Gefährliche Verhaltensweise sind dabei beispielsweise solche, aus denen sich eine erhöhte Gefährdung des Fahrers und/oder anderer Verkehrsteilnehmer ergibt.
Dies ermöglicht es, dass spezifische und/oder gefährliche Verhaltensweisen des Fahrers schnell und präzise identifiziert werden können. Dies ermöglicht ein frühzeitiges Auslösen eines Alarms für den Fall, dass gefährliches Verhalten identifiziert wurde.
Eine erfindungsgemäße Recheneinrichtung zum Identifizieren von spezifischen Verhaltensweisen von Fahrern von Fahrzeugen anhand von Kamerabildern umfasst eine Kamera zum Erfassen von Kamerabildern eines Fahrers eines Fahrzeugs. Die Recheneinrichtung ist ausgebildet und eingerichtet zum Identifizieren von Körperhaltungen des Fahrers in den Kamerabildern, zum Kategorisieren der Körperhaltungen anhand von bereitgestellten Kategorien, zum Erstellen eines Datensatzes durch Zusammenfügen von bereitgestellten Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen und/oder zum Übermitteln des Datensatzes zwecks Analyse des Datensatzes von der Recheneinrichtung an eine Analyseeinrichtung.
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren zum automatisierten Erstellen eines Datensatzes über spezifische Körperhaltungen von Fahrern von Fahrzeugen durchzuführen.
Die Vorteile des erfindungsgemäßen Verfahrens ergeben sich in gleicher Weise für die erfindungsgemäße Recheneinrichtung und das erfindungsgemäße Computerprogrammprodukt.
Die abhängigen Ansprüche beschreiben vorteilhafte Ausführungsformen der Erfindung.
Bevorzugte Ausführungsbeispiele werden anhand der folgenden Figur näher erläutert.

1 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Recheneinrichtung 30.

Die Recheneinrichtung 30 ist ein Smartphone.
Handelsübliche Smartphones umfassen in der Regel Kameras und Rechner und sind in einer Vielzahl von Ausgestaltungen preisgünstig erhältlich. Dies ermöglicht es, dass sich die erfindungsgemäße Recheneinrichtung 5 lediglich mittels Softwareanpassungen an ein handelsübliches Smartphone herstellen lässt.
Die Recheneinrichtung 30 umfasst eine Kamera 1 zum Erfassen von Kamerabildern 40 eines Fahrers 10 eines Fahrzeugs 2.
In diesem Ausführungsbeispiel ist die Kamera 1 derart ausgerichtet, dass ein Kopf des Fahrers 10 etwa in einem Zentrum der Kamerabilder 40 zu sehen ist. Dies ermöglicht eine direkte Aufnahme des Gesichts des Fahrers 10. Die Kamerabilder 40 sind Videoaufnahmen des Fahrers 10. Alternativ ist auch das Erfassen von einzelnen Bildern denkbar.
Die Recheneinrichtung 30 umfasst in diesem Ausführungsbeispiel eine Infrarotkamera 1, ausgebildet und eingerichtet, Licht des infraroten Spektrums zu erfassen. In diesem Ausführungsbeispiel sind die Kamera 1 und die Infrarotkamera 1 identisch. Dadurch wird es ermöglicht, auch bei dunkeln Lichtverhältnissen Bewegungen des Fahrers 10 mit der Kamera 1 zu erfassen. Die Recheneinrichtung 30 umfasst zudem eine Infrarotlichtquelle 2, ausgebildet und eingerichtet, Licht im infraroten Spektrum auszusenden. Die Infrarotlichtquelle 2 ist derart angeordnet, dass Licht, welches von der Infrarotlichtquelle 2 vom Fahrer 10 reflektiert wird und von der Kamera 1 erfasst werden kann. Dies ermöglicht eine Ausleuchtung des Fahrers 10 mit optisch für den Fahrer nicht wahrnehmbarer und dadurch nicht störender Strahlung.
In diesem Ausführungsbeispiel umfasst die Recheneinrichtung 30 einen Rechner 5. Der Rechner 5 ist ausgebildet und eingerichtet, Körperhaltungen des Fahrers 10 in den Kamerabildern 40 zu identifizieren.
Von einer ersten externen Quelle werden Kategorien zur Kategorisierung der Körperhaltungen bereitgestellt.
Die Kategorien umfassen Blickrichtungen, Augenöffnungswinkel, Augenbewegungen, Lippenbewegungen, Schulterbewegungen und/oder Torsobewegungen.
Der Rechner 5 kategorisiert die Körperhaltungen anhand der bereitgestellten Kategorien.
In diesem Ausführungsbeispiel umfassen die kategorisierten Körperhaltungen eine Winkelangabe für eine Pupillenposition, einen Augenöffnungswinkel, eine Pupillenbewegungstrajektorie, Lippenpositionen, Schulterpositionen und Torsopositionen. Dabei werden für die entsprechenden Körperteile Marker bereitgestellt, die ein Identifizieren der genannten Positionen ermöglichen.
Von einer zweiten externen Quelle werden jeweils unterschiedlichen Zahlenbuchstabenfolgen für die Kategorien bereitgestellt. In diesem Ausführungsbeispiel sind die erste externe und die zweite externe Quelle identisch.
In diesem Ausführungsbeispiel ist die bereitgestellte Zahlenbuchstabenfolge für den Öffnungswinkel des Auges ÖWA1. Dieser Kategorie wird dann der identifizierte Öffnungswinkel zugeordnet. In diesem Ausführungsbeispiel beträgt der Öffnungswinkel 105°.
Der Rechner 5 erstellt einen Datensatz 50 durch Zusammenfügen der Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen.
In diesem Ausführungsbeispiel stellt die externe Quelle eine standardisierte Vorschrift zum Zusammenfügen des Datensatzes 50 bereit. Dabei ist die Reihenfolge vorgegeben, in denen die einzelnen Kategorien auftreten. Jeweils dahinter wird die identifizierte Körperhaltung gesetzt. Dadurch ergibt sich ein standardisierter Datensatz 50.
Der Datensatzes 50 wird zu einer Analyseeinrichtung 60 zwecks Analyse des Datensatzes 50 und/oder zwecks Trainings der Analyseeinrichtung 60 übertragen.
Die Recheneinrichtung 30 umfasst eine zweite Kamera. Die zweite Kamera ist gegenüberliegend zu der ersten Kamera 1 angeordnet. Dies ermöglicht es, dass zusätzlich zu den Bildern des Fahrers 10 auch Bilder von einer Verkehrssituation des Fahrzeugs 20 zur selben Zeit erfasst werden. In diesem Ausführungsbeispiel umfasst die Verkehrssituation eine Straße, auf der sich das Fahrzeug 20 aktuell befindet, sowie andere Verkehrsteilnehmer, die sich innerhalb von 500 m um das Fahrzeug 20 befinden. In diesem Ausführungsbeispiel werden Kategorien zur Kategorisierung der Verkehrssituation bereitgestellt. Die erfasst Verkehrssituation wird anhand dieser Kategorien kategorisiert. Die so kategorisiert Verkehrssituation wird ebenfalls in den Datensatz 50 geschrieben. Dies ermöglicht es, dass der Datensatz 50 zusätzlich Information zur Verkehrssituation umfasst, wodurch die spezifischen Verhaltensweisen des Fahrers 10 in Zusammenhang mit der Verkehrssituation gebracht werden kann. Dadurch wird eine Erweiterung von herkömmlichen ADAS, welche von dem Fahrzeug 20 umfasst sind.
Die Analyseeinrichtung 60 ist räumlich getrennt von dem Fahrzeug 20 angeordnet. Dies Analyseeinrichtung 60 ist ein neuronales Netz.
Dies ermöglicht es, dass die Analyseeinrichtung 60 als ein besonders leistungsstarkes neuronales Netz ausgebildet ist. Dies ermöglicht eine präzise Identifikation von spezifischen Verhaltensweisen des Fahrers 10.
Dies ermöglicht ebenfalls die Identifikation von gefährlichen Verhaltensweisen des Fahrers 10. In dem Fall, dass gefährliche Verhaltensweisen des Fahrers 10 identifiziert werden, werden zuständige Operationseinheiten des Fahrers 10 alarmiert. Dies ermöglicht ein zeitnahes Beenden der gefährlichen Verhaltensweisen durch den Fahrer 10.
In diesem Ausführungsbeispiel umfassen spezifische Verhaltensweisen einen Aufmerksamkeitsgrad des Fahrers für den aktuellen Straßenverkehr, eine Aktivität des Fahrers, wie Essen, Trinken und das Führen von Unterhaltungen, einen Müdigkeitsgrad des Fahrers und/oder einen Aktivitätsgrad des Fahrers.
In diesem Ausführungsbeispiel analysiert das neuronale Netz den Datensatz 50 im Hinblick auf spezifische Verhaltensweisen des Fahrers 1 0. Die Verhaltensweisen umfassen einen Aufmerksamkeitsgrad des Fahrers für den aktuellen Straßenverkehr, eine Aktivität des Fahrers, wie Essen, Trinken und das Führen von Unterhaltungen, einen Müdigkeitsgrad des Fahrers und/oder einen Aktivitätsgrad des Fahrers.
Aus der Gesamtheit des Datensatzes 50 analysiert das neuronale Netz, dass Fahrer in diesem Datensatz 50 aufmerksam ist. Somit ergibt die Analyse keine gefährlichen Verhaltensweisen.
In einem alternativen Ausführungsbeispiel ergibt die Analyse, dass der Fahrer unaufmerksam ist. Daraufhin wird ein Alarm zunächst bei dem Fahrer selbst ausgelöst. Sollte sich dadurch keine Erhöhung der Aufmerksamkeit ergeben, wird bei einem Berufsfahrer ein zuständiger Vorgesetzter informiert. Dadurch wird eine Erhöhung der Aufmerksamkeit des Fahrers 20 ermöglicht. In einem weiteren alternativen Ausführungsbeispiel ist der Fahrer 10 ein junger Fahrer, dessen zuständige Operationseinheit die Eltern des jungen Fahrers sind.
In einer alternativen Ausführungsform ist die Analyseeinrichtung 60 als Software ausgebildet. Die Software basiert auf einem neuronalen Netz, welches zur Identifikation von spezifischen Verhaltensweisen des Fahrers 10 trainiert wurde.
Dies ermöglicht die Verwendung von leistungsschwachen Rechnern 5 zur Identifikation von spezifischen Verhaltensweisen des Fahrers 10. Da die Software auf einem für diesen Zweck trainierten neuronalen Netz basiert, wird trotz des leitungsschwachen Rechners 5 eine präzise Identifikation von spezifischen Verhaltensweisen des Fahrers 10 ermöglicht. Dadurch, dass der Rechner 5 leistungsschwach ist, werden eine geringer Stromverbrauch und eine geringe Baugröße für den Rechner 5 ermöglicht. Dies wiederum ermöglicht eine problemlose Integration des Rechners 5 in das Fahrzeug 20.
Die Recheneinrichtung 30 umfasst eine CAN-Verbindungseinrichtung 4 zum Ermitteln, Senden und/oder Empfangen von CAN-Bus Daten über einen CAN-Bus, wobei der CAN-Bus ein fahrzeuginterner CAN-Bus ist. Die CAN-Bus Daten stehen dabei in zeitlicher Verbindung zu den Kamerabildern 40. Eine zeitliche Verbindung besteht in diesem Ausführungsbeispiel dann, wenn der Zeitpunkt der Erfassung der Kamerabilder 40 vom Zeitpunkt einer Erzeugung der CAN-Bus Daten nicht um mehr als 5 Minuten abweicht.
In diesem Ausführungsbeispiel werden die CAN-Bus Daten aus dem CAN-Bus ebenfalls in den Datensatz 50 geschrieben. Diese werden zunächst über die CAN-Verbindungseinrichtung 4 an den Rechner 5 übertragen. Die CAN-Bus Daten umfassen dabei jeweils eine Beschreibung. So ist zum Beispiel die Beschreibung für den Lenkwinkel „Lenkwinkel“. Diese Beschreibung bildet ebenfalls eine Kategorie. Die zugehörigen Daten werden dann entsprechend kategorisiert.
Die Einrichtung 30 umfasst eine Satellitennavigationseinrichtung 3 zum Ermitteln von aktuellen Positionen des Fahrzeugs 20. In diesem Ausführungsbeispiel werden die aktuellen Positionen des Fahrzeugs 20 ebenfalls in den Datensatz 50 aufgenommen. Dabei erfolgt eine Kategorisierung mittels der Kategorie „Position“.
Ein nicht gezeigtes, erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern 10 von Fahrzeugen 20 anhand von Kamerabildern 40.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2015186714 A [0002]

Claims

Verfahren zum Identifizieren von spezifischen Verhaltensweisen von Fahrern (10) von Fahrzeugen (20) anhand von Kamerabildern (40), umfassend die Schritte: - Erfassen von Kamerabildern (40) eines Fahrers (10) eines Fahrzeugs (20) mittels einer Kamera (1), - Identifizieren von Körperhaltungen des Fahrers (10) in den Kamerabildern (40) durch eine Recheneinrichtung (30); - Kategorisieren der Körperhaltungen anhand von bereitgestellten Kategorien durch die Recheneinrichtung (30); - Bereitstellen von jeweils unterschiedlichen Zahlenbuchstabenfolgen für die Kategorien durch die Recheneinrichtung (6); - Erstellen eines Datensatzes (50) durch Zusammenfügen der Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen durch die Recheneinrichtung (30); - Übermitteln des Datensatzes (50) zwecks Analyse des Datensatzes (50) von der Recheneinrichtung an eine Analyseeinrichtung (60); - Analysieren des Datensatzes (50) zwecks Identifikation von spezifischen Verhaltensweisen des Fahrers (10) durch die Analyseeinrichtung (60).
Verfahren nach Anspruch 1, wobei die Analyseeinrichtung (60) ein neuronales Netz ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Analyseeinrichtung (60) räumlich getrennt von dem Fahrzeug (20) angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Analyseeinrichtung (60) als Software ausgebildet ist, und wobei die Software auf einem neuronalen Netz basiert, welches zur Identifikation von spezifischen Verhaltensweisen des Fahrers (10) trainiert wurde.
Verfahren nach Anspruch 4, wobei die Software auf der Recheneinrichtung (60) läuft.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Recheneinrichtung (60) und/oder die Kamera (1) ein Smartphone ist.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend den Schritt: - Erfassen von zweiten Kamerabildern einer Verkehrssituation des Fahrzeugs (20) mittels einer zweiten Kamera.
Verfahren nach einem der vorhergehenden Ansprüche, umfassend die Schritte: - Ermitteln von CAN-Bus Daten des Fahrzeugs (20) durch eine Ermittlungseinrichtung (4), wobei die CAN-Bus Daten in zeitlicher Verbindung zu den Kamerabildern (40) stehen; - Übermitteln der CAN-Bus Daten an die Recheneinrichtung (30) zwecks Berücksichtigung der CAN-Bus Daten bei der Erstellung des Datensatzes (50).
Recheneinrichtung (30) zum Identifizieren von spezifischen Verhaltensweisen von Fahrern (10) von Fahrzeugen (20) anhand von Kamerabildern (40), umfassend - eine Kamera (1) zum Erfassen von Kamerabildern (40) eines Fahrers (10) eines Fahrzeugs (20), - wobei die Recheneinrichtung (30) ausgebildet und eingerichtet ist zum Identifizieren von Körperhaltungen des Fahrers (10) in den Kamerabildern (40), zum Kategorisieren der Körperhaltungen anhand von bereitgestellten Kategorien, zum Erstellen eines Datensatzes (50) durch Zusammenfügen von bereitgestellten Zahlenbuchstabenfolgen der Kategorien für die Körperhaltungen und/oder zum Übermitteln des Datensatzes (50) zwecks Analyse des Datensatzes (50) von der Recheneinrichtung an eine Analyseeinrichtung (60).
Computerprogrammprodukt, umfassend ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren nach einem der Ansprüche 1 bis 5 durchzuführen.