DE102023119143A1

DE102023119143A1 - Systeme und verfahren zum bereitstellen alternativer ansichten für blockierte rück- und seitenspiegel

Info

Publication number: DE102023119143A1
Application number: DE102023119143.8A
Authority: DE
Inventors: Andrew Denis Lewandowski; Keith Weston; Jordan Barrett; Brendan Diamond; Michael Alan McNees
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2022-07-29
Filing date: 2023-07-19
Publication date: 2024-02-01
Also published as: US20240034407A1; CN117465345A

Abstract

Die Offenbarung ist im Allgemeinen auf Systeme und Verfahren zum automatischen Erkennen von im Inneren blockierten Rück- und Seitenspiegeln gerichtet. Ein beispielhaftes Verfahren zum Erkennen einer Behinderung kann Erkennen einer Behinderung, die einen Fahrer daran hindert, einen einem Spiegel zugeordneten relevanten Bereich zu sehen, über Sensoren im Fahrzeug, Bestimmen einer Permanenz, die der Behinderung zugeordnet ist, und Umschalten in einen Kameramodus anstelle des Spiegels, wenn die Behinderung eine Permanenz über einen Schwellenwert hinaus aufweist, beinhalten.

Description

GEBIET
Diese Offenbarung betrifft im Allgemeinen Fahrzeuge und betrifft genauer Systeme und Verfahren zum Erkennen und Entschärfen von blockierten Rück- und Seitenspiegeln.
ALLGEMEINER STAND DER TECHNIK
Fahrer können typischerweise Fahrgäste oder andere Lasten in Fahrzeugen haben, die die Sichtbarkeit von Rück- und Seitenspiegeln aufgrund von Bewegungen von Fahrgästen im Inneren, Paketen, die den gesamten verfügbaren Raum in dem Fahrzeug ausfüllen, und dergleichen verdecken. Leider kann eine derartige Verdeckung zu einer dramatisch reduzierten Sichtbarkeit in Bezug auf Rück- und Seitenspiegel führen. Wenn zum Beispiel ein Fahrer ein großes Objekt transportiert, das notwendigerweise Platz in Augenhöhe des Fahrers einnimmt, sind häufig einige der Rück- und Seitenspiegel verdeckt. Ein mögliches Problem im Zusammenhang mit blockierten Spiegeln beinhaltet die Unfähigkeit, Fahrzeuge und Objekte in einem toten Winkel zu sehen, die Unfähigkeit, bei voller Sicht zurückzusetzen oder die Spur zu wechseln. Wenn ein Fahrzeug mit vielen Fahrgästen beladen ist, können die gleichen Probleme dahingehend vorliegen, dass die Blockierung im Inneren eines bevorzugten Spiegels Sichtbarkeitsprobleme verursachen und Fahrentscheidungen beeinflussen kann.
Somit ist es wünschenswert, Lösungen bereitzustellen, die den Bedarf an einer Entschärfung von im Inneren blockierten Rück- und Seitenspiegeln angehen.
KURZDARSTELLUNG
Hinsichtlich eines allgemeinen Überblicks ist diese Offenbarung im Allgemeinen auf Systeme und Verfahren zum automatischen Erkennen von im Inneren blockierten Rück- und Seitenspiegeln gerichtet, die Erkennen einer Behinderung, die einen Fahrer daran hindert, einen einem Spiegel zugeordneten relevanten Bereich zu sehen, über Sensoren im Fahrzeug, Bestimmen einer Permanenz, die der Behinderung zugeordnet ist, und Umschalten in einen Kameramodus anstelle des Spiegels, wenn die Behinderung eine Permanenz über einen Schwellenwert hinaus aufweist, beinhalten.
In einer oder mehreren Ausführungsformen beinhaltet das Erkennen der Behinderung Erkennen der Behinderung über einen Sichtliniensensor innerhalb des Fahrzeuginnenraums, der Behinderungen innerhalb des Fahrzeugs eines relevanten Bereichs erkennt, der Rück- und Seitenspiegeln zugeordnet ist.
In einer oder mehreren Ausführungsformen beinhaltet das Umschalten in einen Kameramodus Anzeigen einer Ansicht des relevanten Bereichs für den Spiegel unter Verwendung einer nach außen weisenden Kamera anstelle des Spiegels.
In einer oder mehreren Ausführungsformen beinhalten die Sensoren Innenraumkameras, Fahrerzustandsüberwachungskameras (driver state monitoring camera - DSMC) und innere Fahrgast- und Insassenkameras, LiDAR-Sensoren, RADAR-Sensoren in einer zweidimensionalen Spektralebene, Ultraschallsensoren und Ultrabreitband (Ultra-Wideband - UWB)-Sensoren, die eine Behinderung von Seiten- und Rückspiegeln überwachen und identifizieren.
In einer oder mehreren Ausführungsformen beinhaltet das Bestimmen einer Permanenz, die der Behinderung zugeordnet ist, Vergleichen einer Zeitdauer der Behinderung mit einem voreingestellten Schwellenwert oder einem in einem Benutzerprofil festgelegten Schwellenwert.
In einer oder mehreren Ausführungsformen beinhaltet das Bestimmen der Permanenz, die der Behinderung zugeordnet ist, Anwenden von maschinellem Lernen, um die Permanenz der Behinderung durch Identifizieren von Fahrgästen und Objekten innerhalb des Fahrzeugs und Zuordnen eines transienten Zustands zu Objekten und identifizierten Fahrgästen, die als transient bestimmt sind, adaptiv zu bestimmen.
In einer oder mehreren Ausführungsformen erfolgt das Erkennen der Behinderung, wenn das Fahrzeug aus dem Park- in den Fahrmodus schaltet.
In einer oder mehreren Ausführungsformen beinhaltet das Umschalten in den Kameramodus anstelle des Spiegels Anzeigen einer Kameraansicht der verdeckten Ansicht über einen digitalen Spiegel oder eine Anzeige in dem Fahrzeug. Ferner beinhaltet in einer oder mehreren Ausführungsformen das Umschalten in den Kameramodus Bereitstellen einer Head-up-Display (HUD)-Ansicht des relevanten Bereichs anstelle des Spiegels auf einer Windschutzscheibe des Fahrzeugs oder Bereitstellen einer Ansicht des relevanten Bereichs auf einer Anzeige, die einem integrierten fahrzeuginternen Kommunikations- und Unterhaltungssystem zugeordnet ist.
In einer oder mehreren Ausführungsformen beinhaltet das Verfahren ferner automatisches Unterstützen eines Fahrers des Fahrzeugs, wenn bestimmt wird, dass die Behinderung über den Schwellenwert hinaus dauerhaft ist, einschließlich Anzeigen von Kameraansichten von nach außen weisenden Kameras, wenn erkannt wird, dass eine Sichtlinie zu einem spezifischen Spiegel verdeckt ist, um dem Fahrer das Überwachen von verdeckten Bereichen um das Fahrzeug herum zu ermöglichen, Anzeigen von Kameraansichten bei Erkennung von zu dichtem Auffahren hinter dem Fahrzeug und Bereitstellen einer Warnung an den Fahrer, wenn dringende Umstände erkannt werden, an denen Einsatzfahrzeuge, wie etwa Polizei und Krankenwagen, beteiligt sind.
In einer oder mehreren Ausführungsformen beinhaltet das automatische Unterstützen des Fahrers Erkennen, dass der Fahrer ein Manöver versucht, während der Spiegel verdeckt ist und die digitale Fahrerunterstützung abgelehnt ist, und Abraten von dem Manöver durch Bereitstellen einer negativen Lenkdrehmomentrückkopplung, Warnen des Fahrers über haptische Sitzvibrationen, Warnen den Fahrer durch Ertönenlassen eines Alarms und Bereitstellen einer hörbaren Warnung über ein Radio.
Eine weitere Ausführungsform ist auf ein System für ein Fahrzeug gerichtet, das eine Vielzahl von Sensoren innerhalb des Fahrzeugs, eine Vielzahl von nach außen weisenden Kameras, die an das Fahrzeug gekoppelt ist, einen Speicher, der an die Vielzahl von Sensoren und die Vielzahl von nach außen weisenden Kameras gekoppelt ist, der computerausführbare Anweisungen speichert, und einen an den Speicher gekoppelten Prozessor beinhaltet, wobei der Prozessor dazu konfiguriert ist, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen auszuführen, um durch die Sensoren in dem Fahrzeug eine Behinderung zu erkennen, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der einem Spiegel des Fahrzeugs zugeordnet ist, eine der Behinderung zugeordnete Permanenz zu bestimmen und in einen Kameramodus anstelle des Spiegels umzuschalten, wenn die Behinderung eine Permanenz über einen Schwellenwert hinaus aufweist.
In einer oder mehreren Ausführungsformen führt der Prozessor, der dazu konfiguriert, Anweisungen auszuführen, um die der Behinderung zugeordneten Permanenz zu bestimmen, ferner Anweisungen aus, um maschinelles Lernen anzuwenden, um die Permanenz durch Identifizieren von Fahrgästen und Objekten innerhalb des Fahrzeugs und Zuordnen eines transienten Zustands zu Objekten und identifizierten Fahrgästen, die als vorübergehend bekannt sind, adaptiv zu bestimmen.
Eine weitere Ausführungsform ist auf ein Fahrzeug gerichtet, das ein Fahrgestell, einen an das Fahrgestell gekoppelten Motor, einen an das Fahrgestell gekoppelten bordeigenen Computer beinhaltet, wobei der bordeigene Computer einen Speicher und einen an den Speicher gekoppelten Prozessor beinhaltet, wobei der Prozessor dazu konfiguriert ist, eine oder mehrere Anweisungen auszuführen, um über Sensoren in dem Fahrzeug eine Behinderung zu erkennen, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der einem Spiegel zugeordnet ist, eine der Behinderung zugeordnete Permanenz zu bestimmen und in einen Kameramodus anstelle des Spiegels umzuschalten, wenn die Behinderung eine Permanenz über einen Schwellenwert hinaus aufweist.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Nachstehend wird eine detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten genutzt werden als jene, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.

1 veranschaulicht ein beispielhaftes System, das ein Fahrzeug gemäß einer Ausführungsform der Offenbarung beinhaltet.
2 veranschaulicht einige beispielhafte Funktionsblöcke, die in einem System für ein Fahrzeug gemäß einer Ausführungsform der Offenbarung beinhaltet sein können.
3 veranschaulicht ein Ablaufdiagramm, das ein beispielhaftes Ablaufdiagramm zum Erkennen einer Behinderung eines Spiegels gemäß einer Ausführungsform der Offenbarung veranschaulicht.
4 veranschaulicht ein beispielhaftes Ablaufdiagramm eine Blockierungsüberwachung gemäß einer Ausführungsform der Offenbarung.
5 veranschaulicht ein Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Offenbarung.

DETAILLIERTE BESCHREIBUNG
Die Offenbarung wird in dieser Schrift nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen ausführlicher beschrieben, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind. Diese Offenbarung kann jedoch in vielen unterschiedlichen Formen umgesetzt werden und sollte nicht als auf die in dieser Schrift dargelegten beispielhaften Ausführungsformen beschränkt ausgelegt werden. Für den einschlägigen Fachmann ist ersichtlich, dass verschiedene Änderungen bezüglich Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die nachstehende Beschreibung ist zu Veranschaulichungszwecken dargelegt worden und soll nicht erschöpfend oder auf die exakte offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder Komponente durchgeführt werden. Darüber hinaus können sich, während spezifische Vorrichtungseigenschaften beschrieben worden sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurden. Die spezifischen Merkmale und Handlungen sind vielmehr als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart.
Auch versteht es sich, dass das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, nicht ausschließender und nicht einschränkender Natur sein soll. Darüber hinaus sollten gewisse Wörter und Formulierungen, die in dieser Schrift verwendet werden, dahingehend interpretiert werden, dass sie sich auf verschiedene Objekte und Handlungen beziehen, die im Allgemeinen in verschiedenen Formen und Äquivalenzen vom Durchschnittsfachmann verstanden werden. Zum Beispiel bezieht sich das Wort „Anwendung“ oder die Formulierung „Softwareanwendung“, wie es in dieser Schrift in Bezug auf eine mobile Vorrichtung, wie etwa ein Smartphone, verwendet wird, auf Code (in der Regel Softwarecode), der in der mobilen Vorrichtung installiert ist. Der Code kann über eine Mensch-Maschine-Schnittstelle (MMS), wie etwa einen Touchscreen, gestartet und betrieben werden. Das Wort „Maßnahme“ kann in der Offenbarung austauschbar mit Wörtern wie etwa „Vorgang“ und „Manöver“ verwendet werden. Das Wort „Manövrieren“ kann in einigen Fällen austauschbar mit dem Wort „Steuern“ verwendet werden. Das Wort „Fahrzeug“, wie es in dieser Offenbarung verwendet wird, kann sich auf eine beliebige von verschiedenen Arten von Fahrzeugen beziehen, wie etwa Pkws, Vans, Geländewagen, Lkws, Elektrofahrzeuge, Benzinfahrzeuge, Hybridfahrzeuge und autonome Fahrzeuge. Formulierungen wie etwa „automatisiertes Fahrzeug“, „autonomes Fahrzeug“ und „teilautonomes Fahrzeug“, wie sie in dieser Offenbarung verwendet werden, beziehen sich im Allgemeinen auf ein Fahrzeug, das zumindest einige Vorgänge durchführen kann, ohne dass ein Fahrer in dem Fahrzeug sitzt.
Die Society of Automotive Engineers (SAE) definiert sechs Stufen der Fahrautomatisierung, die von Stufe 0 (vollständig manuell) bis Stufe 5 (vollständig autonom) reichen. Diese Stufen wurden vom US-Verkehrsministerium übernommen. Fahrzeuge der Stufe 0 (L0) sind manuell gesteuerte Fahrzeuge, die keine fahrbezogene Automatisierung aufweisen. In Fahrzeugen der Stufe 1 (L1) sind einige Merkmale, wie etwa Geschwindigkeitsregelung, integriert, doch ein menschlicher Fahrer steuert weiterhin die meisten Fahr- und Manövriervorgänge. Fahrzeuge der Stufe 2 (L2) sind teilweise automatisiert, wobei gewisse Fahrvorgänge, wie etwa Lenken, Bremsen und Spursteuerung, durch einen Fahrzeugcomputer gesteuert werden. Der Fahrer steuert das Fahrzeug weiterhin in einem gewissen Grad und kann gewisse Vorgänge außer Kraft setzen. Fahrzeuge der Stufe 3 (L3) stellen bedingte Fahrautomatisierung bereit, sind jedoch insofern intelligenter, als sie die Fähigkeit aufweisen, eine Fahrumgebung und gewisse Fahrsituationen zu erfassen. Fahrzeuge der Stufe 4 (L4) können in einem Selbstfahrmodus betrieben werden und Merkmale beinhalten, bei denen der Fahrzeugcomputer die Steuerung während gewisser Arten von Ausrüstungsereignissen übernimmt. Der Grad an menschlichem Eingreifen ist sehr gering. Fahrzeuge der Stufe 5 (L5) sind vollständig autonome Fahrzeuge, die keine menschliche Beteiligung einschließen.
1 veranschaulicht ein beispielhaftes System 100, das ein Fahrzeug 102 beinhaltet. Das Fahrzeug 102 kann eine von verschiedenen Arten von Fahrzeugen mit einem Fahrgestell sein und kann ein benzinbetriebenes Fahrzeug, ein Elektrofahrzeug, ein Hybridelektrofahrzeug oder ein autonomes Fahrzeug, das als automatisiertes oder halbautomatisiertes Fahrzeug der Stufe 2 oder höher konfiguriert ist, sein. Das System 100 kann auf vielfältige Weise umgesetzt sein und verschiedene Arten von Vorrichtungen beinhalten. Zum Beispiel kann das beispielhafte System 100 einige Komponenten beinhalten, die Teil des Fahrzeugs 102 sind. Die Komponenten, die Teil des Fahrzeugs 102 sein können, können einen bordeigenen Computer 110 des Fahrzeugs und ein Sensorsystem 112, das an eine Anzeige 109 und Kameras 111 gekoppelt ist, beinhalten. Somit kann der bordeigene Computer 110 an das Fahrzeug 102 gekoppelt sein, wobei der bordeigene Computer mindestens einen Speicher und einen Prozessor, wie etwa einen Speicher 122 und einen an den Speicher gekoppelten Prozessor 104, beinhaltet, wobei der Prozessor 104 dazu konfiguriert ist, Korrekturen zu bestimmen, um die Anzeige 109 zu stabilisieren.
Der bordeigene Computer 110 des Fahrzeugs kann verschiedene Funktionen durchführen, wie etwa Steuern von Motorvorgängen (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), Verwalten von Klimasteuerungen (Klimaanlage, Heizung usw.), Aktivieren von Airbags und Ausgeben einer Warnung (Motorkontrollleuchte, Lampenausfall, niedriger Reifendruck, Fahrzeug in einem toten Winkel usw.).
In einer oder mehreren Ausführungsformen kann der bordeigene Computer 110 des Fahrzeugs verwendet werden, um Merkmale, wie etwa passive schlüssellose Vorgänge, ferngesteuerte Fahrzeugmanövriervorgänge und ferngesteuerte Fahrzeugüberwachungsvorgänge, zu unterstützen. Der bordeigene Computer 110 des Fahrzeugs kann ferner einige Manöver steuern, die durch das Fahrzeug 102 während des Selbsteinparkvorgangs (in der Branche als Ferneinparkunterstützungsvorgang (remote park assist - RePA-Vorgang) bezeichnet) durchgeführt werden.
Der bordeigene Computer 110 des Fahrzeugs kann verschiedene Funktionen durchführen, wie etwa Steuern von Motorvorgängen (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), Verwalten von Klimasteuerungen (Klimaanlage, Heizung usw.), Aktivieren von Airbags und Ausgeben einer Warnung (Motorkontrollleuchte, Lampenausfall, niedriger Reifendruck, Fahrzeug in einem toten Winkel usw.). In einer oder mehreren Ausführungsformen kann der bordeigene Computer 110 des Fahrzeugs ein selbstfahrendes Auto ermöglichen oder Fahrerassistenz bereitstellen. Somit kann der bordeigene Computer 110 des Fahrzeugs ferner ein System 124 für ein fortschrittliches Fahrerassistenzsystem (Advanced Driver-Assistance System - „ADAS“) und ein ADAS-Verbesserungssystem 125 beinhalten, das der Darstellung nach ferner in einer Ausführungsform die verschiedenen Komponenten des Fahrzeugs 102 beinhaltet, die durch das Fahrzeug mittels des ADAS-Verbesserungssystems 125 gesteuert, angeschaltet und/oder betrieben werden können.
In einer Umsetzung kann das ADAS-Verbesserungssystem 125 eine unabhängige Vorrichtung sein (zum Beispiel in einem Gehäuse eingeschlossen sein). In einer anderen Umsetzung können einige oder alle Komponenten des ADAS-Verbesserungssystems 125 mit dem bordeigenen Computer 110 des Fahrzeugs untergebracht oder zusammengeführt sein oder eine Funktionalität mit diesem teilen. Zum Beispiel kann eine integrierte Einheit, die die Funktionalität des ADAS-Verbesserungssystems 125 kombiniert, durch einen einzigen Prozessor und eine einzige Speichervorrichtung betrieben werden. In der veranschaulichten beispielhaften Konfiguration beinhaltet das ADAS-Verbesserungssystem 125 einen Prozessor 104, eine Eingabe-/Ausgabeschnittstelle 127 und einen Speicher 122, ein ADAS-Verbesserungssystemmodul 177, eine Datenbank 175 und ein Betriebssystem 180. Die Eingabe-/Ausgabeschnittstelle 127 ist dazu konfiguriert, Kommunikation zwischen dem ADAS-Verbesserungssystem 125 und anderen Komponenten, wie etwa den Sensoren 150, den Fahrzeugsteuerkomponenten und, falls vorhanden, einem beliebigen Infotainmentsystem bereitzustellen. Der Speicher 122, der ein Beispiel für ein nichttransitorisches computerlesbares Medium ist, kann verwendet werden, um ein Betriebssystem (operating system - OS) 180, eine Datenbank 175 und verschiedene Codemodule, wie etwa ein ADAS-Verbesserungssystemmodul 177, zu speichern. Die Module, die das ADAS-Verbesserungssystemmodul 177 beinhalten, können in Form von computerausführbaren Anweisungen bereitgestellt sein, die durch den Prozessor 104 ausgeführt werden können, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen.
In einer oder mehreren Ausführungsformen beinhaltet ein Kommunikationsnetzwerk 140 eine Mobilfunk- oder Wi-Fi-Kommunikationsverbindung, die es dem Fahrzeug 102 ermöglicht, mit dem Netzwerk 140, das ein cloudbasiertes Netzwerk oder eine cloudbasierte Quelle beinhalten kann, zu kommunizieren, um Daten gemäß dieser Offenbarung zu übertragen.
Das Fahrzeug 102 kann ferner eine Reihe von Knoten, Sensoren und Kameras 150, wie etwa Radare, beinhalten, die auf eine Weise an dem Fahrzeug 102 montiert sind, die es dem bordeigenen Computer 110 des Fahrzeugs ermöglicht, mit Vorrichtungen, wie etwa dem Kamerasystem 111 und dem Sensorsystem 112, zu kommunizieren und Daten zu sammeln. Beispiele können Sensoren, Radare und/oder Emitter beinhalten, die in der Lage sind, Objekte, Entfernungen zu erkennen, wie etwa Ultraschallradar, LiDAR, Kameras und dergleichen. In einer oder mehreren Ausführungsformen können die Sensoren/Kameras ferner eines oder mehrere von Bluetooth®-fähigen Sensoren oder Bluetooth®-Low-Energy-fähigen (BLEfähigen) Sensoren, Radgeschwindigkeitssensoren, Beschleunigungsmesser, Ratensensoren, GPS-Sensoren und Lenkradsensoren beinhalten. Die Sensoren 150 können nach außen weisende Kameras beinhalten, die sich dort befinden, wo sich Spiegel befinden können, wie etwa Rückspiegel und Seitenspiegel. Ebenfalls gezeigt ist ein Sensor/eine Kamera, der/die sich an der Rückseite des Fahrzeugs befindet.
Unter Bezugnahme auf 2 ist der bordeigene Computer 110 des Fahrzeugs der Darstellung nach zum Ausführen verschiedener Vorgänge gemäß einer oder mehreren Ausführungsformen konfiguriert.
Wie gezeigt, beinhaltet der bordeigene Computer 110 in einer Ausführungsform Komponenten, wie etwa einen Prozessor 202, einen Transceiver 210 und einen Speicher 204, der ein Beispiel für ein nicht transitorisches computerlesbares Medium ist, das zum Speichern des Betriebssystems (OS) 240, einer Datenbank 230 und verschiedener Module, wie etwa eines Behinderungserkennungsmoduls 130, verwendet werden kann. Eine oder mehrere Module in Form computerausführbarer Anweisungen können durch den Prozessor 210 ausgeführt werden, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen. Insbesondere kann das Behinderungserkennungsmodul 130 durch den Prozessor 210 gemäß der Offenbarung ausgeführt werden, um zu bestimmen, ob eine Spiegelansicht auf der Anzeige 109 gezeigt werden sollte, wenn eine Behinderung erkannt wird.
Unter erneuter Bezugnahme auf 1 beinhaltet das Fahrzeug 102 das Sensorsystem 112, das nach außen weisendes Kamerasystem 111 und eine oder mehrere Anzeigen 109, die gekoppelt sind, um Signale von dem Behinderungserkennungsmodul 130 zu empfangen. Insbesondere empfängt das Behinderungserkennungsmodul 130 gemäß Ausführungsformen Eingaben von dem Sensorsystem 112 und dem Kamerasystem 111 und bestimmt, ob eine Spiegelbehinderung dauerhaft oder vorübergehend ist. Zum Beispiel kann ein Rückspiegel oder ein Seitenspiegel über eine Schwellenzeitdauer hinaus verdeckt sein, was durch eine Ansicht einer nach außen weisenden Kamera auf einer Anzeige 109 anstelle des Spiegels ersetzt werden kann. In einer oder mehreren Ausführungsformen kann sich die Anzeige 109 innerhalb eines verdeckten Spiegels, einer Head-Up-Anzeige oder auf einem Armaturenbrett innerhalb des Fahrzeugs 102 befinden. Behinderungen des Spiegels können relevante Bereiche für einen Fahrer blockieren, einschließlich Sichtlinienbereiche zu einem Spiegel oder Bereiche, die in einem Spiegel reflektiert werden sollten, wie etwa Fahrzeuge und Objekte außerhalb des Fahrzeugs 102.
Wie in 1 gezeigt, beinhalten die Sensoren 150 für das Sensorsystem 112 innerhalb des Fahrzeugs 102 (eine) Kamera(s) 150, die nach außen weisende Kameras und Innenkameras beinhalten. In einer oder mehreren Ausführungsformen können die von der/den Kamera(s) 150 empfangenen Daten dem Modul 130 bereitgestellt werden, um zu bestimmen, ob eine Behinderung dauerhaft ist und/oder eine Kameraansicht anstelle eines Spiegels erforderlich ist. Kameras können Innenkameras aufweisen, die eine Bilderkennung beinhalten, um zu bestimmen, ob eine Sichtlinie blockiert ist oder nicht. Die Bilderkennung kann auch eine Bilderkennung beinhalten, die in Abstimmung mit dem Modul 130 auf dauerhaftere Bedingungen reagiert, um die Anzeige 109 in die Kameraansicht zu ändern. Somit kann zum Beispiel das Modul 130, wenn eine Innenkamera mit Bilderkennung eine Blockierung bestimmt, nachdem ein Fahrzeug einen Gang eingelegt hat, automatisch eine Kameraansicht anstelle einer Spiegelansicht bereitstellen. In einigen Ausführungsformen können Spiegel Anzeigen beinhalten, die eine Kameraansicht dort ermöglichen, wo sich ein Spiegel befinden kann. In Fahrzeugen ohne Kameraanzeigen, die in Rück- und/oder Seitenspiegeln beinhaltet sind, können andere Anzeigen automatisch Kameraansichten von erkannten blockierten Spiegeln zeigen.
Vorteilhafterweise beinhalten Ausführungsformen das Empfangen von Daten von den Sensoren 150, während sich das Fahrzeug 102 bewegt. Zum Beispiel können die Sensoren 150, sobald das Fahrzeug 102 im Fahrbetrieb oder in einen Gang geschaltet ist, Behinderungen im Inneren des Fahrzeugs erkennen, die den Blick des Fahrers auf unterschiedliche Spiegel beeinträchtigen würden, und automatisch mit einer Kameraanzeige reagieren.
Unter Bezugnahme auf 3 veranschaulicht ein Ablaufdiagramm 300 ein Diagramm von Schritten, die durch das Modul 130 empfangen werden, um Behinderungen zu erkennen. Eine Fahrt beginnt bei Schritt 302, wenn ein Fahrer das Fahrzeug 102 bei Schritt 304 in den Fahrgang versetzt.
Wie gezeigt, leitet Schritt 304 das Modul 130 in Schritt 306 ein, der ein Interagieren mit unterschiedlichen Fahrzeugsensorsystemen 112 bereitstellt, wie etwa einem Totwinkelinformationssystem (blind spot information system - BLIS) 310, einer Fahrerzustandsüberwachungskamera (DSMC) 320 und einem Insassenanwesenheitsüberwachung (occupant presence monitor - OPM)/Fahrgast-/Innenraumüberwachungssystem (passenger/interior monitoring system - PIMS) 330, die unterschiedliche Zustände des Innenraums, einschließlich potenzieller Blockierungen, erfassen und an den Fahrzeugcomputer 110 berichten. Jedes von dem BLIS, DSMC und OPM/PIMS kann in dem Sensorsystem 112 beinhaltet sein, um mit dem Behinderungserkennungsmodul 130 zu interagieren, um Anweisungen zum Anzeigen von blockierten Spiegelansichten bereitzustellen.
Das Ablaufdiagramm 300 wird mit den Schritten 340 und 350, die mit den Seitenspiegeln 340 oder dem Rückspiegel 350 interagieren, infolge des Bestimmens einer Blockierung und des Bestimmens einer Permanenz der Blockierung fortgesetzt. Die nächsten Schritte 370 und 360 kehren zu Block 306 zurück, um die Überwachung auf Blockierungen der Spiegel fortzusetzen. Zum Beispiel nehmen das BLIS, DSMC oder OPM/PIMS und andere Sensorsysteme Kamerabilder von dem Sensorsystem 112 und dem Sensor/den Kameras 150 auf, um zum Beispiel Bilder oder Videos von Kameras innerhalb des Fahrzeugs 102 zu empfangen.
In einer Ausführungsform können Sensoren eine Position des Fahrers oder eines Fahrgasts durch die DSMC-Bilder schätzen. Bilderkennung und Sichtlinienberechnungen, einschließlich maschinellen Lernens und Benutzerprofildaten, können dann mögliche Blockierungen einer Sicht zu Spiegeln bestimmen und bestimmen, ob Spiegelbilder durch Blockierungen im Inneren blockiert sind, die verhindern, dass der Fahrer einen Spiegel sehen kann oder der Spiegel in der Lage ist, dem Fahrer geeignete und hilfreiche Informationen widerzuspiegeln. Unter Bezugnahme auf 4 veranschaulicht ein Ablaufdiagramm ein Verfahren zur Blockierungsüberwachung. Block 402 leitet den Ablauf ein, wobei die Blockierung identifiziert ist. Zum Beispiel kann das Sensorsystem 112, wie vorstehend in Bezug auf 3 beschrieben, mit unterschiedlichen Sensoren eine Blockierung identifizieren. Als Nächstes stellt Entscheidungsblock 410 ein Bestimmen bereit, ob die Blockierung dauerhaft oder vorübergehend ist. Falls sie vorübergehend ist, stellt Block 412 ein Zurücksetzen bereit, wenn keine Blockierung mehr vorhanden ist. Falls sie dauerhaft ist, stellt Block 420 eine Entscheidung bereit, ob die Blockierung eine seitliche oder eine Sicht nach hinten ist, die blockiert ist. Wenn ein Seitenspiegel blockiert ist, weist Block 422 Warnungen an und es sollten Maßnahmen erfolgen. Insbesondere stellt Block 424 bereit, dass das Modul 130, wenn sich ein Auto in einem toten Winkel befindet und das Fahrzeug 102 mit einem BLIS ausgestattet ist, automatisch ein Symbol unter Verwendung von IPC, einem Head-up-Display (HUD) und/oder einem proprietären Fahrerinformationssystem, wie etwa SYNC™ von der FORD™ Motor Company, anzeigt. Das Modul 130 kann automatisch eine akustische/fühlbare Warnung (vibrierender Sitz auf einer Seite) bereitstellen, dass sich ein Fahrzeug in seinem toten Winkel befindet. Wenn es mit externen Seitenkameras ausgestattet ist, kann das Modul 130 auf Fahreranforderung automatisch Seitenansichten anzeigen (ein Popup, das angibt, dass der Seitenspiegel blockiert ist, kann diese Option ermöglichen). Wenn es mit externen Seitenkameras ausgestattet ist, kann das Modul 130 die Kamera automatisch einschalten und die Seitenansicht anzeigen, wenn ein Blinker aktiviert ist.
Wenn ein Rückspiegel blockiert ist, stellt Block 432 Warnungen und Maßnahmen bereit, wie in Block 434 gezeigt. Wenn es mit einer Rückspiegelkamera/digitalen Rückansicht ausgestattet ist, stellt das Modul 130 ein automatisches Umschalten von der Rückfahrkamera/dem Rückspiegel in den „Kameramodus“ bereit. Wenn es nicht mit einer Kombination aus Rückspiegelkamera/digitaler Rückansicht ausgestattet ist, ermöglicht das Modul 130 automatisch, dass relevante hintere Kameras, wie etwa Rückfahrkamera, Ladeflächenkamera und dergleichen, kurzzeitig eine Anzeige ermöglichen, damit der Fahrer hinter dem Fahrzeug 102 überwachen kann. Block 434 stellt ferner bereit, dass das Modul 130 auch überwachen kann, ob eine andere Person zu dicht auffährt, und dem Fahrer Informationen bereitstellen kann, wenn sie zu nahe kommt. Ferner stellt Block 434 bereit, dass das Modul 130 aufgrund von Informationen darüber, ob sich Einsatzfahrzeuge wie ein Polizeifahrzeug/Krankenwagen hinter dem Fahrzeug 102 befinden, Sensoren/Kameras verwenden kann, um derartige Einsatzfahrzeuge unter Verwendung von nach außen weisenden Kameras, wie etwa einer hinteren Kamera, zu identifizieren und einen Fahrer zu informieren.
Als Nächstes fragt Entscheidungsblock 440 ab, ob ein Fahrer eine der in Block 424 und Block 434 identifizierten Rückmeldungen/Warnungen ignoriert. Wenn dies der Fall ist, stellt Block 450 das Abraten von Spurwechseln unter Verwendung einer negativen Lenkdrehmomentrückkopplung, Warnen eines Fahrers unter Verwendung von haptischen Sitzvibrationen, Glockentönen und Summern und Verwenden von Sprachrückmeldungen bereit, um das Radio stummzuschalten und einen Fahrer zu informieren, nicht die Spur zu wechseln, rückwärts zu fahren oder ein anderes Manöver durchzuführen, ohne zusätzliche Vorsichtsmaßnahmen anzuwenden.
Wenn der Fahrer die Rückmeldung/Warnung nicht ignoriert, kehrt der Ablauf zu Block 402 zurück. Gleichermaßen kehrt der Ablauf nach dem Bereitstellen einer Warnung an einen Fahrer, wie in Block 450 beschrieben, zu Block 402 zurück.
Unter Bezugnahme auf 5 veranschaulicht ein Ablaufdiagramm ein Verfahren gemäß einer Ausführungsform. Wie gezeigt, stellt Block 510 das Erkennen einer Behinderung, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der dem Spiegel zugeordnet ist, über Sensoren in einem Fahrzeug bereit. Zum Beispiel kann das Sensorsystem 112, wie vorstehend in Bezug auf 1 beschrieben, unter Verwendung von Kameras, Sensoren, Radar und dergleichen eine Blockierung im Inneren erkennen, die eine Spiegelansicht aus dem Inneren des Fahrzeugs 102 verdeckt.
In einer oder mehreren Ausführungsformen kann das Bestimmen einer Behinderung das Erkennen der Behinderung über die Vielzahl von Sensoren beinhalten, einschließlich Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC) und innere Fahrgast- und Insassenkameras, LiDAR-Sensoren, RADAR in einer zweidimensionalen Spektralebene Sensoren, Sichtliniensensoren, Ultraschallsensoren und Ultrabreitbandsensoren (UWB-Sensoren), die Behinderungen innerhalb des Fahrzeugs überwachen und identifizieren, zu den Sensoren gehören Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC) und innere Fahrgast- und Insassenkameras, LiDAR-Sensoren, RADAR mit zweidimensionalen Spektralebenensensoren, Ultraschallsensoren und Ultrabreitbandsensoren (UWB-Sensoren), die Blockierungen von Seiten- und Rückspiegeln überwachen und identifizieren. Wie in 1 gezeigt, können das Sensorsystem 112 und das Kamerasystem 111 mit dem Modul 130 in Zusammenwirkung mit Fahrer- und Fahrgastüberwachungskameras, einem Totwinkelinformationssystem (BLIS), einem SYNC™-System und einem Head-up-Display-(HUD-)System und dergleichen interagieren, um einen Fahrer zu erkennen und mit diesem zu interagieren.
Block 520 stellt das Bestimmen einer Permanenz bereit, die der Behinderung zugeordnet ist. Zum Beispiel kann eine Zeitschwelle, die einem Sensor zugeordnet ist, eine Permanenz angeben. In anderen Ausführungsformen können Innenkameras mit Bilderkennungsmerkmalen ausgestattet sein, die bestimmen können, dass ein Objekt dauerhaft oder vorübergehend ist. Zum Beispiel wäre ein Hund eine vorübergehende Blockierung, da Hunde typischerweise nicht am gleichen Ort bleiben. Eine Transportbox mit einem Hund darin würde als dauerhafteres Hindernis erkannt werden.
Innerhalb von Block 520 befindet sich Block 5202, der das Vergleichen einer Zeitdauer der Behinderung mit einem voreingestellten Schwellenwert oder einem in einem Benutzerprofil festgelegten Schwellenwert bereitstellt. Zum Beispiel könnte eine Zeitdauer einige Sekunden betragen, wie etwa drei bis fünf Sekunden, und jede Zeit über den Schwellenwert hinaus kann vorgeben, dass die Behinderung dauerhaft ist. In anderen Ausführungsformen kann ein Benutzerprofil angeben, dass ein längerer oder kürzerer Schwellenwert zum Beispiel auf Grundlage der eigenen Erfahrung des Benutzers gelten sollte.
In anderen Ausführungsformen beinhaltet das Bestimmen einer Permanenz einer Behinderung Anwenden von maschinellem Lernen, um die Permanenz der Behinderung durch Identifizieren von Fahrgästen und Objekten innerhalb des Fahrzeugs und Zuordnen eines transienten Zustands zu Objekten und identifizierten Fahrgästen, die als transient bestimmt sind, adaptiv zu bestimmen.
In einer oder mehreren Ausführungsformen kann das Bestimmen einer Behinderung das Erkennen der Behinderung über die Vielzahl von Sensoren beinhalten, einschließlich Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC) und innere Fahrgast- und Insassenkameras, LiDAR-Sensoren, RADAR in einer zweidimensionalen Spektralebene Sensoren, Sichtliniensensoren, Ultraschallsensoren und Ultrabreitbandsensoren (UWB-Sensoren), die Behinderungen innerhalb des Fahrzeugs überwachen und identifizieren, zu den Sensoren gehören Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC) und innere Fahrgast- und Insassenkameras, LiDAR-Sensoren, RADAR mit zweidimensionalen Spektralebenensensoren, Ultraschallsensoren und Ultrabreitbandsensoren (UWB-Sensoren), die Blockierungen von Seiten- und Rückspiegeln überwachen und identifizieren.
Block 530 stellt das Umschalten in einen Kameramodus anstelle des Spiegels bereit, wenn die Behinderung eine Permanenz über einen Schwellenwert hinaus aufweist. Wenn zum Beispiel eine Permanenz bestimmt wird, kann ein Spiegel in einen Kameramodus für diesen Spiegel umgeschaltet werden. In anderen Ausführungsformen kann, wenn eine Permanenz bestimmt wird, ein Kameramodus das Verwenden unterschiedlicher Anzeigen beinhalten, wie etwa einer HUD-Anzeige, einer zentralen Anzeige in dem Fahrzeug 102 oder an einer anderen Stelle innerhalb des Fahrzeugs.
Block 540 stellt das Anzeigen einer Ansicht des relevanten Bereichs für den Spiegel unter Verwendung einer nach außen weisenden Kamera anstelle des Spiegels bereit. Wenn zum Beispiel ein Kameramodus verwendet wird, kann das Modul 130 anweisen, dass eine Einspeisung oder Bildgebung von nach außen weisenden Kameras, die in dem Sensorsystem 112 beinhaltet sein können oder Teil des Kamerasystems 111 sein können, wie etwa die Sensoren 150, die in 1 als Rückspiegelkameras und nach hinten weisende Kameras beinhaltend gezeigt sind, einen gleichen relevanten Bereich anzeigen kann, wie er gezeigt worden wäre, wenn ein Spiegel nicht blockiert wäre. Somit kann in einigen Ausführungsformen der gleiche relevante Bereich, wie er gezeigt worden wäre, angezeigt werden. In anderen Ausführungsformen würden die nächstgelegenen verfügbaren Bilder, die für einen Fahrer hilfreich sind, angezeigt werden. Wenn zum Beispiel die einzige nach außen weisende Kamera eine nach hinten weisende, zentral angeordnete Kamera ist, würde diese Ansicht gezeigt.
Block 550 stellt automatisches Unterstützen eines Fahrers des Fahrzeugs bereit, wenn bestimmt wird, dass die Behinderung über den Schwellenwert hinaus dauerhaft ist. Wenn zum Beispiel eine Bilderkennung, ein Zeitgeber oder ein Benutzerprofil bestimmt, dass eine dauerhafte Behinderung vorhanden ist, würde eine automatische Anzeige einer Kameraansicht erfolgen. Die automatische Anzeige kann über eine Head-up-Anzeige (HUD), eine akustische Warnung oder eine automatische Anzeige einer nach außen weisenden Kamera oder dergleichen erfolgen.
Block 560 stellt das Anzeigen von Kameraansichten von nach außen weisenden Kameras bei Erkennen einer Behinderung einer Sichtlinie zu einem spezifischen Spiegel bereit. Wenn zum Beispiel bestimmt wird, dass ein Seitenspiegel durch einen Fahrgast oder einen Kasten, der die Sicht eines Fahrers blockiert, verdeckt ist, kann eine Kamera, die sich an der Stelle des Seitenspiegels befindet, automatisch angezeigt werden. Gleichermaßen kann, wenn ein Rückspiegel aufgrund eines überladenen Fahrzeugs oder von Fahrgästen, die die Sicht blockieren, blockiert ist, automatisch eine nach hinten weisende Kamera angezeigt werden. Block 570 stellt das Bereitstellen einer Warnung für den Fahrer bereit, wenn dringende Umstände erkannt werden, an denen Einsatzfahrzeuge beteiligt sind. Wenn zum Beispiel das Fahrzeug 102 Sensoren oder Kameras beinhaltet, die eine Bilderkennung oder die Fähigkeit aufweisen, Einsatzfahrzeuge über das Empfangen einer Angabe eines dringenden Umstands oder dergleichen zu identifizieren, kann ein hörbarer Alarm, ein haptischer Alarm oder ein angezeigter Alarm über die Anzeige 109 automatisch erfolgen.
Block 580 stellt das Erkennen, dass ein Fahrer ein Manöver versucht, während der Spiegel verdeckt ist und die digitale Fahrerunterstützung abgelehnt ist, bereit. Wenn zum Beispiel ein Spiegel verdeckt ist, wie durch Bilderkennung, maschinelles Lernen, Kameras und Sensoren erkannt, und die Behinderung für den Fahrer unbemerkt bleibt, da er sich weigert, eine Außenkamera anzuzeigen, die für eine hilfreiche Ansicht geeignet ist, kann ein Erkennungsmechanismus automatisch durch das Modul 130 instantiiert werden.
Ein optionaler Block 5802 innerhalb von Block 580 stellt das Abraten von Manövern bereit, indem eine negative Lenkdrehmomentrückkopplung bereitgestellt wird. Wenn zum Beispiel ein Manöver durch einen Fahrer durch das Modul 130 erkannt wird, kann ein automatisches negatives Drehmoment mit dem Lenkrad einen Fahrer abschrecken.
Ein optionaler Block 5804 innerhalb von Block 580 stellt das Warnen eines Fahrers mit haptischen Sitzvibrationen bereit. Zum Beispiel kann das Modul 130 einen Fahrersitz anweisen, Vibrationen auf einer linken Seite des Sitzes bereitzustellen, um den Fahrer anzuweisen, auf eine linke Seite eines Fahrzeugs zu achten, wenn eine Gefahr auf einer linken Seite vorhanden ist. Vibrationen könnten auch den vollständigen Sitz betreffen, um von Manövern direkt vor oder hinter dem Fahrzeug 102 abzuraten.
Der optionale Block 5806 stellt das Warnen eines Fahrers durch Ertönenlassen eines Alarms und Bereitstellen einer hörbaren Warnung über ein Radio bereit. Wenn zum Beispiel ein vorhergesagtes Manöver auf Grundlage der Erkennung einer Behinderung eines Spiegels erkannt wird, kann automatisch ein automatischer Alarm erfolgen, der eine automatische Lautstärkeverringerung eines Radios und eine hörbare Warnung beinhaltet.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und spezifische Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung praktisch umgesetzt werden kann. Es versteht sich, dass andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen.Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“, „beispielhafte Umsetzung“ usw. geben an, dass die beschriebene Ausführungsform oder Umsetzung ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, wobei jedoch nicht unbedingt jede Ausführungsform oder Umsetzung diese(s) konkrete Merkmal, Struktur oder Eigenschaft beinhaltet. Darüber hinaus bezeichnen derartige Formulierungen nicht unbedingt dieselbe Ausführungsform oder Umsetzung. Ferner wird, wenn ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform oder Umsetzung beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen oder Umsetzungen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht. Zum Beispiel sind verschiedene Merkmale, Aspekte und Handlungen, die vorstehend in Bezug auf ein autonomes Einparkmanöver beschrieben wurden, auf verschiedene andere autonome Manöver anwendbar und müssen dementsprechend interpretiert werden.
Umsetzungen der in dieser Schrift offenbarten Systeme, Einrichtungen, Vorrichtungen und Verfahren können eine oder mehrere Vorrichtungen umfassen oder nutzen, die Hardware beinhalten, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie in dieser Schrift erörtert. Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport von elektronischen Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine beliebige Kombination aus festverdrahtet oder drahtlos) an einen Computer übertragen oder einem Computer bereitgestellt werden, sieht der Computer die Verbindung zweckgemäß als Übermittlungsmedium an.Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, das/die verwendet werden kann/können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu führen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden sollten ebenfalls innerhalb des Umfangs von nicht transitorischen computerlesbaren Medien beinhaltet sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor bewirken, dass der Prozessor eine gewisse Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder auch Quellcode sein. Ferner versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist, wenngleich der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen zum Umsetzen der Patentansprüche offenbart.
Eine Speichervorrichtung kann ein beliebiges Speicherelement oder eine Kombination aus flüchtigen Speicherelementen (z. B. Direktzugriffsspeicher (random access memory - RAM, wie etwa DRAM, SRAM, SDRAM usw.)) und nicht flüchtigen Speicherelementen (z. B. ROM, Festplatte, Band, CD-ROM usw.) beinhalten. Des Weiteren können in die Speichervorrichtung elektronische, magnetische, optische und/oder andere Arten von Speichermedien integriert sein. Im Kontext dieser Schrift kann ein „nichttransitorisches computerlesbares Medium“ zum Beispiel unter anderem ein(e) elektronische(s), magnetische(s), optische(s), elektromagnetische(s), Infrarot- oder Halbleitersystem, - einrichtung oder -vorrichtung sein. Konkretere Beispiele (eine nicht erschöpfende Auflistung) für das computerlesbare Medium würden Folgendes beinhalten: eine tragbare Computerdiskette (magnetisch), einen Direktzugriffsspeicher (RAM) (elektronisch), einen Festwertspeicher (read-only memory - ROM) (elektronisch), einen löschbaren programmierbaren Festwertspeicher (EPROM, EEPROM oder Flash-Speicher) (elektronisch) und einen tragbaren Compact-Disk-Festwertspeicher (CD-ROM) (optisch). Es ist anzumerken, dass das computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf welches das Programm aufgedruckt ist, da das Programm zum Beispiel über optisches Abtasten des Papiers oder eines anderen Mediums elektronisch erfasst, dann kompiliert, interpretiert oder bei Bedarf auf andere Weise verarbeitet und dann in einem Computerspeicher gespeichert werden kann.
Der Fachmann auf dem Gebiet versteht, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, die Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, mobile Vorrichtungen, Mehrprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann auch in Umgebungen mit verteilten Systemen umgesetzt werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in entfernten Datenspeichervorrichtungen befinden.
Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel dazu programmiert sein, eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Gewisse Ausdrücke werden in der gesamten Beschreibung verwendet und Patentansprüche beziehen sich auf konkrete Systemkomponenten. Wie der Fachmann verstehen wird, können Komponenten mit anderen Benennungen bezeichnet werden. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Bezeichnung nach, nicht jedoch hinsichtlich ihrer Funktion unterscheiden.
Mindestens einige Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte ausgerichtet, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computerverwendbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie in dieser Schrift beschrieben zu funktionieren.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht der Einschränkung dienen. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollten die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die vorangehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die vorliegende Offenbarung nicht auf die exakte offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass eine beliebige oder alle der vorangehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder Komponente durchgeführt werden. Ferner wurden zwar konkrete Vorrichtungseigenschaften beschrieben, doch können sich Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass die Offenbarung nicht notwendigerweise auf die konkreten beschriebenen Merkmale oder Handlungen beschränkt ist, obwohl Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurden. Die spezifischen Merkmale und Handlungen sind vielmehr als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „kann möglicherweise“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Ausführungsformen diese möglicherweise nicht beinhalten, es sei denn, es ist spezifisch etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, Anweisungen auszuführen, um: maschinelles Lernen anzuwenden, um die Permanenz der Behinderung durch Identifizieren von Fahrgästen und Objekten innerhalb des Fahrzeugs, die die Behinderung umfassen und denen ein transienter Zustand zugeordnet ist, adaptiv zu bestimmen.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, die Anweisungen auszuführen, um: die Behinderung auf Grundlage eines Schaltens des Fahrzeugs aus dem Parkin den Fahrmodus zu erkennen.
Gemäß einer Ausführungsform führt der Prozessor ferner Anweisungen aus, um: den Fahrers des Fahrzeugs automatisch zu unterstützen, wenn bestimmt wird, dass sich die Behinderung jenseits des Schwellenwerts befindet.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, Anweisungen auszuführen, um: zu erkennen, dass der Fahrer eine Fahrerunterstützung abgelehnt hat und versucht, das Fahrzeug zu manövrieren, während der Spiegel verdeckt ist; und durch Bereitstellen einer negativen Lenkdrehmomentrückkopplung, Warnen des Fahrers über haptische Sitzvibrationen, Warnen den Fahrer durch Ertönenlassen eines Alarms und Bereitstellen einer hörbaren Warnung über ein Radio von dem Manöver abzuraten.
Gemäß der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das Folgendes aufweist: einen Speicher und einen an den Speicher gekoppelten Prozessor, wobei der Prozessor dazu konfiguriert ist, eine oder mehrere Anweisungen auszuführen, um: eine Behinderung zu erkennen, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der einem Spiegel zugeordnet ist; eine der Behinderung zugeordnete Permanenz zu bestimmen; und in einen Kameramodus anstelle des Spiegels umzuschalten, wenn die Permanenz jenseits eines Schwellenwerts liegt.

Claims

Verfahren für ein Fahrzeug, umfassend: Erkennen einer Behinderung, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der einem Spiegel zugeordnet ist, über Sensoren in einem Fahrzeug; Bestimmen einer Permanenz, die der Behinderung zugeordnet ist; und Umschalten in einen Kameramodus anstelle des Spiegels, wenn die Permanenz jenseits eines Schwellenwerts liegt.
Verfahren nach Anspruch 1, wobei das Erkennen der Behinderung Folgendes beinhaltet: Erkennen der Behinderung über einen Sichtliniensensor innerhalb des Fahrzeugs, der dazu konfiguriert ist, die Behinderung innerhalb des Fahrzeugs zu erkennen.
Verfahren nach Anspruch 1, ferner umfassend: Anzeigen des dem Spiegel zugeordneten relevanten Bereichs unter Verwendung einer nach außen weisenden Kamera.
Verfahren nach Anspruch 2, wobei der Sichtliniensensor Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC), Insassenkameras, LiDAR-Sensoren, RADAR-Sensoren, Ultraschallsensoren und/oder Ultrabreitband(UWB)-Sensoren beinhaltet.
Verfahren nach Anspruch 1, wobei der Schwellenwert einen voreingestellten Schwellenwert oder einen in einem Benutzerprofil festgelegten Schwellenwert umfasst.
Verfahren nach Anspruch 1, wobei das Bestimmen der Permanenz, die der Behinderung zugeordnet ist, ferner Folgendes umfasst: Anwenden von maschinellem Lernen, um die Permanenz der Behinderung durch Identifizieren von Fahrgästen und Objekten innerhalb des Fahrzeugs, die die Behinderung umfassen und denen ein transienter Zustand zugeordnet ist, adaptiv zu bestimmen.
Verfahren nach Anspruch 1, wobei das Erkennen der Behinderung erfolgt, wenn das Fahrzeug aus dem Park- in den Fahrmodus schaltet.
Verfahren nach Anspruch 1, wobei das Umschalten in den Kameramodus anstelle des Spiegels ferner Anzeigen einer Kameraansicht des dem Spiegel zugeordneten relevanten Bereichs über einen digitalen Spiegel oder eine Anzeige in dem Fahrzeug umfasst.
Verfahren nach Anspruch 1, wobei das Umschalten in den Kameramodus (i) Bereitstellen einer Head-up-Display(HUD)-Ansicht des dem Spiegel zugeordneten relevanten Bereichs und/oder (ii) Anzeigen des dem Spiegel zugeordneten relevanten Bereichs auf einer Anzeige eines integrierten fahrzeuginternen Kommunikations- und Unterhaltungssystems beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend automatisches Unterstützen eines Fahrers des Fahrzeugs, wenn bestimmt wird, dass die Behinderung j enseits des Schwellenwerts liegt.
Verfahren nach Anspruch 10, ferner umfassend: Erkennen, dass der Fahrer eine Fahrerunterstützung abgelehnt hat und versucht, das Fahrzeug zu manövrieren, während der Spiegel verdeckt ist; und Abraten von dem Manöver durch Bereitstellen einer negativen Lenkdrehmomentrückkopplung, Warnen des Fahrers über haptische Sitzvibrationen, Warnen des Fahrers durch Ertönenlassen eines Alarms und/oder Bereitstellen einer hörbaren Warnung über ein Radio.
System für ein Fahrzeug, umfassend: eine Vielzahl von Sensoren innerhalb des Fahrzeugs; eine Vielzahl von nach außen weisenden Kameras, die an das Fahrzeug gekoppelt ist; einen Speicher, der computerausführbare Anweisungen speichert; und einen an den Speicher gekoppelten Prozessor, der dazu konfiguriert ist, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen zu Folgendem auszuführen: Erkennen einer Behinderung, die einen Fahrer daran hindert, einen relevanten Bereich zu sehen, der einem Spiegel des Fahrzeugs zugeordnet ist; Bestimmen einer Permanenz, die der Behinderung zugeordnet ist; und Umschalten in einen Kameramodus anstelle des Spiegels, wenn die Permanenz jenseits eines Schwellenwerts liegt.
System nach Anspruch 12, wobei die Vielzahl von Sensoren Innenraumkameras, Fahrerzustandsüberwachungskameras (DSMC), Insassenkameras, LiDAR-Sensoren, RADAR-Sensoren, Ultraschallsensoren und/oder Ultrabreitband(UWB)-Sensoren umfasst.
System nach Anspruch 12, wobei der Prozessor die Anweisungen ferner zu Folgendem ausführt: Anzeigen des relevanten Bereichs für den Spiegel unter Verwendung von Bildern von einer aus der Vielzahl von nach außen weisenden Kameras.
System nach Anspruch 12, wobei der Schwellenwert einen voreingestellten Schwellenwert oder einen in einem Benutzerprofil festgelegten Schwellenwert umfasst.