DE102021206343A1 - Besetzungserfassung unter verwendung von ultrabreitband - Google Patents

Besetzungserfassung unter verwendung von ultrabreitband Download PDF

Info

Publication number
DE102021206343A1
DE102021206343A1 DE102021206343.8A DE102021206343A DE102021206343A1 DE 102021206343 A1 DE102021206343 A1 DE 102021206343A1 DE 102021206343 A DE102021206343 A DE 102021206343A DE 102021206343 A1 DE102021206343 A1 DE 102021206343A1
Authority
DE
Germany
Prior art keywords
cir
transceiver nodes
classification model
tensors
uwb transceiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021206343.8A
Other languages
English (en)
Inventor
Vivek Jain
Yunze Zeng
Yongsen Ma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of DE102021206343A1 publication Critical patent/DE102021206343A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/7163Spread spectrum techniques using impulse radio
    • H04B1/7183Synchronisation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/7163Spread spectrum techniques using impulse radio
    • H04B1/71632Signal aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/7163Spread spectrum techniques using impulse radio
    • H04B1/719Interference-related aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202Channel estimation
    • H04L25/0212Channel estimation of impulse response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/10Scheduling measurement reports ; Arrangements for measurement reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B2001/6908Spread spectrum techniques using time hopping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Es wird Besetzungserfassung unter Verwendung einer schlüssellosen Ultrabreitband- bzw. UWB-Infrastruktur bereitgestellt. Kanalimpulsantwort- bzw. CIR-Messungen werden von mehreren UWB-Sendeempfängerknoten empfangen, die um mehrere Orte herum angeordnet sind. Ein Klassifikationsmodell wird benutzt, um Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren vorherzusagen, die aus den CIR-Messungen für jeden der UWB-Sendeempfängerknoten gebildet werden.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft Besetzungserfassung unter Verwendung drahtloser Kommunikation, wie etwa Ultrabreitbandkommunikation.
  • HINTERGRUND
  • Die Fahrzeugbesetzung ist ein interessierendes Gebiet, sowohl zur Unterstützung von behördlichen Bestimmungen als auch zur Bereitstellung eines guten Benutzererlebnisses. Auf grundliegendem Niveau können Fahrzeuge die Besetzung in den Vordersitzen detektieren, um Sitzgurterinnerungen bereitzustellen. Ein solches System kann auch zusätzliche Merkmale bereitstellen, wie etwa Airbagkontrolle und erweitertes Benutzererlebnis in Bezug auf Klima- und Audiosteuerelemente. Fahrzeugbesetzungsinformationen sind auch eine Komponente für effektive geteilte Autonomie, wie etwa Menschenerfassung, geteilte Wahrnehmungskontrolle und tiefe Personalisierung für am Menschen zentrierte autonome Fahrzeugsysteme.
  • KURZFASSUNG
  • In einem oder mehreren Anschauungsbeispielen wird ein Verfahren zur Besetzungserfassung unter Verwendung von schlüsselloser UWB-Infrastruktur (Ultrabreitband) bereitgestellt. Messungen der CIR (Kanalimpulsantwort) werden von mehreren UWB-Sendeempfängerknoten empfangen, die um mehrere Orte herum angeordnet sind. Es wird ein Klassifikationsmodell benutzt, um die Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren vorherzusagen, die aus den CIR-Messungen von jedem der UWB-Sendeempfängerknoten empfangen werden.
  • In einem oder mehreren Anschauungsbeispielen wird ein System zur Besetzungserfassung unter Verwendung drahtloser Kommunikation bereitgestellt. Eine Datenverarbeitungsvorrichtung umfasst einen Prozessor, programmiert zum Empfangen von Messungen der CIR (Kanalimpulsantwort) von mehreren drahtlosen Sendeempfängerknoten, die um mehrere Orte herum angeordnet sind, und Benutzen eines Klassifikationsmodells zur Vorhersage der Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren, die aus den CIR-Messungen von jedem der drahtlosen Sendeempfängerknoten gebildet werden.
  • In einem oder mehreren Anschauungsbeispielen umfasst ein nichttransitorisches computerlesbares Medium Anweisungen zur Besetzungserfassung unter Verwendung von UWB (Ultrabreitband), die, wenn sie durch einen Prozessor ausgeführt werden, den Prozessor veranlassen zum Empfangen von Messungen der CIR (Kanalimpulsantwort) von mehreren UWB-Sendeempfängerknoten, die um mehrere Orte herum angeordnet sind; und Benutzen eines Klassifikationsmodells zur Vorhersage der Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren, die aus den CIR-Messungen von jedem der UWB-Sendeempfängerknoten gebildet werden.
  • Figurenliste
    • 1 zeigt ein beispielhaftes System zur Verwendung bei Besetzungserfassung unter Verwendung von schlüsselloser Ultrabreitband-Infrastruktur;
    • 2 zeigt eine Wärmeabbildung der Kanalimpulsantwort- bzw. CIR-Amplitude, gemessen von mehreren CIR-Blinks;
    • 3 zeigt eine grafische Darstellung der CIR als Mittelwert und Standardabweichung der in 2 gezeigten Wärmeabbildung;
    • 4 zeigt ein Beispiel für CIR-Variationen von mehreren Ultrabreitband- bzw. UWB-Empfängern für ein Besetzungsszenario, in dem das Fahrzeug leer ist;
    • 5 zeigt ein alternatives Beispiel für CIR-Variationen mehrerer UWB-Empfänger für ein Besetzungsszenario, in dem sich eine Person im Fahrersitz befindet;
    • 6 zeigt einen beispielhaften Datenfluss zur Besetzungserfassung unter Verwendung schlüsselloser Ultrabreitband-Infrastruktur;
    • 7 zeigt ein Beispiel für zwei fehlausgerichtete CIR;
    • 8 zeigt ein Beispiel für die zwei CIR von 7 nach Ausrichtung;
    • 9 zeigt ein beispielhaftes Detail von Aspekten des Datenflusses bei Verwendung eines Klassifikationsmodells mit einem Eingang und mehreren Ausgängen;
    • 10 zeigt ein beispielhaftes Detail von Aspekten des Datenflusses bei Verwendung eines Klassifikationsmodells mit mehreren Eingängen und mehreren Ausgängen;
    • 11 zeigt ein beispielhaftes Detail von Aspekten des Datenflusses bei Verwendung eines MaskMIMO-Klassifikationsmodells;
    • 12 zeigt einen beispielhaften Datenfluss, der eine Rückkopplungsschleife in die sitzweise Besetzungsbestimmung enthält;
    • 13 zeigt einen Prozess zur Besetzungserfassung unter Verwendung von schlüsselloser UWB-Infrastruktur; und
    • 14 zeigt eine beispielhafte Datenverarbeitungsvorrichtung zur Besetzungserfassung unter Verwendung von schlüsselloser UWB-Infrastruktur.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Es werden hier Ausführungsformen der vorliegenden Offenbarung beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgetreu gezeichnet; einige Merkmale könnten übertrieben oder minimiert sein, um Details konkreter Komponenten zu zeigen. Deshalb sind hier offenbarte spezifische Struktur- und Funktionsdetails nicht als Beschränkung aufzufassen, sondern lediglich als repräsentative Grundlage, um Fachleute zu lehren, die Ausführungsformen verschiedenartig einzusetzen. Wie für Durchschnittsfachleute verständlich ist, können verschiedene mit Bezug auf eine beliebige der Figuren dargestellte und beschriebene Merkmale mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsform zu produzieren, die nicht ausdrücklich dargestellt oder beschrieben werden. Die Kombinationen von Merkmalen, die dargestellt werden, ergeben repräsentative Ausführungsformen für typische Anwendungen. Für konkrete Anwendungen oder Implementierungen könnten jedoch verschiedene Kombinationen und Modifikationen der Merkmale vereinbar mit den Lehren der vorliegenden Offenbarung erwünscht sein.
  • 1 zeigt ein beispielhaftes System 100 zur Verwendung bei Besetzungserfassung unter Verwendung von schlüsselloser Ultrabreitband-Infrastruktur. Das System 100 umfasst einen Einsatz mehrerer Ultrabreitband- bzw. UWB-Sendeempfängerknoten 102 in einem Fahrzeuginnenraum. Das System 100 benutzt wie gezeigt acht UWB-Sendeempfängerknoten 102, es können aber mehr oder weniger verwendet werden. Einer der UWB-Sendeempfängerknoten 102 kann UWB-Pakete rundsenden, während die anderen Knoten Kanalimpulsantwort- bzw. CIR-Messungen sammeln. Diese CIR-Signale können einem Prozessor 104 zugeführt werden, der die unverarbeiteten CIR empfängt, die CIR verarbeitet, um sie zeitlich auszurichten, und die ausgerichteten CIR einem CNN (Faltungs-Neuronalnetz) mit mehreren Eingängen und mehreren Ausgängen mit einer (hier als MaskMIMO bezeichneten) Mehrfach-Ausgabenmaske zuführt, um sitzweise Besetzungsklassifikation durchzuführen. Falls mehrere UWB-Kanäle verfügbar sind, können ein oder mehrere UWB-Sendeempfängerknoten 102 auch parallel mit einem oder mehreren UWB-Sendeempfängerknoten 102 senden, die jeden der UWB-Sendeempfängerknoten 102 anhören, um dadurch das Nehmen von Messungen an mehreren Kanälen zur selben Zeit zu erlauben.
  • Die UWB-Sendeempfängerknoten 102 sind ausgelegt zum Betrieb unter Verwendung von UWB-Funktechnologien. UWB ist eine beliebte Technologie zur Bereitstellung von hochgenauer Lokalisierung, Bestandsverfolgung und Zugangskontrollanwendungen. Aufgrund des genauen Entfernungsbestimmungsmerkmals und der Robustheit gegenüber Relaisattacken rüsten Fahrzeughersteller die schlüssellose Eintrittsinfrastruktur auf Systeme auf UWB-Basis auf. In vielen Beispielen bezieht sich UWB auf Signale mit einer Bandbreite von mehr als 500 MHz oder 20% der arithmetischen Mittenfrequenz. In vielen Beispielen reicht der Frequenzbereich von UWB von 3,1 bis 10,6 GHz, und die Leistungsspektraldichte- bzw. PSD-Grenze für UWB-Sender ist -41,3 dBm/MHz. Ein Vorteil von UWB ist die große Bandbreite, die viel bessere zeitliche/räumliche Auflösung als andere drahtlose Technologien gewährleistet. Im Allgemeinen ist die Zeitauflösung drahtloser Erfassung τ = 1/B, wobei B die Kanalbandbreite ist. UWB hat eine Bandbreite von mehr als 500 MHz, so dass seine Zeitauflösung besser als 2 Nanosekunden sein kann. Dies entspricht demgemäß einer potenziellen räumlichen Auflösung von 60 Zentimetern für elektromagnetische Wellen mit einer Geschwindigkeit von 3 × 108 Metern/Sekunde. USB gewährleistet feinkörnigere Erfassungsfähigkeiten, insbesondere für fahrzeuginterne Umgebungen mit starken Mehrwegebemühungen, verglichen mit anderen drahtlosen Erfassungstechnologien. Außerdem ist UWB energie effizienter und hat weniger Störungen als andere drahtlose Technologien, da UWB geringeren Stromverbrauch aufweist. Aufgrund der hohen zeitlichen/räumlichen Auflösung, des niedrigen Stromverbrauchs und der geringen Störungen eignet sich UWB für die fahrzeuginterne Besetzungserfassung.
  • Die UWB-Sendeempfängerknoten 102 können als Infrastruktur des schlüssellosen Eintritts verwendet werden, als Alternative zu passiven schlüssellosen Eintrittssystemen, die eine Kombination von Niederfrequenz- bzw. LF- und Ultrahochfrequenz- bzw. UHF-Kanälen verwenden, um eine Nähe des Schlüsselanhängers zu messen, um zu prüfen, ob der Schlüsselanhänger in dem Fahrzeug oder innerhalb einer bestimmten Entfernung (z. B. 2 m) ist. UWB hat Vorteile für Verwendung beim schlüssellosen Eintritt, wobei einer darin besteht, dass UWB-Funkgeräte ausdrückliche Timinginformationen, definiert in dem UWB-Standard IEEE 802.15.4-2015, führen, um dadurch Relaisattacken zu vereiteln, da von einer Relaisvorrichtung kommende Signale zum Empfang durch das Fahrzeug verglichen mit rechtmäßigen Signalen von einem lokalen Schlüssel viel mehr Zeit brauchen würden. Mit in Smartphones implementierten UWB-Funkgeräten müssen außerdem Benutzer möglicherweise keine zusätzlichen Schlüsselanhänger mit sich führen. Stattdessen können die Benutzer ihre UWB-befähigten Smartphones zum Verriegeln/Entriegeln/Starten ihrer Fahrzeuge verwenden.
  • Das Sendesignal eines UWB-Sendeempfängerknotens 102, der als Sender arbeitet, ist eine Sequenz vordefinierter Symbole im IEEE 802.15.4-Format. Diese UWB-Datenpakete werden manchmal als „Blinks“ bezeichnet. Diese Signale überqueren mehrere Wege und kommen an einem UWB-Sendeempfängerknoten 102, der als Empfänger arbeitet, mit verschiedener Amplitudendämpfung und Laufzeit an. Das empfangene Signal kann mit der bekannten Sequenz von Sendesymbolen verglichen werden, um die CIR folgendermaßen zu berechnen: h ( t ) = i = 1 N α i δ ( t τ i )
    Figure DE102021206343A1_0001
    wobei:
    • ai die Amplitude des i-ten Pfads;
    • τi die Laufzeit des i-ten Pfads; und
    • δ(·) die Dirac-Deltafunktion ist.
  • Die UWB-CIR repräsentiert das Mehrwegeprofil, wie sich das Sendesignal durch die Umgebung um Sender und Empfänger ausbreitet. Eine Zeitreihe von CIR repräsentiert Mehrwege-Profilvariationen, die durch etwaige Änderungen der Mehrwegeumgebung verursacht werden. Dies ist ein Aspekt davon, wie die CIR zur Besetzungserfassung verwendet werden können.
  • 2 zeigt eine aus mehreren CIR-Blinks gemessene Wärmeabbildung 200 der CIR-Amplitude. Wie gezeigt repräsentiert die Y-Achse der Wärmeabbildung 200 die Anzahl der CIR-Blinks, während die X-Achse einen Index über die Zeit der Zahl des CIR-Pfads, der dargestellt wird, repräsentiert. Man beachte, dass nicht alle CIR-Pfade in der Wärmeabbildung 200 gezeigt sind. Stattdessen wird ein abgeschnittenes Fenster von CIR bereitgestellt, in diesem Beispiel 15 Pfade vor und 85 Pfade nach dem ersten Pfadindex. Die CIR-Wärmeabbildung 200 kann Signalverarbeitungstechniken und Maschinenlernalgorithmen für verschiedene Erfassungszwecke zugeführt werden.
  • 3 zeigt eine grafische Darstellung 300 der CIR als Mittelwert und Standardabweichung der in 2 gezeigten Wärmeabbildung. Wie gezeigt repräsentiert die Y-Achse die CIR-Amplitude, während die X-Achse einen Index der Zahl des CIR-Pfads, der dargestellt wird, repräsentiert. Dies erlaubt die Beobachtung der CIR-Amplitude über die Zeit hinweg. Zusätzlich zu Amplitude und Standardabweichung können verschiedene Merkmale, wie etwa Spitzen/Täler, Distanzen zwischen Spitzen/Tälern, Anzahl von Spitzen/Tälern usw. berechnet und auch Maschinenlernalgorithmen für verschiedene Erfassungszwecke zugeführt werden.
  • Da CIR durch Mehrwege-Signalreflektionen von Objekten und Menschen im Fahrzeug beeinträchtigt werden, können CIR-Variationen in Wärmeabbildungen und Mittelwert und Standardabweichung zur Fahrzeug-Besetzungserfassung verwendet werden. Da Fahrzeug-Besetzungsüberwachung zur Unterstützung von behördlichen Bestimmungen und zur Bereitstellung eines angepassten Benutzererlebnisses nützlich ist, kann somit die durch die UWB-Sendeempfängerknoten 102 unterstützte schlüssellose Infrastruktur zusätzlich in einer Orthogonal-Erfassungsmodalität benutzt werden, um Fahrzeugbesetzung zu detektieren. Da das System 100 die existierende schlüssellose Infrastruktur wirksam nutzt, kann das System 100 unter Verwendung derselben UWB-Sendeempfängerknoten 102 arbeiten, die in dem Fahrzeug für schlüssellosen Eintritt enthalten sind. Ferner muss das System 100 keine ortsspezifischen Anforderungen aufweisen und kann daher die existierenden installierten UWB-Sendeempfängerknoten 102 benutzen.
  • 4 zeigt ein Beispiel 400 für CIR-Variationen mehrerer UWB-Empfänger für ein Besetzungsszenario, in dem das Fahrzeug leer ist. 5 zeigt ein alternatives Beispiel 500 für CIR-Variationen mehrerer UWB-Empfänger für ein Besetzungsszenario, in dem sich eine Person im Fahrersitz befindet. In jedem der Beispiele 400 und 500 werden grafische CIR-Darstellungen von Mittelwert und Standardabweichung (z. B. wie in 3 gezeigt) für ein Layout von UWB-Sendeempfängerknoten 102 (z. B. in diesem Beispiel das Layout der beispielhaften UWB-Sendeempfängerknoten 102 von 1) bereitgestellt. In diesem beispielhaften Layout befindet sich der als der Sender arbeitende UWB-Sendeempfängerknoten 102 in der Mittenkonsole des Fahrzeugs, während sich die als die Empfänger arbeitenden UWB-Sendeempfängerknoten 102 an verschiedenen Stellen im Fahrzeug befinden. Als ein nicht einschränkendes Beispiel können diese Orte vorne links, den Rückspiegel, vorne rechts, vorne Decke, hinten Decke, Mittenkonsole, hinten links, den Kofferraum und hinten rechts des Fahrzeugs umfassen.
  • Es sollte beachtet werden, dass, obwohl viele Beispiele hier die Fahrzeugumgebung betreffen, solche Techniken auch auf andere Umgebungen anwendbar sind, die UWB-Sendeempfängerknoten 102 umfassen, oder auf andere Ortsanwendungen. Zum Beispiel können die hier beschriebenen Techniken zur Bestimmung von Insassenorten unabhängig vom Sitzort verwendet werden. Als eine andere Möglichkeit können die hier beschriebenen Techniken zur Bestimmung von Insassenorten in Gebäuden oder anderen Strukturen mit Installationen von UWB-Sendeempfängerknoten 102 verwendet werden. Als weitere Möglichkeit können die hier beschriebenen Techniken zur Bestimmung von Insassenorten in Außenumgebungen mit Installationen von UWB-Sendeempfängerknoten 102 verwendet werden.
  • Ungeachtet der spezifischen Umgebung oder Orte zeigen die CIR-Variationen in jedem der Empfänger-UWB-Sendeempfängerknoten 102 für jedes der Besetzungsszenarien verschiedene Mehrwegeprofile. Zum Beispiel weisen die UWB-Sendeempfängerknoten 102 vorne links und am Rückspiegel zwischen den Beispielen 400 und 500 aufgrund von geringfügigen menschlichen Bewegungen hohe CIR-Variationen auf, wenn sich eine Person im Fahrersitz befindet, wie in 5 gezeigt, während alle UWB-Sendeempfängerknoten niedrige CIR-Variationen aufweisen, wenn das Fahrzeug leer ist, wie in 4 gezeigt. Die CIR-Variationen können Maschinenlernalgorithmen für Fahrzeug-Besetzungserfassung zugeführt werden.
  • Da drahtlose Signale als Digitalbilder verschiedene Eigenschaften aufweisen, wie etwa räumliche Auflösung und Sichtfeld, können CNN-Modelle benutzt werden, die speziell für UWB-Daten ausgelegt sind. Unter Verwendung von CIR-Daten als Eingabe kann das System 100 ein Tieflernmodell verwenden, das ein MIMO-Modell (mehrere Eingänge, mehrere Ausgänge) mit einer Mehrfachaufgaben-Maske (z. B. einer Masken-MIMO) aufweist, um räumliche/zeitliche Merkmale durch 2D-Faltungen und sitzweise Aufmerksamkeiten durch die Mehrfach-Aufgabenmaske zu erlernen. Die Masken-MIMO ist für unbekannte Fahrzeugorte und ungesehene Szenarien durch Erlernen von räumlichen/zeitlichen Merkmalen aus 2D-Faltungen und sitzweisen Besetzungsaufmerksamkeiten aus der Mehrfach-Aufgabenmaske genau und robust. Das Modell erfordert geringe Trainingsbemühungen für Datensammlung, Signalverarbeitung, Merkmalverarbeitung und Modelltraining. Das System 100 hat auch geringe Rechenkosten und ist praktikabel zum Lauf in Echtzeit auf Prozessoren 104, wie etwa eingebetteten Vorrichtungen mit beschränkten Ressourcen.
  • 6 zeigt einen beispielhaften Datenfluss 600 zur Besetzungserfassung unter Verwendung von schlüsselloser Ultrabreitband-Infrastruktur. In einem Beispiel kann der Datenfluss 600 durch den Prozessor 104 in Kommunikation mit den UWB-Sendeempfängerknoten 102 erreicht werden. Im Allgemeinen umfasst der Datenfluss 600 Verbindungsauswahl 602, Kanalzustandsextraktion 604, eine Signalverarbeitungs-/Datenvorverarbeitungsphase 606, Maschinenlernen unter Verwendung eines Klassifikationsmodells 608 und die Bestimmung einer Entscheidung 610 bezüglich des Herstellens einer sitzweisen Besetzungsproduktion.
  • Mit Bezug auf Verbindungsauswahl 602 werden für jeden UWB-Sendeempfängerknoten 102, die Merkmale, die am meisten zu der Vorhersageausgabe der sitzweisen Besetzungsvorhersage beitragen, automatisch oder manuell ausgewählt. Zu diesen Merkmalen können zum Beispiel eines oder mehrere von CIR-Amplitude und Standardabweichung, Spitzen/Täler, Distanzen zwischen Spitzen/Tälern, Anzahl der Spitzen/Täler usw. der CIR-Daten gehören.
  • Unter Verwendung der ausgewählten Daten wird die Kanalzustandsextraktion 604 durchgeführt. Dies kann zum Beispiel Erfassen der CIR-Daten von jedem UWB-Sendeempfängerknoten 102 gemäß den ausgewählten Merkmalen umfassen. Zum Beispiel kann jeder Empfänger-UWB-Sendeempfängerknoten 102 CIR sammeln und die decodierten CIR-Messungen zu dem Prozessor 104 senden.
  • In einem Beispiel kann einer der UWB-Sendeempfängerknoten 102 als der Sender arbeiten, und die übrigen Knoten-UWB-Sendeempfängerknoten 102 können als Empfänger arbeiten. Als Fortsetzung des beispielhaften Layouts von UWB-Sendeempfängerknoten 102 von 1 kann ein UWB-Sendeempfängerknoten 102 ein Sender sein, während die anderen sieben UWB-Sendeempfängerknoten 102 Empfänger sein können. Ungeachtet des Layouts oder der Menge der UWB-Sendeempfängerknoten 102 kann der dem Sender zugewiesene UWB-Sendeempfängerknoten 102 periodisch (wie etwa alle 30 Millisekunden) z. B. unter der Kontrolle des Prozessors 104 gewechselt werden. Als eine Möglichkeit können die UWB-Sendeempfängerknoten 102 in einer Reigenordnung geändert werden, wobei der aktuelle Sender zum Empfänger wird und ein nächster UWB-Sendeempfängerknoten 102 in einer geordneten Sequenz der UWB-Sendeempfängerknoten 102 zum Sender wird.
  • Die Verarbeitung der gesammelten UWB-CIR-Daten kann zwei Aspekte umfassen. Die Signalverarbeitungs-/Datenverarbeitungsphase 606 zum Umsetzen der unverarbeiteten UWB-Signale in normierte CIR-Tensoren, und die Phase des Klassifikationsmodells 608, die eine Vorhersage der sitzweisen Besetzung aus den normierten CIR-Tensoren umfasst, was zu einer sitzweisen Besetzungsentscheidung führt. Diese werden jeweils der Reihe nach besprochen.
  • Mit Bezug auf die Kanalzustandsextraktion 604 sind für UWB der Sender und der Empfänger gewöhnlich nicht zeitsynchronisiert. Die zu verschiedenen Zeiten gemessenen CIR können somit mit Bezug aufeinander zufällig verschoben sein. Dementsprechend kann eine anfängliche Phase der Signalverarbeitungs-/Datenvorverarbeitungsphase 606 Durchführen einer CIR-Ausrichtung umfassen, um die unverarbeiteten CIR in eine Zeitreihe von CIR zu übersetzen, die auf beständige Weise ein Mehrwegeprofil repräsentieren.
  • 7 zeigt ein Beispiel 700 für zwei fehlausgerichtete CIR. Wie gezeigt repräsentiert die Y-Achse die CIR-Amplitude, während die X-Achse einen Index der Zahl des CIR-Pfads, der dargestellt wird, repräsentiert. In dem dargestellten Beispiel 700 werden die zwei CIR durch ein Zeitintervall von ungefähr zwei Sekunden getrennt.
  • 8 zeigt ein Beispiel 800 für die zwei CIR von 7 nach Ausrichtung. In einem Beispiel kann ein erster Pfadindex zum Durchführen der CIR-Ausrichtung verwendet werden. Der erste Pfadindex kann durch einen Vordere-Flanke-Detektionsalgorithmus bestimmt werden, der die Empfangsleistung jedes Pfads mit einer aus der Rauschschätzung berechneten Schwelle vergleicht. Die CIR können durch den ersten Pfadindex nach Entfernung der Zeitverschiebung ausgerichtet sein.
  • Wieder mit Bezug auf 6 kann der Prozessor 104, der die CIR empfangen hat, CIR-Ausrichtung (z. B. unter Verwendung des ersten Pfadindex) durchführen, um die unverarbeiteten CIR in eine Zeitreihe von abgeschnittenen CIR von Pfaden für jeden Knoten zu transformieren (z. B. um eine vordefinierte Anzahl von Pfaden für jeden Knoten zu akkumulieren, wie etwa 101 Pfade in einem nicht einschränkenden Beispiel).
  • Als Reaktion auf Abschluss einer vordefinierten Sammlung von Daten (z. B. in einem Beispiel zehn Reigenzirkel), was etwa 2,4 Sekunden entspricht, kann die CIR-Amplitude des UWB-Sendeempfängerknotens 102 gemäß einer Übertragungsmodusgruppierung zu einem 4D-CIR-Tensor verkettet werden. Dieser 4D-CIR-Tensor kann als Eingabe für weitere Verarbeitung verwendet werden. Als Fortsetzung des Beispiels von 1 kann die Größe des 4D-CIR-Tensors acht UWB-Sendeempfängerknoten 102, sieben Empfänger für jede Runde, zehn CIR-Blinks und 101 CIR-Pfade repräsentieren.
  • Weiter mit Bezug auf die Vorverarbeitung können die 4D-CIR-Tensoren für Training, Validierung und Testen normiert werden. In einem Beispiel lässt sich dies folgendermaßen erreichen: x i | 1 i n t r a i n t r a i n = | c i r i t r a i n | c i r m e a n t r a i n c i r s t d t r a i n ; x j | 1 j n v a l i d v a l i d = | c i r j t r a i n | c i r m e a n t r a i n c i r s t d t r a i n ; x k | 1 k n t e s t t e s t = | c i r k t r a i n | c i r m e a n t r a i n c i r s t d t r a i n ,
    Figure DE102021206343A1_0002
    dabei ist
    c i r m e a n t r a i n
    Figure DE102021206343A1_0003
    der Mittelwert der CIR-Amplituden der Trainingsstichproben;
    c i r s t d t r a i n
    Figure DE102021206343A1_0004
    die Standardabweichung der CIR-Amplituden der Trainingsproben;
    | c i r i t r a i n | , | c i r j t r a i n |  und  | c i r k t r a i n |
    Figure DE102021206343A1_0005
    sind die Amplituden der 4D-CIR-Tensoren;
    und
    ntrain, nvalid und ntest sind die Zahl von CIR-Tensoren für Training, Validierung bzw. Testen.
  • Da c i r m e a n t r a i n  und  c i r s t d t r a i n
    Figure DE102021206343A1_0006
    unter Verwendung von Trainingsstichproben berechnet werden, werden Informationen mit Bezug auf die Validierung und das Testen von Stichproben nicht in den Trainingsprozess lecken gelassen. Die normierten CIR-Tensoren repräsentieren die Mehrwegeprofile in dem Auto in der zeitlichen und räumlichen Domäne. Wenn zum Beispiel eine Person im Fahrersitz sitzt, verursacht die Anwesenheit der Person Mehrwegesignalreflexionen für die UWB-Sendeempfängerknoten 102 in der Nähe des Fahrersitzes. Die Mehrwegeprofile nahegelegener UWB-Sendeempfängerknoten 102 ändern sich auch aufgrund menschlicher Aktivitäten wie Gesten und Atmung mit der Zeit. Diese Informationen können von Maschinenlernmodellen verwendet werden, um zeitliche und räumliche Merkmale für die Fahrzeug-Besetzungserfassung zu lernen.
  • Nach dem Abschluss der CIR-Verarbeitung zur Umsetzung der unverarbeiteten Signale aus den UWB-Sendeempfängerknoten 102 in normierte CIR-Tensoren verwendet das Maschinenlern-Klassifikationsmodell 608 die normierten CIR-Tensoren zur Vorhersage der sitzweisen Besetzung aus den normierten CIR-Tensoren.
  • Das Klassifikationsmodell kann auf der Basis der Eingangsdaten und des Ausgangsziels entworfen werden. Die Ausgabe des Klassifikationsmodells kann Besetzungsvorhersagen jedes Autositzes umfassen. Eine mögliche Modellarchitektur verwendet eine einzige Kennzeichnung für alle Kombinationen verschiedener Auto-Besetzungsszenarien. Zum Beispiel repräsentiert „0000“ ein leeres Auto, und „1000“ bedeutet eine Person im Fahrersitz und keine Person in anderen drei Sitzen. In diesem Fall ist die Anzahl der Ausgangsklassen sehr groß, zum Beispiel sechszehn mögliche Ausgaben, um alle Kombinationen von „0“ oder „1“ für vier Sitzorte abzudecken. Diese große Menge von Ausgaben kann die Komplexität des Modells erhöhen. Außerdem kann die große Menge an Ausgangsklassen einen Engpass bei der Berechnung und Optimierung verursachen, wodurch die Schwierigkeit beim Training des Modells größer werden kann.
  • Die Menge der Ausgangsklassen kann angegangen werden, indem man einen Mehrfach-Aufgaben-Lernansatz benutzt, bei dem mehrere Klassifikationsaufgaben gemeinsam gelernt werden. Mehrfach-Aufgabenlernen verringert dementsprechend die Komplexität und verbessert die Verallgemeinerung, Skalierbarkeit und Flexibilität des Klassifikationsalgorithmus. Als Erstes wird die Ausgabe in einfachere Aufgaben aufgeteilt, z. B. Binärklassifikation von leer oder besetzt für jeden Sitzort (z. B. vier Sitzorte in einem nicht einschränkenden Beispiel). Dies verringert die Komplexität und Rechenkosten sowohl der Modellarchitektur als auch des Optimierungsalgorithmus, so dass das Modell leichter zu trainieren ist. Zweitens können aus jeder Aufgabe gelernte Merkmale andere Aufgaben verbessern, da verschiedene Aufgaben verwandt sind. Durch paralleles Lernen mehrerer verwandter Aufgaben mit einer geteilten Repräsentation kann Mehrfach-Aufgabenlernen die Gesamtleistungsfähigkeit aller Aufgaben verbessern. Drittens ist Mehrfach-Aufgabenlernen skalierbar und es ist leicht, neue Aufgaben hinzuzufügen, wenn neue Daten verfügbar sind. Zum Beispiel kann das Modell „Hund“ für die sitzweise Besetzungsklassifikation hinzufügen und an dem vortrainierten Modell mit zusätzlichen Daten trainieren. Schließlich ist Mehrfach-Aufgabenlernen flexibel zum Hinzufügen von Gewichten zu verschiedenen Aufgaben für Mehrfach-Aufgabenlernen. Zum Beispiel kann das Modell für den Fahrersitz ein höheres Gewicht hinzufügen, wenn die Besetzung des Fahrersitzes höhere Priorität aufweist.
  • Die Eingabe des Klassifikationsalgorithmus kann die Form von 4D-Sensoren annehmen, die von der oben beschriebenen Signalvorverarbeitungsphase 606 ausgegeben werden. Dieses Eingabeformat wirkt sich auch auf Entwurfswahlen für den Klassifikationsalgorithmus aus. Die 4D-Tensoren können 4D-Faltungen zum Extrahieren von Merkmalabbildungen verwenden. 4D-Faltungen weisen jedoch hohe Zeit- und Raumkomplexität auf und können von tieflemenden Rahmen wie TensorFlow und PyTorch nicht nativ unterstützt werden. Die 4D-Faltungen können unter Verwendung von zerlegten Modellen, wie etwa SIMO (ein Eingang, mehrere Ausgänge) oder MIMO (mehrere Eingänge, mehrere Ausgänge) mit 3D- oder 2D-Faltungen ersetzt werden.
  • 9 zeigt ein beispielhaftes Detail 900 von Aspekten des Datenflusses 600 bei Verwendung eines SIMO-Klassifikationsmodells (ein Eingang, mehrere Ausgänge) 608. Wie gezeigt, werden die 3D-CIR-Tensoren aller Knoten bei 902 zu einem einzigen 3D-Tensor verkettet. Unter Verwendung der beispielhaften Anordnung von UWB-Sendeempfängerknoten 102 von 1 und des oben erwähnten beispielhaften Ansatzes kann diese Verkettung acht UWB-Sendeempfängerknoten 102, sieben Empfänger für jede Runde, mit zehn CIR-Blinks und 101 CIR-Pfaden repräsentieren. Rein zur Erläuterung und nicht als Beschränkung kann somit eine Datengröße von 7x10x101 von jedem der sieben Empfangs-UWB-Sendeempfängerknoten 102 zu einer verketteten Datenmenge von 56x10x101 führen.
  • Als Nächstes können 2D-Faltungen entlang der Zeit- und Raumdomäne durchgeführt werden. Der vorverarbeitete 3D-CIR-Tensor jedes Knotens 102 kann zwei Faltungsschichten 904 und 908 zugeführt werden, denen jeweils eine jeweilige Aktivierungsschicht 906 bzw. 908 folgt. Die Bemessung der Faltungsschichten kann unterschiedlich sein, aber im Allgemeinen kann die erste Faltungsschicht 904 größer als die zweite Faltungsschicht 908 sein. Die Aktivierungsschichten 906 und 910 können Aspekte umfassen wie etwa Batch-Normierung zur Normierung der Ausgabe wie etwa durch Subtrahieren des Batch-Mittelwerts und Dividieren der Batch-Standardabweichung, ReLU (Rectified Linear Unit) zum Ausnullen negativer Aktivierungen, Max-Pooling zur Unterabtastung der resultierenden Daten und Dropout-Schichten zum Herausnehmen einer zufälligen Menge von Aktivierungen in dieser Schicht durch Setzen dieser auf Null, um Überanpassung zu vermeiden. Diese Daten können einer Operation des Verflachens 912 unterzogen werden, um die Daten in einen Vektor umzusetzen, und dann kann eine Softmax-Schicht 914 mit derselben Anzahl von Knoten wie die Ausgabe (z. B. Anzahl von Sitzorten) verwendet werden, um die Endwahrscheinlichkeiten der Sitzbesetzung zu erzeugen.
  • Rein zur Erläuterung und nicht als Beschränkung kann zum Beispiel die Faltungsschicht 904 eine 5x5-Matrix benutzen, um 256 Ausgaben mit einer Gesamtdatengröße von 256x10x101 bereitzustellen, die Aktivierungsschicht 906 kann Pooling mit einer 3x3-Matrix durchführen, was zu einer Datenmenge von 256x3x33 führt, und die Faltungsschicht 908 kann eine 3x3-Matrix benutzen, um 128 Ausgaben mit einer Gesamtdatengröße von 128x3x33 bereitzustellen, und die Aktivierungsschicht 910 kann Pooling mit einer 3x3-Matriz durchführen, was zu einer Datenmenge von 128x1x11 führt. Dies kann zu einem Vektor einer Größe von 1408x1 verflacht werden, woraus die Endausgaben z. B. über Softmax bestimmt werden.
  • 10 zeigt ein beispielhaftes Detail 1000 von Aspekten des Datenflusses 600 bei Verwendung eines MIMO-Klassifikationsmodells (mehrere Eingänge, mehrere Ausgänge) 608. In diesem Beispiel verwendet jeder UWB-Sendeempfängerknoten 102 seine eigene(n) 2D-Faltungsschicht(en) 1002. Zum Beispiel leitet, statt mit einer Verkettung zu beginnen, jeder UWB-Sendeempfängerknoten 102 seine eigenen Daten in eine getrennte Menge von Faltungsschichten 1002 und 1006 und Aktivierungsschichten 1004 und 1008. Es sollte wieder beachtet werden, dass die Größe der Schichten sowie die Anzahl der Schichten vom dargestellten abweichen kann. Die Faltungsausgaben der Schichten 1008 für jeden der UWB-Sendeempfängerknoten 102 werden bei 1010 zur Mehrfach-Aufgabenklassifikation zu einer einzigen Schicht verkettet, z. B. mittels der Verflachung 1012 und einer Softmax-Schicht 1014, ähnlich wie die Verflachung 912 und die Softmax-Schicht 914, die oben mit Bezug auf das SIMO-Klassifikationsmodell besprochen wird. Für MIMO ist die neuronale Architektur jedes Knotens dieselbe, aber die neuronalen Gewichte verschiedener Knoten sind verschieden. Dementsprechend lernen bei einem solchen Ansatz diese Schichten 1002, 1004, 1006, 1008 Merkmale im Raum- und Zeitbereich für jeden UWB-Sendeempfängerknoten 102 unabhängig.
  • Zum Beispiel kann lediglich zur Erläuterung und nicht zur Beschränkung jede Faltungsschicht 1002 eine 5x5-Matrix benutzen, um 256 Ausgaben mit einer Gesamtdatengröße von 256x10x101 bereitzustellen, jede Aktivierungsschicht 1004 kann Pooling mit einer 3x3-Matrix durchführen, was zu einer Datenmenge von 256x3x33 führt, jede Faltungsschicht 1006 kann eine 3x3-Matrix benutzen, um 128 Ausgaben mit einer Gesamtdatengröße von 128x3x33 bereitzustellen, und jede Aktivierungsschicht 1008 kann Pooling mit einer 3x3-Matrix durchführen, was zu einer Datenmenge von 128x1x11 führt. Diese unabhängigen Datenmengen können zu einer Datenmenge von 128x8x11 verkettet werden und zu einem Vektor von 11264x1 verflacht werden, woraus die Endausgaben z. B. wieder über Softmax bestimmt werden.
  • Signifikanterweise erfassen SIMO- und MIMO-Klassifikationsmodelle 608 jedoch nicht die räumlichen Merkmale, die für verschiedene UWB-Sendeempfängerknoten 102 und verschiedene Sitzorte korreliert sind. Um dies anzugehen, kann eine Mehrfach-Aufgabenmaske zum MIMO-Klassifikationsmodell 608 hinzugefügt werden, um Mehrfach-Aufgabenaufmerksamkeiten von mehreren UWB-Sendeempfängerknoten 102 zu lernen.
  • 11 zeigt ein beispielhaftes Detail 1100 von Aspekten des Datenflusses 600 bei Verwendung eines MaskMIMO-Klassifikationsmodells 806. Das MaskMIMO-Klassifikationsmodell 608 umfasst Aspekte, die den oben mit Bezug auf das MIMO-Klassifikationsmodell 608 beschriebenen ähnlich sind. Zum Beispiel arbeiten die Elemente 1102-1112 wie oben jeweils mit Bezug auf Elemente 1002-1012 besprochen. Nach der Verflachung wird der verflachte Vektor auf eine Menge von Dichteschichten 1114, eine für jeden Sitzort, angewandt. Jede der Dichteschichten 1114 transformiert die hochdimensionale Vektorausgabe bei 1112 in einen niedrigerdimensionalen Objektvektor. Außerdem wird die Ausgabe der Dichteschichten 1114 auf Sigmoid-Aktivierungsfunktionen angewandt, um eine vorgewichtete Wahrscheinlichkeitsausgabe für Besetzung an jedem jeweiligen Sitzort zu produzieren. Signifikanterweise weisen verschiedene UWB-Sendeempfängerknoten 102 für die Durchführung verschiedener Sitzorte verschiedene Gewichte auf, da die UWB-Sendeempfängerknoten 102 an verschiedenen Orten im Fahrzeug platziert werden. Diese vorgewichteten Ausgaben werden dementsprechend unter Verwendung einer Mehrfach-Aufgabenmaske 1116 gewichtet, die dafür ausgelegt ist, die sitzweisen Aufmerksamkeiten und räumlichen Merkmale zu lernen, um automatisch die Gewichte verschiedener UWB-Sendeempfängerknoten 102 und Sitzorte zu berechnen.
  • In der dargestellten beispielhaften Implementierung arbeitet die Mehrfach-Aufgabenmaske 1116 an einer Verkettung 1118 der Daten aus allen UWB-Sendeempfängerknoten 102, ähnlich wie die oben besprochene Eingabe in das SIMO-Klassifikationsmodell 608. Diese verketteten Daten werden dann einer Faltungsschicht 1120, einer Aktivierungsschicht 1122, einer anderen Faltungsschicht 1124 und einer anderen Aktivierungsschicht 1126 zugeführt. Die Bemessung der Faltungsschichten 1120, 1124 sowie die Anzahl der Schichten kann unterschiedlich sein. Die Aktivierungsschichten 1122 und 1126 können ähnlich Aspekte wie Batch-Normierung zur Normierung der Ausgabe wie etwa durch Subtrahieren des Batch-Mittelwerts und Dividieren der Batch-Standardabweichung, ReLU (Rectified Linear Unit) zum Ausnullen negativer Aktivierungen, Max-Pooling zur Unterabtastung der resultierenden Daten und Dropout-Schichten zum Herausnehmen einer zufälligen Menge von Aktivierungen in dieser Schicht durch Setzen dieser auf Null, um Überanpassung zu vermeiden. Diese Daten können zu einem Vektor verflacht werden 1128 und dann an eine Menge von Dichteschichten 1130, eine für jeden Sitzort, angelegt werden, mit einer Sigmoid-Aktivierungsfunktion zum Produzieren von Mehrfach-Aufgabengewichten für jeden Sitzort. Die letztendlichen sitzweisen Besetzungsvorhersagen werden dann durch Multiplikation der Mehrfach-Aufgabengewichte aus der Mehrfach-Aufgabenmaske 116 und der Softmax-Bewertungen in den Multiplizierern 1132 berechnet. Diese Produkte können dann mit Schwellen verglichen oder anderweitig angewandt werden, um die letztendlichen sitzweisen Besetzungsvorhersagen bei 1134 zu erzeugen (z. B. Binärvorhersagen unter Verwendung eines ersten Werts, wie etwa 1, für besetzt, eines zweiten Werts, wie etwa 0, für unbesetzt, usw.).
  • Zum Beispiel können lediglich zur Erläuterung und nicht als Beschränkung die MIMO-Datengrößenaspekte mit den mit Bezug auf das MIMO-Klassifikationsmodell 608 beschriebenen vereinbar sein. Außerdem kann mit Bezug auf die Funktionsweise der Mehrfach-Aufgabenmaske 1116 auch lediglich zur Erläuterung und nicht als Beschränkung die Verkettung 1118 der Daten des UWB-Sendeempfängerknotens 102 zu einem Datenvektor der Dimension 56×10×101 führen, die Faltungsschicht 1120 kann eine 3×3-Matrix benutzen, um 128 Ausgaben mit einer Gesamtdatengröße von 56×10×128 bereitzustellen, die Aktivierungsschicht 1122 kann Pooling mit einer 3×3-Matrix durchführen, was zu einer Datenmenge von 18×3×128 führt, die Faltungsschicht 1124 kann eine 3×3-Matrix benutzen, um 64 Ausgaben mit einer Gesamtdatengröße von 56×10×64 bereitzustellen, und die Aktivierungsschicht 1126 kann Pooling mit einer 3×3-Matrix durchführen, was zu einer Datenmenge von 6×1×64 führt. Diese Daten können zu einem Vektor von 384×1 verflacht werden, woraus die Dichteausgaben als 128×1 bestimmt werden, was den Sigmoid-Funktionen zugeführt werden kann, um die Mehrfach-Aufgabengewichte für jeden Sitzort zu produzieren. Außerdem können die jeweiligen Dichteschichten 1114 die verflachte Verkettung der Größe 11264×1 bis herunter zu einer handlicheren Größe wie etwa 128×1 reduzieren, was an die Sigmoid-Funktionen in diesem Fluss angelegt werden kann, um die Vor-Masken-gewichteten Wahrscheinlichkeiten zu bestimmen. Diese Vor-Masken-gewichteten Wahrscheinlichkeiten und die Mehrfach-Aufgabengewichte können entsprechend den Multiplizierern 1132 zugeführt werden.
  • Somit lernt das MaskMIMO-Klassifikationsmodell 608 sowohl unabhängige als auch geteilte Merkmale aus Mehrwegeprofilen mehrerer UWB-Sendeempfängerknoten 102. Das MaskMIMO-Klassifikationsmodell 608 benutzt außerdem die Mehrfach-Aufgabenmaske 1116, um räumliche Merkmale und Mehrfach-Aufgabenaufmerksamkeiten von den UWB-Sendeempfängerknoten 102 an verschiedenen Orten zu lernen. Aufgrund dieses Entwurfs kann das MaskMIMO-Klassifikationsmodell 608 gegenüber verschiedenen ungesehenen Szenarien robust sein. Da das MaskMIMO-Klassifikationsmodell 608 für verschiedene Szenarien robust ist, muss das MaskMIMO-Klassifikationsmodell 608 nicht viel Daten in verschiedenen Szenarien sammeln. Stattdessen kann das MaskMIMO-Klassifikationsmodell 608 durch nur vier Fahrzeugorte trainiert werden und robuste und hohe Genauigkeit für verschiedene ungesehene Szenarien bereitstellen. Im Gegensatz zu anderen Maschinenlernansätzen, wie etwa kNN (k-Nearest Neighbors) und SVM (Support Vector Machine), die gewöhnliche Merkmalbearbeitung/-auswahl benötigen, kann außerdem das MaskMIMO-Klassifikationsmodell 608 Merkmale automatisch lernen und deshalb zur Signalverarbeitung nur wenig oder gar keine menschliche Bemühung erfordern. Ferner kann das MaskMIMO-Klassifikationsmodell 608 ein Mehrfach-Ausgangs-CNN-Modell verwenden, so dass es durch neue Daten oder neue Aufgaben umtrainiert werden kann, ohne das Training von Anfang an neu zu starten. Als Letztes hat das MaskMIMO-Klassifikationsmodell 608 geringe Rechenkosten und kann in Echtzeit auf eingebetteten Vorrichtungen mit beschränkten Ressourcen laufen.
  • 12 zeigt einen beispielhaften Datenfluss 1200 mit einer Rückkopplungsschleife 1202 in die sitzweise Besetzungsbestimmung. Diese Rückkopplungsschleife 1202 kann die Leistungsfähigkeit während Normalbetrieb weiter verbessern. Ähnlich wie Kennzeichnungsdaten kann die Rückkopplung von verschiedenen Quellen empfangen werden, wie etwa manuelle Eingabe (z. B. ein Mensch in der Schleife) oder Verwendung anderer Sensormodalitäten (wie etwa Kameras, Radars, Sitzgewichtssensoren usw.), um Grunddaten als Dateneingabe zum Trainieren des MaskMIMO-Klassifikationsmodells 608 mit Bezug auf die Besetzungsbestimmung bereitzustellen.
  • 13 zeigt einen Prozess 1300 zur Besetzungserfassung unter Verwendung von schlüsselloser UWB-Infrastruktur. In einem Beispiel kann der Prozess 1300 unter Verwendung der hier im Detail beschriebenen Techniken ausgeführt werden.
  • In Operation 1302 werden Kanalimpulsantwort- bzw. CIR-Messungen von mehreren UWB-Sendeempfängerknoten 102, die um mehrere Orte herum angeordnet sind, empfangen. In einigen Beispielen sind die Orte Sitzorte, in anderen Beispielen können die Orte jedoch von den Sitzorten verschieden sein, da die UWB-Sendeempfängerknoten 102 für Verwendung bei der schlüssellosen Authentifizierung ausgelegt sein können. In einem Beispiel wird einer der mehreren UWB-Sendeempfängerknoten 102 periodisch neu als Sender zugewiesen, und die anderen der mehreren UWB-Sendeempfängerknoten 102 werden periodisch neu als Empfänger zugewiesen. Somit werden die CIR-Messungen von Daten von dem als Sender arbeitenden UWB-Sendeempfängerknoten 102 von den als Empfänger arbeitenden UWB-Sendeempfängerknoten 102 gesammelt.
  • In Operation 1304 wird ein Klassifikationsmodell 608 verwendet, um Merkmale von aus den CIR-Messungen für jeden der UWB-Sendeempfängerknoten 102 gebildeten CIR-Tensoren zu identifizieren, um Ausgaben für jeden Ort zu produzieren. In einem Beispiel kann das Klassifikationsmodell 608 ein Klassifikationsmodell 608 mit einem einzigen Eingang und mehreren Ausgängen sein, und die CIR-Tensoren der mehreren UWB-Sendeempfängerknoten 102 können für das Klassifikationsmodell 608 zu einem einzigen 3D-Tensor verkettet werden. In einem anderen Beispiel kann das Klassifikationsmodell 608 ein Klassifikationsmodell 608 mit mehreren Eingängen und mehreren Ausgängen sein, und die Daten von jedem der UWB-Sendeempfängerknoten 102 können einer getrennten Menge von Schichten zugeführt werden, wobei die Ausgaben der Schichten für jeden der UWB-Sendeempfängerknoten zur Mehrfach-Aufgabenklassifikation zu einer einzigen Schicht verkettet werden.
  • In noch einem weiteren Beispiel wird eine MIMO-Klassifikation (mehrere Eingänge, mehreren Ausgänge) des MaskMIMO-Klassifikationsmodells 608 benutzt, um Merkmale der CIR-Tensoren pro UWB-Sendeempfängerknoten zu identifizieren, um vorgewichtete Ausgaben für jeden Sitzort zu produzieren. In einem solchen Beispiel können CIR-Tensoren von jedem UWB-Sendeempfängerknoten in getrennte jeweilige Mengen von Faltungsschichten und Aktivierungsschichten geleitet werden. Ausgaben der getrennten jeweiligen Mengen von Schichten können dann verkettet werden, und die verketteten Ausgaben können zur Mehrfach-Aufgabenklassifikation verflacht werden. Die verflachten verketteten Ausgaben können auf eine Menge von Dichteschichten, eine für jeden Sitzort, angewandt werden, mit einer Sigmoid-Aktivierungsfunktion zum Produzieren der vorgewichteten Ausgaben für jeden Sitzort. Außerdem kann eine Mehrfach-Aufgabenmaske, die Mehrfach-Aufgaben Aufmerksamkeiten von den CIR-Tensoren identifiziert, benutzt werden, um Mehrfach-Aufgabengewichte für jeden Sitzort zu produzieren. In einem Beispiel kann eine Verkettung der CIR-Tensoren von jedem UWB-Sendeempfängerknoten in eine Menge von Faltungsschichten und Aktivierungsschichten geleitet werden. Die Ausgabe der Schichten kann zu einem Vektor verflacht werden, und die verflachte Ausgabe kann auf eine Menge von Dichteschichten, eine für jeden Sitzort, angewandt werden, mit einer Sigmoid-Aktivierungsfunktion zum Produzieren der Mehrfach-Aufgabengewichte für jeden Sitzort. Außerdem können die vorgewichteten Ausgaben unter Verwendung der Mehrfach-Aufgabengewichte gewichtet werden, um Endausgaben zu produzieren, die räumliche Merkmale berücksichtigen, die über die UWB-Sendeempfängerknoten korreliert sind. In einem Beispiel kann für jeden Sitzort die vorgewichtete Ausgabe für den Sitzort mit einem entsprechenden Mehrfach-Aufgabengewicht für den Sitzort multipliziert werden, um ein Produkt zu bestimmen.
  • Mit Bezug auf die Messungen kann Zeitsynchronisation durchgeführt werden, um CIR-Tensoren zu produzieren, die über die UWB-Sendeempfängerknoten hinweg zeitausgerichtet sind. In einem Beispiel wird durch Vordere-Flanke-Detektion ein erster Pfadindex bestimmt, um Empfangsleistung jedes Pfads in den CIR-Messungen mit einer aus einer Rauschschätzung der CIR-Messungen berechneten Schwelle zu vergleichen; und die CIR-Messungen werden durch den ersten Pfadindex ausgerichtet, um Zeitverschiebung zwischen den CIR-Messungen zu entfernen. In einigen Beispielen werden die CIR-Tensoren auch normiert.
  • In Operation 1306 wird Besetzung für jeden der mehreren Orte gemäß den Endausgaben vorhergesagt. In einem Beispiel können die Produkte für jeden Ort mit Schwellen verglichen werden, um eine binäre Sitzbesetzungsvorhersage für jeden der Orte bereitzustellen. In einem Beispiel sind die Orte Sitzorte.
  • 14 zeigt eine beispielhafte Datenverarbeitungsvorrichtung 1400 zur Besetzungserfassung unter Verwendung von schlüsselloser UWB-Infrastruktur. Der Prozessor 104 kann eine solche Datenverarbeitungsvorrichtung 1400 umfassen. Die hier ausgeführten Operationen, wie etwa die in 1-13 gezeigten, können durch solche Datenverarbeitungsvorrichtungen 1400 ausgeführt werden. Die Computerplattform 1400 kann einen Speicher 1402, einen Prozessor 1404 und ein nicht-flüchtiges Datenlager 1406 enthalten. Der Prozessor 1404 kann eine oder mehrere Vorrichtungen enthalten, die aus Hochleistungscomputersystemen (HPC-Systemen) ausgewählt werden, einschließlich Hochleistungskernen, Mikroprozessoren, Mikrocontrollern, digitalen Signalprozessoren, Mikrocomputern, zentralen Verarbeitungseinheiten, feldprogrammierbaren Gate-Arrays, programmierbaren Logikvorrichtungen, Zustandsautomaten, Logikschaltkreisen, analogen Schaltkreisen, digitalen Schaltkreisen oder anderen Vorrichtungen, die Signale (analog oder digital) auf der Grundlage von Computer-ausführbaren Instruktionen in dem Speicher 1402 bearbeiten. Der Speicher 1402 kann eine einzelne Speichervorrichtung oder eine Anzahl von Speichervorrichtungen enthalten, einschließlich beispielsweise Direktzugriffsspeicher (RAM), flüchtiger Speicher, nichtflüchtiger Speicher, statischer Direktzugriffsspeicher (SRAM), dynamischer Direktzugriffsspeicher (DRAM), Flash-Speicher, Cache-Speicher oder jede andere Vorrichtung, die Informationen speichern kann. Das nicht-flüchtige Datenlager 1406 kann eine oder mehrere persistente Datenspeichervorrichtungen enthalten, wie zum Beispiel eine Festplatte, ein optisches Laufwerk, ein Bandlaufwerk, eine nicht-flüchtige Festkörpervorrichtung, einen Cloud-Speicher oder jede andere Vorrichtung, die in der Lage ist, Informationen persistent zu speichern.
  • Der Prozessor 1404 kann dafür konfiguriert sein, Computer-ausführbare Instruktionen in den Speicher 1402 einzulesen und auszuführen, die sich in dem Softwaremodul 1408 des nichtflüchtigen Datenlagers 1406 befinden und Algorithmen und/oder Methodologien einer oder mehrerer Ausführungsformen verkörpern. Das Softwaremodul 1408 kann Betriebssysteme und Anwendungen enthalten. Das Softwaremodul 1408 kann aus Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielzahl verschiedener Programmiersprachen und/oder -technologien erstellt wurden, einschließlich beispielsweise, und entweder allein oder in Kombination, Java, C, C++, C#, Objective C, Fortran, Pascal, Java Script, Python, Perl und PL/SQL. In einigen Beispielen können Maschinenlemaspekte unter Verwendung von tieflernenden Rahmen wie TensorFlow und PyTorch implementiert werden.
  • Bei Ausführung durch den Prozessor 1404 können die Computer-ausführbaren Instruktionen des Softwaremoduls 1408 die Computerplattform 1400 veranlassen, einen oder mehrere der im vorliegenden Text offenbarten Algorithmen und/oder Methodologien zu implementieren. Das nicht-flüchtige Datenlager 1406 kann auch Daten 1410 enthalten, die die Funktionen, Merkmale und Prozesse der einen oder mehreren im vorliegenden Text beschriebenen Ausführungsformen unterstützen.
  • Die hier offenbarten Prozesse, Verfahren oder Algorithmen können lieferbar sein an/implementiert werden durch eine Verarbeitungsvorrichtung, einen Controller oder einen Computer, die/der eine beliebige existierende programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit beinhalten kann. Gleichermaßen können die Prozesse, Verfahren oder Algorithmen als Daten und durch einen Controller oder einen Computer ausführbare Anweisungen in vielen Formen gespeichert werden, darunter unter anderem Informationen, die auf nichtbeschreibbaren Speicherungsmedien wie etwa ROM-Vorrichtungen permanent gespeichert sind, und Informationen, die auf beschreibbaren Speicherungsmedien wie etwa Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien, änderbar gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Softwareobjekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen in Gänze oder teilweise unter Verwendung geeigneter Hardwarekomponenten umgesetzt werden, wie etwa anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Zustandsmaschinen, Controller oder anderer Hardwarekomponenten oder -vorrichtungen oder einer Kombination von Hardware-, Software- und Firmwarekomponenten.
  • Obgleich oben beispielhafte Ausführungsformen beschrieben sind, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen durch die Ansprüche eingeschlossenen Formen beschreiben. Die in der Beschreibung verwendeten Ausdrücke sind Ausdrücke der Beschreibung und nicht der Beschränkung, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne von der Idee und dem Schutzumfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die möglicherweise nicht explizit beschrieben oder veranschaulicht sind. Obgleich verschiedene Ausführungsformen als Vorteile ergebend oder gegenüber anderen Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehrerer erwünschter Charakteristiken bevorzugt beschrieben worden sein können, erkennen Durchschnittsfachleute auf dem Gebiet, dass ein(e) oder mehrere Merkmale oder Charakteristiken beeinträchtigt werden können, um erwünschte Gesamtsystemattribute zu erzielen, die von der speziellen Anwendung und Implementierung abhängen. Diese Attribute können unter anderem Kosten, Stärke, Haltbarkeit, Lebenszykluskosten, Vermarktungsfähigkeit, Erscheinungsbild, Aufmachung, Größe, Wartbarkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. beinhalten. Von daher liegen jegliche in dem Maße als weniger wünschenswert als andere Ausführungsformen oder Implementierungen im Stand der Technik bezüglich einer oder mehreren Charakteristiken beschriebene Ausführungsformen nicht außerhalb des Schutzumfangs der Offenbarung und können für gewisse Anwendungen wünschenswert sein.
  • Bezüglich der Prozesse, Systeme, Verfahren und Heuristiken usw., wie hier beschrieben, versteht es sich, dass, obwohl die Schritte solcher Prozesse usw. als entsprechend einer bestimmten geordneten Abfolge auftretend beschrieben wurden, solche Prozesse praktiziert werden können, wobei die beschriebenen Schritte in einer anderen Reihenfolge als der hier beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt werden können, dass andere Schritte hinzugefügt werden können oder dass bestimmte hier beschriebene Schritte ausgelassen werden können. Mit anderen Worten, die Beschreibungen der Prozesse hier sind bereitgestellt zum Zwecke der Veranschaulichung bestimmter Ausführungsformen und sollten in keiner Weise als die Ansprüche einschränkend aufgefasst werden.
  • Entsprechend versteht es sich, dass die obige Beschreibung veranschaulichend sein soll, und nicht einschränkend. Viele Ausführungsformen und Anwendungen, die sich von den bereitgestellten Beispielen unterscheiden, erschließen sich aus dem Lesen der obigen Beschreibung. Der Schutzbereich sollte nicht Bezug nehmend auf die obige Beschreibung bestimmt werden, sondern sollte stattdessen Bezug nehmend auf die beigefügten Ansprüche bestimmt werden, zusammen mit dem vollen Umfang von Äquivalenten, zu denen diese Ansprüche berechtigt sind. Es wird antizipiert und ist beabsichtigt, dass künftige Entwicklungen in den hier erörterten Technologien eintreten und dass die offenbarten Systeme und Verfahren in solche künftigen Ausführungsformen eingeschlossen werden. Zusammengefasst versteht es sich, dass die Anwendung zu Modifikation und Variation in der Lage ist.
  • Alle in den Ansprüchen verwendeten Terme sollen durch ihre breitestmöglichen Konstruktionen und ihre gewöhnlichen Bedeutungen gegeben sein, wie für sachkundige Personen in den hier beschriebenen Technologien verständlich ist, sofern hier keine ausdrückliche Indikation eines Gegenteils angeführt wurde. Insbesondere soll die Verwendung von Artikeln im Singular, wie „ein“, „eine“, „der“, „die“, „das“ usw. als auf eines oder mehrere der angegebenen Elemente Bezug nehmend gelesen werden, sofern nicht ein Anspruch eine ausdrückliche Begrenzung auf das Gegenteil angibt.
  • Die Zusammenfassung der Offenbarung soll einem Leser ermöglichen, schnell die Natur der technischen Offenbarung zu erfassen. Es ist selbstverständlich, dass sie nicht verwendet wird, um den Schutzbereich oder die Bedeutung der Ansprüche zu interpretieren oder zu begrenzen. Darüber hinaus ist in der vorstehenden ausführlichen Beschreibung zu sehen, dass verschiedene Merkmale zum Zwecke der Straffung der Offenbarung in verschiedenen Ausführungsformen gruppiert sind. Dieses Verfahren der Offenbarung ist nicht als eine Absicht, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als in den einzelnen Ansprüchen aufgeführt sind, widerspiegelnd zu interpretieren. Stattdessen liegt, wie die folgenden Ansprüche widerspiegeln, der erfindungsgemäße Gegenstand in weniger als allen Merkmalen einer einzelnen offenbarten Ausführungsform. Daher werden die folgenden Ansprüche hiermit in die ausführliche Beschreibung aufgenommen, wobei jeder Anspruch als ein separat beanspruchter Gegenstand für sich allein steht.
  • Während oben beispielhafte Ausführungsformen beschrieben werden, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen der Erfindung beschreiben. Stattdessen sind die in dieser Spezifikation verwendeten Wörter eher Wörter der Beschreibung als der Beschränkung, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Schutzumfang der Erfindung abzuweichen. Darüber hinaus können die Merkmale von verschiedenen umsetzenden Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden.

Claims (20)

  1. Verfahren zur Besetzungserfassung unter Verwendung von UWB (Ultrabreitband), umfassend: Empfangen von Kanalimpulsantwort- bzw. CIR-Messungen von mehreren UWB-Sendeempfängerknoten, die um mehrere Orte herum angeordnet sind; und Benutzen eines Klassifikationsmodells zur Vorhersage der Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren, die aus den CIR-Messungen von jedem der UWB-Sendeempfängerknoten gebildet werden.
  2. Verfahren nach Anspruch 1, ferner umfassend: Ausführen von Zeitsynchronisation an den CIR-Messungen zum Zeitausrichten der CIR-Tensoren über die UWB-Sendeempfängerknoten hinweg; und Benutzen der zeitausgerichteten CIR-Tensoren als Eingabe für das Klassifikationsmodell.
  3. Verfahren nach Anspruch 1, ferner umfassend: periodisches Neuzuweisen eines der mehreren UWB-Sendeempfängerknoten als Sender und der anderen der mehreren UWB-Sendeempfängerknoten als Empfänger; und Sammeln der CIR-Messungen des einen der mehreren UWB-Sendeempfängerknoten, der als Sender arbeitet, von den anderen der UWB-Sendeempfängerknoten, die als Empfänger arbeiten.
  4. Verfahren nach Anspruch 1, das ferner Normieren der CIR-Tensoren vor Anwendung der CIR-Tensoren auf das Klassifikationsmodell umfasst.
  5. Verfahren nach Anspruch 1, wobei das Klassifikationsmodell ein Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen ist und die CIR-Tensoren der mehreren UWB-Sendeempfängerknoten als Eingabe in das Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen zu einem einzigen 3D-Tensor verkettet werden.
  6. Verfahren nach Anspruch 1, wobei das Klassifikationsmodell ein Modell mit mehreren Eingängen und mehreren Ausgängen ist, jeder der UWB-Sendeempfängerknoten Daten in eine getrennte Menge von Schichten leitet und Ausgaben der Schichten für jeden der UWB-Sendeempfängerknoten zur Mehrfach-Aufgabenklassifikation zu einer einzigen Schicht verkettet werden.
  7. Verfahren nach Anspruch 1, wobei das Klassifikationsmodell ein Klassifikationsmodell mit mehreren Eingängen und mehreren Ausgängen ist, das eine Mehrfach-Aufgabenmaske verwendet, und ferner umfassend: Benutzen der Mehrfach-Aufgabenmaske zum Identifizieren von Mehrfach-Aufgabenaufmerksamkeiten von den CIR-Tensoren zum Produzieren von mehrfach-Aufgabengewichten für jeden Sitzort; und Gewichten der Ausgaben unter Verwendung der Mehrfach-Aufgabengewichte zum Produzieren von Ausgaben, die gewichtet sind, die über die UWB-Sendeempfängerknoten korrelierte räumliche Merkmale berücksichtigen.
  8. System zur Besetzungserfassung unter Verwendung drahtloser Kommunikation, umfassend: eine Datenverarbeitungsvorrichtung mit einem Prozessor, programmiert zum Empfangen von Kanalimpulsantwort- bzw. CIR-Messungen von mehreren UWB-Sendeempfängerknoten, die um mehrere Orte herum angeordnet sind; und Benutzen eines Klassifikationsmodells zur Vorhersage der Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren, die aus den CIR-Messungen von jedem der drahtlosen Sendeempfängerknoten gebildet werden.
  9. System nach Anspruch 8, wobei der Prozessor ferner programmiert ist zum Ausführen von Zeitsynchronisation an den CIR-Messungen zum Zeitausrichten der CIR-Tensoren über die drahtlosen Sendeempfängerknoten hinweg; und Benutzen der zeitausgerichteten CIR-Tensoren als Eingabe für das Klassifikationsmodell.
  10. System nach Anspruch 8, wobei der Prozessor ferner programmiert ist zum periodischen Neuzuweisen eines der mehreren drahtlosen Sendeempfängerknoten als Sender und der anderen der mehreren drahtlosen Sendeempfängerknoten als Empfänger; und Sammeln der CIR-Messungen des einen der mehreren drahtlosen Sendeempfängerknoten, der als Sender arbeitet, von den anderen der drahtlosen Sendeempfängerknoten, die als Empfänger arbeiten.
  11. System nach Anspruch 8, wobei der Prozessor ferner programmiert ist zum Normieren der CIR-Tensoren vor dem Anwenden der CIR-Tensoren auf das Klassifikationsmodell.
  12. System nach Anspruch 8, wobei das Klassifikationsmodell ein Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen ist und der Prozessor ferner programmiert ist zum Verketten der CIR-Tensoren der mehreren drahtlosen Sendeempfängerknoten zu einem einzigen 3D-Tensor; und Eingeben des 3D-Tensors in das Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen.
  13. System nach Anspruch 8, wobei das Klassifikationsmodell ein Klassifikationsmodell mit mehreren Eingängen und mehreren Ausgängen ist und der Prozessor ferner programmiert ist zum Leiten von Daten von jedem der drahtlosen Sendeempfängerknoten in eine getrennte Menge von Schichten; und Verketten von Ausgaben der Schichten für jeden der drahtlosen Sendeempfängerknoten zu einer einzigen Schicht zur Mehrfach-Aufgabenklassifikation.
  14. System nach Anspruch 8, wobei das Klassifikationsmodell ein Klassifikationsmodell mit mehreren Eingängen und mehreren Ausgängen ist, das eine Mehrfach-Aufgabenmaske verwendet, und der Prozessor ferner programmiert ist zum Benutzen der Mehrfach-Aufgabenmaske zum Identifizieren von Mehrfach-Aufgabenaufmerksamkeiten von den CIR-Tensoren zum Produzieren von mehrfach-Aufgabengewichten für jeden Sitzort; und Gewichten der Ausgaben unter Verwendung der Mehrfach-Aufgabengewichte zum Produzieren von Ausgaben, die gewichtet sind, die über die drahtlosen Sendeempfängerknoten korrelierte räumliche Merkmale berücksichtigen.
  15. Nichttransitorisches computerlesbares Medium mit Anweisungen zur Besetzungserfassung unter Verwendung von UWB (Ultrabreitband), die, wenn sie durch einen Prozessor ausgeführt werden, den Prozessor veranlassen zum Empfangen von Kanalimpulsantwort- bzw. CIR-Messungen von mehreren UWB-Sendeempfängerknoten, die um mehrere Orte herum angeordnet sind; und Benutzen eines Klassifikationsmodells zur Vorhersage der Besetzung jedes der mehreren Orte auf der Basis von CIR-Tensoren, die aus den CIR-Messungen von jedem der UWB-Sendeempfängerknoten gebildet werden.
  16. Medium nach Anspruch 15, das ferner Anweisungen umfasst, die, wenn sie durch den Prozessor ausgeführt werden, den Prozessor veranlassen zum Ausführen von Zeitsynchronisation an den CIR-Messungen zum Zeitausrichten der CIR-Tensoren über die UWB-Sendeempfängerknoten hinweg; Normieren der CIR-Tensoren vor dem Anwenden der CIR-Tensoren auf das Klassifikationsmodell; und Benutzen der normierten und zeitausgerichteten CIR-Tensoren als Eingabe für das Klassifikationsmodell.
  17. Medium nach Anspruch 15, das ferner Anweisungen umfasst, die, wenn sie durch den Prozessor ausgeführt werden, den Prozessor veranlassen zum kanalweisen periodischen Neuzuweisen eines der mehreren UWB-Sendeempfängerknoten als Sender und der anderen der mehreren UWB-Sendeempfängerknoten als Empfänger; und Sammeln der CIR-Messungen des einen der mehreren UWB-Sendeempfängerknoten, der als Sender arbeitet, von den anderen der UWB-Sendeempfängerknoten, die als Empfänger arbeiten.
  18. Medium nach Anspruch 15, wobei das Klassifikationsmodell ein Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen ist und ferner umfassend Anweisungen, die, wenn sie durch den Prozessor ausgeführt werden, den Prozessor veranlassen zum Verketten der CIR-Tensoren der mehreren UWB-Sendeempfängerknoten zu einem einzigen 3D-Tensor; und Eingeben des 3D-Tensors in das Klassifikationsmodell mit einem einzigen Eingang und mehreren Ausgängen.
  19. Medium nach Anspruch 15, wobei das Klassifikationsmodell ein Klassifikationsmodell mit mehreren Eingängen und mehreren Ausgängen ist und ferner umfassend Anweisungen, die, wenn sie durch den Prozessor ausgeführt werden, den Prozessor veranlassen zum Leiten von Daten von jedem der UWB-Sendeempfängerknoten in eine getrennte Menge von Schichten; und Verketten von Ausgaben der Schichten für jeden der UWB-Sendeempfängerknoten zu einer einzigen Schicht zur Mehrfach-Aufgabenklassifikation.
  20. Medium nach Anspruch 15, wobei das Klassifikationsmodell ein Klassifikationsmodell mit mehreren Eingängen und mehreren Ausgängen ist, das eine Mehrfach-Aufgabenmaske verwendet, und ferner umfassend Anweisungen, die, wenn sie durch den Prozessor ausgeführt werden, den Prozessor veranlassen zum Benutzen der Mehrfach-Aufgabenmaske zum Identifizieren von Mehrfach-Aufgabenaufmerksamkeiten von den CIR-Tensoren zum Produzieren von mehrfach-Aufgabengewichten für jeden Sitzort; und Gewichten der Ausgaben unter Verwendung der Mehrfach-Aufgabengewichte zum Produzieren von Ausgaben, die gewichtet sind, die über die UWB-Sendeempfängerknoten korrelierte räumliche Merkmale berücksichtigen.
DE102021206343.8A 2020-06-26 2021-06-21 Besetzungserfassung unter verwendung von ultrabreitband Pending DE102021206343A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/913,271 US11277166B2 (en) 2020-06-26 2020-06-26 Occupancy sensing using ultra-wide band
US16/913,271 2020-06-26

Publications (1)

Publication Number Publication Date
DE102021206343A1 true DE102021206343A1 (de) 2021-12-30

Family

ID=78827208

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021206343.8A Pending DE102021206343A1 (de) 2020-06-26 2021-06-21 Besetzungserfassung unter verwendung von ultrabreitband

Country Status (5)

Country Link
US (1) US11277166B2 (de)
JP (1) JP2022008261A (de)
KR (1) KR20220000843A (de)
CN (1) CN113852907A (de)
DE (1) DE102021206343A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022208460A1 (de) 2022-08-15 2024-02-15 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln von Position und Vitalparameter eines Insassen eines Kraftfahrzeugs und Kraftfahrzeug
DE102022122348A1 (de) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur exakten Sitzbelegungserkennung
WO2024078795A1 (de) * 2022-10-10 2024-04-18 HELLA GmbH & Co. KGaA Verfahren zum erkennen einer veränderung eines übertragungskanals, funkmodul, funksystem sowie fahrzeug

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423720B2 (en) * 2019-10-28 2022-08-23 Korea University Research And Business Foundation Smartkey, control method thereof and detection model generation apparatus for detecting relay attack based on LF fingerprinting
KR20230105449A (ko) 2022-01-04 2023-07-11 주식회사 엘지에너지솔루션 배터리 모듈 및 배터리 모듈의 제조 방법
WO2023140965A1 (en) * 2022-01-18 2023-07-27 Qualcomm Incorporated Radio frequency sensing with channel impulse response
KR102416711B1 (ko) * 2022-02-21 2022-07-05 주식회사 카비 인공지능을 활용한 운전자별 사고위험도 예측장치 및 이 장치를 이용한 사고위험도 예측방법
CN117014929A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 应用于超带宽uwb系统感知测量的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046538A1 (en) 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
US9084087B2 (en) * 2013-08-13 2015-07-14 Qualcomm Incorporated Detecting earliest channel path in location tracking systems
WO2018064570A1 (en) 2016-09-30 2018-04-05 Intertrust Technologies Corporation Transit vehicle information management systems and methods
US20200055692A1 (en) 2018-08-16 2020-02-20 Otis Elevator Company Elevator system management utilizing machine learning
KR20210044633A (ko) * 2019-10-15 2021-04-23 현대자동차주식회사 차량 시트 제어 장치, 그를 포함한 시스템 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022208460A1 (de) 2022-08-15 2024-02-15 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln von Position und Vitalparameter eines Insassen eines Kraftfahrzeugs und Kraftfahrzeug
EP4324706A1 (de) 2022-08-15 2024-02-21 Volkswagen Ag Verfahren zum ermitteln von position und vitalparameter eines insassen eines kraftfahrzeugs und kraftfahrzeug
DE102022122348A1 (de) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur exakten Sitzbelegungserkennung
WO2024078795A1 (de) * 2022-10-10 2024-04-18 HELLA GmbH & Co. KGaA Verfahren zum erkennen einer veränderung eines übertragungskanals, funkmodul, funksystem sowie fahrzeug

Also Published As

Publication number Publication date
US20210409067A1 (en) 2021-12-30
CN113852907A (zh) 2021-12-28
KR20220000843A (ko) 2022-01-04
JP2022008261A (ja) 2022-01-13
US11277166B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
DE102021206343A1 (de) Besetzungserfassung unter verwendung von ultrabreitband
DE102018121595B4 (de) Unbeaufsichtigtes anlernen von agenten für autonome fahranwendungen
DE102014220302B4 (de) Verfahren zur Durchführung einer Aktions-Erkennung auf einem Bild eines Fahrers in einem Fahrzeug sowie entsprechendes Nichtflüchtiges, Computer-lesbares Speichermedium und Verfahren zum Lernen eines Random Forest Modells zur Aktionserkennung
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE102017125484A1 (de) System und verfahren zum einschätzen des innenraums eines autonomen fahrzeugs
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
DE102015200587A1 (de) Vorrichtung und Verfahren zum Anfordern eines Notrufes bei einer Fahrzeugstörung unter Verwendung von Reiseinformationen über das Fahrzeug
DE102016116153A1 (de) Wirksame verfolgung von orten persönlicher vorrichtungen
DE102018123464A1 (de) Verfahren und systeme zur radar-lokalisierung in autonomen fahrzeugen
DE112019000967T5 (de) Verfahren und system für auf fahrzeug-vorinformationen basierende, sichtbasierte fahrzeuginnenraumumgebungsabfühlung
DE102018123467A1 (de) Verfahren und systeme zur radar-lokalisierung in autonomen fahrzeugen
DE102020215729A1 (de) System und verfahren zum detektieren von abnormalem passagierverhalten in autonomen fahrzeugen
DE102020102823A1 (de) Fahrzeugkapselnetzwerke
DE102013208506A1 (de) Hierarchische Erkennung von Fahrzeugfahrer und Auswahlaktivierung von Fahrzeugeinstellungen auf der Grundlage der Erkennung
US20220171046A1 (en) Occupancy sensing using ultra-wide band
DE112022001861T5 (de) Bewegungsbahnkonsistenzmessung für den betrieb eines autonomen fahrzeugs
DE102020128978A1 (de) Trainieren von tiefen neuronalen netzwerken mit synthetischen bildern
CN104240542B (zh) 一种基于地磁传感器网络的机场场面机动目标识别方法
DE102021130644A1 (de) Positionsschätzverfahren für ein mobiles endgerät, positonsschätzvorrichtung für ein mobiles endgerät und positionsschätzsystem für ein mobiles endgerät
DE102014225833A1 (de) System und Verfahren zum Erkennen einer Bewegung durch Analyse eines Funksignals
EP3710870B1 (de) Erfassungssystem
DE102022100545A1 (de) Verbesserte objekterkennung
DE102022123257A1 (de) Selektives Ausscheiden der Merkmale für entgegenwirkende Robustheit neuronaler Netze
DE102022114049A1 (de) Identifizierung eines sensorfusionsbereichs von interesse für deep-learning
DE102021107247A1 (de) Domänenübersetzungsnetzwerk zur durchführung einer bildübersetzung

Legal Events

Date Code Title Description
R012 Request for examination validly filed