DE112019004662T5 - Biometrische frequenz - Google Patents

Biometrische frequenz Download PDF

Info

Publication number
DE112019004662T5
DE112019004662T5 DE112019004662.4T DE112019004662T DE112019004662T5 DE 112019004662 T5 DE112019004662 T5 DE 112019004662T5 DE 112019004662 T DE112019004662 T DE 112019004662T DE 112019004662 T5 DE112019004662 T5 DE 112019004662T5
Authority
DE
Germany
Prior art keywords
person
signals
signal
scanning system
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112019004662.4T
Other languages
English (en)
Inventor
Braon Moseley
Darren Leigh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tactual Labs Co
Original Assignee
Tactual Labs Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tactual Labs Co filed Critical Tactual Labs Co
Publication of DE112019004662T5 publication Critical patent/DE112019004662T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01534Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556Child-seat detection systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B13/00Transmission systems characterised by the medium used for transmission, not provided for in groups H04B3/00 - H04B11/00
    • H04B13/005Transmission systems in which the medium consists of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J13/00Code division multiplex systems
    • H04J13/0007Code type
    • H04J13/004Orthogonal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/26Systems using multi-frequency codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Burglar Alarm Systems (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Eine Mehrzahl von frequenzorthogonalen Signalen wird in eine Person übertragen. Wenigstens eines der mehreren frequenzorthogonalen Signale wird an einer Empfangsantenne oder einem Leiter empfangen. Das empfangene Signal wird gemessen. Eigenschaften des empfangenen Signals werden verwendet, um ein auf diese Person bezogenes Ergebnis zu ermitteln.

Description

  • Die vorliegende Anmeldung beansprucht die Priorität der am 18. September 2018 eingereichten vorläufigen Patentanmeldung US 62/733,041 , deren Inhalt hiermit durch Bezugnahme aufgenommen ist. Die vorliegende Anmeldung enthält Material, das dem Urheberrechtsschutz unterliegt. Der Urheberrechtsinhaber hat keine Einwände gegen eine Vervielfältigung der Patentoffenbarung durch Dritte, wie sie in den Akten oder Aufzeichnungen des Patent- und Markenamts erscheint, behält sich aber ansonsten alle Urheberrechte vor.
  • GEBIET
  • Die offenbarte Vorrichtung und die offenbarten Verfahren betreffen das Gebiet der Abtastung, insbesondere eine solche Abtastung, die verwendet wird, um ein mit einem Individuum korreliertes Ergebnis bereitzustellen.
  • Figurenliste
  • Die oben erwähnten sowie weitere Gegenstände, Merkmale und Vorteile der Offenbarung ergeben sich aus der folgenden mehr detaillierten Beschreibung der Ausführungsformen, wie sie in den begleitenden Zeichnungen dargestellt sind, wobei sich die Bezugszeichen in den verschiedenen Ansichten auf die gleichen Komponenten beziehen. Die Zeichnungen sind nicht notwendigerweise maßstabsgetreu, wobei der Schwerpunkt vielmehr auf der Veranschaulichung der Prinzipien der offenbarten Ausführungsformen liegt.
    • 1 zeigt eine schematische Darstellung des Sensors.
    • 2 ist ein Flussdiagramm, das die Verwendung von Messungen mit dem System zeigt.
    • 3 ist eine Darstellung von Personen in einer Umgebung, wo ein Signal infundiert wird.
  • DETAILLIERTE BESCHREIBUNG
  • Die vorliegende Anmeldung betrachtet verschiedene Ausführungsformen von Sensoren, welche entwickelt sind, um infundierte Signale zu erfassen und zu verwenden. Die Sensorkonfigurationen sind für die Verwendung mit frequenzorthogonalen Signaltechniken geeignet (siehe z.B. US 9,019,224 und US 9,529,476 sowie US 9,811,214 , die hiermit alle durch Bezugnahme in die vorliegende Anmeldung aufgenommen sind). Die hierin diskutierten Sensorkonfigurationen können mit anderen Signaltechniken verwendet werden, einschließlich Scan- oder Zeitunterteilungsverfahren und/oder Code-Unterteilungsverfahren. Es sollte beachtet werden, dass die hier beschriebenen und abgebildeten Sensoren auch für die Verwendung in Verbindung mit Verfahren und Vorrichtungen für Signalinfusion (auch als Signalinjektion bezeichnet) geeignet sind.
  • Die gegenwärtig offenbarten Systeme und Verfahren umfassen Prinzipien, die sich beziehen auf und geeignet sind für den Entwurf, die Herstellung und die Verwendung von Sensoren auf kapazitiver Basis, und insbesondere Sensoren auf kapazitiver Basis, die ein auf orthogonaler Signalübertragung basierendes Multiplexschema verwenden, wie z.B., aber nicht nur, Frequenzmultiplex (FDM), Codemultiplex (CDM) oder eine hybride Modulationstechnik, die sowohl FDM- als auch CDM-Verfahren kombiniert. Verweise auf Frequenzen hierin könnten sich auch auf andere orthogonale Signalgrundlagen beziehen. Somit enthält die vorliegende Anmeldung durch Verweis den Inhalt der früheren US-Anmeldung 9,019,224 der Anmelderin mit dem Titel „Low-Latency Touch Sensitive Device“ und den Inhalt der US-Anmeldung 9,158,411 mit dem Titel „Fast Multi-Touch Processing“. Diese Anmeldungen offenbaren FDM-, CDM- oder FDM/CDM-Hybrid-Touchsensoren, die in Verbindung mit den derzeit veröffentlichten Sensoren verwendet werden können. Bei solchen Sensoren werden Interaktionen erfasst, wenn ein Signal aus einer Reihe mit einem Spaltenleiter gekoppelt (erhöht) oder entkoppelt (verringert) wird und das Ergebnis auf dieser Spalte empfangen wird. Durch sequentielles Anregen der Reihenleiter und Messen der Kopplung des Anregungssignals an den Spaltenleitern kann eine Heatmap erstellt werden, die Kapazitätsänderungen und damit die Nähe widerspiegelt.
  • Die vorliegende Anmeldung verwendet auch Prinzipien, die in schnellen Multi-TouchSensoren und anderen innovativen Schnittstellen verwendet werden, die in folgenden Anmeldungen offenbart sind: US 9,933,880 ; US 9,019,224 ; US 9,811,214 ; US 9,804,721 ; US 9,710,113 ; und US 9,158,411 . Kenntnis der Offenbarungen, Konzepte und Nomenklatur dieser Patentanmeldungen wird angenommen. Die gesamten Offenbarungen dieser Patentanmeldungen und der darin durch Verweis aufgenommenen Anmeldungen ist hierin durch Verweis mit aufgenommen. Die vorliegende Anmeldung verwendet auch Prinzipien, die in schnellen Multitouch-Sensoren und anderen in den folgenden Patentdokumenten offenbarten Schnittstellen verwendet werden: US 10,191,579 ; US 10,386,975 ; US 10,175,772 ; US 2017/0371487 ; US 2018/0164921 ; US 2018/0267599 ; US 2019/0042032 ; US 2018/0306568 ; US 62/473,908 ; US 62/488,753 ; US 62/533,405 ; US 62/540,458 ; US 62/575,005 ; US 62/588,148 ; US 62/588,267 ; US 62/621,117 ; US 62/619,656 ; US 62/657,120 ; US 62/657,270 und PCT/US2017/050547 . Kenntnis der Offenbarungen, Konzepte und Nomenklatur dieser Patentdokumente wird angenommen. Die gesamten Offenbarungen dieser Anmeldungen und die darin durch Verweis aufgenommenen Anmeldungen sind hier durch Verweis mit aufgenommen.
  • Wie hierin verwendet und insbesondere innerhalb der Ansprüche sollen Ordnungsbegriffe wie erster und zweiter nicht an und für sich Sequenz, Zeit oder Eindeutigkeit implizieren, sondern dienen vielmehr dazu, ein beanspruchtes Konstrukt von einem anderen zu unterscheiden. Bei einigen Verwendungen, bei denen der Kontext es vorschreibt, können diese Begriffe implizieren, dass „der erste“ und „der zweite“ eindeutig sind. Wenn zum Beispiel ein Ereignis zu einem ersten Zeitpunkt und ein anderes Ereignis zu einem zweiten Zeitpunkt eintreten, ist nicht beabsichtigt, dass der erste Zeitpunkt vor dem zweiten Zeitpunkt, nach dem zweiten Zeitpunkt oder gleichzeitig mit dem zweiten Zeitpunkt eintritt. Wenn jedoch die weitere Einschränkung, dass der zweite Zeitpunkt nach dem ersten Zeitpunkt eintritt, im Anspruch definiert ist, würde der Kontext erfordern, dass der erste Zeitpunkt und der zweite Zeitpunkt als eindeutige Zeitpunkte „gelesen“ werden müssten. In ähnlicher Weise sollen Ordnungsbegriffe, wenn der Kontext dies vorschreibt oder zulässt, weit ausgelegt werden, so dass die beiden identifizierten Anspruchskonstrukte dasselbe Merkmal oder ein unterschiedliches Merkmal aufweisen können. So könnten z.B. eine erste und eine zweite Frequenz, ohne weitere Einschränkung, die gleiche Frequenz sein, z.B. die erste Frequenz 10 MHz und die zweite Frequenz 10 MHz; oder es könnten verschiedene Frequenzen sein, z.B. die erste Frequenz 10 MHz und die zweite Frequenz 11 MHz. Der Kontext kann etwas anderes vorschreiben, z.B. wenn eine erste und eine zweite Frequenz weiter darauf beschränkt sind, frequenzorthogonal zueinander zu sein; in diesem Fall könnten sie nicht die gleiche Frequenz sein.
  • Bestimmte Prinzipien eines schnellen Multitouch-(FMT) Sensors sind in den oben diskutierten Patentanmeldungen offenbart worden. Orthogonale Signale werden in eine Mehrzahl von Sendeleitern (oder Antennen) übertragen, wobei Informationen von Empfängern empfangen werden, die an eine Mehrzahl von Empfangsleitern (oder Antennen) angeschlossen sind; das Signal wird dann von einem Signalprozessor analysiert, um Berührungsereignisse zu identifizieren. Die Sende- und Empfangsleiter können in einer Mehrzahl von Konfigurationen organisiert sein, einschließlich z.B. einer Matrix, in der die Kreuzungspunkte Knotenpunkte bilden, wobei Interaktionen an diesen Knotenpunkten durch Verarbeitung der empfangenen Signale erkannt werden. In einer Ausführungsform, in der die orthogonalen Signale frequenzmäßig orthogonal sind, ist der Abstand zwischen den orthogonalen Frequenzen Δf wenigstens der Kehrwert der Messperiode τ, wobei die Messperiode τ gleich der Periode ist, während der die Spaltenleiter abgetastet werden. So kann in einer Ausführungsform eine Spalte für eine Millisekunde (τ) gemessen werden, wobei der Frequenzabstand (Δf) 1 kHz beträgt (d.h. Δf = 1/τ).
  • In einer Ausführungsform ist der Signalprozessor einer integrierten Schaltung mit gemischten Signalen (oder einer nachgeschalteten Komponente oder Software) so ausgebildet, dass er wenigstens einen Wert bestimmt, der jedes zu einem Leiter oder eine Antenne übertragene frequenzorthogonale Signal repräsentiert. In einer Ausführungsform führt der Signalprozessor der integrierten Schaltung mit gemischten Signalen (oder einer nachgeschalteten Komponente oder Software) eine Fourier-Transformation an empfangenen Signalen durch. In einer Ausführungsform ist die integrierte Mischsignalschaltung so ausgebildet, dass sie empfangene Signale digitalisiert. In einer Ausführungsform ist die integrierte Mischsignalschaltung (oder eine nachgeschaltete Komponente oder Software) so ausgebildet, dass sie empfangene Signale digitalisiert und eine diskrete Fourier-Transformation (DFT) an den digitalisierten Informationen durchführt. In einer Ausführungsform ist die integrierte Mischsignalschaltung (oder eine nachgeschaltete Komponente oder Software) so ausgelegt, dass sie empfangene Signale digitalisiert und eine schnelle Fourier-Transformation (FFT) an den digitalisierten Informationen durchführt, wobei eine FFT eine Art diskrete Fourier-Transformation ist.
  • Für einen Fachmann wird es angesichts dieser Offenbarung offensichtlich sein, dass eine DFT, im Wesentlichen, die Sequenz von digitalen Abtastwerten (z.B. Fenster), die während einer Abtastperiode (z.B. Integrationsperiode) genommen werden, so behandelt, als ob sie sich wiederholt. Infolgedessen können Signale, die keine Mittenfrequenzen sind (d.h. keine ganzzahligen Vielfachen des Kehrwerts der Integrationsperiode (der Kehrwert definiert den minimalen Frequenzabstand)), relativ nominale, aber unbeabsichtigte Folgen haben, indem sie kleine Werte in andere DFT-Bins einbringen. Daher wird es auch für einen Fachmann angesichts dieser Offenbarung offensichtlich sein, dass der Begriff orthogonal, wie er hier verwendet wird, durch solch kleine Beiträge nicht „verletzt“ wird. Mit anderen Worten, so wie hier der Begriff „frequenzorthogonal“ verwendet ist, werden zwei Signale als frequenzorthogonal betrachtet, wenn im Wesentlichen der gesamte Beitrag des einen Signals zu den DFT-Bins zu unterschiedlichen DFT-Bins gemacht wird, als im Wesentlichen der gesamte Beitrag des anderen Signals.
  • In einer Ausführungsform werden empfangene Signale mit wenigstens 1 MHz abgetastet. In einer Ausführungsform werden die empfangenen Signale mit wenigstens 2 MHz abgetastet. In einer Ausführungsform werden die empfangenen Signale mit 4 MHz abgetastet. In einer Ausführungsform werden empfangene Signale mit 4.096 MHz abgetastet. In einer Ausführungsform werden die empfangenen Signale mit mehr als 4 MHz abgetastet.
  • Um eine kHz-Abtastung zu erreichen, können z.B. 4096 Abtastwerte bei 4.096 MHz genommen werden. In einer solchen Ausführungsform beträgt die Integrationsperiode 1 Millisekunde, was unter der Bedingung, dass der Frequenzabstand größer oder gleich dem Kehrwert der Integrationsperiode ist, einen minimalen Frequenzabstand von 1 KHz ergibt. (Für einen Fachmann wird es angesichts dieser Offenbarung offensichtlich sein, dass die Entnahme von 4096 Abtastwerten bei z.B. 4 MHz eine Integrationsperiode von etwas mehr als einer Millisekunde ergeben würde, ohne dass eine kHz-Abtastung und ein Mindestfrequenzabstand von 976,5625 Hz erreicht wird). In einer Ausführungsform ist der Frequenzabstand gleich dem Kehrwert der Integrationsperiode. In einer solchen Ausführungsform sollte die maximale Frequenz eines frequenzorthogonalen Signalbereichs weniger als 2 MHz betragen. In einer solchen Ausführungsform sollte die praktische Maximalfrequenz eines frequenzorthogonalen Signalbereichs weniger als etwa 40% der Abtastrate oder etwa 1,6 MHz betragen. In einer Ausführungsform wird eine DFT (die eine FFT sein könnte) verwendet, um die digitalisierten empfangenen Signale in Informationsbins zu transformieren, von denen jedes die Frequenz eines übertragenen frequenzorthogonalen Signals widerspiegelt, das möglicherweise von der Sendeantenne 130 übertragen wurde. In einer Ausführungsform entsprechen 2048 Bins Frequenzen von 1 KHz bis etwa 2 MHz. Angesichts dieser Offenbarung wird es für einen Fachmann offensichtlich sein, dass diese Beispiele nur der Erläuterung dienen. Je nach den Erfordernissen eines Systems und unter Berücksichtigung der oben beschriebenen Einschränkungen kann die Abtastrate erhöht oder verringert, die Integrationsperiode angepasst, der Frequenzbereich angepasst werden usw.
  • In einer Ausführungsform umfasst ein DFT-Ausgang (der eine FFT sein kann) für jedes frequenzorthogonale Signal, das übertragen wird, ein Bin. In einer Ausführungsform besteht jedes DFT-Bin (das eine FFT sein kann) aus einer gleichphasigen (I) und einer Quadraturkomponente (Q). In einer Ausführungsform wird die Summe der Quadrate der I- und Q-Komponenten als Maß verwendet, das der Signalstärke für dieses Bin entspricht. In einer Ausführungsform wird die Quadratwurzel der Summe der Quadrate der I- und Q-Komponenten als Maß verwendet, das der Signalstärke für dieses Bin entspricht. Angesichts dieser Offenbarung wird es für den Fachmann offensichtlich sein, dass ein Maß, das der Signalstärke für ein Bin entspricht, als Maß für die biometrische Aktivität verwendet werden könnte. Mit anderen Worten, das Maß, das der Signalstärke in einem bestimmten Bin entspricht, würde sich als Folge einer bestimmten Aktivität ändern.
  • 1 illustriert bestimmte Prinzipien eines Sensors 100 gemäß einer Ausführungsform. Der Sender 200 überträgt ein unterschiedliches Signal, das vom Signalgenerator 202 erzeugt wird, in jede der Reihenleiter 201 des Panels 400. Die Signale sind so ausgebildet, dass sie „orthogonal“, d.h. voneinander trennbar und unterscheidbar sind. An jedem Spaltenleiter 301 ist ein Empfänger 300 angebracht, mit dem ein Signalprozessor 302 operativ verbunden ist. Die Reihenleiter 201 und die Spaltenleiter 301 sind Leiter/Antennen, die in der Lage sind, Signale zu übertragen und/oder zu empfangen. Der Empfänger 300 ist so ausgebildet, dass er jedes der übertragenen Signale oder eine beliebige Kombination davon, mit oder ohne andere Signale und/oder Rauschen, empfangen und für jedes der orthogonal übertragenen Signale, die auf diesem Spaltenleiter 301 vorhanden sind, individuell ein Maß, z.B. eine Menge, bestimmen kann. Das Panel 400 des Sensors umfasst eine Reihe von Reihenleitern 201 und Spaltenleitern 301 (nicht alle sind dargestellt), entlang derer sich die orthogonalen Signale ausbreiten können. In einer Ausführungsform sind die Reihenleiter 201 und Spaltenleiter 301 so angeordnet, dass ein Berührungsereignis eine Änderung der Kopplung zwischen wenigstens einem der Reihenleiter 201 und wenigstens einem der Spaltenleiter 301 bewirkt. In einer Ausführungsform bewirkt ein Berührungsereignis eine Änderung der Menge (z.B. der Stärke) eines auf einem Reihenleiter 201 übertragenen Signals, das im Spaltenleiter 301 erkannt wird. In einer Ausführungsform verursacht ein Berührungsereignis eine Änderung in der Phase eines auf einem Reihenleiter 201 übertragenen Signals, das auf einem Spaltenleiter 301 detektiert wird. Da der Sensor 100 letztlich ein Berührungsereignis aufgrund einer Änderung der Kopplung detektiert, ist die Art der Änderung, die durch eine Berührung an der berührungsbezogenen Kopplung hervorgerufen wird, nicht von besonderer Bedeutung, außer aus Gründen, die für eine bestimmte Ausführungsform offensichtlich sind. Wie oben beschrieben, erfordert die Berührung bzw. das Berührungsereignis keine physische Berührung, sondern ein Ereignis, welches das gekoppelte Signal beeinflusst. In einer Ausführungsform erfordert die Berührung oder das Berührungsereignis keine physische Berührung, sondern ein Ereignis, das das gekoppelte Signal in einer wiederholbaren oder vorhersehbaren Weise beeinflusst.
  • In verschiedenen Implementierungen einer Berührungseinrichtung ist ein physischer Kontakt mit den Reihenleitern 201 und/oder Spaltenleitern 301 unwahrscheinlich oder unmöglich, da eine Schutzbarriere zwischen den Reihenleitern 201 und/oder Spaltenleitern 301 und dem Finger oder einem anderen Berührungsobjekt vorhanden sein kann. Darüber hinaus stehen die Reihenleiter 201 und Spaltenleiter 301 selbst im Allgemeinen nicht in physischem Kontakt miteinander, sondern sind in einer Nähe angeordnet, die eine Kopplung von Signalen zwischen ihnen ermöglicht, wobei sich diese Kopplung bei Berührung ändert. Im Allgemeinen resultiert die Kopplung zwischen den Reihenleitern und den Spaltenleitern weder aus dem tatsächlichen Kontakt zwischen ihnen, noch aus dem tatsächlichen Kontakt mit dem Finger oder einem anderen Berührungsobjekt, sondern vielmehr aus dem Effekt, den Finger (oder ein anderes Objekt) in die Nähe zu bringen - wobei die Nähe zu einer Änderung der Kopplung führt, die hier als Berührung bezeichnet wird.
  • Die Art der Reihenleiter 201 und Spaltenleiter 301 ist beliebig und die jeweilige Ausrichtung ist variabel. Die Begriffe Reihenleiter 201 und Spaltenleiter 301 sollen sich nicht auf ein quadratisches Raster beziehen, sondern auf einen Satz von Leitern, auf denen Signale übertragen werden (Reihenleiter) und einen Satz von Leitern, auf die Signale eingekoppelt werden können (Spaltenleiter). Die Vorstellung, dass Signale auf Reihenleitern 201 übertragen und auf Spaltenleitern 301 empfangen werden, ist an sich willkürlich, und Signale könnten genauso gut auf Leitern übertragen werden, die willkürlich als Spaltenleiter bezeichnet werden, und auf Leitern empfangen werden, die willkürlich als Reihenleiter bezeichnet werden, oder beide könnten willkürlich anders bezeichnet werden. Außerdem ist es nicht notwendig, dass die Reihenleiter 201 und die Spaltenleiter 301 in einem Gitter angeordnet sind. Andere Formen sind möglich, solange ein Berührungsereignis eine Kopplung von Reihenleitern und Spaltenleitern bewirkt. Zum Beispiel könnten die „Reihen“ in konzentrischen Kreisen liegen und die „Spalten“ könnten strahlenförmig vom Zentrum ausgehen. Und weder die „Reihen“ noch die „Spalten“ müssen irgendeinem geometrischen oder räumlichen Muster folgen, weshalb z.B. die Tasten auf einer Tastatur beliebig verbunden sein könnten, um Reihenleiter 201 und Spaltenleiter 301 zu bilden (abhängig oder unabhängig von ihrer relativen Position). Außerdem kann eine Antenne als Reihenleiter 201 verwendet werden (z.B. mit einer spezifischeren Form als ein einfacher Leiterdraht, wie z.B. ein Reihenleiter aus ITO). Eine Antenne kann z.B. rund oder rechteckig sein oder im Wesentlichen eine beliebige Form oder eine sich ändernde Form aufweisen. Eine Antenne, die als Reihenleiter 201 verwendet wird, kann in der Nähe eines oder mehrerer Leiterdrähte oder einer oder mehrerer anderer Antennen, die als Spaltenleiter 301 fungieren, ausgerichtet sein. Mit anderen Worten, in einer Ausführungsform kann eine Antenne zur Signalübertragung verwendet werden und in der Nähe von einem oder mehreren Leitern oder einer oder mehreren anderen Antennen ausgerichtet sein, die zum Empfang von Signalen verwendet werden. Durch eine Berührung wird die Kopplung zwischen der zur Signalübertragung verwendeten Antenne und der zum Empfang von Signalen verwendeten Antenne verändert.
  • Es ist nicht notwendig, dass es nur zwei Arten von Signalausbreitungskanälen gibt: Anstelle von Reihenleitern 201 und Spaltenleitern 301 können in einer Ausführungsform die Kanäle „A“, „B“ und „C“ vorgesehen sein, wobei auf „A“ übertragene Signale auf „B“ und „C“ empfangen werden könnten, oder, in einer Ausführungsform, auf „A“ und „B“ übertragene Signale auf „C“ empfangen werden könnten. Es ist auch möglich, dass die Signalausbreitungskanäle abwechselnd funktionieren, und manchmal Sender und manchmal Empfänger unterstützen. Es ist auch denkbar, dass die Signalausbreitungskanäle gleichzeitig Sender und Empfänger unterstützen können - vorausgesetzt, dass die übertragenen Signale orthogonal und damit trennbar von den empfangenen Signalen sind. Es können drei oder mehr Arten von Antennen oder Leitern verwendet werden, anstatt nur „Reihen“ und „Spalten“. Viele alternative Ausführungsformen sind möglich und werden einem Fachmann nach Betrachtung dieser Offenbarung ersichtlich sein.
  • Es ist ebenfalls nicht notwendig, dass auf jedem Übertragungsmedium nur ein Signal übertragen wird. In einer Ausführungsform werden mehrere orthogonale Signale auf jedem Reihenleiter übertragen. In einer Ausführungsform werden mehrere orthogonale Signale auf jeder Sendeantenne übertragen.
  • Die hier diskutierten Sensor- bzw. Abtastvorrichtungen verwenden Sende- und Empfangsantennen (hier auch als Leiter bezeichnet). Es sollte jedoch verstanden werden, dass es vom Kontext und der Ausführungsform abhängt, ob die Sendeantennen oder Empfangsantennen als Sender, Empfänger oder beides funktionieren. In einer Ausführungsform sind die Sender und Empfänger für jegliche Kombination von Mustern operativ mit einer einzigen integrierten Schaltung verbunden, die in der Lage ist, die erforderlichen Signale zu übertragen und zu empfangen. In einer Ausführungsform sind die Sender und Empfänger jeweils operativ mit einem unterschiedlichen integrierten Schaltkreis verbunden, der in der Lage ist, die erforderlichen Signale zu übertragen bzw. zu empfangen. In einer Ausführungsform können die Sender und Empfänger für eine jegliche Kombination der Muster operativ mit einer Gruppe von integrierten Schaltungen verbunden sein, die jeweils in der Lage sind, die erforderlichen Signale zu übertragen und zu empfangen, und dabei zusammen Informationen teilen, die für eine solche Mehrfach-IC-Konfiguration erforderlich sind. In einer Ausführung, wo es die Kapazität der integrierten Schaltung (d.h. die Anzahl der Sende- und Empfangskanäle) und die Anforderungen der Muster (d.h. die Anzahl der Sende- und Empfangskanäle) erlauben, werden alle Sender und Empfänger für alle von einem Steuergerät verwendeten Mehrfachmuster von einer gemeinsamen integrierten Schaltung oder von einer Gruppe integrierter Schaltungen betrieben, die untereinander kommunizieren. In einer Ausführungsform, wo die Anzahl der Sende- oder Empfangskanäle die Verwendung mehrerer integrierter Schaltungen erfordert, sind die Informationen von jeder Schaltung in einem separaten System kombiniert. In einer Ausführungsform besteht das separate System aus einer GPU und Software zur Signalverarbeitung.
  • Ein Aspekt der den Sensoren zugrunde liegenden Konzepte und Prinzipien ist der Prozess der Infusion. Wie der Begriff hier verwendet wird, bezieht sich die Infusion oder Injektion auf den Prozess der Übertragung von Signalen in den Körper eines Subjekts, wodurch der Körper (oder Teile des Körpers) zu einer aktiven Übertragungsquelle des Signals wird. In einer Ausführungsform wird ein elektrisches Signal in die Hand (oder einen anderen Körperteil) injiziert, wobei dieses Signal von einem Sensor auch dann erfasst werden kann, wenn die Hand (oder die Finger oder ein anderer Körperteil) nicht in direktem Kontakt mit der Berührungsfläche des Sensors sind. Bis zu einem gewissen Grad können so die Nähe und Orientierung der Hand (oder der Finger oder eines anderen Körperteils) relativ zu einer Oberfläche bestimmt werden. In einer Ausführungsform werden die Signale vom Körper „getragen“ (z.B. geleitet), wobei sie je nach den beteiligten Frequenzen auch nahe der Oberfläche oder unter der Oberfläche getragen werden können. In einer Ausführungsform können bei der Frequenzinjektion Frequenzen wenigstens im kHz-Bereich verwendet werden. In einer Ausführungsform können bei der Frequenzinjektion Frequenzen im MHz-Bereich verwendet werden. Um Infusion in Verbindung mit FMT-Sensoren wie oben beschrieben zu verwenden, kann in einer Ausführungsform ein Infusionssignal so gewählt werden, dass es orthogonal zu den Treibersignalen ist und somit zusätzlich zu den anderen Signalen auf den Sensorleitungen gesehen werden kann. In einer Ausführungsform wird ein Signal in einen Träger (Person, Tier) infundiert und die empfangenen Infusionssignale werden anschließend gemessen. In einer Ausführungsform werden mehrere eindeutige orthogonale Frequenzsignale in einen Träger infundiert, wobei jedes der infundierten mehreren eindeutigen orthogonalen Frequenzsignale, die empfangen werden, gemessen wird.
  • Die Eigenschaften der Signale, die in eine Person (oder ein Tier) oder ein Objekt infundiert werden, können durch die Person oder das Objekt beeinflusst werden. Die Körperchemie, die Größe, die Form und andere Eigenschaften einer Person können die Eigenschaften des an den Empfängern empfangenen und gemessenen Signals beeinflussen. Zwei unterschiedliche Personen können eine unterschiedliche Menge des empfangenen Signals aufweisen. Zwei unterschiedliche Personen können die Eigenschaften eines an Empfängern empfangenen Signals beeinflussen, wenn ihnen dasselbe orthogonale Signal zugeführt wird. Eine Mehrzahl von Faktoren kann die gemessene Signalmenge beeinflussen. In einer Ausführungsform wird maschinelles Lernen auf die gemessenen Signale angewendet und mit Aktivitäten, Bewegungen, Identitäten und Bedingungen korreliert. Die gemessenen Signale werden verwendet, um Informationen zu ermitteln, die über die Person oder das Objekt, das die Signale durchlaufen haben, festgestellt werden können. In einer Ausführungsform werden aus den gemessenen Signalen Informationen ermittelt, die über den Zustand der Person ermittelt werden können. In einer Ausführungsform werden die gemessenen Signale verwendet, um Informationen zu bestimmen, die über den Gesundheitszustand der Person ermittelt werden können. In einer Ausführungsform werden aus den gemessenen Signalen Informationen ermittelt, die über die Aktivität der Person ermittelt werden können. In einer Ausführungsform werden die gemessenen Signale, die an den Empfängern empfangen werden, verwendet, um die Person oder das Objekt zu identifizieren, in das das Signal infundiert ist.
  • In einer Ausführungsform wird ein Signal über eine Sendeantenne (oder einen Leiter) in eine Person oder ein Objekt übertragen, wobei zumindest ein Teil des an einer Empfangsantenne (oder einem Leiter) empfangenen Signals gemessen wird. In einer Ausführungsform wird ein Signal über eine Sendeantenne (oder einen Leiter) in eine Person oder ein Objekt übertragen, wobei wenigstens ein Teil des Signals an einer Mehrzahl von Empfangsantennen (oder Leitern) empfangen und gemessen wird. In einer Ausführungsform wird ein Signal über eine Mehrzahl von Sendeantennen (oder Leitern) in eine Person oder ein Objekt übertragen, wobei wenigstens ein Teil der übertragenen Signale an einer Empfangsantenne (oder Leitern) empfangen und gemessen wird. In einer Ausführungsform werden mehrere orthogonale Frequenzsignale über eine Sendeantenne (oder einen Leiter) in eine Person oder ein Objekt übertragen, wobei wenigstens einige der übertragenen Signale an einer Empfangsantenne (oder einem Leiter) empfangen und gemessen werden. In einer Ausführungsform werden mehrere eindeutige orthogonale Frequenzsignale über mehrere Sendeantennen (oder Leiter) in eine Person oder ein Objekt übertragen, wobei wenigstens einige der übertragenen Signale an mehreren Empfangsantennen (oder Leitern) empfangen und gemessen werden.
  • In 2 ist ein Flussdiagramm eines beispielhaften Verfahrens zur Verwendung von Signalen, die in eine Person (oder ein Objekt) übertragen werden, dargestellt. In Schritt 203 wird eine Mehrzahl von frequenzorthogonalen Signalen in die Person übertragen. Die physikalischen Eigenschaften der Person (oder des Objekts) wirken sich auf die mehreren frequenzorthogonalen Signale aus, während sie durch die Person (oder das Objekt) hindurchgehen. In einer Ausführungsform wirkt sich der spezifische Widerstand der Haut einer Person (oder eines Objekts) auf die Mehrzahl der orthogonalen Frequenzsignale aus, wenn diese die Person (oder das Objekt) durchdringen. In einer Ausführungsform beeinflusst die Leitfähigkeit der Haut einer Person (oder die Leitfähigkeit eines Objekts) die Mehrzahl der frequenzorthogonalen Signale, wenn sie durch die Person (oder das Objekt) hindurchgehen. In einer Ausführungsform wirkt sich der Abstand, den die Signale durchlaufen, auf die Mehrzahl der orthogonalen Frequenzsignale aus, wenn sie durch die Person (oder das Objekt) hindurchgehen. In einer Ausführungsform beeinflusst die Körperchemie die Mehrzahl der orthogonalen Frequenzsignale, während sie die Person durchlaufen. In einer Ausführungsform wirkt sich die Körpertemperatur (oder die Temperatur eines Objekts) auf die mehreren orthogonalen Frequenzsignale aus, wenn sie die Person (oder das Objekt) durchlaufen. In einer Ausführungsform wirkt sich die Herzfrequenz einer Person auf die mehreren orthogonalen Frequenzsignale aus, wenn diese die Person durchlaufen. In einer Ausführungsform wirkt sich die Lungenaktivität einer Person auf die mehreren orthogonalen Frequenzsignale aus, während sie die Person durchlaufen. In einer Ausführungsform wirkt sich die elektrodermale Aktivität einer Person (galvanische Hautreaktion) auf die Mehrzahl der orthogonalen Frequenzsignale aus, wenn sie die Person durchlaufen. In einer Ausführungsform beeinflusst mehr als eines der oben genannten Elemente die Mehrzahl der orthogonalen Frequenzsignale, wenn sie durch eine Person (oder ein Objekt) hindurchgehen. In einer Ausführungsform wirken alle oben genannten Elemente auf die Mehrzahl von orthogonalen Frequenzsignalen ein, wenn sie durch eine Person (oder ein Objekt) hindurchgehen. Die vorgenannten Elemente, die die Mehrzahl von frequenzorthogonalen Signalen beeinflussen, während sie einen Körper oder ein Objekt durchlaufen, bedeuten, dass in einigen Fällen Informationen bezüglich dieser vorgenannten Signale aus den Signalen bestimmt werden können.
  • In einer Ausführungsform befinden sich die Sendeantennen (oder Leiter) an einer Person. In einer Ausführungsform befinden sich die Sendeantennen (oder Leiter) an einem Objekt. In einer Ausführungsform befinden sich die Sendeantennen (oder Leiter) an einer Person und an einem Objekt. In einer Ausführungsform befinden sich die Empfangsantennen (oder Leiter) an einer Person. In einer Ausführungsform befinden sich die Empfangsantennen (oder Leiter) an einem Objekt. In einer Ausführungsform befinden sich die Empfangsantennen (oder Leiter) an einem Objekt und einer Person.
  • In Schritt 204 wird wenigstens eines der frequenzorthogonalen Signale an einem Empfänger über eine Empfangsantenne (oder einen Leiter) empfangen. In Schritt 205 wird das empfangene Signal gemessen. In einer Ausführungsform wird die Menge des empfangenen Signals gemessen. In einer Ausführungsform wird die Phase des empfangenen Signals gemessen. In einer Ausführungsform werden sowohl die Phase als auch das Signal, das empfangen wird, gemessen. Die Messungen für jedes der empfangenen Signale während eines Frames werden zusammengestellt, um eine Heatmap zu bilden.
  • In Schritt 206 werden das gemessene Signal oder die gemessenen Signale verwendet, um ein auf eine Person bezogenes Ergebnis zu ermitteln. In der Praxis wird eine Mehrzahl der empfangenen Signale verwendet, um eine Heatmap zu bilden. Zum Beispiel wird eine Mehrzahl von frequenzorthogonalen Signalen in eine Person infundiert. Wenigstens eines von jedem der übertragenen frequenzorthogonalen Signale wird von einer Empfangsantenne empfangen. Die Ergebnisse werden verwendet, um eine erste Heatmap zu erstellen. Eine weitere Mehrzahl von orthogonalen Frequenzsignalen mit dem gleichen Profil (d.h. es werden jeweils die gleichen Frequenzen übertragen) wird einem anderen Individuum infundiert. Wenigstens eines von jedem der frequenzorthogonalen Signale wird empfangen und zur Bildung einer zweiten Heatmap verwendet. Der Vergleich der ersten Heatmap mit der zweiten Heatmap ergibt eine unterschiedliche Heatmap. Die unterschiedlichen Heatmaps können dann verwendet werden, um eine Identifikation jedes der Individuen zu erstellen. In ähnlicher Weise kann dies auch mit Objekten verwendet werden, wobei die Identität des Objekts festgestellt werden kann.
  • In einer Ausführungsform ist das Ergebnis die Identität einer Person. In einer Ausführungsform ist das Ergebnis die Identität eines Objekts. In einer Ausführungsform ist das Ergebnis die Identität eines Objekts oder einer Person. In einer Ausführungsform ist das Ergebnis ein biometrisches Merkmal, das sich auf die Person bezieht. In einer Ausführungsform ist das Ergebnis eine Information, die sich auf die Ernährung einer Person bezieht. In einer Ausführungsform ist das Ergebnis eine Information, die sich auf die körperliche Aktivität einer Person bezieht. In einer Ausführungsform ist das Ergebnis eine Information, die sich auf das Alter der Person bezieht. In einer Ausführungsform ist das Ergebnis eine Information, die sich auf das Gewicht einer Person bezieht. In einer Ausführungsform bezieht sich das Ergebnis auf die Gemütsverfassung einer Person (z.B. aufgeregt, ruhig). In einer Ausführungsform ist das Ergebnis eine Information, die sich auf die Körpergröße einer Person bezieht. In einer Ausführungsform ist das Ergebnis mehr als eines der vorgenannten Ergebnisse. In einer Ausführungsform ist das Ergebnis alle der oben genannten Ergebnisse.
  • Wie oben besprochen, können die Messergebnisse mit maschinellem Lernen verwendet werden, um die Ergebnisse der Messungen mit den spezifischen Ergebnissen zu korrelieren. Durch das Zusammenrechnen verschiedener Ergebnisse können Informationen über eine Person und/oder die Aktivität der Person bereitgestellt werden. Die resultierenden Informationen können verwendet werden, um eine beliebige Anzahl von Ergebnissen in einer gegebenen Umgebung zu erzeugen.
  • In 3 ist eine beispielhafte Ausführungsform einer Implementierung der Verwendung der Eigenschaften eines gemessenen Signals dargestellt. In einer Ausführungsform können Sensoren (nicht dargestellt) mit Sendeleitern und/oder Empfangsleitern innerhalb und/oder auf dem Sitz angeordnet sein. In einer Ausführungsform kann ein Infusionssendeleiter innerhalb und/oder in der Nähe des Sitzes angeordnet sein. In einer Ausführungsform befinden sich die Empfangsleiter innerhalb und/oder in der Nähe des Sitzes. In einer Ausführungsform hält oder trägt der Benutzer einen vom Fahrzeug getrennten Gegenstand (im Folgenden auch als Objekt bezeichnet), wobei dieser Gegenstand in der Lage ist, ein eindeutiges orthogonales Signal oder Signale durch eine Person zu übertragen. In einer Ausführungsform wird/werden dem Benutzer ein eindeutiges orthogonales Signal oder Signale über eine der Komponenten des Fahrzeugs zugeführt. In einer Ausführungsform wird/werden das Signal oder die Signale dem Benutzer über das Lenkrad zugeführt. In einer Ausführungsform wird/werden das Signal oder die Signale über das Armaturenbrett in den Benutzer infundiert. In einer Ausführungsform wird/werden das Signal oder die Signale über einen Innenbereich des Fahrzeugs in den Benutzer geleitet. In einer Ausführungsform wird/werden das Signal oder die Signale über einen Außenbereich des Fahrzeugs in den Benutzer übertragen. In einer Ausführungsform werden Signale über einen Leiter (oder eine Antenne) in ein Objekt übertragen und an einem an anderer Stelle befindlichen Leiter oder einer Antenne empfangen.
  • Eine Schattierung an den dargestellten Fahrgästen 40 zeigt illustrativ das Vorhandensein eines in die Fahrgäste 40 übertragenen Signals an. Messungen der empfangenen Signale können verwendet werden, um ein auf diese Person bezogenes Ergebnis zu ermitteln. In einer Ausführungsform ist das auf diese Person bezogene Ergebnis eine Identität der Person basierend auf den Eigenschaften des gemessenen Signals. In dieser Situation wäre das Fahrzeug in der Lage, die Identität der Person, die bestimmte Merkmale des Fahrzeugs bedient, zu erkennen und sich entsprechend anzupassen.
  • In einer Ausführungsform ermöglicht die Identität der Person den Zugriff auf die Instrumente, die sich auf dem Armaturenbrett des Fahrzeugs oder im gesamten Fahrzeug befinden. Beispielsweise kann ein leeres Display vorhanden sein, wobei die Identifikation der Person verwendet werden kann, um eine bestimmte Anordnung von Bedienelementen und Head-Up-Displays anzuzeigen, die speziell für diese Person sind. In einer Ausführungsform wird die Identität der Person zum Starten des Fahrzeugs verwendet. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um die Lichter im Auto zu aktivieren. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um die Sitze im Auto auf die von dieser Person bevorzugten Einstellungen einzustellen. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um die Temperatur des Fahrzeugs basierend auf den Vorlieben der Person zu ändern. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um die Temperatur des Fahrzeugs basierend auf einem körperlichen Zustand der Person zu modifizieren. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um ein Innenraummerkmal des Fahrzeugs einzustellen. In einer Ausführungsform wird die Identität der Person, die auf dem gemessenen Signal basiert, verwendet, um ein Außenmerkmal des Fahrzeugs einzustellen. In einer Ausführungsform werden verschiedene Einstellungen basierend auf dem vom Fahrgast übertragenen Signal und der Identität, die basierend auf den gemessenen Eigenschaften des Signals bestimmt wird, aktiviert oder deaktiviert. In einer Ausführungsform werden Steuerelemente auf der Grundlage des vom Fahrgast übertragenen Signals und der Identität, die auf der Grundlage des gemessenen Signals bestimmt wird, aktiviert oder deaktiviert.
  • In einer Ausführungsform werden die gemessenen Signale mit ermittelten Basislinienmessungen von Signalen korreliert. Die neu ermittelten gemessenen Signale werden dann verwendet, um ein neues Ergebnis zu liefern. In einer Ausführungsform besteht das Ergebnis in Bezug auf die Person darin, dass die Person durch eine Substanz beeinträchtigt ist. In einer Ausführungsform ist das auf die Person bezogene Ergebnis, dass die Person an einer Krankheit leidet. In einer Ausführungsform besteht das auf die Person bezogene Ergebnis darin, dass die Person einer Verletzung unterliegt. Die Ergebnisse können dann der Person zur Verfügung gestellt werden. In einer Ausführungsform können die Ergebnisse verwendet werden, um die Funktion eines Fahrzeugs zu stoppen oder nicht zu starten. In einer Ausführungsform können die Ergebnisse auf ein Herzproblem hinweisen und es kann ärztliche Hilfe in Anspruch genommen werden. In einer Ausführungsform könnten die Ergebnisse auf eine Krankheit wie die Grippe hinweisen und ärztliche Hilfe könnte empfohlen werden.
  • In einer Haushaltsumgebung kann das Signal einer Person über ein Wearable oder andere Haushaltsgegenstände infundiert werden. In einer Ausführungsform ist ein Türgriff dazu geeignet, ein Signal in einen Benutzer zu infundieren. In einer Ausführungsform ist ein Abschnitt der Tür ausgebildet, um ein Signal in einen Benutzer zu infundieren. Das infundierte Signal wird von Empfangsleitern (oder Antennen) empfangen, an einen Empfänger übertragen und wird schließlich gemessen und verarbeitet. Die Empfangsleiter (oder Antennen) können sich in der Tür oder an anderer Stelle befinden. In einer Ausführungsform können die Ergebnisse der gemessenen Signalinformationen verwendet werden, um die Identität einer Person festzustellen. In einer Ausführungsform wird die Identität der Person basierend auf dem gemessenen Signal verwendet, um ein Haus zu betreten. In einer Ausführungsform wird die Identität der Person, die auf den Eigenschaften des gemessenen Signals basiert, verwendet, um Merkmale des Innenraums der Wohnung zu bedienen. In einer Ausführungsform wird die Identität der Person, die auf den Merkmalen des gemessenen Signals basiert, verwendet, um äußere Merkmale des Hauses zu bedienen.
  • Darüber hinaus wird die Identität der Person, die auf den Merkmalen des gemessenen Signals basiert, bei der Interaktion mit Displays und anderen CPU-fähigen Objekten verwendet. In einer Ausführungsform wird die Identität der Person, die auf den Eigenschaften des gemessenen Signals basiert, verwendet, um zu erkennen, wenn ein früherer Benutzer ein Display oder einen Computer bedient. In einer Ausführungsform wird die Identität mehrerer Personen basierend auf Eigenschaften des gemessenen Signals bei Interaktion mit Displays und anderen CPU-fähigen Objekten verwendet.
  • Zusätzlich kann die Signatur des infundierten Signals verwendet werden, um zwischen verschiedenen Arten von Objekten und biologischen Wesen zu unterscheiden. Die Signatur des Signals, welches infundiert wurde, kann für einen Autositz anders sein als für eine Person. Auch eine Wassermelone wird eine andere Signatur aufweisen als eine Person. Ebenso werden unterschiedliche Materialien wie Metall, Holz, Kunststoff und Keramik unterschiedliche Signale aufweisen. Jede Art von Metall (oder Holz, Kunststoff, Keramik usw.) kann eine eigene Signatur haben. In einer Ausführungsform kann das infundierte Signal verwendet werden, um festzustellen, ob sich ein Objekt oder eine Person in einem Auto befindet. In einer Ausführungsform kann das infundierte Signal verwendet werden, um festzustellen, ob sich ein Objekt oder eine Person auf einem Sitz befindet. In einer Ausführungsform kann das infundierte Signal verwendet werden, um zu bestimmen, ob sich ein Objekt oder eine Person in einem Raum befindet.
  • Ein Aspekt der Offenbarung ist ein Abtastsystem zum Ermitteln der Identität oder eines Zustands einer Person. Das Abtastsystem umfasst: einen Sender, der ausgebildet ist, um eine Mehrzahl von eindeutigen, orthogonalen Frequenzsignalen zu übertragen; eine Mehrzahl von Sendeleitern, wobei jeder der Mehrzahl von Sendeleitern operativ mit dem Sender verbunden ist, wobei eine Mehrzahl von eindeutigen frequenzorthogonalen Signalen durch die Mehrzahl von Sendeleitern übertragen wird, wobei wenigstens eines der Mehrzahl von eindeutigen frequenzorthogonalen Signalen ausgebildet ist, in eine Person übertragen zu werden; eine Mehrzahl von Empfangsleitern, wobei jeder der Mehrzahl von Empfangsleitern operativ mit einem Empfänger verbunden ist, der ausgebildet ist, das wenigstens eine der Mehrzahl von eindeutigen orthogonalen Frequenzsignalen zu empfangen, das ausgebildet ist, in die Person übertragen zu werden; und einen Signalprozessor, der ausgebildet ist, um eine Messung des wenigstens einen der mehreren eindeutigen orthogonalen Frequenzsignale zu verarbeiten, die ausgebildet sind, um in die Person übertragen zu werden, wobei die verarbeitete Messung Informationen bezüglich einer Identität oder eines Zustands der Person bereitstellt.
  • Ein weiterer Aspekt der Offenbarung ist ein Abtastsystem zur Feststellung der Identität einer Person oder eines Objekts. Das Abtastsystem umfasst: eine erste Antenne; einen Signalgenerator, der operativ mit der ersten Antenne verbunden ist, wobei der Signalgenerator ausgebildet ist, um eine Mehrzahl von frequenzorthogonalen Signalen auf die erste Antenne zu übertragen; eine Mehrzahl von zweiten Antennen, die ausgebildet sind, um durch die erste Antenne übertragene Signale zu empfangen; einen Signalprozessor, der operativ mit der zweiten Antenne verbunden ist, wobei der Signalprozessor ausgebildet ist, um jedes der Mehrzahl von empfangenen frequenzorthogonalen Signalen zu verarbeiten und eine Heatmap zu bilden; und wobei die Heatmap verwendet wird, um eine Identität einer Person oder eines Objekts zu ermitteln.
  • Noch ein weiterer Aspekt der Offenbarung ist ein Verfahren zur Identifizierung einer Person oder eines Objekts. Das Verfahren umfasst: Übertragen von Signalen auf einer ersten Antenne, wobei die erste Antenne ausgebildet ist, um wenigstens ein Signal in die Person oder das Objekt zu übertragen; Empfangen von Signalen auf wenigstens einer aus einer Mehrzahl von zweiten Antennen; Verarbeiten von Signalen auf einem Signalprozessor, der operativ mit der Mehrzahl von zweiten Antennen verbunden ist, wobei der Signalprozessor ausgebildet ist, um ein auf jeder der zweiten Antennen empfangenes Signal zu verarbeiten und für jede der zweiten Antennen eine den übertragenen Signalen entsprechende Messung zu bestimmen; und Bestimmen einer Identität der Person oder des Objekts unter Verwendung von Messungen, die den übertragenen Signalen entsprechen.
  • Während die Erfindung insbesondere unter Bezugnahme auf eine bevorzugte Ausführungsform davon gezeigt und beschrieben wurde, wird der Fachmann verstehen, dass verschiedene Änderungen in Form und Details darin gemacht werden können, ohne vom Geist und Umfang der Erfindung abzuweichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62/733041 [0001]
    • US 9019224 [0004, 0005, 0006]
    • US 9529476 [0004]
    • US 9811214 [0004, 0006]
    • US 9158411 [0005, 0006]
    • US 9933880 [0006]
    • US 9804721 [0006]
    • US 9710113 [0006]
    • US 10191579 [0006]
    • US 10386975 [0006]
    • US 10175772 [0006]
    • US 2017/0371487 [0006]
    • US 2018/0164921 [0006]
    • US 2018/0267599 [0006]
    • US 2019/0042032 [0006]
    • US 2018/0306568 [0006]
    • US 62473908 [0006]
    • US 62488753 [0006]
    • US 62533405 [0006]
    • US 62540458 [0006]
    • US 62575005 [0006]
    • US 62588148 [0006]
    • US 62588267 [0006]
    • US 62621117 [0006]
    • US 62619656 [0006]
    • US 62657120 [0006]
    • US 62657270 [0006]
    • US 2017050547 PCT [0006]

Claims (20)

  1. Abtastsystem, umfassend: einen Sender, der ausgebildet ist, um eine Mehrzahl von eindeutigen, orthogonalen Frequenzsignalen zu übertragen; eine Mehrzahl von Sendeleitern, wobei jeder der Mehrzahl von Sendeleitern operativ mit dem Sender verbunden ist, wobei eine Mehrzahl von eindeutigen frequenzorthogonalen Signalen durch die Mehrzahl von Sendeleitern übertragen wird, wobei wenigstens eines der Mehrzahl von eindeutigen frequenzorthogonalen Signalen ausgebildet ist, in eine Person übertragen zu werden; eine Mehrzahl von Empfangsleitern, wobei jeder der Mehrzahl von Empfangsleitern operativ mit einem Empfänger verbunden ist, der ausgebildet ist, das wenigstens eine der Mehrzahl von eindeutigen orthogonalen Frequenzsignalen zu empfangen, das ausgebildet ist, in die Person übertragen zu werden; und einen Signalprozessor, der ausgebildet ist, um eine Messung des wenigstens einen der mehreren eindeutigen orthogonalen Frequenzsignale zu verarbeiten, die ausgebildet sind, um in die Person übertragen zu werden, wobei die verarbeitete Messung Informationen bezüglich einer Identität oder eines Zustands der Person bereitstellt.
  2. Abtastsystem nach Anspruch 1, wobei die Sendeleiter und die Empfangsleiter als ein Abschnitt eines Fahrzeugs gebildet sind.
  3. Abtastsystem nach Anspruch 1, wobei die Messung durch einen Hautwiderstand modifizierbar ist.
  4. Abtastsystem nach Anspruch 1, wobei die Messung auf eine Signalmenge bezogen ist.
  5. Abtastsystem nach Anspruch 1, wobei die Messung auf eine Phase eines Signals bezogen ist.
  6. Abtastsystem nach Anspruch 1, wobei der Signalprozessor ausgebildet ist, um maschinelles Lernen zu verwenden, um eine Identität der Person zu ermitteln.
  7. Abtastsystem nach Anspruch 1, wobei mehr als eines der mehreren eindeutigen orthogonalen Frequenzsignale in die Person übertragen wird.
  8. Abtastsystem, umfassend: eine erste Antenne; einen Signalgenerator, der operativ mit der ersten Antenne verbunden ist, wobei der Signalgenerator ausgebildet ist, um eine Mehrzahl von frequenzorthogonalen Signalen auf die erste Antenne zu übertragen; eine Mehrzahl von zweiten Antennen, die ausgebildet sind, um durch die erste Antenne übertragene Signale zu empfangen; einen Signalprozessor, der operativ mit der zweiten Antenne verbunden ist, wobei der Signalprozessor ausgebildet ist, um jedes der Mehrzahl von empfangenen frequenzorthogonalen Signalen zu verarbeiten und eine Heatmap zu bilden; und wobei die Heatmap verwendet wird, um eine Identität einer Person oder eines Objekts zu ermitteln.
  9. Abtastsystem nach Anspruch 8, wobei die erste Antenne eine aus einer Mehrzahl von ersten Antennen ist.
  10. Abtastsystem nach Anspruch 8, weiterhin umfassend: eine erste Komponente, die ausgebildet ist, um von einer Person getragen zu werden, und die ausgebildet ist, um die erste Antenne in der Nähe der Person zu halten, wenn die erste Komponente getragen wird.
  11. Abtastsystem nach Anspruch 8, wobei die Sendeantenne als ein Abschnitt eines Fahrzeugs ausgebildet ist.
  12. Abtastsystem nach Anspruch 8, wobei die Sendeantenne als ein Teil einer Tür ausgebildet ist.
  13. Abtastsystem nach Anspruch 8, wobei die Messung durch einen Hautwiderstand modifizierbar ist.
  14. Abtastsystem nach Anspruch 8, wobei die Messung auf eine Signalmenge bezogen ist.
  15. Abtastsystem nach Anspruch 8, wobei die Messung auf eine Phase eines Signals bezogen ist.
  16. Abtastsystem nach Anspruch 8, wobei der Signalprozessor ausgebildet ist, um maschinelles Lernen zu verwenden, um eine Identität der Person oder eines Objekts zu ermitteln.
  17. Abtastsystem nach Anspruch 8, wobei mehr als eines der mehreren eindeutigen orthogonalen Frequenzsignale in eine Person oder ein Objekt übertragbar ist.
  18. Verfahren zur Identifizierung einer Person oder eines Objekts, umfassend: Übertragen von Signalen auf einer ersten Antenne, wobei die erste Antenne ausgebildet ist, um wenigstens ein Signal in die Person oder das Objekt zu übertragen; Empfangen von Signalen auf wenigstens einer aus einer Mehrzahl von zweiten Antennen; Verarbeiten von Signalen auf einem Signalprozessor, der operativ mit der Mehrzahl von zweiten Antennen verbunden ist, wobei der Signalprozessor ausgebildet ist, um ein auf jeder der zweiten Antennen empfangenes Signal zu verarbeiten und für jede der zweiten Antennen eine den übertragenen Signalen entsprechende Messung zu bestimmen; und Bestimmen einer Identität der Person oder des Objekts unter Verwendung von Messungen, die den übertragenen Signalen entsprechen.
  19. Verfahren nach Anspruch 18, wobei ein Bestimmen einer Identität der Person ein Vergleichen einer von einem Individuum ermittelten Heatmap mit einer von einem anderen Individuum ermittelten Heatmap umfasst.
  20. Verfahren nach Anspruch 18, wobei die den übertragenen Signalen entsprechenden Messungen verwendet werden, um zu bestimmen, ob sich ein Individuum oder ein Objekt in einem Autositz befindet.
DE112019004662.4T 2018-09-18 2019-09-18 Biometrische frequenz Withdrawn DE112019004662T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862733041P 2018-09-18 2018-09-18
US62/733,041 2018-09-18
PCT/US2019/051632 WO2020061136A1 (en) 2018-09-18 2019-09-18 Biometric frequency

Publications (1)

Publication Number Publication Date
DE112019004662T5 true DE112019004662T5 (de) 2021-06-17

Family

ID=69774757

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019004662.4T Withdrawn DE112019004662T5 (de) 2018-09-18 2019-09-18 Biometrische frequenz

Country Status (6)

Country Link
US (2) US11511693B2 (de)
JP (1) JP2021536640A (de)
KR (1) KR20210046801A (de)
DE (1) DE112019004662T5 (de)
TW (1) TWI818078B (de)
WO (1) WO2020061136A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11042249B2 (en) * 2019-07-24 2021-06-22 Samsung Electronics Company, Ltd. Identifying users using capacitive sensing in a multi-view display system
WO2021195441A1 (en) * 2020-03-26 2021-09-30 Tactual Labs Co. Sensor arrangement with ground layer
US20230161434A1 (en) * 2020-04-06 2023-05-25 Tactual Labs Co. Self capacitance orthogonal frequency division
WO2022094369A2 (en) * 2020-10-31 2022-05-05 Tactual Labs Co. Seat algorithms
US20240120555A1 (en) 2021-04-09 2024-04-11 Lg Energy Solution, Ltd. Electrode assembly, battery cell, battery cell processing apparatus, and battery pack and vehicle including same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8112272B2 (en) * 2005-08-11 2012-02-07 Asashi Kasei Kabushiki Kaisha Sound source separation device, speech recognition device, mobile telephone, sound source separation method, and program
FR2925737B1 (fr) * 2007-12-20 2015-01-23 Onera (Off Nat Aerospatiale) Installation de detection de personnes dans un espace delimite.
JP2011091791A (ja) * 2009-09-24 2011-05-06 Toyota Central R&D Labs Inc 移動体用電力線通信方法
US11042816B2 (en) * 2009-10-30 2021-06-22 Getaround, Inc. Vehicle access control services and platform
KR101189587B1 (ko) * 2009-12-16 2012-10-10 주식회사 유라코퍼레이션 무게센서를 이용한 주행 보호 시스템
CN201773434U (zh) * 2010-08-10 2011-03-23 深圳市华儒科技有限公司 一种人员流量监控与分析系统
BR112015023534A2 (pt) * 2013-03-15 2017-07-18 Peerbridge Health Inc sistema e método para monitorar e diagnosticar condição de paciente com base em dados de monitoramento de sensor sem fio
MX349679B (es) * 2013-03-15 2017-08-09 Tactual Labs Co Sensor de multi-toques rápidos con técnicas de identificación de usuario.
KR20140142913A (ko) * 2013-06-05 2014-12-15 주식회사다스 자동차 시트용 일루미네이팅 장치 및 그 제어 방법
KR101542973B1 (ko) * 2013-12-30 2015-08-07 현대자동차 주식회사 자동차의 디스플레이 제어장치 및 제어방법
CA2938460A1 (en) * 2014-02-04 2015-08-13 Tactual Labs Co. Frequency conversion in a touch sensor
KR102544557B1 (ko) * 2014-09-02 2023-06-20 애플 인크. 웨어러블 전자 디바이스
US10723267B2 (en) * 2014-09-19 2020-07-28 Be Topnotch, Llc Display rear passenger view on a display screen in vehicle
CN105206922A (zh) * 2015-09-01 2015-12-30 启东市瑞丰化工有限公司 一种基于cdma2000的车载系统
WO2018175553A1 (en) * 2017-03-23 2018-09-27 Intel Corporation Prioritized messaging and resource selection in vehicle-to-vehicle (v2v) sidelink communication
US10569651B2 (en) * 2017-05-15 2020-02-25 Baidu Usa Llc Speed control and steering control assistant based on pitch status and roll status of autonomous driving vehicle
CN110892417B (zh) * 2017-06-05 2024-02-20 D5Ai有限责任公司 具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络
EP3665617A4 (de) * 2017-08-09 2021-07-21 The Board of Trustees of the Leland Stanford Junior University Mit einer optik integrierte biometrische ultraschall-messvorrichtung
US20200033869A1 (en) * 2018-07-27 2020-01-30 GM Global Technology Operations LLC Systems, methods and controllers that implement autonomous driver agents and a policy server for serving policies to autonomous driver agents for controlling an autonomous vehicle
US20230234445A1 (en) * 2021-06-28 2023-07-27 Sigmasense, Llc. System for detecting and validating multiuser interaction with interface elements via perimeter sensors

Also Published As

Publication number Publication date
JP2021536640A (ja) 2021-12-27
US11511693B2 (en) 2022-11-29
US20230333653A1 (en) 2023-10-19
TW202030587A (zh) 2020-08-16
KR20210046801A (ko) 2021-04-28
TWI818078B (zh) 2023-10-11
US20200086817A1 (en) 2020-03-19
WO2020061136A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
DE112019004662T5 (de) Biometrische frequenz
EP1455647B1 (de) Elektrode für biomedizinische messungen
DE102015104508B4 (de) Tastbildschirm elektromagnetischer Bauart, Verfahren zum Ansteuern und Abfühlen eines Tastbildschirms elektromagnetischer Bauart, und Koordinateneingabevorrichtung
DE102014204855A1 (de) System zum Verbessern der Signalqualität von einem kapazitiven biometrischen Sensor in einem Fahrzeug zur kontinuierlichen biometrischen Überwachung
DE102013220920A1 (de) Aktive Stiftkommunikation und Positionssystem
DE112017000503T5 (de) Kapazitäts-Messschaltung mit Sensorverdrahtungsdiagnose
WO2017012987A1 (de) System, verfahren und computerprogramm zur kapazitiven erfassung von elektrischen biosignalen
DE112017003694T5 (de) Schwebe-sensitives Touchpad
DE102008013476A1 (de) Verfahren und Vorrichtung zum Erzeugen eines Nutzererkennungssignals
EP3166228A1 (de) Sensormodul, sensorsystem und verfahren zum kapzitiven und ortsaufgelösten detektieren einer annäherung und berührung, verwendung des sensormoduls
DE102013220963A1 (de) Aktiver Stift mit Parallelkommunikationskanal
DE102019110621B4 (de) Tomografievorrichtung und Tomografieverfahren
DE112017003238T5 (de) Rahmen-Phase-Synchronisierung in frequenzteilungsmodulierten Berührungssystemen
DE102006046515A1 (de) Signalverarbeitungssystem, sowie Komponenten desselben
DE102019209333A1 (de) Verfahren zur Ermittlung eines lokalen Gewebetyps eines Körpergewebes und medizinisches System zur Ausführung eines solchen Verfahrens
DE112018005555T5 (de) Minimale ansteuerung von sendern zur erhöhung der schwebeerkennung
EP3481696B1 (de) Vorrichtung und verfahren zum heizen eines lenkrads und zur erfassung einer lenkradberührung
DE102010048917A1 (de) Wirbelstromflächensensor
DE102019113910A1 (de) Analogsignalkonditionierung mit Diagnose für kapazitive Sensorelemente
DE112021005999T5 (de) Kostengünstige kapazitive Abfühlschaltung mit hoher Messgeschwindigkeit für den Betrieb von kapazitiven Sensoren im Lademodus
DE112021006124T5 (de) Empfänger-verarbeitungsschaltung zur bewegungserfassung und zugehörige systeme, verfahren und einrichtungen
DE102021111169A1 (de) Kalibrierung eines magnetfeldsensors für eine stromsonde
DE102021128801A1 (de) Biologische Detektionsvorrichtung
DE112018005886T5 (de) System und verfahren für einen infusionsbereichssensor
DE102020202861A1 (de) Biologische-informationen-ausgabevorrichtung, biologische-informationen-ausgabeverfahren, biologische-informationen-ausgabeprogramm und aufzeichnungsmedium

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee