DE102023125214A1

DE102023125214A1 - Herzmessung unter Verwendung von akustischen Techniken

Info

Publication number: DE102023125214A1
Application number: DE102023125214.3A
Authority: DE
Inventors: Avery L. Wang; Tom-Davy W. Saux
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2022-09-20
Filing date: 2023-09-18
Publication date: 2024-03-21
Also published as: GB2623192A; BR102023019067A2; GB202314343D0

Abstract

Eine Ultraschallwelle wird von einem Lautsprecher einer am Kopf getragenen Vorrichtung ausgegeben. Ein Mikrofonsignal wird von einem Mikrofon der am Kopf getragenen Vorrichtung ermittelt, das die vom Ohr des Benutzers reflektierten Ultraschallwellen aufnimmt. Die Herzaktivität, wie beispielsweise die Herzrate des Benutzers, wird mindestens basierend auf dem Mikrofonsignal bestimmt. Es werden auch andere Gesichtspunkte beschrieben und beansprucht.

Description

Diese nichtprovisorische Patentanmeldung beansprucht die Vorteile des früheren Anmeldedatums der vorläufigen US-Anmeldung Nr. 63/376,349 vom 20. September 2022.
Stand der technik
Das menschliche Herz ist das wichtigste Organ des Kreislaufsystems, das das Blut durch den menschlichen Körper pumpt. Das menschliche Herz enthält vier Hauptkammern, die synchronisiert arbeiten, um Blut durch den Körper zu zirkulieren. Herzbewegungen wie das Zusammenziehen des linken oder rechten Atriums und der Herzkammer sowie die Bewegung des Blutes durch das Herz können als Herzaktivität bezeichnet werden. Die Herzaktivität kann den Herzzyklus des Herzens (z. B. einen Herzschlag) einschließen, der die Phasen der Herzrelaxation (Diastole) und -kontraktion (Systole) anzeigt. Die Herzaktivität kann ein Hinweis auf den Gesundheitszustand einer Person sein, z. B. auf ein Risiko oder eine Veranlagung für eine Herzerkrankung.
Herzerkrankungen schließen eine Reihe von Zuständen ein, die das Herz eines Menschen betreffen, wie z.B. Erkrankungen der Blutgefäße (z.B. koronare Herzkrankheit), Herzrhythmusstörungen (z. B. Rhythmusstörungen), Herzfehler (z. B. angeborene Herzfehler), Herzklappenerkrankungen, Erkrankungen des Herzmuskels, Herzinfektionen oder andere Herzpathologien. Die Anzahl der Herzschläge innerhalb einer bestimmten Zeitdauer (z. B. in einer Minute) kann als Herzfrequenz bezeichnet werden. Die Herzfrequenz einer Person kann auf die Fitness des Herzens, Herzkrankheiten und die Gesundheit des Kreislaufsystems hinweisen.
KURZDARSTELLUNG
In einem Aspekt schließt eine Verarbeitungsvorrichtung (z. B. ein Prozessor) eine Verarbeitungsvorrichtung ein, die so konfiguriert ist, dass sie die Ausgabe einer Ultraschallwelle aus einem Lautsprecher einer am Kopf getragenen Vorrichtung veranlasst, wenn die am Kopf getragene Vorrichtung an oder in einem Ohr eines Benutzers getragen wird, ein Mikrofonsignal eines Mikrofons der am Kopf getragenen Vorrichtung erhält, das eine reflektierte Ultraschallwelle als Antwort auf die ausgegebene Ultraschallwelle empfängt, und eine Herzaktivität (z. B. eine Herzrate) des Benutzers der am Kopf getragenen Vorrichtung mindestens basierend auf dem Mikrofonsignal bestimmt. Die Ultraschallwellen können zum Beispiel vom Gehörgang des Benutzers, dem Trommelfell, der Ohrmuschel und/oder anderen Oberflächen des Ohrs reflektiert werden.
Das Bestimmen der Herzaktivität des Benutzers kann das Feststellen einer Änderung der Phase der Ultraschallwelle im Mikrofonsignal über die Zeit einschließen. Die Änderung der Phase kann mit einer Änderung der Weglänge der Ultraschallwelle vom Lautsprecher zum Mikrofon korreliert sein, die auf eine Bewegung der Oberfläche des Ohrs zurückzuführen ist, an der die Ultraschallwelle reflektiert wird. Die Änderung der Weglänge kann wiederum mit der Herzaktivität des Benutzers korreliert werden. So kann die Phasenänderung mit einer Änderung der Weglänge der Ultraschallwelle (z. B. Verkürzung und Verlängerung) korreliert werden, die durch das Pumpen von Blut durch den Körper des Benutzers verursacht werden kann, was zu einem Ansteigen oder Abfallen der Oberfläche des Ohrs führt.
In einigen Beispielen kann das Mikrofon in einem Gehörgang des Benutzers positioniert werden, wenn der Benutzer die Vorrichtung am Kopf trägt. Die am Kopf getragene Vorrichtung kann zum Beispiel einen Ohrhörer einschließen, in dem sich der Lautsprecher und das Mikrofon befinden. Der Lautsprecher wird angesteuert, um die Ultraschallwellen auszugeben, und das Mikrofon nimmt die reflektierten Ultraschallwellen auf.
In einigen Beispielen kann die am Kopf getragene Vorrichtung in (oder über) einem Ohr des Benutzers getragen werden. Wenn es im (oder über dem) Ohr getragen wird, ist das Mikrofon so positioniert, dass es die reflektierten Ultraschallwellen vom Ohr ausreichend empfängt.
In einigen Beispielen kann die Bestimmung der Herzaktivität die Überlagerung der reflektierten Ultraschallwelle einschließen, um ein überlagertes Signal mit einer Frequenz nahe Null zu erstellen, wobei das überlagerte Signal eine relative Phase zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle oder eine gefühlte Zeit zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle oder eine Übertragungsfunktion zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle einschließt. Ein Sondierungssignal kann die Summe von mindestens einer Sinuskurve einschließen, die auch als Sondierungstöne bezeichnet werden können. Jede Sinuskurve kann eine feste Frequenz haben, oder sie kann eine zeitlich veränderliche Frequenz aufweisen. Um den Audioinhalt und die Ultraschallwelle über den Lautsprecher auszugeben, kann das Sondierungssignal mit einem Audiosignal kombiniert werden, das einen Audioinhalt enthält (z. B. einen Song, einen Soundtrack, einen Podcast, den Ton eines audiovisuellen Werks, ein Telefongespräch usw.). So kann die Herzaktivität des Benutzers bei normalem Gebrauch der am Kopf getragenen Vorrichtung bestimmt werden.
In einigen Beispielen schließt die Bestimmung der Herzaktivität des Benutzers die Anwendung eines maschinellen Lernalgorithmus auf das Mikrofonsignal ein, um die Herzaktivität des Benutzers zu bestimmen. Der Algorithmus für maschinelles Lernen kann so trainiert werden, dass er Phasenänderungen des erfassten Ultraschallsignals mit der Herzaktivität korreliert.
In einigen Beispielen schließt die Bestimmung der Herzaktivität des Benutzers die Verarbeitung des Mikrofonsignals mit einem Tiefpassfilter ein. Der Tiefpassfilter kann auf eine Kombination aus dem Mikrofonsignal und dem Sondierungssignal (z. B. ein heterodynes Signal) angewendet werden und alle anderen Komponenten als die Herzaktivität (z.B. die Herzrate) herausfiltern.
Das Bestimmen der Herzaktivität kann das Feststellen von Spitzen der im Mikrofonsignal erfassten Herzaktivität einschließen, um eine Herzrate zu bestimmen. Die Herzaktivität (z. B. die Herzbewegung) kann verschiedene Zuckungen auf der Oberfläche des Ohrs verursachen, während Spitzen der Herzaktivität einen vollen Zyklus (z. B. einen Herzschlag) anzeigen können.
In einigen Aspekten ist die Rechenvorrichtung von der am Kopf getragenen Vorrichtung getrennt. Zum Beispiel kann die Rechenvorrichtung kommunikativ mit der am Kopf getragenen Vorrichtung gekoppelt sein (z. B. über eine oder mehrere elektrische Leitungen oder über einen drahtlosen Sender und Empfänger). Bei der Rechenvorrichtung kann es sich um eine zusätzliche Vorrichtung zu der am Kopf getragenen Vorrichtung handeln, wie z. B. ein Smartphone, ein Computer, ein Tablet-Computer, ein intelligenter Lautsprecher, ein Server oder eine andere Rechenvorrichtung.
In anderen Beispielen ist die Rechenvorrichtung integral mit der am Kopf getragenen Vorrichtung. In einem Aspekt schließt eine am Kopf getragene Vorrichtung zum Beispiel einen Lautsprecher und ein Mikrofon ein. Die am Kopf getragene Vorrichtung schließt auch einen Prozessor ein, der so konfiguriert ist, dass er die Ausgabe einer Ultraschallwelle aus dem Lautsprecher veranlasst, ein vom Mikrofon erstelltes Mikrofonsignal ermittelt, das die Ultraschallwelle erfasst, wenn sie von einem Ohr des Benutzers reflektiert wird, und die Herzaktivität des Benutzers der am Kopf getragenen Vorrichtung mindestens auf der Grundlage des Mikrofonsignals bestimmt.
Die Herzaktivität kann bestimmt werden, ohne einen zusätzlichen Sensor zu verwenden. Die Herzaktivität kann zum Beispiel basierend auf dem Mikrofonsignal bestimmt werden, ohne dass ein Beschleunigungsmesser, ein Photoplethysmographiesensor (PPG) oder ein anderer Sensor verwendet wird.
Die ermittelte Herzaktivität kann in einem computerlesbaren Speicher (z. B. einem nichtflüchtigen computerlesbaren Speicher) gespeichert und für verschiedene Zwecke verwendet werden. Die Herzaktivität (z. B. die Herzrate) kann dem Benutzer auf einer Anzeige und/oder als akustische Meldung (z. B. über einen Lautsprecher der Vorrichtung) angezeigt werden. Die Anzeige kann integral in die am Kopf getragene Vorrichtung integriert oder separat sein. In einigen Aspekten kann die Herzaktivität verwendet werden, um ein Risiko oder einen Hinweis auf eine oder mehrere Herzkrankheiten festzustellen. Andere technische Merkmale sind für einen Fachmann aus den folgenden Figuren, Beschreibungen und Ansprüchen leicht ersichtlich.
Die vorstehende Kurzdarstellung schließt keine vollständige Liste aller Gesichtspunkte der vorliegenden Offenbarung ein. Die Offenbarung soll alle in die Praxis umsetzbaren Systeme und Verfahren aus allen geeigneten Kombinationen der oben zusammengefassten, verschiedenen Gesichtspunkte einschließen, ebenso wie solche, die in der nachstehenden detaillierten Beschreibung offenbart werden und die in den Ansprüchen ausdrücklich genannt sind. Solche Kombinationen können bestimmte Vorteile aufweisen, die in der obigen Kurzdarstellung nicht spezifisch angegeben sind.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Verschiedene Gesichtspunkte der Offenbarung hierhin werden in beispielhafter und nicht einschränkender Weise in den Figuren der begleitenden Zeichnungen veranschaulicht, in denen gleiche Bezüge gleiche Elemente angeben. Es sei darauf hingewiesen, dass sich Verweise auf „einen” bzw. „1“ Gesichtspunkt in dieser Offenbarung nicht notwendigerweise auf den gleichen Gesichtspunkt beziehen, und sie bedeuten zumindest einen. Außerdem kann der Kürze halber und zur Reduzierung der Gesamtzahl von Figuren eine gegebene Figur verwendet werden, um die Merkmale von mehr als einem Gesichtspunkt der Offenbarung zu veranschaulichen, und möglicherweise sind nicht alle Elemente in der Figur für einen gegebenen Gesichtspunkt erforderlich.

1 zeigt ein System zur Verwendung einer am Kopf getragenen Vorrichtung zum Feststellen der Herzaktivität gemäß einiger Aspekte.
2 zeigt ein Beispiel für eine am Kopf getragene Vorrichtung, die gemäß einiger Aspekte zur Bestimmung der Herzaktivität verwendet werden kann.
3 zeigt ein Beispiel für die Verwendung einer am Kopf getragenen Vorrichtung zur Bestimmung der Herzaktivität gemäß einiger Aspekte.
4 zeigt einen beispielhaften Arbeitsablauf zur Bestimmung der Herzaktivität mit einer Ultraschallwelle, gemäß einiger Aspekte.
5 stellt ein Diagramm dar, das gemäß einigen Aspekten eine Anzeige der Herzaktivität unter Verwendung eines Mikrofonsignals darstellt.
6 zeigt vier Wellenformen, die in einem beispielhaften Verfahren zur Bestimmung der Herzaktivität unter Verwendung einer Chirp-Sonde verwendet werden.
7 ist eine Darstellung der vom Unterschiedsdetektor für ein auf Chirp basierendes Verfahren erzeugten Änderungswerte und der daraus resultierenden Zeitreihe der Herzschlagwerte.
8 veranschaulicht ein Beispiel für ein Audioverarbeitungssystem gemäß einiger Aspekte.

DETAILLIERTE BESCHREIBUNG
Die Herzaktivität kann eine Herzbewegung wie eine Kontraktion des linken oder rechten Vorhofs und Ventrikels und eine Bewegung des Blutes durch das Herz einschließen. Die Herzaktivität kann den Herzzyklus des Herzens (z. B. einen Herzschlag) einschließen, der die Phasen der Herzrelaxation (Diastole) und -kontraktion (Systole) anzeigt. Bei normaler Herzaktivität beginnt die ventrikuläre Diastole mit isovolumentrischer Relaxation und durchläuft sodann drei Unterphasen der Einströmung, nämlich: schnelle Einströmung, Diastase und atriale Systole. Die Herzaktivität kann auf eine zugrunde liegende Herzerkrankung oder das Risiko einer Herzerkrankung hinweisen. Die Herzpathologie kann eine Erkrankung oder Anomalie des Herzens einschließen, die zu einer verminderten Fähigkeit des Herzens führen kann, Blut effektiv durch den menschlichen Körper zu pumpen. Eine solche Herzpathologie kann durch eine unregelmäßige Herzaktivität identifiziert werden oder mit dieser assoziiert sein.
Ohrhörer, Kopfhörer und andere Hörvorrichtungen können zum Hören von Musik, zur Geräuschunterdrückung und/oder zur Hörverstärkung verwendet werden. In einigen Gesichtspunkten der vorliegenden Offenbarung können diese Vorrichtungen mit akustischen Wandlern (z. B. Mikrofonen) ausgestattet sein, die ausgelegt sind, um Geräusche innerhalb des Ohrs zu erfassen (z. B. in einem Gehörgang des Benutzers). In einigen Beispielen können die gleichen oder andere Mikrofone für aktive Rauschunterdrückung, Transparenz und adaptive Entzerrung verwendet werden. Akustische Wandler können Schall (z. B. Vibrationen) erfassen und ein Signal (z. B. ein Mikrofonsignal) erzeugen, das in der Größe über die Zeit und/oder die Frequenz variiert.
Ferner können die Sensoren dieser Vorrichtungen Körpergeräusche wie die Atmungsrate, Herzschläge und Kaugeräusche aufnehmen. Die Rolle von Ohrhörern, Kopfhörern oder anderen Hörvorrichtungen kann erweitert werden, um die Erstellung eines Phonokardiogramms und Ballistokardiographen zu unterstützen.
Eine am Kopf getragene Vorrichtung kann ein oder mehrere Mikrofone und einen oder mehrere Lautsprecher einschließen, die sich in einem Ohr eines Benutzers (z. B. eines Trägers der Vorrichtung) befinden. Einer oder mehrere Lautsprecher können Ultraschallwellen ausgeben, die für das menschliche Ohr unhörbar sind. Die Mikrofone können akustische Energie in der Umgebung wahrnehmen, z. B. wie die von den Lautsprechern ausgegebenen Ultraschallwellen von einer oder mehreren Oberflächen des Ohrs des Benutzers reflektiert werden. Diese wahrgenommene akustische Energie kann in einem Mikrofonsignal charakterisiert werden, das von jedem Mikrofon erstellt wird. Das Mikrofonsignal kann verarbeitet werden, um Veränderungen in den erfassten Ultraschallwellen zu bestimmen, die mit Bewegungen im Ohr des Benutzers korreliert werden können, die wiederum analysiert werden können, um die Herzaktivität des Benutzers zu bestimmen.
1 zeigt ein System 100 zur Verwendung einer am Kopf getragenen Vorrichtung 102 zum Feststellen der Herzaktivität gemäß einiger Aspekte. Einige oder alle der in diesem Beispiel oder in anderen Beispielen beschriebenen Blöcke können von einer Verarbeitungslogik ausgeführt werden, die in die Rechenvorrichtung 124 integriert sein kann. Die Verarbeitungslogik kann Hardware (z. B. Schaltlogik, dedizierte Logik, programmierbare Logik, einen Prozessor, eine Verarbeitungsvorrichtung, eine zentrale Verarbeitungseinheit (CPU), ein System-on-chip (SoC), ein maschinenlesbarer Speicher usw.), Software (z. B. maschinenlesbare Anweisungen, die durch die Verarbeitungslogik gespeichert oder ausgeführt werden) oder eine Kombination davon umfassen.
In einigen Beispielen kann die Rechenvorrichtung 124 von der am Kopf getragenen Vorrichtung 102 getrennt sein. Die Rechenvorrichtung 124 kann zum Beispiel ein Smartphone, einen Computer, einen computerbasierten Server, einen intelligenten Lautsprecher, einen Tablet-Computer oder eine andere Rechenvorrichtung einschließen. In einigen Beispielen kann es sich bei der Rechenvorrichtung 124 um eine tragbare Rechenvorrichtung (z. B. eine Armbanduhr) handeln. In einigen Beispielen kann die Rechenvorrichtung 124 teilweise oder vollständig in die am Kopf getragene Vorrichtung 102 integriert sein.
Eine am Kopf getragene Vorrichtung 102 kann auf oder in einem Ohr 116 eines Benutzers 104 getragen werden. Die am Kopf getragene Vorrichtung 102 kann Technologien zur Erfassung im Ohr einschließen (z. B. ein oder mehrere Mikrofone 110) und einen oder mehrere Algorithmen 122 auf das Mikrofonsignal 118 anwenden, um die Herzaktivität 114 festzustellen. Wie hierin verwendet, kann die am Kopf getragene Vorrichtung 102 auf jede geeignete Weise getragen werden, um eine angemessene Dichtung mit dem Ohr des Benutzers zu erzeugen, wie z. B. über oder auf dem Kopf für einen Over-the-Ear-Kopfhörer oder in den Gehörgang für eine In-Ear-Vorrichtung eingesetzt. Ohrhörer (In-Ear-Kopfhörer) können beispielsweise eine komprimierbare Spitze (z. B. aus Silikon oder Gummi) einschließen, die den Gehörgang bei richtigem Tragen akustisch abdichtet. Ein Satz von Over-the-Ear-Kopfhörern (auch bekannt als Around-the-Ear-Kopfhörer) kann eine Polsterung aufweisen, die akustisch gegen den Kopf (und nicht gegen den Gehörgang) dichtet. Ein On-Ear-Kopfhörer kann ein Polster einschließen, das auf das Ohr drückt und es abdichtet.
Die am Kopf getragene Vorrichtung 102 kann einen Kopfhörer einschließen, der in oder auf einem Ohr 116 eines Benutzers 104 getragen wird. Zum Beispiel kann die am Kopf getragene Vorrichtung 102 einen Ohrhörer einschließen, der auf der Ohrmuschel des Benutzers getragen wird, sodass der Ohrhörer teilweise in den Gehörgang des Benutzers eindringt. In einem anderen Beispiel kann die am Kopf getragene Vorrichtung 102 eine Kombination aus Hülle und Kissen einschließen, die über oder auf dem Ohr des Benutzers getragen wird. Bei richtigem Tragen kann die am Kopf getragene Vorrichtung eine Dichtung gegen den Benutzer erzeugen, um die Ultraschallwellen akustisch von der Umgebung zu trennen.
Die am Kopf getragene Vorrichtung 102 kann ein Mikrofon 110 einschließen, das ein Mikrofonsignal 118 erstellt. In einigen Beispielen kann die am Kopf getragene Vorrichtung 102 mehrere Mikrofone einschließen, und jedes Mikrofon kann ein entsprechendes Mikrofonsignal erstellen, das, wie besprochen, separat verarbeitet wird.
Die Verarbeitungslogik kann die Ausgabe einer Ultraschallwelle 128 aus dem Lautsprecher 108 der am Kopf getragenen Vorrichtung 102 veranlassen. Zum Beispiel kann die Prozesslogik ein Audiosignal 126 bereitstellen, um einen Lautsprecher 108 anzusteuern. Das Audiosignal 126 kann sowohl das unhörbare Sondierungssignal als auch hörbare Audioinhalte wie beispielsweise Musik, ein Telefongespräch oder andere Audioinhalte einschließen. Die Verarbeitungslogik kann ein Sondierungssignal (das eine oder mehrere Ultraschallsinusschwingungen enthält) mit einem Audiosignal kombinieren, das Audioinhalte enthält (was zu einem Audiosignal 126 führt), um die Audioinhalte und die Ultraschallwelle über den Lautsprecher auszugeben. Das daraus resultierende Audiosignal 126 kann zur Ansteuerung des Lautsprechers 108 verwendet werden, um eine Ultraschallwelle 128 in den Gehörgang des Benutzers abzugeben. Die Ultraschallwelle 128 kann mit dem Mikrofon 110 der Vorrichtung erfasst und wie besprochen verarbeitet werden. Auf diese Weise kann die Vorrichtung als Hörgerät für die Ausgabe von Inhalten verwendet werden, während gleichzeitig die Herzaktivität des Benutzers in den besprochenen Beispielen festgestellt wird.
Im Signalverarbeitungsblock 112 ermittelt die Verarbeitungslogik das Mikrofonsignal 118, das vom Mikrofon der am Kopf getragenen Vorrichtung erstellt wird, die die Ultraschallwelle erfasst, wenn sie von einem Ohr des Benutzers reflektiert wird. Die Verarbeitungslogik kann eine Herzaktivität 114 des Benutzers 104 der am Kopf getragenen Vorrichtung 102 bestimmen, die mindestens auf dem Mikrofonsignal 118 basiert. Die Verarbeitungslogik kann einen oder mehrere Algorithmen 122 bei der Verarbeitung des Mikrofonsignals 118 anwenden, um die Herzaktivität 114 zu bestimmen.
Wie beschrieben, kann die Herzaktivität 114 die Bewegung des Herzens 106 des Benutzers einschließen, z. B. die Kontraktion des linken oder rechten Atriums und der Herzkammer oder die Bewegung von Blut durch das Herz 106 des Benutzers. Die Herztätigkeit 114 kann die Erweiterung und Kontraktion von Arterien im ganzen Körper einschließen, z.B. von Arterien, die sich an oder um die Ohren des Benutzers befinden. Die Herzaktivität 114 kann eine Wellenform einschließen, die in ihrer Größe über die Zeit und/oder Frequenz variiert, um der Bewegung des Herzens oder des Blutes zu entsprechen. In einigen Beispielen kann die Herzaktivität 114 die Herzrate des Benutzers einschließen.
Im Signalverarbeitungsblock 112 kann die Verarbeitungslogik eine Änderung der Phase der im Mikrofonsignal erfassten Ultraschallwelle über eine bestimmte Zeit feststellen, um die Herzaktivität 114 des Benutzers zu bestimmen. Da das Herz das Blut um den Gehörgang des Benutzers pumpt, kann sich die Haut im Gehörgang als Antwort auf die Druckwellen der Blutgefäße verbiegen. Geringfügige Änderungen der Form des Gehörgangs führen zu geringfügigen Änderungen der Größen- und Phasenantworten einer Übertragungsfunktion zwischen dem Lautsprecher 108 und dem Mikrofon 110. Die Verarbeitungslogik kann die Änderung der Phase (und/oder der Größe) mit einer Änderung der Weglänge oder einer Änderung der Resonanz (z. B. Übertragungsfunktion) der Ultraschallwelle vom Lautsprecher zum Mikrofon korrelieren, wenn diese vom Ohr des Benutzers reflektiert wird. Die Änderung der Weglänge oder der Resonanz kann ferner mit der Herzaktivität des Benutzers korreliert werden.
In einigen Beispielen kann diese Zeitspanne, über die das Mikrofonsignal 118 verarbeitet wird, größer sein als die Dauer des Herzschlags des Benutzers, um mindestens einen vollständigen Herzschlagzyklus zu erfassen. In einigen Beispielen kann die Zeitspanne größer als eine Minute sein, um die Herzschläge des Benutzers über eine ganze Minute zu erfassen.
Der Algorithmus 122 kann die Kombination (z. B. Überlagerung) des Mikrofonsignals 118 mit einem oder mehreren Merkmalen oder Eigenschaften des Sondierungssignals (z. B. einem oder mehreren ausgegebenen Sondierungstönen) einschließen. Die Merkmale oder Eigenschaften des Sondierungssignals (das ein reellwertiges Signal sein kann), die im Überlagerungssignal (das ein komplexwertiges Signal sein kann) erscheinen, sind die Frequenzmodulation. Diese Merkmale oder Eigenschaften erscheinen sowohl in einem Sondierungssignal (das vom Lautsprecher ausgegeben wird) als auch im Mikrofonsignal aufgrund der Aufnahme des Sondierungssignals durch das Mikrofon. Dieses Merkmal ermöglicht es, den Betrieb auf verschiedene Arten auszuführen, wie weiter unten in Verbindung mit 4 beschrieben. Das Ergebnis des Heterodyning-Betriebs kann gefiltert werden, um die Phasenänderung der Ultraschallwelle zu isolieren, die am stärksten mit der Herzaktivität korreliert. Zum Beispiel kann die ausgegebene Ultraschallwelle einen oder mehrere Sondierungstöne einschließen und jeder entsprechende reflektierte Sondierungston der Ultraschallwelle kann überlagert werden, um ein entsprechendes überlagertes Signal mit einer Frequenz nahe Null zu erstellen, d.h. zwischen Null oder Gleichstrom und 5 Hz oder zwischen Null oder Gleichstrom und 100 Hz). Jedes jeweilige überlagerte Signal kann gefiltert werden, um andere Komponenten als den entsprechenden reflektierten Ultraschallwellen-Sondierungston im jeweiligen überlagerten Signal zu entfernen. Durch die Filterung können andere Komponenten oder Frequenzen als die nahe Null entfernt oder herausgefiltert werden, z. B. Komponenten, die über den nahe Null liegenden Frequenzen liegen, wie z. B. über 100 Hz. Die Verarbeitung, einschließlich der Erkennung von Unterschieden und der Erkennung von Spitzen, wie unten detaillierter beschrieben, kann dann an einer oder mehreren der Komponenten nahe Null, nicht aber an anderen Komponenten mit höheren Frequenzen, ausgeführt werden, um die Herzrate zu berechnen.
In einigen Beispielen kann der Algorithmus 122 ein künstliches neuronales Netzwerk oder ein anderes maschinell erlerntes Modell einschließen, das darauf trainiert ist, die Herzaktivität 114 im Mikrofonsignal basierend auf Phasenänderungen der erfassten Ultraschallwelle festzustellen. Zum Beispiel kann ein künstliches neuronales Netzwerk mit einem ausreichend großen Datensatz (z. B. Trainingsdaten) von Mikrofonsignalen mit Ultraschallreflexionen eines Innenohrs und einer Zielausgabe der Herzaktivität (z. B. einer Wellenform der gemessenen Herzaktivität, die den Trainingsdaten entspricht) trainiert werden, um das künstliche neuronale Netzwerk zu verstärken, damit es die erfasste Ultraschallwelle im Mikrofonsignal der Herzaktivität zuordnet. Die Trainingsdaten können Daten einschließen, die reale Messungen der Herzaktivität enthalten.
Beim Training eines künstlichen neuronalen Netzes kann ein Optimierungsalgorithmus verwendet werden, um einen Satz von Gewichten einzustellen, der die Eingaben (z. B. ein Mikrofonsignal mit erfassten Ultraschallkomponenten) am besten auf die Ausgaben (z. B. die Herzaktivität) abbildet. Diese Gewichtungen können Werte sein, die die Stärke einer Verbindung zwischen neuronalen Netzwerkknoten des künstlichen neuronalen Netzwerks darstellen. Während des Trainings können die Gewichte des maschinell erlernten Modells so trainiert werden, dass der Unterschied zwischen a) der von dem maschinell erlernten Modell basierend auf den eingegebenen Trainingsdaten erstellten Ausgabe und b) der genehmigten Ausgabe, die den Trainingsdaten zugeordnet ist, minimiert wird. Die eingegebenen Trainingsdaten und die Zielausgabe der Trainingsdaten können als Eingabe-Ausgabe-Paare beschrieben werden, und diese Paare können verwendet werden, um ein maschinelles Lernmodell in einem Prozess zu trainieren, der als überwachtes Training bezeichnet werden kann.
Das Training des maschinell erlernten Modells kann die Verwendung einer linearen oder nichtlinearen Regression (z. B. kleinste Quadrate) zur Optimierung einer Kostenfunktion einschließen, um den Fehler der Ausgabe des maschinell erlernten Modells (im Vergleich zu den genehmigten Ergebnissen der Trainingsdaten) zu reduzieren. Fehler werden über das maschinell erlernte Modell weitergegeben und führen zu einer Anpassung der Gewichte, die den Algorithmus des neuronalen Netzwerks steuern. Dieser Prozess kann wiederholt für jede Aufzeichnung durchgeführt werden, um die Gewichtungen so anzupassen, dass die Fehler reduziert werden und die Genauigkeit verbessert wird. Der gleiche Satz von Trainingsdaten kann mehrmals verarbeitet werden, um die Gewichtungen zu verfeinern. Das Training kann abgeschlossen werden, sobald die Fehler so reduziert sind, dass ein Schwellenwert erfüllt ist, was durch Routinetests und Experimente bestimmt werden kann. Der trainierte Algorithmus für maschinelles Lernen kann so trainiert werden, dass er Änderungen in der Phase oder Änderungen in der Größe des erfassten Ultraschallsignals mit der Herzaktivität korreliert. In einigen Beispielen kann der maschinelle Lernalgorithmus das Mikrofonsignal und das Audioausgangssignal als Eingabe verwenden. Der Algorithmus für maschinelles Lernen kann so trainiert werden, dass er die relative Phaseninformation der ausgegebenen Ultraschallwelle (im Audioausgangssignal) und der reflektierten Ultraschallwelle (im Mikrofonsignal) erkennt und diese relative Phaseninformation mit der Herzaktivität korreliert.
2 zeigt ein Beispiel für eine am Kopf getragene Vorrichtung 202, die gemäß einiger Aspekte zur Bestimmung der Herzaktivität verwendet werden kann. Die am Kopf getragene Vorrichtung 102 kann einen Ohrstöpsel-Kopfhörer einschließen, der in den Gehörgang 216 eines Benutzers passt.
Die am Kopf getragene Vorrichtung 202 kann eine Ultraschallwelle aus dem Lautsprecher 204 der am Kopf getragenen Vorrichtung ausstrahlen. Der Lautsprecher 204 kann in einem Gehäuse der am Kopf getragenen Vorrichtung 102 untergebracht sein, und zwar in einer Orientierung und Position, die die akustische Energie des Lautsprechers 204 ausreichend auf das Ohr des Benutzers richtet (z. B. direkt in den Gehörgang 216 des Benutzers).
Die am Kopf getragene Vorrichtung 202 kann ein Mikrofon 206 einschließen, das die vom Ohr (z. B. dem Gehörgang 216 des Benutzers) reflektierten Ultraschallwellen erfasst. Bei diesem Mikrofon 206 kann es sich um ein Fehlermikrofon oder ein internes Mikrofon handeln und nicht um ein externes Mikrofon, das Umgebungsgeräusche direkt aufnimmt. Ein internes Mikrofon oder ein Fehlermikrofon kann so konfiguriert oder angeordnet sein, dass es das vom Lautsprecher des Kopfhörers erzeugte Geräusch direkt empfängt. Das Mikrofon 206 kann das erfasste Geräusch in ein Mikrofonsignal codieren. Die am Kopf getragene Vorrichtung 202 kann eine Verarbeitungslogik 218 einschließen, die mindestens basierend auf dem Mikrofonsignal 220 die Herzaktivität des Benutzers bestimmt, wie unten in Verbindung mit 4 beschrieben. Die Herzaktivität kann eine Rate wie z. B. „X“ Schläge pro Minute (bpm) einschließen.
Die Verarbeitungslogik 218 kann eine Änderung oder Änderungen in der Phase oder in der Größe einer Frequenzantwort oder Resonanz des folgenden Systems feststellen: von einer Eingabe des Lautsprechers, akustisch nach außen zu einer Oberfläche des Ohrs und dann akustisch zurück zu einem Mikrofon und dann zum Ausgang des Mikrofons. Die Verarbeitungslogik 218 kann diese Änderung der Phase oder der Größe mit einer Änderung der Länge des akustischen Weges 208, 210 oder einer Resonanz der Ultraschallwelle korrelieren, die sich vom Lautsprecher zum Mikrofon ausbreitet und dabei vom Ohr des Benutzers reflektiert wird. Die Verarbeitungslogik 218 kann die Änderung der Länge des Weges 208, 210 oder die Änderung der Resonanz mit der Herzaktivität des Benutzers korrelieren.
Wenn zum Beispiel das Herz Blut in den Gehörgang des Benutzers pumpt, biegen sich die Haut 212 und 214 des Gehörgangs 216 des Benutzers als Antwort auf die Druckwellen der Blutgefäße. Leichte Veränderungen in der Form des Gehörgangs (verursacht durch diese Auslenkungen) können zu leichten Veränderungen in der Größenordnung und/oder der Phasenantwort einer Übertragungsfunktion zwischen dem Lautsprecher 204 und dem Mikrofon 206 führen. Zum Beispiel kann eine Änderung der Weglänge [delta x] 208 oder 210 zwischen Lautsprecher 204 und Mikrofon 206 eine entsprechende Änderung der relativen Phase der erfassten Ultraschallwelle verursachen. Die Wellenlänge einer Schallwelle kann als λ = c/f ausgedrückt werden, wobei c die Schallgeschwindigkeit (343 m/s) und f die Frequenz ist, was Folgendes bereitstellt: $Δ ϕ = \frac{2 π f}{c} \cdot Δ x und Δ x = \frac{c Δ ϕ}{2 π f} .$
Bei 20 KHz kann die Änderung der Hautablenkung (delta x) beispielsweise 1 mm betragen, was einer relativen Phasenverschiebung von 0,366 Radiant bei der reflektierten Ultraschallkomponente entspricht. Die Verarbeitungslogik kann eine solche Änderung der relativen Phase feststellen und diese Phasenänderung mit einer Länge des Weges korrelieren. Eine Änderung der Weglänge um 10 µm (Mikrometer) kann mit 3,66 Milliradiant korreliert werden. Vorteilhaft ist, dass eine solche Phasenverschiebung mit dem Mikrofon 206 ausreichend gemessen werden kann.
Im Signalverarbeitungsblock 112 kann die Verarbeitungslogik die Modulation der relativen Phase zwischen dem gesendeten Sondierungssignal (über den Lautsprecher 108) und der erfassten Ultraschallwelle (im Mikrofonsignal 118) messen. Die Modulation der gemessenen Phase ist robust gegenüber Rauschen und invariant gegenüber der Amplitude. So kann die Erfassung des Ultraschallsignals im Mikrofonsignal eine ausreichend robuste Messung der Herzaktivität bereitstellen.
Ferner kann die Verarbeitungslogik durch die Ausgabe eines oder mehrerer Ultraschalltöne die Herztätigkeit eines Benutzers erfassen, ohne ihn zu stören, da ein Ultraschallton unhörbar ist und oberhalb des normalen menschlichen Hörbereichs liegt, z. B. >20 KHz. Umgebungsgeräusche wie Musik und Gespräche weisen üblicherweise einen geringen Ultraschallanteil auf. Ultraschalltöne stellen eine exzellente Bahnverfolgung mit beliebig niedrigen Pulsraten bereit. Üblicherweise liegt die Herzfrequenz zwischen 25-200 bpm oder 0,42-3,33 Hz.
Vorteilhafterweise kann die am Kopf getragene Vorrichtung 102 vorhandene Hardware nutzen, anstatt zusätzliche Sensoren wie einen Beschleunigungsmesser, einen Lichtsensor (z. B. einen PPG-Sensor) oder einen anderen Sensor zu benötigen. Außer dem Mikrofon 206 und dem Lautsprecher 204 und der Möglichkeit, Sondierungstöne in die Lautsprecherausgabe einzuspeisen, ist keine weitere Hardware erforderlich. Das Mikrofon 206 kann ferner für andere Zwecke verwendet werden (z. B. für die Echounterdrückung). Änderungen in der Amplitudenantwort können ignoriert werden, und ein genauer Frequenzgang ist für das System aus Lautsprecher 204 und Mikrofon 206 nicht erforderlich, solange das Mikrofon eine geringe nichtlineare Verzerrung und ein ausreichendes Signal-Rausch-Verhältnis (SNR) aufweist.
3 zeigt ein Beispiel für die Verwendung einer am Kopf getragenen Vorrichtung 302 zur Bestimmung der Herzaktivität gemäß einiger Aspekte. Die am Kopf getragene Vorrichtung 302 kann einen Kopfhörer einschließen, der nicht im Ohr getragen wird, wie z. B. einen Over-the-Ear- oder On-Ear-Kopfhörer. Die am Kopf getragene Vorrichtung 302 kann eine Hülle 304 einschließen, die am oder über dem Ohr des Benutzers getragen wird. Die Hülle 304 kann ein Kissen 320 einschließen, das eine Dichtung zwischen der Hülle 304 und dem Benutzer schafft, sodass die akustische Umgebung 306 außerhalb der Hülle ausreichend von der akustischen Umgebung 308 im Inneren der Hülle getrennt ist.
Ähnlich wie in anderen Beispielen schließt die am Kopf getragene Vorrichtung 302 einen Lautsprecher 310 ein, der in der Hülle 304 untergebracht sein kann, und zwar mit einer Orientierung und Position, die es erlaubt, die akustische Energie des Lautsprechers 310 in Richtung des Ohrs des Benutzers zu richten (z. B. in den Gehörgang 314 des Benutzers). Der Lautsprecher 310 kann eine Ultraschallwelle ausstrahlen. Die am Kopf getragene Vorrichtung 302 kann ein Mikrofon 312 einschließen, das die vom Ohr (z. B. dem Gehörgang des Benutzers 314) reflektierten Ultraschallwellen erfasst. Das Mikrofon 312 kann ein internes Mikrofon oder ein Fehlermikrofon sein, das in der Hülle 304 angeordnet ist, um Geräusche vom Lautsprecher 310 sowie reflektierte Geräusche vom Ohr des Benutzers aufzunehmen. Die Verarbeitungslogik 316 kann mindestens basierend auf dem Mikrofonsignal 318 die Herzaktivität (z. B. die Herzrate oder den Herzschlag) des Benutzers bestimmen, wie in anderen Abschnitten beschrieben. In einigen Beispielen ist die Verarbeitungslogik 316 in die am Kopf getragene Vorrichtung 302 integriert. In anderen Beispielen kann die Verarbeitungslogik 316 teilweise oder vollständig von der am Kopf getragenen Vorrichtung 302 getrennt sein.
4 zeigt einen beispielhaften Arbeitsablauf 400 zur Bestimmung der Herzaktivität mit einer Ultraschallwelle, gemäß einiger Aspekte. Die Prozesse und Blöcke des beschriebenen Arbeitsablaufs 400 können von einer Verarbeitungslogik und einer am Kopf getragenen Vorrichtung entsprechend anderer Beispiele ausgeführt werden.
Der Sondierungssignalgenerator 402 erstellt ein Sondierungssignal 422, das eine oder mehrere Komponenten des Ultraschalls einschließt. In einigen Beispielen kann ein Sondierungssignal 422 mehrere Ultraschallsinusschwingungen einschließen, die vom Sondierungssignalgenerator 402 summiert werden. Die Ultraschallsinusoiden können jeweils eine feste Frequenz aufweisen und im kombinierten Sondierungssignal ausreichend Abstand haben, z.B. kann ein Sondierungston $p_{k} (n) = a_{k} cos (\frac{2 π ƒ_{k} n}{F_{s}} + ϕ_{k}),$
wobei a_k eine Amplitude von p_k(n) ist und ϕ_k eine entsprechende Phase ist, und das Sondierungssignal kann sein $tx (n) = \sum_{k = 1}^{N_{ƒ}} p_{k} (n),$
wobei N_f eine Anzahl von Sondierungstönen ist.
Aufgrund der schmalen Bandbreite, die durch die Tiefpassfilterung (wird weiter unten beschrieben) entsteht, können sinusförmige Sondierungstöne in einem Abstand von 80-120 Hz (z. B. 100 Hz) platziert werden. Für den Ultraschallstreifen zwischen 20-40 KHz kann die Verarbeitungslogik bis zu 200 verschiedene Sondierungstöne mit diesem Abstand kombinieren. Zum Beispiel kann die Verarbeitungslogik bestimmen f_k = k f_Abstand + f_Basis, wobei f_Basis die niedrigste Frequenz im Bereich ist, z. B. 20 kHz, und f_Abstand der Raum oder der Mindestabstand zwischen den einzelnen Sondierungstönen ist (z. B. f_Abstand =100 Hz). Um einen hohen Crest-Faktor abzuschwächen, können die relativen Phasen ϕ_k zufällig sein.
In anderen Beispielen kann ein Sondierungssignal Klicks, Chirps, pseudozufälliges Rauschen, wie Sequenzen maximaler Länge, oder Golay-Codes einschließen.
Im Betrieb 404 kann die Verarbeitungslogik das Sondierungssignal 422 mit einem Audiosignal des Audioinhalts 406 kombinieren, der einen Podcast, Musik, ein Telefongespräch, Geräusche für ein audiovisuelles Werk oder andere Audioinhalte einschließen kann. Das resultierende Audiosignal 428 kann den Audioinhalt 406 und das Sondierungssignal 422 enthalten. Die Verarbeitungslogik kann den Lautsprecher 408 ansteuern, um den Audioinhalt mit der Ultraschallwelle 426 über den Lautsprecher 408 auszugeben. Die Ultraschallwelle 426 kann für einen Zuhörer unhörbar sein. Die Ultraschallwelle (die mehrere Komponenten einschließen kann) wird vom Mikrofon 410 erfasst, wenn sie von der Oberfläche 424 des Ohrs des Benutzers reflektiert wird. Das Mikrofon 410 kann ein internes oder ein Fehlermikrofon sein. Die Oberfläche 424 kann den inneren Abschnitt des Ohrs des Benutzers einschließen, wie z. B. den Gehörgang oder das Trommelfell des Benutzers.
Um die Herzaktivität 434 zu bestimmen, misst die Verarbeitungslogik im Signalprozessor 416 eine Änderung (in der Phase und/oder der Größe, in einer Übertragungsfunktion). Es misst die Modulation der relativen Phase zwischen dem gesendeten Sondierungssignal (das über den Lautsprecher 408 gesendet wird) und der erfassten Ultraschallwelle (die im Mikrofonsignal 430 aufgenommen wird). Dies basiert auf dem Mikrofonsignal 430. In einem Beispiel kann das empfangene Signal rx(n) im Mikrofonsignal von der Form $rx (n) = \sum_{k = 1}^{N_{ƒ}} {\tilde{a}}_{k} (n) cos (\frac{2 π ƒ_{k} n}{F_{s}} + {\tilde{ϕ}}_{k} (n)),$
wobei ã_k(n) eine zeitlich veränderliche Amplitude einer k-ten empfangenen Sinuskurve an f_k ist und ϕ̃_k(n) eine entsprechende zeitlich veränderliche Phase ist.
Der Kombinierer 412 kann das Mikrofonsignal 430 mit einem Überlagerungssignal 423 kombinieren oder überlagern, um ein kombiniertes Signal 418 (hier auch als überlagertes Signal bezeichnet) zu erzeugen. Wie unten zu sehen ist, wird durch diesen Betrieb ein reflektiertes Sondierungssignal isoliert, das im Mikrofonsignal 430 enthalten ist. Das Überlagerungssignal 423 kann eine komplexwertige Funktion sein, die als „übereinstimmendes“ Ultraschallsignal beschrieben wird, das mit der Realwertfunktion des Sondierungssignals 422 übereinstimmt, das vom Lautsprecher ausgegeben wird (oder diesen ansteuert), wobei sich der Begriff „übereinstimmend“ darauf bezieht, dass ihre Phasenvariation oder ihr Zeitablauf (einschließlich der Frequenz) oder die Frequenzmodulation synchronisiert sind; Das Überlagerungssignal 423 kann z. B. eine komplex bewertete Version oder Kopie des Sondierungssignals 422 (oder Sondierungstons) sein, wie die gestrichelte Linie in 4 andeutet; In einem anderen Beispiel kann das Überlagerungssignal 423 eine separat erzeugte komplexwertige Funktion sein, die vom Empfängersignalprozessor 416 erstellt wird, um mit dem Sondierungssignal 422 synchronisiert zu werden. Zum Beispiel könnte ein Signaldetektor im Signalprozessor 416 einen Zeitversatz im Mikrofonsignal 430 feststellen und darauf basierend ein Überlagerungssignal erstellen, wobei das Überlagerungssignal gemäß dem Zeitversatz korrigiert wird. Der Zeitversatz kann beispielsweise im Falle eines linearen Chirp anhand einer Frequenzabweichung, delta f, ermittelt werden, wobei delta t = delta f / gamma ist, wobei gamma eine vorgegebene lineare Chirp-Frequenzabtastrate in Hz pro Sekunde ist.
Der Signalprozessor 416 kombiniert dann das Überlagerungssignal mit dem realwertigen Mikrofonsignal 430, um das überlagerte Signal zu erzeugen.
Wenn das Sondierungssignal 422 mehrere Sinusschwingungen mit fester Frequenz einschließt, kann das Mikrofonsignal 430 mit jedem der Sondierungssignale separat kombiniert oder überlagert werden, um mehrere überlagerte Signale zu erstellen, eines für jeden Sondierungston. Heterodyning kann sich auf die Multiplikation eines Signals mit der komplexen Konjugierten des Heterodyning-Signals beziehen. Das Überlagerungssignal 423 kann eine Sinuskurve mit fester Frequenz, ein Chirp, eine Sequenz mit maximaler Länge oder eine andere Decodiersequenz sein. Wenn zum Beispiel ein Signal, das eine sinusförmige Komponente bei der Frequenz f_m enthält, mit der konjugierten Komplexen eines reinen komplexen Sinus bei der Frequenz f_k multipliziert wird, schließt das Ergebnis eine sinusförmige Komponente bei f_m-f_k ein. Insbesondere, wenn f_m=f_k, liegt eine resultierende überlagerte Signalkomponente bei der Frequenz 0 und kann verwendet werden, um die Weglänge der Geräusche zu bestimmen. Veränderungen in der Weglänge der Geräusche können mit der Herzaktivität korreliert werden. Als solches kann das kombinierte Signal 418 einen Satz von einem oder mehreren überlagerten Signalen oder Signalkomponenten umfassen. Das kombinierte Signal 418 kann ein heterodynes Signal pro Trägerfrequenz in der Ausgangsultraschallwelle umfassen. Einige der resultierenden Signale zeigen die Herzaktivität besser an als andere. Diese Signale können zum Bestimmen der Herzaktivität ausgewählt werden, während diejenigen mit geringerem SNR verworfen oder ignoriert werden können. So kann das kombinierte Signal 418 in einigen Beispielen einige Komponenten ausschließen, die Rauschen aufweisen oder die Herzaktivität nicht ausreichend zeigen.
In einigen Aspekten kann die Verarbeitungslogik jede erfasste oder empfangene Ultraschallkomponente isolieren, indem sie einen Heterodyning-Demodulator und einen Tiefpassfilter 414 verwendet. Jeder Heterodyning-Demodulator kann wie folgt ausgedrückt werden: $h_{m} (n) = exp (j \frac{2 π ƒ_{m} n}{F_{s}} + j θ_{m})$
und für jedes m kann das entsprechende gefilterte partielle Sondierungssignal, das im Mikrofonsignal wahrgenommen wird, als das heterodynes Signal ausgedrückt werden: $\begin{array}{l} q_{m} (n) = LPF (rx (n) h_{m}^{*} (n)) \\ \approx {\tilde{a}}_{m} (n) exp (j ({\tilde{ϕ}}_{m} (n) - θ_{m})), \end{array}$
wobei LPF der Tiefpassfilter 414 ist, und alle Frequenzkomponenten außer der bei DC, wobei f_m=f_k, sind weggefiltert.
In einem weiteren Aspekt (siehe 6) verwendet das Verfahren zur Messung der Herzfrequenz eine Ultraschallwelle, die sich über eine Sequenz von Rahmen erstreckt, wobei jeder Rahmen einen Sondierungston einschließt, dessen Frequenz innerhalb des Rahmens variiert. Im Beispiel der oberen Wellenform in 6 ist jeder Rahmen 0,05 Sekunden lang, und die Frequenz eines einzelnen Sondierungstons steigt linear von etwa 20 kHz auf 40 kHz an, und dies wiederholt sich für jeden aufeinanderfolgenden Rahmen wie gezeigt. Mit anderen Worten, für das Sondierungssignalp wird eine zeitlich veränderliche Momentanfrequenz f(k) verwendet, sodass das empfangene Signal rx, der Demodulator h und das gefilterte, heterodynisierte Signal q wie folgt ausgedrückt werden können: $p (n) = cos (\sum_{k = 0}^{n} \frac{2 π ƒ (k)}{F s}),$
$rx (n) = \tilde{a} (n) cos (\sum_{k = 0}^{n} \frac{2 π ƒ (k)}{F s} + \tilde{ϕ} (n)),$
$h (n) = exp (j \sum_{k = 0}^{n} \frac{2 π ƒ (k)}{F s}),$
und $q (n) = LPF (rx (n) h * (n))$
Ein Beispiel für eine solche zeitvariable Frequenzmodulation schließt eine periodisch variierende Sägezahnfrequenzmodulation ein, wie sie in der Wellenform des Sondierungstons oben in 6 dargestellt ist. Es kann mathematisch dargestellt werden als: $ƒ (k) = ƒ_{l o} + (ƒ_{h i} - ƒ_{l o}) \frac{(k mod N_{p})}{N_{p}},$
wobei f_lo und f_hi niedrige und hohe Werte eines Bereichs der Frequenzmodulation sind und N_p die Anzahl der Proben in einer Periode ist. In dem gezeigten Beispiel sind die Ultraschallchirps periodisch mit einer Periode von 5-10 Millisekunden und die Frequenzmodulation (oder Chirp) verläuft linear von 20 kHz bis 40 kHz, obwohl auch andere Kombinationen von Rahmenlänge, Frequenzendpunkten und Sweep-Kurve möglich sind.
Das empfangene Signal Rx, das vom Mikrofon aufgenommen wird, ist als nächstes zu sehen (in 6 mit „mic“ gekennzeichnet). Das Mikrofonsignal (das von einem internen Mikrofon der am Kopf getragenen Vorrichtung erzeugt wird) enthält eine reflektierte Ultraschallwelle, die auf die Ausgangs-Ultraschallwelle, den Sondierungston p(n), antwortet, wobei die reflektierte Ultraschallwelle von einer Oberfläche des Ohrs des Benutzers zurückgeworfen wurde. Das Mikrofonsignal weist ein verschmiertes Spektrum auf, da es den Sondierungssignal (Tx) und dessen Reflexion (z. B. Faltung mit einer Übertragungsfunktion des Gehörgangs) enthält.
In 6 ist eine Darstellung des überlagerten Signals zu sehen, das in den obigen Gleichungen als rx(n) multipliziert mit der komplexen Konjugierten von h(n) dargestellt werden kann. Das rx(n)-Signal (das die reflektierte Ultraschallwelle oder die Reflexion des Sondierungssignals im Mikrofonsignal einschließt) wird mit der komplexen Konjugierten von h(n) multipliziert. In einem Fall kann das Heterodyning-Signal durch h(n) dargestellt werden. Das Signal oder die Funktion h(n) kann ein analytisches Signal sein, das sich aus der Addition einer imaginären Quadraturkomponente aus einer Hilbert-Transformation des Sondierungssignals p(n) ergibt. Der Sondierungston p(n) kann mit einer realen Komponente des Heterodyning-Signals h(n) gleichgesetzt werden. Allgemeiner ausgedrückt, wird die reflektierte Ultraschallwelle durch ein passendes, zeitlich veränderliches Frequenzsignal überstimmt (um das überstimmte Signal zu erstellen), wie oben beschrieben.
Das überlagerte Signal weist eine Komponente mit einer Frequenz nahe Null auf, aber auch andere Komponenten, die bei höheren Frequenzen liegen. Wie in dem Beispiel in der dritten Grafik von 6 zu sehen ist, weist das überlagerte Signal ein abgeflachtes Spektrum auf, in dem die gewünschte Komponente q(n) bei einer Frequenz nahe Null liegt. Daher kann sie durch Anwendung eines Tiefpassfilters (LPF) auf das überlagerte Signal isoliert werden, was zu der Grafik unten in 6 führt.
In anderen Beispielen für die Frequenzmodulation, die verwendet werden können (anstelle der in 6 dargestellten sägezahnförmigen Momentanfrequenz), weist die Sequenz der Rahmen in der Ausgangsultraschallwelle eine Momentanfrequenz auf, die einer Dreieckswelle oder einer Sinuswelle gleicht.
Jedes der gefilterten Signale q_m(n) 420 kann dazu verwendet werden, einige detaillierte Informationen bereitzustellen, um die Herzaktivität 434 zu bestimmen. Ferner kann der Tiefpassfilter 414 störende Audioinhalte entfernen, z. B. vom Lautsprecher 408, Audioinhalte 406, Sprache oder andere Umgebungsgeräusche. Das Design des Tiefpassfilters 414 kann auf Kompromissen zwischen größerer Bandbreite, mehr Details und mehr Rauschen auf der einen Seite und geringerer Bandbreite, weniger Details und weniger Rauschen auf der anderen Seite basieren. Bei einer typischen Herzrate von 60 BPM beträgt die Grundfrequenz beispielsweise 1 Hz. Ein Filter mit einer Bandbreite von 10 Hz kann genügend Details über die periodische Struktur des Signals bereitstellen und gleichzeitig Störungen abweisen. Der Filter kann eine Stoppfrequenz aufweisen, die Rauschen unterdrückt und Kanalüberschneidungen vermeidet. In einigen Beispielen kann der Filter 414 eine Bandbreite von 10 Hz und einen Stoppstreifen von 50 Hz aufweisen. Der Filter 414 kann eine Abschwächung des Streifens von z. B. -100 dB einschließen, um Rauschen zufriedenstellend zu unterdrücken. Digitale Tiefpassfilter können Butterworth-, elliptische, Tschebyscheff- und andere Designs einschließen.
In einem Aspekt des Verfahrens zur Messung der Herzfrequenz, siehe 4, wird ein Unterschiedsdetektor 432 verwendet, um die Herzfrequenz wie folgt zu berechnen. Eine zeitvariable Phase ϕ̃_m(n) jedes gefilterten Signals q_m(n) 420, das am Ausgang des Tiefpassfilters 414 erscheinen kann, wird ermittelt. Dies kann durch einen komplexen arg( ) Betrieb des überlagerten Signals (im kombinierten Signal 418) geschehen, z. B. ϕ̃_m(n) = arg (q_m(n)) + θ_m. Ein Ziel ist es, die Pulsation dieses Phasensignals zu messen. Um Probleme mit der Phasenverschiebung zu vermeiden, kann es bequemer sein, mit der Veränderung von ϕ̃_m(n) über die Zeit zu arbeiten, z. B. $Δ {\tilde{ϕ}}_{m} (n) = arg (q_{m} (n) q_{m}^{*} (n - 1)) .$
Die momentane Phase kann wie folgt ausgedrückt werden ${\tilde{ϕ}}_{m} (n) = \sum_{k = 1}^{n} Δ {\tilde{ϕ}}_{m} (k),$
wobei die globale Phase entfernt wurde. Als nächstes wird eine Spitzenerkennung ausgeführt, bei der der Unterschiedsdetektor 432 eine Periode einer Pulswellenform im Signal ϕ̃_m(n) oder Δϕ̃_m(n) feststellen kann, indem er bestimmt, wann jede Spitze auftritt. In einigen Beispielen kann dies die Berechnung der Nulldurchgänge von Δϕ̃_m(n) einschließen. Es können auch andere Techniken angewendet werden, um Spitzen und/oder die Periode der Pulswellenform festzustellen. Sobald die Stellen der Spitzen in der Zeit T_ℓ bestimmt sind, wobei T_ℓ die Zeit der ℓ-ten Spitze ist, ist die momentane Impulsdauer der zeitliche Abstand oder das Zeitintervall zwischen aufeinanderfolgenden oder aufeinanderfolgenden Spitzen, ΔT_ℓ, = T_ℓ - T_ℓ-1. Die Herzrate kann dann als 60/ΔT_ℓ Schläge pro Minute bestimmt werden.
In einem anderen Aspekt des Verfahrens zur Messung oder Berechnung der Herzrate, der sich nun auf die obigen Gleichungen für die Antwort q(n) und auf die Chirp-Ausführungsform von 6 bezieht, ist der Unterschiedsdetektor 432 (siehe 4) so konfiguriert, dass er eine Änderung oder einen Unterschied Δq(n) in der Antwort q(n) relativ zu einer Zeit n - ΔT in der Vergangenheit berechnet. Eine Möglichkeit ist, Δq(n) als Subtraktion zu messen: $Δ q (n) Δ q (n) = q (n) - q (n - Δ t)$
Eine andere Möglichkeit ist, die Veränderung der Antwort als Division oder Verhältnis zu messen $Δ q (n) = q (n) / q (n - Δ t)$
Der Unterschied in der Antwort kann der Einfachheit halber auch normalisiert werden, z. B. $\begin{matrix} Δ q (n) = \frac{q (n) - q (n - Δ t)}{q (n - Δ t)} \\ = \frac{q (n)}{q (n - Δ t)} - 1. \end{matrix}$
In einigen Aspekten ist es praktisch, Δt = N_p, die Periodizität der Frequenzmodulation, zu verwenden, so dass jede Probe von q(n) mit einer entsprechenden Probe aus einer vergangenen Periode verglichen wird. In einem Aspekt wird q(n) zu jedem Zeitindex m für jeden entsprechenden Frequenzindex k wie folgt berechnet X[m, k], wobei der Index m eine Rahmenzeit und der Index k eine Zeit innerhalb des Rahmens der Länge N_p ist. Dieses Δt muss keine Konstante sein, aber aus praktischen Gründen kann es eine Konstante sein.
Allgemeiner ausgedrückt, wird die Änderung der Antwort q(n) gemessen (durch den Differenzdetektor 432), der eine zeitliche Sequenz von Differenzwerten feststellt, wie z. B. CQ[m, k], wobei jeder Differenzwert einen Unterschied in der Phase oder einen Unterschied in der Größe des heterodynisierten Signals zwischen einem Rahmen und einem früheren Rahmen des heterodynisierten Signals darstellt. 7 zeigt eine Darstellung von CQ[m, k] für eine beispielhafte Quotientenphase und eine Darstellung von CQ[m, k] für eine beispielhafte Quotientengröße, wobei die zeitliche Sequenz mindestens zwei Sekunden abdeckt (hier beispielhaft fünf Sekunden). Der Unterschiedsdetektor 432 stellt dann die Spitzen in der zeitlichen Sequenz der Differenzwerte fest, die in der Darstellung der Energie am unteren Rand von 7 zu sehen sind. Die Herzrate wird dann als proportional zu einem Zeitintervall zwischen zwei benachbarten Spitzen betrachtet.
Anders ausgedrückt: Der Differenzdetektor 432 berechnet eine zeitliche Sequenz von Unterschieden in der Antwort auf die Frequenz oder im Spektrum. Jeder Frequenzgang- oder Spektrumsunterschied ist ein Unterschied zwischen i) einem für einen Rahmen berechneten Frequenzgang oder Spektrum und ii) dem für einen früheren Rahmen berechneten Frequenzgang oder Spektrum des heterodynischen Signals. Der Unterschiedsdetektor 432 stellt dann die Spitzen in der Sequenz fest und stellt die Herzrate als eine Anzahl bereit, die proportional zu den Zeitintervallen ist, die ein oder mehrere benachbarte Paare der Spitzen trennen.
Auf eine andere Art und Weise erstellt der Differenzdetektor 432 eine zeitliche Sequenz von Änderungswerten, wobei jeder Änderungswert eine Änderung des überlagerten Signals zwischen den jeweiligen (z. B. benachbarten) Rahmen des überlagerten Signals darstellt; und eine Vielzahl von Spitzen in der zeitlichen Sequenz von Änderungswerten feststellt, wobei die Herzrate dann proportional zu den Zeitintervallen angegeben oder ausgegeben wird, die ein oder mehrere benachbarte Paare von Spitzen in der Vielzahl von Spitzen trennen. Das Erzeugen der zeitlichen Sequenz von Änderungswerten umfasst beispielsweise: für einen aktuellen Chirp-Rahmen das Berechnen einer Vielzahl von Differenzwerten, wobei jeder Differenzwert einen Unterschied in der bei einer jeweiligen Einzelfrequenz berechneten Frequenzantwort zwischen dem aktuellen Rahmen und einem vorherigen Rahmen angibt; und Summieren der Vielzahl von Differenzwerten (z. B. über alle Frequenzen im Chirp-Rahmen), um eine Summe zu erzeugen, die einen der Änderungswerte in der Zeitsequenz darstellt. Wenn diese Summe hinreichend klein ist (kleiner als ein bestimmter Schwellenwert, nahe Null), kann dies so interpretiert werden, dass es keine Veränderung zwischen dem vorherigen Rahmen und dem aktuellen Rahmen gibt. Ist die Summe jedoch größer als die Interpretationsschwelle, wird dies so interpretiert, dass es eine Veränderung zwischen dem vorherigen Rahmen und dem aktuellen Rahmen gibt. In beiden Fällen wird die Veränderung quantifiziert und als Probe für den aktuellen Rahmen gespeichert. Dieser Prozess wird für benachbarte Paare von Rahmen wiederholt. Das Ergebnis ist eine Sequenz quantifizierter Proben (z. B. Energiewerte), wie in der unteren Abbildung in 7 dargestellt. Gleichzeitig wird ein Prozess zur Ermittlung von Spitzen ausgeführt, um die Spitzen festzustellen, die als Herzschläge interpretiert werden.
In einigen Aspekten ist die Herzaktivität 434 eine Herzrate. In einigen Aspekten kann die Herzaktivität 434 einem Benutzer angezeigt oder präsentiert werden. Zusätzlich oder alternativ kann die Herzaktivität 434 mit anderen Algorithmen verwendet werden, um einen Hinweis (z. B. ein erhöhtes Risiko) auf eine Herzerkrankung festzustellen. Eine Herzpathologie kann ein Aortengeräusch, eine Bradykardie, eine Tachykardie, eine Aortenstenose, eine Mitralinsuffizienz, eine Aortenregurgitation, eine Mitralstenose, einen offenen Ductus arteriosus oder eine andere Herzpathologie einschließen. Die Herzpathologie kann eine abnormale Herzaktivität, einen Herzrhythmus oder einen Herzschlag, wie eine Herzaktivität, einschließen, die von einer normalen oder gesunden Herzaktivität in einem oder mehreren Herzzyklen abweicht.
Auf diese Weise kann die Verarbeitungslogik einen Mehrtonansatz nutzen. Aufgrund der schmalbandigen Träger und der langsam zeitlich variierenden Phasenmodulation kann jede Probeantwort bis zu einer Bandbreite von <50 Hz bandpassisoliert werden. Jedes demodulierte Trägerband kann auf 100 Hz unterabgetastet werden, gegenüber 96 KHz. Es können bis zu 200 oder mehr gleichzeitige Sondierungstöne verwendet werden, um die Pulsation mit statistisch unabhängigem Rauschen pro Kanal zu messen. Ein Verfahren mit maximaler Wahrscheinlichkeit könnte verwendet werden, um unabhängige Pulsationsschätzungen über die vielen Sondenträgerfrequenzen hinweg zu kombinieren. So kann die Technik zur Feststellung der Herztätigkeit resistenter oder immuner gegen Rauschen in der Frequenzantwort des Mikrofons oder des Gehörgangs sein.
5 ist ein Diagramm 500, das eine Anzeige der Herzaktivität darstellt, die gemäß einigen hier beschriebenen Aspekten unter Verwendung eines Mikrofonsignals gemessen wurde. Das Diagramm 500 zeigt einen Phasenunterschied Δϕ̃_m(n), obwohl alternativ auch Δq(n) verwendet werden könnte, der in Mikroradianen (auf der Y-Achse) über die Zeit (auf der X-Achse) variiert. Dieser Unterschied kann mit dem Differenzdetektor 432 extrahiert werden, wie oben in Verbindung mit 4 beschrieben. Ein Aspekt dieser Technik ist, dass das Phasensignal ϕ̃_m(n) klein ist, etwa im Milliradiantbereich. Obwohl das Signal-Rausch-Verhältnis unter nominalen Betriebszuständen gering ist, ist es empirisch ausreichend (z. B. messbar). In diesem Diagramm der gemessenen Daten kann bei einer Phase ϕ̃_m(n), die mit einem 31,5 KHz Träger-Sondierungston gemessen wurde, eine Abweichung von etwa 5 Milliradiant gemessen werden. Dies entspricht einer Abweichung von 8,6 Mikrometern in der Weglänge. Das Ausmaß von Δϕ̃_m(n) wird voraussichtlich gering sein. Bei Störungen, Rauschen oder fehlendem Signal wird die Phase jedoch zufällig, und der RMS-Phasenunterschied springt auf viele Größenordnungen größer als die nominalen Mikroradiane. So können ein oder mehrere Zustände dazu führen, dass die Verfolgung der Herzaktivität fehlschlägt. Dies ermöglicht eine Heuristik zur Feststellung, dass |Δϕ̃_m(n)| kleiner als ein numerisch kleiner Schwellenwert wie 1e-6 oder 1e-5 ist. Wenn er größer ist, kann dies ein Hinweis darauf sein, dass eine Anomalie vorliegt und man sich nicht auf das erfasste Mikrofonsignal (oder einen bestimmten heterodynischen Sondierungston) verlassen sollte.
Wie oben beschrieben, weist eine Rechenvorrichtung einen Prozessor auf, der so konfiguriert ist, dass er eine Ultraschallwelle aus einem Lautsprecher einer am Kopf getragenen Vorrichtung ausgibt, wenn die am Kopf getragene Vorrichtung am oder im Ohr eines Benutzers getragen wird; ein Mikrofonsignal eines Mikrofons der am Kopf getragenen Vorrichtung ermittelt, das eine reflektierte Ultraschallwelle als Antwort auf die ausgegebene Ultraschallwelle empfängt; und mindestens basierend auf dem Mikrofonsignal eine Herzaktivität des Benutzers der am Kopf getragenen Vorrichtung bestimmt. Die Herztätigkeit kann durch das Feststellen einer Bewegung der Oberfläche des Ohres festgestellt werden, die basierend auf der Bestimmung einer Änderung der Frequenzantwort des Systems, in dem die ausgegebene Ultraschallwelle und die empfangene reflektierte Ultraschallwelle erstellt und festgestellt werden, festgestellt werden kann. Die Frequenzantwort kann mit Klicks, Chirps oder pseudozufälligem Rauschen (in der ausgegebenen Ultraschallwelle) gemessen werden. Die Herzaktivität kann festgestellt werden, indem die reflektierte Ultraschallwelle mit einem Überlagerungssignal überlagert wird, um ein überlagertes Signal mit einer Frequenzkomponente nahe Null zu erstellen. Das überlagerte Signal schließt eine relative Phase zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle ein, oder eine erfasste Zeit zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle, oder eine Frequenzantwort (z. B. eine Übertragungsfunktion) des Systems, in dem die ausgegebene Ultraschallwelle und die reflektierte Ultraschallwelle erstellt und festgestellt werden. In einem Aspekt kann die Ausgangsultraschallwelle einen oder mehrere Sondierungstöne einschließen, und jeder entsprechende reflektierte Ultraschallwellen-Sondierungston wird überlagert, um ein entsprechendes überlagertes Signal mit einer Frequenz nahe Null zu erstellen. Jedes entsprechende überlagerte Signal wird gefiltert, um andere Komponenten als die Komponente nahe Null herauszufiltern, und dann wird an der Komponente nahe Null eine Differenzerkennung über die Zeit ausgeführt, um die Herzaktivität zu bestimmen. In einem Aspekt schließen der oder die Sondierungstöne mindestens eines der folgenden ein: eine Vielzahl von Sinuskurven mit fester Frequenz oder einen oder mehrere Frequenz-Sweep-Töne. In einem anderen Aspekt wird die Ausgabe der Ultraschallwelle aus dem Lautsprecher der am Kopf getragenen Vorrichtung dadurch erreicht, dass ein oder mehrere Sondierungssignale mit Audioinhalten kombiniert werden, was zu einem Audiosignal führt, und der Lautsprecher mit dem Audiosignal angesteuert wird. Die Herzaktivität des Benutzers kann bestimmt werden, indem benachbarte Spitzen in einer relativen Phase zwischen der ausgegebenen Ultraschallwelle und der reflektierten Ultraschallwelle festgestellt werden und eine Herzrate basierend auf (z.B. proportional zu) einem Zeitintervall zwischen den Spitzen bestimmt wird.
In einem anderen Aspekt der ebenfalls oben beschriebenen Offenbarung weist eine am Kopf getragene Vorrichtung einen Lautsprecher, ein Mikrofon und einen Prozessor auf, der so konfiguriert ist, dass er: die Ausgabe einer Ultraschallwelle aus dem Lautsprecher der am Kopf getragenen Vorrichtung bewirkt; ein Mikrofonsignal eines Mikrofons der am Kopf getragenen Vorrichtung ermittelt, das eine reflektierte Ultraschallwelle als Antwort auf die ausgegebene Ultraschallwelle erfasst; und eine Herzaktivität eines Benutzers der am Kopf getragenen Vorrichtung bestimmt, basierend mindestens auf der im Mikrofonsignal charakterisierten reflektierten Ultraschallwelle. Der Lautsprecher und das Mikrofon können in einem Ohrhörer der am Kopf getragenen Vorrichtung angeordnet sein. Alternativ können der Lautsprecher und das Mikrofon auch in einer Hülle angeordnet sein, die der Benutzer am oder über dem Ohr trägt.
8 veranschaulicht ein Beispiel für ein Audioverarbeitungssystem 600 gemäß einiger Aspekte. Bei dem Audioverarbeitungssystem kann es sich um ein Gerät wie z. B. einen Desktop-Computer, einen Tablet-Computer, ein Smartphone, einen Laptop, einen intelligenten Lautsprecher, einen Mediaplayer, ein Haushaltsgerät, einen Kopfhörer-Satz, ein Head Mounted Display (HMD), eine Uhr, eine intelligente Brille, ein Infotainment-System für ein Auto oder ein anderes Vehikel oder eine andere Rechenvorrichtung handeln. Das System kann dazu konfiguriert sein, das Verfahren und die Prozesse, die in der vorliegenden Offenbarung beschrieben sind, durchzuführen.
Obwohl verschiedene Komponenten eines Audioverarbeitungssystems gezeigt sind, die in Kopfhörer, Lautsprechersysteme, Mikrofonarrays und Unterhaltungssysteme integriert sein können, ist diese Veranschaulichung lediglich ein Beispiel einer bestimmten Implementierung der Arten von Komponenten, die in dem Audioverarbeitungssystem vorliegen können. Es ist nicht beabsichtigt, dass dieses Beispiel eine bestimmte Architektur oder Art und Weise eines Miteinanderverbindens der Komponenten darstellen, da solche Details für die Gesichtspunkte hierin nicht relevant sind. Es versteht sich auch, dass andere Arten von Audioverarbeitungssystemen, die weniger oder mehr Komponenten als gezeigt aufweisen, ebenfalls verwendet werden können. Demgemäß sind die hierin beschriebenen Prozesse nicht auf eine Verwendung mit der gezeigten Hardware und Software beschränkt.
Das Audioverarbeitungssystem kann einen oder mehrere Busse 616 einschließen, die dazu dienen, die verschiedenen Komponenten des Systems miteinander zu verbinden. Ein oder mehrere Prozessoren 602 sind an den Bus gekoppelt, wie aus dem Stand der Technik bekannt ist. Der/die Prozessor(en) kann/können Mikroprozessoren oder Spezialprozessoren, ein System-on-Chip (SOC), eine Zentraleinheit, eine Grafikverarbeitungseinheit, ein Prozessor, der durch eine anwendungsspezifische integrierte Schaltung (ASIC) erzeugt wird, oder Kombinationen davon sein. Der Speicher 608 kann einen Nur-Lese-Speicher (ROM), einen flüchtigen Speicher und einen nichtflüchtigen Speicher oder Kombinationen davon einschließen, die mit Hilfe von im Fachgebiet bekannten Techniken mit dem Bus gekoppelt sind. Die Sensoren 614 können eine IMU und/oder eine oder mehrere Kameras (z. B. eine RGB-Kamera, eine RGBD-Kamera, Tiefenkamera usw.) oder andere hierin beschriebene Sensoren einschließen. Das Audioverarbeitungssystem kann ferner eine Anzeige 612 (z. B. ein HMD oder eine Touchscreenanzeige) einschließen.
Der Speicher 608 kann mit dem Bus verbunden werden und kann DRAM, ein Festplattenlaufwerk oder einen Flashspeicher oder ein magnetisches optisches Laufwerk oder einen magnetischen Speicher oder ein optisches Laufwerk oder andere Typen von Speichersystemen einschließen, die Daten auch nach dem Abschalten der Energie erhalten. In einem Aspekt ruft der Prozessor 602 Computerprogrammanweisungen ab, die in einem maschinenlesbaren Speichermedium (Speicher) gespeichert sind, und führt diese Anweisungen aus, um die hierin beschriebenen Betriebe auszuführen.
Audio-Hardware, die nicht gezeigt wird, kann mit dem einen oder den mehreren Bussen gekoppelt werden, um Audiosignale zu empfangen, die von den Lautsprechern 606 verarbeitet und ausgegeben werden. Audiohardware kann Digital-Analog- und/oder Analog-Digital-Wandler einschließen. Audiohardware kann außerdem Audioverstärker und Filter einschließen. Die Audiohardware kann auch eine Schnittstelle mit Mikrofonen 604 (z. B. Mikrofonanordnungen) bilden, um Audiosignale (egal, ob analog oder digital) zu empfangen, sie gegebenenfalls zu digitalisieren und die Signale dem Bus zu kommunizieren.
Das Kommunikationsmodul 610 kann mit entfernten Vorrichtungen und Netzwerken über eine drahtgebundene oder drahtlose Schnittstelle kommunizieren. Zum Beispiel kann ein Kommunikationsmodul über bekannte Technologien, wie TCP/IP, Ethernet, WLAN, 3G, 4G, 5G, Bluetooth, ZigBee oder andere äquivalente Technologien, kommunizieren. Das Kommunikationsmodul kann drahtgebundene oder drahtlose Sender und Empfänger einschließen, die mit vernetzten Vorrichtungen, wie Servern (z. B. der Cloud), und/oder anderen Vorrichtungen, wie entfernten Lautsprechern und entfernten Mikrofonen, kommunizieren (z. B. Daten empfangen und senden) können.
Es versteht sich, dass die hierin offenbarten Gesichtspunkte einen Speicher nutzen können, der von dem System entfernt angeordnet ist, wie eine Netzwerkspeichervorrichtung, die über eine Netzwerkschnittstelle wie eine Modem- oder Ethernet-Schnittstelle mit dem Audioverarbeitungssystem verbunden ist. Die Busse können miteinander über verschiedene Brücken, Steuerungen und/oder Adapter verbunden sein, wie aus dem Stand der Technik gut bekannt ist. In einem Gesichtspunkt kann/können eine oder mehrere Netzwerkvorrichtung(en) an den Bus gekoppelt sein. Die Netzvorrichtung(en) kann/können drahtgebundene Netzwerkvorrichtungen (z. B. Ethernet) oder drahtlose Netzwerkvorrichtungen (z. B. Wi-Fi, Bluetooth) sein. Unter einigen Gesichtspunkten können verschiedene beschriebene Gesichtspunkte (z. B. Simulation, Analyse, Schätzung, Modellierung, Objekterkennung usw.) von einem vernetzten Server in Kommunikation mit der Erfassungsvorrichtung durchgeführt werden.
Verschiedene hierin beschriebene Gesichtspunkte können mindestens teilweise in Software ausgeführt sein. Das heißt, die Techniken können in einem Audioverarbeitungssystem als Reaktion darauf ausgeführt werden, dass sein Prozessor eine Sequenz von Anweisungen ausführt, die in einem Speichermedium, wie einem nicht-transitorischen maschinenlesbaren Speichermedium (z. B. DRAM oder FlashSpeicher), enthalten sind. Unter verschiedenen Gesichtspunkten kann die festverdrahtete Schaltung in Kombination mit Softwareanweisungen verwendet werden, um die hierin beschriebenen Techniken zu implementieren. Somit sind die Techniken nicht auf eine beliebige bestimmte Kombination von Hardwareschaltlogik und Software oder auf eine beliebige bestimmte Quelle für die Anweisungen beschränkt, die durch das Audioverarbeitungssystem ausgeführt werden.
In der Beschreibung wird bestimmte Terminologie verwendet, um Merkmale verschiedener Gesichtspunkte zu beschreiben. Zum Beispiel stehen die Begriffe „Modul“, „Prozessor“, „Einheit“, „Renderer“, „System“, „Vorrichtung“, „Filter“, „Engine“, „Block“, „Detektor“, „Isolator“, „Extraktor“ , „Generator“, „Modell“ und „Komponente“ in bestimmten Situationen für Hardware und/oder Software, die so konfiguriert ist, dass sie einen oder mehrere Prozesse oder Funktionen ausführt. Zum Beispiel schließen Beispiele für „Hardware“ eine integrierte Schaltung, wie einen Prozessor (z. B. einen digitalen Signalprozessor, einen Mikroprozessor, eine anwendungsspezifische integrierte Schaltung, einen Mikrocontroller usw.) ein, sind aber nicht darauf beschränkt. Somit können unterschiedliche Kombinationen von Hardware und/oder Software implementiert werden, um die Prozesse oder Funktionen, die durch die obigen Begriffe beschrieben sind, durchzuführen, wie sie von einem Fachmann verstanden werden. Selbstverständlich kann die Hardware alternativ als endlicher Automat oder sogar kombinatorische Logik implementiert sein. Ein Beispiel für „Software“ schließt ausführbaren Code in Form einer Anwendung, eines Applets, einer Routine oder sogar einer Reihe von Anweisungen ein. Wie oben erwähnt, kann die Software auf jeder Art von maschinenlesbarem Medium gespeichert sein.
Einige Abschnitte der vorhergehenden detaillierten Beschreibungen wurden in Form von Algorithmen und symbolischen Darstellungen von Vorgängen an Datenbits innerhalb eines Computerspeichers dargestellt. Diese algorithmischen Beschreibungen und Darstellungen stellen die Wege dar, die von Fachleuten auf dem Gebiet der Audioverarbeitung verwendet werden, um anderen Fachleuten die Substanz ihrer Arbeit am effektivsten zu vermitteln. Ein Algorithmus wird hier als eine selbstständige Folge von Vorgängen betrachtet, die zu einem gewünschten Ergebnis führen. Bei den Vorgängen handelt es sich um diejenigen, die physische Bearbeitungen physischer Quantitäten erfordern. Es ist jedoch zu beachten, dass alle diese und ähnliche Begriffen den entsprechenden physischen Quantitäten zuzuordnen sind und lediglich praktische, auf diese Quantitäten angewandte Kennzeichnungen darstellen. Sofern nicht speziell anders angegeben als anhand der vorstehenden Erörterung ersichtlich, ist zu ersehen, dass sich innerhalb der Beschreibung Erörterungen, die Begriffe, wie die in den nachstehenden Ansprüchen dargelegten nutzen, auf die Aktion und Prozesse eines Audioverarbeitungssystems oder einer ähnlichen elektronischen Vorrichtung beziehen, das/die Daten, die als physische (elektronische) Quantitäten innerhalb der Register und Speicher des Systems dargestellt werden, bearbeitet und in andere Daten umwandelt, die gleichermaßen als physische Quantitäten innerhalb der Systemspeicher oder -register oder anderen solchen Informationsspeicher-, -übertragungs- oder -anzeigevorrichtungen dargestellt werden.
Die hierin beschriebenen Prozesse und Blöcke sind nicht auf die beschriebenen spezifischen Beispiele beschränkt und sind nicht auf die spezifischen Reihenfolgen beschränkt, die als Beispiele hierin verwendet werden. Vielmehr kann jeder der Verarbeitungsblöcke neu geordnet, kombiniert oder entfernt werden, parallel oder seriell durchgeführt werden, wie es erwünscht ist, um die oben dargelegten Ergebnisse zu erzielen. Die Verarbeitungsblöcke, die mit dem Implementieren des Audioverarbeitungssystems verbunden sind, können von einem oder mehreren programmierbaren Prozessoren durchgeführt werden, die ein oder mehrere Computerprogramme ausführen, die auf einem nichttransitorischen computerlesbaren Speichermedium gespeichert sind, um die Funktionen des Systems durchzuführen. Das gesamte Audioverarbeitungssystem oder ein Teil davon kann als Speziallogikschaltlogik (z. B. ein FPGA (Field-Programmable Gate Array) und/oder ein ASIC (Application-Specific Integrated Circuit)) implementiert sein. Das gesamte Audiosystem oder ein Teil davon kann unter Verwendung einer elektronischen Hardwareschaltlogik implementiert werden, die elektronische Vorrichtungen, wie mindestens eines von einem Prozessor, einem Speicher, einer programmierbaren Logikvorrichtung oder einem Logikgatter, einschließt. Ferner können Prozesse in jeder Kombination von Hardwarevorrichtungen und Softwarekomponenten implementiert werden.
Gemäß manchen Gesichtspunkten kann dieser Offenbarung zum Beispiel die Sprache „mindestens eines von [Element A] und [Element B]“ einschließen. Diese Sprache kann sich auf eines oder mehrere der Elemente beziehen. Zum Beispiel kann sich „mindestens eines von A und B“ auf „A“, „B“ oder „A und B“ beziehen. Speziell kann sich „mindestens eines von A und B“ auf „mindestens eines von A und mindestens eines von B“ oder „mindestens von entweder A oder B“ beziehen. Gemäß manchen Gesichtspunkten kann diese Offenbarung zum Beispiel die Sprache „[Element A], [Element B] und/oder [Element C]“ einschließen. Diese Sprache kann sich auf eines der Elemente oder jede Kombination davon beziehen. Zum Beispiel kann sich „A, B und/oder C“ auf „A“, „B“, „C“, „A und B”, „A und C, „B und C“ oder „A, B und C“ beziehen.
Auch wenn bestimmte Gesichtspunkte beschrieben und in den begleitenden Zeichnungen gezeigt worden sind, versteht es sich, dass solche Gesichtspunkte lediglich veranschaulichend und nicht begrenzend sind, und dass die Offenbarung nicht auf die gezeigten und beschriebenen spezifischen Konstruktionen und Anordnungen beschränkt ist, da den Fachleuten verschiedene andere Modifikationen einfallen können.
Um das Patentamt und alle Leser von Patenten, die basierend auf dieser Anmeldung erteilt werden, bei der Auslegung der beiliegenden Ansprüche zu unterstützen, möchten die Anmelder darauf hinweisen, dass sie sich bei keinem der beiliegenden Ansprüche oder Anspruchselemente auf die Anwendung von 35 U.S.C. 112(f) berufen möchten, es sei denn, die Begriffe „Mittel für“ oder „Schritt für“ werden ausdrücklich in dem bestimmten Anspruch verwendet.
Es versteht sich, dass die Verwendung persönlich identifizierbarer Informationen Datenschutzvorschriften und -praktiken folgen sollte, von denen allgemein anerkannt wird, dass sie Industrie- oder behördliche Anforderungen zur Wahrung des Datenschutzes von Benutzern erfüllen oder darüber hinausgehen. Insbesondere sollten personenbezogene Daten so verwaltet und gehandhabt werden, dass das Risiko eines unbeabsichtigten oder unbefugten Zugriffs oder einer unbefugten Nutzung minimiert wird, und die Art der genehmigten Nutzung sollte den Benutzern klar angezeigt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63376349 [0001]

Claims

Verfahren zum Messen der Herzrate eines Benutzers, das Verfahren umfassend: Veranlassen der Ausgabe einer Ultraschallwelle aus einem Lautsprecher einer am Kopf getragenen Vorrichtung, wenn die am Kopf getragene Vorrichtung auf oder in einem Ohr eines Benutzers getragen wird; Ermitteln eines Mikrofonsignals eines Mikrofons der am Kopf getragenen Vorrichtung, das eine reflektierte Ultraschallwelle empfängt, die auf die Ausgangsultraschallwelle reagiert; und Bestimmen einer Herzrate des Benutzers der am Kopf getragenen Vorrichtung, basierend mindestens auf dem Mikrofonsignal.
Verfahren nach Anspruch 1, wobei das Bestimmen der Herzrate des Benutzers das Feststellen der Oberflächenbewegung des Ohrs des Benutzers basierend auf der reflektierten Ultraschallwelle im Mikrofonsignal einschließt, wobei die Oberflächenbewegung des Ohrs mit der Herzaktivität des Benutzers korreliert ist.
Verfahren nach Anspruch 2, wobei die Oberflächenbewegung des Ohrs basierend auf einer Änderung der relativen Phase zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle im Mikrofonsignal über die Zeit festgestellt wird und wobei die Änderung der relativen Phase mit einer Änderung der Resonanz der reflektierten Ultraschallwelle vom Lautsprecher zum Mikrofon korreliert ist, während sie vom Ohr des Benutzers reflektiert wird.
Verfahren nach Anspruch 2, wobei die Bewegung der Oberfläche des Ohrs basierend auf einer zeitlichen Änderung der Laufzeit zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle festgestellt wird.
Verfahren nach Anspruch 2, wobei die Bewegung der Oberfläche des Ohrs basierend auf der Bestimmung einer Änderung der Übertragungsfunktion oder der Frequenzantwort zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle im Laufe der Zeit festgestellt wird.
Verfahren nach Anspruch 5, wobei das Bestimmen der Änderung der Übertragungsfunktion Folgendes umfasst Überstimmen der reflektierten Ultraschallwelle durch ein passendes Ultraschallsignal, um das überstimmte Signal mit einer Frequenz nahe Null zu erstellen; und Feststellen einer Änderung der Phase oder des Betrags des überlagerten Signals oder einer Änderung der Antwort im Laufe der Zeit.
Verfahren nach Anspruch 5, wobei die Übertragungsfunktion unter Verwendung von Klicks, Chirps oder pseudozufälligem Rauschen gemessen wird.
Verfahren nach Anspruch 1, wobei das Bestimmen der Herzrate das Überlagern der reflektierten Ultraschallwelle einschließt, um ein überlagertes Signal mit einer Frequenz nahe Null zu erstellen, wobei das überlagerte Signal eine relative Phase zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle oder eine erfasste Zeit zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle oder eine Übertragungsfunktion zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle einschließt.
Verfahren nach Anspruch 8, wobei die Ausgangsultraschallwelle eine Vielzahl von Sondierungssignalen einschließt und die Heterodynisierung der reflektierten Ultraschallwelle eine Vielzahl von heterodynisierten Signalen mit einer Frequenz nahe Null erzeugt.
Verfahren nach Anspruch 9, das ferner die Tiefpassfilterung jedes der mehreren heterodynisierten Signale und die anschließende Durchführung der Spitzen-Erkennung umfasst, um die Herzrate zu bestimmen.
Verfahren nach Anspruch 9, wobei es sich bei der Vielzahl von Sondierungstönen um eine Vielzahl von Sinusschwingungen mit fester Frequenz oder um einen oder mehrere Frequenzwobbeltöne handelt.
Verfahren nach Anspruch 9, wobei das Veranlassen der Ausgabe der Ultraschallwelle aus dem Lautsprecher der am Kopf getragenen Vorrichtung das Kombinieren der Vielzahl von Sondierungssignalen mit Audioinhalten, die zu einem Audiosignal führen, und das Ansteuern des Lautsprechers mit dem Audiosignal umfasst.
Verfahren nach Anspruch 1, wobei das Bestimmen der Herzrate des Benutzers die Anwendung eines maschinellen Lernalgorithmus auf das Mikrofonsignal einschließt, um die Herzrate des Benutzers zu bestimmen.
Verfahren nach Anspruch 1, wobei das Bestimmen der Herzrate des Benutzers das Feststellen von Spitzen in einer relativen Phase zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle und das Bestimmen der Herzrate basierend auf einem Zeitintervall zwischen den Spitzen einschließt.
Rechenvorrichtung, die einen Prozessor umfasst, der konfiguriert ist zum: Veranlassen der Ausgabe einer Ultraschallwelle aus einem Lautsprecher einer am Kopf getragenen Vorrichtung, wenn die am Kopf getragene Vorrichtung auf oder in einem Ohr eines Benutzers getragen wird; Ermitteln eines Mikrofonsignals eines Mikrofons der am Kopf getragenen Vorrichtung, das eine reflektierte Ultraschallwelle empfängt, die auf die Ausgangsultraschallwelle reagiert; und Bestimmen einer Herzaktivität des Benutzers der am Kopf getragenen Vorrichtung, basierend mindestens auf dem Mikrofonsignal.
Rechenvorrichtung nach Anspruch 15, wobei das Bestimmen der Herzaktivität des Benutzers Folgendes umfasst Feststellen der Oberflächenbewegung des Ohrs des Benutzers basierend auf der reflektierten Ultraschallwelle im Mikrofonsignal, wobei die Oberflächenbewegung des Ohrs mit der Herzaktivität des Benutzers korreliert ist.
Rechenvorrichtung nach Anspruch 16, bei der die Oberflächenbewegung des Ohrs basierend auf einer Änderung der relativen Phase zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle im Mikrofonsignal über die Zeit festgestellt wird und bei der die Änderung der relativen Phase mit einer Änderung der Weglänge oder einer Resonanz der reflektierten Ultraschallwelle vom Lautsprecher zum Mikrofon korreliert ist, wenn sie vom Ohr des Benutzers reflektiert wird.
Rechenvorrichtung nach Anspruch 16, wobei die Oberflächenbewegung des Ohrs basierend auf einer Änderung der Zeit zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle im Laufe der Zeit festgestellt wird.
Rechenvorrichtung nach Anspruch 16, wobei die Oberflächenbewegung des Ohrs basierend auf der Bestimmung einer Änderung einer Übertragungsfunktion zwischen der Ausgangsultraschallwelle und der reflektierten Ultraschallwelle über die Zeit festgestellt wird.
Rechenvorrichtung nach Anspruch 19, wobei die Bestimmung der Änderung der Übertragungsfunktion auf einer Änderung einer Phase der Übertragungsfunktion über die Zeit basiert.
Verfahren zum Messen der Herzrate eines Benutzers, das Verfahren umfassend: Bewirken, dass eine Ausgangsultraschallwelle von einem Lautsprecher einer am Kopf getragenen Vorrichtung ausgegeben wird, wenn die am Kopf getragene Vorrichtung an oder in einem Ohr eines Benutzers getragen wird, wobei die Ausgangsultraschallwelle eine Sequenz von Rahmen einschließt, wobei jeder Rahmen einen Sondierungston einschließt, dessen Frequenz innerhalb des Rahmens variiert; Ermitteln eines Mikrofonsignals eines Mikrofons der am Kopf getragenen Vorrichtung, wobei das Mikrofonsignal eine reflektierte Ultraschallwelle als Antwort auf die Ausgangsultraschallwelle enthält, wobei die reflektierte Ultraschallwelle von einer Oberfläche des Ohrs des Benutzers reflektiert wurde; Überlagern der reflektierten Ultraschallwelle im Mikrofonsignal, um ein überlagertes Signal zu erzeugen; und Berechnen einer Herzrate des Benutzers der am Kopf getragenen Vorrichtung basierend auf dem heterodynem Signal.
Verfahren nach Anspruch 21, wobei die Sequenz von Rahmen in der Ausgangsultraschallwelle eine Momentanfrequenz aufweist, die wie ein Dreieck, ein Sägezahn oder eine Sinuskurve variiert.
Verfahren nach Anspruch 21, wobei die Überlagerung der reflektierten Ultraschallwelle im Mikrofonsignal Folgendes umfasst Überlagern der reflektierten Ultraschallwelle durch ein übereinstimmendes zeitlich veränderliches Frequenzsignal, um das überlagerte Signal zu erzeugen, wobei das überlagerte Signal eine Frequenzkomponente nahe Null und andere Komponenten bei höheren Frequenzen aufweist.
Verfahren nach Anspruch 23, ferner umfassend Erzeugen des übereinstimmenden zeitvariablen Frequenzsignals unter Verwendung einer Kopie eines Sondierungstons, der den Lautsprecher antreibt, um die Ausgangsultraschallwelle zu erzeugen.
Verfahren nach Anspruch 23, ferner umfassend Feststellen eines Zeitversatzes im Mikrofonsignal; und Erzeugen des übereinstimmenden zeitvariablen Frequenzsignals basierend auf dem Zeitversatz.
Verfahren nach Anspruch 23, wobei die Berechnung der Herzrate Folgendes umfasst Erzeugen einer zeitlichen Sequenz von Differenzwerten, wobei jeder Differenzwert einen Unterschied in der Phase oder einen Unterschied in der Größe des heterodynischen Signals zwischen einem Rahmen und einem früheren Rahmen des heterodynischen Signals darstellt; und Feststellen einer Vielzahl von Spitzen in der zeitlichen Sequenz von Unterschieden, wobei die Herzrate proportional zu einem Zeitintervall ist, das ein Paar von Spitzen in der Vielzahl von Spitzen trennt.
Verfahren nach Anspruch 23, wobei die Berechnung der Herzrate Folgendes umfasst Berechnen einer zeitlichen Sequenz von Frequenzantwort- oder Spektrumsunterschieden, wobei jeder Frequenzantwort- oder Spektrumsunterschied ein Unterschied zwischen einer für einen Rahmen berechneten Frequenzantwort oder einem Spektrum und der für einen früheren Rahmen berechneten Frequenzantwort oder dem Spektrum des heterodynisierten Signals ist; und Feststellen einer Vielzahl von Spitzen der Sequenz, wobei die Herzrate proportional zu einem Zeitintervall ist, das ein Paar von Spitzen in der Vielzahl von Spitzen trennt.
Verfahren nach Anspruch 23, wobei die Berechnung der Herzrate Folgendes umfasst Erstellen einer zeitlichen Sequenz von Änderungswerten, wobei jeder Änderungswert eine Änderung in dem überlagerten Signal zwischen entsprechenden Rahmen des überlagerten Signals darstellt; und Feststellen einer Vielzahl von Spitzen in der zeitlichen Sequenz von Änderungswerten, wobei die Herzrate proportional zu einem Zeitintervall ist, das ein Paar von Spitzen in der Vielzahl von Spitzen trennt.
Verfahren nach Anspruch 28, wobei das Erstellen einer zeitlichen Sequenz von Änderungswerten Folgendes umfasst: Berechnen einer Vielzahl von Differenzwerten für einen aktuellen Rahmen, wobei jeder Differenzwert einen Unterschied in der Frequenzantwort bei einer jeweiligen Einzelfrequenz zwischen dem aktuellen Rahmen und einem vorherigen Rahmen angibt; und Summieren der Vielzahl von Differenzwerten, um eine Summe zu erzeugen, wobei die Summe einen der Änderungswerte in der Sequenz der Zeit darstellt.
Vorrichtung zur Messung der Herzrate eines Benutzers, umfassend einen Signalprozessor konfiguriert zum: Veranlassen, dass eine Ausgangsultraschallwelle von einem Lautsprecher einer am Kopf getragenen Vorrichtung ausgegeben wird, wenn die am Kopf getragene Vorrichtung an oder in einem Ohr eines Benutzers getragen wird, wobei die Ausgangsultraschallwelle eine Sequenz von Rahmen überspannt und einen Sondierungston einschließt, dessen Frequenz innerhalb jedes Rahmens variiert; Ermitteln eines Mikrofonsignals eines Mikrofons der am Kopf getragenen Vorrichtung, wobei das Mikrofonsignal eine reflektierte Ultraschallwelle als Antwort auf die Ausgangsultraschallwelle enthält, wobei die reflektierte Ultraschallwelle von einer Oberfläche des Ohrs des Benutzers reflektiert wurde; Überlagern der reflektierten Ultraschallwelle im Mikrofonsignal, um ein überlagertes Signal zu erzeugen; und Berechnen einer Herzrate des Benutzers der am Kopf getragenen Vorrichtung basierend auf dem heterodynem Signal.
Vorrichtung nach Anspruch 30, wobei der Signalprozessor so konfiguriert ist, dass er die reflektierte Ultraschallwelle im Mikrofonsignal überlagert, durch Überlagern der reflektierten Ultraschallwelle mit einem übereinstimmenden zeitvariablen Frequenzsignal, um das überlagerte Signal zu erzeugen, wobei das überlagerte Signal eine Frequenzkomponente nahe Null und andere Komponenten bei höheren Frequenzen aufweist, und wobei die Herzrate durch Verarbeitung der Frequenzkomponente nahe Null und nicht der anderen Komponenten berechnet wird.
Vorrichtung nach Anspruch 30, wobei der Signalprozessor so konfiguriert ist, dass er das passende zeitvariable Frequenzsignal unter Verwendung einer Kopie eines Sondierungstons erstellt, der den Lautsprecher antreibt, um die Ausgangsultraschallwelle zu erzeugen, oder indem er einen Zeitversatz im Mikrofonsignal feststellt und das passende zeitvariable Frequenzsignal basierend auf dem Zeitversatz erzeugt.
Vorrichtung nach Anspruch 30, wobei der Signalprozessor so konfiguriert ist, dass er die Herzrate berechnet, durch Erzeugen einer zeitlichen Sequenz von Änderungswerten, wobei jeder Änderungswert eine Änderung des überlagerten Signals darstellt, die zwischen einem jeweiligen Paar von Rahmen oder einem aktuellen Rahmen und einem vorherigen Rahmen in der Sequenz von Rahmen gemessen wird; Feststellen einer Vielzahl von Spitzen in der zeitlichen Sequenz von Änderungswerten; und Ausgeben der Herzrate als proportional zu einem Zeitintervall, das ein Paar von Spitzen in der Vielzahl von Spitzen trennt.
Vorrichtung nach Anspruch 33, wobei das Erzeugen einer zeitlichen Sequenz von Änderungswerten Folgendes umfasst: Berechnen einer Vielzahl von Differenzwerten für einen aktuellen Rahmen, wobei jeder Differenzwert einen Unterschied in der Frequenzantwort bei einer jeweiligen Einzelfrequenz zwischen dem aktuellen Rahmen und einem vorherigen Rahmen angibt; und Summieren der Vielzahl von Differenzwerten, um eine Summe zu erzeugen, wobei die Summe einen der Änderungswerte in der Sequenz der Zeit darstellt.
Vorrichtung nach Anspruch 30, wobei die am Kopf getragene Vorrichtung ein Ohrhörer ist.
Vorrichtung nach Anspruch 35, wobei der Signalprozessor in ein Smartphone oder einen Tablet-Computer integriert ist.
Vorrichtung nach Anspruch 30, wobei der Signalprozessor in die am Kopf getragene Vorrichtung integriert ist.
Maschinenlesbares Medium, das gespeicherte Anweisungen umfasst, die einen Prozessor konfigurieren, zum: Bewirken, dass eine Ausgangsultraschallwelle von einem Lautsprecher einer am Kopf getragenen Vorrichtung ausgegeben wird, wenn die am Kopf getragene Vorrichtung an oder in einem Ohr eines Benutzers getragen wird, wobei die Ausgangsultraschallwelle eine Sequenz von Rahmen einschließt, wobei jeder Rahmen einen Sondierungston einschließt, dessen Frequenz innerhalb des Rahmens variiert; Ermitteln eines Mikrofonsignals eines Mikrofons der am Kopf getragenen Vorrichtung, wobei das Mikrofonsignal eine reflektierte Ultraschallwelle als Antwort auf die Ausgangsultraschallwelle enthält, wobei die reflektierte Ultraschallwelle von einer Oberfläche des Ohrs des Benutzers reflektiert wurde; Überlagern der reflektierten Ultraschallwelle im Mikrofonsignal, um ein überlagertes Signal zu erzeugen; und Berechnen einer Herzrate des Benutzers der am Kopf getragenen Vorrichtung basierend auf dem heterodynem Signal.
Maschinenlesbares Medium nach Anspruch 38, wobei die gespeicherten Anweisungen den Prozessor konfigurieren, um die reflektierte Ultraschallwelle in dem Mikrofonsignal durch ein übereinstimmendes zeitveränderliches Frequenzsignal zu überlagern, um das überlagerte Signal zu erzeugen, wobei das überlagerte Signal eine Frequenzkomponente nahe Null und andere Komponenten bei höheren Frequenzen aufweist, und wobei die Herzrate durch Verarbeitung der Frequenzkomponente nahe Null und nicht der anderen Komponenten berechnet wird.
Maschinenlesbares Medium nach Anspruch 39, wobei die gespeicherten Anweisungen den Prozessor so konfigurieren, dass er das übereinstimmende zeitvariable Frequenzsignal unter Verwendung einer Kopie eines Sondierungstons erzeugt, der den Lautsprecher antreibt, um die Ausgangsultraschallwelle zu erzeugen, oder indem er einen Zeitversatz im Mikrofonsignal feststellt und das übereinstimmende zeitvariable Frequenzsignal basierend auf dem Zeitversatz erstellt.