-
Die vorliegende Erfindung betrifft Systeme und Verfahren zum Schätzen der Herzratenvariabilität aus einem Video, das von einem Patienten aufgenommen wird, der auf seine Herzfunktion überwacht wird.
-
Das autonome Nervensystem (ANS) wird durch das sympathische und das parasympathische Nervensystem (SNS und PSNS) dargestellt. Diese Funktionen stehen in Widerspruch zueinander. Das sympathetische System funktioniert typischerweise, um sofortige Maßnahmen einzuleiten, die eine schnelle physische Reaktion erfordern, wie etwa um die Hand schnell von einer heißen Flamme zurückzuziehen. Dagegen ist das parasympathische System mit Maßnahmen verknüpft, die keine sofortige Reaktion erfordern. Die Herzratenvariabilität (HRV) ist eine bewährte quantitative Markierung, um ein schnelles vordergründiges Abbild des Zustands des ANS zu erzielen. Die Herzratenvariabilität ist die zeitliche Variation des Herzschlags von Schlag zu Schlag und wird hauptsächlich durch das ANS anhand von Änderungen des Gleichgewichts zwischen parasympathischen und sympathischen Einflüssen moduliert. Die Herzrate passt sich automatisch an als Reaktion auf Stress, Atmung, metabolische Änderungen, Thermoregulierung, körperliche Anstrengung, endokrine Zyklen und dergleichen an. Die HRV ist auch für die Diagnose diverser Krankheiten und Gesundheitszustände nützlich, wie etwa diabetische Neuropathie, Herz-Kreislauf-Krankheiten, Herzmuskelinfarkt, Ermüdung, Schlafstörungen und so weiter.
-
Auf diesem Gebiet wurden Systeme bekannt, um die HRV zu schätzen. Beispielsweise kann man die HRV schätzen, indem man die elektrische Aktivität des Herzens beispielsweise unter Verwendung einer kontaktbasierten Elektrokardiogramm-Vorrichtung (ECG) überwacht, wobei HRV-Signale erzeugt werden, indem die Intervalle zwischen den R-Wellen aus dem ECG entnommen werden. Auf Grund der komplexen Morphologie der ECG-Signale kann das Lokalisieren der R-Wellen und ihrer Spitzen, um die Zeitintervalle zwischen den Spitzen (RR-Intervall) zu finden, zu einem fehlerhaften HRV-Ergebnis führen. Ektope Herzschläge, arrhythmische Vorfälle, fehlende Daten, Umgebungsrauschen und dergleichen können ebenfalls zu ungenauen HRV-Messungen beitragen. Im Vergleich zu kontaktbasierten ECG-Verfahren verleihen kontaktlose Verfahren dem Arzt die zusätzliche Flexibilität, auf verschiedene Bereiche des Körpers zugreifen zu können, an denen es schwierig sein kann, Signale unter Verwendung von Drähten und Sonden zu erreichen. Zudem können die Signale, die über kontaktlose Verfahren erzielt werden, verbessert werden, indem sie im Vergleich zu kontaktbasierten ECG-Systemen über einen größeren interessierenden Bereich integriert werden, da ein ECG nur Signale bereitstellt, die sich in relativ kleinen Bereichen befinden, wo die Sensoren angebracht wurden. Unauffällige, kontaktlose Verfahren, um HRV-Messungen von einem ruhenden Herzpatienten zu erzielen, sind auf diesem Gebiet wünschenswert.
-
Offenbart werden ein videobasiertes System und Verfahren zum Schätzen der Herzratenvariabilität aus Zeitreihensignalen, die aus Videobildern generiert werden, die von einem interessierenden Probanden aufgenommen werden, der auf seine Herzfunktion überwacht wird. Wie es hier vollständig offenbart wird, werden niederfrequente und hochfrequente Komponenten aus einem Zeitreihensignal entnommen, das durch die Verarbeitung eines Videos des überwachten Probanden erzielt wird. Es wird ein Verhältnis der Nieder- und Hochfrequenz des integrierten Leistungsspektrums innerhalb dieser Komponenten berechnet. Die Analyse dieses Verhältnisses im Verlauf der Zeit stellt die geschätzte Herzratenvariabilität bereit. Die vorliegenden Lehren können in einem ständigen Überwachungsmodus mit einem relativ hohen Grad an Messgenauigkeit verwendet werden und werden vorteilhaft in diversen Umgebungen verwendet, wie beispielsweise in Notaufnahmen, kardiologischen Intensivstationen, neonatalen Intensivstationen, einschließlich bei diversen telemedizinischen Anwendungen.
-
Es zeigen:
-
1 eine Tabelle, welche die spektralen Komponenten von diversen HR-Signalen zu Erläuterungszwecken zusammenfasst.
-
2 ein beispielhaftes Bildgebungssystem zum Aufnehmen eines Videosignals eines interessierenden Probanden.
-
3 eine beispielhafte Ausführungsform des vorliegenden Verfahrens zum Schätzen der Herzratenvariabilität aus einem Video, das von einem interessierenden Probanden aufgenommen wird.
-
4 die HRV-Bewertung unter Verwendung des hier offenbarten Verfahrens, wobei (4A) das Leistungsspektrum zeigt, das eine vorherrschende LF, d.h. einen sowohl sympathischen und als auch parasympathischen Einfluss, zeigt, und wobei (4B) das Leistungsspektrum zeigt, das eine vorherrschende HF, d.h. einen parasympathischen Einfluss, zeigt.
-
5 die ständige Überwachung von HR, RR und HRV oder LF/HF für sowohl sympathische (5A) als auch parasympathische (5B) Fälle für denselben Probanden über ein Zeitintervall von drei Minuten.
-
6A ein Leistungsspektrum für drei aufeinanderfolgende Serien, die eine HR-, RR- und HRV-Bewertung eines Kleinkindes unter Verwendung der vorliegenden Lehren zeigen.
-
6B die Grundlinie, die mit einem FDA-zugelassenen Gesundheitsüberwachungssystem von Philips zu dem Zeitpunkt aufgezeichnet wurde, als das Video von dem Kleinkind aufgenommen wurde.
-
7 ein Blockdiagramm eines beispielhaften Videobildverarbeitungssystems zum Ausführen diverser Aspekte des vorliegenden Verfahrens, wie sie mit Bezug auf das Ablaufschema von 3 gezeigt und beschrieben werden.
-
Ein „Video” ist eine zeitvariable Sequenz von Bildern, die von einem interessierenden Probanden unter Verwendung einer Videokamera aufgenommen werden, die in der Lage ist, ein Videosignal über mindestens einen Datenerfassungs-(Bildgebungs-)Kanal zu erfassen. Das Video kann auch andere Komponenten enthalten, wie etwa Audiomaterial, Zeitreferenzsignale, Rauschen und dergleichen.
-
Der Begriff „interessierender Proband” bezieht sich auf einen Menschen, der eine Herzfunktion aufweist, für die Messungen der Herzratenvariabilität in Übereinstimmung mit den vorliegenden Lehren bestimmt werden sollen. Obwohl der Begriff „Mensch”, „Person” oder „Patient” überall in diesem Text verwendet werden kann, versteht es sich, dass der interessierende Proband etwas anderes als ein Mensch sein kann, wie beispielsweise ein Tier. Die Verwendung des Begriffs „Person” oder „Patient” ist nicht als die beiliegenden Ansprüche allein auf Menschen einschränkend anzusehen.
-
Ein „Bereich bloßer Haut” ist eine freie Fläche der Haut des Probanden, an der ein PPG-Signal des Probanden aufgezeichnet werden kann. Solche Bereiche können in Einzelbildern eines Videos beispielsweise unter Verwendung von Objektidentifizierung, Pixelklassifizierung, Materialanalyse, Strukturidentifizierung und Mustererkennung identifiziert werden.
-
Der Begriff „Zeitreihensignal” bezieht sich auf ein zeitvariables Signal, das aus Bildern des aufgenommenen Videos generiert wird. Zeitreihensignale können in Echtzeit aus einem fortlaufenden Video generiert werden, wie bei einer ständigen Patientenüberwachung. Das Zeitreihensignal kann direkt aus dem Datenerfassungskanal der Videokamera erzielt werden, die verwendet wird, um das Video des interessierenden Probanden aufzunehmen. Das Zeitreihensignal kann von einer entfernt aufgestellten Vorrichtung, wie etwa einer Computer-Arbeitsstation, über ein drahtgebundenes oder drahtloses Netzwerk abgerufen werden oder kann ständig aus einem Video-Stream erzielt werden.
-
Eine „Videokamera” ist eine Vorrichtung zum Erfassen eines Videos. Bei einer Ausführungsform umfasst die Videokamera eine Farbvideokamera mit mindestens einem Bildgebungskanal zum Aufnehmen von Farbwerten für Pixel, die im Allgemeinen den sichtbaren Primärfarben (typischerweise RGB) entsprechen. Bei einer anderen Ausführungsform ist die Videokamera eine Infrarotkamera mit mindestens einem Bildgebungskanal zum Messen von Pixelintensitätswerten im NIR-Wellenlängenbereich. Bei einer anderen Ausführungsform ist die Videokamera eine hybride Vorrichtung, die in der Lage ist, sowohl farbige als auch NIR-Videobilder aufzunehmen.
-
Bei einer Ausführungsform ist ein „Videoanalysemodul” eine Hardware-Vorrichtung mit mindestens einem Prozessor, der maschinenlesbare Programmanweisungen ausführt, um Videobilder derart zu analysieren, dass die Herzratenvariabilität des Probanden bestimmt werden kann. Ein derartiges Modul kann insgesamt oder teilweise eine Software-Anwendung umfassen, die alleine oder zusammen mit einer oder mehreren Hardware-Ressourcen funktioniert. Derartige Software-Anwendungen können von Prozessoren auf verschiedenen Hardware-Plattformen ausgeführt werden oder können in einer virtuellen Umgebung emuliert werden. Gewisse Aspekte des Videoanalysemoduls können handelsübliche Software nutzen.
-
Der Begriff „Herzfunktion” bezieht sich auf die Funktion des Herzens und im weiteren Sinne auf das Herz-Kreislauf-System. Bei den meisten Spezies umfasst das Herz einen Muskel, der sich wiederholt zusammenzieht, um Blut durch das vaskuläre Netz zu pumpen. Die Herzfunktion kann durch diverse Faktoren beeinträchtigt werden, einschließlich Alter, Stress, Krankheit, gesamter Gesundheitszustand und dergleichen. Die Herzfunktion kann auch durch Umgebungsbedingungen, wie etwa Höhe und Druck, beeinflusst werden.
-
Der Begriff „Herzpuls” bezieht sich auf eine Druckwelle, die vom Herzen des Probanden generiert wird (in der Systole), während das Herz ein Blutvolumen in den Arteriengang pumpt. Die arterielle Bewegung als Reaktion auf diese Druckwelle kann durch Berührungs- und elektronische Verfahren abgefühlt werden. Ein Frequenzbereich des Herzpulses ist die Pulsfrequenz, die im Verlauf der Zeit gemessen wird und typischerweise in Schlägen pro Minute (bpm) aufgezeichnet wird. Der Frequenzbereich des menschlichen Herzpulses liegt zwischen ungefähr 50 bpm und 240 bmp. Ein Erwachsener im Ruhezustand hat eine Herzfrequenz von etwa 72 bpm. Jede Spezies hat ihren eigenen Herzpulsfrequenzbereich und somit ihre eigene „normale” Herzfrequenz. Die Herzfrequenz ist proportional zur Herzleistung, d.h. dem Blutvolumen, welches das Herz pumpen kann, ausgedrückt in L/min (~ 5 L/min bei einem erwachsenen Menschen). Zu den Verfahren, die verwendet werden, um Herzschläge zu erkennen, gehören: ECG, Blutdruck und das Pulswellensignal, das aus einem photoplethysmographischen (PPG) Signal abgeleitet wird. Das ECG wird weitgehend verwendet, weil es eine deutliche Wellenform bereitstellt, die es leichter macht, Herzschläge auszuschließen, die nicht aus dem Sinusknoten stammen.
-
Der Begriff „Herzratenvariabilität” (HRV) die Variation des Zeitintervalls zwischen den Herzschlägen. Die Variation des Intervalls von Herzschlag zu Herzschlag ist ein physiologisches Phänomen. Der SA-Knoten empfängt mehrere verschiedene Eingaben und die augenblickliche Herzrate oder das RR-Intervall und seine Variation sind die Ergebnisse dieser Eingaben. Die Haupteingaben sind das sympathische Nervensystem (SNS) und das parasympathische Nervensystem (PSNS) sowie humorale Faktoren. Die Atmung führt zu Wellen in der Herzrate, die hauptsächlich über das PSNS vermittelt werden. Faktoren, welche die Eingabe beeinflussen, umfassen den Baroreflex, die Thermoregulierung, Hormone, den Schlaf-Wach-Rhythmus, Mahlzeiten, körperliche Aktivität und Stress. Eine verringerte PSNS-Aktivität oder eine erhöhte SNS-Aktivität führen zu einer reduzierten HRV. Die HRV ist auch unter anderen Begriffen bekannt, wie etwa: Herzperioden-Variabilität, Zykluslängen-Variabilität und RR-Variabilität, wobei R ein Punkt ist, welcher der Spitze des QRS-Komplexes der ECG-Welle entspricht, und RR das Intervall zwischen aufeinanderfolgenden Rs ist. Die Spektralanalyse von R-Wellen, d.h. das RR-Intervall einer 2 bis 5 Minuten langen ECG-Aufzeichnung, enthält die folgenden Komponenten: (1) eine sehr niederfrequente (VLF) Komponente in einem Frequenzbereich, der ≤ 0,04 Hz beträgt; (2) eine niederfrequente (LF) Komponente, die zwischen 0,04 und 0,15 Hz liegt; und (3) eine hochfrequente (HF) Komponente, die zwischen 0,15 und 0,40 Hz liegt. Es gibt auch eine ultraniederfrequente (ULF) Komponente, die mit Tages- und Nachtdifferenzen auf Frequenzen < 0,003 Hz verknüpft ist, die typischerweise zu beobachten sind, wenn die Signale über eine Periode von 18 Stunden oder mehr aufgenommen werden. Die physiologische Erklärung der VLF-Komponente ist weniger definiert und wird daher bei einer HRV-Analyse nicht berücksichtigt. Die Tabelle aus 1 fasst die spektralen Komponenten der HR-Signale zusammen.
-
Ein „photoplethysmographisches Signal”, bzw. einfach ein PPG-Signal, ist ein Signal, das mit der Herzpuls-Druckwelle des Probanden korreliert. Bei einer Ausführungsform wird ein Bereich bloßer Haut des Probanden, in dem solche Druckwellen aufgezeichnet werden können, wie beispielsweise eine Nacken- oder Brustfläche, von einer Videokamera aufgenommen. Die Videobilder werden verarbeitet, um ein Gefäßmuster zu isolieren. Das Gefäßnetz/Gefäßmuster wird in den Videobildern beispielsweise basierend auf der Farbe, den räumlichen Merkmalen, der Materialidentifizierung und dergleichen identifiziert. Ein Durchschnitt aller Pixelwerte in den identifizierten Gefäßbereichen innerhalb jedes Einzelbildes des aufgenommenen Videos wird berechnet, um einen Kanaldurchschnitt auf Einzelbildbasis zu erzielen. Es wird ein globaler Kanaldurchschnitt für jeden Kanal berechnet, indem die Kanaldurchschnitte über mehrere Einzelbilder addiert werden und durch die Gesamtanzahl der Einzelbilder dividiert werden. Der Kanaldurchschnitt wird von dem Gesamtkanaldurchschnitt subtrahiert und das Ergebnis wird durch die gesamte Standardabweichung des Kanals dividiert, um ein Zeitreihensignal mit Mittelwert null und Varianz eins für jeden der isolierten Gefäßbereiche zu erzielen. Die erzielten Zeitreihensignale werden normiert und gefiltert, um unerwünschte Frequenzen zu entfernen. Die sich ergebenden Zeitreihensignale für die Gefäßbereiche enthalten die Gesamtsumme der volumetrischen Druckänderungen in diesen Bereichen. Die Arterienpulse umfassen eine vorherrschende Komponente dieser Signale. Die Signale werden unter Verwendung einer unabhängigen Komponentenanalysetechnik verarbeitet, um PPG-Signale zu entnehmen.
-
Zur Gefäßgangdetektion kann das Video vorbereitet werden, um eine uneinheitliche Beleuchtung auf Grund einer Krümmung einer Oberfläche des Bereichs bloßer Haut auszugleichen. Das Video kann verarbeitet werden, um durch Bewegung hervorgerufene Unschärfe, Abbildungsunschärfe oder eine langsame Leuchtmittelvariation auszugleichen. Es kann eine Glättung an dem Video ausgeführt werden, um die Hautstruktur von einer Oberfläche des Bereichs bloßer Haut zu entfernen. Selbstverständlich kann die Glättung beispielsweise unter Verwendung einer gaußschen Glättung erfolgen. Das Video kann verarbeitet werden, um Kontrast und Helligkeit zu verbessern. Man kann auch eine unabhängige Komponentenauswahl verwenden, um einen gewissen Inhalt in dem Video zu verstärken, wie beispielsweise einen Bereich, der größere Blutgefäße enthält.
-
Es wird nun Bezug auf 2 genommen, die ein beispielhaftes Bildgebungssystem zum Aufnehmen eines Videosignals eines interessierenden Probanden abbildet. Der Untersuchungsraum 200 verfügt über ein beispielhaftes Bildaufnahmesystem 202, das von einem Techniker 203 bedient wird, der am Bett 204 eines interessierenden Probanden 205 steht, der gezeigt wird, wie sein Kopf auf einem Kopfkissen ruht, während sein Körper teilweise von einem Laken 207 bedeckt ist. Das Kamerasystem 202 ist drehbar an dem Tragarm 208 befestigt, so dass das Blickfeld 209 der Kamera von einer Krankenschwester 203 auf einen Bereich bloßer Haut einer Brustfläche 206 des Patienten 205 zum ständigen Überwachen der Herzfunktion gerichtet werden kann. Der Tragarm 208 ist mit einem Satz Räder versehen, so dass man das Bildaufnahmesystem von Bett zu Bett und Raum zu Raum schieben kann. Obwohl der Patient 205 in einer liegenden Position in einem Bett liegend gezeigt wird, versteht es sich, dass Bilder des interessierenden Probanden, der auf seine Herzfunktion überwacht wird, aufgenommen werden können, während der Proband in anderen unterstützenden Vorrichtungen, wie beispielsweise in einem Stuhl oder Rollstuhl, positioniert ist, wenn er steht oder geht oder sich bewegt.
-
Das Kamerasystem 202 nimmt Videobilder des interessierenden Probanden, der auf seine Herzfunktion zu überwachen ist, auf. Die aufgenommenen Videobilder umfassen Quelldaten auf mehreren Kanälen, wie etwa RGB und/oder multispektrale Daten, die im Verlauf der Zeit erfasst werden. Die Kamera 202 umfasst Bildgebungssensoren, wobei es sich um einen einzigen Sensor oder ein Sensor-Array, das eine Vielzahl von einzelnen oder getrennten Sensoreinheiten umfasst, handeln kann. Ein zentraler Prozessor, der in die Kamera 202 integriert ist und mit einem (nicht gezeigten) Speicher in Verbindung steht, dient dazu, Änderungen des Status der Sensoren zu erkennen und einen Alarm, eine Meldung, einen Bericht und dergleichen auszugeben, wenn eine Änderung in einer beliebigen Hardware oder Software der Kamera erkannt wurde. Andere Sensoren sind in der Lage, eine Änderung des Status des Patienten 205 zu erfassen und einen Alarm oder eine Benachrichtigung über ein Übertragungselement 210 an eine Krankenschwester, einen Doktor oder einen Techniker auszugeben, falls die überwachte Herzfunktion des Patienten außerhalb einer Reihe vordefinierter Parameter fällt.
-
Die Antenne 210 wird verwendet, um die Videobilder diversen entfernt aufgestellten Vorrichtungen mitzuteilen. Der Sender 210 kann eine drahtgebundene Verbindung sein (z.B. Ethernet), die ein Ethernet-Netzwerk verwendet, das aus Ethernet-Kabeln und einem Ethernet-Hub besteht, der mit einem Netzwerk 201 in Verbindung steht. Das Kamerasystem 202 kann sowohl drahtlose als auch drahtgebundene Elemente umfassen und kann über andere Mittel, wie etwa ein Koaxialkabel, Radiofrequenz, Bluetooth oder eine beliebige andere Art der Datenkommunikation verbunden sein. Das Netzwerk 201 empfängt die übertragenen Videosignale und teilt die empfangenen Videobilder diversen Vorrichtungen, wie beispielsweise einer Arbeitsstation mit einer Anzeigevorrichtung, zur Verarbeitung drahtlos mit. Die Daten werden in Form von Signalen übertragen, die beispielsweise elektronische, elektromagnetische, optische, Licht- oder andere Signale sein können. Diese Signale werden einer Kommunikationsvorrichtung bereitgestellt, wie etwa einem Server, der Datenpakete anhand eines Drahts, eines Kabels, einer Glasfaser, einer Telefonleitung, einer zellularen Verbindung, RF, eines Satelliten oder eines anderen Mediums oder Kommunikationswegs sendet und empfängt. Die Techniken, um Vorrichtungen in vernetzte Kommunikation zu versetzen, sind wohlbekannt. Eine weitere Diskussion bezüglich spezifischer Techniken für vernetzte Vorrichtungen wurde unterlassen. Alle vernetzten Vorrichtungen können eine Netzwerk-Schnittstellenkarte oder ein derartiges System umfassen.
-
Es wird nun Bezug auf das Ablaufschema in 3 genommen, das ein Ausführungsbeispiel des vorliegenden Verfahrens zum Schätzen der Herzratenvariabilität aus einem Video, das von einem interessierenden Probanden aufgenommen wird, abbildet. Die Ablaufverarbeitung beginnt mit Schritt 300 und fährt sofort mit Schritt 302 fort.
-
In Schritt 302 wird ein Video einer Zielfläche eines Bereichs bloßer Haut eines interessierenden Probanden empfangen, an der ein photoplethysmographisches (PPG) Signal des Probanden aufgezeichnet werden kann. Das Video umfasst eine Vielzahl von zeitvariablen Bildern, die von einer Videokamera mit mindestens einem Bildgebungskanal aufgenommen werden.
-
In Schritt 304 werden die Videobilder verarbeitet, um ein Zeitreihensignal zu generieren, das den PPG-Signalen entspricht, die von dem Bildgebungskanal der Videokamera aufgenommen wurden, die verwendet wird, um das Video aufzunehmen.
-
In Schritt 306 werden über ein vordefiniertes Zeitintervall niederfrequente und hochfrequente Komponenten des integrierten Leistungsspektrums innerhalb des Zeitreihensignals entnommen.
-
In Schritt 308 wird ein Verhältnis der niederfrequenten und hochfrequenten Komponenten über das Zeitintervall bestimmt, wobei das Verhältnis die geschätzte Herzratenvariabilität für dieses Intervall umfasst.
-
In Schritt 310 wird die Herzratenvariabilität einer Anzeigevorrichtung mitgeteilt. Eine derartige Anzeigevorrichtung wird mit Bezug auf die Arbeitsstation aus 7 gezeigt und besprochen. Bei dieser bestimmten Ausführungsform hört die weitere Verarbeitung auf. Bei einer anderen Ausführungsform wird ein Alarm ausgelöst, der angibt, dass die Herzratenvariabilität des Probanden nicht in annehmbaren Parametern liegt. Das Auslösen eines Alarms kann beispielsweise dazu gedacht sein, um ein Licht einzuschalten, ein hörbares Geräusch zu erzeugen oder anderweitig ein Signal zu generieren, das eine Vorrichtung aktiviert, die wiederum eine Aktion ausführt oder eine Benachrichtigung bereitstellt. Die Art des Alarmsignals, das generiert wird, ist von der bestimmten Ausführungsform abhängig, bei der die vorliegenden Lehren umgesetzt werden. Sobald das Alarmsignal aktiviert wird, ist bei dieser bestimmten alternativen Ausführungsform die weitere Verarbeitung beendet. Bei einer anderen Ausführungsform wiederholt sich die Verarbeitung, so dass die Herzfunktion des Probanden ständig überwacht wird. Das vorliegende System kann in Verbindung mit anderen Gesundheitsüberwachungseinrichtungen verwendet werden oder damit derart integriert sein, dass das ausgelöste Alarmsignal bewirkt, dass diese andere Vorrichtung beabsichtigte Funktionen ausführt.
-
Ein sich langsam ändernder Trend in dem Zeitreihensignal kann zu einer nicht stationären Signalkomponente führen, die zu großen Nebenbändern um die ausschlaggebenden HRV-Frequenzkomponenten führen kann. Bevor daher eine Spektralanalyse ausgeführt wird, wird es bevorzugt, das Signal vom Trend zu bereinigen, um langsame nicht stationäre Trends vor der HRV-Analyse aus dem Signal zu entfernen. Ein Verfahren zum Bereinigen vom Trend funktioniert wie ein zeitvariables Hochpass-FIR-Filter, indem es niederfrequente Komponenten entfernt. Bei einer Ausführungsform wird das stationäre PPG-Signal gegeben durch:
(1)
wobei eine Identitätsmatrix ist, eine normierte Zeitreihensignal ohne Null ist, ein benutzerdefinierter einzelner Parameter ist, der verwendet wird, um ein Frequenzverhalten des Algorithmus zum Bereinigen von dem Trend ist, und eine Differenzmatrix zweiter Ordnung der folgenden Form ist:
-
Wenn die Größe aufweist, dann weist die Identifizierungsmatrix die Größe auf. Für die von uns getesteten Probanden wurde gewählt. Der Parameter wird im Voraus durch Versuche an einem Patienten in seiner klinischen/ häuslichen/ Arbeitsumgebung mit Probendaten derart eingestellt, dass er keine nützlichen Informationen aus den niederfrequenten Komponenten verliert.
-
Nach der Bereinigung vom Trend wird das stationäre Zeitreihensignal, durch ein Bandpassfilter vorgefiltert, um den Bereich einzuschränken, um interessierende Frequenzbänder beizubehalten. Das Zeitreihensignal enthält Frequenzkomponenten mit Bezug auf die Herzrate und Frequenzen mit Bezug auf die HRV. Das Vorfiltern entfernt unerwünschte Frequenzen unter und über dem erwarteten Frequenzbereich. Auch kann die Umgebungsbeleuchtung auf einer höheren Herzschlagfrequenz schwanken. Für die von uns mit einer handelsüblichen RGB-Kamera getesteten Probanden wurde ein sehr breiter Spektralbereich verwendet, d.h. von 0,04 Hz bis 2 Hz. Ein Filter mit eingeschränkter endlicher Impulsantwort (FIR) höherer Ordnung wurde verwendet, um die Bandbreite einzuschränken.
-
Die Analyse der spektralen Leistungsdichte stellt die grundlegenden Informationen darüber bereit, wie sich die Leistung als Funktion der Frequenz verteilt. Eine Graphik der spektralen Leistungsdichte kann unter Verwendung der MATLAB-Funktion „Periodogramm” mit einem Hamming-Fenster für das gefilterte stationäre Signal erzielt werden. Anstelle der Periodogramm-Methode kann man auch nicht parametrische Methoden verwenden, wie etwa die autoregressive (AR) Zeitreihenmodellierung.
-
Für die HRV und die sympathische/parasympathische Analyse wurden Tests sowohl für einen Erwachsenen als auch für ein Kleinkind ausgeführt. Für den Erwachsenen wurden zwei Videos verwendet, die in einer Laborumgebung aufgenommen wurden – und zwar eines, als der Teilnehmer (24 Jahre alt) vor einer RGB-Kamera still saß und einer normalen Aktivität nachging (für die sympathische Analyse), und das andere, als derselbe Teilnehmer sich passiv eine Videoaufzeichnung ansah (für die parasympathische Analyse). Für das Kleinkind wurde ein Video verwendet, das in einer neonatalen Intensivstation (NICU) aufgezeichnet wurde, wobei das Baby/ der Teilnehmer während der gesamten Aufzeichnung schlief und nur geringfügige Bewegungen ein paar Sekunden lang zu beobachten waren. Alle Videoaufzeichnungen wurden unter Verwendung einer standardmäßigen RGB-Digitalkamera mit 30 Einzelbildern pro Sekunde (FPS) mit einer Pixelauflösung von 640 × 480 erzeugt und im AVI-Format gespeichert. Jedes Video war zum besseren Verständnis der HRV im Verlauf der Zeit drei Minuten oder mehr lang. Der Gesichtsbereich des Teilnehmers wurde als der Bereich bloßer Haut (ROI) ausgewählt. Die Einzelbilder wurden auf Zeitreihen (RGB-Kanäle) reduziert, indem alle Pixel in dem ROI auf einer einzelbildmäßigen Basis räumlich gemittelt wurden. Die grüne Kanalspur wurde ausgewählt, da sie die stärksten physiologischen Signale aus allen Kanälen enthielt und wurde unter Verwendung eines Glättungsparameters (λ = 2000) für einen sehr niedrigen Grenzfrequenzwert von ungefähr 0,04 Hz für das zeitvariable FIR-Hochpassfilter vom Trend bereinigt. Das vom Trend bereinigte Signal wurde unter Verwendung eines Bandpassfilters mit einer Grenzfrequenz von 0,04–2 Hz weiter verarbeitet. Die schnelle Fourier-Transformierte des verarbeiteten Signals wurde berechnet. 4 zeigt die HRV-Bewertung, die diese Technik verwendet. 4A zeigt die spektrale Leistungsdichte für eine sympathische Reaktion, und 4B zeigt diese für eine parasympathische Reaktion. Die LF- und HF-Komponenten wurden unter Verwendung eines Spitzendetektions-Algorithmus identifiziert, wie er auf diesem Gebiet wohlbekannt ist. Um die Signalstärke in jeder dieser Komponenten zu bestimmen, wurden zwischen einem unteren und einem oberen Bereich Energiespektren integriert. Für unsere Tests wurde ±0,02 Hz aus der Spitzenfrequenz für die Integration gewählt. In beiden Fällen ist ersichtlich, dass die HF-Energie (d.h. die Atemfrequenz, RR) und die Herzrate (HR) jeweils um 0,2 Hz (12 Atmungen pro Minute) und 1 Hz (60 bis 61 Herzschläge pro Minute) zentriert sind, was der grundlegenden Atemfrequenz und der Herzrate entspricht, die unter Verwendung herkömmlicher Sensoren gemessen werden (Fingerpulsoxymeter und manuelles Zählen der Atemfrequenz). Es sei zu beachten, dass wenn die reflektierenden plethysmographischen Signale nicht richtig aufgezeichnet werden, eine Kapazität zum Korrigieren der Signalrekonstruktion nötig sein kann. Dies kann durchgeführt werden, indem Spitzen erkannt werden und dann durch Bandpassfiltern und dann durch Ausführen von Berechnungen der spektralen Leistungsdichte fehlende Spitzen bei dem vom Trend bereinigten Signal eingeführt werden. 5 zeigt die ständige Überwachung von HR, RR und HRV oder LF/HF sowohl für sympathische (5A) als auch für parasympathische (5B) Fälle für denselben Probanden für mehr als drei Minuten. Die HRV für den zweiten Fall ist immer geringer als erwartet. Die Entwicklung des HRV-Verhältnisses im Verlauf der Zeit enthält nützliche Informationen, die insbesondere für die Überwachung der nächtlichen Apnoe und für Patienten im Krankenhaus, die sich in einem normalen Krankenhausbett befinden (innerhalb oder außerhalb der ICU), nützlich sind. Ständige HRV-Signale werden nacheinander mit Videoeinzelbildern auf Serienbasis berechnet, wobei jede neue Serie einen Großteil der vorhergehenden Serie und nur einige neue Einzelbilder verwendet.
-
6A zeigt ein Leistungsspektrum für drei aufeinanderfolgende Serien, die eine HR-, RR- und HRV-Bewertung zeigen. 6B zeigt die Grundlinie, die mit einem FDA-zugelassenen Gesundheitsüberwachungssystem von Philips zu dem Zeitpunkt, zudem das Video des Kleinkindes aufgenommen wurde, aufgezeichnet wurde. Die Mittelfrequenz der HR liegt bei 2,15 Hz (129 bpm) und die RR liegt bei 0,75 Hz (45 cpm), was den grundlegenden Raten entspricht, die in 6B gezeigt werden. Die Grenzfrequenz von 0,04 bis 4 Hz wurde für das Bandpassfilter gewählt. Es sei zu beachten, wie sich das Verhältnis LF/HF von 0,734 (vorherrschende HF) über 0,998 (Übergangszustand) auf 1,555 (vorherrschende LF) ändert, was die sympathischen und parasympathischen Einflüsse auf das Kleinkind im Verlauf der Zeit wiederspiegelt.
-
Es wird nun Bezug genommen auf 7, die ein Blockdiagramm eines beispielhaften Videosignal-Verarbeitungssystems abbildet, um diverse Aspekte des vorliegenden Verfahrens auszuführen, wie sie mit Bezug auf das Ablaufdiagramm von 3 gezeigt und beschrieben werden.
-
Die Ausführungsform von 7 empfängt ein Video, das Videobilder umfasst, die von einem interessierenden Probanden aufgenommen werden, der auf seine Herzfunktion zu überwachen ist. Bei den aufgenommenen Videobildern handelt es sich entweder um eine Vielzahl von IR-Bildern 702, die unter Verwendung einer multispektralen Kamera aufgenommen werden, oder um eine Vielzahl von RGB-Bildern 703. Die Sequenz der Bilder 702 oder 703 umfasst insgesamt Quellvideodaten auf mehreren Kanälen, die im Verlauf der Zeit erfasst werden. Das Signalverarbeitungssystem 704 empfängt die Videobilder in dem Zeitreihensignal-Wiedergewinnungsmodul 706, das die Videobilder gemäß den vorliegenden Lehren verarbeitet, um ein Zeitreihensignal zu erzielen. Der Speicher 708 und die CPU 710 ermöglichen die Verarbeitung und die Ausgabe der Herzratenvariabilität 709 des Probanden. Die HRV 709 wird der Arbeitsstation 713 und der Multifunktions-Drucksystemvorrichtung 715 zur weiteren Verarbeitung und gegebenenfalls zur Wiedergabe mitgeteilt. Die geschätzte HRV kann ferner entfernt aufgestellten Vorrichtungen über das Netzwerk 710 mitgeteilt werden. Viele Aspekte des Netzwerks 710 sind allgemein bekannt, und eine weitere Diskussion bezüglich der Konstruktion und/oder des Betriebs einer spezifischen Netzwerkkonfiguration wurde ausgelassen. Es sei nur darauf hingewiesen, dass Daten in Paketen zwischen vernetzten Vorrichtungen über eine Vielzahl von Kommunikationsvorrichtungen und Verbindungen unter Verwendung bewährter Protokolle übertragen werden. Die Daten werden in Form von Signalen übertragen, die beispielsweise elektronische, elektromagnetische, optische, Licht- oder andere Signale sein können. Diese Signale werden einer Kommunikationsvorrichtung bereitgestellt, wie etwa einem Server, der Datenpakete anhand eines Drahts, eines Kabels, einer Glasfaser, einer Telefonleitung, einer zellularen Verbindung, RF, eines Satelliten oder eines anderen Mediums oder Kommunikationswegs sendet und empfängt.
-
Die Computerarbeitsstation 713 wird gezeigt, wie sie ein Computergehäuse 718 umfasst, das eine Hauptplatine, eine CPU, einen Speicher, eine Schnittstelle, eine Speichervorrichtung und eine Kommunikationsverbindung, wie etwa eine Netzwerkkarte, aufnimmt. Die Computerarbeitsstation wird auch gezeigt, wie sie eine Anzeigevorrichtung 719, wie etwa eine CRT-, LCD- oder Berührungsbildschirm-Anzeige aufweist, auf der die HRV für einen Techniker, eine Krankenschwester oder einen praktischen Arzt angezeigt wird. Eine alphanummerische Tastatur 720 und eine Maus (nicht gezeigt) führen Benutzereingaben aus. Bei der Ausführungsform aus 7 setzt das Computersystem 713 die Datenbank 722 um, in der diverse Datensätze gespeichert sind, manipuliert werden und als Reaktion auf eine Abfrage abgerufen werden. Bei diversen Ausführungsformen liegen diese Ausführungsformen als medizinische Patientenakte vor. Obwohl die Datenbank als externe Vorrichtung gezeigt wird, kann die Datenbank in dem Computergehäuse 718 intern sein, das auf einer Festplatte montiert ist, die darin aufgenommen ist. Ein Datensatz bezieht sich auf eine beliebige Datenstruktur, die in der Lage ist, Informationen zu enthalten, die indexiert, gespeichert, durchsucht und als Reaktion auf eine Anfrage abgerufen werden können. Es versteht sich, dass die Informationen einer medizinischen Patientenakte in einem der Datensätze in der Datenbank 722 gespeichert sein können und/oder daraus abgerufen werden können. Es versteht sich auch, dass die Arbeitsstation über ein Betriebssystem und andere spezialisierte Software verfügt, die konfiguriert ist, um diverse nummerische Werte, Text, Bildlaufleisten, Auswahlmenüs mit benutzerwählbaren Optionen und dergleichen anzuzeigen, um Informationen, die auf der Anzeigevorrichtung angezeigt werden, einzugeben, auszuwählen oder zu ändern.
-
Ein Benutzer der Arbeitsstation aus 7 kann die graphische Benutzeroberfläche verwenden, um Pixel und/oder mögliche Teilbildabschnitte von einem oder mehreren Videoeinzelbildern zur Verarbeitung oder Wiederverarbeitung zu identifizieren oder anderweitig auszuwählen. Die Menü-Optionen, die von einem Benutzer ausgewählt werden, und eventuelle andere Auswahlen, wie etwa Bereiche bloßer Haut, Videoeinzelbilder, mögliche Bildteilabschnitte, proximale und distale Bereiche und dergleichen, können der Arbeitsstation mitgeteilt werden. Einige oder alle der empfangenen Videos können je nach Bedarf von einem Bediener der Arbeitsstation auf dem Display betrachtet werden, um die Analyse zu ermöglichen, die derart ausgeführt werden soll, dass die Herzfunktion des Probanden überwacht werden kann. Diese Ermöglichung kann derart ausgestaltet sein, dass der Bediener ein oder mehrere Einzelbilder des Videos zur Analyse und Verarbeitung auswählt. Der Bediener kann ferner bestimmte Videoeinzelbilder oder Teile der empfangenen Videosignale an bestimmte Module und/oder Prozessoren des Videoanalysesystems aus 7 leiten. Das oder die Ergebnisse der generierten Videoanalyse kann bzw. können vom Benutzer überprüft werden. Der Bediener kann die Ergebnisse je nach Bedarf ändern und die geänderten Ergebnisse zur weiteren Verarbeitung oder Wiederverarbeitung zurück an die gleichen oder an verschiedene Module leiten. Es versteht sich, dass die Arbeitsstation über ein Betriebssystem und andere spezialisierte Software verfügt, die konfiguriert ist, um diverse nummerische Werte, Text, Bildlaufleisten, Auswahlmenüs mit benutzerwählbaren Optionen und dergleichen anzuzeigen, um Informationen, die auf der Anzeigevorrichtung angezeigt werden, einzugeben, auszuwählen oder zu ändern. Beim Betrachten der berechneten Ergebnisse der Herzratenvariabilität kann der Benutzer in dem Video andere alternative Bereiche bloßer Haut auswählen und diese anderen Module zur Verarbeitung oder Wiederverarbeitung bereitstellen. Bei anderen Ausführungsformen werden die generierten Ergebnisse einem Server direkt über das Netzwerk 710 bereitgestellt und einem Benutzer/Bediener, wie etwa einem Arzt, einer Krankenschwester, einem Techniker, einem Herzspezialisten, um nur einige Möglichkeiten zu nennen, mitgeteilt.
-
Jedes der Module und der Verarbeitungseinheiten aus 7 steht in Verbindung mit der Arbeitsstation 713 über (nicht gezeigte) Wege und kann ferner über das Netzwerk 710 in Verbindung mit einer oder mehreren entfernt aufgestellten Vorrichtungen stehen. Es versteht sich, dass einige oder alle der Funktionen für jedes der Module des Systems 704 insgesamt oder teilweise von Komponenten, die in der Arbeitsstation 713 intern sind, oder durch ein spezielles Computersystem ausgeführt werden können. Es versteht sich ebenfalls, dass diverse Module eine oder mehrere Komponenten bezeichnen können, die wiederum Software und/oder Hardware umfassen, die ausgelegt ist bzw. sind, um die beabsichtigte Funktion auszuführen. Eine Vielzahl von Modulen kann zusammen eine einzige Funktion ausführen. Jedes Modul kann einen spezialisierten Prozessor aufweisen, der in der Lage ist, maschinenlesbare Programmanweisungen auszuführen. Ein Modul kann eine einzelne Hardware, wie etwa eine ASIC, eine elektronische Schaltung oder einen Spezialprozessor umfassen. Eine Vielzahl von Modulen kann entweder von einem einzigen speziellen Computersystem oder von einer Vielzahl von speziellen Computersystemen parallel ausgeführt werden. Die Verbindungen zwischen den Modulen umfassen sowohl physische als auch logische Verbindungen. Die Module können ferner ein oder mehrere Software-/Hardware-Module umfassen, die ferner ein Betriebssystem, Treiber, Vorrichtungs-Controller und andere Geräte umfassen können, von denen einige oder alle über ein Netzwerk angeschlossen werden können. Es wird ebenfalls in Betracht gezogen, dass einer oder mehrere Aspekte des vorliegenden Verfahrens auf einem dedizierten Computersystem umgesetzt werden kann bzw. können, und dass er bzw. sie auch in verteilten Computerumgebungen umgesetzt werden kann bzw. können, wo Aufgaben durch entfernt aufgestellte Vorrichtungen ausgeführt werden, die über das Netzwerk 710 miteinander verbunden sind,
-
An den zuvor beschriebenen Ausführungsformen können diverse Änderungen vorgenommen werden, ohne Geist und Umfang der Erfindung zu verlassen.
