DE102016224297A1

DE102016224297A1 - Schätzung der atemphase aus einem video eines subjekts

Info

Publication number: DE102016224297A1
Application number: DE102016224297.0A
Authority: DE
Inventors: Prathosh A. PRASAD; Lalit Keshav MESTHA; Himanshu J. MADHU
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2015-12-15
Filing date: 2016-12-06
Publication date: 2017-06-22
Also published as: US20170169307A1; US9721180B2

Abstract

Ein Video einer Region eines Subjekts wird erhalten, in welcher ein Signal, welches einer Atmungsfunktion entspricht, durch eine Videovorrichtung registriert werden kann. Pixel in der Region in jedem der Bildrahmen werden verarbeitet, um ein Atemmuster mit Maximum/Minimum-Paaren zu identifizieren. Ein relevantes Maximum/Minimum-Paar wird ausgewählt. Ein Array von optischen Strömungsvektoren wird zwischen einem Fenster von Gruppen von Pixelpositionen in einem Referenzbildrahmen, der einem Maximum des Paares/Minimum-Paares entspricht, und einem Fenster in jedem einer Anzahl von Bildrahmen bestimmt, welche dem Atemsignal zwischen dem Maximum und endend bei einem Minimum-Punkt entsprechen. Optische Strömungsvektoren weisen eine Richtung und einen Betrag auf. Ein Verhältnis zwischen nach oben weisenden optischen Strömungsvektoren und nach unten weisenden optischen Strömungsvektoren wird bestimmt. Auf der Grundlage des Verhältnisses wird eine Bestimmung dahingehend getroffen, ob es sich bei der Atemphase für dieses Maximum/Minimum-Paar um Einatmung oder Ausatmung handelt.

Description

Atmung ist eine wichtige physiologische Aktivität, die dabei hilft, Stoffwechsel zu erleichtern. Überwachung der Atmungsfunktion ist von großer klinischer Bedeutung.
Kontinuierliche Überwachung von Atmungsereignissen ist ebenfalls eine wichtige klinische Anforderung, da dies dazu dient, potenziell tödliche Ereignisse zu erkennen, wie zum Beispiel akute respiratorische Insuffizienz sowie Lungenerkrankungen.
Existierende Verfahren zum Erhalt von Patientendaten in Bezug auf Atmungsfunktion umfassen Vorrichtungen wie Spirometer, Brustgürtel, Impedanz-Pneumographie, wobei es sich kontaktbasierte Vorrichtungen handelt. Derartige Vorrichtungen können mit Unbequemlichkeit und psychologischer Abhängigkeit assoziiert werden. In vielen diagnostischen und therapeutischen Anwendungen ist es wünschenswert, die exakten Intervalle von sowohl Einatmungs- als auch Ausatmungsphasen der Atmung aus Gründen zu kennen, die folgende umfassen: Bewertung und Interventionsvorhersage für Patienten mit Asthma und Lungenerkrankungen, wobei die Analyse während der Ausatmungsphase durchzuführen ist; atmungsgetriggerte Aufnahme von radiologischen Bildern, wobei die Röntgenvorrichtung bei einer vordefinierten Phase des Atmungszyklus ausgelöst wird; und atmungsgetriggerte Abgabesysteme von therapeutischen Schocks, wobei akustische Schocks koordiniert mit den Atmungszyklen abgegeben werden.
Dementsprechend wird in diesem Fachgebiet ein System und Verfahren zur Schätzung der Atemphase aus einem Video eines Subjekts benötigt.
Es werden ein System und Verfahren zur Schätzung der Atemphase aus einem Video eines Subjekts zur Bewertung der Atmungsfunktion offenbart. Eine Ausführungsform des vorliegenden Verfahrens umfasst Durchführen des Folgenden. Zunächst wird ein Video eines Subjekts erhalten. Das Video umfasst Bildrahmen einer Region des Subjekts, in welcher ein Signal, welches der Atmungsfunktion des Subjekts entspricht, durch wenigstens einen Bildgebungskanal einer Videobildgebungsvorrichtung, die zum Aufnehmen des Videos verwendet wird, registriert werden kann. Anschließend werden Pixel in der Region in jedem der Bildrahmen verarbeitet, um ein Atemmuster zu identifizieren, welches ein Atemsignal mit temporal sukzessiven Maximum/Minimum-Paaren umfasst. Ein relevantes Maximum/Minimum-Paar wird ausgewählt, für welches es erwünscht ist, die Atemphase zu bestimmen. Ein Array von optischen Strömungsvektoren wird zwischen einem Fenster von Pixelpositionen in einem Referenzbildrahmen, der dem Maximum des Paares/Minimum-Paares entspricht, und einem ähnlich großen Fenster in jedem einer vordefinierten Anzahl von Bildrahmen bestimmt, welche dem Atemsignal entsprechen, das zwischen dem Maximum und endend bei dem Minimum-Punkt auftritt. Die optischen Strömungsvektoren weisen eine Richtung, welche einer Bewegung entspricht, die durch temporale Variationen der Intensität hervorgerufen wird, und einen Betrag auf, welcher einer Menge der Variation entspricht. Ein Verhältnis zwischen optischen Strömungsvektoren, welche eine nach oben weisende Richtung aufweisen, in Bezug auf optische Strömungsvektoren, die eine nach unten weisende Richtung aufweisen wird bestimmt. Auf der Grundlage des Verhältnisses wird eine Bestimmung dahingehend getroffen, ob es sich bei der Atemphase für das ausgewählte Maximum/Minimum-Paar um Einatmung oder Ausatmung handelt. Merkmale und Vorteile des oben beschriebenen Verfahrens werden sich aus der folgenden ausführlichen Beschreibung und den beigefügten Zeichnungen leicht erschließen.
Die oben genannten und andere Merkmale und Vorteile des hier offenbarten Gegenstandes werden sich aus der folgenden ausführlichen Beschreibung in Verbindung mit den beigefügten Zeichnungen erschließen, wobei:
1 eine Vorderansicht eines erwachsenen Menschen sowie eine Rückansicht zeigt;
2 eine beispielhafte Videobildgebungsvorrichtung zeigt, welche Bildrahmen einer relevanten Region des Subjekts aus 1 aufnimmt;
3 ein beispielhaftes Atemmuster zeigt, welches für das Subjekt aus 2 identifiziert wurde und welches mit normaler Atmung assoziiert ist;
4 und 5 Bilder mit optischen Strömungsvektoren sind, die darauf berechnet wurden;
6 ein Flussdiagramm ist, welches eine Ausführungsform des vorliegenden Verfahrens zur Schätzung der Atemphase aus einem Video eines Subjekts veranschaulicht;
7 eine Fortsetzung des Flussdiagramms aus 6 ist, wobei Flussverarbeitung in Bezug auf Knotenpunkt A fortgesetzt wird;
8 ein funktionelles Blockdiagramm eines beispielhaften Videoverarbeitungssystems 800 zur Verarbeitung eines Videos gemäß der in Bezug auf die Flussdiagramme der 6–7 beschriebenen Ausführungsformen zeigt; und
9 eine beispielhafte Überlagerung zwischen dem pneumographischen Signal und dem unter Verwendung von Video- und Phasenkompensation erzeugten Signal zeigt.
Es werden ein System und Verfahren zur Schätzung der Atemphase, die definiert ist als Intervalle von Einatmung und Ausatmung, aus einem Video eines Subjekts zur Bewertung der Atmungsfunktion offenbart.
Es versteht sich, dass ein Fachmann verschiedene Aspekte von Bildverarbeitung und Verfahren zur Erzeugung von Zeitreihensignalen aus Pixeln, die aus Sätzen von Bildrahmen in einem Video erhalten werden, leicht versteht. Ein Fachmann würde ebenfalls ohne Weiteres mit optischen Strömungstechniken und -algorithmen vertraut sein.
NICHT EINSCHRÄNKENDE DEFINITIONEN
Ein „Subjekt” bezieht sich auf ein Lebewesen. Obwohl der Begriff „Person” oder „Patient” in dieser gesamten Offenbarung verwendet werden kann, sollte gewürdigt werden, dass das Subjekt etwas anderes als ein Mensch sein kann, wie zum Beispiel ein Primat. Daher ist die Verwendung derartiger Begriffe nicht als den Schutzumfang der angehängten Patentansprüche strikt auf Menschen mit einer Atmungsfunktion beschränkend anzusehen. 1 zeigt eine Vorder-(Frontal)-Ansicht 101 eines erwachsenen Menschen sowie eine Rück-(Hinter-)Ansicht 102. Das Subjekt in dem Video kann eine beliebige Distanz von dem Mediziner entfernt sein, wobei das Video des Subjekts an eine Arbeitsstation über ein drahtgebundenes oder drahtloses Netzwerk übertragen wird.
„Atmungsfunktion” ist ein Prozess des Einatmens von Luft in die Lunge (Inhalation) und des Ausatmens von Luft aus der Lunge (Exhalation), gefolgt von einer kurzen Pause nach dem Ausatmen. Die Ausdehnung und Kontraktion der Lunge und der Brustwand induziert eine Bewegung im Körper des Subjekts, welche in einem Video des Subjekts aufgenommen wird.
Wie im Allgemeinen verstanden wird, umfasst ein „Video” eine Vielzahl von zeitlich aufeinanderfolgenden Bildrahmen, die von einer Region des Subjekts aufgenommen werden, in welcher ein Signal, welches der Atmungsfunktion entspricht, durch wenigstens einen Bildgebungskanal der Videobildgebungsvorrichtung, die zum Aufnehmen des Videos verwendet wird, registriert werden kann. Das Video kann ebenfalls andere Komponenten, wie zum Beispiel Ton, Zeit, Datum, Referenzsignale, Rahmeninformationen und dergleichen, enthalten.
Eine Videobildgebungsvorrichtung bezieht sich auf eine Videokamera, wie zum Beispiel eine Farbvideokamera, eine monochrome Videokamera, eine Infrarotvideokamera, eine Multispektralvideobildgebungsvorrichtung, eine Hyperspektralvideokamera und eine Hybridvorrichtung, die jede Kombination davon umfasst. 2 zeigt eine beispielhafte Videobildgebungsvorrichtung 200, welche Bildrahmen (einzeln bei 201) einer Region 103 des Subjekts aus 1 aufnimmt. Die gezeigte Videobildgebungsvorrichtung weist ein Kommunikationselement 202, gezeigt als eine Antenne, auf, welches Kommunikation mit einer entfernten Vorrichtung, wie zum Beispiel eine Arbeitsstation, über ein drahtloses Netzwerk bewirkt, von welchem die Bildrahmen zur Verarbeitung gemäß der hier offenbarten Verfahren empfangen werden.
Die Videobildgebungsvorrichtung kann Speicher, eine Speichervorrichtung und ein Videoanalysemodul enthalten, umfassend einen oder mehrere Mikroprozessoren zur Ausführung von maschinenlesbaren Programmanweisungen zur Verarbeitung des Videos. Ein derartiges Videoanalysemodul kann, ganz oder teilweise, eine Softwareanwendung umfassen, die allein oder in Verbindung mit einer oder mehreren Hardwareressourcen arbeitet. Softwareanwendungen können durch Prozessoren auf verschiedenen Hardwareplattformen oder emuliert in eine virtuelle Umgebung ausgeführt werden und Standardsoftware nutzen.
„Empfangen eines Videos” soll weit aufgefasst werden und umfasst Abrufen, Aufnehmen, Erlangen oder anderweitiges Erhalten von Videobildrahmen. Das Video kann von einer entfernten Vorrichtung über ein Netzwerk oder von einem Medium wie einer CD-ROM oder einer DVD empfangen oder abgerufen werden. Das Video kann von einem webbasierten System oder einer webbasierten Anwendung heruntergeladen werden, welche/s Videos zur Verarbeitung gemäß der hier offenbarten Verfahren zur Verfügung stellt. Das Video kann ebenfalls von einer Anwendung wie solchen empfangen werden, die für tragbare zelluläre Vorrichtungen zur Verfügung stehen, und es kann auf dem Mobiltelefon oder einer anderen tragbaren Rechenvorrichtung, wie zum Beispiel einem iPad oder einem Tablet-PC, verarbeitet werden. Das Video kann direkt von einem Speicher oder einer Speichervorrichtung der Videobildgebungsvorrichtung, die zum Aufnehmen dieses Videos verwendet wurde, empfangen werden.
Eine „Region des Subjekts” bezieht sich wenigstens auf eine Teilansicht des Subjekts, so wie durch die Öffnung der Videobildgebungsvorrichtung gesehen, in welcher ein Atemsignal, welches der Atmungsfunktion entspricht, durch wenigstens einen Bildgebungskanal der Videobildgebungsvorrichtung, die zum Aufnehmen dieses Videos verwendet wurde, registriert werden kann. Regionen, die sich während der Atmung bewegen, umfassen die Thoraxregion, wie zum Beispiel Brust und Abdomen, und Gesichtsregionen, wie zum Beispiel Nasenlöcher, Lippen und Wangen. In 1 stellen die Regionen 103 und 104 die vordere Thoraxregion bzw. die hintere Thoraxregion des Subjekts dar. Signale, die mit der Atmungsfunktion assoziiert werden, können ebenfalls durch die Videobildgebungsvorrichtung in einer Gesichtsregion 105 wahrgenommen werden. Die Region kann ein Bereich freiliegender Haut oder ein Bereich sein, der durch ein Laken oder ein Kleidungsstück bedeckt ist. Regionen können durch eine Benutzereingabe oder Auswahl in Bildrahmen des Videos identifiziert werden. Zum Beispiel kann ein Bediener oder Techniker eine Maus oder eine berührungsempfindliche Anzeigevorrichtung verwenden, um einen Gummibandkasten um einen oder mehrere Bereiche des Videos des Subjekts zu ziehen, welches auf einem Monitor angezeigt wird, wodurch eine Region von Pixeln definiert wird, die bearbeitet werden soll, um ein Atemmuster für das Subjekt zu erhalten. Ein „Atemmuster” bezieht sich auf ein Muster der Atmung. Atemmuster umfassen: Eupnoe, Bradypnoe, Tachypnoe, Hypopnoe, Apnoe, Kußmaul-, Cheyne-Stokes-, Biot-, ataktische, Apneusis-, agonale und thorakoabdominale Atmung, wie in den medizinischen Fachgebieten verstanden. Verfahren zur Bestimmung eines Atemmusters aus einem Video werden offenbart in: „Determining A Respiratory Pattern From A Video Of A Subject”, US-Patentanmeldung mit der Seriennr. 14/742,233 von Prathosh A. Prasad et al. und „Breathing Pattern Identification For Respiratory Function Assessment”, US-Patentanmeldung mit der Seriennr. 14/044,043 von Lalit K. Mestha et al. 3 zeigt ein beispielhaftes Atemmuster 300. Das Atemmuster umfasst ein Atemsignal 301, welches temporal sukzessive Maximum/Minimum-Paare enthält.
Ein Maximum/Minimum-Paar bezieht sich auf ein Maximum im Atemsignal und einen Minimum-Punkt, wie weitgehend in den Fachgebieten der Signalverarbeitung verstanden. Ein erstes Maximum/Minimum-Paar wird bei 302 bzw. 303 gezeigt.
Verfahren zur Identifizierung oder anderweitigen Detektion eines Maximum/Minimum-Paares in einem Signal umfassen eine manuelle Auswahl durch einen Benutzer und die Verwendung eines beliebigen eines breiten Spektrums von automatischen Maximumdetektionsverfahrens, die gut etabliert sind. Gemäß den hier offenbarten Verfahren wird ein Maximum/Minimum-Paar gemeinsam mit entsprechenden Bildrahmen des Videos des Subjekts verarbeitet, um optische Strömungsvektoren zu erzeugen.
Einführung in optische Strömung
Das Konzept der optischen Strömung wurde in den 1940er Jahren von James J. Gibson eingeführt, um beim Verständnis und der Beschreibung der Rolle zu helfen, die ein visueller Stimulus in der Wahrnehmung von Bewegung im Verstand eines Beobachters spielt. Gibson postulierte, dass Sequenzen von geordneten Bildern die Schätzung von Bewegung entweder als momentane Bildgeschwindigkeiten oder diskrete Bildverschiebungen gestatten. Ein Tutorial ist offenbart in: „Handbook of Mathematical Models in Computer Vision", Paragios et al., Springer (2006), ISBN-13: 978-0387263717, [siehe Kapitel mit dem Titel: „Optical Flow Estimation", von David J. Fleet und Yair Weiss, welches eine Einführung in gradientenbasierte optische Strömungsanalyse bereitstellt].
Optische Strömungsanalyse versucht, die Bewegung zwischen zwei Bildrahmen zu berechnen, die bei bestimmten Zeiten t und t + Δt bei verschiedenen Pixelpositionen, die beide Bilder gemeinsam haben, oder bei Positionen von Gruppen von Pixeln, die beide Bilder gemeinsam haben, aufgenommen wurden. Diese Verfahren werden häufig als Differenzialverfahren bezeichnet, da sie auf lokalen Taylorreihennäherungen basieren, d. h., sie verwenden partielle Ableitungen in Bezug auf räumliche und temporale Koordinaten.
Für einen 2D + t-dimensionalen Fall (3D- oder n-D-Fälle sind ähnlich) werden sich im Allgemeinen Werte im Bild bei Position (x, y, t) mit Intensität I(x, y, t) in einem Betrag zwischen den beiden Bildrahmen bewegt haben, der gegeben ist durch Δx, Δy und Δt, sodass: I(x, y, t) = I(x + Δx, y + Δy, t + Δt) (1)
Unter der Annahme, dass die Bewegung gering ist, kann die entsprechende Taylorreihe angegeben werden als: I(x + Δx, y + Δy, t + Δt) = I(x, y, t) + ∂I / ∂xΔx + ∂I / ∂yΔy + ∂I / ∂tΔt + ... (2)
Aus den Gleichungen (1) und (2) folgt, dass: ∂I / ∂xΔx + ∂I / ∂yΔy + ∂I / ∂tΔt = 0 (3) was zu Folgendem führt: ∂I / ∂xV_x + ∂I / ∂yV_y + ∂I / ∂tV_t = 0 (4) wobei V_x, V_y die x- und y-Komponenten der Geschwindigkeit oder optischen Strömung von I(x, y, t) sind und ∂I / ∂x, ∂I / ∂y und ∂I / ∂t die Ableitungen des Bildes bei (x, y, t) in den entsprechenden Richtungen sind.
Unter der Voraussetzung des oben Erwähnten können I_x, I_y, und I_t für die Ableitungen geschrieben werden. Somit ergibt sich: I_xV_x + I_yV_y = –I_t (5)
Alternativ ergibt sich ∇I^T·V → = –I_t (6)
Gleichung (6) weist zwei Unbekannte auf. Dies ist als das Blendenproblem von optischen Strömungsalgorithmen bekannt. Um die optische Strömung zu finden, wird ein weiterer Satz von Gleichungen benötigt, der durch eine zusätzliche Beschränkung gegeben wird. Alle optischen Strömungsverfahren führen zusätzliche Bedingungen zur Schätzung der tatsächlichen Strömung ein. Ein Ergebnis der Durchführung von optischer Strömungsanalyse eines Bildes oder eines Fensters innerhalb eines Bildes produziert ein Array von optischen Strömungsvektoren.
Ein „optischer Strömungsvektor” ist ein Vektor, wie im Allgemeinen verstanden, mit einer Richtung und einem Betrag. Im Allgemeinen bezieht sich optische Strömung auf ein Muster von wahrnehmbarer Bewegung eines Objekts in einer Szene, hervorgerufen durch die relative Bewegung zwischen einem Beobachter (einem Auge oder einer Kamera) und dem Objekt. Beispielhafte Bilder 400 und 500 mit daraus erzeugten optischen Strömungsvektoren werden in den 4 bzw. 5 gezeigt. Es wird gezeigt, dass die optischen Strömungsvektoren für Pixel innerhalb der Fenster 401 bzw. 501 erzeugt wurden.
Verfahren der optischen Strömungsanalyse umfassen: die Lucas-Kanade-Methode, wie offenbart in: „An Iterative Image Registration Technique with an Application to Stereo Vision", Bruce D. Lucas und Takeo Kanade, Proc. of Imaging Understanding Workshop, S. 121–130, (1981), die Horn-Schunck-Methode, wie offenbart in: „Determining Optical Flow", Berthold K. P. Horn und Brian G. Schunck, Band 17, S. 185–203, Artificial Intelligence, (1981) und die Black-Jepson-Methode, wie offenbart in: „Computation of Optical Flow", S. S. Beauchemin, J. L. Barron, ACM Computing Surveys, Band 27, Nr. 3, (September 1995). Es sollte ebenfalls gewürdigt werden, dass diskrete Optimierungsverfahren ebenfalls eingesetzt werden können.
Andere Verfahren werden behandelt in: „A Database and Evaluation Methodology for Optical Flow", Simon Baker, Daniel Scharstein, J. P. Lewis, Stefan Roth, Michael J. Black, Richard Szeliski, International Journal of Computer Vision, Band 92, S. 1–31 (2011). Es versteht sich, dass die hier aufgelisteten optischen Strömungsverfahren repräsentativ und nicht vollständig sind. Daher sollte der Schutzumfang der angehängten Patentansprüche nicht auf nur diese Techniken beschränkt werden.
„Atemphase”, wie hier verwendet, bezieht sich entweder auf die Einatmungsphase des Atemsignals (d. h., wenn Luft in die Lunge eingesaugt wird) oder auf die Ausatmungsphase des Atemsignals (d. h., wenn Luft aus der Lunge ausgestoßen wird) für ein gegebenes Maximum/Minimum-Paar. Die Atemphase wird durch ein Verhältnis von optischen Strömungsvektoren bestimmt.
Ein „Verhältnis von optischen Strömungsvektoren” wird zwischen der Anzahl von nach oben weisenden optischen Strömungsvektoren in Bezug auf die Anzahl von nach unten weisenden optischen Strömungsvektoren bestimmt. Auf der Grundlage dieses Verhältnisses wird die Atemphase für das ausgewählte Maximum/Minimum-Paar entweder als Einatmung oder als Ausatmung bestimmt. In einer Ausführungsform wird bestimmt, dass, wenn das Verhältnis größer als 1 ist, die Atemphase des ausgewählten Maximum/Minimum-Paares bei Einatmung ist und ansonsten bei Ausatmung.
Es sollte gewürdigt werden, dass die Verfahrensschritte: „Empfangen”, „Isolieren”, „Extrahieren”, „Verarbeiten”, „Auswählen”, „Erzeugen”, „Bestimmen”, „Durchführen”, „Filtern”, „Lokalisieren”, „Berechnen” und dergleichen die Anwendung einer beliebigen einer Vielzahl von Signalverarbeitungstechniken, wie sie in der Signalverarbeitung bekannt sind, wobei, als Reaktion darauf, dass das Verhältnis höher als eins ist, Bestimmen, dass die Atemphase des ausgewählten Maximum/Minimum-Paares Einatmung ist und ansonsten Ausatmung, startet, sowie eine Vielzahl von mathematischen Operationen gemäß einem beliebigen konkreten Kontext oder für einen beliebigen konkreten Zweck umfassen. Es sollte gewürdigt werden, dass derartige Schritte durch einen Mikroprozessor, der maschinenlesbare Programmanweisungen ausführt, ermöglicht oder anderweitig bewirkt werden können, sodass eine beabsichtigte Funktionalität wirksam durchgeführt werden kann.
Beispielhaftes Flussdiagramm
Nun wird Bezug auf das Flussdiagramm von 6 genommen, welches eine Ausführungsform des vorliegenden Verfahrens zur Schätzung der Atemphase aus einem Video eines Subjekts veranschaulicht. Flussverarbeitung beginnt bei Schritt 600 und fährt sofort mit Schritt 602 fort.
Bei Schritt 602 wird ein Video einer Region eines Subjekts empfangen, in welcher ein Signal, welches der Atmungsfunktion entspricht, durch wenigstens einen Bildgebungskanal einer Videobildgebungsvorrichtung, die zum Aufnehmen dieses Videos verwendet wird, registriert werden kann.
Bei Schritt 604 werden Pixel in den Bildrahmen verarbeitet, um ein Atemmuster für das Subjekt zu identifizieren. Das Atemmuster umfasst ein Atemsignal mit temporal sukzessiven Maximum/Minimum-Paaren. Ein weiteres beispielhaftes Atemsignal wird in 3 gezeigt.
Bei Schritt 606 wird ein relevantes Maximum/Minimum-Paar, für welches es erwünscht ist, die Atemphase zu bestimmen, ausgewählt. Ein beispielhaftes Maximum/Minimum-Paar wird bei 302 bzw. 303 von 3 gezeigt.
Bei Schritt 608 wird ein Array von optischen Strömungsvektoren zwischen einem Fenster von Pixelpositionen in einem Referenzbildrahmen, der einem Maximum des Paares/Minimum-Paares entspricht, und einem im Wesentlichen gleichen Fenster von Pixelpositionen in jedem einer vordefinierten Anzahl von Bildrahmen erzeugt, welche dem Atemsignal zwischen dem Maximum und endend bei einem vorausgewählten Punkt im Minimum entsprechen. Bilder mit optischen Strömungsvektoren werden in den 4 und 5 gezeigt. Wie gezeigt, weisen die optischen Strömungsvektoren eine Richtung, welche einer Bewegung entspricht, die durch temporale Variationen der Intensität hervorgerufen wird, und einen Betrag auf, welcher einer Menge der Variation entspricht.
Nun wird Bezug auf das Flussdiagramm von 7 genommen, welches eine Fortsetzung des Flussdiagramms von 6 ist, wobei Flussverarbeitung in Bezug auf Knotenpunkt A fortgesetzt wird.
Bei Schritt 610 wird ein Verhältnis von optischen Strömungsvektoren, welche eine nach oben weisende Richtung aufweisen, in Bezug auf optische Strömungsvektoren, die eine nach unten weisende Richtung aufweisen, bestimmt. Eine derartige Bestimmung kann entweder manuell oder automatisch unter Verwendung von zum Beispiel einem Prozessor durchgeführt werden, der maschinenlesbare Programmanweisungen ausführt, um dies durchzuführen.
Bei Schritt 612 wird basierend auf diesem Verhältnis bestimmt, dass die Atemphase für das ausgewählte Maximum/Minimum-Paar eine von Einatmung und Ausatmung ist.
Bei Schritt 614 wird die bestimmte Atemphase an eine Anzeigevorrichtung übertragen.
Das Ergebnis der auf dem Verhältnis basierenden Bestimmung kann ebenfalls auf der Speichervorrichtung, wie zum Beispiel einem Speicher oder einer Festplatte, gespeichert werden.
Bei Schritt 616 wird eine Bestimmung dahingehend getroffen, ob ein weiteres Maximum/Minimum-Paar zur Bestimmung der Atemphase ausgewählt wird. Ist dies der Fall, wiederholt sich die Verarbeitung in Bezug auf Knotenpunkt B, wobei bei Schritt 606 ein nächstes relevantes Maximum/Minimum-Paar zur Verarbeitung ausgewählt wird.
Die Verarbeitung wiederholt sich auf eine ähnliche Weise, bis es von keinen weiteren Maximum/Minimum-Paaren mehr erwünscht ist, dass sie ausgewählt werden. In dieser Ausführungsform stoppt Weiterverarbeitung danach.
Die hier abgebildeten Flussdiagramme sind veranschaulichend. Eine oder mehrere der in den Flussdiagrammen veranschaulichten Operationen kann/können in einer unterschiedlichen Reihenfolge durchgeführt werden. Andere Operationen können hinzugefügt, modifiziert, erweitert oder vereinigt werden. Variationen davon sollen ebenfalls in den Schutzumfang der angehängten Patentansprüche fallen.
Blockdiagramm des Videoverarbeitungssystems
Nun wird auf 8 Bezug genommen, welche ein Blockdiagramm eines beispielhaften Videoverarbeitungssystems 800 zur Verarbeitung eines Videos gemäß der in Bezug auf die Flussdiagramme der 6–7 beschrieben Ausführungsformen zeigt.
Videoempfänger 801 empfängt das Video drahtlos über Antenne 802, wobei dieses von der Videobildgebungsvorrichtung 200 von 2 unter Verwendung eines Kommunikationselements 202 daran übertragen wurde. Atemmustergenerator 803 erzeugt ein Atemmuster für das Subjekt aus dem empfangenen Video des Subjekts.
Maximum/Minimum-Detektor empfängt das erzeugte Atemmuster und fährt damit fort, Maximum/Minimum-Paare in dem Atemsignal zu detektieren. Ergebnisse werden an Speichervorrichtung 805 übertragen. Maximum/Minimum-Auswahlmodul 806 ruft die gespeicherten Maximum/Minimum-Paare ab und wählt ein relevantes Maximum/Minimum-Paar auf, für welches es erwünscht ist, die Atemphase zu bestimmen. Relevante Maximum/Minimum-Paare können ebenfalls durch einen Benutzer ausgewählt werden, zum Beispiel unter Verwendung der Tastatur, Maus und Anzeigevorrichtung von Arbeitsstation 820. Optisches Strömungsmodul 807 empfängt die relevanten ausgewählten Maximum/Minimum-Paare und fährt damit fort, optische Strömungsvektoren für Bildrahmen in dem Video, entsprechend dem ausgewählten Maximum/Minimum-Paar, auf eine hier offenbarte Weise zu erzeugen. Vektorzähler 808 empfängt die optischen Strömungsvektoren für die verarbeiteten Bildrahmen und fährt damit fort, die Anzahl der optischen Strömungsvektoren, die eine nach oben weisende Richtung aufweisen, und die Anzahl der optischen Strömungsvektoren, die eine nach unten weisende Richtung aufweisen, zu zählen. Verhältnisbestimmungsvorrichtung 809 empfängt die Zählung nach oben und nach unten weisender optischer Vektoren und fährt damit fort, zu bestimmen, ob die Atemphase für das ausgewählte Maximum/Minimum-Paar eine von Einatmung oder Ausatmung ist.
Zentrale Verarbeitungseinheit 810 ruft maschinenlesbare Programmanweisungen aus einem Speicher 811 ab und ist dazu vorgesehen, die Funktionalität von jedem/r der Module und Verarbeitungseinheiten des System 800 zu ermöglichen. CPU 810, die allein oder in Verbindung mit anderen Prozessoren arbeiten kann, kann konfiguriert sein, um die Funktionalität von jedem/r der Module oder Verarbeitungseinheiten des Systems 800 zu unterstützen oder anderweitig durchzuführen sowie die Kommunikation zwischen dem Videoverarbeitungssystem 800 und der Arbeitsstation 820 zu ermöglichen.
Es wird gezeigt, dass Arbeitsstation 820 im Allgemeinen ein Computergehäuse umfasst, welches verschiedene Komponenten, wie zum Beispiel eine Hauptplatine mit einem Mikroprozessor und Speicher, eine Netzwerkkarte, eine Videokarte, eine Festplatte, die in der Lage ist, maschinenlesbare Medien 822, wie zum Beispiel eine Diskette, eine optische Platte, CD-ROM, DVD, Magnetband und dergleichen, zu lesen und zu beschreiben, und andere Software und Hardware, beherbergt, die erforderlich sind, um die Funktionalität einer Computerarbeitsstation durchzuführen. Die Arbeitsstation umfasst eine Anzeigevorrichtung 823, wie zum Beispiel eine CRT-, LCD- oder berührungsempfindliche Anzeige, zum Anzeigen von Informationen, Bildrahmen, Vektorbeträgen, Vektorintensitäten, optischen Strömungsvektoren, berechneten Werten, medizinischen Patienteninformationen und dergleichen, welche durch jede/s der Module oder Verarbeitungseinheiten des Videoverarbeitungssystems 800 produziert oder anderweitig erzeugt werden. Ein Benutzer kann alle derartigen Informationen ansehen und eine Auswahl aus verschiedenen Menü-Optionen, die darauf angezeigt werden, treffen. Tastatur 824 und Maus 825 bewirken eine Benutzereingabe oder -auswahl. Es sollte gewürdigt werden, dass die Arbeitsstation ein Betriebssystem und andere spezialisierte Software aufweist, die konfiguriert ist, um alphanumerische Werte, Menüs, Bildlaufleisten, Skalen, verschiebbare Leisten, Pull-down-Optionen, auswählbare Schaltflächen und dergleichen zum Eingeben, Auswählen, Modifizieren und Annehmen von Informationen anzuzeigen, die zum Durchführen verschiedener Aspekte der hier offenbarten Verfahren benötigt werden.
Ein Benutzer kann die Arbeitsstation verwenden, um einen Satz von relevanten Bildrahmen, einen Satz von verschiedenen Parametern und anderem zu identifizieren, um die Funktionalität von jedem/r der Module oder Verarbeitungseinheiten des Videoverarbeitungssystems 800 zu ermöglichen. Ein Benutzer oder Techniker kann die Arbeitsstation einsetzen, um relevante Maximum/Minimum-Paare auszuwählen, Vektoren hinzuzufügen oder zu löschen oder das Fenster zu verschieben oder die Größe des Fensters neu einzustellen, wie als angemessen erachtet. Der Benutzer kann verschiedene eingesetzte Parameter einstellen oder Systeme oder Einstellungen einer beliebigen Vorrichtung, die zum Aufnehmen der Videobilder verwendet wird, dynamisch in Echtzeit einstellen.
Benutzereingaben und -auswahlen können auf jeder der Speichervorrichtungen 805, 822 und 826 gespeichert oder davon abgerufen werden. Standardeinstellungen und initiale Parameter können von jeder der Speichervorrichtungen abgerufen werden. Das System 800 kann unter Verwendung eines drahtgebundenen, drahtlosen oder zellulären Kommunikationsprotokolls mit einer oder mehreren entfernten Vorrichtungen über Netzwerk 828 kommunizieren. Obwohl sie als ein Desktop-Computer gezeigt wird, sollte gewürdigt werden, dass die Arbeitsstation ein Laptop, Zentralrechner, Tablet, Notebook, Smartphone oder ein Computer für spezielle Zwecke, wie zum Beispiel ein ASIC, oder dergleichen sein kann. Die Ausführungsform der Arbeitsstation ist veranschaulichend und sie kann andere Funktionalitäten umfassen, die im Fachgebiet bekannt sind.
Die Arbeitsstation implementiert eine Datenbank in Speichervorrichtung 826, wobei Einträge als Reaktion auf eine Abfrage gespeichert, verändert und abgerufen werden.
Derartige Einträge nehmen in verschiedenen Ausführungsformen die Form von medizinischen Patientenanamnesen an, die zusammen mit Informationen, welche den Patienten identifizieren, gespeichert werden (zusammen bei 827). Es sollte gewürdigt werden, dass die Datenbank 826 dieselbe wie die Speichervorrichtung 805 sein kann oder, bei separaten Vorrichtungen, kann sie einige oder alle der Informationen enthalten, die in der anderen Vorrichtung enthalten sind. Obwohl die Datenbank als eine externe Vorrichtung gezeigt wird, kann die Datenbank arbeitsstationsintern sein und sich zum Beispiel auf einer Festplatte befinden.
Jede der Komponenten der Arbeitsstation kann in Kommunikation mit jedem der Module des Systems 800 oder beliebigen Vorrichtungen angeordnet sein, die in Kommunikation damit angeordnet sind. Darüber hinaus kann jedes der Module des Systems 800 in Kommunikation mit Speichervorrichtung 826 und/oder computerlesbaren Medien 822 angeordnet sein und sie können Daten, Variablen, Einträge, Parameter, Funktionen und/oder maschinenlesbare Programmanweisungen darauf speichern oder davon abrufen, wie zur Durchführung ihrer beabsichtigten Funktion erforderlich. Ferner kann jede/s der Module oder Verarbeitungseinheiten des Systems 800 über Netzwerk 828 in Kommunikation mit einer oder mehreren entfernten Vorrichtungen angeordnet werden. Es sollte gewürdigt werden, dass einige oder alle der Funktionalitäten, die durch jede/s der Module oder Verarbeitungseinheiten des Systems 800 durchgeführt werden, ganz oder teilweise durch die Arbeitsstation durchgeführt werden können. Die gezeigte Ausführungsform ist veranschaulichend und sollte nicht als den Schutzumfang der angehängten Patentansprüche strikt auf diese Konfiguration beschränkend betrachtet werden. Verschiedene Module können eine oder mehrere Komponenten bezeichnen, die wiederum Software und/oder Hardware umfassen können, die dazu gestaltet sind, die beabsichtigte Funktion durchzuführen.
Durchführungsergebnisse
Daten wurden von fünf menschlichen Subjekten gesammelt, die gebeten wurden, in einem Tidalatmungsmuster zu atmen, während sie eine Impedanz-Pneumographie-Vorrichtung trugen, welche die Ground Truth erzeugen würde. Gleichzeitig wurde ein Video von den Subjekten aufgenommen. Sobald die Daten gesammelt waren, wurden sie unter Verwendung der hier erwähnten Verfahren verarbeitet, um ihre entsprechenden Atemmuster zu erzeugen. Für jedes Subjekt wurden zufällig einige Maximum/Minimum-Paare identifiziert. Der Lucas-Kanade-Algorithmus wurde zur Differenzialberechnung der optischen Strömung verwendet. Die Evaluationsmetrik war der Prozentsatz von Zyklen, die durch das vorliegende Verfahren im Vergleich zur Ground Truth korrekt bestimmt wurden. Die Ergebnisse werden in 9 gezeigt, welche eine beispielhafte Überlagerung zwischen dem pneumographischen Signal und dem unter Verwendung von Video- und Phasenkompensation erzeugten Signal ist. Der Ausatmungszyklus ist das Intervall zwischen den Linien 1001 und 1002 und der Einatmungszyklus ist das Intervall zwischen den Linien 1003 und 1002. 9 demonstriert, dass das vorliegende Verfahren Atemphasen präzise aus einem Video des Subjekts identifiziert.
Verschiedene Ausführungsformen
Die hier erwähnten Lehren können unter Verwendung von beliebigen bekannten oder später entwickelten Systemen, Strukturen, Vorrichtungen und/oder Software durch einen entsprechenden Fachmann ohne unnötiges Experimentieren aus der hier bereitgestellten funktionellen Beschreibung mit einem allgemeinen Wissen über die relevanten Fachgebiete in Hardware oder Software implementiert werden. Ein oder mehrere Aspekte der hier beschriebenen Verfahren sind dazu bestimmt, in einen Herstellungsartikel integriert zu werden. Der Herstellungsartikel kann verschickt, verkauft, vermietet oder anderweitig separat bereitgestellt werden, entweder allein oder als Teil eines Produktsets oder einer Dienstleistung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Handbook of Mathematical Models in Computer Vision”, Paragios et al., Springer (2006), ISBN-13: 978-0387263717, [siehe Kapitel mit dem Titel: „Optical Flow Estimation”, von David J. Fleet und Yair Weiss [0026]
„An Iterative Image Registration Technique with an Application to Stereo Vision”, Bruce D. Lucas und Takeo Kanade, Proc. of Imaging Understanding Workshop, S. 121–130, (1981) [0035]
„Determining Optical Flow”, Berthold K. P. Horn und Brian G. Schunck, Band 17, S. 185–203, Artificial Intelligence, (1981) [0035]
„Computation of Optical Flow”, S. S. Beauchemin, J. L. Barron, ACM Computing Surveys, Band 27, Nr. 3, (September 1995) [0035]
„A Database and Evaluation Methodology for Optical Flow”, Simon Baker, Daniel Scharstein, J. P. Lewis, Stefan Roth, Michael J. Black, Richard Szeliski, International Journal of Computer Vision, Band 92, S. 1–31 (2011) [0036]

Claims

Computerimplementiertes Verfahren zur Schätzung der Atemphase aus einem Video eines Subjekts zur Bewertung der Atmungsfunktion, wobei das Verfahren Folgendes umfasst: Erhalten eines Videos eines Subjekts, wobei das Video Bildrahmen einer Region des Subjekts umfasst, in welcher ein Signal, welches der Atmungsfunktion des Subjekts entspricht, durch wenigstens einen Bildgebungskanal einer Videobildgebungsvorrichtung, die zum Aufnehmen des Videos verwendet wird, registriert werden kann; Verarbeiten von Pixeln in den Bildrahmen zur Identifizierung eines Atemmusters für das Subjekt, wobei das Atemmuster ein Atemsignal mit temporal sukzessiven Maximum/Minimum-Paaren umfasst; Auswählen eines relevanten Maximum/Minimum-Paares, für welches es erwünscht ist, die Atemphase zu bestimmen; Erzeugen eines Arrays von optischen Strömungsvektoren zwischen einem Fenster von Pixelpositionen in einem Referenzbildrahmen, der einem Maximum des ausgewählten Paares/Minimum-Paares entspricht, und einem im Wesentlichen gleichen Fenster von Pixelpositionen in jedem einer vorbestimmten Anzahl von Bildrahmen, die einem Atemsignal zwischen dem Maximum und bei einem in dem Minimum endenden vorausgewählten Zeitpunkt entsprechen, wobei die optischen Strömungsvektoren eine Richtung, welche einer Bewegung entspricht, die durch temporale Variationen der Intensität hervorgerufen wird, und einen Betrag aufweisen, welcher der Menge der Variation entspricht; Bestimmen eines Verhältnisses von optischen Strömungsvektoren, welche eine nach oben weisende Richtung aufweisen, in Bezug auf optische Strömungsvektoren, die eine nach unten weisende Richtung aufweisen; und Bestimmen, basierend auf diesem Verhältnis, dass die Atemphase für das ausgewählte Maximum/Minimum-Paar eine von Einatmung und Ausatmung ist.
Verfahren nach Anspruch 1, wobei die Videobildgebungsvorrichtung eine beliebige ist von einer Farbvideokamera, einer Infrarotvideokamera, einer monochromen Videokamera, einer Multispektralvideobildgebungsvorrichtung, einer Hyperspektralvideokamera und einer Hybridvorrichtung, die jede Kombination davon umfasst.
Verfahren nach Anspruch 1, wobei, vor dem Bestimmen des Verhältnisses, nur jene optischen Strömungsvektoren vorausgewählt werden, welche einen Betrag aufweisen, welcher einen vorbestimmten Schwellenwert übersteigt.
Verfahren nach Anspruch 1, wobei Identifizieren des Maximum/Minimum-Paares Folgendes umfasst: Filtern des Atemsignals mit einem beweglichen Mittelungsfilter, um ein geglättetes Signal zu erhalten; Berechnen einer Ableitung des geglätteten Signals; und Lokalisieren von positiven und negativen Nulldurchgängen in der Ableitung, welche Maxima und Minima entsprechen.
Verfahren nach Anspruch 1, wobei Identifizieren der Maximum/Minimum-Paare durch eines von einem manuellen Auswahlverfahren und einem automatischen Maximumdetektionsverfahren durchgeführt wird.
System zur Schätzung der Atemphase aus einem Video eines Subjekts zur Bewertung der Atmungsfunktion, wobei das System Folgendes umfasst: einen mit einem Speicher verbundenen Prozessor, wobei der Prozessor maschinenlesbare Anweisungen zur Durchführung der folgenden Schritte ausführt: Erhalten eines Videos eines Subjekts, wobei das Video Bildrahmen einer Region des Subjekts umfasst, in welcher ein Signal, welches der Atmungsfunktion des Subjekts entspricht, durch wenigstens einen Bildgebungskanal einer Videobildgebungsvorrichtung, die zum Aufnehmen des Videos verwendet wird, registriert werden kann; Verarbeiten von Pixeln in den Bildrahmen zur Identifizierung eines Atemmusters für das Subjekt, wobei das Atemmuster ein Atemsignal mit temporal sukzessiven Maximum/Minimum-Paaren umfasst; Auswählen eines relevanten Maximum/Minimum-Paares, für welches es erwünscht ist, die Atemphase zu bestimmen; Erzeugen eines Arrays von optischen Strömungsvektoren zwischen einem Fenster von Pixelpositionen in einem Referenzbildrahmen, der einem Maximum des ausgewählten Paares/Minimum-Paares entspricht, und einem im Wesentlichen gleichen Fenster von Pixelpositionen in jedem einer vorbestimmten Anzahl von Bildrahmen, die einem Atemsignal zwischen dem Maximum und bei einem in dem Minimum endenden vorausgewählten Zeitpunkt entsprechen, wobei die optischen Strömungsvektoren eine Richtung, welche einer Bewegung entspricht, die durch temporale Variationen der Intensität hervorgerufen wird, und einen Betrag aufweisen, welcher der Menge der Variation entspricht; Bestimmen eines Verhältnisses von optischen Strömungsvektoren, welche eine nach oben weisende Richtung aufweisen, in Bezug auf optische Strömungsvektoren, die eine nach unten weisende Richtung aufweisen; Bestimmen, basierend auf diesem Verhältnis, dass die Atemphase für das ausgewählte Maximum/Minimum-Paar eine von Einatmung und Ausatmung ist; und Speichern eines Ergebnisses der Bestimmung auf der Grundlage des Verhältnisses auf dem Speicher.
System nach Anspruch 6, wobei die Videobildgebungsvorrichtung eine beliebige ist von einer Farbvideokamera, einer Infrarotvideokamera, einer monochromen Videokamera, einer Multispektralvideobildgebungsvorrichtung, einer Hyperspektralvideokamera und einer Hybridvorrichtung, die jede Kombination davon umfasst.
System nach Anspruch 6, wobei, vor dem Bestimmen des Verhältnisses, nur jene optischen Strömungsvektoren vorausgewählt werden, welche einen Betrag aufweisen, welcher einen vorbestimmten Schwellenwert übersteigt.
System nach Anspruch 6, wobei Identifizieren des Maximum/Minimum-Paares Folgendes umfasst: Filtern des Atemsignals mit einem beweglichen Mittelungsfilter, um ein geglättetes Signal zu erhalten; Berechnen einer Ableitung des geglätteten Signals; und Lokalisieren von positiven und negativen Nulldurchgängen in der Ableitung, welche Maxima und Minima entsprechen.
System nach Anspruch 6, wobei Identifizieren der Maximum/Minimum-Paare durch eines von einem manuellen Auswahlverfahren und einem automatischen Maximumdetektionsverfahren durchgeführt wird.