DE102017006529A1

DE102017006529A1 - Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung

Info

Publication number: DE102017006529A1
Application number: DE102017006529.2A
Authority: DE
Inventors: Jasper DIESEL; Frank Franz; Stefan Schlichting
Original assignee: Draegerwerk AG and Co KGaA
Current assignee: Draegerwerk AG and Co KGaA
Priority date: 2017-07-11
Filing date: 2017-07-11
Publication date: 2019-01-17
Also published as: US11666247B2; CN110832599A; JP2020515948A; JP6918129B2; US20200196913A1; WO2019011769A1

Abstract

Ausführungsbeispiele schaffen ein Verfahren, eine Vorrichtung und ein Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung. Das Verfahren (10) zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung basierend auf den Bilddaten umfasst ein Detektieren (12) des Patienten basierend auf den Bilddaten. Das Verfahren umfasst ferner ein Detektieren (14) zumindest einer weiteren Person basierend auf den Bilddaten und ein Bestimmen (16) zumindest einer geometrischen Relation zwischen dem Patienten und der zumindest einen weiteren Person, wobei das Bestimmen (16) der geometrischen Relation ein Bestimmen einer Orientierung oder einer Blickrichtung der zumindest einen weiteren Person in Relation zu dem Patienten umfasst. Das Verfahren umfasst ferner ein Erkennen (18) der Patientenüberprüfung basierend auf der geometrischen Relation.

Description

Ausführungsbeispiele beziehen sich auf ein Verfahren, eine Vorrichtung und ein Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung, insbesondere aber nicht ausschließlich, auf ein Konzept zur automatisierten Erkennung von Patientenüberprüfungen durch Pflegepersonal, worauf aufbauend eine automatisierte Dokumentation oder auch Alarmierung aufgebaut werden kann.
In der konventionellen Technik wird eine automatische Überwachung von Intensivpatienten primär durch Monitoring (Überwachen) von Vitalparametern durch Medizingeräte (z.B. hämodynamisches Monitoring, Beatmungsgerät) am Betten-/Patientenplatz durchgeführt. Die Medizingeräte sollen alarmieren, wenn ungewünschte physiologische Zustände eintreten. Nicht minder wichtig ist jedoch die Überwachung von Zustandsvariablen wie die Aktivität des Patienten oder das Erkennen von gefährlichen Situationen wie Stürzen.
Bisher findet eine solche Überwachung maßgeblich durch anwesendes pflegerisches Personal statt, das, je nach Zustand des Patienten, in mitunter sehr engmaschigen Zeitintervallen nach dem Patienten schauen sollte, was wiederum mit immensen Kosten verbunden ist. Andererseits kann jede Manipulation am/des Patienten mit Stress verbunden sein, so dass der Patient mitunter nicht genügend Ruhephasen bekommt.
Das Betreuungsverhältnis von Patienten und Pflegekräften sollte auf Intensivstationen laut der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin höchstens 2:1 betragen (vgl. Jorch, et al., 2010), liegt in der Realität aber häufig deutlich darüber. Insbesondere dadurch kann der Patient zu lange unbeaufsichtigt sein und eine Überwachung der entsprechenden Zeitintervalle ist ratsam. Andererseits ist es möglich, dass ein Patient nicht genügend Ruhephasen bekommt, weil er zu häufig durch Handlungen des medizinischen Personals gestört wird. Hiermit verbunden ist u.a. das Fehlen eines normalen Tag-Nacht-Rhythmus, was sich nachweisbar negativ auf den Heilungsprozess auswirkt. Hier kann also eine Überwachung und zeitliche Begrenzung der Manipulationen am Patienten sinnvoll sein.
Das Problem des hohen Personalaufwandes zur Überwachung des Patienten wird bereits auf viele verschiedene Arten und Weisen angegangen. Patientenüberprüfungen und Manipulationen im Speziellen zu überwachen ist hingegen heutzutage kaum möglich. Im Folgenden soll auf einige Vorgehensweisen und Systeme eingegangen werden.
Patientenmonitoring ist das Überwachen von Vitalparametern durch Medizingeräte (hämodynamisches Monitoring, Beatmungsgerät) am Bettenplatz und ist der Standard in der automatischen Überwachung von Intensivpatienten. Die Medizingeräte sind in der Lage das medizinische Personal zu alarmieren, wenn ein überwachter Vitalparameter außerhalb eines bestimmten Bereichs liegt. Sie entlasten damit das Personal und ermöglichen die Überwachung bestimmter Parameter. Medizingeräte heute sind nicht in der Lage das Pflegepersonal gänzlich zu ersetzen und verfügen kaum über Kontextinformationen - d.h. sie sind sehr Patienten-fixiert und können daher auch die Überprüfung und Manipulation eines Patienten nicht feststellen und damit überwachen.
Tele-ICUs (von engl. Intensive Care Unit, Intensivstation) spielen ungefähr seit dem Jahr 2000, besonders in den USA, eine Rolle. Dabei werden Video- und Tondaten zusammen mit gemessenen Vitalparametern an eine entfernt liegende Station übertragen. Hier befindet sich Personal, das die Daten analysiert (Überblick: (Goran, 2010)). Tele-ICUs tragen damit dazu bei, Personalkosten zu reduzieren, denn ein Mitarbeiter kann leichter mehrere Bildschirme gleichzeitig beobachten als mehrere Bettenplätze. Auch mit Tele-ICU Systemen ist ein persönlicher Kontakt mit dem Patienten wichtig und nötig, z.B. um diesen Umzulagern, zwar ließen sich die Zeitintervalle dieser Kontakte mit Tele-ICU Systemen überprüfen, jedoch erhöht sich damit die Last der Mitarbeiter in der Tele-ICU Station.
Auf einer Intensivstation werden die Schichten für die einzelnen Pflegekräfte natürlich geplant. Dies umfasst mindestens die Zeit und den Ort (in der Regel inklusive der zugeteilten Bettenplätze). Die Planung stellt in der Regel nicht zwangsläufig sicher, dass die Zeitintervalle für die Überprüfungen auch tatsächlich eingehalten werden, bzw. ist kein unbedingt akkurates Abbild der Realität.
Kamerabasierte Überwachungssysteme für die Intensivstation, in denen Algorithmen automatisch definierte Ereignisse erkennen, gibt es derzeit noch nicht. US 2016 183 864 A1 beschreibt eine Methode, die die Zeit einer Person in einer definierten Zone um den Patienten misst und diese gemessene Zeit mit einer festgelegten Zeit vergleicht. Als Eingangsdaten werden Daten einer Tiefenkamera verwendet. Dass sich eine Person in einer virtuellen Zone um den Patienten befindet, bedeutet jedoch noch nicht, dass diese den Patienten überprüft oder gar manipuliert.
Weitere Informationen finden sich in

• US 2016 183 864 A1 ,
• Ahad, M. A., Tan, J. K., Kim, H., und Ishikawa, S. (2012), Motion history image: its variants and applications, Machine Vision and Applications,
• Barnich, O., Van Droogenbroeck, M. (2011), ViBe: A universal background subtraction algorithm for video sequences, Image Processing, IEEE Transactions on,
• Breiman, L. (2001), Random Forests, Machine Learning, S. 5-32,
• Dalal, N., Triggs, B. (2005), Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition,
• Fanelli, G., Weise, T., Gall, J., St Van Gool, L. (2011), Real time head pose estimation from consumer depth cameras, Pattern Recognition,
• Fischler, M. A. (1981), Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, S. 381-395,
• Girardeau-Montaut, D., et al., e. (2005), Change detection on points cloud data acquired with a ground laser scanner, International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences,
• Goran, S. (August 2010), A Second Set of Eyes: An Introduction to Tele-ICU, Critical-CareNurse,
• Hartman, F., (2011), Robotersteuerung durch Gesten,
• Jorch, G., Kluge, S., König, F., Markewitz, A., Notz, K., Parvu, V., ..., Waydhas, C. (2010), Empfehlungen zur Struktur und Ausstattung von Intensivstationen, Verabschiedet mit Beschluss des Präsidiums der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI),
• Krizhevsky, A., Sutskever, I., und Hinton, G. E. (2012), Imagenet classification with deep convolutional neural networks, Advances in neural information processing systems, S. 1097-1105,
• Lallemand, J., Ronge, A., Szczot, M., Ilic, S. (2014), Pedestrian orientation estimation, S. 476-487, Springer,
• Martinez, M., Schauerte, B., Stiefelhagen, R., 2013, „BAM!" Depth-Based Body Analysis in Critical Care, International Conference on Computer Analysis of Images and Patterns, S. 465-472,
• Rehder, E., Kloeden, H., Stiller, C., 2014, Head detection and orientation estimation for pedestrian safety, 17th International IEEE Conference on Intelligent Transportation Systems (ITSC), S. 2292-2297,
• Song, S., Xiao, J, (2014), Sliding shapes for 3d object detection in depth images, European Conference on Computer Vision, S. 634-651, und
• Welch, G., Bishop, G. (Juli 2006), An Introduction to the Kalman Filter.

Es besteht daher ein Bedarf ein verbessertes Konzept für die Erkennung von Patientenüberprüfungen zu schaffen. Diesem Bedarf werden Ausführungsbeispiele eines Verfahrens, einer Vorrichtung und eines Computerprogramms gemäß den anhängigen unabhängigen Ansprüchen gerecht.
Manche Ausführungsbeispiele können beispielsweise automatisch und zuverlässig Patientenüberprüfungen oder Patientenmanipulation auf der Grundlage von Bilddaten erkennen. Somit kann zumindest in einigen Ausführungsbeispielen besser sichergestellt werden, dass die Überprüfungen und Manipulationen in adäquaten Zeitabständen erfolgen, um eine angemessene medizinische Versorgung und Pflege mit genügend Ruhephasen zu gewährleisten. Als Überprüfung wird hauptsächlich eine visuelle Kontrolle des Patienten verstanden, z.B. wenn eine Pflegekraft über ein gewisse Zeit den Patienten anschaut bzw. zu dem Patienten hin orientiert ist. Eine Manipulation des Patienten impliziert einen physischen Kontakt. Einige Ausführungsbeispiele können genau diese Kontrolle automatisch, zuverlässig und störungsfrei übernehmen. Dadurch kann sich die Pflege des Patienten verbessern und ggfs. können Kosten durch bessere Planung reduziert werden.
Ausführungsbeispiele basieren auf dem Kerngedanken, dass aus Bilddaten einer Patientenumgebung in der sich eine Pflegekraft befindet Information über eine geometrische Relation zwischen Pflegekraft und Patient im Rahmen einer Orientierung oder einer Blickrichtung der Pflegekraft bestimmt werden kann. Anhand dieser Information lässt sich feststellen, ob eine Patientenüberprüfung oder eine Patientenmanipulation stattgefunden hat. Eine Zuverlässigkeit der Bestimmung über die geometrische Relation ist dabei gegenüber einer reinen Feststellung, ob sich Patient und Pflegekraft im gleichen Raum oder Erfassungsbereich befinden, erhöht.
Ausführungsbeispiele stellen ein Verfahren zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung basierend auf den Bilddaten bereit. Das Verfahren umfasst ein Detektieren des Patienten basierend auf den Bilddaten und ein Detektieren zumindest einer weiteren Person basierend auf den Bilddaten. Das Verfahren umfasst ferner ein Bestimmen zumindest einer geometrischen Relation zwischen dem Patienten und der zumindest einen weiteren Person. Das Verfahren umfasst darüber hinaus ein Erkennen der Patientenüberprüfung basierend auf der geometrischen Relation, wobei das Bestimmen der geometrischen Relation ein Bestimmen einer Orientierung und/oder einer Blickrichtung der zumindest einen weiteren Person in Relation zu dem Patienten umfasst. Ausführungsbeispiele können Patientenüberprüfungen zuverlässig durch Bestimmen der Orientierung oder der Blickrichtung der zumindest einen weiteren Person erkennen.
In einigen weiteren Ausführungsbeispielen kann das Bestimmen der geometrischen Relation ein Bestimmen einer Distanz zwischen der zumindest einen weiteren Person und dem Patienten umfassen. Ausführungsbeispiele können so ggf. auch eine Patientenmanipulation erkennen. In manchen Ausführungsbeispielen kann das Bestimmen der geometrischen Relation eine Erkennung einer Berührung zwischen der zumindest einen weiteren Person und dem Patienten umfassen und so zuverlässig eine Patientenüberprüfung oder -manipulation detektieren. In weiteren Ausführungsbeispielen kann das Verfahren ein Ausgeben einer Information über einen Zeitraum, währenddessen die geometrische Relation zwischen dem Patienten und der zumindest einen weiteren Person vorlag, umfassen. Die Erkennung einer Patientenüberprüfung kann daher an eine Dauer des Vorliegens der geometrischen Relation geknüpft werden und so noch zuverlässiger gemacht werden. Darüber hinaus können zumindest manche Ausführungsbeispiele ein Überprüfen eines Zeitintervalls für die Patientenüberprüfung und ein Ausgeben einer Warnung, wenn erkannte Patientenüberprüfungen von dem Zeitintervall abweichen, durchführen, Insofern kann eine automatisierte Überwachung bzw. ein Warnmechanismus ermöglicht werden. Beispielsweise kann das Überprüfen des Zeitintervalls ein Auswerten einer tageszeitabhängigen Funktion zusammen mit ein oder mehreren gewichteten geometrischen Relationen umfassen, so dass mehrere relevante Parameter in den Mechanismus einfließen können.
In Ausführungsbeispielen kann ein Erkennen ob die zumindest eine weitere Person eine Pflegekraft ist, erfolgen und darüber hinaus ein Erkennen der Patientenüberprüfung basierend auf der zumindest einen geometrischen Relation, wenn die Person eine Pflegekraft ist. Fehlerkennungen oder Fehldetektionen von Patientenüberprüfungen können so reduziert werden. Das Erkennen, ob die zumindest eine weitere Person eine Pflegekraft ist, kann beispielsweise auf einer Farbanalyse von Bildpunkten der zumindest einen weiteren Person in den Bilddaten basieren, z.B. kann eine Kleidungsfarbe detektiert werden. Generell kann das Erkennen der Pflegekraft auf einer Kennung der Pflegekraft basieren, dabei sind vielerlei Mechanismen denkbar, Beispiele sind optische Kennungen, akustische Kennungen, aber auch elektronische Kennungen, usw.
In einigen Ausführungsbeispielen kann ein Bestimmen mehrerer weiterer Personen in der Patientenumgebung erfolgen. Es können so beispielsweise Ärzte, Pflegepersonal und Besucher unterschieden werden. In manchen Ausführungsbeispielen kann ein Durchführen des Verfahrens nach Erhalt einer Alarminformation von einem Medizingerät erfolgen. Ausführungsbeispiele können so, ausgelöst durch einen Alarm (beispielsweise durch einen kritischen Vitalparameter), das Verfahren durchführen und beispielsweise eine Zeit zwischen Alarmauslösung und erfolgen der Patientenüberprüfung bestimmen. In weiteren Ausführungsbeispielen kann das Verfahren auch überwachen, ob eine Patientenüberprüfung innerhalb eines vorgegebenen Zeitraums nach Erhalt der Alarminformation erfolgt. Ausführungsbeispiele können so ggf. eine Dokumentation erleichtern, indem eine Timerfunktion in Betracht gezogen wird und dokumentiert wird, ob eine Patientenüberprüfung innerhalb einer durch die Timerfunktion überwachten Zeit erfolgt. In weiteren Ausführungsbeispielen kann ein Bestimmen einer Information darüber, ob der Patient häufiger oder weniger häufig überprüft werden sollte, und ein Ausgeben dieser Information erfolgen. Ausführungsbeispiele können so ein Warnsystem und/oder eine automatisierte Überwachung ermöglichen. Beispielsweise kann dann auch ein Dokumentieren erkannter Patientenüberprüfungen automatisiert erfolgen oder erleichtert werden.
Ausführungsbeispiele schaffen auch eine Vorrichtung mit einer Recheneinrichtung, die ausgebildet ist, um ein Verfahren gemäß einem der vorangehenden Ansprüche durchzuführen.
Ein weiteres Ausführungsbeispiel ist ein Programm oder Computerprogramm mit einem Programmcode zur Durchführung eines hierin beschriebenen Verfahrens, wenn der Programmcode auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.
Weitere vorteilhafte Ausgestaltungen werden nachfolgend anhand der in den Zeichnungen dargestellten Ausführungsbeispiele, auf welche Ausführungsbeispiele generell jedoch nicht insgesamt beschränkt sind, näher beschrieben. Es zeigen:

1 ein Blockdiagramm eines Ausführungsbeispiels eines Verfahrens zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung basierend auf den Bilddaten;
2 ein Übersichtsdiagramm verschiedener Verfahren zur Erfassung von Tiefeninformation in Ausführungsbeispielen;
3 eine Patientenumgebung in einem Ausführungsbeispiel;
4 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenüberprüfung;
5 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung von weiteren Personen;
6 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenmanipulation;
7 eine Veranschaulichung zur Bestimmung von Orientierung und Distanz zwischen einem Patienten und einer weiteren Person in einem Ausführungsbeispiel;
8 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Bestimmung ob eine Patientenkontrolle erhöht oder verringert werden sollte in einem Ausführungsbeispiel,
9 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenüberprüfung nach einer Alarmierung; und
10 ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenüberprüfung nach einer Alarmierung durch ein externes System.

Verschiedene Ausführungsbeispiele werden nun ausführlicher unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen einige Ausführungsbeispiele dargestellt sind.
Bei der nachfolgenden Beschreibung der beigefügten Figuren, die lediglich einige exemplarische Ausführungsbeispiele zeigen, können gleiche Bezugszeichen gleiche oder vergleichbare Komponenten bezeichnen. Ferner können zusammenfassende Bezugszeichen für Komponenten und Objekte verwendet werden, die mehrfach in einem Ausführungsbeispiel oder in einer Zeichnung auftreten, jedoch hinsichtlich eines oder mehrerer Merkmale gemeinsam beschrieben werden. Komponenten oder Objekte, die mit gleichen oder zusammenfassenden Bezugszeichen beschrieben werden, können hinsichtlich einzelner, mehrerer oder aller Merkmale, beispielsweise ihrer Dimensionierungen, gleich, jedoch gegebenenfalls auch unterschiedlich ausgeführt sein, sofern sich aus der Beschreibung nicht etwas anderes explizit oder implizit ergibt. Optionale Komponenten sind in den Figuren mit gestrichelten Linien oder Pfeilen dargestellt.
Obwohl Ausführungsbeispiele auf verschiedene Weise modifiziert und abgeändert werden können, sind Ausführungsbeispiele in den Figuren als Beispiele dargestellt und werden hierin ausführlich beschrieben. Es sei jedoch klargestellt, dass nicht beabsichtigt ist, Ausführungsbeispiele auf die jeweils offenbarten Formen zu beschränken, sondern dass Ausführungsbeispiele vielmehr sämtliche funktionale und/oder strukturelle Modifikationen, Äquivalente und Alternativen, die im Bereich der Erfindung liegen, abdecken sollen. Gleiche Bezugszeichen bezeichnen in der gesamten Figurenbeschreibung gleiche oder ähnliche Elemente.
Man beachte, dass ein Element, das als mit einem anderen Element „verbunden“ oder „verkoppelt“ bezeichnet wird, mit dem anderen Element direkt verbunden oder verkoppelt sein kann oder dass dazwischenliegende Elemente vorhanden sein können. Wenn ein Element dagegen als „direkt verbunden“ oder „direkt verkoppelt“ mit einem anderen Element bezeichnet wird, sind keine dazwischenliegenden Elemente vorhanden. Andere Begriffe, die verwendet werden, um die Beziehung zwischen Elementen zu beschreiben, sollten auf ähnliche Weise interpretiert werden (z.B., „zwischen“ gegenüber „direkt dazwischen“, „angrenzend“ gegenüber „direkt angrenzend“ usw.).
Die Terminologie, die hierin verwendet wird, dient nur der Beschreibung bestimmter Ausführungsbeispiele und soll die Ausführungsbeispiele nicht beschränken. Wie hierin verwendet, sollen die Singularformen „einer,“ „eine“, „eines“ und „der, die, das“ auch die Pluralformen beinhalten, solange der Kontext nicht eindeutig etwas anderes angibt. Ferner sei klargestellt, dass die Ausdrücke wie z.B. „beinhaltet“, „beinhaltend“, „aufweist“, „umfasst“, „umfassend“ und/oder „aufweisend“, wie hierin verwendet, das Vorhandensein von genannten Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder die Hinzufügung von einem bzw. einer oder mehreren Merkmalen, ganzen Zahlen, Schritten, Arbeitsabläufen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Solange nichts anderes definiert ist, haben sämtliche hierin verwendeten Begriffe (einschließlich von technischen und wissenschaftlichen Begriffen) die gleiche Bedeutung, die ihnen ein Durchschnittsfachmann auf dem Gebiet, zu dem die Ausführungsbeispiele gehören, beimisst. Ferner sei klargestellt, dass Ausdrücke, z.B. diejenigen, die in allgemein verwendeten Wörterbüchern definiert sind, so zu interpretieren sind, als hätten sie die Bedeutung, die mit ihrer Bedeutung im Kontext der einschlägigen Technik konsistent ist, und nicht in einem idealisierten oder übermäßig formalen Sinn zu interpretieren sind, solange dies hierin nicht ausdrücklich definiert ist.
1 zeigt in einem Blockdiagramm ein Ausführungsbeispiel eines Verfahrens 10 zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung basierend auf den Bilddaten. Das Verfahren umfasst ein Detektieren 12 des Patienten basierend auf den Bilddaten und ein Detektieren 14 zumindest einer weiteren Person basierend auf den Bilddaten. Das Verfahren 10 umfasst darüber hinaus ein Bestimmen 16 zumindest einer geometrischen Relation zwischen dem Patienten und der zumindest einen weiteren Person. Das Bestimmen 16 der geometrischen Relation umfasst ein Bestimmen einer Orientierung oder einer Blickrichtung der zumindest einen weiteren Person in Relation zu dem Patienten. Das Verfahren 10 umfasst ein Erkennen 18 der Patientenüberprüfung basierend auf der geometrischen Relation.
Ausführungsbeispiele schaffen auch eine Vorrichtung mit einer Recheneinrichtung, die ausgebildet ist, um eines der hierein beschriebenen Verfahren 10 durchzuführen. In Ausführungsbeispielen kann die Recheneinrichtung einem beliebigen Controller oder Prozessor oder einer programmierbaren Hardwarekomponente entsprechen. Beispielsweise kann das Verfahren 10 auch als Software realisiert sein, die für eine entsprechende Hardwarekomponente programmiert ist. Insofern kann die Recheneinrichtung als programmierbare Hardware mit entsprechend angepasster Software implementiert sein. Dabei können beliebige Prozessoren, wie Digitale SignalProzessoren (DSPs) oder Grafikprozessoren zum Einsatz kommen. Ausführungsbeispiele sind dabei nicht auf einen bestimmten Typ von Prozessor eingeschränkt. Es sind beliebige Prozessoren oder auch mehrere Prozessoren zur Implementierung der Recheneinrichtung denkbar.
Ein weiteres Ausführungsbeispiel ist ein Programm oder Computerprogramm mit einem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn der Programmcode auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.
In Ausführungsbeispielen kann die Recheneinrichtung mit einer Erfassungseinrichtung gekoppelt sein, die für die Erfassung der Bilddaten angepasst oder ausgelegt ist. Beispielsweise können zur Erfassung der Bilddaten ein oder mehrere Sensoren verwendet werden. In einem solchen Ausführungsbeispiel erfassen beispielsweise die ein oder mehreren Sensoren der Erfassungseinrichtung zumindest dreidimensionale (Teil-) Bilddaten und stellen diese der Recheneinrichtung bereit, die in den Bilddaten den Patienten und die zumindest eine weitere Person detektiert oder erkennt.
Die Erfassungseinrichtung kann mit einer Bestimmungseinrichtung und/oder mit einer Schnittstelle gekoppelt sein. Die Erfassungseinrichtung kann dabei ein oder mehreren beliebigen optischen Erfassungseinheiten, Erfassungsgeräten, Erfassungsmodulen, Sensoren, usw. entsprechen. Denkbar sind hier Kameras, Bildsensoren, Infrarotsensoren, Sensoren zur Erfassung ein-, zwei-, drei- oder mehrdimensionaler Daten, Sensorelemente verschiedener Art usw. Die ein oder mehreren Sensoren können in weiteren Ausführungsbeispielen zumindest einen Sensor umfassen, der zumindest dreidimensionale Daten liefert. Die dreidimensionalen Daten erfassen demnach Information über Bildpunkte im Raum und können zusätzlich, quasi als weitere Dimensionen, weitere Information umfassen, beispielsweise Farbinformation (z.B. Rot, Grün, Blau (RGB) Farbraum), Infrarotintensität, Transparenzinformation (z.B. Alpha-Werte), usw.
Es gibt verschiedene Arten von Sensoren, die zwar kein zweidimensionales Bild einer Szene erzeugen, aber eine dreidimensionale Punktemenge erzeugen, etwa Bildpunkte mit Koordinaten oder verschiedener Tiefeninformation, die Information über Oberflächenpunkte eines Objektes umfassen. Beispielsweise kann hier Information über einen Abstand der Bildpunkte zu dem Sensor oder Sensorsystem selbst vorhanden sein. Es gibt einige Sensoren, die nicht nur ein zweidimensionales Bild aufnehmen, sondern zusätzlich eine Tiefenkarte, die die Distanzen der einzelnen Pixel zum Sensorsystem selbst beinhaltet. Hieraus lässt sich dann auch eine dreidimensionale Punktewolke errechnen, die die aufgenommene Szene in 3D repräsentiert.
2 zeigt ein Übersichtsdiagramm verschiedener Verfahren zur Erfassung von Tiefeninformation in Ausführungsbeispielen. Eine Übersicht von den verschiedenen Methoden zur Bestimmung der Tiefeninformationen für eine Tiefenkarte ist in 2 gezeigt. Man kann zwischen direkten 20a und indirekten Methoden 20b unterscheiden, wobei bei den ersteren die Distanz eines Punktes zum System direkt vom System selbst bestimmt wird und beim letzteren zusätzliche Verfahren benötigt werden. Zusätzliche Informationen über die einzelnen Möglichkeiten finden sich u.a. bei Hartman, 2011. In jüngerer Vergangenheit sind diese Sensoren viel günstiger und besser geworden. Die dreidimensionale Information ermöglicht es Computern, aufgenommene Objekte genauer zu analysieren und interessante Informationen, wie Abstände zwischen Objekten, abzuleiten.
Die 2 zeigt ein Übersichtsdiagramm zur Bestimmung von dreidimensionalen Bilddaten in einigen Ausführungsbeispielen, wobei auch über die 2 hinausgehende Bestimmungsvarianten in Ausführungsbeispielen zum Einsatz kommen können. Es sei darauf hingewiesen, dass die dreidimensionalen Bilddaten auf die hier Bezug genommen wird, oftmals nur einem dreidimensionalen Teilbild entsprechen, da ein Sensor nur Bildpunkte aus einer bestimmten Perspektive bestimmt und somit ein unvollständiges dreidimensionales Bild entstehen kann. Wie im weiteren Verlauf noch erläutert wird, können auch mehrere solche Teilbilder zusammengefasst werden, um ein Bild mit verbesserter Qualität oder mehr Bildpunkten zu erhalten, das auch wiederum nur einem Teilbild entsprechen kann.
Die 2 zeigt zunächst in 20a die Bestimmung oder Berechnung von Tiefeninformation in Bilddaten. Dabei lassen sich direkte Verfahren im Zweig 20b und indirekte Verfahren im Zweig 20c differenzieren, wobei die ersteren den Abstand eines Punktes zum System über das System direkt bestimmen und die letzteren zusätzliche Einrichtungen zur Abstandsbestimmung benötigen. Direkte Verfahren sind beispielsweise Laufzeitmessungen (auch engl. „time of flight“) 20d und (De-) Fokussierungsverfahren 20e. Indirekte Verfahren umfassen beispielsweise Triangulation 20f (beispielsweise über strukturiertes Licht 20h, Bewegung 20i oder Stereo-Kameras 20j und Auswertung von Oberflächencharakteristika 20g.
Weitere Details zu den verschiedenen Möglichkeiten fmden sich beispielsweise in Hartman F., 2011, s.o. Solche Sensoren sind in der Vergangenheit kostengünstiger geworden und wurden weiterentwickelt sowie leistungsstärker. Dreidimensionale Information kann einen Computer in die Lage versetzen, entsprechende Analysen der erfassten Objekte durchzuführen und entsprechende Daten bereitzustellen. Die dreidimensionale Information ermöglicht es Computern oder Recheneinrichtungen allgemein, aufgenommene Objekte genauer zu analysieren und interessante Informationen, wie Abstände zwischen Objekten, abzuleiten.
Eine konzeptuelle Darstellung einer Vorrichtung 30, die zur Durchführung eines Ausführungsbeispiels eines Verfahrens 10 ausgebildet ist, ist in der 3 dargestellt. Die 3 zeigt eine Patientenumgebung, wobei der Patient 100 durch ein Krankenbett oder Patientenlagerungsvorrichtung repräsentiert wird. Die Vorrichtung 30 umfasst hier eine Erfassungseinrichtung mit zwei Teilsystemen oder Sensoren 32a und 32b zur Erfassung zumindest dreidimensionaler Teilbilddaten aus unterschiedlichen Perspektiven der Szene in dem Krankenzimmer. Die 3 zeigt darüber hinaus ein konfigurierbares Krankenbett (stellvertretend für eine allgemeine Patientenlagerungsvorrichtung mit dem Patienten 100) und eine Tür. Die beiden Teilsysteme 32a und 32b der Erfassungseinrichtung sind über eine Kommunikationsverbindung, beispielsweise über Ethernet und Internet-Protokoll (IP) und/oder in einem Netzwerk, mit der Bestimmungseinrichtung/Recheneinrichtung gekoppelt, die hier als Prozessoreinheit 10 implementiert ist und die ausgebildet ist, um das oben beschriebene Verfahren durchzuführen, wenn entsprechende Softwarebefehle darauf ausgeführt werden. Die 3 zeigt ferner ein kartesisches Koordinatensystem 33, das den nachfolgenden Betrachtungen zugrunde gelegt wird.
Generell kann die Vorrichtung 30 1...n Sensoren umfassen, die jeweils eine Punktemenge bestimmen, die zu einer einzigen dreidimensionalen (Teil-)Bildpunktmenge ergänzt oder zusammengeführt werden können. Wie das Ausführungsbeispiel in der 3 zeigt, kann die Erfassungseinrichtung mehrere Bildsensoren zur Erfassung von zumindest dreidimensionalen Teilbilddaten umfassen. Die Bestimmungseinrichtung/Recheneinrichtung ist dann ausgebildet, um die Daten der mehreren Bildsensoren zu Bilddaten eines zumindest dreidimensionalen Teilbildes des Patienten (hier Krankenbett) 100 zusammenzufassen. Die zusammengefassten Bilddaten beinhalten beispielsweise Information über die dreidimensionale Oberfläche der Patientenlagerungsvorrichtung und des Patienten 100 aus den Blickwinkeln der Sensoren 32a, 32b. Durch die Zusammenführung der Daten mehrerer Bildsensoren kann ein dreidimensionales (Teil-)Bild des abzubildenden Patienten/Krankenbettes 100 mit einem höheren Detailgrad erzeugt werden, als mit einem Einzelbild.
Die Recheneinrichtung kann in dem Ausführungsbeispiel der 3 als Prozessoreinheit ausgebildet sein, die über ein Netzwerk mit den 1..n Sensoren verbunden ist. Die eigentliche Bestimmung kann dann basierend auf den zusammengeführten Daten durchgeführt werden. Das Netzwerk, das eine Kommunikationsverbindung bereitstellen kann, kann auch dem Weiterleiten von Information dienen, beispielsweise zum Zwecke der Dokumentation, Überwachung oder der Darstellung (z.B. auf einem Monitor oder Display). Die 3 zeigt ein abnehmendes System 34, das ebenfalls über eine Kommunikationsverbindung mit der Recheneinrichtung gekoppelt sein kann, beispielsweise auch über eine entsprechend ausgebildete Schnittstelle. Das abnehmende System 34 nimmt Information ab und verarbeitet diese weiter, beispielsweise zur Dokumentation, Sicherheitsüberwachung, Alarmierung, usw.
Die Darstellung zeigt zwei Sensoren 32a, 32b, die die Szene beobachten und die durch eine Kommunikationsverbindung mit der Prozessoreinheit/Recheneinheit verbunden sind, die das beschriebene Verfahren 10 ausführt und selbst wiederum über eine Kommunikationsverbindung mit abnehmenden Systemen 34 verbunden ist. Die Darstellung enthält des Weiteren ein schematisches Bett mit dem Patienten 100, wie es auf einer Intensivstation eingesetzt werden könnte. Auf der dem Betrachter zugewandten Seite sind Seitenbegrenzungen des Bettes tiefgestellt, auf der anderen Seite hochgestellt.
Die Vorrichtung 30 kann in Ausführungsbeispielen demnach mit 1...n Sensoren 32a, 32b zur Erfassung der Bilddaten gekoppelt sein. Ein Sensor kann zumindest jeweils ein Tiefenbild liefern (optional z. B. auch ein Nahinfrarotbild und/oder Farbbild). Die Sensoren können so ausgerichtet sein, dass sich der zu überwachende Bettenplatz des Patienten 100 zu einem großen Anteil im Sichtfeld befindet. Über die Kommunikationsverbindungen werden die Sensoren 32a, 32b mit der Prozessoreinheit gekoppelt. Das Ergebnis des Verfahrens kann an weitere Systeme, wie Alarm- oder Dokumentationssysteme, übermittelt werden, beispielsweise ebenfalls über die Kommunikationsverbindung.
4 zeigt ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens 10 zur Erkennung einer Patientenüberprüfung. Das Verfahren wird beispielsweise auf der in der 3 gezeigten Prozessoreinheit ausgeführt. Als Eingabe erwartet das Verfahren 10 z.B. mindestens ein Tiefenbild pro verfügbarem Sensor 32a, 32b. Dies ist in 4 durch die Erfassung einer Bildinformation 40a dargestellt. Mit Hilfe dieser Bildinformation(en) wird der Patient 10, sofern in der Szene vorhanden, automatisch in der Szene detektiert und seine Position festgestellt 40b. Sollte in der Szene mehr als ein Patient vorhanden sein, kann der folgende Teil des Verfahrens für jeden Patienten individuell ausgeführt werden. Anschließend erfolgt eine Detektion der zumindest einen weiteren Person 40c, beispielsweise jeder weiteren Person, sich im Sichtfeld der Kamera befindet.
Alternativ können nur Personen bestimmter Gruppen (z.B. nur Pflegekräfte aber keine Besucher) berücksichtigt werden. Die folgenden rechteckigen Bearbeitungsblöcke 40d, 40e, und 40f werden nun individuell für jede so detektierte Person ausgeführt. Die jeweiligen Ausgaben 40g, 40h, 40i beziehen dann die Ergebnisse aller detektierten Personen über einen vorgegebenen Zeitwert mit ein. Ist eine Person gefunden, fährt das Verfahren 10 damit fort, die Orientierung dieser Person zu bestimmen 40d und diese in Relation mit der zuvor ermittelten Patientenposition zu bringen. Es ist zu beachten, dass „Orientierung“ hier auch durch „Blickrichtung“ ersetzt werden kann. Das in Relation setzen der Orientierung/Blickrichtung mit der Patientenposition soll im Wesentlichen eine Antwort auf die Frage liefern, ob bzw. wie lange die Person zum Patienten hin orientiert war und/oder diesen angeschaut hat.
An dieser Stelle kann, sofern gewünscht, das Verfahren eine Ausgabe 40g in Abhängigkeit eines vorgegebenen Zeitwerts und der detektierten Orientierung leisten. Optional kann das Verfahren fortfahren und die Distanz zwischen der detektierten Person und dem detektierten Patienten berechnen 40e. Das Bestimmen 16, vgl. 1, der geometrischen Relation umfasst dann ein Bestimmen einer Distanz zwischen der zumindest einen weiteren Person und dem Patienten 100. Wahlweise ist es dann möglich, sowohl die zuvor bestimmte Orientierung/Blickrichtung als auch die in 40e ermittelte Distanz zu verwenden, um wiederum in Abhängigkeit zu einem Zeitwert eine Ausgabe 40h zu veranlassen. In einem weiteren möglichen Ausführungsbeispiel kann das Verfahren 10 feststellen, ob die Person den Patienten berührt, das heißt, ob der Patient von der Person manipuliert wird 40f. Das Bestimmen 16, vgl. 1, der geometrischen Relation umfasst dann eine Erkennung einer Berührung zwischen der zumindest einen weiteren Person und dem Patienten 100. In Abhängigkeit dieser Information und eines beliebigen Zeitwertes kann womöglich eine dritte Ausgabe 40i erfolgen. Man beachte nochmals, dass Ausführungsbeispiele des Verfahrens 10 nicht zwingend in der Lage sein müssen alle Ausgaben, die in 4 aufgeführt sind, zu leisten. Generell können Ausführungsbeispiele ein Ausgeben einer Information über einen Zeitraum, währenddessen die geometrische Relation zwischen dem Patienten 100 und der zumindest einen weiteren Person vorlag, umfassen.
Ferner ist es möglich, dass in manchen Ausführungsbeispielen noch weitere Informationen bei der Entscheidung Berücksichtigung finden, ob eine Warnung ausgegeben werden soll oder nicht. Dies kann z.B. der Zeitpunkt der Bewertung sein (Tag/Nacht), ein ggfs. zusätzlich erhobener akustischer Stresslevel oder das Wissen über stattgefundene Therapieaktionen (z.B. Beatmungsmanöver). Das Verfahren 10 kann demnach ein Überprüfen eines Zeitintervalls für die Patientenüberprüfung und ein Ausgeben einer Warnung, wenn erkannte Patientenüberprüfungen von dem Zeitintervall abweichen, umfassen. Dabei kann das Zeitintervall variieren, beispielsweise je nach letzter Pflegemaßnahme, je nach Tages-/Nachtzeit, je nach Patientenparameter, usw.
In manchen Ausführungsbeispielen kann darüber hinaus eine Überwachung eines Wundliegens erfolgen. Dabei können mögliche Umlagerungen des Patienten erkannt werden, beispielsweise anhand einer Zeitspanne, die sich eine Person am Stück in einer definierten Zone um den Patienten befindet, und Vergleich mit einem Zeitwert im Zusammenspiel mit der Patientenüberprüfung. Darüber hinaus kann in Ausführungsbeispielen ggf. auch eine Patientenpose erkannt werden, beispielsweise mit Mitteln der digitalen Bildverarbeitung und so eine Umlagerung erkannt oder validiert werden. Ausführungsbeispiele sind dabei jedoch nicht auf Umlagerungen fixiert, sondern es können auch allgemeine Untersuchungen (d.h. allgemein visuelle Kontrollen sowie physische Interaktionen) berücksichtigt werden. Ausführungsbeispiele können in der Lage sein, mehrere kürzere Untersuchungen zusammenzufassen und diese mit dem vorgegebenen Zeitwert zu vergleichen. Des Weiteren kann auch eine Ausgabe generiert werden, wenn die Zeitspannen zwischen den Untersuchungen zu gering sind, um dem Patienten Ruhephasen zu gönnen.
Darüber hinaus sind Ausführungsbeispiele durch die Berücksichtigung der Orientierung bzw. Blickrichtung in der Lage zu erkennen, dass sich eine Person mit dem Rücken gegen das Patientenbett lehnt, ohne den Patienten weiter zu betrachten. Fehldetektionen von Patientenüberprüfungen können so reduziert oder ggf. sogar vermieden werden. Unter einer Fehldetektion wird hier die Detektion einer Patientenüberprüfung verstanden, obwohl keine Patientenüberprüfung stattgefunden hat. Bei Fehldetektionen könnte eine Pflegekraft davon absehen, den Patienten zu kontrollieren, obwohl dies so erkannt würde/angebracht wäre. In einigen weiteren Ausführungsbeispielen können Patientenmanipulationen allgemein erkannt werden. Zusammenfassend sind Ausführungsbeispiele umfangreich einsetzbar, und nicht auf Umlagerungen spezialisiert. Allgemeine (z.B. visuelle) Überprüfungen können durch die Berücksichtigung der Orientierung/Blickrichtung sicherer erkannt werden und/oder Patientenmanipulationen werden als solche erkannt und nicht nur das Umlagern eines Patienten.
Das im Folgenden beschriebene Ausführungsbeispiel orientiert sich an dem anhand der 1 erläuterten Ablauf. Als Sensoren werden hier 1..n Sensoren verwendet, die je ein Tiefenbild erzeugen, beispielsweise zusätzlich auch ein Nahinfrarotbild und/oder ein Farbbild. Des Weiteren ist es möglich, aus dem Tiefenbild jeder Kamera eine dreidimensionale Punktewolke zu erstellen. Manchmal wird auch von einer 2.5 Punktewolke gesprochen, dies rührt daher, dass die Punktewolke die Szene durch Verdeckungen nicht zwingend vollständig abbildet, der Begriff „Punktewolke“ schließt auch diese Möglichkeit mit ein. Sind die Kameras extrinsisch kalibriert, lassen sich die einzelnen Punktewolken auch zu einer Gesamtpunktewolke zusammenfügen. Das hier dargelegte Ausführungsbeispiel verwendet im Großen und Ganzen nur die Tiefenbilder der Kameras bzw. die daraus generierten Punktewolken. Zusätzliche Informationen können in anderen Ausführungsbeispielen benutzt werden, um das Verfahren ggf. robuster zu machen.
Im Rahmen dieses Ausführungsbeispiels ist ein Patient eine Person, die sich in einer Patientenlagerungsvorrichtung (Krankenbett, Bett einer Intensivstation, etc.) in der betrachteten Szene befindet. Zum Zwecke der hier vorgestellten Lösung ist es daher ausreichend die Patientenlagerungsvorrichtung (PLV) selbst zu detektieren und zu entscheiden, ob diese belegt ist oder nicht. Eine PLV in der Szene zu detektieren kann wie folgt bewerkstelligt werden: Ausgegangen wird von der fusionierten Punktewolke aller n Sensoren. Projiziert man diese Punkte auf die Bodenebene (diese kann entweder durch eine autorisierte Person manuell konfiguriert werden, oder automatisch bspw. mittels RANSAC (Fischler, 1981) ermittelt werden), erhält man eine zweidimensionale Draufsicht der Szene. In dieser Draufsicht lassen sich nun zulässige (d.h. plausibler Größe) Rechtecke detektieren, die Kandidaten für PLV sind. Als Validierungsschritt, dass es sich bei dem Rechteck in der Tat um eine PLV handelt, können alle Punkte innerhalb dieses Rechtecks bis zu einer vorgegebenen Höhe über dem Boden aus der Punktewolke ausgeschnitten werden. Anschließend kann ein Klassifikator entscheiden, ob es sich bei der ausgeschnittenen Punktewolke um ein Bett handelt oder nicht. Es gibt mehrere Möglichkeiten, wie die Klassifikation im Einzelnen genau aussehen kann. Eine Möglichkeit wäre es 2-dimensionale (2D) Projektionen der Punktewolke zu erstellen (z.B. von oben und von der Seite) und die so berechneten Tiefenbilder zu klassifizieren. Hier würde sich beispielsweise ein Deep Convolutional Neural Network anbieten, wie in Krizhevsky, Sutskever, und Hinton, 2012 vorgestellt.
Alternativ kann die Klassifikation auch direkt anhand der Punktewolke erfolgen. Song und Xiao, 2014, beschreiben, wie aus der Punktewolke Merkmale gewonnen werden können, die mit SVMs (von engl. Support Vector Machine) klassifiziert werden können. Ist die PLV in der Szene identifiziert, fährt das Verfahren fort zu ermitteln, ob diese belegt ist oder nicht. In der Veröffentlichung Martinez, Schauerte und Stiefelhagen, 2013, ist eine Möglichkeit dafür erläutert. Dort wird eine Bed Aligned Map (etwa eine am Bett ausgerichtete Verktorkarte) als Merkmalsvektor verwendet, um die Belegung einer PLV als Klassifikationsproblem zu lösen.
Die Position des Patienten, welche im Laufe des Verfahrens noch benötigt wird, lässt sich approximativ leicht ermitteln, da die extrahierte Punktewolke vorhanden ist. Der Mittelpunkt dieser Teilpunktewolke ist eine ausreichende Annäherung für den Schwerpunkt des Patienten. Für weitere Details in Bezug auf PLVs und auch hinsichtlich der weiteren hierin erläuterten Aspekte wird auf das Dokument DE 10 2015 013 031.5 verwiesen, das sich mit der Bestimmung von Teilsegmentlagen einer PLV 100 basierend auf Bilddaten beschäftigt.
Wie bereits oben beschrieben wird in Ausführungsbeispielen neben dem Patienten auch noch zumindest eine weitere Person in der Szene detektiert. Dabei kann es wichtig sein, möglichst alle Personen zu erkennen. In manchen Ausführungsbeispielen kann das Verfahren auch dahingehend ausgelegt sein, dass möglichst nur Personen bestimmter Personengruppen als solche detektiert und gezählt werden. Eine Möglichkeit, Personen in der Szene zu detektieren, ist in 5 skizziert. 5 illustriert ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung von weiteren Personen. Das Verfahren arbeitet mit einer Punktewolke als Repräsentation der Szene, die wie oben beschrieben erfasst und eingegeben wird 50a. Das Verfahren fährt fort, indem zunächst eine Draufsicht der Szene erstellt wird 50b und Kandidaten für Personen in dieser Draufsicht identifiziert werden 50c. Anders als oben beschrieben werden dazu in diesem Ausführungsbeispiel keine Rechtecke gesucht, sondern verbundene Pixel („Blobs“), die eine Person von oben beschreiben könnten. Dazu werden die Blobs anhand verschiedener Parameter, wie ihrer Größe, Kreisförmigkeit und Konvexität, untersucht. Hierfür verwenden lässt sich u.a. der „SimpleBlobDetector“ aus der O-penCV-Bibliothek.
Es sei darauf hingewiesen, dass in manchen Ausführungsbeispielen eine detektierte Bewegung bei der Erstellung der Draufsicht der Szene verwendet werden kann, um statische Objekte als Kandidaten auszuschließen. Ein eventueller „Tracker“ (s.u.) muss dann sicherstellen, dass eine Person nicht als verschwunden gilt, sobald sie eine Zeitlang ruhig stehen bleibt. Sind die Kandidaten identifiziert, werden diese wiederum aus der Punktewolke extrahiert 50d, um sie später klassifizieren zu können 50e. Die Klassifikation kann dann genau wie oben erfolgen, wobei hier natürlich die Klassifikatoren entsprechend für die Personenerkennung trainiert sind. In manchen Ausführungsbeispielen kann es gewünscht sein, nur Personen aus bestimmten Personengruppen als solche zu identifizieren. Insbesondere kann es angebracht sein, nur Pflegekräfte als Personen zu erkennen.
Möglichkeiten, um dies zu bewerkstelligen, wären:
Falls Farbbilder vorhanden sind, können diese dabei helfen Personengruppen zu identifizieren, da insbesondere im Krankenhaus Pflegekräfte besondere Arbeitskleidung tragen. Das Verfahren könnte so konfiguriert werden, dass es nur Personen, die Kleidung in Farbe der Arbeitskleidung vorkommen, als solche erkennt. Dazu müssten dem System beispielsweise Farbbilder von Pflegekräften zur Verfügung gestellt werden. Daraus können ein oder mehrere Farbhistogramme errechnet werden, die dann zusätzlich bei der Klassifikation der Kandidaten verwendet werden. Der Nachteil dieser Möglichkeit ist, dass sie nur bei ausreichenden Lichtbedingungen zur Verfügung steht. In einigen weiteren Ausführungsbeispielen kann das Verfahren ein Erkennen, ob die zumindest eine weitere Person eine Pflegekraft ist, umfassen sowie ein Erkennen der Patientenüberprüfung basierend auf der zumindest einen geometrischen Relation, wenn die Person eine Pflegekraft ist. In anderen Worten können zumindest manche Ausführungsbeispiele fordern, dass die Patientenüberprüfung von einer Pflegekraft vorgenommen wird.
Das Erkennen, ob die zumindest eine weitere Person eine Pflegekraft ist, kann dabei auf einer Farbanalyse von Bildpunkten der zumindest einen weiteren Person in den Bilddaten basieren. Beispielsweise kann eine Farbdetektion der Kleidung der zumindest einen weiteren Person erfolgen. In weiteren Ausführungsbeispielen kann das Erkennen der Pflegekraft auf einer Kennung der Pflegekraft basieren. Dabei sind optische Kennungen, Gesichtserkennung, Markierung, Barcodes, akustische Kennung, beispielsweise Ultraschall, Transponder, z.B. Radio Frequency IDentification (RFID), Pager/Smartphone-tracking usw. denkbar. Das Verfahren kann darüber hinaus ein Bestimmen mehrerer weiterer Personen in der Patientenumgebung umfassen. So können zumindest manche Ausführungsbeispiele auch Personen oder Personengruppen unterscheiden. Beispielsweise Besucher, Ärzte, Schwestern, usw. Dabei kann das System entsprechend konfigurierbar sein (die Unterscheidungsvielfalt muss nicht bei allen Patienten gleich sein). Beispielsweise werden mehrere Verfahren parallel betrieben, um Personen der verschiedenen Personengruppen zu erkennen.
In manchen Ausführungsbeispielen können sitzende Personen ausgeschlossen werden, um den Einfluss von Besuchern zu verringern. Dies kann ebenfalls in den Klassifikationsschritt integriert werden, indem ein Klassifikator speziell für sitzende Personen trainiert wird. Möglich wäre auch eine Identifizierung über RFID-Kennzeichnungen oder ähnliches. Wie oben beschrieben lässt sich auch hier die Position jeder Person als Mittelpunkt der jeweiligen extrahierten Punktewolke approximieren. Ferner ist es ggfs. sinnvoll, eine Person über mehrere Frames hinweg zu verfolgen - das sogenannte „Tracking“ (deutsch etwa Verfolgen). Personen können durch einen Raum mit Hilfe von Tracking-Algorithmen verfolgt werden.
Sind die Personen in den einzelnen Frames identifiziert, werden diese in einem Schritt namens „Data Association“ über Frames hinweg miteinander assoziiert. Mit Hilfe von Kostenfunktionen kann entschieden werden, ob eine detektierte Person zu einer Person aus den letzten Frames gehört oder nicht. Beispiele für solche Kostenfunktionen sind die Entfernung der einzelnen Detektionen zueinander (oder ein „Bounding-Box-Overlap“) oder der Vergleich der Textur der Personen im Nahinfrarot und/oder Farbbild. Wurde eine Person über mehrere Frames hinweg verfolgt, ist auch eine Vorhersage zukünftiger Positionen z.B. mit Hilfe eines Kalman Filters (Welch und Bishop) möglich. Dann lässt sich die vorhergesagte Position mit den Positionen der Detektionen abgleichen.
Es sei ferner darauf hingewiesen, dass u.a. das Software-Development Kit (SDK) zur Kinect-Kamera von Microsoft Funktionen bereitstellt, mit denen Personen detektiert und verfolgt werden können.
Wie bereits erwähnt, führen Ausführungsbeispiele einer Bestimmung der Orientierung oder der Blickrichtung der weiteren Person in Relation zur Patientenposition durch. Sowohl die Orientierung der Person als auch die (exaktere) Blickrichtung der Person können verwendet werden. Für beide Vorgehensweisen sei hier erläutert, wie diese beispielhaft umgesetzt werden können. Werden die Personen verfolgt („Tracking“), so ist eine einfache Approximation für die Orientierung einer Person deren letzte Gehrichtung, welche sich dann leicht über die Abfolge unterschiedlicher Positionen der Person in den letzten Frames bestimmen lässt. Genauer wäre ein Verfahren wie in Lallemand, Ronge, Szczot und Ilic, 2014, erläutert, bei dem die Orientierung einer Person als Klassifikationsproblem aufgefasst wird, das mit Hilfe von HOG-Merkmalen (von engl. Histogramms of Oriented Gradients), vgl. Dalal und Triggs, 2005, und Random Forests, vgl. Breiman, 2001, gelöst wird. Auch das bereits vorher erwähnte Kinect-SDK lässt sich verwenden, um eine Orientierung zu ermitteln, da die vollständige Körperpose mit ausgegeben wird.
Eine Möglichkeit die Blickrichtung zu approximieren ist es, die Kopforientierung zu ermitteln. Auch hierzu gibt es bereits Vorarbeiten, die Verwendung finden können. In Fanelli, Weise, Gall und Van Gool, 2011, werden Tiefenbilder und Random Regression Forests dazu verwendet die Orientierung des Kopfes zu ermitteln. Rehder, Kloeden, und Stiller, 2014, benutzen einen Part-Based Klassifikator, um den Kopf einer Person zu identifizieren und die Kopforientierung wird wiederum als Klassifikationsproblem auf LBP (von engl. Local Binary Pattern) Merkmalen gelöst. Um die ermittelte Blickrichtung weiter zu optimieren, könnten auch Eye-Tracker zum Einsatz kommen. In manchen Ausführungsbeispielen wird eine Bestimmung der Distanz zwischen Patient und der weiteren Person durchgeführt. Mit der Verwendung von Tiefenkameras ist eine relativ genaue Berechnung der Distanz zwischen Objekten möglich. Oben wurde bereits erläutert, wie die Positionen des Patienten und der detektierten Personen ermittelt werden können. Wenn diese Position gegeben sind, ist eine Abstandsbestimmung von Patient P zu Person Q eine Berechnung der Distanz zwischen zwei Punkten im dreidimensionalen Raum.
Als letzten Schritt zielt das Verfahren darauf, ab Manipulationen am Patienten zu erkennen, beispielsweise durch Detektion ob eine Berührung zwischen Patient und weiterer Person stattfindet. Diese manifestiert sich durch Bewegung/Aktivität des oder direkt am Patienten, die nicht durch diesen selbst induziert ist. Es wird im Folgenden auch von „passiver Aktivität/Bewegung“ gesprochen. Eine technische Lösung, um eine Manipulation des Patienten zu erkennen, ist in 6 skizziert. 6 zeigt ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenmanipulation.
Dabei wird davon ausgegangen, dass für jedes <Person, Patient>-Paar aus Person und Patient individuell entschieden wird, ob eine Manipulation stattfindet oder nicht. Das Verfahren beginnt damit die Person, 60a, mit deren Orientierung, 60b, und den Patienten zu erkennen, 60d. Mögliche Implementierungen diesbezüglich wurden bereits oben erläutert. Die Aktivität der Person, 60c, wie für den Patienten, 60e, kann auf die gleiche Art und Weise quantifiziert werden. Dazu kann entweder die jeweils extrahierte Teilpunktewolke oder den dieser entsprechenden Teilausschnitt im Tiefen-, Farb- oder Nahinfrarotbild betrachtet werden. Ausführungsbeispiele, die auf der Teilpunktwolke basieren, können beispielsweise Methoden verwenden, die in Girardeau-Montaut et al., 2005, beschrieben sind. In der Point Cloud Library findet sich auch ein entsprechendes Beispiel. An dieser Stelle soll genauer auf die Möglichkeit eingegangen werden, die Aufgabe anhand eines der oben genannten zweidimensionalen Bilder zu lösen.
Das entsprechende Teilbild kann für verschiedene Zeitpunkte bestimmt werden (beispielsweise jede 0.1 Sekunden), so dass eine zeitlich sinnvolle Abfolge von Teilbildern entsteht. Durch die Analyse der Veränderungen der Teilbilder über die Zeit, kann im Folgenden die Patienten- oder Personenbewegung oder -aktivität quantifiziert werden. Die Analyse der Veränderungen in den n Teilbildern, die in ihrer zeitlichen Abfolge mit t₁ ... t_n bezeichnet seien, kann auf verschiedene Arten erfolgen. Möglichkeiten hierfür sind:

1. Absolutes Differenzbild:
- Berechne für jedes Paar ti und t_i-1 die absolute Differenz der Pixelwerte für jede Pixelposition, resultierend in Bild D.
- Vergleiche die einzelnen Differenzen mit einem Schwellwert s₁ und setze $V (x, y) = {\begin{matrix} 0, wenn D (x, y) < s_{1} \\ 1, wenn D (x, y) \geq s_{1} \end{matrix} .$
- Die Summe der Pixel in V mit Wert 1 ist nun ein Maß für die Aktivität zum Zeitpunkt i.
2. Motion History Image (MHI):
- MHIs funktionieren ähnlich zum absoluten Differenzbild, berücksichtigen jedoch zum Zeitpunkt i auch Veränderungen, die länger als einen Zeitschritt zurück liegen. In gewisser Weise ist ein MHI daher eine gewichtete Kombination mehrerer Vordergrundbilder V aus Beispiel 1 und die Summe der Pixelwerte des MHIs kann als Quantifizierung einer länger anhaltenden Bewegung dienen. MHIs werden ausführlicher in folgendem Artikel erläutert: Ahad, Tan, Kim, und Ishikawa, 2012.
3. Sample-based background subtraction:
- Je nach Wahl der benötigten Schwellwerte in 1. und 2. können die entsprechenden Maße anfällig gegenüber Rauschen sein bzw. nicht sensitiv genug gegenüber echter Bewegung. Es gibt daher Methoden, die die Geschichte eines Pixels ausführlicher berücksichtigen, um zu entscheiden, ob dieser Aktivität repräsentiert oder nicht. Ein bekanntes und erfolgreiches Beispiel hierfür ist ViBe: Barnich und Van Droogenbroeck, 2011. ViBe erstellt wiederum eine Aktivitätskarte, in der ein Pixel den Wert 1 erhält, wenn er Aktivität erfährt und den Wert 0 wenn dies nicht der Fall ist. Daher ist auch hier die Summe der Pixelwerte ein Maß für die Aktivität.

Die Kenngrößen für Aktivität können darüber hinaus noch normalisiert werden, indem die Summen durch die Anzahl der Pixel des betrachteten Teilbildes dividiert werden. Die oben beschriebenen Verfahren liefern eine zeitlich sinnvolle Abfolge (Zeitreihe) von Kenngrößen k₁ ... k_m, die die Aktivität beschreiben. Um das Verfahren weiterhin zu verbessern, ist es auch möglich die betrachteten Teilbilder, insbesondere das für den Patienten, weiter einzuschränken. Da bekannt ist, wie Person und Patient zueinander im Raum stehen, ließen sich die Teilbilder so modifizieren, dass jeweils immer nur die dem jeweils anderen Objekt zugewandte Seite des Bildes berücksichtigt wird.
Die Distanz der Person zum Patienten lässt sich weiterhin analog zu obiger Beschreibung ermitteln. Das Verfahren entscheidet nun anhand der bisher gesammelten Informationen, ob eine Manipulation des Patienten vorliegt oder nicht. Dabei entscheidet das Verfahren in diesem Ausführungsbeispiel auf das Vorliegen einer Manipulation in einer Zeitspanne T, wenn folgende Punkte während T gegeben sind:

a) Sich eine Person (P) in unmittelbarer Nähe zum Patienten befindet (d.h., die Abstandsmessung lieferte einen Wert < X),
b) (P) in Richtung der Patientenlagerungsvorrichtung orientiert ist, und
c) Ausreichend Aktivität (d.h. die bestimmten Kenngrößen der Aktivität überschreiten in der Zeitspanne T mehrmals einen Schwellwert S) sowohl bei (P) als auch bei (Pat) festgestellt wird.

Mit den vorigen Unterabschnitten wurden mögliche wesentliche Bausteine erläutert, die zur Bestimmung/Erkennung einer Patientenüberprüfung in Ausführungsbeispielen verwendet werden. Die Ausgabe, die das Verfahren in einigen weiteren Ausführungsbeispielen liefern soll, hängt dann im Großen und Ganzen vom beabsichtigten Einsatz des Verfahrens, bzw. dessen Anwendung, ab. Erläutert sei hier ein weiteres Anwendungsbeispiel, in dem die erfassten Informationen verwendet werden, um dabei zu helfen angemessene Abstände zwischen Patientenüberprüfungen bzw. Manipulationen zu gewährleisten. Dabei können diese Abstände entweder zu groß sein, was in Lücken der Kontrolle resultiert, oder zu klein sein, wodurch dem Patienten ggfs. kaum Ruhephasen gegönnt werden. 7 zeigt eine Veranschaulichung zur Bestimmung von Orientierung und Distanz D zwischen einem Patienten und einer weiteren Person in einem Ausführungsbeispiel. 7 zeigt eine PLV 100 und eine Pflegekraft, deren relative Orientierung zueinander in einem (betragsmäßigen) Bereich zwischen 0° und 180° liegt. 7 zeigt die Winkelverhältnisse aus Sicht der Pflegekraft. Liegt die PLV 100 im Bereich um 0° während einer gewissen Zeit, so kann von einer Patientenprüfung ausgegangen werden.
In einigen weiteren Ausführungsbeispielen fließen sowohl die ermittelte Orientierung O(t) und Distanz D(t) (7 dient der Veranschaulichung) als auch die Auswertung, ob der Patient manipuliert wird, M(t), in eine Ausgabe mit ein. Diese Größen werden immer zu einer bestimmten Zeit t ausgewertet. Es sei darauf hingewiesen, dass es auch andere Ausführungsbeispiele geben kann, die nicht alle diese Informationen verwenden. Folgend dem Flussdiagramm in 8 fließen O(t), D(t) und M(t) in die Berechnung einer Punktzahl P(T) nach folgender Formel ein: $P (T) = \sum_{P e r s o n e n}^{} \int_{t = L}^{T} f (t) \cdot (k_{1} max (0,90 - 0 (t)) \cdot k_{2} max (0,5 - D (t)) + k_{3} M (t)) .$
Hierbei läuft t über die Zeit vom zuletzt in der Vergangenheit ausgewählten Zeitpunkt L bis zum jetzigen Zeitpunkt T. Die k_i, i=1, 2, 3, sind Faktoren, die genutzt werden können, um O(t), D(t) und M(t) individuell zu gewichten. Bei f(t) handelt es um eine Funktion, die eine Gewichtung abhängig von der Tageszeit errechnet. So ließe sich z.B. erreichen, dass in der Nacht weniger Kontrolle nötig ist. In dem Verfahren 10 kann demnach in Ausführungsbeispielen das Überprüfen des Zeitintervalls ein Auswerten einer tageszeitabhängigen Funktion zusammen mit ein oder mehreren gewichteten geometrischen Relationen umfassen.
P(T) ist damit eine Punktzahl, die größer wird, je länger und intensiver sich detektierte Personen mit dem Patienten seit dem letzten Zeitpunkt L beschäftigt haben. P kann nun wie folgt mit einem Schwellwert S verglichen werden:
Wenn P(T) > S, füge T in Zeitreihe Z hinzu und setze L = T.
Nun kann die Zeitreihe Z ausgewertet werden, indem diese beispielsweise mit einem Zeitwert ZW verglichen wird. Liegen alle Zeitstempel in Z länger als ZW zurück, sollte die Kontrolle des Patienten erhöht werden. Enthält Z sehr viele Zeitstempel die nicht länger als ZW zurück liegen, sollte die Kontrolle und andere ruhestörenden Maßnahmen verringert werden. Diese Informationen können nun als Warnung beispielsweise an das Pflegepersonal weitergeleitet werden. In manchen Ausführungsbeispielen kann auch der Zeitwert ZW abhängig von der Tageszeit variiert werden, womit sich die Häufigkeit, mit der Kontrollen geschehen sollten, kontrollieren ließe. Das Hinzufügen von T zur Zeitreihe Z kann wie das Zurücksetzen eines Zählers gesehen werden. Erreicht der Zähler einen Wert größer ZW, sollte die Kontrolle erhöht werden. Wird der Zähler in der Zeitspanne ZW zu oft zurückgesetzt, sollte die Kontrolle verringert werden.
8 zeigt ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Bestimmung, ob eine Patientenkontrolle erhöht oder verringert werden sollte in einem Ausführungsbeispiel. 8 zeigt die gleichen Schritte wie die 4, nur dass die Ausgaben nun in eine Berechnung der Punktzahl 80a erfolgen, in die der Zeitpunkt und ein Schwellwert 80b mit einfließen. Die Punktezahl kann anschließend ausgewertet werden 80d. Basierend auf der Auswertung kann dann eine Erhöhung 80e oder eine Verringerung der Kontrollintervalle 80f erfolgen. In diesem Ausführungsbeispiel umfasst das Verfahren 10 ein Bestimmen einer Information darüber, ob der Patient häufiger oder weniger häufig überprüft werden sollte und ein Ausgeben dieser Information. In weiteren Ausführungsbeispielen kann das Verfahren 10 ferner ein Dokumentieren erkannter Patientenüberprüfungen umfassen, beispielsweise auch Videodaten in Ausnahmefällen. Z.B. können einer Pflegekraft basierend auf dem Verfahren 10 Dokumentationsvorschläge gemacht werden, die die Pflegekraft dann bestätigen kann.
Eine Pflegeeinrichtung kann mit Hilfe der Dokumentation glaubwürdig machen, dass die Fürsorge für ihren Patienten ausreichend war. Eine Dokumentation kann bei zukünftiger Schichtplanung nützlich sein. Ggfs. lassen sich beispielsweise Zeiträume identifizieren, in denen Patienten systematisch zu wenig oder zu häufig betreut werden. Mit einem Abgleich der Dokumentation mit den Besuchszeiten ließe sich evaluieren, ob ein Patient ggf. von Besuchern daran gehindert wird ausreichend zu ruhen. In einigen weiteren Ausführungsbeispielen kann ein Durchführen des Verfahrens nach Erhalt einer Alarminformation von einem Medizingerät erfolgen. Eine solche Alarminformation kann beispielsweise von einem Patientenmonitor ausgelöst werden, wenn ein erfasster Parameter als kritisch erkannt wird. Dabei kann eine Überwachung, ob eine Patientenüberprüfung innerhalb eines vorgegebenen Zeitraums nach Erhalt der Alarminformation durchgeführt wurde, erfolgen. Mit einem Ausführungsbeispiel des Verfahrens kann dann die mit dem Alarm verbundene oder aus dem Alarm resultierende Patientenüberprüfung erkannt werden. Ausführungsbeispiele können so Möglichkeiten zur Auswertung, beispielsweise einer zeitlichen Relation zwischen einem Alarm und einer zugehörigen Patientenüberprüfung, schaffen. In einigen Ausführungsbeispielen kann die Dokumentation mit anderen Informationen, wie z.B. der Herzfrequenz eines Patienten, abgeglichen werden, z.B. um nachzuvollziehen, ob und in Maßen in welcher Form die Anwesenheit einer Person einen Patienten stresst oder beruhigt.
In weiteren Ausführungsbeispielen kann das Verfahren durch einen Alarm gestartet werden. Beispiele hierfür sind Alarme, die durch ein Medizingerät bereitgestellt werden, wie beispielsweise ein Alarm, dass die Herzfrequenz des Patienten einen oberen Schwellwert überschreitet. Das Verfahren kann daraufhin mit der Erkennung von Patientenüberprüfungen beginnen und anschließend eine Ausgabe veranlassen. Beispiele für diese Ausgabe könnten sein, dass das System einen „Alarm aus“-Befehl an das ursprünglich alarmierende Medizingerät sendet (z.B., wenn eine Patientenüberprüfung detektiert wurde). Möglich wäre auch, dass das System selbst einen weiteren Alarm auslöst, der ggfs. andere Empfänger haben kann, als der ursprüngliche Alarm (z.B., wenn nach dem ursprünglichen Alarm eine gewisse Zeitdauer vergangen ist). Weiterhin ist auch hier eine Dokumentation der erkannten Patientenüberprüfungen möglich.
Die Patientensicherheit kann in manchen Ausführungsbeispielen insofern erhöht werden, als dass später mit hoher Wahrscheinlichkeit nachvollzogen werden kann, ob sich eine Person in der Nähe des Patienten in einem bestimmten Zeitraum aufgehalten hat. Damit lässt sich zumindest in manchen Ausführungsbeispielen z.B. nachvollziehen, ob der Patient ggfs. mutwillig gestört wurde oder ob eine unterlassene Hilfeleistung vorlag. Das Verfahren kann in Ausführungsbeispielen auch dazu verwendet werden, die Anwesenheit (inkl. weiterer Informationen wie der Orientierung, der Distanz und ob Manipulation des Patienten stattgefunden hat) von Personen beim Patienten zu dokumentieren. Diese Informationen können auf verschiedene Arten genutzt werden. Eine Möglichkeit wäre es, die Dokumentationsdaten mit Vorgabedaten in Zusammenhang zu bringen. Diese Vorgabedaten könnten rechtliche, arbeitsplanerische oder organisatorische Anforderungen indizieren. Beispielsweise könnten die Vorgabedaten Angaben darüber enthalten, in welchen Zeitabständen nach einem Patienten gesehen werden sollte. Auch könnten die Vorgabedaten Aussagen darüber treffen, wie schnell eine Patientenüberprüfung nach einem bestimmten Ereignis erfolgt sein sollte. Ein Vergleich dieser Vorgabedaten mit den Dokumentationsdaten ermöglich es folglich die Einhaltung dieser Vorgaben zu überprüfen.
Des Weiteren ist es möglich die Dokumentationsdaten dahingehend auszuwerten, wann Patientenüberprüfungen stattgefunden haben und ob diese beispielsweise in bestimmten Zeitintervallen besonders häufig oder besonders selten aufgetreten sind. Dies kann auch mit Vorgabedaten in Zusammenhang gebracht werden, die beispielsweise indizieren, welche Anzahl von Überprüfungen für eine Zeitdauer favorisiert werden sollte, wann Besuchszeiten vorliegen oder wie der Arbeitsplan der Pflegekräfte aussieht. Aus diesen Vergleichen ließen sich zum Beispiel Rückschlüsse darauf ziehen, ob bzw. wann genügend Pflegekräfte im Dienst sind und wann nicht (was Auswirkungen auf den Arbeitsplan haben könnte). Die Ergebnisse der Abgleiche der Dokumentations- mit den Vorgabedaten können anschließend bereitgestellt bzw. (an einen Nutzer) ausgegeben werden.
9 zeigt ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenüberprüfung nach einer Alarmierung. Dabei erfolgt in einem Schritt 90a die Alarmierung und nachfolgend das oben beschriebene Verfahren zur Erkennung einer Patientenüberprüfung in Schritt 90b. Im Schritt 90c kann dann basierend auf der Überprüfung aus Schritt 90b eine Ausgabe erfolgen. In einem solchen Ausführungsbeispiel kann das oben beschriebene Verfahren durch einen Alarm gestartet werden. Beispiele hierfür sind Alarme, die durch ein Medizingerät bereitgestellt werden, wie bspw. ein Alarm, dass die Herzfrequenz des Patienten einen oberen Schwellwert überschreitet. Das Verfahren kann daraufhin mit der Erkennung von Patientenüberprüfungen beginnen und anschließend eine Ausgabe veranlassen. Beispiele für diese Ausgabe könnten sein, dass das System einen „Alarm aus“-Befehl an das ursprünglich alarmierende Medizingerät sendet (z.B., wenn eine Patientenüberprüfung detektiert wurde). Möglich wäre auch, dass das System selbst einen weiteren Alarm auslöst, der ggfs. andere Empfänger haben kann, als der ursprüngliche Alarm (z.B., wenn nach dem ursprünglichen Alarm eine gewisse Zeitdauer vergangen ist). Weiterhin ist auch hier eine Dokumentation der erkannten Patientenüberprüfungen möglich.
10 zeigt ein Blockdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zur Erkennung einer Patientenüberprüfung nach einer Alarmierung durch ein externes System. Das externe System kann beispielsweise ein Patientenmonitor sein. Im Schritt 102a erfolgt eine Alarmierung durch das externe System, woraufhin in Schritt 102b mit einer Zeitmessung begonnen wird, In Schritt 102c wird das bereits beschriebene Verfahren zur Erkennung einer Patientenüberprüfung gestartet. Wird nachfolgend in Schritt 102d eine Überprüfung erkannt, so kann in Schritt 102e eine Ausgabe erfolgen, die anzeigt, dass die Überprüfung rechtzeitig war. Überschreitet die gemessene Zeit einen Vorgabewert (Abfrage in Schritt 102f), erfolgt in Schritt 102g eine Ausgabe, dass die Überprüfung nicht rechtzeitig stattgefunden hat. Das Ausführungsbeispiel implementiert ein Verfahren, das entscheidet, ob eine Patientenüberprüfung rechtzeitig als Reaktion auf einen Alarm des externen Systems durchgeführt wurde.
Die in der vorstehenden Beschreibung, den Ansprüchen und den Zeichnungen offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung von Ausführungsbeispielen in ihren verschiedenen Ausgestaltungen von Bedeutung sein und - soweit sich nicht aus der Beschreibung etwas anderes ergibt - beliebig miteinander kombiniert werden.
Obwohl manche Aspekte im Zusammenhang mit einem Verfahren bzw. einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung der entsprechenden Vorrichtung bzw. des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist, und umgekehrt. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-Ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einer programmierbaren Hardwarekomponente derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird.
Eine programmierbare Hardwarekomponente kann durch einen Prozessor, einen Computerprozessor (CPU = Central Processing Unit), einen Grafikprozessor (GPU = Graphics Processing Unit), einen Computer, ein Computersystem, einen anwendungsspezifischen integrierten Schaltkreis (ASIC = Application-Specific Integrated Circuit), einen integrierten Schaltkreis (IC = Integrated Circuit), ein Ein-Chip-System (SOC = System on Chip), ein programmierbares Logikelement oder ein feldprogrammierbares Gatterarray mit einem Mikro-prozessor (FPGA = Field Programmable Gate Array) gebildet sein.
Das digitale Speichermedium kann daher maschinen- oder computerlesbar sein. Manche Ausführungsbeispiele umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem oder einer programmierbare Hardwarekomponente derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Ein Ausführungsbeispiel ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Programm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Programm, Firmware, Computerprogramm oder Computerprogrammprodukt mit einem Programmcode oder als Daten implementiert sein, wobei der Programmcode oder die Daten dahin gehend wirksam ist bzw. sind, eines der Verfahren durchzuführen, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardwarekomponente abläuft. Der Programmcode oder die Daten kann bzw. können beispielsweise auch auf einem maschinenlesbaren Träger oder Datenträger gespeichert sein. Der Programmcode oder die Daten können unter anderem als Quellcode, Maschinencode oder Bytecode sowie als anderer Zwischencode vorliegen.
Ein weiteres Ausführungsbeispiel ist ferner ein Datenstrom, eine Signalfolge oder eine Sequenz von Signalen, der bzw. die das Programm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom, die Signalfolge oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, um über eine Datenkommunikationsverbindung, beispielsweise über das Internet oder ein anderes Netzwerk, transferiert zu werden. Ausführungsbeispiele sind so auch Daten repräsentierende Signalfolgen, die für eine Übersendung über ein Netzwerk oder eine Datenkommunikationsverbindung geeignet sind, wobei die Daten das Programm darstellen.
Ein Programm gemäß einem Ausführungsbeispiel kann eines der Verfahren während seiner Durchführung beispielsweise dadurch umsetzen, dass dieses Speicherstellen ausliest oder in diese ein Datum oder mehrere Daten hinein schreibt, wodurch gegebenenfalls Schaltvorgänge oder andere Vorgänge in Transistorstrukturen, in Verstärkerstrukturen oder in anderen elektrischen, optischen, magnetischen oder nach einem anderen Funktionsprinzip arbeitenden Bauteile hervorgerufen werden.
Entsprechend können durch ein Auslesen einer Speicherstelle Daten, Werte, Sensorwerte oder andere Informationen von einem Programm erfasst, bestimmt oder gemessen werden. Ein Programm kann daher durch ein Auslesen von einer oder mehreren Speicherstellen Größen, Werte, Messgrößen und andere Informationen erfassen, bestimmen oder messen, sowie durch ein Schreiben in eine oder mehrere Speicherstellen eine Aktion bewirken, veranlassen oder durchführen sowie andere Geräte, Maschinen und Komponenten ansteuern.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2016183864 A1 [0009, 0010]
DE 102015013031 [0051]

Zitierte Nicht-Patentliteratur

Ahad, M. A., Tan, J. K., Kim, H., und Ishikawa, S. (2012), Motion history image: its variants and applications, Machine Vision and Applications [0010]
Barnich, O., Van Droogenbroeck, M. (2011), ViBe: A universal background subtraction algorithm for video sequences, Image Processing, IEEE Transactions on [0010]
Breiman, L. (2001), Random Forests, Machine Learning, S. 5-32 [0010]
Dalal, N., Triggs, B. (2005), Histograms of Oriented Gradients for Human Detection, IEEE Computer Society Conference on Computer Vision and Pattern Recognition [0010]
Fanelli, G., Weise, T., Gall, J., St Van Gool, L. (2011), Real time head pose estimation from consumer depth cameras, Pattern Recognition [0010]
Fischler, M. A. (1981), Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, S. 381-395 [0010]
Girardeau-Montaut, D., et al., e. (2005), Change detection on points cloud data acquired with a ground laser scanner, International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences [0010]
Goran, S. (August 2010), A Second Set of Eyes: An Introduction to Tele-ICU, Critical-CareNurse [0010]
Hartman, F., (2011), Robotersteuerung durch Gesten [0010]
Jorch, G., Kluge, S., König, F., Markewitz, A., Notz, K., Parvu, V., ..., Waydhas, C. (2010), Empfehlungen zur Struktur und Ausstattung von Intensivstationen, Verabschiedet mit Beschluss des Präsidiums der Deutschen Interdisziplinären Vereinigung für Intensiv- und Notfallmedizin (DIVI) [0010]
Krizhevsky, A., Sutskever, I., und Hinton, G. E. (2012), Imagenet classification with deep convolutional neural networks, Advances in neural information processing systems, S. 1097-1105 [0010]
Lallemand, J., Ronge, A., Szczot, M., Ilic, S. (2014), Pedestrian orientation estimation, S. 476-487, Springer [0010]
Martinez, M., Schauerte, B., Stiefelhagen, R., 2013, „BAM!“ Depth-Based Body Analysis in Critical Care, International Conference on Computer Analysis of Images and Patterns, S. 465-472 [0010]
Rehder, E., Kloeden, H., Stiller, C., 2014, Head detection and orientation estimation for pedestrian safety, 17th International IEEE Conference on Intelligent Transportation Systems (ITSC), S. 2292-2297 [0010]
Song, S., Xiao, J, (2014), Sliding shapes for 3d object detection in depth images, European Conference on Computer Vision, S. 634-651 [0010]
Welch, G., Bishop, G. (Juli 2006), An Introduction to the Kalman Filter [0010]

Claims

Verfahren (10) zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung basierend auf den Bilddaten, mit Detektieren (12) des Patienten basierend auf den Bilddaten; Detektieren (14) zumindest einer weiteren Person basierend auf den Bilddaten; Bestimmen (16) zumindest einer geometrischen Relation zwischen dem Patienten und der zumindest einen weiteren Person, wobei das Bestimmen (16) der geometrischen Relation ein Bestimmen einer Orientierung oder einer Blickrichtung der zumindest einen weiteren Person in Relation zu dem Patienten umfasst; und Erkennen (18) der Patientenüberprüfung basierend auf der geometrischen Relation.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, wobei das Bestimmen (16) der geometrischen Relation ein Bestimmen einer Distanz zwischen der zumindest einen weiteren Person und dem Patienten umfasst.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, wobei das Bestimmen (16) der geometrischen Relation eine Erkennung einer Berührung zwischen der zumindest einen weiteren Person und dem Patienten umfasst.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Ausgeben einer Information über einen Zeitraum währenddessen die geometrische Relation zwischen dem Patienten und der zumindest einen weiteren Person vorlag.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Überprüfen eines Zeitintervalls für die Patientenüberprüfung und Ausgeben einer Warnung, wenn erkannte Patientenüberprüfungen von dem Zeitintervall abweichen.
Verfahren (10) gemäß Anspruch 5, wobei das Überprüfen des Zeitintervalls ein Auswerten einer tageszeitabhängigen Funktion zusammen mit ein oder mehreren gewichteten geometrischen Relationen umfasst.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Erkennen ob die zumindest eine weitere Person eine Pflegekraft ist und Erkennen der Patientenüberprüfung basierend auf der zumindest einen geometrischen Relation wenn die Person eine Pflegekraft ist.
Verfahren (10) gemäß Anspruch 7, wobei das Erkennen, ob die zumindest eine weitere Person eine Pflegekraft ist, auf einer Farbanalyse von Bildpunkten der zumindest einen weiteren Person in den Bilddaten basiert.
Verfahren (10) gemäß Anspruch 7, wobei das Erkennen der Pflegekraft auf einer Kennung der Pflegekraft basiert.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Bestimmen mehrerer weiterer Personen in der Patientenumgebung.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Durchführen des Verfahrens nach Erhalt einer Alarminformation von einem Medizingerät.
Verfahren (10) gemäß Anspruch 11 ferner umfassend Überwachen, ob eine Patientenüberprüfung innerhalb eines vorgegebenen Zeitraum nach Erhalt der Alarminformation erfolgt.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Bestimmen einer Information darüber, ob der Patient häufiger oder weniger häufig überprüft werden sollte und Ausgeben dieser Information.
Verfahren (10) gemäß einem der vorangehenden Ansprüche, ferner umfassend Dokumentieren erkannter Patientenüberprüfungen.
Vorrichtung mit einer Recheneinrichtung, die ausgebildet ist, um ein Verfahren (10) gemäß einem der vorangehenden Ansprüche durchzuführen.
Computerprogramm mit einem Programmcode zur Durchführung eines der Verfahren gemäß einem der Ansprüche 1 bis 14, wenn der Programmcode auf einem Computer, einem Prozessor oder einer programmierbaren Hardwarekomponente ausgeführt wird.