DE102020103118A1 - Menschliche aktivität-erkennung mittels thermischer daten und flugzeitsensordaten - Google Patents

Menschliche aktivität-erkennung mittels thermischer daten und flugzeitsensordaten Download PDF

Info

Publication number
DE102020103118A1
DE102020103118A1 DE102020103118.1A DE102020103118A DE102020103118A1 DE 102020103118 A1 DE102020103118 A1 DE 102020103118A1 DE 102020103118 A DE102020103118 A DE 102020103118A DE 102020103118 A1 DE102020103118 A1 DE 102020103118A1
Authority
DE
Germany
Prior art keywords
activity
data
tof
person
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102020103118.1A
Other languages
English (en)
Inventor
Michael A. Quilici
Anant Aggarwal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osram GmbH
Original Assignee
Osram GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osram GmbH filed Critical Osram GmbH
Publication of DE102020103118A1 publication Critical patent/DE102020103118A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0492Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)

Abstract

Verfahren, Vorrichtungen und Systeme zum Erfassen von menschlicher Aktivität mittels thermischer Daten und Flugzeit-(TOF) Sensordaten sind offenbart. In einigen Ausführungsformen wird ein thermischer Sensor vom Array-Typ verwendet, um die thermischen Daten zu erzeugen, und ein TOF-Sensor vom Array-Typ wird verwendet, um die TOF-Daten zu erzeugen. TOF-abgeleitete Daten, wie beispielsweise Abstandsdaten, Geschwindigkeitsdaten und/oder Beschleunigungsdaten, können aus den TOF-Daten ermittelt werden. Die menschliche Aktivität in einem überwachten Raum kann durch Vergleichen der für den überwachten Raum erfassten thermischen und TOF-abgeleiteten Daten mit einem oder mehreren Aktivitätsprofilen ermittelt werden, die einer oder mehreren Arten von Aktivitäten entsprechen, die überwacht werden sollen. Die Überwachung der menschlichen Aktivität kann für einen oder mehrere der verschiedensten Zwecke verwendet werden, beispielsweise zum Steuern eines oder mehrerer Umgebungsparameter und zum Erzeugen eines Alarms, dass eine oder mehrere Aktivitäten, beispielsweise ein Sturzereignis, unter vielen anderen aufgetreten sind.

Description

  • GEBIET DER OFFENBARUNG
  • Die vorliegende Offenbarung bezieht sich allgemein auf das Gebiet der Erfassung der Anwesenheit von Menschen. Insbesondere ist die vorliegende Offenbarung auf die menschliche Aktivität-Erkennung mittels thermischer Daten und Flugzeitsensordaten gerichtet.
  • HINTERGRUND
  • Stürze verursachen nicht nur Verletzungen, sondern führen auch zu erhöhten Gesundheitskosten und sogar zu vorzeitigen Toden. Zum Beispiel fallen jedes Jahr zwischen 700.000 und 1 Million Patienten in US-Krankenhäusern, wobei 30 % bis 35 % zu Verletzungen führen und ungefähr 11.000 tödlich verlaufen. Verletzungen im Zusammenhang mit Stürzen können zu 6,3 zusätzlichen Krankenhaustagen pro Patient führen. Die durchschnittlichen Kosten für einen Sturz mit Verletzungen betragen ca. 14.000 USD pro Patient. Ein Krankenhaus stellte fest, dass die meisten Stürze auftraten, wenn die Patienten ihr Bett ohne Hilfe verließen. Die Wahrung der Privatsphäre ist ein wichtiger Aspekt von Systemen, die Personen verfolgen und überwachen. Herkömmliche kamerabasierte Systeme werden häufig wegen einer wahrgenommenen Verletzung der Privatsphäre abgelehnt, da die Probanden nicht wissen, was aufgezeichnet wird oder wer die Bilder sehen kann, selbst wenn ein solches System lediglich eine Alarm ausgibt, dass jemand gestürzt ist.
  • ZUSAMMENFASSUNG DER OFFENBARUNG
  • In einer Implementierung ist die vorliegende Offenbarung auf ein Verfahren zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum und zum Erzeugen eines zum Auftreten korrespondierenden Aktivitätssignals gerichtet. Das Verfahren umfasst das Überwachen des überwachten Bereichs mittels eines Wärmesensors vom Array-Typ, um thermische Daten zu erzeugen, das Überwachen des überwachten Bereichs mittels eines Flugzeit (TOF)-Sensors vom Array-Typ, um TOF-Daten zu erzeugen, das Berechnen von TOF-abgeleiteten Daten aus den TOF-Daten, in denen die TOF-abgeleiteten Daten eines oder mehrere von Abstandsdaten, Geschwindigkeitsdaten und Beschleunigungsdaten enthalten, das Erfassen des Auftretens einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten, und das Erzeugen des Aktivitätssignals in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum.
  • In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Ermitteln, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn die TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren. In einigen Implementierungen umfasst die Aktivität ein Sturzereignis und das Aktivitätsprofil umfasst ein Beschleunigungsprofil, das das Sturzereignis charakterisiert. In einigen Implementierungen umfasst das Aktivitätsprofil mindestens eines von einem Beschleunigungsprofil, einem Geschwindigkeitsprofil und einem Raum-Zeit-Koordinatenprofil. In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Analysieren der thermischen Daten, um einen räumlichen Ort der mindestens einen Person zu ermitteln, das Analysieren der TOF-abgeleiteten Daten, um einen räumlichen Ort der Aktivität zu ermitteln, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt. In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Analysieren der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln, das Analysieren der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt. In einigen Implementierungen ist der TOF-Sensor vom Array-Typ über dem überwachten Bereich montiert. In einigen Implementierungen umfasst der Wärmesensor vom Array-Typ eine Wärmebildkamera mit einer Auflösung von 320×240 Pixel oder weniger. In einigen Implementierungen umfasst der TOF-Sensor vom Array-Typ einen Lidar-Sensor mit einer Auflösung von 320×240 Pixel oder weniger.
  • Weitere hier offenbarte Implementierungen umfassen ein System zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum. Das System umfasst einen Wärmesensor vom Array-Typ zum thermischen Überwachen des überwachten Bereichs, wobei der Wärmesensor vom Array-Typ thermische Daten erzeugt, einen Flugzeit (TOF)-Sensor vom Array-Typ zum Überwachen des überwachten Bereichs, wobei der TOF-Sensor vom Array-Typ TOF-Daten erzeugt, und einen Prozessor, der mit dem Wärmesensor vom Array-Typ und dem TOF-Sensor vom Array-Typ gekoppelt ist und eingerichtet ist, die thermischen Daten zu analysieren, um die Anwesenheit der mindestens einen Person innerhalb des überwachten Bereichs zu ermitteln, eingerichtet ist TOF-abgeleitete Daten aus den TOF-Daten zu berechnen, wobei die TOF-abgeleiteten Daten zumindest eines von Abstandsdaten, Geschwindigkeitsdaten und Beschleunigungsdaten enthält, eingerichtet ist das Auftreten einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten zu erfassen, und eingerichtet ist ein Aktivitätssignal in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum zu erzeugen.
  • In einigen Implementierungen ist der Prozessor eingerichtet, das Auftreten der Aktivität der mindestens einen Person zu erfassen, indem ermittelt wird, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren, und indem das Auftreten der Aktivität der mindestens einen Person erfasst wird, wenn die von den TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren. In einigen Implementierungen umfasst die Aktivität ein Sturzereignis und das Aktivitätsprofil umfasst ein Beschleunigungsprofil, das das Sturzereignis charakterisiert. In einigen Implementierungen umfasst das Aktivitätsprofil mindestens eines von einem Beschleunigungsprofil, einem Geschwindigkeitsprofil und einem Raum-Zeit-Koordinatenprofil. In einigen Implementierungen ist der Prozessor eingerichtet, das Auftreten der Aktivität der mindestens einen Person mittels Analysierens der thermischen Daten zu erfassen, um einen räumlichen Ort der mindestens einen Person zu ermitteln, mittels Analysierens der TOF-abgeleiteten Daten, um einen räumlichen Ort der zu ermitteln Aktivität zu erfassen und das Auftreten der Aktivität der mindestens einen Person zu erfassen, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt. In einigen Implementierungen ist der Prozessor eingerichtet, das Auftreten der Aktivität der mindestens einen Person zu erfassen mittels Analysierens der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln, mittels Analysierens der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln, mittels des Erfassens des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt. In einigen Implementierungen ist der TOF-Sensor vom Array-Typ über dem überwachten Bereich montiert. In einigen Implementierungen umfasst der Wärmesensor vom Array-Typ eine Wärmebildkamera mit einer Auflösung von 320×240 Pixel oder weniger. In einigen Implementierungen umfasst der TOF-Sensor vom Array-Typ einen Lidar-Sensor mit einer Auflösung von 320×240 Pixel oder weniger.
  • Weitere hier offenbarte Implementierungen umfassen ein nicht-flüchtiges computerlesbares Medium, auf dem ein Computerprogramm zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum gespeichert ist, wobei das Computerprogramm Anweisungen enthält, um ein Computergerät zum Ausführen eines Vorgangs zu veranlassen, aufweisend das Empfangen von thermischen Daten, die von einem Wärmesensor vom Array-Typ erzeugt werden, der den überwachten Raum überwacht, das Empfangen von Flugzeit (TOF)-Daten, die von einem TOF-Sensor vom Array-Typ erzeugt werden, der den überwachten Raum überwacht, und das Berechnen von TOF-abgeleiteten Daten aus den TOF-Daten, wobei die TOF-abgeleiteten Daten eines oder mehrere von Abstandsdaten, Geschwindigkeitsdaten und Beschleunigungsdaten umfassen, das Erfassen des Auftretens einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten und das Erzeugen des Aktivitätssignals in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum.
  • In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Ermitteln, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn die TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren. In einigen Implementierungen umfasst die Aktivität ein Sturzereignis und das Aktivitätsprofil umfasst ein Beschleunigungsprofil, das das Sturzereignis charakterisiert. In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Analysieren der thermischen Daten, um einen räumlichen Ort der mindestens einen Person zu ermitteln, das Analysieren der TOF-abgeleiteten Daten, um einen räumlichen Ort der Aktivität zu ermitteln, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt. In einigen Implementierungen umfasst das Erfassen des Auftretens der Aktivität der mindestens einen Person das Analysieren der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln, das Analysieren der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln, und das Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt.
  • Figurenliste
  • Zum Zwecke der Veranschaulichung der Offenbarung zeigen die Zeichnungen Aspekte einer oder mehrerer Ausführungsformen der Offenbarung. Es versteht sich jedoch, dass die vorliegende Offenbarung nicht auf die genauen Anordnungen und Instrumente, die in den Zeichnungen gezeigt sind, beschränkt ist, wobei:
    • 1 ein Beschleunigungsgraph für eine bestimmte Art eines menschlichen Sturzereignisses ist.
    • 2 ein Diagramm eines Aktivitätserfassungssystems ist, das gemäß Aspekten der vorliegenden Offenbarung hergestellt ist.
    • 3 ein Flussdiagramm für ein Verfahren zum Erfassen des Auftretens einer Aktivität von mindestens einer Person innerhalb eines überwachten Raums und zum Erzeugen eines Aktivitätssignals in Reaktion auf dasselbe gemäß verschiedenen Aspekten der vorliegenden Offenbarung ist.
    • 4 ein Flussdiagramm für ein Verfahren zum Ermitteln einer Person in einem überwachten Raum ist, die ein Sturzereignis erlebt hat, und zum Ausgeben eines Alarms in Reaktion darauf gemäß Aspekten der vorliegenden Offenbarung.
    • 5 ein schematisches Diagramm einer Computervorrichtung ist, die verwendet werden kann, um einen oder mehrere der hier beschriebenen Aspekte und/oder Funktionalitäten zu implementieren.
  • DETAILLIERTE BESCHREIBUNG
  • In einigen Aspekten ist die vorliegende Offenbarung auf Verfahren, Systeme, Vorrichtungen und Software zum Erfassen des Auftretens von Aktivitäten einer oder mehrerer Personen innerhalb eines überwachten Raums mittels Wärme- und Flugzeit (TOF)-Sensoren gerichtet. Solche Verfahren, Systeme, Vorrichtungen und/oder Software der vorliegenden Offenbarung können für eine Vielzahl von Anwendungen verwendet werden, einschließlich, aber nicht beschränkt auf, das Erkennen der Anwesenheit einer oder mehrerer Personen zum Steuern der Beleuchtung und/oder anderer Umweltaspekte (beispielsweise Temperatur und Luftfeuchtigkeit) innerhalb des überwachten Raums, Ermitteln der Anzahl von Personen innerhalb des überwachten Raums und Erfassen des Auftretens menschlicher Sturzereignisse unter vielen anderen Anwendungen.
  • Das Verwenden von Sturzereignissen als ein Beispiel einer „Aktivität“ im allgemeinen Sinne und wie im obigen Hintergrundabschnitt beschrieben, können Stürze nicht nur eine Verletzung der gefallenen Person verursachen, sondern auch die Gesundheitskosten erhöhen und sogar Todesfälle verursachen. Menschen können jedoch Sturzerkennungssystemen und Systemen zur Erkennung der Anwesenheit von Menschen im Allgemeinen, die hochauflösende Bildgebung verwenden, misstrauisch sein, da sie sie als Eingriff in ihre Privatsphäre betrachten. Daher ist eine Lösung wünschenswert, die Systeme zur Erkennung von Anwesenheit und Stürzen von Menschen ermöglicht, die eine hohe Genauigkeit bieten, jedoch keine hochauflösende Bildgebung erfordern.
  • Eine Lösung zum Bereitstellen solcher Anwesenheits- und Fallerfassungssysteme (beide Arten eines „Aktivitätserfassungssystems“) besteht darin, sowohl die thermische Erfassung als auch die TOF-Erfassung zu verwenden. Ein Vorteil sowohl der Wärmeerfassung als auch der TOF-Erfassung ist die Fähigkeit, einen oder mehrere Hotspots (beispielsweise Personen) zu erkennen, die einfach als unscheinbare „Thermal-Blobs“ (d.h. Formen ohne persönlich identifizierbare Informationen) erscheinen können, wenn oder falls sie in Wärmebildern betrachtet werden, Ermitteln sie den/die entsprechenden Ort(e) des/der Thermal-Blobs/der entsprechenden Person/Leute und berechnen sie den Abstand/die Abstände (beispielsweise von einem TOF-Sensor, Boden oder einer anderen Referenz), die Geschwindigkeit(en) und/oder Beschleunigung(en), die mit dem/den Thermal-Blob(s)/der Person/den Leuten verbunden sind, wobei in den verwendeten Daten nur wenige oder keine persönlich identifizierbaren Informationen vorhanden sind.
  • Beispielsweise kann ein Wärmesensor warme Pixel erfassen, die der Anwesenheit einer Person entsprechen, während ein TOF-Sensor Messungen liefert, die die Berechnung von Beschleunigungen ermöglichen, die von dieser Person erfahren werden. In einer Ausführungsform für ein Sturzereignis und wie in 1 veranschaulicht ist, kann es zu einem anfänglichen Abfall der Beschleunigung während der freien Fallphase kommen, gefolgt von einer schnellen positiven Beschleunigung, die mit einem Aufprall verbunden ist. Sturzereignisse treten in einer Vielzahl von Formen auf und können komplexere Beschleunigungskurven oder „Aktivitätsprofile“ und unterschiedliche Schweregrade aufweisen, sodass ein gemäß Aspekten dieser Offenbarung hergestelltes Aktivitätserfassungssystem einen oder mehrere geeignete Softwarealgorithmen verwendet, um die Daten zu interpretieren, um beispielsweise eine Wahrscheinlichkeit zuzuweisen, dass ein Sturz und/oder eine andere erkennbare Aktivität aufgetreten ist, bevor das Aktivität-Erkennungssystem ein Aktivitätssignal erzeugt und optional ein Benachrichtigungssignal erzeugt und sendet. Als ein anderes Szenario kann es auch Situationen geben, in denen Beschleunigungs- und/oder Geschwindigkeitsinformationen nicht angezeigt haben, dass eine Person gefallen ist, sondern die Person stationär auf dem Boden ist. In diesem Szenario kann das Aktivität-Erkennungssystem ein Benachrichtigungssignal erzeugen und ausgeben, wenn das Aktivität-Erkennungssystem erkennt, dass sich eine Person für mindestens einen vorbestimmten Zeitraum auf oder in der Nähe des Bodens befindet. In diesem Fall sind die vom TOF-Sensor bereitgestellten Abstandsinformationen für dieses Szenario von Vorteil, da die thermischen Daten allein keinen Hinweis darauf geben, wie nahe die Person am Boden ist. Andere Szenarien sind unten angegeben, und andere werden Fachleuten nach dem Lesen und Verstehen dieser gesamten Offenbarung ersichtlich. Fachleute werden verstehen, wie Daten, einschließlich TOF-Daten, zum Klassifizieren unterschiedlicher Arten von Stürzen basierend auf ihren TOF-Datenprofilen gesammelt und bewertet werden.
  • Allgemeiner gesagt können TOF-Daten in Verbindung mit thermischen Daten verwendet werden, um die bloße Anwesenheit einer oder mehrerer Personen innerhalb des überwachten Raums oder der Aktivität(en) zu ermitteln, bei denen es sich nicht um Sturzereignisse handelt. Anstelle von Beschleunigungsprofilen, die verschiedenen Arten von Sturzereignissen entsprechen, können jedoch Beschleunigungs-, Geschwindigkeits- und/oder Distanzprofile verwendet werden, die dem Typ oder den Typen von Bewegungsereignissen entsprechen, die erfasst werden sollen. Solche von TOF-Daten abgeleiteten Profile können mit entsprechenden thermischen Profilen verschmolzen werden. Als einfaches Beispiel kann eine Personen-Zählanwendung von TOF-Daten abgeleitete Profile verwenden, die eine horizontale Bewegung anzeigen (horizontal in Sinne eines globalen Rahmens) zusammen mit der individuellen Erkennung von Thermal-Blobs, um die Wahrscheinlichkeit zu ermitteln, dass sich eine ermittelte Anzahl von Personen im überwachten Raum aufhält. Der Fachmann wird in der Lage sein, die von TOF-Daten abgeleiteten Profile und Algorithmen zur Erkennung von Thermal-Blobs so zu strukturieren, dass sie der betrachteten Anwendung entsprechen.
  • Es wird nun auf die beigefügten Zeichnungen Bezug genommen. 2 veranschaulicht ein Aktivitätserfassungssystem 200, das gemäß Aspekten der vorliegenden Offenbarung hergestellt ist. In dieser Ausführungsform und nur zu Darstellungszwecken ist das Aktivitätserfassungssystem 200 speziell als ein Sturzerfassungssystem implementiert und folglich werden die verschiedenen Merkmale des Aktivitätserfassungssystems entsprechend beschrieben. Es wird jedoch betont, dass die spezifischen Merkmale des Aktivitätserfassungssystems 200, die für die Sturzerfassung anwendbar sind, verallgemeinert und/oder modifiziert werden können, um das Aktivitätserfassungssystem an eine andere Anwendung als die Sturzerfassung anzupassen.
  • Wie in 2 gezeigt ist, umfasst das Aktivitätserfassungssystem 200 einen Wärmesensor 204 und einen TOF-Sensor 208. Der Wärmesensor 204 kann ein beliebiger Wärmesensor sein, der Wärme von einem menschlichen Körper erfassen kann, beispielsweise unter anderem ein pyroelektrischer Infrarotsensor, ein Thermosäulensensor oder eine Wärmebildkamera oder irgendeine Kombination davon. In einigen Ausführungsformen ist ein Multipixel-Wärmesensor wünschenswert, um thermische Daten bereitzustellen, die dazu beitragen, die Art des Inhalts der Wärmebilder, die der Wärmesensor typischerweise erzeugt, besser zu charakterisieren. Für viele Anwendungen ist es jedoch wünschenswert, ein Gleichgewicht zwischen der Fähigkeit zur Charakterisierung der Natur des Wärmebildinhalts und der Privatsphäre von Personen, die durch das Aktivitätserfassungssystem 200 überwacht werden, zu finden. Letzteres empfiehlt, dass die Auflösung des Wärmesensors 204 relativ gering sein sollte, um zu vermeiden, dass die daraus gewonnenen Bilder persönlich identifizierbare Informationen enthalten. Aus Datenschutzgründen ist es im Allgemeinen wünschenswert, dass die Auflösung des Wärmesensors 204 640×480 Pixel oder weniger, 320×240 Pixel oder weniger, 80×80 Pixel oder weniger oder 32x24 Pixel oder weniger beträgt, um einige Bereiche mit niedriger Auflösung zu nennen. Bei der Auswahl der Auflösung des Wärmesensors 204 müssen jedoch unter anderem Variablen wie der Abstand des Wärmesensors von den zu überwachenden Objekten und die Brennweite eines mit dem Wärmesensor verwendeten Linsensystems (nicht gezeigt) berücksichtigt werden. Im Allgemeinen ist ein Mehrpixel-Wärmesensor mit einer Auflösung von mindestens 2×2 Pixeln wünschenswert.
  • Wie der Fachmann versteht, ist der TOF-Sensor 208 ein Sensor mit einem Emitter 208A, der ein Signal emittiert, und mit einem Signalsensor 208B, der das Signal oder eine veränderte Form davon erfasst, das von einem Objekt, hier einer Person 212, zurückkommt. Der TOF-Sensor 208 enthält auch einen integrierten Prozessor 208C, der den Betrieb des TOF-Sensors 208 steuert und die TOF des emittierten Signals berechnet, d.h. die Zeit zwischen der Zeit, in der der Emitter 208A das Signal ausgesendet hat, und der Zeit, zu der der Signalsensor 208B das Signal empfangen hat. Wie der Fachmann leicht verstehen wird, können die durch den TOF-Sensor 208 gesammelten TOF-Daten verwendet werden, um den Abstand/die Abstände zwischen dem TOF-Sensor 208 und dem Objekt 212, die Geschwindigkeit(en) des Objekts und/oder die Beschleunigung(en) des Objekts zu berechnen. Der Einfachheit halber werden diese Abstands-, Geschwindigkeits- und/oder Beschleunigungsdaten hier und in den beigefügten Ansprüchen als TOF-abgeleitete Daten bezeichnet, da sie von den mittels des Signalsensors 208B erfassten TOF-Rohdaten abgeleitet werden.
  • Der TOF-Sensor 208 kann ein beliebiger geeigneter TOF-Sensor sein, der in der Lage ist, TOF-Daten bereitzustellen, aus denen nützliche Informationen wie Beschleunigungsdaten, Geschwindigkeitsdaten und/oder Abstandsdaten ermittelt werden können. Beispiele für TOF-Sensoren, die für den TOF-Sensor 208 verwendet werden können, umfassen, ohne darauf beschränkt zu sein, unter anderem optische TOF-Sensoren (beispielsweise laserbasierte TOF-Kameras und Lichterkennungs- und Abstands-(Lidar) Sensoren), Hochfrequenz-TOF-Sensoren (beispielsweise RADAR)) und Schall-TOF-Sensoren (beispielsweise akustische Abstandssysteme). Grundsätzlich gibt es keine Einschränkungen für die Typen von Wärmesensor 204 und TOF-Sensor 208, außer dass sie die Daten zur Erfassung liefern und dass sie keine Personen oder Objekte innerhalb der Reichweite der Sensoren schädigen oder anderweitig stören. Da jedoch viele Anwendungen für das Aktivitätserfassungssystem 200 Datenschutzbedenken haben, sollte eine Multipixel-Version des TOF-Sensors 208 in ähnlicher Weise wie der Wärmesensor 204 eine geeignete niedrige Auflösung aufweisen, beispielsweise 640×480 Pixel oder weniger, 320×240 Pixel oder weniger, 80×80 Pixel oder weniger oder 32×24 Pixel oder weniger, um einige Bereiche mit niedriger Auflösung zu nennen. Bei der Auswahl der Auflösung des TOF-Sensors 208 müssen jedoch unter anderem Variablen wie der Abstand des TOF-Sensors von den zu überwachenden Objekten und die Brennweite des mit dem TOF-Sensor verwendeten Linsensystems berücksichtigt werden. Im Allgemeinen ist ein Multipixel-TOF-Sensor mit einer Auflösung von mindestens 2×2 Pixeln wünschenswert.
  • Es wird angemerkt, dass in der vorstehenden Beschreibung eine Aussage, die eine Komponente des Aktivitätserfassungssystems 200 im Singular adressiert, bedeuten soll, dass das Aktivitätserfassungssystem eine oder mehrere der Komponenten enthalten kann. Beispielsweise kann eine Ausführungsform des Aktivitätserfassungssystems 200 einen Wärmesensor 204 enthalten, während eine andere Ausführungsform mehr als einen Wärmesensor 204 enthalten kann. Ebenso kann, während eine Ausführungsform des Aktivitätserfassungssystems 200 einen TOF-Sensor 208 mit einem einzelnen Signalsensor 208 umfassen kann, eine weitere Ausführungsform des Signalsensors 208B einen TOF-Sensor 208 mit mehr als einem Signalsensor 208B umfassen.
  • In der dargestellten Ausführungsform umfasst das Aktivitätserfassungssystem 200 auch einen oder mehrere Prozessoren (zusammen als Prozessor(en) 216 dargestellt) und einen Speicher 220, der maschinenausführbare Instruktionen 224 umfasst, um unter anderem eine oder mehrere der hier beschriebenen Aktivitätserfassungsfunktionalitäten auszuführen sowie zum Ausführen von Funktionen, die das Ausführen solcher Aktivitätserfassungsfunktionalitäten unterstützen und/oder ermöglichen. Der/die Prozessor(en) 216 können sich an jedem geeigneten Ort befinden, einschließlich lokal beim Wärmesensor 204 und TOF-Sensor 208 (beispielsweise im selben Gerät) oder entfernt von dem Wärmesensor und TOF-Sensor sein, beispielsweise in einem lokalen Netzwerk (LAN)), einem WAN (Wide Area Network) oder einem globalen Netzwerk (beispielsweise das Internet), das den Wärmesensor und TOF-Sensoren umfasst.
  • In dieser Ausführungsform kann jeder Prozessor 216 beispielsweise ein beliebiger geeigneter Prozessor aus verschiedenen Architekturen sein, beispielsweise ein Mikroprozessor, eine anwendungsspezifische integrierte Schaltung, ein Teil eines Systems auf einem Chip oder ein feldprogrammierbares Gate-Array. Der Speicher 220 kann ein beliebiger Typ eines geeigneten Maschinenspeichers sein oder diesen enthalten, beispielsweise Cache, RAM, ROM, PROM, EPROM und/oder EEPROM. Der Maschinenspeicher kann auch ein anderer Typ eines Maschinenspeichers sein oder einen anderen Typ umfassen, beispielsweise eine statische oder austauschbare Speicherplatte, einen statischen oder austauschbaren Festkörperspeicher und/oder einen beliebigen anderen Typ eines dauerhaften hardwarebasierten Speichers. Grundsätzlich gibt es keine Einschränkung hinsichtlich des Speichertyps/der Speichertypen außer, dass er/sie in Hardware ausgeführt ist/sind.
  • Maschinenausführbare Instruktionen 224 können in Software, Firmware und/oder irgendeiner anderen geeigneten Form ausgeführt sein. In einigen Ausführungsformen codieren maschinenausführbare Instruktionen 224 Aktivitätserfassungsalgorithmen, die es dem Prozessor 216 ermöglichen, thermische Daten und TOF-Daten von dem Wärmesensor 204 bzw. dem TOF-Sensor 208 zu verarbeiten. Beispielsweise können die Aktivitätserfassungsalgorithmen den Abstand, die Geschwindigkeit und/oder die Beschleunigung ermitteln sowie Ermitteln, ob eine oder mehrere Personen gefallen sind oder wahrscheinlich gefallen sind. Wie nachstehend ausführlicher beschrieben ist, auch in Verbindung mit 3, kann der Aktivitätserfassungsalgorithmus die Wahrscheinlichkeit ermitteln, dass eine oder mehrere Personen gefallen sind, mittels Vergleichens von Daten, die von thermischen Daten und/oder TOF-Daten erhalten wurden und/oder von thermischen Daten und/oder TOF-Daten abgeleitet wurden, mit einem oder mehreren im Speicher 220 gespeicherten Aktivitätsprofildatensätzen.
  • In der veranschaulichten Ausführungsform sind der Wärmesensor 204 und der TOF-Sensor 208 zusammen angeordnet und so ausgerichtet, dass sie thermische Daten bzw. TOF-Daten für ein beliebiges Objekt, beispielsweise eine Person 212, innerhalb überlappender oder übereinstimmender Sichtfelder 204F, 208F des Wärmesensors und TOF-Sensors sammeln, die zusammen einen überwachten Bereich 228 definieren. Wie hier verwendet, bezeichnet der Begriff „überwachter Bereich“, der allgemein mit 228 bezeichnet ist, den Raumbereich innerhalb der überlappenden Bereiche der Sichtfelder 204F 208F, in denen ein oder mehrere Objekte, wie beispielsweise Personen, in Übereinstimmung mit hierin offenbarten Techniken erfasst werden können. Die überlappenden oder übereinstimmenden Sichtfelder 204F, 208F ermöglichen es dem Aktivitätserfassungssystem 200 zu ermitteln, wann das Vorhandensein eines überwachten Objekts (beispielsweise Person 212) mit einem TOF-Datenprofil in Raum-Zeit-Koordinaten übereinstimmt, so dass das Aktivitätserfassungssystem darauf schließen kann, dass das TOF-Datenprofil zu der Person korrespondiert (beispielsweise: es war eine Person, die gefallen ist und kein lebloses Objekt). Beispielsweise können die Aktivitätserfassungsalgorithmen die Positionen der Pixel in den entsprechenden Sensor-Arrays von Wärmesensor 204 und TOF-Sensoren 208 verwenden, in denen jeweils thermische Aktivität und Beschleunigungsaktivität erfasst werden, um zu ermitteln, ob diese Aktivitäten in einer räumlichen (beispielsweise xy) Nähe zueinander aufgetreten sind, was ein Sturzereignis anzeigen würde. Wenn zum Beispiel der Wärmesensor 204 ein 360×240-Pixel-Array hat und eine Wärmemasse in der „oberen rechten“ Ecke des Arrays erfasst hat und der TOF-Sensor 208 ein 360×240-Pixel-Array hat und gleichzeitig die Beschleunigungsaktivität in der „unteren rechten“ Ecke des Arrays erfasst hat, kann das Aktivitätserfassungssystem 200 dann ermitteln, dass die unterschiedlichen Orte der Aktivitäten anzeigen, dass ein Sturz (wie aus den TOF-Daten ermittelt) der Person 212 (wie aus den thermischen Daten ermittelt) nicht aufgetreten ist. In dieser Ausführungsform kann die durch den TOF-Sensor 208 erfasste Aktivität zum Beispiel durch ein fallendes unbelebtes Objekt (nicht gezeigt), das sich von einer Person 212 entfernt befindet, verursacht worden sein.
  • In der veranschaulichten Ausführungsform sind der Wärmesensor 204 und TOF-Sensor 208 direkt vertikal über dem überwachten Bereich 228 angeordnet, beispielsweise an oder in einer Decke (nicht gezeigt) oder einer anderen Struktur montiert. In anderen Ausführungsformen können der Wärmesensor 204 und TOF-Sensor 208 jedoch auch anders als direkt vertikal über dem Erfassungsbereich angeordnet sein, beispielsweise unter anderem an einer Wand oder einer anderen vertikalen Gebäudekomponente montiert sein. Außerdem müssen in anderen Ausführungsformen der Wärmesensor 204 und TOF-Sensor 208 nicht zusammen angeordnet sein. Im Allgemeinen besteht ein Hauptmerkmal des Lokalisierens von Wärmesensor 204 und TOF-Sensor 208 relativ zueinander darin, dass das Aktivitätserfassungssystem 200 thermische Daten und TOF-Daten durch den räumlichen Ort bei der Beurteilung, ob die TOF-Daten einer Person, die mittels der thermischen Daten ermittelt wurde, entsprechen, miteinander korrelieren kann. Anordnen von mindestens dem TOF-Sensor 208 vertikal über dem überwachten Bereich 228 kann bei der Unterscheidung von Sturzereignissen beitragen, da die Beschleunigungen, die ein menschlicher Körper während eines Sturzes erfährt, aufgrund der Erdanziehung in der Regel vertikal sind.
  • Maschinenausführbare Instruktionen 224 können auch maschinenausführbare Instruktionen zum Erzeugen eines oder mehrerer Aktivitätssignale (nicht gezeigt) enthalten, die eine Anzeige liefern, dass das Aktivitätserfassungssystem 200 eine Aktivität erfasst hat, für deren Erfassung es eingerichtet wurde. Optional können maschinenausführbare Instruktionen 224 auch ein oder mehrere Benachrichtigungssignale 232 erzeugen und senden, beispielsweise basierend auf dem Aktivitätssignal, die eine Benachrichtigung bereitstellen, dass das Aktivitätserfassungssystem 200 etwas erfasst hat, für das es eingerichtet wurde, zu erfassen. Jedes Aktivitätssignal kann beispielsweise ein Flag, ein Deskriptor oder ein anderer Eintrag in einen Datensatz sein, beispielsweise in ein Datenfeld eines Datenspeichers. Grundsätzlich gibt es keine Einschränkung hinsichtlich der Art eines Aktivitätssignals.
  • Im Kontext einer Sturzerkennungsausführungsform des Aktivität-Erkennungssystems 200 kann das Aktivität-Erkennungssystem das eine oder die mehreren Benachrichtigungssignale 232 erzeugen und senden, wenn ermittelt wurde, dass eine Person, hier die Person 212, wahrscheinlich ein Sturzereignis erfahren hat, derart, dass die Ausgabe eines Alarms gerechtfertigt ist, beispielsweise an eine oder mehrere Entitäten 236 (beispielsweise ein Ereignisverfolgungssystem, ein Alarmsystem usw.), die wiederum eine oder mehrere Personen benachrichtigen können (beispielsweis ein Pfleger, eine Krankenschwester, ein Verwandter usw.) (nicht gezeigt). Ein durch das Benachrichtigungssignal 232 ausgelöster Alarm kann von einem beliebigen geeigneten Typ sein, einschließlich, aber nicht beschränkt auf ein Alarmlicht innerhalb und/oder außerhalb des überwachten Raums, einen Alarm für ein Mobilgerät (beispielsweise auf einem Pager, Smartphone oder einem anderen Gerät), ein Alarm der Pflegestation (beispielsweise ein Licht und/oder hörbares Geräusch durch eine Überwachungstafel und/oder ein Computergerät), ein Alarm der Ambulanzstation usw. und eine beliebige Kombination davon. In anderen Anwendungen kann eine Entität 236 beispielsweise eine Steuervorrichtung für eine Umgebungssteuerung sein, wie beispielsweise eine intelligente Beleuchtungssteuerung, ein intelligenter Thermostat oder ein intelligenter Hygrostat unter anderem. In einigen Fällen kann das Aktivitätserfassungssystem 200 einige oder alle Benachrichtigungssignale 232 über ein oder mehrere Netzwerke senden, die gemeinsam als Netzwerk 240 dargestellt sind. Es wird auch angemerkt, dass das Netzwerk 240 Kommunikationen zwischen dem Wärmesensor 204 und TOF-Sensor 208 und dem Prozessor 216 handhaben kann, wie gezeigt ist. Alternativ können jedoch die Wärmesensor 204 und TOF-Sensor 208 und der Prozessor 216 über eine festverdrahtete Verbindung in Verbindung stehen, ebenso wie jede Entität 236.
  • 3 veranschaulicht ein Verfahren 300 zum Ermitteln des Auftretens von Aktivität(en) von mindestens einer Person, die erfasst werden soll(en), und zum Bereitstellen eines entsprechenden Aktivitätssignals. In dieser Ausführungsform und unter Bezugnahme auf 2 für einen beispielhaften Kontext für das Verfahren 300 wird bei Block 305 ein überwachter Bereich, wie beispielsweise der überwachte Bereich von 2, mittels eines Wärmesensor vom Array-Typ überwacht, um thermische Daten zu erzeugen. In Abhängigkeit von der Anwendung kann der überwachte Bereich ein beliebiger geeigneter Bereich sein, wie beispielsweise ein Bereich in einem Raum (beispielsweise Krankenhauszimmer, Hotelzimmer, Schlafzimmer, Badezimmer usw.), der auf Stürze überwacht werden soll. Wenn das Aktivitätserfassungssystem 200 in dem Verfahren 300 verwendet wird, wird die Wärmeüberwachung in Block 305 mittels des Wärmesensors 204 durchgeführt. Wenn der Wärmesensor 204 einen Wärmebildsensor vom Array-Typ enthält, können die thermischen Daten als eine Zeitreihe von Wärmekarten (Daten) des Sichtfeldes des Wärmesensors charakterisiert werden. Das Sichtfeld des Wärmesensors 204 kann den überwachten Bereich 228 umfassen oder koextensiv mit diesem sein.
  • In ähnlicher Weise wird bei Block 310 der überwachte Bereich, wie beispielsweise der überwachte Bereich 228 von 2, mit einem TOF-Sensor überwacht, um TOF-Daten zu erzeugen. Wenn das Aktivitätserfassungssystem 200 in dem Verfahren 300 verwendet wird, wird die TOF-Überwachung in Block 310 mittels des TOF-Sensors 208 durchgeführt. Wenn der TOF-Sensor 208 einen Sensor vom TOF-Bildgebung-Array-Typ enthält, können die TOF-Daten als eine Zeitreihe von Tiefen- oder Abstand-, Karten des Sichtfelds des TOF-Sensors charakterisiert werden. Das Sichtfeld des TOF-Sensors 208 kann das Sichtfeld des Wärmesensors 204 umfassen oder koextensiv mit diesem sein und den überwachten Bereich 228 abdecken. Bei Block 315 können die Daten, die den Abstandskarten zugrunde liegen, verarbeitet werden, um von TOF-abgeleitete Daten zu berechnen, die beispielsweise eine oder mehrere Abstandskarten, eine oder mehrere Beschleunigungskarten und/oder eine oder mehrere Geschwindigkeitskarten sein können, um zu ermitteln, wie sich Abstände innerhalb der Abstandskarten über die Zeit ändern können. Es wird angemerkt, dass „Karten“ synonym mit „Daten“ betrachtet werden können. Beispielsweise können, wie oben relativ zur 1 beschrieben wurde, unterschiedliche Sturzereignisse (Aktivitäten) unterschiedliche Beschleunigungs- und/oder Geschwindigkeitsprofile aufweisen. Bei Ausführung durch das Aktivitätserfassungssystem 200 von 2 werden die Berechnungen in Block 315 mittels des Prozessors 208C durchgeführt, wenn sie on-bord des TOF-Sensors 208 durchgeführt werden und/oder mittels des Prozessors 216 durchgeführt, der geeignete Algorithmen ausführt, die in maschinenausführbaren Instruktionen 224 kodiert sind.
  • Bei Block 320 werden die thermischen Daten und die TOF-abgeleiteten Daten verwendet, um zu ermitteln, ob sich eine Person in dem überwachten Bereich befindet und/oder ob die Person an einer Aktivität teilgenommen hat. Im Sinne dieser Offenbarung und der beigefügten Ansprüche erfordert eine „Aktivität“ keine Bewegung (beispielsweise eine Person ist an einer Aktivität beteiligt, wenn sie still sitzt oder still liegt) und erfordert keine zustimmende Wahl, um an der Aktivität teilzunehmen (beispielsweise muss eine Person nicht auswählen, versehentlich zu stürzen oder bewusstlos auf dem Boden zu liegen). Wenn diese Ermittlung mittels des Aktivitätserfassungssystems 200 von 2 durchgeführt wird, wird sie mittels des Prozessors 216 durchgeführt, der geeignete Aktivitätserfassungsalgorithmen ausführt, die in maschinenausführbaren Instruktionen 224 kodiert sind. In einigen Ausführungsformen können thermische Daten und TOF-abgeleitete Daten miteinander verschmolzen werden, um einen erfassten Datensatz zu erstellen, der dann mit einem oder mehreren gespeicherten Aktivitätsprofilen abgeglichen werden kann, um einen oder mehrere Zuverlässigkeitsbewertungen oder ähnliche Bewertungen, die die Qualität der Übereinstimmung(en) zwischen dem erfassten Datensatz und dem einen oder den mehreren Aktivitätsprofilen angeben, ermitteln. Ein derartiger Abgleich und eine derartige Bewertung können durch beliebige geeignete Algorithmen durchgeführt werden, beispielsweise durch einen Faltungs-Neuronalnetzwerk (CNN)-Algorithmus oder einen anderen Daten- oder Bildabgleichalgorithmus, der in maschinenausführbaren Instruktionen 224 enthalten sein kann. In einigen Ausführungsformen können Wärmedaten und Beschleunigungsdaten mit Tiefen- und/oder Geschwindigkeitsdaten ergänzt werden, um bestimmte Ereignisse zu charakterisieren. Wenn zum Beispiel die thermischen Daten anzeigen, dass eine Person anwesend ist, die Beschleunigungsdaten jedoch nicht schlüssig sind, um zu identifizieren, dass ein Sturz stattgefunden hat, kann eine Reihe von Abstandskarten, aus denen hervorgeht, dass sich die Person über einen längeren Zeitraum in Bodennähe befunden hat, verwendet werden, dabei helfen zu ermitteln, das ein Sturz, der dazu geführt hat, dass die Person für eine besorgniserregende Zeit auf dem Boden lag, aufgetreten ist.
  • Es wird angemerkt, dass die thermischen Daten und die TOF-abgeleiteten Daten nicht als eine Datenzusammensetzung verschmolzen und analysiert werden müssen. Beispielsweise kann die eine oder andere der thermischen Daten und Beschleunigungsdaten kontinuierlich auf eine bedeutsame Änderung überwacht werden. Wenn dann ermittelt wird, dass eine bedeutsame Änderung oder ein bedeutsames Ereignis aufgetreten ist, können die anderen der thermischen Daten und Beschleunigungsdaten auf ein entsprechendes Auftreten eines Sturzereignisses oder eines Zusammenfalls der Aktivität überwacht werden. Beispielsweise können in einem Szenario die thermischen Daten anfänglich auf eine Änderung des x-y-Orts einer Person überwacht werden. Vielleicht hat die Person stundenlang im Bett gelegen, hat jetzt aber angefangen, sich auf eine Seite des Bettes zu bewegen, um auszusteigen. Das Aktivitätserfassungssystem 200 kann diese Bewegung erkennen und dann in Echtzeit mit der Analyse der aus den TOF-Daten abgeleiteten Beschleunigungsdaten beginnen, um zu ermitteln, ob die Person einen Sturz vom Bett oder beim Aufstehen erfährt. In einem anderen Szenario können die Beschleunigungsdaten kontinuierlich überwacht und bewertet werden, um zu ermitteln, ob ein durch die Beschleunigung ermitteltes Sturzereignis aufgetreten ist. Wenn ja, kann das Aktivitätserfassungssystem 200 dann die thermischen Daten analysieren, um zu ermitteln, ob der die Person in der thermischen Karte darstellende Thermal-Blob räumlich mit dem Sturzereignis zusammenfällt, um eine fallende Person von einem fallenden unbelebten Objekt zu unterscheiden. Als ein weiteres Beispiel kann das Aktivitätserfassungssystem 200 kontinuierlich sowohl thermische Daten als auch Beschleunigungs- (und/oder Geschwindigkeits- und Abstandsdaten) überwachen, um die räumliche und zeitliche Übereinstimmung der Person mit dem Auftreten von TOF-Daten abgeleiteten Hinweisen auf ein Bewegungsereignis zu ermitteln. Andere Bewegungsereignis- und/oder Anwesenheitserfassungsschemata und entsprechende Algorithmen sind möglich.
  • In Block 325 wird in Reaktion darauf, dass ermittelt wurde, dass ein ermittelbares Bewegungsereignis wahrscheinlich aufgetreten ist, ein Aktivitätssignal erzeugt. Optional kann ein Benachrichtigungssignal erzeugt und an einen oder mehrere geeignete Empfänger gesendet werden. Wenn das Aktivitätserfassungssystem 200 von 2 verwendet wird, um das Verfahren 300 zu implementieren, kann das Erzeugen von jedem des Aktivitätssignals und des Benachrichtigungssignals 232 durch den Prozessor 216 durchgeführt werden, der geeignete Algorithmen ausführt, die in maschinenausführbaren Instruktionen 224 kodiert sind. Abhängig von der Anwendung des Verfahrens 300 und den Personen (beispielsweise Leute 212 von 2) und/oder Entitäten (beispielsweise Entitäten 236 von 2), die das Benachrichtigungssignal empfangen müssen, kann das Benachrichtigungssignal von jeder geeigneten Art und Zusammensetzung sein. Wie oben erwähnt, kann das Aktivitätssignal auch von irgendeiner geeigneten Art und Zusammensetzung sein.
  • 4 veranschaulicht ein Verfahren 400 zum Ausgeben eines Benachrichtigungssignals in Reaktion auf ein Sturzereignis, das ein Ausrutschen, Stolpern oder ein anderes Sturzereignis umfasst. Bei Block 405 tritt das Fallereignis auf. Bei Block 410 wird ein Wärmesensor-Array bereitgestellt. Im Kontext des Aktivitätserfassungssystems 200 von 2 kann das Wärmesensor-Array Teil des Wärmesensors 204 sein. Bei Block 415 wird eine Zeitreihe von Wärmekarten mittels thermischer Daten von dem Wärmesensor-Array erzeugt. Zumindest einige der Wärmekarten enthalten ein Wärmebild einer Person (beispielsweise Person 212 von 2), die den Sturz erlebt. In den Blöcken 420 und 425 werden jeweils ein TOF-Sensor-Array und eine modulierte Lichtquelle bereitgestellt. Im Kontext des Aktivitätserfassungssystems 200 von 2 können sowohl das TOF-Sensor-Array als auch die modulierte Lichtquelle Teil des TOF-Sensors 208 sein und können durch den on-board Prozessor 208C gesteuert werden. Bei Block 430 wird die TOF entweder direkt mittels einzelner Pulse oder indirekt über eine Phasenverschiebungserfassung mittels einer modulierten Wellenform, beispielsweise einer Serie von Rechteckwellen, Sinuswellen, Sägezahnwellen usw., gemessen. Bei Block 435 wird eine Zeitreihe von Tiefenkarten mittels der bei Block 430 gemessenen TOF-Daten erzeugt. Im Kontext des Aktivitätserfassungssystems 200 von 2 können die TOF-Messungen und die Tiefenkartenerzeugung der Blöcke 430 und 435 jeweils mittels des integrierten Prozessors 208C durchgeführt werden.
  • Bei Block 440 werden die Wärmekarten und Tiefenkarten (und/oder Daten, die beiden Arten von Karten zugrunde liegen) mittels geeigneter Algorithmen verarbeitet, wie beispielsweise Algorithmen, die in maschinenausführbaren Instruktionen 224 von 2 kodiert sind. Beispiele für die Verarbeitung, die bei Block 440 auftreten können, umfassen das Erfassen des Thermal-Blobs in den Wärmekarten (Block 440A) und das Ermitteln von 1) Koordinaten für den Thermal-Blob mittels der Wärmekarten (Block 440B) und von 2) Beschleunigungen des Thermal-Blobs mittels der Tiefenkarten (Block 440B).
  • Nach dem Ermitteln der Beschleunigungen des Thermal-Blobs wird in Block 445 ermittelt, ob die durch den Thermal-Blob dargestellte Person ein Sturzereignis erfahren hat, was durch das mittels der Tiefenkarten ermittelte Beschleunigungsprofil belegt wird. Beispielsweise kann das Beschleunigungsprofil des Thermal-Blobs über eine ermittelte Zeitspanne mit einem oder mehreren gespeicherten Aktivitätsprofilen verglichen werden, die typische Sturzereignisse charakterisieren, um einen oder mehrere Zuverlässigkeitsbewertungen zu ermitteln, die die Zuverlässigkeit darstellen, dass das tatsächliche Beschleunigungsprofil mit dem einen oder mehreren gespeicherten Aktivitätsprofilen übereinstimmt. Das Ermitteln, dass die Person gefallen ist, kann durch Vergleichen jeder der einen oder mehreren Zuverlässigkeitsbewertungen mit einem vorbestimmten Schwellenwert erfolgen. Wenn im Entscheidungsblock 450 ermittelt wird, dass irgendeine Zuverlässigkeitsbewertung gleich oder größer als der vorbestimmte Schwellenwert ist, kann das Verfahren mit Block 455 fortfahren, bei dem ein Alarm bereitgestellt wird. Ein solcher Alarm kann zum Beispiel ein Benachrichtigungssignal umfassen, das ein Gerät zum Ausgeben eines Alarms auslöst, wie zum Beispiel eine elektronische Benachrichtigung, einen akustischen Alarm, einen visuellen Alarm oder eine beliebige Kombination davon. Wenn im Entscheidungsblock 450 alle der einen oder mehreren Zuverlässigkeitsbewertungen kleiner als die vorbestimmten Schwellenwerte sind, wird kein Benachrichtigungssignal erzeugt. Wenn mittels des Aktivitätserfassungssystems 200 von 2 durchgeführt, können die Funktionen der Blöcke 445, 450 und 455 mittels Algorithmen ausgeführt werden, die in maschinenausführbaren Instruktionen 224 kodiert sind.
  • Jeder oder mehrere der hier beschriebenen Aspekte und Ausführungsformen können bequem mittels einer oder mehrerer Maschinen (beispielsweise einer oder mehrerer Rechenvorrichtungen, die als Benutzerrechenvorrichtung für ein elektronisches Dokument verwendet werden, einer oder mehrerer Servervorrichtungen, beispielsweise einen Dokumentenserver, usw.), die gemäß den Lehren der vorliegenden Beschreibung programmiert ist/sind, wie es für den Durchschnittsfachmann auf dem Gebiet des Computers offensichtlich ist. Eine geeignete Software-Kodierung kann von erfahrenen Programmierern auf der Grundlage der Lehren der vorliegenden Offenbarung leicht hergestellt werden, wie es für den Durchschnittsfachmann auf dem Gebiet der Software offensichtlich ist. Aspekte und Implementierungen, die oben mittels Software und/oder Softwaremodulen erörtert wurden, können auch geeignete Hardware enthalten, um die Implementierung der maschinenausführbaren Instruktionen der Software und/oder des Softwaremoduls zu unterstützen.
  • Eine solche Software kann ein Computerprogrammprodukt sein, das ein maschinenlesbares Speichermedium verwendet. Ein maschinenlesbares Speichermedium kann ein beliebiges Medium sein, das in der Lage ist, eine Sequenz von Anweisungen zur Ausführung durch eine Maschine (beispielsweise eine Computervorrichtung) zu speichern und/oder zu codieren, und das die Maschine veranlasst, eine der Methoden und/oder hier beschriebene Ausführungsformen auszuführen. Beispiele eines maschinenlesbaren Speichermediums umfassen, ohne darauf beschränkt zu sein, eine Magnetplatte, eine optische Scheibe (beispielsweise CD, CD-R, DVD, DVD-R usw.), eine magnetooptische Scheibe, eine Nur-Lesen-Speicher „ROM“ -Vorrichtung, einen Direktzugriffsspeicher „RAM“ -Vorrichtung, eine Magnetkarte, eine optische Karte, eine Festkörperspeicher-Vorrichtung, ein EPROM, ein EEPROM und beliebige Kombinationen davon. Ein maschinenlesbares Medium, wie es hier verwendet wird, soll ein einzelnes Medium sowie eine Sammlung physikalisch getrennter Medien umfassen, wie beispielsweise eine Sammlung von Compact Discs oder ein oder mehrere Festplattenlaufwerke in Kombination mit einem Computerspeicher. Wie hier verwendet, enthält ein maschinenlesbares Speichermedium keine vorübergehenden Formen der Signalübertragung.
  • Eine solche Software kann auch Informationen (beispielsweise Daten) enthalten, die als Datensignal auf einem Datenträger wie einer Trägerwelle übertragen werden. Beispielsweise kann maschinenausführbare Information als ein in einem Datenträger verkörpertes datentragendes Signal enthalten sein, in dem das Signal eine Sequenz von Instruktionen oder einen Teil davon zur Ausführung durch eine Maschine (beispielsweise ein Computergerät) und eine damit zusammenhängende Information (beispielsweise Datenstrukturen und Daten) kodiert, die die Maschine veranlassen, eine der hier beschriebenen Methoden und/oder Ausführungsformen durchzuführen.
  • Beispiele für ein Computergerät umfassen, ohne darauf beschränkt zu sein, ein Lesegerät für elektronische Bücher, eine Computerarbeitsstation, einen Terminalcomputer, einen Servercomputer, ein Handgerät (beispielsweise einen Tablet-Computer, ein Smartphone usw.)., eine Web-Anwendung, einen Netzwerk-Router, einen Netzwerk-Switch, eine Netzwerk-Bridge, eine beliebige Maschine, die in der Lage ist, eine Folge von Anweisungen auszuführen, die eine von dieser Maschine auszuführende Aktion spezifizieren, und beliebige Kombinationen davon. In einem Beispiel kann ein Computergerät einen Kiosk enthalten und/oder in diesem enthalten sein.
  • 5 zeigt eine diagrammartige Darstellung einer Ausführungsform eines Computergeräts in der beispielhaften Form eines Computersystems 500, in dem ein Satz von Instruktionen zum Bewirken, dass eine zentrale PCD einen oder mehrere der Aspekte und/oder Methoden der vorliegenden Offenbarung ausgeführt werden, enthalten kann. Es wird auch in Betracht gezogen, dass jeder von mehreren mobilen Personal Computern verwendet werden kann, um einen speziell eingerichteten Befehlssatz zu implementieren, um zu bewirken, dass eine oder mehrere der zentralen PCDs einen oder mehrere der Aspekte und/oder Methoden der vorliegenden Offenbarung ausführen. Das Computersystem 500 enthält einen Prozessor 504 und einen Speicher 508, die miteinander und mit anderen Komponenten über einen Bus 512 kommunizieren. Der Bus 512 kann einen beliebigen von mehreren Typen von Busstrukturen enthalten, einschließlich, aber nicht beschränkt auf einen Speicherbus, eine Speichersteuerung, ein Peripheriebus, ein lokaler Bus und beliebige Kombinationen davon mittels einer beliebigen einer Vielzahl von Busarchitekturen.
  • Der Speicher 508 kann verschiedene Komponenten (beispielsweise maschinenlesbare Medien) umfassen, einschließlich, aber nicht beschränkt auf eine Direktzugriffsspeicherkomponente, eine Nur-Lese-Komponente und beliebige Kombinationen davon. In einem Beispiel kann ein grundlegendes Eingabe-/Ausgabesystem 516 (BIOS), einschließlich grundlegender Routinen, die helfen, Informationen zwischen Elementen innerhalb des Computersystems 500 zu übertragen, wie zum Beispiel während des Starts, in dem Speicher 508 gespeichert sein. Der Speicher 508 kann auch (beispielsweise auf einem oder mehreren maschinenlesbaren Medien gespeichert) Instruktionen (beispielsweise Software) 520, die einen oder mehrere der Aspekte und/oder Methoden der vorliegenden Offenbarung verkörpern, umfassen. In einem anderen Beispiel kann der Speicher 508 ferner eine beliebige Anzahl von Programmmodulen enthalten, einschließlich, aber nicht darauf beschränkt, ein Betriebssystem, ein oder mehrere Anwendungsprogramme, andere Programmmodule, Programmdaten und beliebige Kombinationen davon.
  • Das Computersystem 500 kann auch eine Speichervorrichtung 524 umfassen. Beispiele für eine Speichervorrichtung (beispielsweise Speichervorrichtung 524) umfassen ein Festplattenlaufwerk, ein Magnetplattenlaufwerk, ein optisches Plattenlaufwerk in Kombination mit einem optischen Medium, eine Festkörperspeichervorrichtung und beliebigen Kombinationen davon, sind jedoch nicht darauf beschränkt. Die Speichervorrichtung 524 kann über eine geeignete Schnittstelle (nicht gezeigt) mit dem Bus 512 verbunden sein. Beispielhafte Schnittstellen umfassen, ohne darauf beschränkt zu sein, SCSI, ATA (Advanced Technology Attachment), Serial ATA, universeller serieller Bus (USB), IEEE 1394 (FIREWIRE) und beliebige Kombinationen davon. In einem Beispiel kann die Speichervorrichtung 524 (oder eine oder mehrere Komponenten davon) entfernbar mit dem Computersystem 500 verbunden sein (beispielsweise über einen externen Portverbinder (nicht gezeigt)). Insbesondere können die Speichervorrichtung 524 und ein zugehöriges maschinenlesbares Medium 528 eine nichtflüchtige und/oder flüchtige Speicherung von maschinenlesbaren Instruktionen, Datenstrukturen, Programmmodulen und/oder anderen Daten für das Computersystem 500 bereitstellen. In einem Beispiel kann sich die Software 520 vollständig oder teilweise in dem maschinenlesbaren Medium 528 befinden. In einem anderen Beispiel kann sich die Software 520 vollständig oder teilweise in dem Prozessor 504 befinden.
  • Das Computersystem 500 kann auch eine Eingabevorrichtung 532 enthalten. In einem Beispiel kann ein Benutzer des Computersystems 500 Befehle und/oder andere Informationen mittels der Eingabevorrichtung 532 in das Computersystem 500 eingeben. Beispiele eine Eingabevorrichtung 532 umfassen, ohne darauf beschränkt zu sein, eine alphanumerische Eingabevorrichtung (beispielsweise eine Tastatur), ein Zeigegerät, einen Joystick, ein Gamepad, eine Audio-Eingabevorrichtung (beispielsweise ein Mikrofon, ein Sprachantwortsystem usw.), eine Cursorsteuervorrichtung (beispielsweise eine Maus), ein Touchpad, einen optischen Scanner, eine Videoaufnahmevorrichtung (beispielsweise eine Standbildkamera, eine Videokamera), einen Berührungsbildschirm und beliebige Kombinationen davon. Die Eingabevorrichtung 532 kann über eine Vielzahl von Schnittstellen (nicht gezeigt) mit dem Bus 512 verbunden sein, einschließlich, aber nicht beschränkt auf eine serielle Schnittstelle, eine parallele Schnittstelle, einen Spieleanschluss, eine USB-Schnittstelle, eine FIREWIRE-Schnittstelle, eine direkte Schnittstelle zum Bus 512 und beliebige Kombinationen davon. Die Eingabevorrichtung 532 kann eine Berührungsbildschirmschnittstelle enthalten, die ein Teil der Anzeige 536 sein kann oder von dieser getrennt ist, wie weiter unten erörtert wird. Die Eingabevorrichtung 532 kann als eine Benutzerauswahlvorrichtung zum Auswählen einer oder mehrerer grafischer Darstellungen in einer grafischen Schnittstelle wie oben beschrieben verwendet werden.
  • Ein Benutzer kann auch Befehle und/oder andere Informationen mittels der Speichervorrichtung 524 (beispielsweise ein Wechselplattenlaufwerk, ein Flash-Laufwerk usw.) und/oder die Netzwerkschnittstellenvorrichtung 540 in das Computersystem 500 eingeben. Eine Netzwerkschnittstellenvorrichtung, beispielsweise die Netzwerkschnittstellenvorrichtung 540, kann verwendet werden, um das Computersystem 500 mit einem oder mehreren einer Vielzahl von Netzwerken, beispielsweise dem Netzwerk 544, und einem oder mehreren damit verbundenen entfernten Geräten 548 zu verbinden. Beispiele einer Netzwerkschnittstellenvorrichtung umfassen eine Netzwerkschnittstellenkarte (beispielsweise eine mobile Netzwerkschnittstellenkarte, eine LAN-Karte), ein Modem und eine beliebige Kombination davon, sind jedoch nicht darauf beschränkt. Beispiele eines Netzwerks umfassen ein Weitverkehrsnetzwerk (beispielsweise das Internet, ein Unternehmensnetzwerk), ein lokales Netzwerk (beispielsweise ein Netzwerk, das einem Büro, einem Gebäude, einem Campus oder einem anderen relativ kleinen geografischen Raum zugeordnet ist), ein Telefonnetz, ein Datennetz, das einem Telefon-/Sprachanbieter zugeordnet ist (beispielsweise ein Daten- und/oder Sprachnetz eines Mobilfunkanbieters), eine direkte Verbindung zwischen zwei Computergeräten und beliebige Kombinationen davon, sind jedoch nicht darauf beschränkt. Ein Netzwerk, wie beispielsweise das Netzwerk 544, kann einen drahtgebundenen und/oder einen drahtlosen Kommunikationsmodus verwenden. Im Allgemeinen kann eine beliebige Netzwerktopologie verwendet werden. Informationen (beispielsweise Daten, Software 520 usw.) können zu und/oder von dem Computersystem 500 über die Netzwerkschnittstellenvorrichtung 540 übertragen werden.
  • Das Computersystem 500 kann ferner einen Videoanzeigeadapter 552 zum Übermitteln eines anzeigbaren Bildes an eine Anzeigevorrichtung, wie beispielsweise die Anzeigevorrichtung 536, enthalten. Beispiele für eine Anzeigevorrichtung umfassen eine Flüssigkristallanzeige (LCD), eine Kathodenstrahlröhre (CRT), eine Plasmaanzeige, eine Leuchtdiodenanzeige (LED) und beliebige Kombinationen davon, sind jedoch nicht darauf beschränkt. Der Anzeigeadapter 552 und die Anzeigevorrichtung 536 können in Kombination mit dem Prozessor 504 verwendet werden, um grafische Darstellungen von Aspekten der vorliegenden Offenbarung bereitzustellen. Zusätzlich zu einer Anzeigevorrichtung kann das Computersystem 500 eine oder mehrere andere periphere Ausgabevorrichtungen umfassen, die einen Audiolautsprecher, einen Drucker und beliebige Kombinationen davon umfassen, aber nicht darauf beschränkt sind. Solche peripheren Ausgabegeräte können über eine Peripherieschnittstelle 556 mit dem Bus 512 verbunden sein. Beispiele für eine Peripherieschnittstelle umfassen, ohne darauf beschränkt zu sein, einen seriellen Anschluss, eine USB-Verbindung, eine FIREWIRE-Verbindung, eine Parallelverbindung und beliebige Kombinationen davon.
  • Das Vorstehende war eine detaillierte Beschreibung von veranschaulichenden Ausführungsformen der Offenbarung. Es wird angemerkt, dass in der vorliegenden Beschreibung und den beigefügten Ansprüchen eine Konjunktivsprache, wie sie in den Ausdrücken „mindestens eines von X, Y und Z“ und „eines oder mehrere von X, Y und Z“ verwendet wird, sofern nicht ausdrücklich angegeben oder anderweitig angegeben bedeutet, dass jeder Gegenstand in der Konjunktivliste in einer beliebigen Anzahl ohne jeden anderen Gegenstand in der Liste oder in einer beliebigen Anzahl in Kombination mit einem oder allen anderen Gegenständen in der Konjunktivliste vorhanden sein kann, jeder davon kann auch in einer beliebigen Anzahl vorhanden sein. Unter Anwendung dieser allgemeinen Regel umfassen die Konjunktivsätze in den vorstehenden Beispielen, in denen die Konjunktivliste aus X, Y und Z besteht, jeweils: ein oder mehrere von X; ein oder mehrere von Y; ein oder mehrere von Z; ein oder mehrere von X und ein oder mehrere von Y; ein oder mehrere von Y und ein oder mehrere von Z; ein oder mehrere von X und ein oder mehrere von Z; und ein oder mehrere von X, ein oder mehrere von Y und ein oder mehrere von Z.
  • Verschiedene Modifikationen und Hinzufügungen können vorgenommen werden, ohne vom Geist und Umfang dieser Offenbarung abzuweichen. Merkmale jeder der verschiedenen oben beschriebenen Ausführungsformen können gegebenenfalls mit Merkmalen anderer beschriebener Ausführungsformen kombiniert werden, um eine Vielzahl von Merkmalskombinationen in zugeordneten neuen Ausführungsformen bereitzustellen. Während das Vorstehende eine Anzahl von getrennten Ausführungsformen beschreibt, ist das, was hierin beschrieben wurde, lediglich veranschaulichend für die Anwendung der Prinzipien der vorliegenden Offenbarung. Zusätzlich, obwohl bestimmte Verfahren hierin als in einer bestimmten Reihenfolge ausgeführt veranschaulicht und/oder dargestellt sein können, ist die Reihenfolge innerhalb des Durchschnittsfachs sehr variabel, um Aspekte der vorliegenden Offenbarung zu erreichen. Dementsprechend soll diese Beschreibung nur als Beispiel dienen und den Umfang dieser Offenbarung nicht auf andere Weise einschränken.
  • Beispielhafte Ausführungsformen wurden oben offenbart und in den beigefügten Zeichnungen dargestellt. Fachleute werden verstehen, dass verschiedene Änderungen, Auslassungen und Hinzufügungen an dem vorgenommen werden können, was hierin spezifisch offenbart ist, ohne vom Geist und Umfang der vorliegenden Offenbarung abzuweichen.

Claims (23)

  1. Verfahren zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum und zum Erzeugen eines dem Auftreten korrespondierenden Aktivitätssignals, das Verfahren aufweisend: Überwachen des überwachten Bereichs mittels eines Wärmesensors vom Array-Typ, um thermische Daten zu erzeugen; Überwachen des überwachten Bereichs mittels eines Flugzeit (TOF)-Sensors vom Array-Typ, um TOF-Daten zu erzeugen; Berechnen von TOF-abgeleiteten Daten aus den TOF-Daten, wobei die TOF-abgeleiteten Daten ein oder mehrere von Abstandsdaten, Geschwindigkeitsdaten und/oder Beschleunigungsdaten enthalten; Erfassen des Auftretens einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten; und Erzeugen des Aktivitätssignals in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum.
  2. Verfahren gemäß Anspruch 1, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Ermitteln, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn die TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren.
  3. Verfahren gemäß Anspruch 2, wobei die Aktivität ein Sturzereignis umfasst und das Aktivitätsprofil ein Beschleunigungsprofil umfasst, das das Sturzereignis charakterisiert.
  4. Verfahren gemäß Anspruch 2, wobei das Aktivitätsprofil mindestens eines von einem Beschleunigungsprofil, einem Geschwindigkeitsprofil und einem Raum-Zeit-Koordinatenprofil umfasst.
  5. Verfahren gemäß Anspruch 1, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Analysieren der thermischen Daten, um einen räumlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen räumlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt.
  6. Verfahren gemäß Anspruch 1, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Analysieren der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt.
  7. Verfahren gemäß Anspruch 1, wobei der TOF-Sensor vom Array-Typ über dem überwachten Bereich montiert ist.
  8. Verfahren gemäß Anspruch 1, wobei der Wärmesensor vom Array-Typ eine Wärmebildkamera mit einer Auflösung von 320×240 Pixel oder weniger umfasst.
  9. Verfahren gemäß Anspruch 1, wobei der TOF-Sensor vom Array-Typ einen Lidar-Sensor mit einer Auflösung von 320×240 Pixel oder weniger umfasst.
  10. System zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum, das System aufweisend: einen Wärmesensor vom Array-Typ zum thermischen Überwachen des überwachten Bereichs, wobei die Array-Typ Wärmeüberwachung thermische Daten erzeugt; einen Flugzeit (TOF)-Sensor vom Array-Typ zum Überwachen des überwachten Bereichs, wobei der TOF-Sensor vom Array-Typ TOF-Daten erzeugt; einen Prozessor, der mit dem Wärmesensor vom Array-Typ und dem TOF-Sensor vom Array-Typ gekoppelt ist und eingerichtet ist, zum: Analysieren der thermischen Daten, um die Anwesenheit der mindestens einen Person in dem überwachten Bereich zu ermitteln; Berechnen von TOF-abgeleiteten Daten aus den TOF-Daten, wobei die TOF-abgeleiteten Daten mindestens eines von Abstandsdaten, Geschwindigkeitsdaten und Beschleunigungsdaten umfassen; Erfassen des Auftretens einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten; und Erzeugen eines Aktivitätssignals in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum.
  11. System gemäß Anspruch 10, wobei der Prozessor eingerichtet ist, um das Auftreten der Aktivität der mindestens einen Person zu erfassen, mittels: Ermitteln, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn die TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren.
  12. System gemäß Anspruch 11, wobei die Aktivität ein Sturzereignis umfasst und das Aktivitätsprofil ein Beschleunigungsprofil umfasst, das das Sturzereignis charakterisiert.
  13. System gemäß Anspruch 11, wobei das Aktivitätsprofil mindestens eines umfasst von einem Beschleunigungsprofil, einem Geschwindigkeitsprofil und einem Raum-Zeit-Koordinatenprofil.
  14. System gemäß Anspruch 10, wobei der Prozessor eingerichtet ist, um das Auftreten der Aktivität der mindestens einen Person zu erfassen, mittels: Analysieren der thermischen Daten, um einen räumlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen räumlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt.
  15. System gemäß Anspruch 10, wobei der Prozessor eingerichtet ist, um das Auftreten der Aktivität der mindestens einen Person zu erfassen, mittels: Analysieren der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt.
  16. System gemäß Anspruch 10, wobei der TOF-Sensor vom Array-Typ über dem überwachten Bereich montiert ist.
  17. System gemäß Anspruch 10, wobei der Wärmesensor vom Array-Typ eine Wärmebildkamera mit einer Auflösung von 320×240 Pixel oder weniger umfasst.
  18. System gemäß Anspruch 10, wobei der TOF-Sensor vom Array-Typ einen Lidar-Sensor mit einer Auflösung von 320×240 Pixel oder weniger umfasst.
  19. Nicht-flüchtiges computerlesbares Medium, auf dem ein Computerprogramm zum Erfassen des Auftretens einer Aktivität von mindestens einer Person in einem überwachten Raum gespeichert ist, wobei das Computerprogramm Anweisungen umfasst, um eine Computervorrichtung zu veranlassen, einen Prozess auszuführen, der Folgendes aufweist: Empfangen von thermischen Daten, die von einem Wärmesensor vom Array-Typ erzeugt werden, der den überwachten Raum überwacht; Empfangen von Flugzeit (TOF)-Daten, die von einem TOF-Sensor vom Array-Typ erzeugt werden, der den überwachten Raum überwacht; Berechnen von TOF-abgeleiteten Daten aus den TOF-Daten, wobei die TOF-abgeleiteten Daten eines oder mehrere von Abstandsdaten, Geschwindigkeitsdaten und/oder Beschleunigungsdaten enthalten; Erfassen des Auftretens einer Aktivität der mindestens einen Person in dem überwachten Raum basierend auf den thermischen Daten und den TOF-abgeleiteten Daten; und Erzeugen des Aktivitätssignals in Reaktion auf das Erfassen des Auftretens der Aktivität der mindestens einen Person in dem überwachten Raum.
  20. Nicht-flüchtiges computerlesbares Medium gemäß Anspruch 19, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Ermitteln, ob die TOF-abgeleiteten Daten mit einem die Aktivität charakterisierenden Aktivitätsprofil korrelieren; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn die TOF-abgeleiteten Daten mit dem Aktivitätsprofil korrelieren.
  21. Nicht-flüchtiges computerlesbares Medium gemäß Anspruch 20, wobei die Aktivität ein Sturzereignis umfasst und das Aktivitätsprofil ein Beschleunigungsprofil umfasst, das das Sturzereignis charakterisiert.
  22. Nicht-flüchtiges computerlesbares Medium gemäß Anspruch 19, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Analysieren der thermischen Daten, um einen räumlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen räumlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der räumliche Ort der mindestens einen Person mit dem räumlichen Ort der Aktivität übereinstimmt.
  23. Nicht-flüchtiges computerlesbares Medium gemäß Anspruch 19, wobei das Erfassen des Auftretens der Aktivität der mindestens einen Person aufweist: Analysieren der thermischen Daten, um einen zeitlichen Ort der mindestens einen Person zu ermitteln; Analysieren der TOF-abgeleiteten Daten, um einen zeitlichen Ort der Aktivität zu ermitteln; und Erfassen des Auftretens der Aktivität der mindestens einen Person, wenn der zeitliche Ort der mindestens einen Person mit dem zeitlichen Ort der Aktivität übereinstimmt.
DE102020103118.1A 2019-02-07 2020-02-07 Menschliche aktivität-erkennung mittels thermischer daten und flugzeitsensordaten Ceased DE102020103118A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/269,715 2019-02-07
US16/269,715 US20200258364A1 (en) 2019-02-07 2019-02-07 Human Activity Detection Using Thermal Data and Time-of-Flight Sensor Data

Publications (1)

Publication Number Publication Date
DE102020103118A1 true DE102020103118A1 (de) 2020-08-13

Family

ID=71739236

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020103118.1A Ceased DE102020103118A1 (de) 2019-02-07 2020-02-07 Menschliche aktivität-erkennung mittels thermischer daten und flugzeitsensordaten

Country Status (3)

Country Link
US (1) US20200258364A1 (de)
CN (1) CN111538030A (de)
DE (1) DE102020103118A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021104028A1 (de) 2021-02-19 2022-08-25 Dewertokin Technology Group Co., Ltd. Vorrichtung und Verfahren zum Erkennen einer gestürzten Person in einem Raumbereich

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100767B1 (en) * 2019-03-26 2021-08-24 Halo Wearables, Llc Group management for electronic devices
US11282406B2 (en) * 2020-02-10 2022-03-22 Jeffrie Eugene Long Safety and training apparatus and a method thereof
US20210398691A1 (en) * 2020-06-22 2021-12-23 Honeywell International Inc. Methods and systems for reducing a risk of spread of disease among people in a space
US20220084383A1 (en) * 2020-09-14 2022-03-17 Curbell Medical Products, Inc. System and method for monitoring an individual using lidar
CN112258787A (zh) * 2020-10-27 2021-01-22 孙峰 一种感应生命危险的紧急呼叫系统及方法
TW202248673A (zh) * 2021-02-25 2022-12-16 蘇米特 納格普 用於在界定區域中追蹤對象的技術
US11804121B2 (en) * 2021-04-01 2023-10-31 Lenovo (Singapore) Pte. Ltd. Human presence detector device
GB2605647A (en) * 2021-04-09 2022-10-12 Secure Sensor Innovative Design Ltd Method and device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9638711B2 (en) * 2011-06-17 2017-05-02 Verizon Telematics Inc. Method and system for discerning a false positive in a fall detection signal
US20140361890A1 (en) * 2013-06-06 2014-12-11 Zih Corp. Method, apparatus, and computer program product for alert generation using health, fitness, operation, or performance of individuals
US9596440B2 (en) * 2014-09-11 2017-03-14 Microvision, Inc. Scanning laser planarity detection
US9972187B1 (en) * 2016-11-13 2018-05-15 Agility4Life Biomechanical parameter determination for emergency alerting and health assessment
US9720086B1 (en) * 2016-11-22 2017-08-01 4Sense, Inc. Thermal- and modulated-light-based passive tracking system
US10887125B2 (en) * 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021104028A1 (de) 2021-02-19 2022-08-25 Dewertokin Technology Group Co., Ltd. Vorrichtung und Verfahren zum Erkennen einer gestürzten Person in einem Raumbereich

Also Published As

Publication number Publication date
US20200258364A1 (en) 2020-08-13
CN111538030A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
DE102020103118A1 (de) Menschliche aktivität-erkennung mittels thermischer daten und flugzeitsensordaten
US10080513B2 (en) Activity analysis, fall detection and risk assessment systems and methods
DE60016842T2 (de) Hausgebundenes Überwachungssystem für den Gesundheitszustand
DE60209760T2 (de) Gesichtsbilderzeugungssystem zur bildaufnahme und automatisierte bestätigung der identität
DE102015013031B4 (de) Vorrichtung, Verfahren und Computerprogramm zur Bestimmung einer Lage von zumindest zwei Teilsegmenten einer Patientenlagerungsvorrichtung
DE112018001819B4 (de) Messen eines menschenstroms durch türdurchgänge unter verwendung von leicht installierbaren ir-arraysensoren
DE112017006503T5 (de) Verfahren und vorrichtung zum dynamischen geofence-absuchen eines ereignisorts
DE102008039130A1 (de) Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren
CN110168658A (zh) 患者监测系统和方法
DE112014001344T5 (de) Verfahren und Vorrichtung zur Filterung von Vorrichtungen innerhalb einessozialen Sicherheitsnetzwerkes
CN111723633B (zh) 一种基于深度数据的人员行为模式分析方法和系统
DE102017006529A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung
WO2018232846A1 (zh) 一种大范围周边安全监控方法和系统
CN113033521B (zh) 基于目标分析的周界动态预警方法与系统
DE112017006500T5 (de) Vorrichtung, Verfahren und System zum elektronischen Erfassen einer Außerhalbgrenzbedingung für eine kriminelle Organisation
CN110050276A (zh) 患者识别系统和方法
WO2015028294A1 (de) Überwachungsanlage sowie verfahren zur darstellung eines überwachungsbereichs
DE112016005479T5 (de) Datenanalysesystem
US20220093241A1 (en) Correlating interaction effectiveness to contact time using smart floor tiles
Chiu et al. A convolutional neural networks approach with infrared array sensor for bed-exit detection
DE112017005263T5 (de) Echtzeit-aktivitätsüberwachung unter verwendung von thermo-tags
DE102019114451A1 (de) Aktivitätsbereiche in Videoinhalten
DE112019006186T5 (de) Verfahren und vorrichtung zur steuerung von lichtemittern einer mobilen automatisierungsvorrichtung
US20220093277A1 (en) Path analytics of disease vectors in a physical space using smart floor tiles
DE102014224557A1 (de) Bildverarbeitung mittels Kreuzkorrelation

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final