CN117321647A - 用于识别确定的人的活动的监测系统和方法 - Google Patents

用于识别确定的人的活动的监测系统和方法 Download PDF

Info

Publication number
CN117321647A
CN117321647A CN202280033615.7A CN202280033615A CN117321647A CN 117321647 A CN117321647 A CN 117321647A CN 202280033615 A CN202280033615 A CN 202280033615A CN 117321647 A CN117321647 A CN 117321647A
Authority
CN
China
Prior art keywords
person
patient
monitored
image data
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280033615.7A
Other languages
English (en)
Inventor
K·塔拉斯
L·拉克索宁
L·法伦
T·库帕里宁
S·卡普兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vilso Vision Ltd
Original Assignee
Vilso Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vilso Vision Ltd filed Critical Vilso Vision Ltd
Publication of CN117321647A publication Critical patent/CN117321647A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及一种空间中的至少一个人的监测方法。所述方法包括:接收所述空间的图像数据,从所述图像数据中检测至少一个人,以及如果从所述图像数据中检测到至少一个检测到的人满足至少一个预定待监测的人条件,则确定所述至少一个检测到的人(15)为待监测的人。本发明还涉及用于监测空间中的至少一个人的监测系统以及执行所述监测方法的计算机程序产品。

Description

用于识别确定的人的活动的监测系统和方法
技术领域
本发明涉及一种用于监测空间中的至少一个人的方法以及一种用于执行该方法的系统和计算机程序产品。
背景技术
有时,在医院、疗养院或服务机构中的诸如患者或老年人之类的人会受到摄像头监测,以便在医护人无法随时在场的情况下更好地确保他们的安全。
通过摄像头监测,单个卫生保健工作者或其他监督人可以同时监测几个房间中的人和/或人的活动,并且可能防止患者擅自离开房间或在患者身上发生事件,以便实现更好的安全生活水平。通过自动摄像头监测,可以针对从图像数据检测到的意外情况(例如人跌倒或擅自离开房间等)向卫生保健工作者发出自动警报。
然而,也有可能没有这样的财力,例如,一个医院的所有房间都可以由一个监督人一直监测,或者每个监督人要监测的房间太多,并且因此所有意外情况都无法被看到。此外,由于隐私原因,由人执行的全时监测也可能不是可能的或理想的解决方案。在这些情况下,自动摄像头监测是一种解决方案,但很多时候,它会从图像数据中检测或分析错误的情况,并且发出不必要的警报,这会导致不必要的工作、成本或在医务工作者需要脱离正在进行的工作情况并前往没有报警情况的报警地点时发生危险情况。
发明内容
本发明的目的是提供并呈现一种用于监测确定的人的新颖的系统、计算机实现的方法和计算机程序产品。根据本发明的监测系统、方法和计算机程序产品的特征在于在独立权利要求中展现的内容,并且从属权利要求涉及本发明的有利的实施例。
根据第一示例性实施例,本发明涉及空间中的至少一个人的监测方法。该方法包括:接收空间的图像数据、从该图像数据中检测至少一个人(15),以及如果从该图像数据中检测到至少一个检测到的人(15)满足至少一个预定待监测的人条件,则确定该至少一个检测到的人(15)为待监测的人。
在示例性实施例中,该至少一个预定待监测的人条件包括以下中的至少一项:人已经在床上停留达第一预定时间段,人已经在预定区域中停留达第二预定时间段,或者人已经在该空间中独自停留达第三预定时间段。在示例性实施例中,确定人为待监测的人包括:为检测到的人生成标签,以及为该标签设置待监测的人状态。在示例性实施例中,该方法进一步包括:从图像数据中跟踪待监测的人,以及识别该待监测的人的活动。在示例性实施例中,识别包括使用一个或多个人工智能(AI)模型来识别待监测的人的活动。在示例性实施例中,该方法进一步包括:将待监测的人的所识别的活动与附加到为该待监测的人确定的警报配置文件的至少一项活动进行比较,以及如果检测到的事件包括附加到该警报配置文件的活动,则触发警报。在示例性实施例中,附加到警报配置文件的活动是躺在或坐在地板上、离开空间或在床上移动、或离开床。在示例性实施例中,该方法进一步包括:如果在空间中检测到另一个人,则阻止警报。
根据第二示例性实施例,本发明涉及一种用于监测空间中的至少一个人的监测系统。该系统包括:至少一个摄像头和计算装置,该计算装置被配置为执行根据第一示例性实施例及其示例性实施例的方法。
根据第三示例性实施例,本发明涉及一种计算机程序产品,其存储在计算机可读介质上并且可在计算装置中执行,其中该计算机程序产品包括用于执行根据第一示例性实施例及其示例性实施例的方法的指令。
附图说明
在下文中,将参考附图更详细地描述本发明,在附图中:
图1示出了根据示例性实施例的用于检测和确定患者房间中的人以及识别患者在房间中的活动的监测系统的视图;
图2示出了根据示例性实施例的用于检测一个或多个患者的房间中的一个或多个人以及识别该一个或多个患者在房间中的活动的监测系统的视图;
图3示出了根据示例性实施例的由监测系统检测到的患者跌倒的情况的视图;
图4示出了根据示例性实施例的由监测系统检测到的患者擅自离开病房的情况的视图;并且
图5示出了根据示例性实施例的监测方法的流程图。
具体实施方式
在某些情况下,人需要在其病房、卧室或公寓中受到监测,以便更好地确保他们在自身身体或情绪状况使得他们应对日常情况(例如,当从床上起来或离开房间)并不总是安全或理想的情况下的安全。摄像头监测对于人监测来说是一个有利的选择,特别是当监测是自动的时,即计算装置执行所需的监测活动,例如,检测和跟踪人,并且识别人的活动,并且进一步向人员发送警报,例如,在发生危险、意外情况或可能发生紧急情况时。摄像头监测可以由摄像头来执行。摄像头可以是捕获图像、视频、姿势和/或深度信息以供分析的任何构件。如本文所使用的,图像包括静止图像以及来自视频记录的图像,并且在该背景下,术语“摄像头”指的是适合于捕获用于本发明的摄像头监测系统的图像数据的任何图像捕获元件。例如,在示例性实施例中,摄像头可以是彩色摄像头、或具有或不具有红外(IR)照明的黑白摄像头、近红外摄像头、360度摄像头、IR摄像头或深度摄像头。
因此,通过由包括至少一个摄像头和计算装置的摄像头监测系统执行的本发明的摄像头监测,可以连续地监测和分析人和/或人的活动。一个或多个摄像头捕获图像数据,例如,频繁捕获的静止图像、视频图像、姿势或深度信息,作为一个或多个摄像头的一部分的计算装置、外部计算装置或一个或多个云服务可以接收该图像数据并且执行图像分析。图像分析至少包括检测被监测的空间中(例如房间中)的人,并且当条件满足时将该人确定为待监测的人,即例如确定为患者(下面更详细地解释),但是分析可以进一步包括跟踪待监测的人以及识别她/他的一个或多个活动。识别活动可以通过使用任何现有的一个或多个人工智能(AI)模型和一个或多个方法或任何其他合适的图像分析方法来完成。所识别的活动(即,待监测的人的事件)可以是例如由执行图像分析的计算装置从图像数据中检测到的特定情况、移动、跌倒、离开、姿势和/或手势。然后,将这些活动与附加到为待监测的人确定的警报配置文件的至少一项活动进行比较。警报配置文件可以包括活动的选择,即附加到警报配置文件的活动。将活动附加到警报配置文件可以例如通过点击活动列表中的活动来执行。警报配置文件定义特定活动是否引起警报,如果特定活动附加到警报配置文件并且从图像数据中识别出相同的活动,则引起警报,即触发警报,即发送给人员。可以将警报发送到例如护士呼叫系统、移动电话或适合于在从计算装置接收到警报信号时发出警报的任何其他装置或构件。为了更仔细地从图像数据中检测待监测的人的警报情况并且避免错误或不必要的警报,在本发明中,在对被监测的人的活动的监测和分析实际上开始之前,针对监测系统预先确定待监测的人(例如患者)和他们的警报配置文件。
确定(即,将人分类为监测系统的“待监测的人”)可以例如如下进行:从接收到的医院房间或任何其他被监测的房间或空间中的图像数据中检测人。为检测到的人生成人标签。当人满足待监测的人的预定条件时,可以为人标签设置“待监测的人状态”,然后该人具有待监测的人标签。当确定检测到的人不是待监测的人时,即该人不满足待监测的人的预定条件时,标签的设置状态可以取决于例如人的工作等,在这种情况下,该设置状态可以是例如“清洁工(清洁工人)”、“医生”、“护士”、“访客”等,或者该设置状态可以只是人状态或者其没有状态,这将这些人与待监测的人区分开来。待监测的人的示例是例如被监测的房间或空间的患者和居住者。因此,具有“患者状态”或“居住者状态”的人对应于具有“待监测的人状态”的人,并且她/他被配置为由至少一个摄像头监测,并且她/他在房间中的活动被配置为从摄像头提供的图像数据中分析。活动分析可以至少包括识别患者的活动。
如果人满足至少一个预定待监测的人条件,则可以进行确定人的“待监测的人状态”,即为房间中检测到的人的生成的人标签设置待监测的人的状态。该至少一个预定待监测的人条件可以包括以下中的至少一项:人已经在床上停留达第一预定时间段,或者人已经在预定区域中停留达第二预定时间段,或者人已经在所述空间中独自停留达第三预定时间段。在第一条件示例中,当人已经躺在她/他的床上达特定预定时间段时,确定她/他具有待监测的人状态。在第二条件示例中,人已经例如在患者区中的特定预定区域中或在床周围的区域中停留达特定预定时间段。在第三条件示例中,人已经独自在房间中停留达预定时间段。这两个第一示例,第一示例和第二示例,还可能用在单个房间内有一个以上待监测的人的情况下。在第一条件示例中,可以将特定预定时间布置得比第二条件示例中的特定预定时间短,而可以将在第二条件示例中的特定预定时间布置得比第三条件示例中的特定预定时间短。该特定预定时间可以预先确定为,在第一示例中,例如,5-15分钟,在第二示例中,例如,15-45分钟,并且在第三示例中,例如,30-90分钟。但这些时间可以自由选择,因此它们可能比这些示例短或长。应当注意的是,可能存在更多预定待监测的人条件,例如,使用患者衣服或者带有输液泵等。换言之,当从图像数据中检测和识别出人使用患者衣服或者带有输液泵时,可以将该人确定为待监测的人。
具有待监测的人状态的人,即具有待监测的人标签的人,即待监测的人被配置为被频繁监测和成像。在捕获静止图像(例如,待监测的人被配置为从中检测)的情况下,图像捕获频率可以是例如0.5-3秒、1-2秒或1.5秒。在视频图像数据的情况下,待监测的人可以被配置为例如每0.5-3秒、1-2秒或1.5秒从图像数据中检测到。换言之,如果待监测的人始终可见,待监测的人离开主房间到第二房间或消失在第二房间前面并且独自返回主房间并且在访问第二房间期间没有检测到其他人,则对该待监测的人的运动进行分析,例如跟踪和识别,并且可以将待监测的人状态保留在人标签上,即该人仍然是待监测的人。主房间可以是例如患者或客户房间,并且第二房间可以是例如浴室、厕所或连接到主房间并且不同于走廊的任何其他房间。
然而,如果检测到另一个人与待监测的人重叠太多,该待监测的人离开主房间到走廊(从主房间离开),摄像头没有检测到待监测的人达特定预定时间,则该待监测的人的待监测的人状态可能会丢失。即使在被监测的房间中没有检测到待监测的人,即,摄像头系统没有捕获到待监测的人的图像数据达特定时间,待监测的人状态(例如,患者状态)也可以比人标签的其他状态保持有效更长的时间段。如果待监测的人失去了她/他的待监测的人状态,则可以与上述确定类似地进行将人重新确定为待监测的人。
至少一个警报配置文件附加到待监测的人标签,即用于待监测的人,例如用于患者。警报配置文件包括待监测的人的一项或多项附加活动,即,被配置为当计算装置从图像数据中检测到相应活动时触发警报的事件。检测一项或多项活动包括从图像数据中识别待监测的人的该一项或多项活动。将所识别的一项或多项活动与警报配置文件的一项或多项附加活动进行比较,并且如果它们对应,则触发警报。预定活动可以是例如跌倒、在床上移动、离开床、从床上起来、从轮椅上坐起来、厕所计时器、退出房间或患者活动监测。
例如,如果从图像数据中检测到在一个、一个以上或多个观察中,即在一个、一个以上或多个相邻图像或检测(检查)中,待监测的人,例如具有患者状态的人正坐在地板上或躺在地板上,则可以触发跌倒警报并将其发送给人员。可以预定在触发警报之前需要从图像数据中执行一项或多项额外跌倒检查。例如,额外的跌倒检查可以是例如以下中的一项:房间(1人房间)或患者区(多人房间)中没有其他人标签(除了患者),患者没有在椅子、轮椅或床上,或者患者在跌倒区域中。如果为真,则会触发警报。如果不为真,即房间(1人房间)或患者区(多人房间)中存在另外一个或多个人标签(除患者之外),患者在椅子、轮椅或床上,或者患者不在跌倒区域中,则不触发或发送警报。跌倒区域可以是患者标签必须是用于生成跌倒警报的区域,例如房间中间的地板区域或走廊区域。如果患者的活动类别改变,例如在跌倒区域中从站立变为坐着或躺着,或者从坐着变为躺着,则也可以触发警报。
例如,如果从图像数据中检测到患者在她/他的床上的活动类别从躺着变为坐着、从坐着变为站起来、站立或行走,则可以触发和发送床上移动警报、离开床警报或从床上起来警报。
例如,如果从图像数据中检测到患者在她/他的轮椅上的活动类别从坐着变为站起来、站立或行走,则可以触发从轮椅上坐起来警报。
例如,如果从图像数据中检测到患者独自在她/他的房间中,即房间中除患者之外没有其他人标签,并且患者独自移动到第二房间或消失在第二房间前面,并且在特定预定时间内,例如5至15分钟内,没有回到主房间,则可以触发厕所警报。如果患者在特定预定时间内到达和/或除患者之外的另一个人(标签)进入主房间或第二房间,则可以阻止即不触发厕所警报。
例如,如果从图像数据中检测到除房间中的一个或多个患者之外不存在任何其他人标签并且一个或多个患者从主房间离开到走廊,则可以触发离开房间警报。
例如,如果从图像数据中检测到记录到患者在预定时间段内躺在床上或坐在轮椅或椅子上,在预定时间段期间患者根本没有移动,或者如果患者不在房间中(白天或晚上),或者夜间不在床上,则可以触发患者活动监测警报。
因此,在将人确定为待监测的人之后,从图像数据中识别出待监测的人和她/他的活动,并且在所识别的活动对应于为该待监测的人确定的警报配置文件的活动的情况下,触发警报。然而,当从图像数据中分析待监测的人和她/他的活动时,在检测到的活动不对应该待监测的人的警报配置文件的活动的情况下,不触发警报。例如,在这种情况下,活动未附加到警报配置文件。当检测到非患者的人(例如清洁工、医务人员中的成员、访客或不具有状态的人)执行活动时,即不执行警报,因为没有为她/他确定警报配置文件,发生同样的情况。例如,如果离开房间是患者的警报配置文件的活动,则当患者离开房间时,但不是当具有不包括离开房间作为活动的警报配置文件的患者或非患者的人离开房间时,执行警报。
可能配置(即调整、控制或改变)被配置为捕获图像数据的一个或多个摄像头和被配置为分析该图像数据的计算装置的设置。例如,可能通过改变静止图像或姿势的图像捕获频率来配置监测系统的摄像头中的一个或多个的设置,或者在视频图像数据的情况下,患者可以被配置为例如,基于检测到的事件,从图像数据中检测以进行更频繁的分析。例如,如果从图像数据中检测到患者正在从床上起身或跌倒,则可以通过数据处理单元来配置摄像头的图像捕获设置,使得静止图像或姿势的图像捕获频率增加,或图像分析设置可以被配置为使得患者被配置为更频繁地在视频图像数据中检测,使得可以更好地了解患者的状态。进一步地,例如,可能配置警报配置文件,例如,将活动附加到警报配置文件或从警报配置文件中删除活动,调整时间段,例如定义为在确定人为待监测的人时使用的时间段。
图1示出了根据本发明的有利实施例的监测系统在被配置为被监测的空间(例如患者房间或卧室)中的视图。监测系统包括包含图像传感器11的至少一个摄像头10。摄像头10被配置为对空间中的一个或多个人进行成像,即捕获空间中的一个或多个人的实时图像数据,在该示例中,实时图像数据是实时视频流。摄像头10可以布置在例如空间的天花板中或者布置到空间的上部或者可能从那里对空间中的人进行成像的任何其他位置。
摄像头10包括数据传送构件,例如发射器或收发器,用于无线地或经由有线连接将实时视频图像数据从摄像头10传输到数据处理单元12。数据处理单元12包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器,以及用于无线地或经由有线连接从摄像头10接收实时视频图像数据的构件(例如,接收器或收发器)。可以存在多个处理器,例如通用处理器、图形处理器和/或DSP处理器和/或多个不同的存储器,例如用于在运行时间存储数据和程序的易失性存储器和诸如用于永久存储数据和程序的硬盘之类的非易失性存储器。数据处理单元12可以是适用于分析图像数据的任何计算装置,诸如计算机。数据处理单元12可以经由信号线与摄像头10电子通信。数据处理单元12还可以包括用于生成可以用计算机配件为用户产生的信号的视频控制器和音频控制器。数据处理单元12可以通过输出构件产生去往用户的输出。视频控制器可以连接到显示器(未展示)。显示器可以是例如平板显示器、平板计算机、膝上型计算机的显示器或用于产生较大图像的投影仪。音频控制器可以连接到声源,诸如扬声器,其例如产生警报噪声。摄像头10还可以包括声学传感器,诸如麦克风。
数据处理单元12被配置为从摄像头10接收实时图像数据并对其进行分析。分析至少包括从图像数据中检测人15以及将检测到的人15确定为待监测的人,在该示例中为患者,因为数据处理单元12从图像数据中检测到人15已经在床16上停留达预定时间段(满足预定条件)。该时间段为针对数据处理单元12预先确定的。将人15确定为患者包括为检测到的人15生成标签以及为该标签设置患者状态。在确定人15为患者之后,数据处理单元12被进一步配置为从图像数据中跟踪患者以及识别由患者执行的一项或多项活动。识别可以通过使用一个或多个人工智能(AI)模型或任何其他合适的方法来执行。用于识别患者15的活动的一个或多个AI模型可以存储在摄像头10或数据处理单元12的存储器中。在识别活动之后,将其与附加到为患者15确定的警报配置文件的至少一项活动进行比较。如果患者15的所识别的活动对应于附加到警报配置文件的活动,则触发警报并且将其发送到例如护士呼叫系统。警报配置文件可以包括活动的选择,并且通过这些活动来定义特定活动是否引起警报。活动的这些选择可以称为附加到警报配置文件的活动。
空间中可能存在一个以上摄像头,其是捕获静止图像或视频图像的摄像头和/或正在捕获静止图像的摄像头。
图2示出了根据示例性实施例的在被配置为被监测的空间中的监测系统20的视图。在该实施例中,该空间是三个人的患者房间。监测系统20包括三个摄像头21a、21b、21c,其包括图像传感器。摄像头21a、21b、21c被配置为以特定预定频率捕获空间中的人的图像。第一摄像头21a被配置为捕获第一人23a的图像,第二摄像头21b被配置为捕获第二人23b的图像,并且第三摄像头21c被配置为捕获第三人23c的图像。摄像头21a、21b、21c例如布置在患者房间的天花板中或患者房间的上部或患者房间中的从其可能对空间中的人23a、23b、23c进行成像的(一个或多个)任何其他位置。
摄像头21a、21b、21c包括数据传送构件,例如发射器或收发器,用于无线地或经由有线连接将图像数据从摄像头21a、21b、21c传输到数据处理单元22。数据处理单元22可以是例如服务器。数据处理单元22包括至少一个处理器、包括用于一个或多个程序单元的计算机程序代码的至少一个存储器,以及用于无线地或经由有线连接从摄像头21a、21b、21c接收实时视频图像数据的构件,例如,接收器或收发器。可以存在多个处理器,例如通用处理器、图形处理器和/或DSP处理器;和/或多个不同的存储器,例如用于在运行时间存储数据和程序的易失性存储器和诸如用于永久存储数据和程序的硬盘之类的非易失性存储器。数据处理单元22可以是适用于分析图像和音频数据的任何计算装置,诸如计算机。数据处理单元22可以经由信号线与摄像头21a、21b、21c电子通信。数据处理单元22还可以包括用于生成可以用计算机配件为用户产生的信号的视频控制器和音频控制器。数据处理单元22可以通过其输出构件产生去往用户的输出。视频控制器可以连接到显示器(未展示)。显示器可以是例如平板显示器、膝上型计算机的显示器或用于产生较大图像的投影仪。音频控制器可以连接到声源,诸如扬声器,用于报警。在物理上,数据处理单元22可以位于医院内或医院外。也可能的是,摄像头21a、21b、21c将它们的数据传送到云存储装置,数据处理单元22可以从该云存储装置检索或接收数据。
数据处理单元22被配置为基本上实时地从摄像头21a、21b、21c或从云存储装置接收图像数据,并且单独分析它们的图像数据。对第一摄像头21a的图像数据的分析至少包括从图像数据中检测第一人23a并且将检测到的人23a确定为待监测的人,在该示例中为患者,因为数据处理单元22从第一摄像头21a的图像数据检测到人23a已经在床24a上停留达第一预定时间段(满足用于确定该人为待监测的患者的条件)。第一时间段是为数据处理单元22预先确定的。
对第二摄像头21b的图像数据的分析至少包括从图像数据中检测第二人23b并且将检测到的人23b确定为非患者,即不是待监测的人,因为数据处理单元22从第二摄像头21b的图像数据中检测到人23b不在第二患者23b的床24b上或不在特定预定区域25b中,在该示例中,不在第二患者23b的床24b周围的患者区中(即,不满足用于确定该人为待监测的患者的条件)。对第三摄像头21c的图像数据的分析至少包括从图像数据中检测第三人23c并将检测到的人23c确定为患者,因为数据处理单元22从第三摄像头21c的图像数据中检测到人23c已经在特定预定区25c中,在该示例中,在第三患者23c的床24c周围的患者区25c中停留达第二预定时间段(满足用于确定该人为待监测的患者的条件)。该时间段是为数据处理单元22预先确定的,并且它定义了人应该在患者区25c中停留多长时间以便被确定为患者。
将人23a、23c确定为患者包括为检测到的人23a、23c生成标签并且为该标签设置患者状态。在确定人23a、23c为患者之后,数据处理单元23a、23c被进一步配置为从图像数据中跟踪患者23a、23c并且识别由患者23a、23c执行的一项或多项活动。识别可以再次通过使用一个或多个人工智能(AI)模型或任何其他合适的方法来执行。用于识别患者23a、23c的活动的一个或多个AI模型可以相应地存储在摄像头21a、21c的存储器中。在识别第一患者23a的活动之后,将其与附加到为第一患者23a确定的警报配置文件的至少一项活动进行比较。如果患者23a的所识别的活动对应于附加到他/她的警报配置文件的活动,则触发警报并且将其发送到例如护士呼叫系统。在识别第三患者23c的活动之后,将其与附加到为第三患者23c确定的警报配置文件的至少一项活动进行比较。如果患者23c的所识别的活动对应于附加到他/她的警报配置文件的活动,则触发并发送警报。然而,也可以识别第二人的活动,或者可以是数据处理单元22被配置为使得其不识别非患者的人的活动。然而,如果识别出第二人23b的活动,则可以不将其与任何警报配置文件进行比较,因为没有为被确定为非患者的人确定警报配置文件。并且,即使为非患者的人确定了警报配置文件,通常也没有附加到该警报配置文件的活动。
同样,实时捕获图像数据的摄像头的数量可以与当前的三个不同。可以只有一个捕获静止图像或视频图像的摄像头,然后由数据处理单元22分析该图像数据,使得如果条件满足,则可以将人检测并确定为患者,并且还可以跟踪和识别患者的活动,使得可以在需要时发出警报。
图3示出了根据示例性实施例的由监测系统30检测到的患者31跌倒的情况的视图。在该示例中,由数据处理单元33从由摄像头35捕获的图像数据中检测到患者31,并且将其确定为患者,如例如在图1和图2的上下文中所解释的。在确定该人为患者后,摄像头35捕获了患者31的图像数据,并且数据处理单元33通过定期从图像中检测患者来从图像数据中跟踪患者31并且通过AI模型识别了患者31的活动。存在针对患者31确定的警报配置文件,对于该患者31,将跌倒附加为被配置为引起警报的活动中的一项活动。从最近的检测中,数据处理单元33识别出了患者31的活动对应于跌倒。可以将跌倒确定为坐在或躺在床34以外的一些其他地方,或者例如椅子或轮椅(未示出)上。将检测到和识别出的活动与附加到警报配置文件的一项或多项活动进行比较。并且因为患者31的所识别的活动(跌倒)对应于附加到为患者31确定的警报配置文件的活动,所以引起警报。
然而,可能存在为跌倒而确定的(一个或多个)特定预定条件,需要满足该(一个或多个)预定条件,即,针对引起警报而满足的。例如,可能必须从图像数据中检测患者31在跌倒区域32中。跌倒区域32可以是例如靠近患者的床34的地板区域,或者例如房间的除了床34、椅子或轮椅之外的任何其他区域。另一个预定条件可以是,例如,当检测到跌倒时,患者31需要独自在房间中,使得将引起警报,。换言之,数据处理单元33不能从图像数据中检测到房间中的任何其他人和/或患者。但在一个以上患者(例如2个或3个患者)的房间的情况下,预定条件可能是如果房间内存在被确定为非患者的人的至少一个其他人,则将不发出警报。
图4示出了根据示例性实施例的由监测系统40检测到的患者41擅自离开病房的情况的视图。在该示例中,由数据处理单元43从由摄像头44捕获的图像数据中检测到人,并且将该人被确定为患者41,如例如在图1和图2的上下文中所解释的。在确定该人为患者41后,摄像头44捕获了患者41的图像数据,并且数据处理单元43通过定期从图像中检测患者41来从图像数据中跟踪患者41并且通过AI模型识别了患者41的活动。存在为患者41确定的警报配置文件,对于该患者41,将擅自离开患者房间附加为被配置为引起警报的活动中的一项活动。从最近的检测中,数据处理单元43识别出患者41的活动对应于擅自离开患者房间。可以将擅自离开确定为在两个相邻图像或检测之间患者从房间门42前面的区域消失。将所识别的活动与警报配置文件的附加活动进行比较。并且因为患者41的所识别的活动(擅自离开患者房间)对应于附加到为患者41确定的警报配置文件的活动,所以引起警报。
然而,可能存在为擅自离开患者房间确定的(一个或多个)特点预定条件,需要满足将引起警报的该(一个或多个)条件。例如,可以是当检测到擅自离开患者房间时,患者41需要独自在房间中,使得将引起警报。换言之,数据处理单元43不能从图像数据中检测到房间中的任何其他人和/或患者。但在一个以上患者(例如2个或3个患者)的房间的情况下,预定条件可能是如果房间内存在被确定为非患者的人的至少一个其他人,则不发出警报。
图5示出了用于监测空间中的至少一个人的计算机实现的方法50的流程图,该方法50包括以下内容。在步骤51中,由数据处理单元(即计算装置)接收空间的图像数据。在步骤52中,从接收到的图像数据中检测至少一个人,并且在步骤53中,如果从图像数据中检测到至少一个检测到的人满足至少一个预定待监测的人条件,则确定该至少一个检测到的人为待监测的人。该至少一个预定待监测的人条件可以包括以下中的至少一项:人已经在床上停留达第一预定时间段,人已经在预定区域中停留达第二预定时间段,或者人已经在空间中独自停留达第三预定时间段。该方法可以进一步包括以下步骤中的一个或多个步骤:捕获空间的图像数据,从图像数据中跟踪待监测的人并且识别待监测人的活动,使用一个或多个人工智能(AI)模型来识别待监测的人的活动,将待监测的人的所识别的活动与附加到为待监测的人确定的警报配置文件的至少一项活动进行比较,并且如果检测到的事件包括附加到警报配置文件的活动,则触发警报,或者如果在空间中检测到另一个人,则阻止警报。确定人为待监测的人可以包括:为检测到的人生成标签并且为该标签设置待监测的人状态。附加到警报配置文件的活动可以为躺在或坐在地板上、离开空间。待监测的人可以为患者。
数据处理单元可以被配置为接收空间的图像数据,从图像数据中检测至少一个人,并且如果从图像数据中检测到至少一个检测到的人满足至少一个预定待监测的人条件,则确定该至少一个检测到的人为待监测的人,并且该数据处理单元包括至少一个处理器、至少一个包括用于一个或多个程序单元的计算机程序代码的存储器以及用于无线地或经由有线连接从至少一个摄像头接收图像数据的构件。用于接收图像数据的构件可以是例如接收器或收发器。数据处理单元的示例在上文结合附图的上下文中更精确地定义。
显而易见的是,本发明并未仅受限于上文呈现的实施例,而是可在所附权利要求书的范围内进行修改。

Claims (9)

1.一种空间中至少一个人的监测方法,所述方法包括:
接收所述空间的图像数据,以及
从所述图像数据中检测至少一个人(15),
其特征在于所述方法进一步包括:
如果从所述图像数据中检测到至少一个检测到的人(15)满足至少一个预定条件,则确定所述至少一个检测到的人(15)为患者,其中所述至少一个预定条件包括以下至少一项:
人已经在床上停留达第一预定时间段,
人已经在患者区的预定区域中或床周围停留达第二预定时间段,或者人已经在所述空间中独自停留达第三预定时间段,
否则,确定所述至少一个检测到的人(15)为非患者。
2.根据权利要求1所述的监测方法,其中确定所述人为待监测的人包括:
为所述检测到的人生成标签,以及
为所述标签设置待监测的人状态。
3.根据权利要求1或2所述的监测方法,其中所述方法进一步包括:
从所述图像数据中跟踪所述待监测的人,以及
识别所述待监测的人的活动。
4.根据权利要求3所述的监测方法,其中所述识别包括:
使用一个或多个人工智能(AI)模型来识别所述待监测的人的活动。
5.根据权利要求3或4所述的监测方法,其中所述方法进一步包括:
将所述待监测的人的所识别的活动与附加到为所述待监测的人确定的警报配置文件的至少一项活动进行比较,以及
如果检测到的事件包括附加到所述警报配置文件的活动,则触发警报。
6.根据权利要求5所述的监测方法,其中附加到所述警报配置文件的所述活动是躺在或坐在地板上、离开所述空间或在床上移动、或离开所述床。
7.根据权利要求5或6所述的监测方法,其中所述方法进一步包括:
如果在所述空间中检测到另一个人,则阻止所述警报。
8.一种用于监测空间中至少一个人的监测系统(10),所述系统(10)
包括:
至少一个摄像头(11);
计算装置(12),其被配置为执行根据权利要求1至7中任一项所述的方法。
9.一种计算机程序产品,其存储在计算机可读介质上并且可在计算装置中执行,其中所述计算机程序产品包括用于执行根据权利要求1至7中任一项所述的方法的指令。
CN202280033615.7A 2021-05-07 2022-05-04 用于识别确定的人的活动的监测系统和方法 Pending CN117321647A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20215542 2021-05-07
FI20215542A FI129564B (en) 2021-05-07 2021-05-07 Monitoring system and method for identifying the activity of specified individuals
PCT/FI2022/050295 WO2022234191A1 (en) 2021-05-07 2022-05-04 Monitoring system and method for recognizing the activity of determined persons

Publications (1)

Publication Number Publication Date
CN117321647A true CN117321647A (zh) 2023-12-29

Family

ID=81306011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280033615.7A Pending CN117321647A (zh) 2021-05-07 2022-05-04 用于识别确定的人的活动的监测系统和方法

Country Status (8)

Country Link
EP (1) EP4334922A1 (zh)
JP (1) JP2024518439A (zh)
KR (1) KR20230162109A (zh)
CN (1) CN117321647A (zh)
AU (1) AU2022268659A1 (zh)
CA (1) CA3218912A1 (zh)
FI (1) FI129564B (zh)
WO (1) WO2022234191A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2918719A1 (en) * 2013-07-22 2015-01-29 Koninklijke Philips N.V. Automatic continuous patient movement monitoring
GB2581767B (en) * 2018-12-21 2022-06-15 Rinicare Ltd Patient fall prevention
US20200349347A1 (en) * 2019-01-07 2020-11-05 Cherry Labs Inc. Systems and methods for monitoring and recognizing human activity

Also Published As

Publication number Publication date
JP2024518439A (ja) 2024-05-01
KR20230162109A (ko) 2023-11-28
EP4334922A1 (en) 2024-03-13
WO2022234191A1 (en) 2022-11-10
FI20215542A1 (en) 2022-04-29
CA3218912A1 (en) 2022-11-10
AU2022268659A1 (en) 2023-10-19
FI129564B (en) 2022-04-29

Similar Documents

Publication Publication Date Title
US11544953B2 (en) Methods and systems for identifying the crossing of a virtual barrier
US10629046B2 (en) Systems and methods for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
US10217342B2 (en) Method and process for determining whether an individual suffers a fall requiring assistance
US6614348B2 (en) System and method for monitoring behavior patterns
US9129506B1 (en) Method and process for determining whether an individual suffers a fall requiring assistance
US20190122028A1 (en) Detecting unauthorized visitors
US10602095B1 (en) Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US20160180694A1 (en) Infectious disease warning system with security and accountability features
US20200118410A1 (en) Method and system for monitoring
JP5457148B2 (ja) 警備システム
FI129564B (en) Monitoring system and method for identifying the activity of specified individuals
US20230260134A1 (en) Systems and methods for monitoring subjects
JP5363234B2 (ja) 警備システム
WO2021002293A1 (ja) 緊急対処方法、安否確認システム、管理装置、空間部、及び管理装置の制御方法
WO2024004641A1 (ja) 監視システム、監視装置、監視方法及び監視プログラム
EP4005466A1 (en) Safety system and method for monitoring not self-sufficient persons
KR20240076471A (ko) 영상기반 낙상 모니터링 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination