CN111052194A - 用于检测危险情况的方法和系统 - Google Patents

用于检测危险情况的方法和系统 Download PDF

Info

Publication number
CN111052194A
CN111052194A CN201880057012.4A CN201880057012A CN111052194A CN 111052194 A CN111052194 A CN 111052194A CN 201880057012 A CN201880057012 A CN 201880057012A CN 111052194 A CN111052194 A CN 111052194A
Authority
CN
China
Prior art keywords
image
fall
detection apparatus
dvs
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880057012.4A
Other languages
English (en)
Other versions
CN111052194B (zh
Inventor
金周荣
金俊镐
梁道俊
李贤优
韩宗熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111052194A publication Critical patent/CN111052194A/zh
Application granted granted Critical
Publication of CN111052194B publication Critical patent/CN111052194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

检测危险情况的方法包括:通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;从第一图像中检测第二图像,该第二图像包括处于预定姿势的第一对象;以及通过分析第二图像确定第一对象的情况是否为危险情况。

Description

用于检测危险情况的方法和系统
技术领域
与示例性实施方式一致的方法和设备涉及用于通过使用动态视觉传感器(DVS)来检测危险情况(例如,跌倒)的方法和系统。
背景技术
跌倒是指物体跌落或在跌倒中受伤,通常发生在老年人中,但跌倒可能在所有年龄段发生。尤其是,老年人中跌倒的发生率正在增加,并且可能伴随着由于跌倒并发症而导致的严重的伤害或死亡。
除了由于跌倒导致的死亡之外,老年人中的跌倒还导致因严重伤害而使生活质量大幅下降。20%至30%的因跌倒而入院的老年人会由于跌倒而遭受青肿、髋部骨折和/或头部损伤。跌倒是造成老年人创伤的最大原因,并且随着老年人数量的增加,跌倒预计将继续增加。
61.5%的跌倒发生在居住设施中,其次是道路(20.0%)和商业设施(18.5%)。居住设施中约95%的跌倒发生在家里,并且25%至45%的危险环境因素(诸如湿滑的地板和楼梯)在家里。尤其是,在居住设施中,20.6%的跌倒是由于在潮湿表面上打滑而引起的,并且在洗手间中发生的74.3%的跌倒与地板上的水有关。
因此,需要一种系统,该系统准确地检测存在或不存在跌倒发生并且准确地预测与跌倒相关联的风险。
发明内容
问题的解决方案
示例性实施方式提供用于通过使用多个图像处理模型逐步分析由动态视觉传感器获取的图像,来有效地检测危险情况(例如,跌倒)的系统。
示例性实施方式提供了用于检测危险情况的方法和系统,该方法和系统通过使用动态视觉传感器和振动器来准确地检测对象的危险情况(例如,跌倒)并且预测对象的风险。
额外方面将部分地在以下的描述中阐述,并且将部分地通过描述而显而易见,或者可通过实践示例性实施方式来习得。
有益效果
根据实施方式,系统可以通过使用动态视觉传感器和振动器来检测对象的危险情况(例如,跌倒)并预测对象的风险。
附图说明
从以下结合附图的示例性实施方案的描述中,这些和/或其他方面将变得显而易见且更容易理解,在附图中:
图1是示出根据示例性实施方式的用于检测危险情况的系统的图;
图2是根据示例性实施方式的跌倒检测装置在启动时通过使用初始图像来获取空间信息的方法的流程图;
图3是示出根据示例性实施方式的通过使用消失点分析获取空间信息的操作的图;
图4是示出根据示例性实施方式的提供安装指导信息的跌倒检测装置的操作的图;
图5是根据示例性实施方式的生成跌倒危险图的方法的流程图;
图6是示出根据示例性实施方式的跌倒危险图的图;
图7是根据示例性实施方式的检测跌倒的方法的流程图;
图8A是根据示例性实施方式的通过使用外观模型和运动模型来检测跌倒的方法的流程图;
图8B是根据示例性实施方式的依据是否检测到对象的移动来调整图像获取模式的方法的流程图;
图9是根据示例性实施方式的补偿对象的身体形状或尺寸的方法的流程图;
图10是示出根据示例性实施方式的考虑动态视觉传感器(DVS)的安装角度来补偿对象的身体形状的操作的图;
图11是示出根据示例性实施方式的通过使用消失点分析来补偿对象的尺寸的操作的图;
图12是根据示例性实施方式的估计由第二对象部分覆盖的第一对象的姿势的方法的流程图;
图13是示出根据示例性实施方式的当检测到遮挡时估计对象的姿势的操作的图;
图14是根据示例性实施方式的确定跌倒情况的风险的方法的流程图;
图15是示出根据示例性实施方式的确定危险等级的操作的图;
图16是示出根据示例性实施方式的用于通过使用在可穿戴装置中测量的生物统计信息来分析跌倒情况的风险的系统的图;
图17是根据示例性实施方式的根据隐私等级来调整对象的清晰度的方法的流程图;
图18是示出根据示例性实施方式的根据隐私等级来调整对象的清晰度的操作的图;
图19是示出根据示例性实施方式的检测相对于动物的危险情况的操作的图;
图20是根据示例性实施方式的检测危险情况的方法的流程图;
图21是根据示例性实施方式的通过使用详细图像来检测危险情况的方法的流程图;
图22是示出根据示例性实施方式的跌倒检测装置的配置的框图;
图23是根据示例性实施方式的处理器的框图;
图24是根据示例性实施方式的数据学习单元的框图;
图25是根据示例性实施方式的数据辨识单元的框图;以及
图26是示出根据示例性实施方式、跌倒检测装置与服务器彼此交互以学习并辨识数据的示例的图。
最佳实施方式
根据示例性实施方式的一方面,提供了检测危险情况的方法,该方法包括:通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;从第一图像中检测第二图像,该第二图像包括处于预定姿势的第一对象;以及通过分析第二图像确定第一对象的情况是否为危险情况。
可以通过学习网络模型来检测第二图像以及确定第一对象的情况是否为危险情况。
检测第一图像可以包括:响应于检测到第一对象的移动,通过使用学习网络模型将第一图像中包括的第一对象的姿势与预定姿势进行比较;并且基于比较结果检测第二图像。
该方法还可以包括:响应于确定第一对象的情况为危险情况,获取第三图像,该第三图像包括通过用振动器移动DVS而生成的第一对象的周围环境信息;并且通过分析第三图像确定第一对象的危险。
确定第一对象的危险可以包括:响应于确定第一对象在预定时间内的移动小于阈值,提高第一对象的危险等级。
确定第一对象的情况是否为危险情况的步骤可以包括:通过分析关于第二图像中的第一对象的多个图像来获取与第一对象的第一移动变化有关的信息;并且基于与第一对象的第一移动变化有关的信息来确定第一对象的情况是否为跌倒情况。
检测第二图像可以包括:通过从安装DVS的角度和位置中的至少一个进行调整来补偿包括在第一图像中的第一对象的身体形状或第一对象的尺寸;并且将具有经补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较。
检测第二图像可以包括:响应于确定第一对象由另一对象部分覆盖,获取第三图像,该第三图像包括通过用振动器移动DVS而生成的第一对象的周围环境信息;基于第三图像来检测在第三图像中覆盖第一对象的一部分的第二对象;并且通过针对第二对象进行调整来估计由第二对象部分覆盖的第一对象的姿势。
获取第一图像可以包括:根据安装DVS的空间的隐私等级来调整第一图像中包括的第一对象的清晰度。
获取第一图像可以包括:响应于检测到第一对象的移动而以高分辨率模式获取第一图像;以及响应于未检测到第一对象的移动而以低分辨率模式获取第一图像。
根据另一示例性实施方式的一个方面,提供了检测危险情况的方法,该方法包括:通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;从第一图像中检测第二图像,该第二图像包括处于预定姿势的第一对象;响应于检测到第二图像,获取第三图像,该第三图像包括通过用振动器移动DVS而生成的第一对象的周围环境信息;以及通过分析第三图像确定第一对象的情况是否为危险情况。
可以通过学习网络模型来执行对第二图像的检测以及确定第一对象的情况是否为危险情况。
根据另一示例性实施方式的一个方面,提供了用于检测危险情况的装置,该装置包括动态视觉传感器(DVS)和处理器,其中动态视觉传感器配置为获取包括能够产生移动的第一对象的第一图像,处理器配置为从第一图像中检测包括处于预定姿势的第一对象的第二图像,并且分析第二图像以确定第一对象的情况是否为危险情况。
处理器可以进一步配置为通过使用学习网络模型来检测第二图像,并且通过使用学习网络模型来确定第一对象的情况是否为危险情况。
装置可以包括配置为移动DVS的振动器,其中处理器可以进一步配置为:响应于确定第一对象的情况是危险情况,控制振动器移动DVS;获取第三图像,该第三图像包括通过移动DVS生成的第一对象的周围环境信息;并且分析第三图像以确定第一对象的危险。
处理器可以进一步配置为响应于确定第一对象在预定时间内的移动小于阈值而升高第一对象的危险等级。
处理器可以进一步配置为通过从安装DVS的角度和位置中的至少一个进行调整来补偿包括在第一图像中的第一对象的身体形状或第一对象的尺寸,并且将具有经补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较来检测第二图像。
该装置可以包括配置为移动DVS的振动器,其中处理器可以进一步配置为:获取第三图像,该第三图像包括通过响应于确定第一对象由另一对象部分覆盖而用振动器移动DVS生成的第一对象的周围环境信息;基于第三图像来检测覆盖第一对象的一部分的第二对象;并且通过针对第二对象进行调整来估计由第二对象部分覆盖的第一对象的姿势。
根据另一示例性实施方式的一个方面,提供了用于检测危险情况的装置,该装置包括动态视觉传感器(DVS)、振动器和处理器,其中动态视觉传感器配置为获取包括能够产生移动的第一对象的第一图像,振动器配置为移动DVS,处理器被配置为:从第一图像中检测包括处于预定姿势的第一对象的第二图像并且分析第二图像;响应于检测到第二图像,获取第三图像,该第三图像包括通过用振动器移动DVS生成的第一对象的周围环境信息;并且分析第三图像以确定第一对象的情况是否为危险情况。
根据另一示例性实施方式的一个方面,提供了一种非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质存储指令,这些指令用于使计算机:通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;从第一图像中检测第二图像,该第二图像包括处于预定姿势的第一对象;并且通过分析第二图像确定第一对象的情况是否为危险情况。
这些指令可以使计算机:获取第三图像,该第三图像包括通过移动DVS生成的第一对象的周围环境信息;分析第三图像以确定第一对象的危险;并且生成跌倒危险图,该跌倒危险图显示周围环境中多个区域的相对危险。
指令还可以使计算机:确定安装DVS的空间的隐私等级;并且响应于确定隐私等级为高,将第一图像中包括的第一对象的清晰度调整为低清晰度;并且响应于确定隐私等级为低,将第一图像中包括的第一对象的清晰度调整为高清晰度。
指令还可以使计算机:通过分析关于第二图像中的第一对象的多个图像来获取与第一对象的第一移动变化有关的信息;并且确定第一对象的第一移动变化与表示先前存储的跌倒的第二移动变化之间的相似度;并且响应于相似度大于阈值,确定第一对象的情况为跌倒情况;以及响应于相似度小于或等于阈值,确定第一对象的情况不是跌倒情况。
具体实施方式
将示意性描述在说明书中使用的术语,然后将详细描述示例性实施方式。
本说明书中使用的术语是本领域当前广泛使用的那些通用术语,但是这些术语可以根据本领域普通技术人员、先例或本领域新技术的意图而变化。另外,申请人可以选择特定术语,并且在这种情况下,将在详细描述中描述其详细含义。因此,说明书中使用的术语不应被理解为简单的名称,而应基于术语的含义和整体描述来理解。
在整个说明书中,还将理解,当部件“包括”元件时,除非对其进行另一相反的描述,否则应理解该部件不排除另一元件,并可进一步包括另一元件。另外,诸如“单元”、“模块”等术语是指执行至少一个功能或操作的单元,并且此类单元可以实施为硬件或软件或者硬件和软件的组合。
在本说明书中,术语“跌倒”可以表示特定对象跌倒或者跌倒且受到伤害的现象。
现将具体参考附图中示出的示例性实施方式,其中相同参考标号始终指代相同元件。在这方面,示例性实施方式可以具有不同的形式,并且不应解释为限于本文中阐述的描述。因此,下文仅通过参考附图来描述示例性实施方式以解释多个方面。如本文中所使用,术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。诸如“……中的至少一个”等表达,当在一列元件列表之后时,修饰整列元件而不修饰该列中的单个元件。
图1是示出根据示例性实施方式的用于检测危险情况的系统的图。
参考图1,根据示例性实施方式的用于检测危险情况的系统可以包括用于检测危险情况的装置。危险情况可意指能够产生移动的对象(例如人或动物)处于紧急情况或即将来临的情况。危险情况可意指对象受伤的情况。例如,危险情况可以变化,诸如对象跌倒的情况、包括对象的空间中发生火灾的情况、发生洪水的情况、发生滑坡的情况、或者气体泄漏的情况。在下文中,将以对象跌倒的情况为例进行描述。
根据示例性实施方式,用于检测危险情况的装置可以包括跌倒检测装置1000。跌倒检测装置1000可以是获取用于对象10的至少一个图像(帧)并且使用获取的至少一个图像(帧)来检测对象10的跌倒的装置。根据示例性实施方式,对象10可以是可移动的人、动物等,但是不限于此。根据示例性实施方式,跌倒检测装置1000可以基于用户的输入,将检测目标指定为特定对象。例如,跌倒检测装置1000可以将跌倒检测目标指定为除动物以外的仅人类。另外,跌倒检测装置1000可以将特定人员指定为监视目标。例如,当家中有母亲、父亲、祖父和孩子时,可以将祖父指定为跌倒检测目标。
根据示例性实施方式,跌倒检测装置1000可以包括动态视觉传感器(DVS)1100和振动器1200。
DVS 1100是采用以人的虹膜接收信息的方式的图像传感器,并且是能够获取移动对象的图像数据的传感器。例如,仅当像素单元的移动发生局部变化时,DVS 1100才将图像数据发送到处理器。也就是说,仅当发生移动事件时,DVS 1100才可以将图像数据发送到处理器。因此,DVS 1100在对象停止时不处理数据,仅在对象移动时才测量移动对象,并且将数据发送到处理器,从而防止由一般图像传感器连续向图像处理器发送帧而造成数据的浪费。
DVS 1100可以解决一般视觉辨识系统容易快速移动的问题。DVS 1100可以克服模糊现象,因为DVS 1100在每个像素的基础上接收数据,而不是以帧为单位接收数据。
另外,DVS 1100的分辨率可以以微秒为单位。换句话说,DVS 1100可以具有比每秒拍摄数千帧的超高速相机更好的时间分辨率(例如,超高速帧>1K FPS)。此外,DVS 1100大大降低了功耗和数据存储要求,从而大大提高了动态范围(传感器可辨识的亮度范围)。
另一方面,由于DVS 1100获取的图像仅由移动对象10的轮廓来表示,因此DVS1100对于保护要监视的对象10的隐私也可以是有用的。另外,当即使在暗处仅有少量光存在时,DVS 1100也可以检测对象10的移动。
根据示例性实施方式,DVS 1100可以周期性地获取图像,跌倒检测装置1000可以使用在DVS 1100中周期性地获取的图像来监视对象10是否跌倒。例如,当对象10从床上跌倒时,DVS 1100可以检测到对象10从床上跌倒的移动。此时,跌倒检测装置1000可以逐步使用多个深度学习模型来有效地确定对象10是否跌倒。例如,跌倒检测装置1000从开始不分析移动图像,但仅当静态图像包括处于与跌倒有关姿势的对象10时才执行移动图像分析,从而减少了计算资源的消耗。将在后面参考图7和图8A详细描述跌倒检测装置1000有效地确定对象10是否跌倒的操作。
振动器1200可以是用于产生振动的装置。例如,振动器1200可以是输出振动信号的振动马达。
根据示例性实施方式,振动器1200可以产生振动以人为地移动DVS 1100。DVS1100是可用于移动变化检测的图像传感器,但在没有移动时可能不获取信息。因此,振动器1200可以人为地移动DVS 1100,使得即使在没有对象移动的情况下,DVS 1100也可以获取对象的图像。
振动器1200可以被定位成靠近DVS 1100,使得振动可以被传递到DVS 1100。例如,振动器1200可以附接到DVS 1100。振动器1200可以与DVS 1100一起定位在壳体内。
根据示例性实施方式,当发生特定事件时,振动器1200可以输出振动信号。例如,当启动跌倒检测装置1000、检测到遮挡或者将对象10的情况确定为跌倒情况时,振动器1200可以输出振动信号。遮挡可意指移动对象10由另一对象部分或全部覆盖。将参考图2更详细地描述振动器1200输出振动信号的操作。
根据示例性实施方式,用于检测危险情况的系统还可以包括服务器。在这种情况下,服务器可以从跌倒检测装置1000接收对象10的跌倒检测信息。服务器可以验证接收的跌倒检测信息,或者可以根据跌倒检测信息向外部装置发送警告消息。
根据示例性实施方式,跌倒检测装置1000可以直接生成用于确认是否发生跌倒的深度学习模型,或者可以从服务器接收深度学习模型。深度学习模型可以是但不限于监督学习模型、无监督学习模型和强化学习模型之一。跌倒检测装置1000可以将从DVS 1100收集的图像应用于深度学习模型,以确定对象10是否跌倒。同时,根据示例性实施方式,跌倒检测装置1000可以在将通过DVS 1100收集的图像发送到服务器时,请求服务器确定对象10是否跌倒。为了便于描述,首先将以检测危险情况的系统不包括服务器的情况作为示例进行描述。
在下文中,将参考图2描述跌倒检测装置1000在初始安装阶段获取跌倒检测装置1000周围的空间信息的操作。
图2是示出根据示例性实施方式的跌倒检测装置1000在启动时使用初始图像来获取空间信息的方法的流程图。
在操作S210中,在DVS 1100安装在特定空间中之后,跌倒检测装置1000可以启动。根据示例性实施方式,DVS 1100可以安装在家庭、办公室或医院,但是不限于此。跌倒检测装置1000可以安装在室外。例如,跌倒检测装置1000可以安装在经常发生跌倒事故的山中。
在操作S220中,跌倒检测装置1000可以在启动时使用振动器1200在某一时间段内产生振动。此时,在振动器1200中产生的振动可以使DVS 1100移动。当DVS 1100移动时,由于对象中发生相对移动,所以不管对象是否在移动,都可以捕获对象的图像。
在操作S230中,跌倒检测装置1000可以通过移动的DVS 1100获取初始图像。例如,当DVS 1100安装在主房间中时,DVS 1100可以获取主房间的初始图像。此时,移动的DVS1100可以获取在主房间中未移动的衣柜、抽屉、书桌、椅子等的图像。根据示例性实施方式,初始图像可以是静态图像或移动图像。
在操作S240中,跌倒检测装置1000可以使用初始图像来分析安装有DVS 1100的空间(或者由DVS 1100辨识的空间)。例如,跌倒检测装置1000可以使用初始图像的消失点来检查DVS 1100的角度、位置、高度和辨识范围。
参考图3的310,跌倒检测装置1000可以通过消失点分析来分析安装有DVS 1100的空间。当投影到由DVS 1100获取的二维空间中时,三维空间中的一系列平行线与图像上的点会聚并相遇。该点称为消失点(例如,消失点1、消失点2)。跌倒检测装置1000可以确定安装的DVS 1100的相对高度(例如,上、中或下)、相对位置(例如,左或右)、距特定对象的相对距离等。
例如,参考图3的320,跌倒检测装置1000可以通过移动的DVS 1100获取安装有DVS1100的客厅的图像300。跌倒检测装置1000可以使用客厅的图像300上的平行线提取消失点301。更接近消失点301的对象可以是更远离DVS 1100的对象。可以看到,DVS 1100安装在实际客厅空间的略微下方,因为消失点301存在于客厅的图像300的中心的略微上方。
根据示例性实施方式,跌倒检测装置1000可以对初始图像执行图像处理,以获取诸如安装DVS 1100的空间上的对象的类型、位置、障碍物的百分比、地板表面的百分比等的信息。
在操作S250中,跌倒检测装置1000可以基于使用初始图像的分析空间信息来确定DVS 1100的安装是否合适。
例如,跌倒检测装置1000可以在初始图像中地板表面的百分比小于或等于阈值(例如,10%)时确定DVS 1100的安装不合适,因为难以检测到跌倒。另一方面,跌倒检测装置1000可以在初始图像中的地板表面的百分比大于阈值(例如,10%)时确定DVS 1100的安装是合适的。
另外,如果由在初始图像中不移动的障碍物所占据的区域的百分比大于阈值(例如70%),则跌倒检测装置1000可以确定DVS 1100的安装不合适。当障碍物覆盖移动对象(例如人)的遮挡次数大于阈值时,跌倒检测装置1000可以确定DVS 1100的安装不合适。另一方面,当障碍物覆盖移动对象(例如,人)的遮挡次数小于或等于阈值时,跌倒检测装置1000可以确定DVS 1100的安装是合适的。
根据示例性实施方式,跌倒检测装置1000可以对安装位置评分(例如,90分、40分、好、坏等)。
如果在操作S260中确定DVS 1100的安装是合适的,则跌倒检测装置1000可以通过DVS 1100获取图像并且监视对象是否跌倒。将在后面参考图7详细描述跌倒检测装置1000确定对象是否跌倒的方法。
如果在操作S270中确定DVS 1100的安装不合适,则跌倒检测装置1000可以提供安装指导信息。根据示例性实施方式,跌倒检测装置1000可以提供指示DVS 1100的安装不合适的信息、请求重新安装DVS 1100的信息、或者将DVS 1100的安装位置引导给用户的信息。
将参考图4进一步详细描述跌倒检测装置1000提供安装指导信息的操作。
图4是示出根据示例性实施方式的跌倒检测装置1000的提供安装指导信息的操作的图。
参考图4的400-1,跌倒检测装置1000可以在启动时通过使用振动器1200来移动DVS 1100,从而获取安装了DVS 1100的卧室的初始图像410。如果作为分析卧室的初始图像410的结果,地板百分比(例如8%)小于或等于阈值(例如10%),则跌倒检测装置1000可以确定DVS 1100的安装不适用于检测跌倒。跌倒检测装置1000可以输出消息411(例如,地板百分比:8%,请调整相机的位置),从而进行DVS 1100的位置调整。
用户可以根据消息411调整DVS 1100的姿势。例如,用户可以调整DVS 1100的安装角度、DVS 1100查看的方向或者DVS 1100的安装位置,以便增加由DVS 1100辨识的地板百分比。当用户调整DVS 1100的位置时,跌倒检测装置1000可以重新启动。
参考图4的400-2,跌倒检测装置1000可以在重新启动时移动DVS 1100以获取安装了DVS 1100的卧室的初始图像420。如果作为分析卧室的初始图像420的结果,地板百分比(例如35%)大于阈值(例如10%),则跌倒检测装置1000可以确定DVS 1100的安装适用于检测跌倒。跌倒检测装置1000可以输出指示DVS 1100的安装合适的消息421(例如,地板百分比:35%,相机的位置合适)。
图5是示出根据示例性实施方式的生成跌倒危险图的方法的流程图。
在操作S510中,跌倒检测装置1000可以通过移动的DVS 1100获取初始图像。例如,跌倒检测装置1000可以在启动时通过使用振动器1200输出振动信号来移动DVS 1100。此时,跌倒检测装置1000可以通过移动的DVS 1100获取安装有DVS 1100的空间的初始图像。操作S510对应于图2的操作S230,并且因此将省略其详细描述。
在操作S520中,跌倒检测装置1000可以使用DVS 1100获取的初始图像来获取关于安装DVS 1100的空间的空间信息。例如,跌倒检测装置1000可以使用初始图像的消失点来获取关于对象的相对位置的信息。跌倒检测装置1000可以对初始图像执行图像处理以获取诸如在安装DVS 1100的空间中存在的对象的类型和位置的信息。例如,跌倒检测装置1000可以通过将图像中包括的对象的轮廓与预定模板进行比较来检测对象类型、对象名称等。可替代地,跌倒检测装置1000可以使用深度学习算法来获取诸如包括在初始图像中的对象的类型、位置等的信息。
在操作S530中,跌倒检测装置1000可以根据安装DVS 1100的空间的空间信息来生成跌倒危险图。跌倒危险图可以是示出当跌倒发生时相对较多危险区域和较少危险区域的图。
根据示例性实施方式,跌倒检测装置1000可以使用与预定义的跌倒危险权重有关的信息来生成跌倒危险图。例如,楼梯区域的跌倒危险权重可以为+2,铺有地毯的地板的跌倒危险权重可以为-1,桌子边缘的跌倒危险权重可以为+3,并且浴室地板的跌倒危险权重可以为+1。
根据示例性实施方式,跌倒检测装置1000可以生成跌倒危险图,其中以特定颜色突出显示或显示跌倒危险区域,或者将特定标记或文本添加到跌倒危险区域。例如,跌倒检测装置1000可以生成以特定颜色(例如红色)显示楼梯区域、桌子的边缘和浴室地板的跌倒危险图。将参考图6更详细地描述跌倒危险图。
图6是示出根据示例性实施方式的跌倒危险图600的图。
参考图6,跌倒检测装置1000可以生成跌倒危险图600,其中将楼梯区域610的危险等级指定为“危险”并且将客厅地板620的危险等级指定为“正常”。
根据示例性实施方式,跌倒检测装置1000可以在跌倒发生时考虑到跌倒危险图600,从而快速确定与跌倒相关联的危险。例如,当在楼梯区域610中发生跌倒时,跌倒检测装置1000可以通过两个步骤来突出跌倒危险。
在下文中,将参考图7详细描述跌倒检测装置1000使用由DVS 1100收集的至少一个图像来检测对象的跌倒的方法。
图7是示出根据示例性实施方式的检测跌倒的方法的流程图。
在操作S710中,跌倒检测装置1000可以使用DVS 1100获取包括可移动的第一对象的至少一个图像。根据示例性实施方式,可移动的第一对象可以是作为监视目标的人。当第一对象移动时,DVS 1100可以捕获第一对象的图像。第一对象的图像可以包括第一对象的轮廓、边缘和/或剪影。
在操作S720中,跌倒检测装置1000可以从至少一个图像中检测包括处于预定姿势的第一对象的第一图像。此时,至少一个图像中的每一个可以是静态图像。
根据示例性实施方式,跌倒检测装置1000可以使用第一深度学习模型逐一分析由DVS 1100获取的至少一个图像。第一深度学习模型可以是用于分析静态图像并检测包括处于预定姿势的对象的图像的学习模型。
预定姿势可以是与跌倒相关联的姿势。根据示例性实施方式,预定姿势可以是特定身体部位(例如,头部、背部、胸部、膝盖、脚后跟、手掌等)与地板(或楼梯)接触的姿势。例如,预定姿势可以是但不限于仰卧在地板上的姿势、俯卧在地板上的姿势、单侧(例如,身体的一侧)卧在地板上的姿势、倚靠在楼梯上的姿势等。
例如,当祖父起床并跌倒时,跌倒检测装置1000可以使用第一深度学习模型逐一分析图像,然后检测包括处于躺在地板上的姿势的祖父的图像。
同时,根据示例性实施方式,跌倒检测装置1000可以在使用第一深度学习模型分析静态图像之前,补偿静态图像中包括的对象的身体形状或尺寸。例如,跌倒检测装置1000可以考虑到安装DVS 1100的角度和位置中的至少一个来补偿包括在至少一个图像中的第一对象的身体形状或尺寸,并且将具有经补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较。将稍后参考图9详细描述跌倒检测装置1000补偿对象的身体形状或尺寸的操作。
根据示例性实施方式,跌倒检测装置1000可以在使用第一深度学习模型分析静态图像之前补偿遮挡。将稍后参考图12详细描述跌倒检测装置1000补偿遮挡的操作。
在操作S730中,当检测到包括处于预定姿势的第一对象的第一图像时,跌倒检测装置1000可以分析包括第一图像的、关于第一对象的多个图像以获取与第一对象的第一移动变化有关的信息。根据示例性实施方式,多个图像可以包括使用DVS 1100早于第一图像获取的帧和晚于第一图像获取的帧当中的至少一个,但是不限于此。
根据示例性实施方式,当检测到包括处于与跌倒相关联的姿势的第一对象的第一图像时,跌倒检测装置1000可以分析一系列图像(例如,在某一时间段内的累积帧)以获取与第一对象的第一移动变化有关的信息,以便准确地确定第一对象的情况是否为跌倒情况。例如,如果检测到第一对象躺在与床分开的地板上的图像(例如,第n帧),则跌倒检测装置1000可以分析在某一时间段内积累的图像(例如,第(n-10)帧至第(n+10)帧),以检测第一对象从床跌落到地板上的移动的变化。另外,跌倒检测装置1000可以检测第一对象在身体接触地板之后的移动的变化。
在操作S740中,跌倒检测装置1000可以基于与第一对象的第一移动变化有关的信息来确定第一对象的情况是否是跌倒情况。
根据示例性实施方式,当第一对象的第一移动变化与表示先前存储的跌倒的第二移动变化之间的相似度大于阈值(例如90%)时,跌倒检测装置1000可以确定第一对象的情况是跌倒情况。另一方面,当第一对象的第一移动变化与表示先前存储的跌倒的第二移动变化之间的相似度小于或等于阈值(例如,90%)时,跌倒检测装置1000可以确定第一对象的情况不是跌倒情况。
例如,当第一对象的移动变化类似于跌倒的移动模式时(例如,当第一对象在从床上跌倒到地板后不再可移动时),跌倒检测装置1000可以确定第一对象的情况是跌倒情况。然而,当第一对象的移动变化与跌倒的移动模式不同时(例如,当第一对象从床上滑下并且臀部和手掌接触地板但是立即站立并行走时),跌倒检测装置1000可以确定第一对象的情况不是跌倒情况。将参考图8A更详细地描述跌倒检测装置1000检测对象的跌倒的方法。
图8A是示出根据示例性实施方式的使用外观模型和运动模型来检测跌倒的方法的流程图。
在操作S810中,跌倒检测装置1000可以通过DVS 1100获取至少一个图像。此时,在至少一个图像上可能出现移动对象的轮廓,并且非移动对象的轮廓可能不出现。例如,如果第一对象正在移动并且第二、第三和第四对象未移动,则仅第一对象的轮廓可以出现在至少一个图像上。
在操作S820中,跌倒检测装置1000可以使用由DVS 1100获取的至少一个图像来检测对象的移动。
例如,当人不存在于带有床和梳妆台的房间中时,在DVS 1100获取的至少一张图像中可能不出现轮廓。然而,当人进入带有床和梳妆台的房间中时,移动的人的轮廓会出现在通过DVS 1100获取的至少一张图像上。因此,跌倒检测装置1000可以通过分析至少一个图像来检测对象(例如,人)是否正在移动。
如果未检测到对象(例如,人)的移动,则由于不存在跌倒的可能性,跌倒检测装置1000可以不再分析DVS 1100获取的图像。如果检测到对象(例如,人)的移动,则跌倒检测装置1000可以执行操作S830以确定对象(例如,人)的移动是否是与跌倒有关的移动。
在操作S830中,当检测到对象的移动时,跌倒检测装置1000可以使用外观模型逐一分析通过DVS 1100获取的至少一个图像。例如,跌倒检测装置1000可以使用外观模型来检测包括与跌倒有关的姿势的对象的图像(例如,包括处于躺在地板上的姿势的人的图像)。外观模型可以是学习模型,其用于逐一分析静态图像以检测静态图像中包括的对象的身体形状或姿势,并且确定对象的检测到的形状或姿势是否类似于与跌倒有关的姿势。
例如,当祖父进入安装了DVS 1100的浴室时,DVS 1100可以检测到祖父的移动。DVS 1100可以将从检测到祖父的移动的时间起捕获的图像帧顺序地传送到跌倒检测装置1000的处理器。处理器可以使用外观模型来分析顺序传输的图像帧。例如,处理器可以检测包括在顺序传送的图像帧中的祖父的姿势。
如果祖父跌倒在浴室地板上,则跌倒检测装置1000的处理器可以在顺序传送的图像帧中检测到包括处于背部未接触浴室地板的姿势的祖父的第n帧801。
在操作S840中,跌倒检测装置1000的处理器可以确定在顺序传送的图像帧中检测到的对象的姿势是否类似于预定姿势(例如,躺着的姿势)。
如果检测的对象姿势与预定姿势不相似,则跌倒检测装置1000可以返回操作S810以通过DVS 1100获取下一图像帧。另一方面,如果检测的对象姿势与预定姿势相似,则跌倒检测装置1000可以执行操作S850以准确地确定对象是否跌倒。
例如,当输入先前的第(n-3)帧804时,由于包括在第(n-3)帧804中对象的姿势不是躺着的姿势,所以跌倒检测装置1000的处理器可以返回操作S810以通过DVS 1100获取第(n-2)帧803。当输入第(n-2)帧803时,由于包括在第(n-2)帧803中对象的姿势不是躺着的姿势,所以跌倒检测装置1000的处理器可以返回操作S810以通过DVS 1100获取第(n-1)帧802。当输入第(n-1)帧802时,由于包括在第(n-1)帧802中对象的姿势不是躺着的姿势,所以跌倒检测装置1000的处理器可以返回操作S810以通过DVS 1100获取第n帧801。
当输入第n帧801时,由于包括在第n帧801中的对象的姿势是躺着的姿势,所以跌倒检测装置1000的处理器可以前进到操作S850。
在操作S850中,跌倒检测装置1000可以使用运动模型来检测移动变化,并且确定检测到的移动变化是否类似于指示跌倒的移动变化。
根据示例性实施方式,运动模型可以是学习模型,其用于分析多个图像(例如,移动图像)以检测对象的移动模式,并且确定检测的对象的移动模式是否类似于表示跌倒的移动模式。
根据示例性实施方式,由于在操作S830和操作S840中检测到包括躺着姿势的对象的第n帧801,所以跌倒检测装置1000可以使用运动模型分析与第n帧801有关的一系列图像(例如,第(n-3)帧804、第(n-2)帧803、第(n-1)帧802、以及第n帧801)。
跌倒检测装置1000可以分析图像的集合(例如,第(n-3)帧804、第(n-2)帧803、第(n-1)帧802、以及第n帧801)以检测祖父的以下移动模式:站在浴室地板上(例如,第(n-3)框804)、滑动(例如,第(n-2)帧803)、他的臀部接触地板(例如,第(n-1)帧802)、然后他的背部和头部接触浴室地板(例如,第n帧801)。此时,跌倒检测装置1000可以确定检测的祖父的移动模式类似于表示先前学习的跌倒的移动模式。
在操作S860中,如果检测的移动变化与指示跌倒的移动变化不相似,则跌倒检测装置1000可以返回操作S810以通过DVS 1100获取下一图像。另一方面,跌倒检测装置1000可以在检测的移动变化与表示跌倒的移动变化相似时将对象的情况确定为跌倒情况。
在操作S870中,跌倒检测装置1000可以在将对象的情况确定为跌倒情况时分析跌倒情况的危险。
根据示例性实施方式,跌倒检测装置1000可以使用关于对象已跌倒成何种姿势、对象在已跌倒之后是否有连续的移动等信息来分析跌倒情况的危险。根据示例性实施方式,跌倒检测装置1000可以使用对象已在其中跌倒的周围环境(例如,对象跌倒处存在的对象、地板的材料)的信息来分析跌倒情况的危险。根据示例性实施方式,跌倒检测装置1000可以使用先前生成的跌倒危险图600来分析跌倒情况的危险。将在后面参考图14详细描述跌倒检测装置1000分析跌倒情况的危险的操作。
通常,运动模型堆叠(例如,N个图像堆叠)并处理多个图像,这比处理单个图像的外观模型花费的时间长N倍。然而,由于根据示例性实施方式的跌倒检测装置1000仅在跌倒检测装置1000使用外观模型辨识出身体紧密附着于地板的场景时才运行运动模型,因此可以有效地使用用于跌倒检测的计算资源。
图8B是示出根据示例性实施方式的依据是否检测到对象的移动来调整图像获取模式的方法的流程图。
在操作S805中,跌倒检测装置1000可以使用DVS 1100获取初始图像。
根据示例性实施方式,初始图像的分辨率可以根据系统设置值或用户设置值改变。例如,初始图像可以是高分辨率图像或低分辨率图像。在此,高分辨率图像可以表示其分辨率大于阈值的图像,而低分辨率图像可以表示其分辨率小于或等于阈值的图像。
在操作S815中,跌倒检测装置1000可以使用初始图像来检测对象的移动。
例如,如果厨房里没有人,则通过DVS 1100获取的初始图像可以根本不显示任何轮廓或边缘。然而,当人进入厨房时,移动的人的轮廓或边缘会出现在DVS 1100获取的初始图像中。因此,跌倒检测装置1000可以通过分析初始图像来检测对象(例如,人)是否正在移动。
在操作S825中,当未检测到对象的移动时,跌倒检测装置1000可以以低分辨率模式获取图像。在此,低分辨率模式可以表示通过使用DVS 1100获取分辨率等于或小于阈值的低分辨率图像的模式。
例如,如果在初始图像(第n帧)中未检测到对象的轮廓或边缘,则跌倒检测装置1000可以使用DVS 1100在低分辨率模式下获取第(n+1)帧。如果即使在第(n+1)帧中也未检测到对象的轮廓或边缘,则跌倒检测装置1000可以使用DVS 1100在低分辨率模式下获取第(n+2)帧。
如果未检测到对象的移动,则由于不太可能发生跌倒,因此跌倒检测装置1000可以使用DVS 1100来获取低分辨率图像,从而节省计算资源。
在操作S835中,当检测到对象的移动时,跌倒检测装置1000可以以高分辨率模式获取图像。在此,高分辨率模式可以表示通过使用DVS 1100获取分辨率大于阈值的高分辨率图像的模式。根据示例性实施方式,高分辨率模式可以是全分辨率模式。
例如,当在初始图像(第n帧)中检测到对象的轮廓或边缘时,跌倒检测装置1000可以使用DVS 1100在高分辨率模式下获取第(n+1)帧。当在初始图像(第n帧)中未检测到对象的轮廓或边缘而在以低分辨率模式获取的图像(第(n+1)帧)中检测到对象的轮廓或边缘时,跌倒检测装置1000可以使用DVS 1100在高分辨率模式下获取第(n+2)帧。
在操作S845中,跌倒检测装置1000可以使用外观模型来分析以高分辨率图像模式获取的高分辨率图像。例如,跌倒检测装置1000可以使用外观模型来检测包括具有跌倒相关联的姿势的对象的高分辨率图像(例如,包括处于躺在地板上的姿势的人的第(n+5)帧)。在这种情况下,跌倒检测装置1000可以使用运动模型来生成与第(n+5)帧相关的一系列图像(例如,第n帧、第(n+1)帧、第(n+2)帧、第(n+3)帧、第(n+4)帧和第(n+5)帧)。在这方面,第n帧、第(n+1)帧、第(n+2)帧、第(n+3)帧、第(n+4)帧、以及第(n+5)帧可以都是在高分辨率模式下获取的高分辨率图像。
跌倒检测装置1000可以基于分析结果来检测对象的移动变化,并且确定检测的移动变化是否类似于指示跌倒的移动变化。跌倒检测装置1000可以在检测的移动变化与指示跌倒的移动变化相似时将对象的情况确定为跌倒情况。当对象的情况确定为跌倒情况时,跌倒检测装置1000可以分析跌倒情况的危险。
由于操作S845对应于图8A的操作S830,因此省略其详细描述。
图9是示出根据示例性实施方式的补偿对象的身体形状或尺寸的方法的流程图。
在操作S910中,跌倒检测装置1000可以使用DVS 1100获取包括可移动的第一对象的至少一个图像。操作S910对应于图7的操作S710,并且因此省略其详细描述。
在操作S920中,跌倒检测装置1000可以考虑到安装DVS 1100的角度和位置中的至少一个来补偿包括在至少一个图像中的第一对象的身体形状或尺寸。
根据示例性实施方式,如图2所示,跌倒检测装置1000可以在启动时分析初始图像以获取关于安装第一DVS之处的角度、位置等的信息。例如,跌倒检测装置1000可以分析初始图像的消失点以验证安装第一DVS之处的角度、位置和高度,第一动态视觉传感器的辨识范围等。在这种情况下,跌倒检测装置1000可以将在生成外观模型时使用的第二DVS的安装角度、位置或高度与安装在实际空间中的第一DVS的安装角度、位置或高度进行比较。如果用于生成外观模型的第二DVS的安装角度、位置或高度与实际空间中安装的第一DVS的安装角度、位置或高度明显不同,则数据辨识的错误可能增加。因此,跌倒检测装置1000可以在操作外观模型之前补偿通过第一DVS获取的图像中包括的对象的身体形状。将参考图10进一步描述补偿对象的身体形状的示例。
参考图10,尽管用于生成外观模型的第二DVS 1100-2被放置在三脚架上,但是安装在实际空间中的第一DVS 1100-1可以位于天花板上。在这种情况下,当跌倒检测装置1000将通过使用第一DVS 1100-1获取的图像输入到外观模型时,外观模型可能难以准确地确定对象的姿势是否类似于先前学习的跌倒姿势。因此,跌倒检测装置1000可以将包括在通过使用安装在天花板上的第一DVS 1100-1获取的第一图像1001中的人的身体形状补偿为第二图像1002中的身体形状。
根据示例性实施方式,跌倒检测装置1000可以使用至少一个图像的消失点来补偿包括在至少一个图像100中的第一对象的尺寸。例如,参考图11,尽管第一对象1101和第二对象1102具有基本相同的尺寸,但是更接近消失点的第一对象1101显得较小,而更远离消失点的第二对象1102显得较大。因此,跌倒检测装置1000可以将接近消失点的第一对象1101的尺寸补偿成大的(1101-1)。另一方面,跌倒检测装置1000可以将远离消失点的第二对象1102的尺寸补偿成小的(1102-1)。
在操作S930中,跌倒检测装置1000可以将具有经补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较。预定姿势可以是与跌倒相关联的姿势。例如,预定姿势可以是人的身体的一部分(例如,腹部、背部、侧面、头部等)接触地面的姿势(例如,仰卧姿势、腹部平躺姿势等)。操作S930对应于图8A中的操作S840,并且因此将省略其详细描述。
图12是示出根据示例性实施方式的估计由第二对象部分覆盖的第一对象的姿势的方法的流程图。
在操作S1210中,跌倒检测装置1000可以使用DVS 1100获取包括第一对象的至少一个图像。操作S1210对应于图7的操作S710,将省略其详细描述。
在操作S1220中,跌倒检测装置1000可以使用至少一个图像来检测遮挡的发生。遮挡可以指移动的对象(例如人)被另一对象(例如障碍物)部分或全部覆盖的现象。
例如,当在至少一个图像中未检测到人的全身形状但检测到人的局部身体形状(例如,头部、上半身等)时,跌倒检测装置1000可以确定已发生遮挡。
在操作S1230中,跌倒检测装置1000可以在检测到遮挡时使用振动器1200产生振动。此时,在振动器1200中产生的振动可以使DVS 1100移动。
在操作S1240中,跌倒检测装置1000可以基于使用移动的DVS 1100获取的图像来检测覆盖第一对象的一部分的第二对象。当DVS 1100移动时,由于相对于对象发生相对移动,所以不管对象是否在移动,都可以捕获对象的图像。因此,跌倒检测装置1000可以辨识不会移动但覆盖第一对象(例如人)的第二对象(例如书架、沙发、床等)。
在操作S1250中,跌倒检测装置1000可以考虑第二对象来估计被第二对象部分覆盖的第一对象的姿势。
根据示例性实施方式,跌倒检测装置1000可以使用学习模型生成关于由第二对象覆盖的第一对象的整体形状的一部分的虚拟数据。跌倒检测装置1000可以使用虚拟数据来估计第一对象的姿势。
在操作S1260中,跌倒检测装置1000可以将第一对象的估计姿势与预定姿势进行比较。预定姿势可以是与跌倒相关联的姿势。例如,预定姿势可以是人的身体的一部分(例如,腹部、背部、侧面、头部等)接触地面的姿势(例如,仰卧姿势、腹部平躺姿势等),但是不限于此。操作S1260对应于图8A中的操作S840,并且因此将省略其详细描述。
在下文中,将参考图13更详细地描述跌倒检测装置1000补偿遮挡的操作。
图13是示出根据示例性实施方式的当检测到遮挡时估计对象的姿势的操作的图。在图13中,将以人1301跌倒在抽屉1302后面的情况为例进行描述。
参考图13中的1300-1,当人1301跌倒时,由于发生移动,因此DVS 1100可以获取包括人1301的图像131。此时,DVS 1100可以仅检测未被抽屉1302覆盖的上半身的移动,并且可以不检测被抽屉1302覆盖的下半身的移动。因此,人1301的下半身不出现在图像131中,并且仅人1301的上半身可以出现。
通常,由于在人跌倒时不存在上半身移动的情况,所以跌倒检测装置1000可以检测到遮挡。也就是说,跌倒检测装置1000可以确定人1301的一部分被障碍物覆盖。
参考图13中的1300-2,跌倒检测装置1000可以使用振动器1200输出振动信号,从而使DVS 1100移动。当DVS 1100移动时,DVS 1100也可以检测到抽屉1302。因此,移动的DVS1100可以获取包括人1301和抽屉1302的图像132。
参考图13中的1300-3,跌倒检测装置1000可以生成关于由抽屉1302覆盖的人1301的下半身的虚拟数据1303。跌倒检测装置1000可以使用虚拟数据1303估计图像133中的人1301的姿势,并且确定估计的姿势是否是与跌倒相关的预定姿势。
图14是示出根据示例性实施方式的确定跌倒情况的危险的方法的流程图。
在操作S1410中,当将第一对象的情况确定为跌倒情况时,跌倒检测装置1000可以使用振动器1200和DVS 1100获取周围图像。根据示例性实施方式,当确定第一对象已跌倒时,跌倒检测装置1000可以使用振动器1200来移动DVS 1100。此时,移动的DVS 1100可以获取包括围绕第一对象的非移动对象(例如,椅子、床、抽屉、水槽等)的周围图像。
在操作S1420中,跌倒检测装置1000可以使用周围图像获取第一对象的周围环境信息、第一对象的跌倒类型信息或第一对象的移动信息。
根据示例性实施方式,第一对象的周围环境信息可以包括信息(例如,关于在用户跌倒的位置处存在的危险对象的信息、关于与用户一起跌倒的事物的信息等)、关于第一对象已跌倒之处的地板的材料的信息、关于第一对象已跌倒的位置是否与水相关的信息等,但是不限于此。
根据示例性实施方式,第一对象的跌倒类型信息可以是关于指示第一对象跌倒的姿势的信息。例如,第一对象的跌倒类型信息可以包括但不限于关于头部或面部是否接触地板的信息、关于手臂或腿是否骨折的信息等。
第一对象的移动信息可以是关于在第一对象的情况被确定为跌倒情况之后第一对象的移动的信息。例如,第一对象的移动信息可以包括移动变化值,指示移动变化值被维持在阈值以下的总时间信息等,但是不限于此。
在操作S1430中,跌倒检测装置1000可以使用从周围图像获取的信息来确定跌倒情况的危险。跌倒情况的危险可以意味着对象跌倒的危险程度。
根据示例性实施方式,跌倒检测装置1000可以使用第一对象的周围环境信息来确定跌倒情况的危险。例如,如果在第一对象跌倒的位置处存在突出物,则跌倒检测装置1000可以将跌倒情况的危险确定成高度或者提高危险等级。另外,当第一对象跌倒的地方的地板的材料是具有水的湿滑材料时,跌倒检测装置1000可以将跌倒情况的危险确定成高度或者提高危险等级。
根据示例性实施方式,跌倒检测装置1000可以将第一对象的周围环境信息与先前生成的跌倒危险图600进行比较以确定跌倒情况的危险。例如,参考图6,当第一对象跌倒在先前生成的跌倒危险图600中被指定为“危险”的楼梯区域610中时,跌倒检测装置1000可以将跌倒情况的危险确定成高度。
根据示例性实施方式,跌倒检测装置1000可以使用第一对象的跌倒类型信息来确定跌倒情况的危险。例如,当第一对象在跌倒时从头部接触地板时,跌倒检测装置1000可以将跌倒情况的危险确定成高度。可替代地,如果在第一对象跌倒时腿是弯曲的,则跌倒检测装置1000可以将跌倒情况的危险确定成高度。
根据示例性实施方式,跌倒检测装置1000可以使用第一对象的移动信息来确定跌倒情况的危险。根据示例性实施方式,如果在预定时间内第一对象的移动小于阈值,则跌倒检测装置1000可以提高跌倒情况的危险等级。例如,如果在确定第一对象已跌倒之后几乎没有移动超过五分钟,则跌倒检测装置1000可以将跌倒情况的危险提高三个阶梯。
根据示例性实施方式,跌倒检测装置1000可以组合第一对象的周围环境信息、第一对象的跌倒类型信息、以及第一对象的移动信息中的至少两条信息来确定跌倒情况的危险。
同时,根据示例性实施方式,跌倒检测装置1000可以考虑第一对象的个人信息(例如,年龄、身体活动能力、疾病等)来确定跌倒情况的危险。例如,如果第一对象是10岁的健康学生,则跌倒检测装置1000可以将跌倒情况的危险权重确定为-3。另一方面,如果第一对象是不舒服且具有高血压并且是80岁的老人,则跌倒检测装置1000可以将跌倒情况的危险权重确定为“+5”。
在操作S1440和S1450中,跌倒检测装置1000可以在跌倒情况的危险大于阈值时将警告消息发送到外部装置。
例如,跌倒检测装置1000可以将警告消息(例如,第一用户已从楼梯上跌倒并且无法移动长达两分钟)发送到预定的外部装置(例如,家庭装置、医疗机构服务器、紧急救援请求服务器等),该警告消息包括第一对象已跌倒的信息、第一对象的周围环境信息、第一对象的移动被维持在阈值以下的时间信息。
在下文中,将参考图15更详细地描述跌倒检测装置1000确定跌倒情况的危险的操作。
图15是示出根据示例性实施方式的确定危险等级的操作的图。在图15中,以第一用户1501已在办公室中跌倒的情况为例进行描述。
参考图15的1500-1,跌倒检测装置1000可以通过使用外观模型和运动模型来确定第一用户1501已经跌倒。此时,跌倒检测装置1000可以使用振动器1200来移动DVS 1100。跌倒检测装置1000可以分析通过移动的DVS 1100获取的至少一个第一图像1510。跌倒检测装置1000可以分析至少一个第一图像1510并确定第一用户1501未移动、第一用户1501已跌倒于其上的地板是普通地板纸的材料、第一用户1501穿上他/她的鞋子、第一用户1501远离桌子超过1m、并且桌子和椅子1502不会跌倒。跌倒检测装置1000可以使用作为整体分析至少一个图像1510的结果而获得的信息来将跌倒情况的危险等级确定为“10”。
参考图15中的1500-2,跌倒检测装置1000可以通过使用外观模型和运动模型来确定第一用户1501已经跌倒。此时,跌倒检测装置1000可以使用振动器1200来移动DVS 1100。跌倒检测装置1000可以分析通过移动的DVS 1100获取的至少一个第二图像1520。
与第一图像1501相比,椅子1502可以在第二图像1520中倒下。与仅第一用户1501跌倒时相比,跌倒检测装置1000可以确定当椅子1502与第一用户1501一起跌倒时第一用户1501的情况更加危险。因此,跌倒检测装置1000可以将跌倒情况的危险等级确定为“20”。
同时,根据示例性实施方式,跌倒检测装置1000可以通过进一步考虑跌倒对象的生物统计信息来进一步确定跌倒情况的危险。将参考图16详细描述跌倒检测装置1000的考虑对象的生物统计信息来确定跌倒情况的危险的操作。
图16是示出根据示例性实施方式的用于使用在可穿戴装置3000中测量的生物统计信息来分析跌倒情况的危险的系统的图。
用于分析跌倒情况的危险的系统可以包括但不限于跌倒检测装置1000、服务器2000和可穿戴装置3000。当跌倒检测装置1000与可穿戴装置3000直接通信时,用于分析跌倒情况的危险的系统可以不包括服务器2000。
可穿戴装置3000可以包括附件型装置(例如,手表、戒指、手镯、脚链、项链和隐形眼镜)、头戴式装置(HMD)、织物或衣服集成装置(例如,电子衣服)、身体附着型装置(例如,护皮垫)以及生物可植入装置(例如可植入电路)中的至少一者,但是不限于此。
根据示例性实施方式,当将第一对象的情况确定为跌倒情况时,跌倒检测装置1000可以获取在由第一对象佩戴的可穿戴装置3000中测量的第一对象的生物统计信息。此时,跌倒检测装置1000可以直接从可穿戴装置3000接收生物统计信息,或者可以通过服务器2000接收生物统计信息。
根据示例性实施方式,跌倒检测装置1000可以考虑第一对象的生物统计信息来确定跌倒情况的危险。例如,如果心率小于阈值,血压等于或大于阈值,呼吸次数小于阈值,体温超过阈值范围、或者当前时间是夜晚,跌倒检测装置1000可以将跌倒情况的危险确定成高度。
根据示例性实施方式,服务器2000可以从跌倒检测装置1000接收第一对象的情况是跌倒情况的跌倒信息,并且从可穿戴装置3000接收第一对象的生物统计信息(例如,血压信息、血糖信息、心率信息、体温信息等)。在这种情况下,服务器2000可以使用跌倒信息和生物统计信息来确定第一对象的跌倒情况的危险。如果跌倒情况的危险大于阈值,则服务器2000可以将警告消息发送到外部装置(例如,医疗机构服务器)。根据示例性实施方式,服务器2000可以将关于跌倒情况的危险的信息发送到跌倒检测装置1000或可穿戴装置3000。
根据示例性实施方式,可穿戴装置3000可以从跌倒检测装置1000或服务器2000接收第一对象的情况是跌倒情况的跌倒信息。此时,可穿戴装置3000可以通过使用由可穿戴装置3000测量的第一对象的生物统计信息来确定第一对象的跌倒情况的危险。如果跌倒情况的危险大于阈值,则可穿戴装置3000可以将警告消息发送到外部装置(例如,医疗机构服务器)。另外,根据示例性实施方式,可穿戴装置3000可以将关于跌倒情况的危险的信息发送到跌倒检测装置1000或服务器2000。
图17是示出根据示例性实施方式的根据隐私等级来调整对象的清晰度的方法的流程图。
在操作S1710中,跌倒检测装置1000可以使用DVS 1100获取至少一个图像。操作S1710对应于图7的操作S710,并且因此将省略其详细描述。
在操作S1720中,跌倒检测装置1000可以获取关于安装DVS 1100的空间的隐私等级的信息。
根据示例性实施方式,当安装DVS 1100时,跌倒检测装置1000可以从用户接收隐私等级。根据示例性实施方式,跌倒检测装置1000可以从服务器2000获取关于预定义的隐私等级的信息。
例如,可以将浴室或洗手间的隐私等级设置得很高,将更衣室或卧室的隐私等级设置得相对较高,而将客厅、厨房或楼梯的隐私等级设置得相对较低。
在操作S1730中,跌倒检测装置1000可以根据隐私等级来调整包括在至少一个图像中的第一对象的清晰度。例如,获取至少一个图像的空间的隐私等级越高,可以将第一对象的清晰度调整地越低。另一方面,获取至少一个图像的空间的隐私等级越低,可以将第一对象的清晰度调整地越高。
将参考图18更详细地描述跌倒检测装置1000调整第一对象的清晰度的操作。
图18是示出根据示例性实施方式的根据隐私等级来调整对象的清晰度的操作的图。
参考图18的1810,第一用户1801可能在厨房中跌倒。此时,跌倒检测装置1000可以使用DVS 1100获取跌倒的第一用户1801的图像1811。跌倒检测装置1000可以确认第一用户1801所处的厨房的隐私等级,并以利用与确认的隐私等级对应的清晰度来表达第一用户1801的轮廓。例如,由于厨房的隐私等级是一般等级“1”,所以跌倒检测装置1000可以以一般的清晰度来表达第一用户1801的轮廓。
参考图18的1820,第二用户1802可能在洗手间中跌倒。此时,跌倒检测装置1000可以使用DVS 1100获取跌倒的第二用户1802的图像1812。跌倒检测装置1000可以确认第二用户1802所处的洗手间的隐私等级,并以利用与确认的隐私等级对应的清晰度来表达第二用户1802的轮廓。例如,由于洗手间的隐私等级是非常高的等级“3”,所以跌倒检测装置1000可以以低的清晰度来表达第二用户1802的轮廓。
根据示例性实施方式,跌倒检测装置1000可以检测除人类跌倒之外的动物的危险情况。在下文中,将参考图19详细描述跌倒检测装置1000检测宠物的危险情况的操作。
图19是示出根据示例性实施方式的检测动物的危险情况的操作的图。
参考图19中的1910,宠物1911可能爬过椅子并且由于椅子跌倒而跌倒。在这种情况下,跌倒检测装置1000可以使用DVS 1100获取跌倒宠物1911的图像。跌倒检测装置1000可以使用外观模型来检测跌倒的宠物1911的图像。此时,跌倒检测装置1000可以通过运动模型来分析宠物1911的一系列图像,以确定宠物1911是否实际上已经跌倒。当确定宠物1911已跌倒时,跌倒检测装置1000可以基于周围环境信息或宠物1911在已跌倒后是否移动来确定跌倒情况的危险。如果跌倒情况的危险大于阈值,则跌倒检测装置1000可以将警告消息发送到外部装置(例如,宠物主人的移动电话)。
参考图19的1920,宠物1912可能吃掉错误食物或垃圾中的杂质而窒息并且跌倒。在这种情况下,跌倒检测装置1000可以使用DVS 1100获取跌倒宠物1912的图像。跌倒检测装置1000可以使用外观模型来检测跌倒的宠物1912的图像。在这种情况下,跌倒检测装置1000可以通过运动模型分析宠物1912的一系列图像,以确定宠物1912是否处于危险情况。根据示例性实施方式,跌倒检测装置1000可以使用振动器1200和DVS 1100来获取周围环境信息(例如,垃圾桶、床边等),并且通过使用周围环境信息来确定宠物1912的危险。
图20是示出根据示例性实施方式的检测危险情况的方法的流程图。
在操作S2010中,危险情况检测装置可以使用DVS 1100获取包括能够产生移动的第一对象的至少一个图像。
根据示例性实施方式,当未检测到第一对象的移动时,危险情况检测装置可以以低分辨率模式获取图像,并且当未检测到第一对象的移动时,以高分辨率模式获取图像。
根据示例性实施方式,能够产生移动的第一对象可以是作为监视目标的人或动物。当第一对象移动时,DVS 1100可以捕获第一对象的图像。此时,第一对象的图像可以包括第一对象的轮廓、边缘或剪影。
另一方面,当第一对象移动并且另一个对象一起移动时,不仅第一对象的轮廓而且另一个对象的轮廓也可以出现在第一图像中。例如,当第一对象骑在轮椅上并且与轮椅一起跌倒时,第一对象的轮廓和轮椅的轮廓可以出现在第一图像中。
在操作S2020中,危险情况检测装置可以在至少一个图像中检测包括处于预定姿势的第一对象的第一图像。根据示例性实施方式,通过DVS 1100获取的至少一个图像中的每个图像可以是静态图像。
根据示例性实施方式,危险情况检测装置可以使用第一学习网络模型逐一分析通过DVS 1100获取的至少一个图像。例如,可以通过第一学习网络模型来执行检测第一图像的操作。第一学习网络模型可以是被学习用于分析静态图像并且检测包括处于预定姿势的对象的图像的模型。第一学习网络模型可以由人工智能(AI)引擎驱动。
根据示例性实施方式,当学习网络模型(可以由AI模型表示)使用通过DVS 1100获取的至少一个图像(以下称为DVS图像)作为学习数据时,存在以下优点:与使用RGB图像数据作为学习数据的情况相比,由于不需要针对输入值的预处理过程,因此可以减轻学习网络模型。例如,如果将RGB图像数据用作将要输入到学习网络模型(AI模型)的输入值,则可能需要提取两个帧之间的移动信息的预处理过程。也就是说,如果将RGB图像数据用于确定危险情况,则可能需要预处理过程(例如,移动信息提取)以生成将要输入到学习网络模型(AI模型)的数据。然而,当将DVS图像用作将要输入到学习网络模型(AI模型)的输入值时,由于移动信息被包括在DVS图像中,因此用于在将DVS图像输入到学习网络模型(AI模型)之前提取移动信息的预处理过程可以是不必要的。
预定姿势可以是与危险情况相关联的姿势。根据示例性实施方式,预定姿势可以是特定身体部位(例如,头部、背部、胸部、膝盖、脚后跟、手掌等)与地板(或楼梯)接触的姿势。例如,预定姿势可以是但不限于仰卧在地板上的姿势、俯卧在地板上的姿势、单侧卧在地板上的姿势、倚靠在楼梯上的姿势等。例如,预定姿势可以是戴着防毒面具的姿势、拿着灭火器的姿势或者按下事故铃的姿势。
根据示例性实施方式,危险情况检测装置可以在使用学习网络模型分析静态图像之前补偿静态图像中包括的对象的身体形状或尺寸。例如,危险情况检测装置可以考虑到安装DVS 1100的角度和位置中的至少一个,来补偿至少一个图像中包括的第一对象的身体形状或尺寸,并且将具有经补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较。
根据示例性实施方式,当基于至少一个图像确定第一对象被另一对象部分地覆盖时,危险情况检测装置可以利用振动器1200移动DVS 1100,从而从DVS 1100获取包括第一对象的周围环境信息的至少一个详细图像。详细图像还可以包括不发生移动的周边对象(例如,椅子、桌子、床、抽屉、水槽等)的轮廓。
根据示例性实施方式,危险情况检测装置可以基于至少一个详细图像来检测覆盖第一对象的一部分的第二对象。危险情况检测装置可以考虑第二对象来估计被第二对象部分覆盖的第一对象的姿势。此时,危险情况检测装置可以通过将第一对象的估计姿势与预定姿势进行比较来检测第一图像。
在操作S2030中,危险情况检测装置可以分析第一图像以确定第一对象的情况是否为危险情况。
根据示例性实施方式,可以通过第二学习网络模型来执行确定第一对象的情况是否为危险情况的操作。根据示例性实施方式,第二学习网络模型可以是AI引擎的学习模型,其与检测第一图像的第一学习网络模型相同。可替代地,第二学习网络模型可以是与第一学习网络模型相同的、AI引擎的另一学习模型。可替代地,第二学习网络模型可以是与第一学习网络模型不同的、AI引擎的学习模型。
根据示例性实施方式,当第一对象使用拐杖走路并跌倒时,第一图像可以包括拐杖的图像以及第一对象的图像。在这种情况下,危险情况检测装置可以分析第一图像,确定第一对象与拐杖一起跌倒,并且确定第一对象的情况为危险情况。
根据示例性实施方式,危险情况检测装置可以分析第一对象的包括第一图像的多个图像以获取与第一对象的第一移动变化有关的信息。危险情况检测装置可以基于与第一对象的第一移动变化有关的信息来确定第一对象的情况是否是跌倒情况。已经参考图7详细描述了确定第一对象的情况是否是跌倒情况的操作,并且因此在此将省略其详细描述。
根据示例性实施方式,当确定第一对象的情况为危险情况时,危险情况检测装置可以利用振动器1200移动DVS 1100,从而获取包括第一对象的周围环境信息的至少一个详细图像。在这种情况下,危险情况检测装置可以分析至少一个详细图像以确定第一对象的危险。
例如,作为分析详细图像的结果,当在第一对象周围存在楼梯、存在桌子的拐角、或者地板粗糙时,危险情况检测装置可以将第一对象的危险确定为高度。另外,作为分析详细图像的结果,当第一对象在预定时间内的移动小于阈值时,危险情况检测装置可提高第一对象的危险等级。
图21是示出根据示例性实施方式的使用详细图像来检测危险情况的方法的流程图。
在操作S2110中,危险情况检测装置可以使用DVS 1100获取包括能够产生移动的第一对象的至少一个图像。操作S2110对应于图20中的操作S2010,并且因此将省略其详细描述。
在操作S2120中,危险情况检测装置可以在至少一个图像中检测包括处于预定姿势的第一对象的第一图像。例如,危险情况检测装置可以在已跌倒在地板上的情况下检测包括第一对象的第一图像。根据示例性实施方式,可以通过第一学习网络模型来执行检测第一图像的操作。操作S2120对应于图20中的操作S2020,并且因此将省略其详细描述。
在操作S2130中,当检测到第一图像时,危险情况检测装置可以通过利用振动器1200移动DVS 1100来获取包括第一对象的周围环境信息的至少一个详细图像。例如,当检测到处于已跌倒在地板上的姿势的第一对象的第一图像时,危险情况检测装置可以利用振动器1200将DVS1100移动到振动器1200,以获取包括与围绕第一对象的对象有关的信息的详细图像。
根据示例性实施方式,第一对象的周围环境信息可以是与围绕第一对象的其他对象有关的信息(例如,关于围绕第一对象是否存在其他对象的信息、围绕第一对象存在的其他对象的辨识信息等)。因此,至少一个详细图像可以包括第一对象的轮廓图像以及围绕第一对象存在的其他对象的轮廓图像。如果围绕第一对象不存在其他对象,则在详细图像中可仅出现第一对象的轮廓图像。
在操作S2140中,危险情况检测装置可以分析至少一个详细图像以确定第一对象的情况是否为危险情况。
根据示例性实施方式,危险情况检测装置可以通过使用第一对象的周围环境信息(例如,第一对象跌倒处的对象、地板的材料等)来确定第一对象的情况是否为危险情况。例如,作为分析详细图像的结果,第一对象的情况是第一对象跌倒在楼梯上并且第一对象的头部撞在楼梯栏杆上。在这种情况下,危险情况检测装置可以确定第一对象的情况是危险情况。
根据示例性实施方式,可以通过第二学习网络模型来执行确定第一对象的情况是否为危险情况的操作。此时,第二学习网络模型可以是AI引擎的学习模型,其与检测第一图像的第一学习网络模型相同。可替代地,第二学习网络模型可以是与第一学习网络模型相同的、AI引擎的另一学习模型。可替代地,第二学习网络模型可以是与第一学习网络模型不同的、AI引擎的学习模型。
根据示例性实施方式,当检测到包括处于预定姿势(例如,跌倒在地板上的姿势)的第一对象的图像时,危险情况检测装置可以通过使用振动器来移动DVS,以便获取关于不会在第一对象周围移动的对象的信息。在这种情况下,由于移动的DVS还可以检测不在第一对象周围移动的对象的详细图像,因此危险情况检测装置可以使用第一对象周围的详细图像来更准确和客观地确定第一对象是否处于危险情况。
图22是示出根据示例性实施方式的跌倒检测装置的配置的框图。
如图22所示,根据示例性实施方式的跌倒检测装置1000可以包括DVS 1100、振动器1200和处理器1300。然而,并非所有展示的部件都是不可缺少的部件。跌倒检测装置1000可以由比展示的部件更多的部件来实现。跌倒检测装置1000可以由比展示的部件更少的部件来实现。例如,除了振动器1200之外,跌倒检测装置1000可以仅包括DVS 1100和处理器1300。除了DVS 1100、振动器1200和处理器1300之外,跌倒检测装置1000还包括用户接口1400、通信接口1500、输出单元1600和存储器1700。
在下文中,将按次序描述这些部件。
DVS 1100是采用人的虹膜接收信息的方式的图像传感器,并且是能够获取移动对象的图像数据的传感器。例如,仅当像素单元的移动发生局部变化时,DVS 1100才将图像数据发送到处理器。也就是说,仅当发生移动事件时,DVS 1100才可以将图像数据发送到处理器。因此,DVS 1100在对象停止时不处理数据,仅当对象移动时,可以捕获移动的对象并且将数据发送到处理器1300。
振动器1200可以是用于产生振动的装置。例如,振动器1200可以是输出振动信号的振动马达。根据示例性实施方式,振动器1200可以产生振动以人为地移动DVS 1100。DVS1100是可用于移动变化检测但在没有移动时可能无法获取信息的图像传感器。因此,振动器1200可以人为地移动DVS 1100,使得即使在没有对象移动的情况下,DVS 1100也可以获取对象的图像。
已经参考图1描述了DVS 1100和振动器1200,并且因此将省略其详细描述。
处理器1300通常可以控制跌倒检测装置1000的整体操作。例如,控制器1300可以通过执行存储在存储器1700中的程序来控制DVS 1100、振动器1200、用户接口1400、通信接口1500、以及输出端1600等。
根据示例性实施方式,处理器1300可以从DVS 1100获取的至少一个图像中检测包括处于预定姿势的第一对象的第一图像。预定姿势可以是与跌倒相关联的姿势。例如,预定姿势可以是身体部位(例如,背部、胃部、头部等)或整个身体接触地板的姿势。例如,当检测到第一对象的移动时,处理器1300可以将包括在至少一个图像中的第一对象的姿势与预定姿势进行比较,以检测包括处于预定姿势的第一图像的第一图像。
根据示例性实施方式,处理器1300可以考虑安装DVS 1100处的角度和位置中的至少一个来补偿包括在至少一个图像中的第一对象的身体形状或尺寸。处理器1300可以通过将具有补偿的身体形状或尺寸的第一对象的姿势与预定姿势进行比较来检测包括处于预定姿势的第一对象的第一图像。
根据示例性实施方式,当基于至少一个图像确定第一对象被另一对象部分覆盖时,处理器1300可以控制振动器1200移动DVS 1100。处理器1300可以基于通过移动DVS1100获取的第五图像来检测覆盖第一对象的一部分的第二对象。处理器1300可以考虑第二对象来估计被第二对象部分覆盖的第一对象的姿势。处理器1300可以将第一对象的估计姿势与预定姿势进行比较,以检测包括处于预定姿势的第一对象的第一图像。
处理器1300可以分析第一对象的多个图像(包括第一图像)以获取与第一对象的第一移动变化有关的信息。多个图像可以包括在第一图像之前由DVS 1100获取的第二图像以及在第一图像之后获取的第三图像中的至少一个。
处理器1300可以基于与第一对象的第一移动变化有关的信息来确定第一对象的情况是否是跌倒情况。例如,如果第一对象的第一移动变化与代表预先存储的跌倒的第二移动变化之间的相似度大于阈值,则处理器1300可以将第一对象的情况确定为跌倒情况。
当确定第一对象的情况是跌倒情况时,处理器1300可以控制振动器1200移动DVS1100,并且使用通过移动的DVS 1100获取的第四图像来确定跌倒情况的危险。例如,处理器1300可以分析第四图像以获取第一对象的周围环境信息或第一对象的跌倒类型信息,并且可以使用周围环境信息或跌倒类型信息来确定跌倒情况的危险。根据示例性实施方式,如果跌倒情况的危险大于阈值,则处理器1300可以经由通信接口1500将警告消息发送到外部装置。
在第一对象的移动被确定为跌倒情况之后,处理器1300可以检测第一对象的移动,并且如果第一对象的移动在预定的时间段内小于阈值,可以提高跌倒情况的危险等级。
处理器1300可以使用预先存储在存储器1700中的深度学习模型或者使用从外部接收的深度学习模型来检测对象的跌倒。另外,处理器1300可以直接生成用于检测跌倒的深度学习模型。稍后将参考图21至图24详细描述直接生成深度学习模型的处理器1300的操作。
用户接口1400是指用户输入用于控制跌倒检测装置1000的数据的单元。例如,用户接口1400可以包括小键盘、圆顶开关,触摸板(接触型电容法、压力型电阻法、红外线检测法、表面超声波传导法、积分型张力测量法、压电效应法等)、滚轮、滚轮开关等,但是不限于此。
用户接口1400可以接收设置DVS 1100被安装在其中的空间的隐私等级的输入。可替代地,用户接口1400可以接收设置经由DVS 1100获取的图像的清晰度的输入。
通信接口1500包括至少一个部件,以使得跌倒检测装置1000与服务器2000之间、跌倒检测装置1000与可穿戴装置3000之间以及跌倒检测装置1000与移动终端之间能够进行通信。例如,通信接口1500可以包括短距离无线通信单元、移动通信单元等。
短距离无线通信单元可以包括蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信单元、WLAN通信单元、ZigBee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元、Ant+通信单元等。
移动通信单元在移动通信网络上将无线信号发射到以下中的至少一者或者从以下中的至少一者接收无线信号:基站、外部终端和服务器。本文中,无线信号可以包括语音呼叫信号、视频呼叫信号或者根据文本/多媒体消息发射/接收的各种类型的数据。在这种情况下,移动通信单元可以使用长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、以及无线宽带(WiBro)和全球移动通信系统(GSM)中的至少一者。
输出单元1600用于输出视频信号、音频信号或振动信号,并且可以包括显示器、声学输出单元、振动马达等。
显示器可以显示在跌倒检测装置1000中处理的信息。例如,显示器可以显示通过DVS 1100获取的图像、预览图像、移动图像文件列表、移动图像再现屏幕等。
当显示器和触摸板具有层结构并且被配置为触摸屏时,除了输出装置之外,显示器还可以用作输入装置。显示器可以包括以下中的至少一者:液晶显示器、薄膜晶体管液晶显示器、有机发光二极管、柔性显示器、三维(3D)显示器和电泳显示器。
音频输出单元输出从通信接口1500接收或存储在存储器1700中的音频数据。另外,声音输出单元输出与在跌倒检测装置1000中执行的功能(例如,产生警告消息)有关的声音信号。声音输出单元可以包括扬声器、蜂鸣器等。
存储器1700可以存储用于处理和控制处理器1300的程序,并且可以存储输入/输出数据(例如,静态图像、移动图像等)。
存储器1700可以包括例如内部存储器或外部存储器。内部存储器可以包括(例如)易失性存储器(诸如动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM))、非易失性存储器(诸如一次性可编程ROM(OTPROM)时间可编程ROM(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存存储器(诸如NAND快闪或NOR快闪)、以及固态驱动器(SSD))中的至少一者。
外部存储器可以包括闪存驱动器,诸如紧凑闪存(CF)、安全数字(SD)、微安全数字(SD)、微型安全数字(SD)、极速数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器可以通过各种接口在功能上或物理上连接到跌倒检测装置1000。
另外,跌倒检测装置1000可以操作web存储装置,该web存储装置执行互联网上的存储器1700的存储功能。
可以根据其功能而将存储于存储器1700中的程序分类成多个模块。例如,程序可以被分类成外观模型1710、运动模型1720、补偿模型1730、跌倒危险图模型1740等。根据示例性实施方式,存储器1700可以存储跌倒危险图600。
外观模型1710可以是这样的模型,其学习以用于逐一分析静态图像以检测静态图像中包括的对象的身体形状或姿势并且确定对象的检测的身体形状或姿势是否类似于与跌倒有关的预定姿势。
运动模型1720可以是学习以分析多个图像(例如,移动图像)以检测对象的移动模式并且确定检测的对象的移动模式是否类似于表示跌倒的移动模式的模型。通常,由于运动模型1720堆叠(例如,N个图像堆叠)并处理多个图像,运动模型1720比处理单个图像的外观模型1710花费的时间长N倍。
补偿模型1730可以是学习以补偿包括在通过DVS 1100获取的图像中的对象的尺寸、形状或遮挡的模型。
跌倒危险图600可以是指示当跌倒发生时可能是危险的区域的图。
在下文中,将参考图23描述生成外观模型、运动模型1720、补偿模型1730等作为用于检测处理器1300的跌倒的学习模型的操作。
图23是根据示例性实施方式的处理器1300的框图。
参考图23,根据一个或多个示例性实施方式的处理器1300可以包括数据学习单元1310和数据辨识单元1320。
数据学习单元1310可以学习用于确定危险情况(例如,跌倒情况)的参考。数据学习单元1310可以学习与哪些数据用于确定跌倒情况以及如何使用数据确定情况有关的参考。数据学习单元1310可以获取将要用于学习的数据(例如,图像),并且将获取的数据应用于稍后将描述的数据辨识模型,以学习用于确定跌倒情况的参考。
根据示例性实施方式,数据学习单元1310可以在特定照明(例如,普通照明或低照明)下学习对象(人或动物)的日常行为或跌倒行为。根据示例性实施方式,数据学习单元1310可以根据对象的身体特征(例如,年龄、性别等)来学习日常行为或跌倒行为。例如,数据学习单元1310可以学习诸如儿童的跌倒模式、老年人的跌倒模式、使用助行器的人的跌倒模式、使用拐杖的人的跌倒模式、在运送货物过程中的跌倒模式等的各种情况下的跌倒模式。
根据示例性实施方式,数据学习单元1310可以学习用于辨识对象的参考。例如,数据学习单元1310可以学习人类特征、宠物特征、家具特征、对象特征等。
根据示例性实施方式,数据学习单元1310可以学习用于确定位置的位置图像。另外,数据学习单元1310可以学习对象与在位置图像中检测的位置之间的相关性。例如,数据学习单元1310可以学习在客厅图像中检测的沙发、电视等与客厅之间的相关性。
根据示例性实施方式,当第一对象被第二对象覆盖时,数据学习单元1310可以学习用于补偿覆盖的第一对象的图像。例如,数据学习单元1310可以学习用于补偿人被家具覆盖的情况的图像。此外,根据示例性实施方式,数据学习单元1310可以学习用于补偿由相机镜头引起的失真的失真数据。
数据辨识单元1320可以基于数据确定跌倒情况。数据辨识单元1320可以通过使用学习的数据辨识模型从检测的数据中辨识跌倒情况。数据辨识单元1320可以通过学习根据预设参考来获取图像数据(例如,从DVS 1100获取图像数据),并且使用将所获取的图像数据用作输入值的数据辨识模型来基于图像数据确定跌倒情况。此外,由通过将获取的图像数据用作输入值的数据辨识模型输出的结果值可以用于更新数据辨识模型。
数据学习单元1310和数据辨识单元1320中的至少一个可以以至少一个硬件芯片类型来制造,并且可以安装在跌倒检测装置1000上。例如,数据学习单元1310和数据辨识单元1320中的至少一个可以以用于人工智能(AI)的专用硬件芯片类型或者现有的通用处理器(例如,CPU或应用处理器)或者图形处理器(例如GPU)来制造,并且安装在跌倒检测装置1000上。
数据学习单元1310和数据辨识单元1320可以安装在单个跌倒检测装置1000上,或者可以分别安装在单独的跌倒检测装置上。例如,数据学习单元1310和数据辨识单元1320中的一者可以包括在跌倒检测装置1000中,并且另一者可以包括在服务器2000中。此外,数据学习单元1310和数据辨识单元1320可以通过有线或无线方式将由数据学习单元1310构建的模型信息提供给数据辨识单元1320。输入到数据辨识单元1320的数据可以作为附加学习数据提供给数据学习单元1310。
同时,数据学习单元1310和数据辨识单元1320中的至少一者可以实现为软件模块。当数据学习单元1310和数据辨识单元1320中的至少一者实现为软件模块(或者包括指令的程序模块)时,软件模块可以存储在非暂时性计算机可读介质中。此外,在这种情况下,一个或多个软件模块可以由操作系统(OS)或者预定应用程序提供。可替代地,一个或多个软件模块中的一些可以由OS提供,而其他软件模块可以由预定应用程序提供。
图24是根据示例性实施方式的数据学习单元1310的框图。
参考图24,根据示例性实施方式的数据学习单元1310可以包括数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4,以及模型评估单元1310-5。
数据获取单元1310-1可以获取用于确定跌倒情况所需的数据。数据获取单元1310-1可以获取学习所需的数据(例如,图像)以便确定跌倒情况。根据示例性实施方式,数据获取单元1310-1可以直接生成用于确定跌倒情况所需的数据,或者可以从外部装置或服务器接收用于确定跌倒情况所需的数据。
根据示例性实施方式,用于确定跌倒情况所需的数据可以包括:图像数据,该图像数据包括处于与跌倒有关的预定姿势的对象;移动图像数据,该移动图像数据包括表示跌倒的移动模式;用于确定跌倒的危险的关于周围环境的背景信息等,但是不限于此。
根据示例性实施方式,数据获取单元1310-1可以接收通过DVS捕获的静态图像或移动图像。移动图像可以由多个图像(或帧)组成。例如,数据获取单元1310-1可以通过包括数据学习单元1310的跌倒检测装置1000的DVS 1100或者能够与包括数据学习单元1310的跌倒检测装置1000进行通信的外部跌倒检测装置来接收移动图像。
根据示例性实施方式,数据获取单元1310-1可以获取图像数据、语音数据、文本数据、生物特征信号数据等。例如,数据获取单元1310-1可以通过跌倒检测装置1000的输入装置(例如,麦克风、相机、传感器等)接收数据。可替代地,数据获取单元1310-1可以通过与跌倒检测装置1000通信的外部装置获取数据。
预处理单元1310-2可以对所获取的数据进行预处理,使得所获取的数据可以用于学习确定跌倒情况。预处理单元1310-2可以将所获取的数据处理成预定格式,使得下文将描述的模型学习单元1310-4可以使用所获取的数据来学习确定跌倒情况。
例如,预处理单元1310-2可以重叠多个图像的至少一部分,以基于构成输入移动图像的至少一部分的多个图像(或帧)的每一个中包括的公共区域来生成单个合成图像。在这种情况下,可以从单个移动图像生成多个合成图像。公共区域可以是在多个图像中的每个图像中包括相同或相似的公共对象(例如,对象、动物、植物或人等)的区域。可替代地,公共区域可以是在多个图像的每一个中在颜色、阴影、RGB值或CMYK值上相同或相似的区域。
学习数据选择单元1310-3可以从预处理数据中选择学习所需的数据。选择的数据可以提供到模型学习单元1310-4。学习数据选择单元1310-3可以根据用于确定跌倒情况的预定参考从预处理数据中选择学习所需的数据。学习数据选择单元1310-3还可以通过模型学习单元1310-4的学习根据预定参考来选择数据,这将在后面描述。例如,学习数据选择单元1310-3可以选择包括与跌倒有关的对象(例如,人的身体的一部分触摸地面的姿势(例如,仰卧姿势、俯卧姿势等)的图像数据。
模型学习单元1310-4可以基于学习数据来学习关于如何确定跌倒情况的参考。另外,模型学习单元1310-4可以学习用于确定应该使用哪些学习数据来确定跌倒情况的参考。
另外,模型学习单元1310-4可以使用学习数据来学习用于确定跌倒情况的数据辨识模型。在这种情况下,数据辨识模型可以是预构建的模型。例如,数据辨识模型可以是接收基本学习数据(例如,样本图像等)的预构建的模型。
可以考虑辨识模型的应用领域、学习的目的或装置的计算机性能来构造数据辨识模型。数据辨识模型可以是例如基于神经网络的模型。例如,数据辨识模型可以使用诸如深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)的模型,但是不限于此。
根据各种示例性实施方式中,当存在预先构建的多个数据辨识模型时,模型学习单元1310-4可以将在输入学习数据与基本学习数据之间具有高相关性的数据辨识模型确定为要学习的数据辨识模型。在这种情况下,可以根据数据类型预先对基本学习数据进行分类,并且可以根据数据类型预先构建数据辨识模型。例如,基本学习数据可以通过各种参考而预先分类,诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的类型、学习数据的创建器、学习数据中的对象的类型等。
另外,模型学习单元1310-4可以使用例如包括误差反向传播方法或梯度下降方法的算法来学习数据辨识模型。
此外,模型学习单元1310-4可以使用例如学习数据作为输入值通过监督学习来学习数据辨识模型。另外,模型学习单元1310-4可以例如自身学习用于确定情况所需的数据类型而无需任何指导,从而通过无监督学习来学习数据辨识模型以找到用于确定情况的参考。另外,模型学习单元1310-4可以通过使用例如关于基于学习来确定情况的结果是否正确的反馈的强化学习来学习数据辨识模型。
此外,当学习数据识别模型时,模型学习单元1310-4可以存储学习的数据识别模型。在这种情况下,模型学习单元1310-4可以将学习的数据辨识模型存储在包括数据辨识单元1320的跌倒检测装置1000的存储器1700中。可替代地,模型学习单元1310-4将学习的数据辨识模型存储在包括稍后要描述的包括数据辨识单元1320的跌倒检测装置1000的存储器1700中。可替代地,模型学习单元1310-4可以将学习的数据辨识模型存储在通过有线或无线网络与跌倒检测装置1000连接的服务器2000的存储器中。
在这种情况下,例如,存储有学习的数据辨识模型的存储器还可以存储与跌倒检测装置1000的至少一个另一部件相关联的命令或数据。存储器还可以存储软件和/或程序。程序可以包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)等。
模型评估单元1310-5可以将评估数据输入到数据辨识模型,并且如果从评估数据输出的辨识结果不满足预定参考,则允许模型学习单元1310-4再次学习。在这种情况下,评估数据可以是用于评估数据识别模型的预定数据。
例如,当辨识结果不正确的评估数据的数量或百分比在用于评估数据的学习数据辨识模型的辨识结果中超过预定阈值时,模型评估单元1310-5可以将学习数据辨识模型评估为不满意。例如,当将预定参考定义为2%的百分比时,则当学习的数据辨识模型针对总共1000条评估数据中超过20个的评估数据输出不正确的辨识结果时,模型评估单元1310-5可以将学习数据辨识模型评估为不合适。
另一方面,当存在多个学习的数据辨识模型时,模型评估单元1310-5可以评估每个学习的移动图像辨识模型是否满足预定参考,并且可以将满足该预定参考的模型确定为最终的数据辨识模型。在这种情况下,当存在满足预定参考的多个模型时,模型评估单元1310-5可以将按评估分数的降序预先设置的任何一个或预定数量的模型确定为最终的数据辨识模型。
数据学习单元1310中的数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-4中的至少一者可以以至少一个硬件芯片类型来制造,并且安装在跌倒检测装置1000上。例如,数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一者可以以用于人工智能(AI)的专用硬件芯片类型或者现有的通用处理器(例如:CPU或应用处理器)或者图形处理器(例如GPU)来制造,并且安装在跌倒检测装置1000上。
数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5可以安装在跌倒检测装置1000上,或者可以分别安装在单独的跌倒检测装置上。例如,数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的一些可以包括在跌倒检测装置1000中,并且其他可以包括在服务器2000中。
数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一者可以实现为软件模块。当数据获取单元1310-1、预处理单元1310-2、学习数据选择单元1310-3、模型学习单元1310-4和模型评估单元1310-5中的至少一者被实现为软件模块(或包括指令的程序模块)时,软件模块可以存储在非暂时性计算机可读介质中。此外,在这种情况下,一个或多个软件模块可以由操作系统(OS)或者预定应用程序提供。可替代地,一个或多个软件模块中的一些可以由OS提供,而其他的可以由预定应用程序提供。
图25是根据示例性实施方式的数据辨识单元1320的框图。
参考图25,根据示例性实施方式的数据辨识单元1320可以包括数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4、以及模型更新单元1320-5。
数据获取单元1320-1可以获取确定跌倒情况所需的数据。预处理单元1320-2可以对所获取的数据进行预处理,使得可以使用获取的数据来确定跌倒情况。预处理单元1320-2可以将获取的数据处理成预定格式,使得稍后将描述的辨识结果提供单元1320-4可以使用获取的数据来确定跌倒情况。
辨识数据选择单元1320-3可以从预处理数据中选择确定跌倒情况所需的数据。选择的数据可以被提供给辨识结果提供器1320-4。辨识数据选择单元1320-3可以根据用于确定跌倒情况的预定参考来选择预处理数据中的一些或全部。辨识数据选择单元1320-3还可以通过模型学习单元1310-4的学习根据预定参考来选择数据,这将在后面描述。
辨识结果提供单元1320-4可以将选择的数据应用于数据辨识模型以确定情况。辨识结果提供单元1320-4可以根据数据辨识目的来提供辨识结果。辨识结果提供单元1320-4可以通过使用由辨识数据选择单元1320-3选择的数据作为输入值将所选择的数据应用于数据辨识模型。另外,辨识结果可以由数据辨识模型确定。
例如,可以将至少一个图像的辨识结果提供为文本、语音、移动图像、图像或命令(例如,应用执行命令、模块功能执行命令等)。例如,辨识结果提供单元1320-4可以提供包括在至少一个图像中的对象的辨识结果。辨识结果可以是例如至少一个图像中包括的对象的姿势信息、对象的周围情况信息、移动图像中包括的对象的移动变化信息等。辨识结果提供单元1320-4可以将“跌倒情况”作为文本、语音、图像、命令等提供为对象的情况信息。
模型更新单元1320-5可以基于对由辨识结果提供单元1320-4提供的辨识结果的评估来更新数据辨识模型。例如,模型更新单元1320-5可以向模型学习单元1310-4提供由辨识结果提供单元1320-4提供的辨识结果,使得模型学习单元1310-4可以更新数据辨识模型。
同时,数据辨识单元1320中的数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5中的至少一个可以以至少一个硬件芯片类型来制造,并且安装在跌倒检测装置1000上。例如,数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5中的至少一者可以以用于人工智能(AI)的专用硬件芯片类型或者现有的通用处理器(例如CPU或应用处理器)或者图形处理器(例如GPU)来制造,并且安装在跌倒检测装置1000上。
数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5可以安装在跌倒检测装置1000上,或者可以分别安装在单独的跌倒检测装置上。例如,数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5中的一些可以包括在跌倒检测装置1000中,并且其他可以包括在服务器2000中。
而且,数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5中的至少一者可以实现为软件模块。当数据获取单元1320-1、预处理单元1320-2、辨识数据选择单元1320-3、辨识结果提供单元1320-4和模型更新单元1320-5中的至少一者被实现为软件模块(或者包括指令的程序模块)时,软件模块可以存储在非暂时性计算机可读介质中。此外,在这种情况下,一个或多个软件模块可以由操作系统(OS)或者预定应用程序提供。可替代地,一个或多个软件模块中的一些可以由OS提供,而其他的可以由预定应用程序提供。
图26是示出根据示例性实施方式的跌倒检测装置1000与服务器2000彼此交互以学习并辨识数据的示例的图。
参考图26,服务器2000可以学习用于确定跌倒情况的参考,并且跌倒检测装置1000可以基于服务器2000的学习结果来确定跌倒情况。
服务器2000可以包括根据示例性实施方式的数据学习单元2300,该数据学习单元可以包括数据获取单元2310、预处理单元2320、学习数据选择单元2330、模型学习单元2340和模型评估单元2350。
服务器2000的模型学习单元2340可以执行图24中所示的数据学习单元1310的功能。服务器2000的模型学习单元2340可以学习关于使用什么数据来确定跌倒情况以及如何使用该数据来确定跌倒情况的参考。模型学习单元2340可以获取将要用于学习的数据并且将获取的数据应用于将稍后描述的数据辨识模型,从而学习用于确定跌倒情况的参考。
另外,跌倒检测装置1000的辨识结果提供单元1320-4可以将由辨识数据选择单元1320-3选择的数据应用于由服务器2000生成的数据辨识模型以确定情况。例如,辨识结果提供单元1320-4可以将辨识数据选择单元1320-3选择的数据发送到服务器2000,并且可以请求服务器2000将辨识数据选择单元1320-3选择的数据应用到辨识模型并且确定情况。另外,辨识结果提供单元1320-4可以从服务器2000接收关于由服务器2000确定的情况的信息。
可替代地,跌倒检测装置1000的辨识结果提供单元1320-4可以从服务器2000接收由服务器2000生成的辨识模型,并且使用接收的辨识模型来确定跌倒情况。在这种情况下,跌倒检测装置1000的辨识结果提供单元1320-4可以将由辨识数据选择单元1320-3选择的数据应用于从服务器2000接收的数据辨识模型以确定跌倒情况。
根据示例性实施方式的方法可以实现为可由各种计算机装置执行并且被记录在非暂时性计算机可读记录介质上的计算机指令。非暂时性计算机可读记录介质可以包括程序命令、数据文件、数据结构或其组合。记录在非暂时性计算机可读记录介质上的程序命令可以针对本公开进行专门设计和构造,或者可以是计算机软件领域的普通技术人员已知并且可使用的。非暂时性计算机可读介质的示例包括诸如硬盘、软盘或磁带的磁介质,诸如光盘只读存储器(CD-ROM)或数字通用光盘(DVD)的光学介质,诸如软盘的磁光介质,以及诸如ROM、RAM或闪存的专门配置为存储和执行程序命令的硬件装置。程序命令的示例包括可以由计算机使用由解释器执行的高级编程语言以及由编译器生成的机器语言代码。
示例性实施方式可以以包括计算机可执行指令(诸如由计算机系统执行的程序模块)的记录介质的形式来实现。非暂时性计算机可读介质可以是可由计算机系统访问的任意可用介质,并且包括所有类型的易失性和非易失性介质以及分离的和非分离的介质。另外,非暂时性计算机可读介质可以包括所有类型的计算机存储介质和通信介质。计算机存储介质包括通过用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任意方法或技术实现的所有类型的易失性和非易失性以及分离和非分离介质。通信介质通常包括计算机可读指令、数据结构、程序模块、诸如载波的调制信号的其他数据、其他传输机构以及任意信息传递介质。另外,示例性实施方式还可以由包括计算机可执行指令的计算机程序来实现,诸如待由计算机执行的计算机程序或计算机程序产品。
应当理解,本文描述的示例性实施方式应当仅认为是描述性意义而不是为了限制的目的。通常应当认为每个示例性实施方式中的特征或方面的描述可用于其他示例性实施方式中的其他类似特征或方面。
虽然已参考附图描述一个或多个示例性实施方式,但是本领域普通技术人员将理解,在不脱离由所附权利要求限定的精神和范围的情况下,可以对形式和细节进行各种改变。

Claims (20)

1.检测危险情况的方法,所述方法包括:
通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;
从所述第一图像中检测第二图像,所述第二图像包括处于预定姿势的第一对象;以及
通过分析所述第二图像确定所述第一对象的情况是否为危险情况。
2.根据权利要求1所述的方法,其中通过学习网络模型来检测所述第二图像并确定所述第一对象的情况是否为所述危险情况。
3.根据权利要求2所述的方法,其中检测所述第一图像包括:
响应于检测到所述第一对象的移动,通过使用所述学习网络模型将所述第一图像中包括的所述第一对象的姿势与所述预定姿势进行比较;以及
基于比较的结果检测所述第二图像。
4.根据权利要求1所述的方法,还包括:
响应于确定出所述第一对象的情况为所述危险情况,获取第三图像,所述第三图像包括通过使用振动器移动所述DVS而生成的、所述第一对象的周围环境信息;以及
通过分析所述第三图像确定所述第一对象的危险。
5.根据权利要求4所述的方法,其中确定所述第一对象的危险包括:
响应于确定所述第一对象在预定时间内的移动小于阈值,提高所述第一对象的危险等级。
6.根据权利要求1所述的方法,其中确定所述第一对象的情况是否为所述危险情况包括:
通过分析关于所述第二图像中的所述第一对象的多个图像来获取与所述第一对象的第一移动变化有关的信息;以及
基于与所述第一对象的第一移动变化有关的信息来确定所述第一对象的情况是否为跌倒情况。
7.根据权利要求1所述的方法,其中检测所述第二图像包括:
通过从安装所述DVS的角度和位置中的至少一个进行调整来补偿所述第一图像中包括的所述第一对象的身体形状或所述第一对象的尺寸;以及
将具有经补偿的身体形状或尺寸的第一对象的姿势与所述预定姿势进行比较。
8.根据权利要求1所述的方法,其中检测所述第二图像包括:
响应于确定所述第一对象由另一对象部分覆盖,获取第三图像,所述第三图像包括通过使用振动器移动所述DVS而生成的、所述第一对象的周围环境信息;
基于所述第三图像来检测在所述第三图像中覆盖所述第一对象的一部分的第二对象;以及
通过针对所述第二对象进行调整来估计由所述第二对象部分覆盖的所述第一对象的姿势。
9.根据权利要求1所述的方法,其中获取所述第一图像包括:
根据安装所述DVS的空间的隐私等级来调整所述第一图像中包括的所述第一对象的清晰度。
10.根据权利要求1所述的方法,其中获取所述第一图像包括:
响应于检测到所述第一对象的移动以高分辨率模式获取所述第一图像;以及
响应于未检测到所述第一对象的移动以低分辨率模式获取所述第一图像。
11.检测危险情况的方法,所述方法包括:
通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;
从所述第一图像中检测第二图像,所述第二图像包括处于预定姿势的所述第一对象;
响应于检测到所述第二图像,获取第三图像,所述第三图像包括通过使用振动器移动所述DVS而生成的、所述第一对象的周围环境信息;以及
通过分析所述第三图像确定所述第一对象的情况是否为所述危险情况。
12.根据权利要求11所述的方法,其中通过学习网络模型来检测所述第二图像并确定所述第一对象的情况是否为所述危险情况。
13.用于检测危险情况的装置,所述装置包括:
动态视觉传感器(DVS),配置为获取包括能够产生移动的第一对象的第一图像;以及
处理器,所述处理器配置为:
从所述第一图像中检测第二图像,所述第二图像包括处于预定姿势的所述第一对象,以及
分析所述第二图像以确定所述第一对象的情况是否为所述危险情况。
14.根据权利要求13所述的装置,其中所述处理器进一步配置为通过使用学习网络模型来检测所述第二图像,并且通过使用所述学习网络模型来确定所述第一对象的情况是否为所述危险情况。
15.根据权利要求13所述的装置,还包括振动器,所述振动器配置为移动所述DVS,
其中所述处理器进一步配置为:
响应于确定所述第一对象的情况是所述危险情况,控制所述振动器移动所述DVS;
获取第三图像,所述第三图像包括通过移动所述DVS生成的所述第一对象的周围环境信息;以及
分析所述第三图像以确定所述第一对象的危险。
16.根据权利要求15所述的装置,其中所述处理器进一步配置为响应于确定所述第一对象在预定时间内的移动小于阈值,提高所述第一对象的危险等级。
17.根据权利要求13所述的装置,其中所述处理器进一步配置为通过从安装所述DVS的角度和位置中的至少一个进行调整来补偿所述第一图像中包括的所述第一对象的身体形状或所述第一对象的尺寸,并且将具有经补偿的身体形状或尺寸的第一对象的姿势与所述预定姿势进行比较以检测所述第二图像。
18.根据权利要求13所述的装置,还包括振动器,所述振动器配置为移动所述DVS,
其中所述处理器进一步配置为:
响应于确定所述第一对象由另一对象部分覆盖,获取第三图像,所述第三图像包括通过使用所述振动器移动所述DVS而生成的、所述第一对象的周围环境信息;
基于所述第三图像来检测覆盖所述第一对象的一部分的第二对象;以及
通过针对所述第二对象进行调整来估计由所述第二对象部分覆盖的所述第一对象的姿势。
19.用于检测危险情况的装置,所述装置包括:
动态视觉传感器(DVS),配置为获取包括能够产生移动的第一对象的第一图像;
振动器,配置为移动所述DVS;以及
处理器,所述处理器被配置为:
从所述第一图像中检测包括处于预定姿势的所述第一对象的第二图像并且分析所述第二图像;
响应于检测到所述第二图像,获取第三图像,所述第三图像包括通过使用所述振动器移动所述DVS生成的、所述第一对象的周围环境信息;以及
分析所述第三图像以确定所述第一对象的情况是否为所述危险情况。
20.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质存储用于使计算机执行以下操作的指令:
通过使用动态视觉传感器(DVS)获取包括能够产生移动的第一对象的第一图像;
从所述第一图像中检测包括处于预定姿势的所述第一对象的第二图像;以及
通过分析所述第二图像确定所述第一对象的情况是否为危险情况。
CN201880057012.4A 2017-05-25 2018-06-20 用于检测危险情况的方法和系统 Active CN111052194B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762511013P 2017-05-25 2017-05-25
KR1020170113344A KR102013935B1 (ko) 2017-05-25 2017-09-05 위험 상황을 감지하는 방법 및 시스템
KR10-2017-0113344 2017-09-05
PCT/KR2018/006981 WO2019050136A1 (en) 2017-05-25 2018-06-20 METHOD AND SYSTEM FOR DETECTION OF A HAZARDOUS SITUATION

Publications (2)

Publication Number Publication Date
CN111052194A true CN111052194A (zh) 2020-04-21
CN111052194B CN111052194B (zh) 2022-09-27

Family

ID=64744306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057012.4A Active CN111052194B (zh) 2017-05-25 2018-06-20 用于检测危险情况的方法和系统

Country Status (7)

Country Link
US (1) US11080891B2 (zh)
EP (1) EP3622495B1 (zh)
JP (1) JP7102510B2 (zh)
KR (2) KR102013935B1 (zh)
CN (1) CN111052194B (zh)
AU (1) AU2018327869B2 (zh)
WO (1) WO2019050136A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111685724A (zh) * 2020-06-09 2020-09-22 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
CN111899470A (zh) * 2020-08-26 2020-11-06 歌尔科技有限公司 人体跌倒检测方法、装置、设备及存储介质
CN113531807A (zh) * 2021-06-29 2021-10-22 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端
CN114333238A (zh) * 2021-12-30 2022-04-12 广东省第二人民医院(广东省卫生应急医院) 一种基于5g的紧急救援通信系统
TWI771672B (zh) * 2020-04-27 2022-07-21 財團法人工業技術研究院 影像監控裝置與方法
TWI799821B (zh) * 2021-03-30 2023-04-21 許維綸 危險預測預防系統

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588458A1 (en) * 2018-06-29 2020-01-01 Koninklijke Philips N.V. A fall detection apparatus, a method of detecting a fall by a subject and a computer program product for implementing the method
KR102683294B1 (ko) * 2018-09-10 2024-07-10 삼성전자주식회사 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
TWI665609B (zh) * 2018-11-14 2019-07-11 財團法人工業技術研究院 住戶行為辨識系統與住戶行為辨識方法
US11179064B2 (en) * 2018-12-30 2021-11-23 Altum View Systems Inc. Method and system for privacy-preserving fall detection
CN109887238B (zh) * 2019-03-12 2021-09-24 朱利 一种基于视觉和人工智能的跌倒检测系统及检测报警方法
CN109829451B (zh) * 2019-03-22 2021-08-24 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN110020628B (zh) * 2019-04-10 2021-01-05 刘家祺 基于面部检测的坐姿检测方法、系统、设备及存储介质
US11113943B2 (en) * 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
JP7067672B2 (ja) * 2019-05-29 2022-05-16 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
WO2021002293A1 (ja) * 2019-07-01 2021-01-07 積水ハウス株式会社 緊急対処方法、安否確認システム、管理装置、空間部、及び管理装置の制御方法
KR20210031269A (ko) * 2019-09-11 2021-03-19 삼성전자주식회사 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
JP2021065617A (ja) * 2019-10-28 2021-04-30 コニカミノルタ株式会社 画像処理装置および画像処理プログラム
JP7407562B2 (ja) * 2019-11-05 2024-01-04 グローリー株式会社 危険行動予防装置、危険行動予防システム、危険行動予防方法及び危険行動予防プログラム
US11694304B2 (en) 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
CN112166436B (zh) * 2019-12-24 2024-09-24 商汤国际私人有限公司 图像筛选方法及装置、电子设备
US11546035B2 (en) * 2020-01-07 2023-01-03 Wistron Neweb Corporation Event detection method and system thereof
JP7415603B2 (ja) * 2020-01-29 2024-01-17 積水ハウス株式会社 転落検知装置
US12050133B2 (en) * 2020-03-06 2024-07-30 Butlr Technologies, Inc. Pose detection using thermal data
KR102129771B1 (ko) * 2020-04-27 2020-07-03 (주)투비소프트 Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
US11587423B2 (en) * 2020-08-03 2023-02-21 Healthcare Integrated Technologies, Inc. Fall validation with privacy-aware monitoring
KR102540768B1 (ko) * 2020-09-25 2023-06-07 금오공과대학교 산학협력단 라이더 센서 기반 사생활 공간에서의 위급상황 감지 시스템
USD980096S1 (en) * 2020-10-15 2023-03-07 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Detection system using x-rays
WO2022108022A1 (ko) * 2020-11-23 2022-05-27 라온피플 주식회사 카메라 감시 시스템 및 방법
KR102476688B1 (ko) 2020-11-24 2022-12-09 재단법인 포항산업과학연구원 병실 관리 시스템 및 그 방법
KR102317290B1 (ko) * 2020-11-26 2021-10-26 웰트 주식회사 디지털 바이오 마커를 기반으로 한 진단 방법 및 이러한 방법을 수행하는 장치
KR102440530B1 (ko) * 2020-12-17 2022-09-06 (주)텔레필드 독거노인 응급 위험 상황 감지 시스템 및 이를 실행하는 방법
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
KR102277967B1 (ko) * 2021-02-02 2021-07-16 (주)무지개반사 인공지능 기반 영유아 모니터링 서비스 제공 시스템
CN113065455B (zh) * 2021-03-30 2021-09-17 中国水利水电科学研究院 一种基于深度学习的滑坡风险巡检方法及系统
KR102346142B1 (ko) * 2021-04-16 2022-01-03 주식회사 테스트웍스 선택적 데이터 수집 시스템 및 그 동작 방법
CN113392723A (zh) * 2021-05-25 2021-09-14 珠海市亿点科技有限公司 基于人工智能的无人机迫降区域筛选方法、装置及设备
KR102369164B1 (ko) * 2021-06-22 2022-03-02 주식회사 시큐웍스 기계 학습을 이용한 화재 및 보안 감시를 위한 장치 및 방법
KR102389285B1 (ko) * 2021-07-12 2022-04-22 주식회사 씨앤에이아이 기계학습을 기초로 낙상 사고를 감지하는 방법 및 그를 이용한 시스템
KR102608941B1 (ko) * 2021-11-12 2023-12-01 인빅 주식회사 인공지능을 이용한 환자의 이상 행동 탐지 시스템
KR102410286B1 (ko) * 2021-11-19 2022-06-22 주식회사 씨앤에이아이 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치
WO2023099143A1 (en) * 2021-11-30 2023-06-08 Sony Group Corporation Sensor device and method for operating a sensor device
ES1300686Y (es) * 2022-11-18 2023-09-08 Domotik Mind S L Dispositivo de seguridad
KR102620852B1 (ko) * 2023-06-26 2024-01-03 주식회사 스튜디오프리윌 인공지능 기반 폴리 사운드 제공 장치 및 방법
CN117041502B (zh) * 2023-10-10 2023-12-08 湖南睿图智能科技有限公司 一种基于机器视觉的危险场景分析监测系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1795125A2 (de) * 2005-11-29 2007-06-13 Robert Bosch Gmbh Notfallüberwachungsvorrichtung für ältere oder behinderte Personen
KR20080101402A (ko) * 2007-05-17 2008-11-21 성경 이벤트 발생에 따른 최적의 영상 확보를 위한 저장방법 및이를 이용한 dvr 시스템
CN101695983A (zh) * 2009-10-23 2010-04-21 浙江工业大学 基于全方位计算机视觉的自动扶梯节能与安全监控系统
CN103795903A (zh) * 2012-06-28 2014-05-14 联合技术公司 带有姿势控制的乘客服务单元
CN104680525A (zh) * 2015-02-12 2015-06-03 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
CN105705092A (zh) * 2013-06-03 2016-06-22 Mc10股份有限公司 运动传感器及分析
KR20160116075A (ko) * 2015-03-25 2016-10-07 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US20170124410A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Method and apparatus for detecting error in gesture recognition
CN106991790A (zh) * 2017-05-27 2017-07-28 重庆大学 基于多模特征分析的老人摔倒实时监测方法及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20050285941A1 (en) * 2004-06-28 2005-12-29 Haigh Karen Z Monitoring devices
US20080043144A1 (en) * 2006-08-21 2008-02-21 International Business Machines Corporation Multimodal identification and tracking of speakers in video
US8027513B2 (en) * 2007-03-23 2011-09-27 Technion Research And Development Foundation Ltd. Bitmap tracker for visual tracking under very general conditions
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US8970697B2 (en) 2010-07-06 2015-03-03 Panasonic Intellectual Property Corporation Of America Image distribution apparatus
CA3177719A1 (en) * 2011-04-04 2012-10-04 Alarm.Com Incorporated Fall detection and reporting technology
KR101765469B1 (ko) 2011-04-07 2017-08-23 연세대학교 산학협력단 영상 처리를 이용한 낙상 검출방법 및 이를 위한 영상 처리장치
KR102022970B1 (ko) 2013-04-30 2019-11-04 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
KR101454548B1 (ko) * 2013-06-26 2014-10-27 주식회사 에스원 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
US20160217326A1 (en) 2013-07-03 2016-07-28 Nec Corporation Fall detection device, fall detection method, fall detection camera and computer program
KR101365237B1 (ko) * 2013-09-12 2014-02-19 주식회사 엘앤비기술 적응적으로 다중 해상도를 지원하는 감시 카메라 시스템
KR20150120124A (ko) 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
KR20160037326A (ko) * 2014-09-26 2016-04-06 계명대학교 산학협력단 위험 상황을 알려주는 이동통신 단말기 및 그 동작 방법
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
JP6595287B2 (ja) 2015-03-27 2019-10-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 監視システム、監視方法、解析装置及び解析プログラム
JP6616602B2 (ja) 2015-07-06 2019-12-04 パラマウントベッド株式会社 対象者誘導装置、対象者誘導方法、プログラム及び対象者誘導システム
US9959732B2 (en) 2015-10-20 2018-05-01 Micron Electronics LLC Method and system for fall detection
KR101704471B1 (ko) 2015-12-08 2017-02-10 조선대학교산학협력단 낙상 검출 장치 및 그 방법
KR20180010042A (ko) * 2016-07-20 2018-01-30 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1795125A2 (de) * 2005-11-29 2007-06-13 Robert Bosch Gmbh Notfallüberwachungsvorrichtung für ältere oder behinderte Personen
KR20080101402A (ko) * 2007-05-17 2008-11-21 성경 이벤트 발생에 따른 최적의 영상 확보를 위한 저장방법 및이를 이용한 dvr 시스템
CN101695983A (zh) * 2009-10-23 2010-04-21 浙江工业大学 基于全方位计算机视觉的自动扶梯节能与安全监控系统
CN103795903A (zh) * 2012-06-28 2014-05-14 联合技术公司 带有姿势控制的乘客服务单元
CN105705092A (zh) * 2013-06-03 2016-06-22 Mc10股份有限公司 运动传感器及分析
CN104680525A (zh) * 2015-02-12 2015-06-03 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
KR20160116075A (ko) * 2015-03-25 2016-10-07 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US20170124410A1 (en) * 2015-10-30 2017-05-04 Samsung Electronics Co., Ltd. Method and apparatus for detecting error in gesture recognition
CN106991790A (zh) * 2017-05-27 2017-07-28 重庆大学 基于多模特征分析的老人摔倒实时监测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BELBACHIR ET AL: "Event-driven stereo vision for fall detection", 《COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771672B (zh) * 2020-04-27 2022-07-21 財團法人工業技術研究院 影像監控裝置與方法
CN111685724A (zh) * 2020-06-09 2020-09-22 广东小天才科技有限公司 眼动检测方法、装置、设备及存储介质
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
CN111899470A (zh) * 2020-08-26 2020-11-06 歌尔科技有限公司 人体跌倒检测方法、装置、设备及存储介质
TWI799821B (zh) * 2021-03-30 2023-04-21 許維綸 危險預測預防系統
CN113531807A (zh) * 2021-06-29 2021-10-22 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端
CN114333238A (zh) * 2021-12-30 2022-04-12 广东省第二人民医院(广东省卫生应急医院) 一种基于5g的紧急救援通信系统
CN114333238B (zh) * 2021-12-30 2024-06-25 广东省第二人民医院(广东省卫生应急医院) 一种基于5g的紧急救援通信系统

Also Published As

Publication number Publication date
KR20190099185A (ko) 2019-08-26
US11080891B2 (en) 2021-08-03
AU2018327869A1 (en) 2020-01-16
AU2018327869B2 (en) 2023-09-21
KR102013935B1 (ko) 2019-08-23
KR20180129587A (ko) 2018-12-05
US20180342081A1 (en) 2018-11-29
JP2020532806A (ja) 2020-11-12
KR102224453B1 (ko) 2021-03-08
EP3622495A4 (en) 2020-05-06
WO2019050136A1 (en) 2019-03-14
JP7102510B2 (ja) 2022-07-19
EP3622495A1 (en) 2020-03-18
CN111052194B (zh) 2022-09-27
EP3622495B1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
CN111052194B (zh) 用于检测危险情况的方法和系统
US11298049B2 (en) Method and device for detecting dangerous situation
US10835186B2 (en) Systems for automatic assessment of fall risk
US9817017B2 (en) Method and apparatus for monitoring individuals while protecting their privacy
US9974466B2 (en) Method and apparatus for detecting change in health status
CN107205659B (zh) 用于改善与监视睡眠的方法和装置
JP2022058471A (ja) プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
CN112784662A (zh) 基于视频的跌倒风险评价系统
US20170273634A1 (en) Meal estimation method, meal estimation apparatus, and recording medium
US20180235471A1 (en) Method of obtaining biometric information in electronic device and electronic device for the same
CN114391163A (zh) 手势检测系统和方法
CN111263926B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
JP6589994B2 (ja) 行動検知装置、行動検知方法及び行動検知プログラム
JP2018005512A (ja) プログラム、電子機器、情報処理装置及びシステム
US20220051145A1 (en) Machine learning based activity detection utilizing reconstructed 3d arm postures
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
US20220409110A1 (en) Inferring cognitive load based on gait
JP7453192B2 (ja) ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法
Jarraya Computer vision-based fall detection methods using the kinect camera: A survey
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
JP7215481B2 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
Vallabh Personalized fall detection monitoring system based on user movements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant