CN111563397A - 检测方法、装置、智能设备及计算机存储介质 - Google Patents

检测方法、装置、智能设备及计算机存储介质 Download PDF

Info

Publication number
CN111563397A
CN111563397A CN201910112508.3A CN201910112508A CN111563397A CN 111563397 A CN111563397 A CN 111563397A CN 201910112508 A CN201910112508 A CN 201910112508A CN 111563397 A CN111563397 A CN 111563397A
Authority
CN
China
Prior art keywords
detection
target object
key point
portrait
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910112508.3A
Other languages
English (en)
Other versions
CN111563397B (zh
Inventor
肖蒴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910112508.3A priority Critical patent/CN111563397B/zh
Publication of CN111563397A publication Critical patent/CN111563397A/zh
Application granted granted Critical
Publication of CN111563397B publication Critical patent/CN111563397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Psychology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种检测方法、装置、智能设备及计算机存储介质，其中，所述检测方法包括：对具有时序关系的多个待检测图像进行目标对象关键点检测，获取所述目标对象的关键点信息；对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息；根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；根据所述动作检测结果，确定所述目标对象的状态。通过本发明实施例，无需看护对象的主动配合即可实现对看护对象的有效安全看护。

Description

检测方法、装置、智能设备及计算机存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种检测方法、装置、智能设备及计算机存储介质。
背景技术
智能设备是传统电气设备与计算机技术、数据处理技术、控制技术、传感器技术、网络通信技术、电力电子技术等相结合的产物。随着人口老龄化、独居老人数目增长等社会问题的日益加深，市场对于用于实现安全看护功能的智能设备即智能看护设备的需求也越来越多。
在现有的智能看护设备中，一类设备如智能检测手环，包括内置的运动传感器、心率传感器和处理器等，其通过检测手部的运动情况来检测佩戴者的摔倒等异常情况，以实现对佩戴者如老人的安全看护。但在实际的检测过程中，由于手部的肢体干扰动作较多，并且手部运动轨迹多变，因此，使用智能检测手环来进行摔倒等异常情况的检测，会存在很大概率的误判。为解决上述智能检测手环检测过程中可能存在误判的问题，现有方案又提供了另一种智能看护设备即防摔倒检测服，包括主控制器、电源、超声波测距单元、加速度传感器、GPS实时定位及无线通信单元等设备，其通过检测穿着者身体多个部位而不仅是手部的运动信息，实现对穿着者的摔倒检测并发出报警。
但是，无论是智能检测手环还是防摔倒检测服，都需要随时随地佩戴或穿着，才能实现对看护对象的安全看护功能，也即，要求看护对象有一定的主动配合行为。然而，对于某些人群如独居老人来说，往往因为主动配合程度不够或者忘记佩戴或穿着，因而大大降低了上述智能看护设备的安全看护效果。
因此，如何无需看护对象的主动配合也能实现对看护对象的有效安全看护，成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种检测方案，以解决上述问题。
根据本发明实施例的第一方面，提供了一种检测方法，包括：对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息；对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息；根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；根据所述动作检测结果，确定所述目标对象的状态。
根据本发明实施例的第二方面，提供了另一种检测方法，包括：接收图像采集设备采集到的图像；对采集到的所述图像进行人像检测，获取人像检测结果；根据所述人像检测结果，判断检测到的所述图像中的人像是否为目标人像；若为所述目标人像，则通过如第一方面所述的检测方法对所述目标人像进行检测，获取检测结果；若所述检测结果指示所述图像中的人像发生异常，或者，所述图像中的人像不为所述目标人像，则进行异常处理。
根据本发明实施例的第三方面，提供了一种检测装置，包括：第一获取模块，用于对具有时序关系的多个待检测图像进行目标对象关键点检测，获取所述目标对象的关键点信息；第二获取模块，用于对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息；第三获取模块，用于根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；确定模块，用于根据所述动作检测结果，确定所述目标对象的状态。
根据本发明实施例的第四方面，提供了另一种检测装置，包括：第一接收模块，用于接收图像采集设备采集到的图像；第五获取模块，用于对采集到的所述图像进行人像检测，获取人像检测结果；判断模块，用于根据所述人像检测结果，判断检测到的所述图像中的人像是否为目标人像；第三执行模块，用于若所述判断模块的判断结果为所述图像中的人像为所述目标人像，则通过如第三方面所述的检测装置对所述目标人像进行检测，获取检测结果；第四执行模块，用于若所述检测结果指示所述图像中的人像发生异常，或者，所述图像中的人像不为所述目标人像，则进行异常处理。
根据本发明实施例的第五方面，提供了一种智能设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的检测方法对应的操作，或者，执行如第二方面所述的检测方法对应的操作。
根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的检测方法，或者，实现如第二方面所述的检测方法。
根据本发明实施例提供的检测方案，首先检测目标对象的关键点信息，进而对目标对象的关键点信息进行筛选，筛选出当前所需的那部分关键点信息(即筛选后关键点信息)，因多个待检测图像之间具有时序关系，因此，可以依据该时序关系和筛选出的关键点信息，对多个待检测图像中的目标对象进行动作检测，进而根据动作检测结果确定目标对象的状态。通过本发明实施例提供的方案，当目标对象为看护对象如独居老人对应的人像时，一方面，无需看护对象穿着或佩戴检测设备，也即，无需看护对象的主动配合即可实现对看护对象的有效安全看护；另一方面，对看护对象的关键点信息进行筛选后再进行后续处理，大大减轻了检测的数据量和数据处理负担，提高了检测效率。
需要说明的是，本发明实施例提供的检测方案并不仅限于上述安全看护场景下的检测，其同样可适用于任意适当的对检测对象进行动作检测的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例一的一种检测方法的步骤流程图；
图2为根据本发明实施例二的一种检测方法的步骤流程图；
图3为图2所示实施例中的一种对目标对象进行姿态检测的步骤流程图；
图4为根据本发明实施例三的一种检测方法的步骤流程图；
图5为根据本发明实施例四的一种检测方法的步骤流程图；
图6为根据本发明实施例五的一种检测装置的结构框图；
图7为根据本发明实施例六的一种检测装置的结构框图；
图8为根据本发明实施例七的一种检测装置的结构框图；
图9为根据本发明实施例八的一种检测装置的结构框图；
图10为根据本发明实施例九的一种智能设备的结构示意图；
图11为根据本发明实施例十的一种智能设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
参照图1，示出了根据本发明实施例一的一种检测方法的步骤流程图。
本实施例的检测方法主要通过对目标对象的动作检测确定目标对象的状态。本实施例的检测方法包括以下步骤：
步骤S102：对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息。
本实施例中，具有时序关系的多个待检测图像意指具有一定时间先后顺序的多个待检测图像，该多个待检测图像可以是连续的多个图像，也可以是具有一定时间间隔或帧数间隔的多个图像。
本实施例中的目标对象可以是任意适当的对象，包括但不限于看护对象如独居老人对应的人像等。目标对象的关键点能够反映目标对象的本质特征，以对其进行标识或识别。不同的目标对象对应有不同的关键点，一般来说，一个完整人像的关键点包括有面部关键点、躯干部关键点和四肢关键点等。其中，四肢关键点中包括有四肢关节的关键点，即四肢关节点。本步骤中，若目标对象为完整的人像，则会获取其上述各部分的完整关键点信息。
需要说明的是，本步骤中，进行目标对象关键点检测以获取目标对象的关键点信息的具体实现方式可以由本领域技术人员根据实际需求采用适当方式实现，如，通过基于深度学习的关键点检测模型进行检测实现等，本发明实施例对此不作限制。
此外，还需要说明的是，本文中若无特殊说明，“多个”、“多帧”等与“多”有关的数量意指两个及两个以上。
步骤S104：对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。
当检测目的或检测任务不同时，所需的目标对象的关键点信息也可能不同，例如，若进行人脸识别检测，可以仅检测人像的面部关键点；而若要进行本实施例的动作检测，则可以检测人像的四肢关键点，等等。因此，可以根据实际需要对目标对象的关键点信息进行筛选，获得筛选后的关键点信息，也即所述目标对象的筛选后关键点信息。通过对目标对象的关键点信息进行筛选，使得检测更有针对性，也可以减轻检测数据量和数据处理负担，提高检测效率。
步骤S106：根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果。
因多个待检测图像之间具有相应的时序关系，因此，可以根据目标对象的筛选后关键点信息对多个待检测图像中的目标对象进行动作检测，根据筛选后关键点信息随时序的变化情况，获得动作检测结果。可选地，可以通过经过训练的卷积神经网络实现本步骤的操作。
步骤S108：根据动作检测结果，确定目标对象的状态。
例如，确定目标对象是处于正常状态(如正常行走或正常躺卧)还是异常状态(如发生了摔倒)。其中，目标对象是否为异常状态的确定标准可以由本领域技术人员根据实际需求适当设置。例如，若动作检测结果指示目标对象发生了摔倒，则可确定目标对象发生异常，处于异常状态，等等。
通过本实施例，首先检测目标对象的关键点信息，进而对目标对象的关键点信息进行筛选，筛选出当前所需的那部分关键点信息(即筛选后关键点信息)，因多个待检测图像之间具有时序关系，因此，可以依据该时序关系和筛选出的关键点信息，对多个待检测图像中的目标对象进行动作检测，进而根据动作检测结果确定目标对象的状态。通过本实施例的方案，当目标对象为看护对象如独居老人对应的人像时，一方面，无需看护对象穿着或佩戴检测设备，也即，无需看护对象的主动配合即可实现对看护对象的有效安全看护；另一方面，对看护对象的关键点信息进行筛选后再进行后续处理，大大减轻了检测的数据量和数据处理负担，提高了检测效率。
需要说明的是，本实施例提供的检测方案并不仅限于上述安全看护场景下的检测，其同样可适用于任意适当的对检测对象进行动作检测的场景。
本实施例的检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于智能设备如设置有摄像头的智能音箱、带麦克风的智能监控摄像头，等等。
实施例二
参照图2，示出了根据本发明实施例二的一种检测方法的步骤流程图。
本实施例的检测方法仍主要通过对目标对象的动作检测确定目标对象的状态。本实施例的检测方法包括以下步骤：
步骤S202：对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息。
本实施例中，图像采集设备如摄像头可以进行一定速度的360度旋转，以在一定时间周期内采集到360度的图像。若确定图像采集设备采集到的图像中出现目标对象，则可以对该目标对象进行持续跟踪，获得包含目标对象且具有时序关系的一系列图像。本步骤中的多个待检测图像可以是该一系列图像中的部分或全部图像。
以目标对象为看护对象对应的人像为例，在一种可行方式中，对于所述多个待检测图像中的每帧或隔帧图像(其中，间隔帧数n可由本领域技术人员根据图像采集设备的采集帧率和待检测动作的速度进行设置，例如n＝2，3…，等)，可以通过基于深度学习的关键点检测模型检测得到多个待检测图像中人像的关键点，包括但不限于：双眼眼球、鼻尖、双耳耳洞处、嘴巴中心点、脖子中心点、双肩、胳膊肘、手腕、胸腹部中心点、髋关节、膝盖、脚腕、脚趾中心点，等等。
步骤S204：获取用于指示检测灵敏度的信息。
检测灵敏度用于表征检测结果的准确度，在实际应用中，指示检测灵敏度的信息可以采用任意适当的形式实现，如，百分比形式(如，60％、70％、80％、90％等，百分比越高检测结果的准确度越高)，或者，等级标记形式(如，共划分为五级，依次从LEVEL1-LEVEL5，等级越高检测结果的准确度越高)，或者，分值的形式(如，从1-5，分值越高检测结果的准确度越高)，等等，本发明实施例对此不作限制。
步骤S206：判断指示检测灵敏度的信息所指示的检测灵敏度是否满足设定标准；若满足，则执行步骤S208；若不满足，则执行步骤S216。
其中，所述设定标准可以由本领域技术人员根据实际需求适当设定，如，设定为检测灵敏度大于等于80％，或者，检测等级大于等于LEVLE4，或者，检测分值大于等于4，等等。
步骤S208：根据检测任务的信息对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。
本实施例中，采用根据检测任务的信息对目标对象的关键点信息进行筛选的方式，可使本实施例的检测方案适用于可进行多种不同检测任务的场景，根据检测任务的信息进行灵活的检测任务切换，提高了本实施例的检测方案的适用性和灵活性。
其中，检测任务的信息用于指示检测任务，包括但不限于检测任务的标识，以及，检测任务的属性信息如检测任务的序号、名称、MD5值，等等。不同检测任务对应的目标对象的关键点信息可能不同，例如，若进行人脸识别检测，可以仅检测人像的面部关键点；而若要进行本实施例的动作检测，则可以检测人像的四肢关键点，等等。因此，可以根据检测任务的信息对目标对象的关键点信息进行筛选，以获得目标对象的筛选后关键点信息。通过对目标对象的关键点信息进行筛选，使得检测更有针对性，也可以减轻检测数据量和数据处理负担，提高检测效率。
在一种可行方式中，智能设备中可以预设有相应的检测任务的信息与对象关键点的对应关系，则本步骤可以包括：获取预设的检测任务的信息与对象关键点的对应关系；根据检测任务的信息和所述对应关系，对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。通过预设对应关系的方式，可以快速确定与检测任务对应的对象关键点，进而确定目标对象的筛选后关键点信息，提高检测效率，且降低检测成本。
仍以目标对象为看护对象对应的人像为例，通过步骤S202获得了双眼眼球、鼻尖、双耳耳洞处、嘴巴中心点、脖子中心点、双肩、胳膊肘、手腕、胸腹部中心点、髋关节、膝盖、脚腕、脚趾中心点，等等关键点的信息。本步骤中，需要根据检测任务对这些关键点信息进行筛选，以简化算法或相关网络模型的复杂程度和训练难度。例如，若检测任务为摔倒检测，则可以保留四肢关键点的信息，而删减其它部位如面部和躯干部的关键点信息。进一步地，还可以根据人体摔倒的速度范围来确定后续进行动作检测时选取的视频帧的帧间隔数。若摔倒速度快，则可以无帧间隔或帧间隔数较小；若摔倒速度慢，则帧间隔数可以设置的稍大。一般地，帧间隔数可以设置为3，即每隔3帧选取1帧进行检测。
但不限于上述预设对应关系的方式，在实际应用中，本领域技术人员还可以采用其它方式获取与检测任务对应的对象关键点，如，通过对检测任务进行任务分析确定对应的对象关键点，或者，通过大数据统计确定对应的对象关键点，等。此外，若本实施例的检测方案用于执行单检测任务(如仅进行动作检测)，则可以直接进行所需的关键点信息的筛选，而无需获取检测任务的信息。
步骤S210：根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果。
因针对每个检测任务的对象关键点包括多个，因此，针对每个待检测图像都会得到一组对象关键点信息，又因多个待检测图像具有时序关系，基于此，本步骤可以实现为：根据多个待检测图像的时序关系，对多个待检测图像中与所述筛选后关键点信息对应的关键点进行检测，获得具有所述时序关系的多组筛选后关键点信息；根据所述多组筛选后关键点信息之间的所述时序关系，对目标对象进行动作检测，获取动作检测结果。其中，所述动作检测至少包括摔倒检测。
通过多组筛选后关键点之间的时序关系，可以获得筛选后关键点的运动轨迹，据此，可实现对目标对象的动作检测，并获得相应的动作检测结果，通过该种方式，可以准确确定目标对象的动作，提高动作检测的准确度。
仍以目标对象为看护对象对应的人像为例，通过步骤S208获得了四肢关键点的信息，例如：双肩、胳膊肘、手腕、髋关节、膝盖、脚腕、脚趾中心点等关键点的信息。可选地，四肢关键点的信息可以仅包括四肢关节点信息，如，胳膊肘、手腕、膝盖、脚腕的关节点信息，以进一步减少检测数据量，提升检测速度和效率。然后，可以将上述四肢关键点的信息输入到用于进行动作分类的卷积神经网络模型中，获得具有时序关系的多组四肢关键点的信息，并将其分类得到相应的动作检测结果，包括但不限于：摔倒、跑步、慢走、爬行、跳起、静止等等。为与后文中的卷积神经网络模型进行区分，本步骤中使用的卷积神经网络模型被称为第一卷积神经网络模型。
步骤S212：根据动作检测结果，确定目标对象的状态。
其中，所述目标对象的状态可以包括正常状态和异常状态，根据动作检测结果确定目标对象是否为异常状态的具体标准可以由本领域技术人员根据实际情况适当设置，例如，若动作检测结果指示目标对象出现了摔倒动作，则确定目标对象发生了异常，处于异常状态。当然，在实际应用中，目标对象的状态也可以根据检测到的具体动作进行设置，如，正常/异常行走状态、正常/异常坐卧状态、正常/异常躺卧状态、摔倒状态、静止状态，等等。
步骤S214：若根据目标对象的状态确定目标对象发生异常，则进行异常处理。结束本次流程。
其中，异常处理的具体实现手段也可以由本领域技术人员根据实际需求的不同而适当设置，例如，在安全看护场景中，若动作检测结果指示目标对象出现了摔倒动作，则表明现实中的看护对象如独居老人发生了摔倒，需要进行相应的异常处理，包括但不限于：报警，向看护对象的联系人发送消息或拨打电话，等等。
而若目标对象未发生异常，则可以获得新的待检测图像并返回步骤S210继续进行动作检测。
步骤S216：若检测灵敏度的信息所指示的检测灵敏度不满足设定标准，则根据目标对象的关键点信息，对目标对象进行姿态检测，获得姿态检测结果。
在对目标对象进行姿态检测时，可以仅对图像采集设备采集的当前图像进行检测，当然，也可以对具有时序关系的几个连续图像进行检测，但总体来说，进行姿态检测所需的图像的数量大大少于进行动作检测所需的图像的数量，因此，检测速度更快。基于此，在检测灵敏度要求不高的情况下，也即检测灵敏度不满足设定标准的情况下，可以针对步骤S202中所述的多个待检测图像中的部分或全部图像进行目标对象的姿态检测。可选地，可以根据所述时序关系，对多个待检测图像中的最后一张图像进行姿态检测。在实时采集图像的情况下，即对采集的当前图像进行姿态检测。其中，所述姿态检测至少包括异常躺卧检测。因异常躺卧可能由摔倒引起，也可能由其它原因引起，因此，若需准确确定异常躺卧原因则需要通过前述动作检测方式进行检测确定。但在某些检测准确度要求稍低的情况下，则可以通过姿态检测确定发生异常躺卧时即可进行后续处理。
此外，在进行姿态检测时，需要依据步骤S202中获取的目标对象的关键点信息进行检测。
仍以目标对象为看护对象对应的人像为例，通过步骤S202获取了看护对象的双眼眼球、鼻尖、双耳耳洞处、嘴巴中心点、脖子中心点、双肩、胳膊肘、手腕、胸腹部中心点、髋关节、膝盖、脚腕、脚趾中心点，等等多个关键点信息。基于此，以这些关键点的坐标位置为输入，通过用于静态姿态分类的卷积神经网络模型，分类得到静态姿势，包括但不限于：站立、躺卧、俯卧、坐、蹲等等。本步骤中使用的卷积神经网络模型被称为第二卷积神经网络模型，以与前述第一卷积神经网络模型进行区分。
通过上述采用第一卷积神经网络模型根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果，以及，使用第二卷积神经网络模型对多个待检测图像中的目标对象进行姿态检测，获得姿态检测结果的方式，使得不同的卷积神经网络模型分别实现动作检测和姿态检测，可以降低网络模型的尺寸和训练复杂度，并且具有更高的检测性能。
其中，一种使用第二卷积神经网络模型对单个图像进行姿态检测的检测流程如图3所示，该过程包括：
(1)取待检测图像的y通道，并将图像resize到w0*h0的尺寸，w0、h0建议值为300～720像素之间。
(2)使用5*5*32的卷积核进行步长为1的卷积和偏置操作，得到尺寸为w1*h1的32个特征图，其中w1＝w0-4，h1＝h0-4。
(3)对(2)中得到的32个特征图，都分别进行Pooling降采样操作，得到32个w2*h2尺寸的特征图，其中w2＝w1/2，h2＝h1/2。
(4)对(3)中得到的特征图，使用3*3*64的卷积核进行步长为1的卷积和偏置操作，得到尺寸为w3*h3的64个特征图，其中w3＝w2-2，h3＝h2-2。
(5)对(4)中得到的64个特征图，都分别进行Pooling降采样操作，得到64个w4*h4尺寸的特征图，其中w4＝w3/3，h4＝h3/3。
(6)对(5)中得到的特征图，使用3*3*128的卷积核进行步长为1的卷积和偏置操作，得到尺寸为w5*h5的128个特征图，其中w5＝w4-2，h5＝h4-2。
(7)对(6)中得到的128个特征图，都分别进行Pooling降采样操作，得到128个w6*h6尺寸的特征图，其中w6＝w5/2，h6＝h5/2。
(8)对(7)中得到的特征图，使用3*3*256的卷积核进行步长为1的卷积和偏置操作，得到尺寸为w7*h7的256个特征图，其中w7＝w6-2，h7＝h6-2。
(9)对(8)中得到的特征图，使用3*3*256的卷积核进行步长为2的卷积和偏置操作，得到尺寸为w8*h8的256个特征图，其中w8＝w7/2，h8＝h7/2。
这一步得到的256个特征图记为FeatureMaps[counter]，同时设置计数器counter＝0。
(10)对该FeatureMaps[counter]，通过3*3*(6*(ClassesNum+4))的卷积核来进行步长为1的卷积操作，并将结果图序列记为TargetMaps[counter]。
其中，ClassesNum表示分类的数量。
(11)对FeatureMaps[counter]，将其宽高记为FeatureMaps[counter].width和FeatureMaps[counter].height。
使用3*3*256的卷积核进行步长为2的卷积和偏置操作，得到新的一组256个特征图，记为FeatureMaps[counter+1]。
FeatureMaps[counter+1].width＝FeatureMaps[counter].width/2，
FeatureMaps[counter+1].height＝FeatureMaps[counter].height/2。
(12)判断FeatureMaps[counter+1].width或FeatureMaps[counter+1].height是否已为1(表示当前已是全图视野范围)，若都不是1，则counter++，且回到上述第(10)步继续迭代；若已为1，则进入第(13)步。
(13)记iMaxCounter＝counter+1，且令TargetMaps[iMaxCounter]＝FeatureMaps[iMaxCounter]。
其中，iMaxCounter表示计数次数，TargetMaps表示需要获得的特征图。
(14)根据TargetMaps[m](其中，0<＝m<＝iMaxCounter)，用非极大值抑制(NMS)方法得到最可能是目标对象的矩形框位置及其对应的分类信息Rect[p](result_x0,result_y0,result_w,result_h，gesture_type)。这样的矩形框不超过MAX_HAND_NUM个,0<＝p<MAX_HAND_NUM。
在得到目标对象的矩形框位置及其对应的分类信息后，通过所述分类信息即可确定目标对象的姿态。
(15)设置状态量bIfSuccess为true，表示此分类过程有效且正常结束。
需要说明的是，以上第二卷积神经网络模型的处理仅为示例性说明，本领域技术人员应当明了，在实际应用中，根据卷积神经网络模型的结构和参数的不同，上述过程也不相同。
步骤S218：根据所述姿态检测结果，确定所述目标对象的状态。
其中，根据姿态检测结果确定目标对象是处于正常状态还是异常状态的具体标准可以由本领域技术人员根据实际情况适当设置，例如，若姿态检测结果指示目标对象出现了异常躺卧，则确定目标对象发生异常，处于异常状态。
步骤S220：若根据目标对象的状态确定目标对象发生异常，则进行异常处理。结束本次流程。
其中，异常处理的具体实现手段也可以由本领域技术人员根据实际需求的不同而适当设置，包括但不限于：报警，向看护对象的联系人发送消息或拨打电话，等等。
而若目标对象未发生异常，则可以获得新的待检测图像并返回步骤S216继续对目标对象进行姿态检测。
需要说明的是，步骤S204、S206、S216-S220均为可选步骤，也即，在实际应用中，可以均采用检测准确度较高的动作检测来实现异常检测。也即，可以通过直接执行步骤S202、S208-S214来实现异常检测。
由上可见，本实施例提供的检测方案可适用于多种应用场景，包括但不限于对智能看护场景中的看护对象(如独居老人)进行看护检测的场景。
通过本实施例，首先检测目标对象的关键点信息，进而根据检测任务的信息对目标对象的关键点信息进行筛选，筛选出其中与检测任务相关的那部分关键点信息(即筛选后关键点信息)，因多个待检测图像之间具有时序关系，因此，可以依据该时序关系和筛选出的关键点信息，对多个待检测图像中的目标对象进行动作检测，进而根据动作检测结果确定目标对象的状态。通过本实施例的方案，当目标对象为看护对象如独居老人对应的人像时，一方面，无需看护对象穿着或佩戴检测设备，也即，无需看护对象的主动配合即可实现对看护对象的有效安全看护；另一方面，根据检测任务对看护对象的关键点信息进行筛选后再进行后续处理，大大减轻了检测的数据量和数据处理负担，提高了检测效率。
并且，本实施例中，当使用第一卷积神经网络模型进行动作检测和使用第二卷积神经网络模型进行姿态检测时，并没有针对摔倒这一特定动作或躺卧这一特定姿势来独立地设计网络模型，而是采用网络模型组合的方式，即：先抽象出静态姿势检测和动态动作检测都会涉及到的关键点信息作为用于检测关键点的基础通用网络模型的训练目标，在此基础上针对不同检测类型进行关键点的筛选和整理；再以基础通用网络模型输出的关键点信息为输入，或者，以筛选后的关键点信息为输入，使用结构简单的卷积神经网络模型来分别确定不同静态姿势或动态动作。这种方式使得相关的卷积神经网络模型可以得到更多的复用，可降低训练成本和总体网络模型尺寸，在多个检测功能同时生效的情况下降低计算量以产生更快的性能，且使得整个检测方案具有更好的灵活性和扩展性。
需要说明的是，本实施例提供的检测方案并不仅限于上述看护场景下的检测，其同样可适用于任意适当的根据不同检测任务对检测对象进行动作检测的场景。
本实施例的检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于智能设备如设置有摄像头的智能音箱、带麦克风的智能监控摄像头，等等。
实施例三
参照图4，示出了根据本发明实施例三的一种检测方法的步骤流程图。
本实施例的检测方法用于实现对目标对象的较为全面的检测，以确定目标对象的状态。本实施例的检测方法包括以下步骤：
步骤S302：接收图像采集设备采集到的图像。
本实施例中的图像采集设备可以按照设定周期采集全景图像，其中，所述设定周期可以由本领域技术人员根据实际需求适当设置。
例如，本实施例中的图像采集设备可以通过轮询的方式采集图像，也即，智能设备可以在没有检测到异常情况时，控制图像采集设备如摄像头依然进行一定速度的360度旋转，以在一定时间周期内采集到360度的图像(即全景图像)，以扩展有效检测范围。
步骤S304：对采集到的图像进行人像检测，获得人像检测结果。
对图像进行人像检测的具体实现方式可以由本领域技术人员根据实际情况采用任意适当的方式实现，如，使用Multi-Patch结合Multi-Task联合优化的深度卷积神经网络(DCNN)模型进行人像检测等等，本发明实施例对此不作限制。
步骤S306：根据人像检测结果，判断检测到的图像中的人像是否为目标人像；若为目标人像，则执行步骤S308；若不为目标人像，则执行步骤S312。
判断图像中的人像是否为目标人像的具体实现可以由本领域技术人员采用任意适当方式实现，如，特征点匹配、相似度计算等方式。
若图像中的人像为目标人像，则可以继续对该目标人像进行后续的检测处理；而若图像中的人像不为目标人像，则表明现场有陌生人出现，需要跳转至步骤S312以进行异常处理。
步骤S308：若图像中的人像为目标人像，则对目标人像进行检测，获得检测结果。
其中，可以通过如实施例一或实施例二中所述的检测方法对目标人像进行检测，进而获得检测结果，具体可参见前述实施例一或实施例二中相关部分的描述，在此不再赘述。
步骤S310：判断检测结果指示的图像中的人像是否发生异常；若确定发生异常，则执行步骤S312；若确定未发生异常，则返回步骤S308继续执行。
在一种可行方式中，若检测结果指示目标人像出现摔倒动作，或者，若检测结果指示目标人像的躺卧时长超过设定阈值，则可确定图像中的人像发生异常。其中，所述设定阈值可以由本领域技术人员根据实际情况适当设置，本发明实施例对此不作限制。可选地，该设定阈值可以是时间阈值，也可以是视频帧数量阈值。例如，设定阈值可以为30分钟，或者，可以是该30分钟对应的视频帧数量，假设视频帧的采集帧率为10帧/秒，则该设定阈值可以为：30*60*10＝18000(帧)。
步骤S312：进行异常处理。结束本次流程。
如，报警，向相关联系人发送消息或拨打电话，等等。
需要说明的是，为提升检测效率，减少图像数据处理量，在一种可行方式中，图像采集设备还可以采集音频，因此，在步骤S302之前，还可以接收图像采集设备采集到的音频；对采集到的音频进行声音检测，获得声音检测结果；若声音检测结果指示存在异常声音，则指示图像采集设备采集声源位置的图像，然后转步骤S302开始执行。
可见，本实施例中的图像采集设备既可采集图像也可采集音频，可选地，图像采集设备按照设定周期采集全景图像和音频，以提升检测效果。
在安全看护场景下，看护对象可能很多时候处于活动状态，并发出相应的声音，通过先进行声音检测再进行图像检测的方式，可以有效提升检测效率，并减少数据处理数量。而若看护对象处于相对静止状态，且检测到声音，则很有可能是出现了某些异常，此时，采集声源位置的图像并进行检测，可以及时发现异常情况，同样也提高了检测效率。
通过本实施例，除可实现对目标对象进行摔倒检测，异常躺卧检测等异常检测外，还可以通过对采集到的图像进行人像检测，以确定现实环境中是否存在陌生人，进而进行相应的处理。由此，实现了更为全面的异常检测，将其应用于安全看护场景中时，可以大大提升安全看护效果。
本实施例的检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于智能设备如设置有摄像头的智能音箱、带麦克风的智能监控摄像头，等等。
实施例四
参照图5，示出了根据本发明实施例四的一种检测方法的步骤流程图。
本实施例以一个具体实例的形式，对实施例三所述的检测方法进行进一步说明。本实施例中，以对人进行安全看护为应用场景，该场景中，图像采集设备采用摄像头，该摄像头中还设置有声音采集设备如麦克风，进行的检测包括：陌生人检测、对目标人像的异常躺卧检测和摔倒检测。
基于上述设定，本实施例的检测方法包括以下步骤：
步骤S402：控制摄像头按一定频率和规律转动朝向，即进行正常轮询。
本实施例中，摄像头的轮询表示摄像头在智能设备没有检测到异常情况时，依然进行一定速度的360度旋转，以在一定时间周期内采集到360度的视频帧图像，以扩展看护有效范围。
步骤S404：控制麦克风实时采集音频信息，判断是否有异常声音和/或人声；如果有，则进入步骤S406；否则，进入步骤S408。
其中，判断是否有异动声音和/或人声的具体实现可以由本领域技术人员根据实际需求采用任意适当的方式实现，如使用适当的语音算法实现，本发明实施例对此不作限制。
步骤S406：控制摄像头拍摄角度转向声源方向。
本步骤中，可以先采用适当的声源定位方法来确定声源方向，如，麦克风阵列方法，包括但不限于：基于波束形成的方法、基于高分辨率谱估计的方法、基于声达时延差(TDOA)的方法，等等。
在确定了声源方向后，即可控制摄像头转向声源方向以对声源方向的场景进行拍摄。
步骤S408：检测实时采集的视频帧中是否有人出现；如果有，则进入步骤S410；否则，返回步骤S402继续轮询。
本步骤中，可以由本领域技术人员根据实际需求采用任意适当的人形检测算法来检测视频帧中是否有人出现，例如，基于HOG(Histogram of Oriented Gradient,方向梯度直方图)的人体检测算法。
智能设备中可以预设有与看护对象相关的人员如家庭成员的人像信息，以供后续进行检测比对，确定视频帧中出现的人是否为陌生人。
步骤S410：判断检测到的人是否躺卧且静止不动；如果是，则进入步骤S428；否则,进入步骤S412。
例如，可以采用实施例二中步骤S216-S218所述的姿态检测方式对检测到的人进行检测并判断检测到的人是否躺卧且静止不动。
步骤S412：对检测到的人进行躺卧不动的计时清零。
若步骤S410的判断结果为检测到的人并非躺卧且静止不动，则针对该检测到的人的躺卧不动的计时清零。其中，该计时可以用视频帧数表示，例如，用整数nLiedownFrameCount表示，设置nLiedownFrameCount＝0。
步骤414：判断实时采集的视频帧中人的位置是否在移动；如果是，则进入步骤S416；否则，进入步骤S418。
判断实时采集的视频帧中的人的位置是否在移动的具体实现也可以由本领域技术人员根据实际需求采用任意适当的位置检测或运动检测等方式实现，本发明实施例对此亦不作限制。
步骤S416：控制摄像头拍摄角度跟随人移动。
步骤S418：判断是否检测到陌生人；如果检测到，则进入步骤S420；否则，进入步骤S422。
例如，可以采用适当的人脸识别算法来判断是否检测到陌生人，包括但不限于使用Multi-Patch结合Multi-Task联合优化的深度卷积神经网络(DCNN)模型。
步骤S420：发起陌生人报警。然后，转步骤S434执行。
例如，若检测到出现非家庭成员，则可以进行报警。具体报警方式可由使用本实施例的检测方法的智能设备的用户自行设置，如，可通过与该智能设备关联的手机App向看护对象的亲属手机发送Push消息，也可直接向亲属发送短信息或打电话。
通过摄像头方向的正常轮询结合人声和/或异常声音以及人形的检测和跟踪，使得摄像头可以主动动态地寻找存在安全隐患的拍摄方向，相比于传统的不可主动跟踪的摄像头，这种驱动摄像头主动追踪的方式使得智能设备更灵活，当发生意外情况时会有更高的监控命中率，提升看护对象的安全性。
步骤S422：每隔n帧取一次视频帧图像，对连续取得的视频帧序列进行摔倒检测。
例如，通过实施例一或二中所述的动作检测方式对连续取得的视频帧序列进行摔倒检测。其中，n的取值可以根据常规摔倒速度或看护对象的摔倒速度，结合视频帧图像的处理速率，由本领域技术人员适当设定，如，设定为2或3等。
步骤S424：判断是否检测到摔倒；如果检测到，则进入步骤S426；否则，进入步骤S434。
例如，可通过实施例一或二中所述的动作检测方式来判断是否检测到摔倒。
步骤S426：发起摔倒报警。然后，转步骤S434执行。
例如，通过与智能设备关联的手机App向看护对象的亲属手机发送Push消息，也可直接向亲属发送短信息或打电话。
步骤S428：人躺卧不动的计时nLiedownFrameCount累加，即nLiedownFrameCount+1。
步骤S430：判断躺卧不动的时长nLiedownFrameCount是否超过报警阈值；如果超过报警阈值，则进入步骤S432；否则，进入步骤S434。
其中，所述报警阈值可以由本领域技术人员根据实际需要适当设置，具体到本实施例，该报警阈值可以采用视频帧数量的形式表达。例如，假设视频帧的处理速率为10帧/S，设定若躺卧超过30分钟则为异常，则该报警阈值＝异常时长*视频帧的处理帧率＝30*60*10＝18000(帧)。也即，当nLiedownFrameCount>18000时，即进行报警。
步骤S432：发起异常躺卧报警。
例如，通过与智能设备关联的手机App向看护对象的亲属手机发送Push消息，也可直接向亲属发送短信息或打电话。
步骤S434：判断安全看护是否被终止；如果是，则终止整个流程；否则，返回步骤S408。
可见，通过本实施例，结合摄像头的轮询和多种检测方案，可以及时主动地定位到目标对象，而动作检测和姿态检测的结合能获取更多信息，以更准确地判断发生在目标对象身上的异常情况，降低误判率。
同时，本实施例的方案不依赖佩戴式传感器或穿着式传感器，去除了需要看护对象主动配合佩戴或穿着等方面的限制，避免了因看护对象未能随时佩戴或穿着而带来的漏检等，更具现实操作性，在日常实际使用场景中更具可靠性。
另外，本实施例的方案将多种检测有效地结合在一起，提供了一种针对看护对象如独居老人群体而设计的包含长时间异常躺卧、摔倒检测、非家庭成员出现等功能的一站式家庭看护解决方案。
本实施例的检测方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于智能设备如设置有摄像头的智能音箱、带麦克风的智能监控摄像头，等等。
实施例五
参照图6，示出了根据本发明实施例五的一种检测装置的结构框图。
本实施例的检测装置包括：第一获取模块502，用于对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息；第二获取模块504，用于对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息；第三获取模块506，用于根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果；确定模块508，用于根据动作检测结果，确定目标对象的状态。
本实施例的检测装置用于实现前述方法实施例一或二中相应的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的检测装置中的各个模块的功能实现均可参照前述方法实施例一或二中的相应部分的描述，在此亦不再赘述。
实施例六
参照图7，示出了根据本发明实施例六的一种检测装置的结构框图。
本实施例的检测装置包括：第一获取模块602，用于对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息；第二获取模块604，用于对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息；第三获取模块606，用于根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果；确定模块608，用于根据动作检测结果，确定目标对象的状态。
可选地，第二获取模块604，用于根据检测任务的信息对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。
可选地，第二获取模块604，用于获取预设的检测任务的信息与对象关键点的对应关系；根据检测任务的信息和所述对应关系，对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。
可选地，第三获取模块606，用于根据所述时序关系，对多个待检测图像中与筛选后关键点信息对应的关键点进行检测，获取具有所述时序关系的多组筛选后关键点信息；根据多组筛选后关键点信息之间的所述时序关系，对目标对象进行动作检测，获取动作检测结果。
可选地，本实施例的检测装置还包括：第四获取模块610，用于在第一获取模块602获取目标对象的关键点信息之后，获取用于指示检测灵敏度的信息；第一执行模块612，用于若检测灵敏度的信息所指示的检测灵敏度满足设定标准，则转第二获取模块604执行。
可选地，本实施例的检测装置还包括：第二执行模块614，用于若检测灵敏度的信息所指示的检测灵敏度不满足所述设定标准，则根据目标对象的关键点信息，对目标对象进行姿态检测，获取姿态检测结果；根据姿态检测结果，确定目标对象的状态。
可选地，第三获取模块606，用于使用第一卷积神经网络模型根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果；第二执行模块614，用于使用第二卷积神经网络模型对多个待检测图像中的目标对象进行姿态检测，获取姿态检测结果。
可选地，所述目标对象为人像，所述目标对象的筛选后关键点信息为所述人像的四肢关节点信息，所述动作检测包括摔倒检测，所述姿态检测包括异常躺卧检测。
可选地，本实施例的检测装置用于对智能看护场景中的看护对象进行看护检测。
本实施例的检测装置用于实现前述方法实施例一或二中相应的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的检测装置中的各个模块的功能实现均可参照前述方法实施例一或二中的相应部分的描述，在此亦不再赘述。
实施例七
参照图8，示出了根据本发明实施例七的一种检测装置的结构框图。
本实施例的检测装置包括：第一接收模块702，用于接收图像采集设备采集到的图像；第五获取模块704，用于对采集到的图像进行人像检测，获取人像检测结果；判断模块706，用于根据人像检测结果，判断检测到的图像中的人像是否为目标人像；第三执行模块708，用于若判断模块706的判断结果为图像中的人像为目标人像，则通过实施例五或六中所述的检测装置对目标人像进行检测，获取检测结果；第四执行模块710，用于若检测结果指示图像中的人像发生异常，或者，图像中的人像不为目标人像，则进行异常处理。
本实施例的检测装置用于实现前述方法实施例三或四中相应的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的检测装置中的各个模块的功能实现均可参照前述方法实施例三或四中的相应部分的描述，在此亦不再赘述。
实施例八
参照图9，示出了根据本发明实施例八的一种检测装置的结构框图。
本实施例的检测装置包括：第一接收模块802，用于接收图像采集设备采集到的图像；第五获取模块804，用于对采集到的图像进行人像检测，获取人像检测结果；判断模块806，用于根据人像检测结果，判断检测到的图像中的人像是否为目标人像；第三执行模块808，用于若判断模块806的判断结果为图像中的人像为目标人像，则通过如实施例五或六中所述的检测装置对目标人像进行检测，获取检测结果；第四执行模块810，用于若检测结果指示图像中的人像发生异常，或者，图像中的人像不为目标人像，则进行异常处理。
可选地，本实施例的检测装置还包括：第二接收模块812，用于在第一接收模块802接收图像采集设备采集到的图像之前，接收图像采集设备采集到的音频；声音检测模块814，用于对采集到的音频进行声音检测，获取声音检测结果；若声音检测结果指示存在异常声音，则指示图像采集设备采集声源位置的图像。
可选地，第四执行模块810，用于若检测结果指示目标人像出现摔倒动作，或者，若检测结果指示目标人像的躺卧时长超过设定阈值，则确定图像中的人像发生异常。
可选地，图像采集设备按照设定周期采集全景图像和音频。
本实施例的检测装置用于实现前述方法实施例三或四中相应的检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的检测装置中的各个模块的功能实现均可参照前述方法实施例三或四中的相应部分的描述，在此亦不再赘述。
实施例九
参照图10，示出了根据本发明实施例九的一种智能设备的结构示意图，本发明具体实施例并不对智能设备的具体实现做限定。
如图10所示，该智能设备可以包括：图像采集设备900、处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。
其中：
图像采集设备900、处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。
通信接口904，用于与其它电子设备如其它智能设备、电子终端或服务器进行通信。
图像采集设备900，用于实时采集现实场景中的图像，并发送给处理器902进行处理。
处理器902，用于执行程序910，具体可以执行上述方法实施例一或二中检测方法的相关步骤。
具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。
处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序910具体可以用于使得处理器902执行以下操作：对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息；对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息；根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果；根据动作检测结果，确定目标对象的状态。
在一种可选的实施方式中，程序910还用于使得处理器902在对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息时，根据检测任务的信息对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息。
在一种可选的实施方式中，程序910还用于使得处理器902在根据检测任务的信息对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息时，获取预设的检测任务的信息与对象关键点的对应关系；根据检测任务的信息和所述对应关系，对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息。
在一种可选的实施方式中，程序910还用于使得处理器902在根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果时，根据所述时序关系，对多个待检测图像中与筛选后关键点信息对应的关键点进行检测，获得具有所述时序关系的多组筛选后关键点信息；根据多组筛选后关键点信息之间的所述时序关系，对目标对象进行动作检测，获取动作检测结果。
在一种可选的实施方式中，程序910还用于使得处理器902在获取目标对象的关键点信息之后，获取用于指示检测灵敏度的信息；若检测灵敏度的信息所指示的检测灵敏度满足设定标准，则执行对目标对象的关键点信息进行筛选，获取目标对象的筛选后关键点信息的操作。
在一种可选的实施方式中，程序910还用于使得处理器902在若检测灵敏度的信息所指示的检测灵敏度不满足所述设定标准时，根据目标对象的关键点信息，对目标对象进行姿态检测，获得姿态检测结果；根据姿态检测结果，确定目标对象的状态。
在一种可选的实施方式中，程序910还用于使得处理器902在根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果时，使用第一卷积神经网络模型根据筛选后关键点信息和多个待检测图像之间的时序关系，对目标对象进行动作检测，获取动作检测结果；程序910还用于使得处理器902在对多个待检测图像中的目标对象进行姿态检测，获得姿态检测结果时，使用第二卷积神经网络模型对多个待检测图像中的目标对象进行姿态检测，获得姿态检测结果。
在一种可选的实施方式中，所述目标对象为人像，所述目标对象的筛选后关键点信息为所述人像的四肢关节点信息，所述动作检测包括摔倒检测，所述姿态检测包括异常躺卧检测。
在一种可选的实施方式中，所述智能设备用于对智能看护场景中的看护对象进行看护检测。
程序910中各步骤的具体实现可以参见上述检测方法实施例一或二中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例一或二中的对应过程描述，在此不再赘述。
通过本实施例的智能设备，首先检测目标对象的关键点信息，进而对目标对象的关键点信息进行筛选，筛选出当前所需的那部分关键点信息(即筛选后关键点信息)，因多个待检测图像之间具有时序关系，因此，可以依据该时序关系和筛选出的关键点信息，对多个待检测图像中的目标对象进行动作检测，进而根据动作检测结果确定目标对象的状态。通过本实施例的智能设备，当目标对象为看护对象如独居老人对应的人像时，一方面，无需看护对象穿着或佩戴检测设备，也即，无需看护对象的主动配合即可实现对看护对象的有效安全看护；另一方面，对看护对象的关键点信息进行筛选后再进行后续处理，大大减轻了检测的数据量和数据处理负担，提高了检测效率。
需要说明的是，本实施例提供的智能设备并不仅限于上述安全看护场景下的应用，其同样可适用于任意适当的根对检测对象进行动作检测的场景。
实施例十
参照图11，示出了根据本发明实施例十的一种智能设备的结构示意图，本发明具体实施例并不对智能设备的具体实现做限定。
如图11所示，该智能设备可以包括：处理器(processor)1002、通信接口(Communications Interface)1004、存储器(memory)1006、通信总线1008、图像采集设备1010、声音采集设备1012。
其中：
图像采集设备1010、声音采集设备1012、处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。
通信接口1004，用于与其它电子设备如其它智能设备、电子终端或服务器进行通信。
图像采集设备1010，用于实时采集现实场景中的图像，并发送给处理器1002进行处理。
声音采集设备1012，用于实时采集现实场景中的声音，并发送给处理器1002进行处理。
处理器1002，用于执行程序1010，具体可以执行上述检测方法实施例三或四中的相关步骤。
具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。
处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器1006，用于存放程序1010。存储器1006可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序1010具体可以用于使得处理器1002执行以下操作：接收图像采集设备采集到的图像；对采集到的图像进行人像检测，获取人像检测结果；根据人像检测结果，判断检测到的图像中的人像是否为目标人像；若为目标人像，则通过如实施例三或四中所述的检测方法对目标人像进行检测，获取检测结果；若检测结果指示图像中的人像发生异常，或者，图像中的人像不为目标人像，则进行异常处理。
在一种可选的实施方式中，程序1010还用于使得处理器1002在接收图像采集设备采集到的图像之前，接收图像采集设备采集到的音频；对采集到的音频进行声音检测，获取声音检测结果；若声音检测结果指示存在异常声音，则指示图像采集设备采集声源位置的图像。
在一种可选的实施方式中，程序1010还用于使得处理器1002在若检测结果指示目标人像出现摔倒动作，或者，若异常检测结果指示目标人像的躺卧时长超过设定阈值时，则确定图像中的人像发生异常。
在一种可选的实施方式中，图像采集设备按照设定周期采集全景图像和音频。
程序1010中各步骤的具体实现可以参见上述检测方法实施例三或四中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例三或四中的对应过程描述，在此不再赘述。
通过本实施例的智能设备，除可实现对目标对象进行摔倒检测，异常躺卧检测等异常检测外，还可以通过对采集到的图像进行人像检测，以确定现实环境中是否存在陌生人，进而进行相应的处理。由此，实现了更为全面的异常检测，将其应用于安全看护场景中时，可以大大提升安全看护效果。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的检测方法。此外，当通用计算机访问用于实现在此示出的检测方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的检测方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (28)

1.一种检测方法，包括：
对具有时序关系的多个待检测图像进行目标对象关键点检测，获取目标对象的关键点信息；
对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息；
根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；
根据所述动作检测结果，确定所述目标对象的状态。
2.根据权利要求1所述的方法，其中，所述对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息，包括：
根据检测任务的信息对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息。
3.根据权利要求2所述的方法，其中，所述根据检测任务的信息对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息，包括：
获取预设的检测任务的信息与对象关键点的对应关系；
根据所述检测任务的信息和所述对应关系，对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息。
4.根据权利要求1-3任一项所述的方法，其中，根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果，包括：
根据所述时序关系，对所述多个待检测图像中与所述筛选后关键点信息对应的关键点进行检测，获得具有所述时序关系的多组筛选后关键点信息；
根据所述多组筛选后关键点信息之间的所述时序关系，对所述目标对象进行动作检测，获取动作检测结果。
5.根据权利要求1-3任一项所述的方法，其中，在所述获取所述目标对象的关键点信息之后，所述方法还包括：
获取用于指示检测灵敏度的信息；
若所述检测灵敏度的信息所指示的检测灵敏度满足设定标准，则执行所述对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息的步骤。
6.根据权利要求5所述的方法，其中，所述方法还包括：
若所述检测灵敏度的信息所指示的检测灵敏度不满足所述设定标准，则根据所述目标对象的关键点信息，对所述目标对象进行姿态检测，获得姿态检测结果；
根据所述姿态检测结果，确定所述目标对象的状态。
7.根据权利要求6所述的方法，其中，
所述根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果，包括：使用第一卷积神经网络模型根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；
所述对所述多个待检测图像中的目标对象进行姿态检测，获得姿态检测结果，包括：使用第二卷积神经网络模型对所述多个待检测图像中的目标对象进行姿态检测，获得姿态检测结果。
8.根据权利要求6所述的方法，其中，所述目标对象为人像，所述目标对象的筛选后关键点信息为所述人像的四肢关节点信息，所述动作检测包括摔倒检测，所述姿态检测包括异常躺卧检测。
9.根据权利要求6所述的方法，其中，所述方法用于对智能看护场景中的看护对象进行看护检测。
10.一种检测方法，包括：
接收图像采集设备采集到的图像；
对采集到的所述图像进行人像检测，获取人像检测结果；
根据所述人像检测结果，判断检测到的所述图像中的人像是否为目标人像；
若为所述目标人像，则通过如权利要求1-9中任一项所述的检测方法对所述目标人像进行检测，获取检测结果；
若所述检测结果指示所述图像中的人像发生异常，或者，所述图像中的人像不为所述目标人像，则进行异常处理。
11.根据权利要求10所述的方法，其中，在所述接收图像采集设备采集到的图像之前，所述方法还包括：
接收所述图像采集设备采集到的音频；
对采集到的所述音频进行声音检测，获取声音检测结果；
若所述声音检测结果指示存在异常声音，则指示所述图像采集设备采集声源位置的图像。
12.根据权利要求10或11所述的方法，其中，所述若所述检测结果指示所述图像中的人像发生异常，包括：
若所述检测结果指示所述目标人像出现摔倒动作，或者，若所述检测结果指示所述目标人像的躺卧时长超过设定阈值，则确定所述图像中的人像发生异常。
13.根据权利要求11所述的方法，其中，所述图像采集设备按照设定周期采集全景图像和音频。
14.一种检测装置，包括：
第一获取模块，用于对具有时序关系的多个待检测图像进行目标对象关键点检测，获取所述目标对象的关键点信息；
第二获取模块，用于对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息；
第三获取模块，用于根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；
确定模块，用于根据所述动作检测结果，确定所述目标对象的状态。
15.根据权利要求14所述的装置，其中，所述第二获取模块，用于根据检测任务的信息对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息。
16.根据权利要求15所述的装置，其中，所述第二获取模块，用于获取预设的检测任务的信息与对象关键点的对应关系；根据所述检测任务的信息和所述对应关系，对所述目标对象的关键点信息进行筛选，获取所述目标对象的筛选后关键点信息。
17.根据权利要求14-16任一项所述的装置，其中，所述第三获取模块，用于根据所述时序关系，对所述多个待检测图像中与所述筛选后关键点信息对应关键点进行检测，获取具有所述时序关系的多组筛选后关键点信息；根据所述多组筛选后关键点信息之间的所述时序关系，对所述目标对象进行动作检测，获取动作检测结果。
18.根据权利要求14-16任一项所述的装置，其中，所述装置还包括：
第四获取模块，用于在所述第一获取模块获取所述目标对象的关键点信息之后，获取用于指示检测灵敏度的信息；
第一执行模块，用于若所述检测灵敏度的信息所指示的检测灵敏度满足设定标准，则转所述第二获取模块执行。
19.根据权利要求18所述的装置，其中，所述装置还包括：
第二执行模块，用于若所述检测灵敏度的信息所指示的检测灵敏度不满足所述设定标准，则根据所述目标对象的关键点信息，对所述目标对象进行姿态检测，获取姿态检测结果；根据所述姿态检测结果，确定所述目标对象的状态。
20.根据权利要求19所述的装置，其中，
所述第三获取模块，用于使用第一卷积神经网络模型根据所述筛选后关键点信息和所述多个待检测图像之间的时序关系，对所述目标对象进行动作检测，获取动作检测结果；
所述第二执行模块，用于使用第二卷积神经网络模型对所述多个待检测图像中的目标对象进行姿态检测，获取姿态检测结果。
21.根据权利要求19所述的装置，其中，所述目标对象为人像，所述目标对象的筛选后关键点信息为所述人像的四肢关节点信息，所述动作检测包括摔倒检测，所述姿态检测包括异常躺卧检测。
22.根据权利要求19所述的装置，其中，所述装置用于对智能看护场景中的看护对象进行看护检测。
23.一种检测装置，包括：
第一接收模块，用于接收图像采集设备采集到的图像；
第五获取模块，用于对采集到的所述图像进行人像检测，获取人像检测结果；
判断模块，用于根据所述人像检测结果，判断检测到的所述图像中的人像是否为目标人像；
第三执行模块，用于若所述判断模块的判断结果为所述图像中的人像为所述目标人像，则通过如权利要求14-22中任一项所述的检测装置对所述目标人像进行检测，获取检测结果；
第四执行模块，用于若所述检测结果指示所述图像中的人像发生异常，或者，所述图像中的人像不为所述目标人像，则进行异常处理。
24.根据权利要求23所述的装置，其中，所述装置还包括：
第二接收模块，用于在所述第一接收模块接收图像采集设备采集到的图像之前，接收所述图像采集设备采集到的音频；
声音检测模块，用于对采集到的所述音频进行声音检测，获取声音检测结果；若所述声音检测结果指示存在异常声音，则指示所述图像采集设备采集声源位置的图像。
25.根据权利要求23或24所述的装置，其中，所述第四执行模块，用于若所述检测结果指示所述目标人像出现摔倒动作，或者，若所述检测结果指示所述目标人像的躺卧时长超过设定阈值，则确定所述图像中的人像发生异常。
26.根据权利要求24所述的装置，其中，所述图像采集设备按照设定周期采集全景图像和音频。
27.一种智能设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的检测方法对应的操作，或者，执行如权利要求10-13中任一项所述的检测方法对应的操作。
28.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一所述的检测方法，或者，实现如权利要求10-13中任一项所述的检测方法。
CN201910112508.3A 2019-02-13 2019-02-13 检测方法、装置、智能设备及计算机存储介质 Active CN111563397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910112508.3A CN111563397B (zh) 2019-02-13 2019-02-13 检测方法、装置、智能设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910112508.3A CN111563397B (zh) 2019-02-13 2019-02-13 检测方法、装置、智能设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111563397A true CN111563397A (zh) 2020-08-21
CN111563397B CN111563397B (zh) 2023-04-18

Family

ID=72071326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910112508.3A Active CN111563397B (zh) 2019-02-13 2019-02-13 检测方法、装置、智能设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111563397B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569712A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044502A1 (en) * 2009-04-28 2011-02-24 Hisense State Key Laboratory Of Digital Multi-Media Technology Co., Ltd. Motion detection method, apparatus and system
CN102004916A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像特征提取系统及其方法
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN104581082A (zh) * 2015-01-29 2015-04-29 深圳市中兴移动通信有限公司 一种家居监控系统及方法
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
US20170161551A1 (en) * 2015-05-29 2017-06-08 Tencent Technology (Shenzhen) Company Limited Face key point positioning method and terminal
CN107103733A (zh) * 2017-07-06 2017-08-29 司马大大（北京）智能系统有限公司 一种摔倒报警方法、装置及设备
CN107247945A (zh) * 2017-07-04 2017-10-13 刘艺晴 一种基于Kinect设备的病房病患监护系统及监护方法
CN108875614A (zh) * 2018-06-07 2018-11-23 南京邮电大学 一种基于深度学习图像处理的摔倒检测方法
CN108898079A (zh) * 2018-06-15 2018-11-27 上海小蚁科技有限公司 一种监控方法及装置、存储介质、拍摄终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044502A1 (en) * 2009-04-28 2011-02-24 Hisense State Key Laboratory Of Digital Multi-Media Technology Co., Ltd. Motion detection method, apparatus and system
CN102004916A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像特征提取系统及其方法
CN102387345A (zh) * 2011-09-09 2012-03-21 浙江工业大学 基于全方位视觉的独居老人安全监护系统
CN106575367A (zh) * 2014-08-21 2017-04-19 北京市商汤科技开发有限公司 用于基于多任务的人脸关键点检测的方法和系统
CN104581082A (zh) * 2015-01-29 2015-04-29 深圳市中兴移动通信有限公司 一种家居监控系统及方法
US20170161551A1 (en) * 2015-05-29 2017-06-08 Tencent Technology (Shenzhen) Company Limited Face key point positioning method and terminal
CN107247945A (zh) * 2017-07-04 2017-10-13 刘艺晴 一种基于Kinect设备的病房病患监护系统及监护方法
CN107103733A (zh) * 2017-07-06 2017-08-29 司马大大（北京）智能系统有限公司 一种摔倒报警方法、装置及设备
CN108875614A (zh) * 2018-06-07 2018-11-23 南京邮电大学 一种基于深度学习图像处理的摔倒检测方法
CN108898079A (zh) * 2018-06-15 2018-11-27 上海小蚁科技有限公司 一种监控方法及装置、存储介质、拍摄终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSEP MARIA CARMONA等: "Human action recognition by means of subtensor projections and dense trajectories" *
贾琼;王明敏;: "基于物体识别的增强现实系统" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569712A (zh) * 2021-07-23 2021-10-29 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质
CN113569712B (zh) * 2021-07-23 2023-11-14 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111563397B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Miaou et al. A customized human fall detection system using omni-camera images and personal information
Solbach et al. Vision-based fallen person detection for the elderly
CN109887238B (zh) 一种基于视觉和人工智能的跌倒检测系统及检测报警方法
JP2021064367A (ja) 動作認識方法、動作認識装置及び電子機器
WO2013075002A1 (en) Automatic detection by a wearable camera
Chen et al. Fall detection system based on real-time pose estimation and SVM
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
CN114469076B (zh) 一种融合身份特征的独居老人跌倒识别方法及系统
Beddiar et al. Fall detection using body geometry and human pose estimation in video sequences
KR20180096038A (ko) 행위 예측을 위한 다중 모션 기반 옴니뷰 기법
Martínez-Villaseñor et al. Deep learning for multimodal fall detection
CN111563397B (zh) 检测方法、装置、智能设备及计算机存储介质
CN116491935B (zh) 一种智能穿戴设备的运动健康监测方法、系统及介质
Pires et al. A real-time position monitoring system for fall detection and analysis using human pose estimation
Weng et al. Fall detection based on tilt angle and acceleration variations
CN113743234A (zh) 目标动作确定方法、目标动作计数方法和电子装置
Ismail et al. Human gesture recognition using a low cost stereo vision in rehab activities
CN111435535A (zh) 一种关节点信息的获取方法及装置
TWI766501B (zh) 跌倒偵測裝置系統及其偵測跌倒事件的方法
CN116071779A (zh) 跌倒检测方法、存储介质及电子装置
AU2020104377A4 (en) Intelligent Safe Home System for the Elderly People
Hsu et al. Falling and slipping detection for pedestrians using a manifold learning approach
Sai et al. Implementation of compact wearable fall detector for the elderly
CN112949606B (zh) 工服穿戴状态检测方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant