CN111695404B - 行人跌倒检测方法、装置、电子设备及存储介质 - Google Patents

行人跌倒检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111695404B
CN111695404B CN202010324228.1A CN202010324228A CN111695404B CN 111695404 B CN111695404 B CN 111695404B CN 202010324228 A CN202010324228 A CN 202010324228A CN 111695404 B CN111695404 B CN 111695404B
Authority
CN
China
Prior art keywords
skeleton key
pedestrian
monitoring image
acceleration information
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010324228.1A
Other languages
English (en)
Other versions
CN111695404A (zh
Inventor
张耀威
胡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010324228.1A priority Critical patent/CN111695404B/zh
Publication of CN111695404A publication Critical patent/CN111695404A/zh
Application granted granted Critical
Publication of CN111695404B publication Critical patent/CN111695404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Dentistry (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供了行人跌倒检测方法、装置、电子设备及存储介质，该方法包括：获取监控图像序列；将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，行人跌倒检测网络包括：光流加速度计算网络，行人状态判别网络。一方面，考虑了行人的骨架关键点的加速度与行人的跌倒状态的关联性，每一次进行跌倒检测时，仅获取监控图像序列中的当前帧监控图像中的行人用于确定行人是否处于跌倒状态的特征来完成跌倒检测，行人跌倒检测消耗的计算量小。另一方面，行人的骨架关键点的加速度与行人的运动状态关联度高，通过行人的骨架关键点的加速度确定行人是否处于跌倒状态，得到的检测结果的准确性高。

Description

行人跌倒检测方法、装置、电子设备及存储介质
技术领域
本申请涉及神经网络领域，具体涉及行人跌倒检测方法、装置、电子设备及存储介质。
背景技术
行人的跌倒检测是安防系统的重要组成部分，用于检测监控区域中的行人是否处于跌倒状态，及时发现监控区域中的处于跌倒状态的行人，采取相应的措施。
目前，神经网络被应用于行人跌倒检测。在已有的利用神经网络进行跌倒检测的技术中，通常采用的方式为：针对每一帧监控图像，检测监控图像中的每一个行人是否处于跌倒状态。在针对每一帧监控图像，检测监控图像中的每一个行人是否处于跌倒状态时，针对每一帧监控图像，均需要获取监控图像中的每一个行人的用于确定行人是否处于跌倒状态的特征，用于确定行人是否处于跌倒状态的特征通常为所有关键点的位置。针对每一帧监控图像，均需要根据监控图像每一个行人的用于确定行人是否处于跌倒状态的特征，确定每一个行人是否处于跌倒状态，通常是确定行人的各个关键点之间的位置关系是否符合对应于跌倒状态的位置关系来确定行人是否处于跌倒状态。
一方面，针对每一帧监控图像，均需要获取监控图像中的每一个行人的用于确定行人是否处于跌倒状态的所有特征并且需要根据监控图像每一个行人的用于确定行人是否处于跌倒状态的特征，导致行人跌倒检测消耗的计算量大。
另一方面，通常针对监控图像的每一个行人，根据该行人的各个关键点之间的位置关系是否符合预先设置的对应于跌倒状态的位置关系，确定该行人是否处于跌倒状态，由于各个关键点之间的位置关系与行人的运动状态关联度低，导致检测结果准确性低。
发明内容
为克服相关技术中存在的问题，本申请提供一种行人跌倒检测方法、装置、电子设备。
根据本申请实施例的第一方面，提供一种行人跌倒检测方法，包括：
获取监控图像序列，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像；
将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，所述行人跌倒检测网络包括：
光流加速度计算网络，被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定所述行人的骨架关键点；基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息；
行人状态判别网络，被配置为对于所述行人，基于所述行人的骨架关键点的加速度信息，生成指示所述行人是否处于跌倒状态的检测结果。
在一些实施例中，所述骨架关键点的加速度信息包括：所述骨架关键点在水平方向的加速度、所述骨架关键点在垂直方向的加速度。
在一些实施例中，基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息包括：
对于所述行人的骨架关键点，基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息，其中，所述邻近区域像素点的加速度信息包括：所述邻近区域像素点在水平方向的加速度、所述邻近区域像素点在垂直方向的加速度。
在一些实施例中，以所述骨架关键点的位置为中心的邻近区域为以所述骨架关键点的位置为中心的、具有预设半径的圆形区域。
在一些实施例中，基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息包括：
计算所有邻近区域像素点在水平方向的加速度的平均值；
将所有邻近区域像素点在水平方向的加速度的平均值作为所述骨架关键点在水平方向的加速度；
计算所有邻近区域像素点在垂直方向的加速度的平均值；
将所有邻近区域像素点在垂直方向的加速度的平均值作为所述骨架关键点在垂直方向的加速度。
在一些实施例中，光流加速度计算网络包括：
骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征，得到监控图像序列对应的所有特征；
光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为光流加速度信息的光流加速度图；
行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对所述所有骨架关键点进行聚类，以确定所述行人的骨架关键点；
骨架关键点加速度信息计算单元，被配置为对于所述行人，基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息。
根据本申请实施例的第二方面，提供一种行人跌倒检测装置，包括：
监控图像序列获取单元，被配置为获取监控图像序列，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像；
行人跌倒检测单元，被配置为将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，所述行人跌倒检测网络包括：光流加速度计算网络，被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定所述行人的骨架关键点；基于所述骨架关键点的位置和所述光流加速度信息，计算所述骨架关键点的加速度信息；行人状态判别网络，被配置为对于所述行人，基于所述行人的骨架关键点的加速度信息，生成指示所述行人是否处于跌倒状态的检测结果。
在一些实施例中，所述骨架关键点的加速度信息包括：所述骨架关键点在水平方向的加速度、所述骨架关键点在垂直方向的加速度。
在一些实施例中，基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息包括：
基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息，其中，所述邻近区域像素点的加速度信息包括：所述邻近区域像素点在水平方向的加速度、所述邻近区域像素点在垂直方向的加速度。
在一些实施例中，以所述骨架关键点的位置为中心的邻近区域为以所述骨架关键点的位置为中心的、具有预设半径的圆形区域。
在一些实施例中，基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息包括：
计算所有邻近区域像素点在水平方向的加速度的平均值；
将所有邻近区域像素点在水平方向的加速度的平均值作为所述骨架关键点在水平方向的加速度；
计算所有邻近区域像素点在垂直方向的加速度的平均值；
将所有邻近区域像素点在垂直方向的加速度的平均值作为所述骨架关键点在垂直方向的加速度。
在一些实施例中，光流加速度计算网络包括：
骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征，得到监控图像序列对应的所有特征；
光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为光流加速度信息的光流加速度图；
行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对所述所有骨架关键点进行聚类，以确定所述每一个行人的骨架关键点；
骨架关键点加速度信息计算单元，被配置为对于所述行人，基于所述行人的每一个骨架关键点的位置和所述光流加速度信息，计算所述行人的每一个骨架关键点的加速度信息。
本申请实施例提供的行人跌倒检测方法、装置，实现了一方面，考虑了行人的骨架关键点的加速度与跌倒状态的关联性，每一次进行跌倒检测时，通过光流加速度计算网络仅获取监控图像序列中的当前帧监控图像中的行人用于确定行人是否处于跌倒状态的特征，即当前帧监控图像中的每一个像素点的加速度信息，仅根据当前帧监控图像中的行人用于确定行人是否处于跌倒状态的特征，确定行人用于确定行人是否处于跌倒状态，行人跌倒检测消耗的计算量小。
另一方面，行人的骨架关键点的加速度与行人的运动状态关联度高，通过行人的骨架关键点的加速度确定行人是否处于跌倒状态，得到的检测结果的准确性高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的行人跌倒检测方法的流程图；
图2示出了利用光流加速度计算网络计算骨架关键点的加速度信息的一个示例性流程图；
图3示出了采用本申请提供的行人跌倒检测方法进行跌倒检测的一个流程示意图；
图4示出了本申请实施例提供的行人跌倒检测装置的结构框图；
图5示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的行人跌倒检测方法的流程图，该方法包括：
步骤101，获取监控图像序列。
在本申请中，监控图像序列中的监控图像可以由用于监控目标区域的摄像头捕获。
对于位于目标区域内的任意一个对象，均会出现在用于监控目标区域的摄像头的捕获的每一个监控图像中。
在本申请中，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像。
例如，监控图像序列包括3个监控图像，监控图像序列包括当前帧监控图像、前两帧监控图像。
在本申请中，对于每一个参考帧监控图像，该参考帧监控图像的捕获时间在当前帧监控图像的捕获时间之前。
当前帧监控图像可以为在执行步骤101的时刻或者在邻近执行步骤101的时刻捕获的监控图像。
监控图像序列中的每两个相邻的监控图像的捕获时刻之间间隔的时长可以为预设时长或者邻近预设时长。
在本申请中，每一次进行行人跌倒检测时，均可以执行步骤101-102，只是每一次执行步骤101-102时针对的监控图像序列不同。通过持续地执行步骤101-102，可以实时地对出现在监控区域中的任意一个行人进行行人跌倒检测。
步骤102，将监控图像序列输入到行人跌倒检测网络，得到行人的检测结果。
在本申请中，行人跌倒检测网络包括：光流加速度计算网络，行人状态判别网络。
光流加速度计算网络被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定该行人的骨架关键点；基于该行人的骨架关键点的位置和当前帧监控图像的光流加速度信息，计算该行人的骨架关键点的加速度信息。
在本申请中，对于当前帧监控图像中的每一个行人，均可以由光流加速度计算网络确定该行人的多个骨架关键点中的每一个骨架关键点。相应的，对于当前帧监控图像中的每一个行人，均可以由光流加速度计算网络基于该行人的多个骨架关键点中的每一个骨架关键点的位置和当前帧监控图像的光流加速度信息，计算该行人的多个骨架关键点中的每一个骨架关键点的加速度信息。
行人状态判别网络被配置为对于当前帧监控图像中的行人，基于该行人的骨架关键点的加速度信息，生成指示该行人是否处于跌倒状态的检测结果。
在本申请中，对于当前帧监控图像中的每一个行人，均可以由行人状态判别网络基于该行人的多个骨架关键点中的每一个骨架关键点的加速度信息，生成指示该行人是否处于跌倒状态的检测结果。
在本申请中，行人的所有骨架关键点类型的可以包括左脚踝、右脚踝、左膝盖、右膝盖、左髋关节、右髋关节、左手腕、右手腕、左手肘、右手肘、左肩膀、右肩膀、颈部、头部等类型。
对于当前帧监控图像中的每一个行人，当前帧监控图像中的该行人的多个骨架关键点可以由每一个上述骨架关键点类型的骨架关键点组成，也可以由部分上述骨架关键点类型的骨架关键点组成。
在本申请中，当前帧监控图像中的每一个行人可以通过用于检测行人的网络进行检测。用于检测行人的网络可以独立于行人跌倒检测网络，也可以集成在行人跌倒检测网络中。可以利用用于检测行人的网络例如用于检测行人的Fast R-CNN，检测当前帧监控图像中的每一个行人。通过用于检测行人的网络检测出的当前帧监控图像中的每一个行人各自具有一个检测结果。对于当前帧监控图像中的每一个行人，该行人的检测结果包括包围该行人的矩形框。
在本申请中，光流加速度计算网络可以利用光流算法基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息。
当前帧监控图像的光流加速度信息包括：当前帧监控图像中的每一个像素点的加速度信息。
以下举例说明生成当前帧监控图像的光流加速度信息的过程：
监控图像序列包括当前帧监控图像和2个参考帧监控图像，对于当前帧监控图像中的每一个像素点，可以利用光流算法执行以下操作：确定每一个参考帧监控图像中的该像素点的匹配像素点，根据当前帧监控图像的前一参考帧监控图像中的该像素点的匹配像素点的特征例如灰度值和前一参考帧监控图像之前的参考帧监控图像中的该像素点的匹配像素点的特征例如灰度值，计算当前帧监控图像的前一参考帧监控图像中的该像素点的匹配像素点的速度；根据当前帧监控图像的前一参考帧监控图像中的该像素点的匹配像素点的特征例如灰度值和当前帧监控图像中的该像素点的特征例如灰度值，计算当前帧监控图像的该像素点的速度。
在计算出当前帧监控图像的前一参考帧监控图像中的该像素点的匹配像素点的速度、当前帧监控图像的该像素点的速度之后，可以根据当前帧监控图像的前一参考帧监控图像中的该像素点的匹配像素点的速度、当前帧监控图像的该像素点的速度、前一参考帧监控图像的捕获时刻与当前帧监控图像的捕获时刻之间的时间间隔，计算当前帧监控图像的该像素点的加速度信息。
在监控图像序列包括3个以上的监控图像的情况下，对于每两个相邻的监控图像，可以参考上述过程，通过光流算法计算两个相邻的监控图像中的捕获时间晚的监控图像中的每一个与当前帧监控图像中的像素点匹配的匹配像素点的速度，在通过光流算法计算出当前帧监控图像的前一参考帧监控图像中的每一个与当前帧监控图像中的像素点匹配的匹配像素点的速度和当前帧监控图像中的每一个像素点的速度之后，可以进一步计算当前帧监控图像的每一个像素点的加速度信息。
在本申请中，光流加速度计算网络可以包括用于确定骨架关键点的卷积神经网络。
对于每一个行人，可以将当前帧行人图像输入到用于确定骨架关键点的卷积神经网络，用于确定骨架关键点的卷积神经网络输出确定的每一个骨架关键点的位置。
光流加速度计算网络可以基于每一个骨架关键点的位置、当前帧监控图像中的每一个行人的检测结果、骨架关键点的分布特征，确定当前帧监控图像中的每一个行人的所有骨架关键点。
对于当前帧监控图像中的每一个行人，该行人的检测结果包括包围该行人的的矩形框。对于每一个行人，该行人的骨架关键点应该位于包围行人的矩形框内，并且该行人的所有骨架关键点的位置具有分布特征。可以通过当前帧监控图像中的每一个行人的检测结果、骨架关键点的分布特征等约束条件，以确定每一个骨架关键点所属的行人。从而，确定当前帧监控图像中的每一个行人的所有骨架关键点。
在本申请中，光流加速度计算网络可以基于每一个骨架关键点的位置和当前帧监控图像的光流加速度信息，计算每一个骨架关键点的加速度信息。
对于当前帧监控图像中的每一个骨架关键点，光流加速度计算网络可以确定该骨架关键点所在的邻近区域，该骨架关键点所在的邻近区域的大小和形状可以预先设置，该骨架关键点所在的邻近区域可以为以骨架关键点的位置为中心的区域。光流加速度计算网络可以计算该骨架关键点所在的邻近区域中的所有像素点的加速度信息的平均值，然后，将计算出的平均值作为该骨架关键点的加速度信息。
从而，在计算当前帧监控图像中的每一个骨架关键点之后，对于当前帧监控图像中的每一个行人，该行人的每一个骨架关键点的加速度信息随之确定。
在一些实施例中，骨架关键点的加速度信息包括：骨架关键点在水平方向的加速度、骨架关键点在垂直方向的加速度。
在计算当前帧监控图像中的每一个像素点的加速度信息时，可以将当前帧监控图像中的每一个像素点的速度分解为在水平方向即X方向的速度、在垂直发方向即Y方向的速度，以及将当前帧监控图像的前一参考帧监控图像中的与当前帧监控图像中的像素匹配的匹配像素的速度分解为在水平方向即X方向的速度、在垂直发方向即Y方向的速度。从而，可以对于当前帧监控图像中的每一个像素点，计算出该像素点在水平方向即X方向的加速度、在垂直发方向即Y方向的加速度。然后，可以进一步对于当前帧监控图像中的每一个骨架关键点，根据该骨架关键点所在的邻近区域中的所有像素点的在水平方向即X方向的加速度、在垂直发方向即Y方向的加速度，计算出该骨架关键点在水平方向的加速度、在垂直方向的加速度。
在一些实施例中，对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，计算该行人的该骨架关键点的加速度信息包括：基于以该骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算该骨架关键点的加速度信息，其中，该邻近区域像素点的加速度信息包括：该邻近区域像素点在水平方向的加速度、该邻近区域像素点在垂直方向的加速度。
在本申请中，对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，以该骨架关键点的位置为中心的邻近区域中的每一个像素称之为邻近区域像素点。
由于当前帧监控图像的光流加速度信息包括：当前帧监控图像中的每一个像素点的加速度信息，因此，对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，可以从当前帧监控图像的光流加速度信息获取以该骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息。
对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，可以基于以该骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算该骨架关键点的加速度信息。
在一些实施例中，对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，以该骨架关键点的位置为中心的邻近区域为以该骨架关键点的位置为中心的、具有预设半径的圆形区域。
对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，可以从当前帧监控图像的光流加速度信息获取以该骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息。例如，从当前帧监控图像的光流加速度信息获取以该骨架关键点的位置为中心的预设半径的圆形区域内的每一个邻近区域像素点的加速度信息。然后，基于以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点的加速度信息，确定该骨架关键点的加速度信息。
例如，将以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点的在水平方向的加速度中的中位数或最小值或最大值作为该骨架关键点在水平方向的加速度。将以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点的在垂直方向的加速度中的中位数或最小值或最大值作为该骨架关键点在垂直方向的加速度。
在一些实施例中，对于当前帧监控图像中的任意一个行人的任意一个骨架关键点，基于以该骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算该骨架关键点的加速度信息包括：
计算以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点在水平方向的加速度的平均值；将以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点在水平方向的加速度的平均值作为该骨架关键点在水平方向的加速度；计算以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点在垂直方向的加速度的平均值；将以该骨架关键点的位置为中心的邻近区域中的所有邻近区域像素点在垂直方向的加速度的平均值作为该骨架关键点在垂直方向的加速度。
在一些实施例中，光流加速度计算网络包括：骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征；光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为当前帧监控图像的光流加速度信息的光流加速度图；行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于该骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对该所有骨架关键点进行聚类，以确定当前帧监控图像中的行人的骨架关键点；骨架关键点加速度信息计算单元，被配置为基于该行人的骨架关键点的位置和当前帧监控图像中的光流加速度信息，计算该行人的骨架关键点的加速度信息。
骨干网络可以称之为backbone网络。骨干网络可以为卷积神经网络例如ResNet。
在本申请中，可以预先以深度学习方式对backbone网络进行训练，以使得Backbone网络可以从监控图像序列中的每一个监控图像提取适用于计算当前帧监控图像的光流加速度信息的光流加速度信息、确定当前帧监控图像中的骨架关键点的特征。
在本申请中，光流加速度信息生成网络可以为一个全卷积网络。
可以预先以深度学习方式对光流加速度信息生成网络进行训练，以使得光流加速度信息生成网络学习到骨干网络提取的所有特征与当前帧监控图像中的每一个像素的加速度信息的关联关系。
作为光流加速度信息的光流加速度图包括当前帧监控图像中的每一个像素点的加速度信息。作为光流加速度信息的光流加速度图中的每一个像素点各自对应当前帧监控图像中的一个像素点。对于作为光流加速度信息的光流加速度图中的每一个像素点，该像素点的像素值为该像素点对应的当前帧监控图像中的一个像素点的加速度信息。
在本申请中，当骨架关键点的加速度信息包括骨架关键点在水平方向即X方向的加速度、骨架关键点在垂直方向即Y方向的加速度时，光流加速度信息生成网络基于骨干网络提取的所有特征，生成对应于X方向的加速度图、对应于Y方向的加速度图。
对应于X方向的加速度图中的每一个像素点各自对应当前帧监控图像中的一个像素点。对于对应于X方向的加速度图中的每一个像素点，该像素点的像素值为该像素点对应的当前帧监控图像中的一个像素点在X方向的加速度值。
对应于Y方向的加速度图中的每一个像素点各自对应当前帧监控图像中的一个像素点。对于对应于Y方向的加速度图中的每一个像素点，该像素点的像素值为该像素点对应的当前帧监控图像中的一个像素点在Y方向的加速度值。
在本申请中，行人骨架关键点确定网络可以为卷积神经网络。行人骨架关键点确定网络的输入为骨干网络提取的所有特征。
行人骨架关键点确定网络可以基于骨干网络提取的所有特征，生成骨架关键点热力图。
骨架关键点热力图包括当前帧监控图像中的每一个像素点为骨架关键点的概率。可以根据骨架关键点热力图，将概率大于概率阈值的像素点确定为骨架关键点，从而，确定当前帧监控图像中的每一个骨架关键点，同时，可以确定当前帧监控图像中的每一个骨架关键点的位置。
行人骨架关键点确定网络可以进一步根据当前帧监控图像中的每一个骨架关键点在当前帧监控图像中的位置、当前帧监控图像中的每一个行人的检测结果、骨架关键点的分布特征，对当前帧监控图像中的所有骨架关键点进行聚类，以确定当前帧监控图像中的所有骨架关键点中的每一个骨架关键各自所属的当前帧监控图像中的行人。从而，确定当前帧监控图像中的每一个行人的多个骨架关键点。
在本申请中，行人骨架关键点确定网络可以为encode-decode类型的神经网络。
行人骨架关键点确定网络包括编码器和解码器。编码器对骨干网络提取的所有特征进行编码，得到解码器的输入特征图。将输入特征图输入解码器，得到解码器输出的每一个骨架特征点的位置。
在本申请中，光流加速度计算网络被预先训练。可以预先采用以下方式对光流加速度计算网络进行训练：
利用第一训练样本集合对骨干网络和光流加速度信息生成网络进行训练，直至骨干网络的精度达到第一预设精度，光流加速度信息生成网络的精度达到第二预设精度。
第一训练样本集合中的训练样本为用于训练的监控图像序列。训练样本的标注信息包括：用于训练的监控图像序列中的当前帧监控图像中的每一个像素点的目标加速度信息。
在利用第一训练样本集合中的训练样本对骨干网络和光流加速度信息生成网络进行训练时，可以计算预测出的加速度信息与标注信息中的目标加速度信息之间的损失，然后，根据预测出的加速度信息与标注信息中的目标加速度信息之间的损失，进行反向传播，更新对骨干网络和光流加速度信息中的参数的参数值。
在骨干网络的精度达到第一预设精度，光流加速度信息生成网络的精度达到第二预设精度之后，可以固定骨干网络和光流加速度信息生成网络，利用第二训练样本集合中的训练样本即用于训练的监控图像序列对行人骨架关键点确定网络进行训练，直至行人骨架关键点确定网络的精度达到预设第三预设精度。
第二训练样本集合中的训练样本为用于训练的监控图像序列。训练样本的标注信息包括：用于训练的监控图像序列中的当前帧监控图像的目标骨架关键点热力图。
在利用第二训练样本集合中的训练样本对行人骨架关键点确定网络进行训练时，可以计算出预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的损失。然后，根据预测出的骨架关键点热力图与标注信息中的目标骨架关键点热力图之间的损失，进行反向传播，更新行人骨架关键点确定网络中的参数的参数值。
当计算预测出的骨架关键点热力图与标注结果中的骨架关键点热力图之间的损失时，可以计算预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的l2距离损失、预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的SSIM损失、预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的分类的交叉熵损失，根据计算出的l2距离损失、SSIM损失、分类的交叉熵损失，计算预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的损失。
第二训练样本的标注结果中的热力图满足预设的概率分布例如高斯分布，在标注结果中的目标骨架关键点热力图中，像素点与骨架关键点的距离越近，像素点的概率越大。SSIM损失可以描述预测出的骨架关键点热力图中的像素点的概率的概率分布与预设的概率分布的差异。
在行人骨架关键点确定网络的精度达到第三预设精度之后，利用第三训练样本集合中的训练样本即用于训练的监控图像序列再次对骨干网络和光流加速度信息生成网络进行训练，直至骨干网络的精度达到第四预设精度，光流加速度信息生成网络的精度达到第五预设精度。第四预设精度大于第一预设精度，第五预设精度大于第二预设精度。
最后，利用第四训练样本集合对光流加速度计算网络进行训练，直至整个光流加速度计算网络的精度达到第六预设精度。
第四训练样本集合中的训练样本为用于训练的监控图像序列。训练样本的标注信息包括：用于训练的监控图像序列中的当前帧监控图像中的每一个像素点的目标加速度信息、用于训练的监控图像序列中的当前帧监控图像的目标骨架关键点热力图。
在利用第四训练样本集合中的训练样本对光流加速度计算网络进行训练时，计算预测出的加速度信息与标注信息中的目标加速度信息之间的损失、预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的损失，根据预测出的光流加速度信息与标注信息中的目标光流加速度信息之间的损失、预测出的骨架关键点热力图与标注结果中的目标骨架关键点热力图之间的损失，计算出总损失，根据总损失，进行反向传播，更新骨干网络中的参数的参数值、光流加速度信息生成网络中的参数的参数值、行人骨架关键点确定网络中的参数的参数值。
在本申请中，第一训练样本集合、第二训练样本集合、第三训练样本集合、第四训练样本集合可以为同一训练样本集合。第一训练样本集合、第二训练样本集合、第三训练样本集合、第四训练样本集合也可以为不同的训练样本集合。
请参考图2，其示出了利用光流加速度计算网络计算骨架关键点的加速度信息的一个示例性流程图。
监控图像序列为行人跌倒检测网络的网络输入。监控图像序列包括当前帧监控图像和2个参考帧监控图像。
在行人跌倒检测网络中，由光流加速度计算网络接收监控图像序列。
backbone网络可以从监控图像序列中的每一个监控图像提取适用于计算当前帧监控图像的光流加速度信息、确定当前帧监控图像中的骨架关键点的特征。
光流加速度信息生成网络接收输入的backbone网络提取的所有特征，光流加速度信息生成网络针对backbone网络提取的所有特征进行解码操作，生成当前帧监控图像的光流加速度图。
行人骨架关键点确定网络可以为encode-decode类型的神经网络。行人骨架关键点确定网络包括编码器和解码器。
行人骨架关键点确定网络中的编码器针对骨干网络提取的所有特征进行编码，得到解码器的输入特征图。将行人骨架关键点确定网络中的解码器的输入特征图输入行人骨架关键点确定网络中的解码器，行人骨架关键点确定网络中的解码器输出的每一个骨架特征点的位置。行人骨架关键点确定网络可以进一步对当前帧监控图像中的所有骨架关键点进行聚类，以确定每一个骨架关键所属的行人。从而，确定当前帧监控图像中的每一个行人的所有骨架关键点。
在本申请中，行人状态判别网络被预先训练。可以预先利用行人状态判别网络的训练样本和训练样本的标注信息对行人状态判别网络进行训练。行人状态判别网络的训练样本为行人的每一个骨架关键点加速度信息，训练样本的标注信息可以为指示该行人是否处于跌倒状态的数值，例如0表示行人处于跌倒状态，1表示行人未处于跌倒状态。
在本申请中，行人状态判别网络可以包括用于分类的全连接层、检测结果生成单元。
用于分类的全连接层被配置为对于当前帧监控图像中的每一个行人，基于该行人的每一个骨架关键点的加速度信息，计算该行人的处于跌倒状态的概率。
用于分类的全连接层的激活函数可以为sigmoid函数。
对于每一个行人，该行人的所有骨架关键点加速度数值作为用于分类的全连接层的输入，用于分类的全连接层输出该行人处于跌倒状态的概率。
检测结果生成单元被配置为对于每一个行人，当该行人的处于跌倒状态的概率大于概率阈值时，生成指示该行人处于跌倒状态的检测结果；当该行人的处于跌倒状态的概率小于或等于概率阈值时，生成指示该行人未处于跌倒状态的检测结果。
请参考图3，其示出了采用本申请提供的行人跌倒检测方法进行跌倒检测的一个流程示意图。
监控图像序列为行人跌倒检测网络的网络输入。在行人跌倒检测网络中，由光流加速度计算网络接收监控图像序列。
光流加速度计算网络输出当前帧监控图像中的每一个行人的骨架关键点、光流加速度图。
根据当前帧监控图像中的每一个行人的骨架关键点、光流加速度图，可以计算出当前帧监控图像中的每一个行人的骨架关键点的加速度。
对于每一个行人，可以将该行人的多个骨架关键点中的每一个骨架关键点的加速度输入到行人状态判别网络，行人状态判别网络输出指示该行人是否处于跌倒状态的检测结果，当检测结果指示该行人处于跌倒状态时，可以进行报警。
请参考图4，其示出了本申请实施例提供的行人跌倒检测装置的结构框图。装置包括：监控图像序列获取单元401，行人跌倒检测单元402。
监控图像序列获取单元401被配置为获取监控图像序列，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像；
行人跌倒检测单元402被配置为将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，所述行人跌倒检测网络包括：光流加速度计算网络，被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定所述行人的骨架关键点；基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息；行人状态判别网络，被配置为对于所述行人，基于所述行人的骨架关键点的加速度信息，生成指示所述行人是否处于跌倒状态的检测结果。
在一些实施例中，所述骨架关键点的加速度信息包括：所述骨架关键点在水平方向的加速度、所述骨架关键点在垂直方向的加速度。
在一些实施例中，基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息包括：
基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息，其中，所述邻近区域像素点的加速度信息包括：所述邻近区域像素点在水平方向的加速度、所述邻近区域像素点在垂直方向的加速度。
在一些实施例中，以所述骨架关键点的位置为中心的邻近区域为以所述骨架关键点的位置为中心的、具有预设半径的圆形区域。
在一些实施例中，基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息包括：
计算所有邻近区域像素点在水平方向的加速度的平均值；
将所有邻近区域像素点在水平方向的加速度的平均值作为所述骨架关键点在水平方向的加速度；
计算所有邻近区域像素点在垂直方向的加速度的平均值；
将所有邻近区域像素点在垂直方向的加速度的平均值作为所述骨架关键点在垂直方向的加速度。
在一些实施例中，光流加速度计算网络包括：
骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征；
光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为光流加速度信息的光流加速度图；
行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对所述所有骨架关键点进行聚类，以确定行人的骨架关键点；
骨架关键点加速度信息计算单元，被配置为基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息。
图5是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件526被配置为执行电子设备的电源管理，一个有线或无线网络接口550被配置为将电子设备连接到网络，和一个输入输出(I/O)接口558。电子设备可以操作基于存储在存储器532的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种行人跌倒检测方法，其特征在于，所述方法包括：
获取监控图像序列，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像；
将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，所述行人跌倒检测网络包括：
光流加速度计算网络，被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定所述行人的骨架关键点；基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息；
行人状态判别网络，被配置为对于所述行人，基于所述行人的骨架关键点的加速度信息，生成指示所述行人是否处于跌倒状态的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述骨架关键点的加速度信息包括：所述骨架关键点在水平方向的加速度、所述骨架关键点在垂直方向的加速度。
3.根据权利要求2所述的方法，其特征在于，基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息包括：
基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息，其中，所述邻近区域像素点的加速度信息包括：所述邻近区域像素点在水平方向的加速度、所述邻近区域像素点在垂直方向的加速度。
4.根据权利要求3所述的方法，其特征在于，所述以所述骨架关键点的位置为中心的邻近区域为以所述骨架关键点的位置为中心的、具有预设半径的圆形区域。
5.根据权利要求3所述的方法，其特征在于，基于以所述骨架关键点的位置为中心的邻近区域中的每一个邻近区域像素点的加速度信息，计算所述骨架关键点的加速度信息包括：
计算所述邻近区域中的所有邻近区域像素点在水平方向的加速度的平均值；
将所述所有邻近区域像素点在水平方向的加速度的平均值作为所述骨架关键点在水平方向的加速度；
计算所述所有邻近区域像素点在垂直方向的加速度的平均值；
将所述所有邻近区域像素点在垂直方向的加速度的平均值作为所述骨架关键点在垂直方向的加速度。
6.根据权利要求1-5之一所述的方法，其特征在于，光流加速度计算网络包括：
骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征；
光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为所述光流加速度信息的光流加速度图；
行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对所述所有骨架关键点进行聚类，以确定行人的骨架关键点；
骨架关键点加速度信息计算单元，被配置为基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息。
7.一种行人状态识别装置，其特征在于，所述装置包括：
监控图像序列获取单元，被配置为获取监控图像序列，监控图像序列包括当前帧监控图像、至少两个参考帧监控图像；
行人跌倒检测单元，被配置为将监控图像序列输入到行人跌倒检测网络，得到当前帧监控图像中的行人的检测结果，所述行人跌倒检测网络包括：光流加速度计算网络，被配置为基于当前帧监控图像和所有参考帧监控图像，生成当前帧监控图像的光流加速度信息；对于当前帧监控图像中的行人，确定所述行人的骨架关键点；基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息；行人状态判别网络，被配置为对于所述行人，基于所述行人的骨架关键点的加速度信息，生成指示所述行人是否处于跌倒状态的检测结果。
8.根据权利要求7所述的装置，其特征在于，光流加速度计算网络包括：
骨干网络，被配置为从监控图像序列中的每一个监控图像提取特征，得到监控图像序列对应的所有特征；
光流加速度信息生成网络，被配置为基于骨干网络提取的所有特征，生成作为光流加速度信息的光流加速度图；
行人骨架关键点确定网络，被配置为基于骨干网络提取的所有特征，生成骨架关键点热力图，骨架关键点热力图描述当前帧监控图像中的每一个像素点为骨架关键点的概率；基于骨架关键点热力图，确定当前帧监控图像中的所有骨架关键点；对所述所有骨架关键点进行聚类，以确定行人的骨架关键点；
骨架关键点加速度信息计算单元，被配置为基于所述行人的骨架关键点的位置和所述光流加速度信息，计算所述行人的骨架关键点的加速度信息。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的方法。
CN202010324228.1A 2020-04-22 2020-04-22 行人跌倒检测方法、装置、电子设备及存储介质 Active CN111695404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010324228.1A CN111695404B (zh) 2020-04-22 2020-04-22 行人跌倒检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010324228.1A CN111695404B (zh) 2020-04-22 2020-04-22 行人跌倒检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111695404A CN111695404A (zh) 2020-09-22
CN111695404B true CN111695404B (zh) 2023-08-18

Family

ID=72476596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010324228.1A Active CN111695404B (zh) 2020-04-22 2020-04-22 行人跌倒检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111695404B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033523B (zh) * 2021-05-25 2021-08-17 杭州雄迈集成电路技术股份有限公司 跌倒判断模型的构建方法及系统、跌倒判断方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760861A (zh) * 2016-03-29 2016-07-13 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN106548142A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于信息熵的视频中人群突发事件检测与评估方法
CN108596028A (zh) * 2018-03-19 2018-09-28 昆明理工大学 一种基于视频录像中的异常行为检测算法
CN109670396A (zh) * 2018-11-06 2019-04-23 华南理工大学 一种室内老人跌倒检测方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006053837A1 (de) * 2006-11-14 2008-05-15 Robert Bosch Gmbh Integrierter Schaltkreis
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760861A (zh) * 2016-03-29 2016-07-13 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN106548142A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于信息熵的视频中人群突发事件检测与评估方法
CN108596028A (zh) * 2018-03-19 2018-09-28 昆明理工大学 一种基于视频录像中的异常行为检测算法
CN109670396A (zh) * 2018-11-06 2019-04-23 华南理工大学 一种室内老人跌倒检测方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法

Also Published As

Publication number Publication date
CN111695404A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN108985259B (zh) 人体动作识别方法和装置
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN108446669B (zh) 运动识别方法、装置及存储介质
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
US20170344832A1 (en) System and method for event monitoring and detection
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
CN109905675A (zh) 一种基于计算机视觉的矿山人员监控系统及方法
CN112906685B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN112634329B (zh) 一种基于时空与或图的场景目标活动预测方法及装置
CN111652181B (zh) 目标跟踪方法、装置及电子设备
Khosravi et al. Crowd emotion prediction for human-vehicle interaction through modified transfer learning and fuzzy logic ranking
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN114218992A (zh) 异常对象的检测方法及相关装置
CN111695404B (zh) 行人跌倒检测方法、装置、电子设备及存储介质
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN112613418A (zh) 基于目标活动预测的停车场管控方法、装置及电子设备
CN116740607A (zh) 视频处理方法及装置、电子设备和存储介质
CN113743293B (zh) 跌倒行为检测方法、装置、电子设备及存储介质
US20230267779A1 (en) Method and system for collecting and monitoring vehicle status information
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN111339898A (zh) 行为检测方法和装置、计算机可读存储介质、计算机设备
CN112784691A (zh) 一种目标检测模型训练方法、目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant