CN111814767B - 跌倒检测方法、装置、电子设备和存储介质 - Google Patents

跌倒检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111814767B
CN111814767B CN202010907436.4A CN202010907436A CN111814767B CN 111814767 B CN111814767 B CN 111814767B CN 202010907436 A CN202010907436 A CN 202010907436A CN 111814767 B CN111814767 B CN 111814767B
Authority
CN
China
Prior art keywords
target
current frame
detected
frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010907436.4A
Other languages
English (en)
Other versions
CN111814767A (zh
Inventor
王旭
支洪平
李小兵
胡克任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202010907436.4A priority Critical patent/CN111814767B/zh
Publication of CN111814767A publication Critical patent/CN111814767A/zh
Application granted granted Critical
Publication of CN111814767B publication Critical patent/CN111814767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种跌倒检测方法、装置、电子设备和存储介质,其中方法包括:确定待检测的当前帧;基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测。本发明实施例提供的跌倒检测方法、装置、电子设备和存储介质,提高了跌倒检测的准确性,并且无需额外增加硬件设备,扩大了跌倒检测方法的适用范围。

Description

跌倒检测方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种跌倒检测方法、装置、电子设备和存储介质。
背景技术
随着安防领域的快速发展,对于儿童和老年人等人群的跌倒检测逐渐受到重视,特别是在如电梯口、楼梯等特殊场景下,准确的跌倒检测方法能够起到很好的安全保护作用。
目前的跌倒检测方法主要包括:根据人体运动图像进行人体姿态估计,得到该图像中的人体关键点,或者利用贴在被检测者身体上的姿态传感器来获取人体关键点,从而根据当前的人体关键点的相关信息,进行跌倒条件判断,或是将人体关键点输入至分类网络中,得到该网络输出的跌倒检测结果。然而,利用姿态传感器获取人体关键点的方式需要额外的硬件成本,且适用范围窄;利用人体姿态估计方法得到人体运动图像中的人体关键点,容易出现关键点缺失或误检的情况,导致检测结果准确性欠佳。
发明内容
本发明实施例提供一种跌倒检测方法、装置、电子设备和存储介质,用以解决现有跌倒检测方法适用范围窄或者跌倒检测准确性不足的问题。
本发明实施例提供一种跌倒检测方法,包括:
确定待检测的当前帧;
基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;
所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:
基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;
基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果。
可选地,所述基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,具体包括:
将所述当前帧中每一目标的目标检测框,与所述当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到所述当前帧中每一目标对应的跟踪匹配结果。
可选地,所述将所述当前帧中每一目标的目标检测框,与所述当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到所述当前帧中每一目标对应的跟踪匹配结果,具体包括:
若所述当前帧中任一目标的目标检测框与所述当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配,则基于所述任一目标的目标检测框分别与所述多个历史目标的最新目标检测框之间的交并比,确定所述任一目标对应的跟踪匹配结果。
可选地,所述基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,之后还包括:
删除连续丢失帧数大于预设丢失帧数阈值的所述历史目标。
可选地,所述基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果,具体包括:
基于所述关键点角度变化序列和/或关键点距离变化序列,以及预设跌倒变化阈值,确定所述待检测目标的跌倒检测结果;
其中,所述预设跌倒变化阈值是基于预设的标准目标检测框面积、所述待检测目标在所述当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到的。
可选地,所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:
若任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则基于所述任一待检测目标在所述当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对所述待检测目标进行跌倒检测。
本发明实施例还提供一种跌倒检测装置,包括:
视频帧确定单元,用于确定待检测的当前帧;
目标跟踪单元,用于基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
跌倒检测单元,用于基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;
所述跌倒检测单元具体包括:
变化序列确定单元,用于基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;
跌倒检测结果确定单元,用于基于关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述跌倒检测方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述跌倒检测方法的步骤。
本发明实施例提供的跌倒检测方法、装置、电子设备和存储介质,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标,然后结合待检测目标在当前帧之前的连续多帧中的姿态信息,以及该待检测目标在当前帧中的姿态信息,对待检测目标进行跌倒检测,提高了跌倒检测的准确性,并且无需额外增加硬件设备,扩大了跌倒检测方法的适用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的跌倒检测方法的流程示意图;
图2为本发明实施例提供的跌倒检测结果确定方法的流程示意图;
图3为本发明又一实施例提供的跌倒检测方法的流程示意图;
图4为本发明实施例提供的跌倒检测装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着安防领域的快速发展,针对特殊人群或特殊场合的跌倒检测方法逐渐得到人们的重视。目前,跌倒检测方法主要包括:根据人体运动图像进行人体姿态估计,得到该图像中的人体关键点,或者利用贴在被检测者身体上的姿态传感器来获取人体关键点,从而根据当前的人体关键点的相关信息,进行跌倒条件判断,或是将人体关键点输入至分类网络中,得到该网络输出的跌倒检测结果。其中,利用姿态传感器的方式,虽然能够获取高精度的人体关键点信息,但是其适用场景容易受到限制,尤其无法适用于被检测对象不可控的场景,例如监控某地铁口是否有行人跌倒,且还会带来额外的硬件成本。而利用人体姿态估计方法得到人体运动图像中人体关键点的方式,由于处理对象为单帧图像,易出现关键点缺失或者误检的情况,导致获取的关键点信息不准确,使得这种方式得到的跌倒检测结果准确性不足。
对此,本发明实施例提供了一种跌倒检测方法。图1为本发明实施例提供的跌倒检测方法的流程示意图,如图1所示,该方法包括:
步骤110,确定待检测的当前帧;
步骤120,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
步骤130,基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,对该待检测目标进行跌倒检测。
具体地,获取拍摄的连续视频帧,确定其中需要进行跌倒检测的当前帧。为了确定当前帧中包含的行人,需要对当前帧进行目标检测,确定其中包含的所有目标,此处,目标即为当前帧中的行人。然后基于当前帧之前的连续多帧中所出现过的历史目标,对当前帧中的每个目标进行目标跟踪匹配,并将跟踪匹配成功的目标作为待检测目标。其中,若当前帧中任一目标跟踪匹配成功,表明当前帧中所出现的该目标在之前的连续多帧中也出现过,因而可以将其作为待检测目标,进行下一步的跌倒检测。若当前帧中任一目标未跟踪匹配成功,则表明该目标为首次出现的新目标,由于此时该目标的姿态信息不足,因此可以暂不对其进行跌倒检测,而是保存该目标在当前帧中的姿态信息,以供后续帧进行跌倒检测。
随即,对当前帧中的目标进行人体姿态估计,得到包括待检测目标在内的每一目标在当前帧中的姿态信息。此处,任一目标的姿态信息为能够表明该目标姿态的若干个关键点信息,例如髋关节中心点、肩关节中心点以及足部点等。
考虑到单帧图像中容易出现人体关键点缺失或是误检等情况,仅靠单帧图像中的关键点信息判定该图像中的行人是否跌倒,容易造成漏报或误报。因此,本发明实施例在对当前帧中的目标进行目标跟踪匹配之后,将当前帧及其之前的连续多帧中出现的同一目标联系起来并作为待检测目标,从而可以结合待检测目标在当前帧之前的连续多帧中的姿态信息,以及该待检测目标在当前帧中的姿态信息,确定该待检测目标的姿态变化信息,充分利用人体在跌倒过程中对应的人体姿态变化较大这一特点,判定该目标是否跌倒。此处,待检测目标在当前帧之前的连续多帧中的姿态信息序列包括该待检测目标在之前连续多帧中出现时,对其进行人体姿态估计确定得到的姿态信息。由于跌倒检测的判定基准为待检测目标在之前的连续多帧直至当前帧的姿态变化信息,即使中间有个别帧存在关键点缺失或误检的问题,也不会影响最终的跌倒检测结果的准确性。
可选地,为了便于获取任一待检测目标在当前帧之前的连续多帧中的姿态信息,可以将连续多帧中出现的所有历史目标的姿态信息存储到姿态字典中,其中字典键值key和value分别为历史目标以及该历史目标在连续多帧中每次出现时的姿态信息。例如,可以存储成如下形式:
Figure 448498DEST_PATH_IMAGE002
其中,1,…,n为当前帧之前的连续多帧的帧序号,A、B、C和D为连续多帧中出现过 的所有历史目标,
Figure 427955DEST_PATH_IMAGE003
(i∈{A,B,C,D},j∈[1,n])为历史目标i在第j帧中出现时的姿 态信息,
Figure 207692DEST_PATH_IMAGE004
Figure 166683DEST_PATH_IMAGE005
为姿态信息中的m个关键点信息。
在此基础上,对于待检测目标,例如A,可以直接在姿态字典中获取该检测目标在 之前连续多帧中的姿态信息,即
Figure 981056DEST_PATH_IMAGE006
此外,对于当前帧中跟踪匹配成功的目标,可以将其在当前帧中的姿态信息添加到姿态字典中该目标对应的姿态信息的最后,对于当前帧中跟踪匹配不成功的目标,表明其为当前帧中新出现的目标,可以在姿态字典中新增一个key-value对,存储该目标在当前帧中的姿态信息,以供后续帧进行跌倒检测。
本发明实施例提供的方法,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标,然后结合待检测目标在当前帧之前的连续多帧中的姿态信息,以及该待检测目标在当前帧中的姿态信息,对待检测目标进行跌倒检测,提高了跌倒检测的准确性,并且无需额外增加硬件设备,扩大了跌倒检测方法的适用范围。
基于上述实施例,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,具体包括:
将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果。
具体地,由于目标在跌倒过程中可能存在运动模糊、部分遮挡或者形体变化过大等情形,因此会导致在个别帧中检测不到该目标,待目标稳定后,又会重新被检测到,即可能存在当前帧之前丢失、又在当前帧中再出现的目标。由于该目标也曾在当前帧之前的连续多帧中出现过,只是由于目标检测算法的原因导致部分帧中检测不到该目标,因此,当该目标再次在当前帧中出现时,应当将其与之前连续多帧中检测到的同一目标重新建立起联系,然后利用其在之前连续多帧中的姿态信息序列进行跌倒检测,以避免漏检。
为了将当前帧之前丢失、又在当前帧中再出现的目标与之前连续多帧中检测到的同一目标建立联系,在对当前帧的目标进行目标跟踪匹配时,需要将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果。其中,任一历史目标的最新目标检测框为该历史目标在之前连续多帧中,最近一次被检测到的目标检测框。如此一来,即使某一目标在之前连续多帧中丢失,当其在当前帧中再次出现时,可以将其与每一历史目标的最新目标检测框进行匹配,使得该目标在丢失前最后一次被检测到的目标检测框与该目标在当前帧中的目标检测框能够跟踪匹配成功,从而将当前帧中再出现的该目标与之前连续多帧中检测到的同一目标建立联系,以便获得该目标在之前连续多帧中的姿态信息序列。
可选地,为了便于目标跟踪匹配,可以将连续多帧中出现的所有历史目标的目标检测框存储到目标位置字典中,其中字典键值key和value分别为历史目标以及该历史目标在连续多帧中每次被检测到的目标检测框。例如,可以存储成如下形式:
Figure 803518DEST_PATH_IMAGE008
其中,1,…,n为当前帧之前的连续多帧的帧序号,A、B、C和D为连续多帧中出现过 的所有历史目标,
Figure 132868DEST_PATH_IMAGE009
为历史目标i在第j帧中被 检测到的目标检测框。
需要说明的是,目标位置字典与姿态字典是一一对应的。
在此基础上,在对当前帧中的每一目标进行目标跟踪匹配时,可以将每一目标与 目标位置字典中每一历史目标最后一个目标检测框(即最新目标检测框)相匹配,例如
Figure 331769DEST_PATH_IMAGE010
Figure 62964DEST_PATH_IMAGE011
。其中,历史目标B和C分别在第n帧和第n-1帧丢 失,若其在当前帧中再次出现,在进行目标匹配跟踪时,即可将历史目标B和C与当前帧中再 次出现的目标B和C重新匹配成功。
此外,对于当前帧中跟踪匹配成功的目标,可以将其在当前帧中的目标检测框添加到目标位置字典中该目标对应的目标检测框的最后,对于当前帧中跟踪匹配不成功的目标,表明其为当前帧中新出现的目标,可以在目标位置字典中新增一个key-value对,存储该目标在当前帧中的目标检测框,以供后续帧进行目标跟踪匹配。
本发明实施例提供的方法,将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果,能够将当前帧之前丢失、又在当前帧中再出现的目标与之前连续多帧中检测到的同一目标重新建立联系,从而可以对其进行跌倒检测,进一步提高了跌倒检测的准确性。
基于上述任一实施例,将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果,具体包括:
若当前帧中任一目标的目标检测框与当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配,则基于该目标的目标检测框分别与多个历史目标的最新目标检测框之间的交并比,确定该目标对应的跟踪匹配结果。
具体地,在对当前帧中的任一目标进行目标跟踪匹配时,可能会出现该目标同时与多个历史目标的最新目标检测框匹配。例如,在之前的连续多帧中,存在两个体型类似且距离较近的历史目标At-1和Bt-1,然而在当前帧中,由于历史目标Bt-1被遮挡或者运动模糊导致该历史目标在当前帧中未被检测到。因而在对当前帧中的目标At进行目标跟踪匹配时,历史目标At-1能与其匹配成功,而由于在当前帧中未检测到目标Bt,导致历史目标Bt-1与当前帧的目标At的匹配度较高,使得历史目标Bt-1也会与当前帧的目标At匹配成功。
为了正确选择出当前帧中任一目标真正匹配的历史目标,可以基于该目标的目标检测框分别与匹配的多个历史目标的最新目标检测框之间的交并比,选择交并比最大的历史目标作为该目标真正匹配的历史目标。若该目标的目标检测框与多个历史目标的最新目标检测框之间的交并比相同,表明该多个历史目标的最新目标检测框大小相同,也意味着该多个历史目标的形体、姿态和位置均基本一致。此时,可以随机选择其中一个历史目标作为该目标真正匹配的历史目标。
本发明实施例提供的方法,在当前帧中任一目标的目标检测框与当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配时,基于该目标的目标检测框分别与多个历史目标的最新目标检测框之间的交并比,确定该目标对应的跟踪匹配结果,去除了误匹配的历史目标,提高了目标跟踪匹配的准确性。
基于上述任一实施例,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,之后还包括:
删除连续丢失帧数大于预设丢失帧数阈值的所述历史目标。
具体地,对于当前帧之前的连续多帧中已经消失较长时间的历史目标,可以认定该历史目标不会再次出现。此时,可以将该历史目标及其对应的数据删除,以节约资源,同时避免在进行目标跟踪匹配时,继续将当前帧中的目标与该历史目标进行匹配,从而提高匹配效率。为了判断任一历史目标是否已经消失较长时间,可以记录每一历史目标的连续丢失帧数。其中,任一历史目标的连续丢失帧数可以表明直至当前帧为止,该历史目标连续匹配失败的次数。例如,若历史目标E在第1至n-14帧中均匹配成功,但在第n-13、第n-12、…、第n帧以及当前帧中均匹配失败,则历史目标E的连续丢失帧数为15。需要说明的是,若历史目标在某一帧中匹配成功,则其连续丢失帧数应当清零。若任一历史目标的连续丢失帧数大于预设丢失帧数阈值,则表明其已消失较长时间,可以将其删除。其中,预设丢失帧数阈值可以根据实际应用场景进行设定,例如15,本发明实施例对此不作具体限定。
可选地,为了便于获取每一历史目标的连续丢失帧数,可以将连续多帧中出现的所有历史目标对应的连续丢失帧数存储到丢失帧数字典中,其中key为历史目标,value为该历史目标的连续丢失帧数。例如,可以存储成如下形式:
Figure 56328DEST_PATH_IMAGE012
其中,A、B、C和D为连续多帧中出现过的所有历史目标,直至当前帧为止,A的连续丢失帧数为0,代表当前帧中成功匹配到历史目标A;B和C的连续丢失帧数均大于1,代表历史目标B和C在当前帧之前的连续多帧中出现过,但在当前帧中匹配失败;D的连续丢失帧数为null,代表目标D为当前帧中出现的新目标。
若任一历史目标的连续丢失帧数大于预设丢失帧数阈值,则删除该历史目标及其对应数据,例如删除姿态字典、目标位置字典和丢失帧数字典中该目标对应的姿态信息序列、目标检测框序列和连续丢失帧数。
基于上述任一实施例,图2为本发明实施例提供的跌倒检测结果确定方法的流程示意图,如图2所示,步骤130具体包括:
步骤131,基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,确定该待检测目标的关键点角度变化序列和/或关键点距离变化序列。
具体地,获取任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,利用待检测目标在当前帧及其之前的连续多帧中的姿态信息中的关键点信息,确定该待检测目标的关键点角度变化序列和/或关键点距离变化序列。其中,关键点角度变化序列可以表征该待检测目标躯体的弯曲程度,关键点距离变化序列可以表征该待检测目标的运动速度。
可选地,基于待检测目标在当前帧及其之前的连续多帧中的姿态信息,可以确定待检测目标在当前帧以及当前帧之前的连续多帧中的关键点角度和/或关键点距离,从而求取该待检测目标在当前帧之前的连续多帧中的关键点角度和/或关键点距离,与该待检测目标在当前帧中的关键点角度和/或关键点距离间的差值,得到该待检测目标的关键点角度变化序列和/或关键点距离变化序列。
例如,对于待检测目标A,基于其在当前帧中的姿态信息中的关键点信息,确定其在当前帧中的关键点角度a和/或关键点距离d,基于其在当前帧之前的连续多帧中的姿态信息序列中的关键点信息,确定其在之前连续多帧中的关键点角度[a1,a2,a3,a4,a5,a6]和/或关键点距离[d1,d2,d3,d4,d5,d6]。然后,计算待检测目标在当前帧中的关键点角度和/或关键点距离,以及该待检测目标在当前帧之前的连续多帧中的关键点角度和/或关键点距离间的差值,即[|a1-a|,|a2-a|,|a3-a|,|a4-a|,|a5-a|,|a6-a|],和/或[|d1-d|,|d2-d|,|d3-d|,|d4-d|,|d5-d|,|d6-d|],作为该待检测目标的关键点角度变化序列和/或关键点距离变化序列。
进一步地,可以基于姿态信息中的关键点信息,确定多条关键点连线,从而求取各关键点连线之间夹角的平均值,作为关键点角度,和/或,求取各关键点连线长度的平均值,作为关键点距离。可选地,可以选取肩关节中心点、左髋关节点、右髋关节点、左脚点和右脚点作为关键点,然后确定肩关节中心点与左髋关节点的连线l1、肩关节中心点与右髋关节点的连线l2、左髋关节点与左脚点的连线l3以及右髋关节点与右脚点的连线l4。再计算l1与l3之间的夹角以及l2与l4之间的夹角的平均值,作为关键点角度;和/或,计算l1、l2、l3以及l4长度的平均值,作为关键点距离。
步骤132,基于关键点角度变化序列和/或关键点距离变化序列,确定该待检测目标的跌倒检测结果。
具体地,基于关键点角度变化序列和/或关键点距离变化序列,即可确定该待检测目标的跌倒检测结果。其中,待检测目标的跌倒检测结果用于表示该待检测目标是否跌倒。
此处,可以仅基于该待检测目标的关键点角度变化序列,判断关键点角度变化序列中是否存在半数以上的关键点角度变化较大,若超过半数以上的关键点角度变化较大,则表明该待检测目标的跌倒检测结果为跌倒;也可以仅基于该待检测目标的关键点距离变化序列,判断关键点距离变化序列中是否存在半数以上的关键点距离变化较大,若超过半数以上的关键点距离变化较大,则表明该待检测目标的跌倒检测结果为跌倒;还可以预先设置关键点角度变化序列和关键点距离变化序列的权重,将关键点角度变化序列以及关键点距离变化序列一一进行加权求和,得到姿态总体变化序列,进而判断姿态总体变化序列中是否存在半数以上的姿态总体变化较大,若超过半数以上的姿态总体变化较大,则表明该待检测目标的跌倒检测结果为跌倒。如此一来,即使部分帧中检测到的关键点信息不准确,也不会影响最终的跌倒检测结果的准确性。
例如,该待检测目标的关键点角度变化序列和关键点距离变化序列分别为[|a1-a|,|a2-a|,|a3-a|,|a4-a|,|a5-a|,|a6-a|]和[|d1-d|,|d2-d|,|d3-d|,|d4-d|,|d5-d|,|d6-d|],据此可以确定姿态总体变化序列为
Figure 810657DEST_PATH_IMAGE013
其中, β和γ分别为关键点角度变化序列和关键点距离变化序列的权重。
本发明实施例提供的方法,基于任一待检测目标的关键点角度变化序列和/或关键点距离变化序列,确定该待检测目标的跌倒检测结果,进一步提高了跌倒检测的准确性。
随着目标的移动,某些目标会逐渐远离摄像头,于是在视频帧中的占比会越来越小,而某些目标会逐渐靠近摄像头,于是在视频帧中的占比会越来越大。在此基础上,靠近摄像头的目标跌倒时的姿态变化幅度较大,而远离摄像头的目标跌倒时的姿态变化幅度较小。因此,若是在进行跌倒检测时,对所有待检测目标设置相同的跌倒判定阈值,会大幅降低跌倒检测的准确性。
对此,基于上述任一实施例,步骤132具体包括:
基于关键点角度变化序列和/或关键点距离变化序列,以及预设跌倒变化阈值,确定待检测目标的跌倒检测结果;
其中,预设跌倒变化阈值是基于预设的标准目标检测框面积、待检测目标在当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到的。
具体地,若仅基于关键点角度变化序列以及预设跌倒变化阈值,确定待检测目标的跌倒检测结果,则此时的预设跌倒变化阈值是基于预设的标准目标检测框面积、该待检测目标在当前帧中的目标检测框面积,以及标准角度变化差值确定得到的。此处,预设跌倒变化阈值为该待检测目标对应的角度变化阈值。预设的标准目标检测框面积和标准角度变化差值是根据实验数据得到的标准条件下的目标检测框面积,以及该目标检测框对应的目标跌倒时对应的角度变化差值。基于标准目标检测框面积和待检测目标在当前帧中的目标检测框面积之间的比例关系,以及标准角度变化差值,可以确定该待检测目标对应的预设跌倒变化阈值。例如,可采用如下公式计算该待检测目标对应的预设跌倒变化阈值:
Figure 609986DEST_PATH_IMAGE014
其中,R为预设跌倒变化阈值,Area为预设的标准目标检测框面积,area为待检测目标在当前帧中的目标检测框面积,Han为标准角度变化差值。
若仅基于关键点距离变化序列以及预设跌倒变化阈值,确定待检测目标的跌倒检测结果,则此时的预设跌倒变化阈值是基于预设的标准目标检测框面积、该待检测目标在当前帧中的目标检测框面积,以及标准距离变化差值确定得到的。此处,预设跌倒变化阈值为该待检测目标对应的距离变化阈值。标准角度变化差值是根据实验数据得到的标准目标检测框对应的目标跌倒时对应的距离变化差值。基于标准目标检测框面积和待检测目标在当前帧中的目标检测框面积之间的比例关系,以及标准距离变化差值,可以确定该待检测目标对应的预设跌倒变化阈值。例如,可采用如下公式计算该待检测目标对应的预设跌倒变化阈值:
Figure DEST_PATH_IMAGE015
其中,R为预设跌倒变化阈值,Area为预设的标准目标检测框面积,area为待检测目标在当前帧中的目标检测框面积,Hdis为标准距离变化差值。
若基于关键点角度变化序列和关键点距离变化序列,以及预设跌倒变化阈值,确定待检测目标的跌倒检测结果,则此时的预设跌倒变化阈值是基于预设的标准目标检测框面积、该待检测目标在当前帧中的目标检测框面积、标准角度变化差值和标准距离变化差值确定得到的。可选地,可以基于标准角度变化差值和标准距离变化差值,确定标准总体变化差值,例如,将标准角度变化差值和标准距离变化差值进行加权求和,得到标准总体变化差值,或者直接根据先验知识设定标准总体变化差值,本发明实施例对此不作具体限定。然后,基于标准目标检测框面积和待检测目标在当前帧中的目标检测框面积之间的比例关系,以及标准总体变化差值,可以确定该待检测目标对应的预设跌倒变化阈值。例如,可采用如下公式计算该待检测目标对应的预设跌倒变化阈值:
Figure 694223DEST_PATH_IMAGE016
其中,R为预设跌倒变化阈值,Area为预设的标准目标检测框面积,area为待检测目标在当前帧中的目标检测框面积,H为标准总体变化差值。
本发明实施例提供的方法,基于预设的标准目标检测框面积、所述待检测目标在所述当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到预设跌倒变化阈值,动态设置每一待检测目标对应的预设跌倒变化阈值,进一步提高了跌倒检测的准确性。
基于上述任一实施例,步骤130具体包括:
若任一待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则基于所述任一待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对待检测目标进行跌倒检测。
具体地,为了进一步提高跌倒检测的准确性,在对任一待检测目标进行跌倒检测之前,首先判断该待检测目标在当前帧及其之前的连续多帧中的姿态信息数量是否超过预设数量阈值。若超过,则表明该待检测目标的可用姿态信息充足,即使部分姿态信息中的关键点信息存在缺失或错误,也可以基于其他正确的关键点信息进行跌倒检测,而不会对最终的跌倒检测结果产生不良影响,故可以对其进行跌倒检测;否则,表明该待检测目标的可用姿态信息不足,一旦姿态信息中存在关键点信息不准确的情形,容易导致该待检测目标的跌倒检测结果出现错误,故此时不宜对其进行跌倒检测。
因此,若判断得知该待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则可以选取该待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对待检测目标进行跌倒检测。
本发明实施例提供的方法,在任一待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值时,基于该待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对待检测目标进行跌倒检测,提高了跌倒检测的准确性。
基于上述任一实施例,图3为本发明又一实施例提供的跌倒检测方法的流程示意图,如图3所示,该方法包括:
首先,对当前帧进行目标检测,获取当前帧中每一目标的目标检测框;
然后,基于当前帧之前的连续多帧,对当前帧中每一目标进行目标跟踪匹配。具体而言,将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果,并将跟踪匹配成功的若干个目标作为待检测目标。其中,若当前帧中任一目标的目标检测框与当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配,则基于该目标的目标检测框分别与多个历史目标的最新目标检测框之间的交并比,确定该目标对应的跟踪匹配结果。
目标跟踪匹配完成后,删除连续丢失帧数大于预设丢失帧数阈值的历史目标。
随即,对当前帧中的每一目标进行人体姿态估计,并获取待检测目标在当前帧中的姿态信息。
此时,若任一待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则获取该待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,以供后续对该待检测目标进行跌倒检测;否则,判断下一个待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值。
然后,基于该待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,确定该待检测目标的关键点角度变化序列和关键点距离变化序列。
随即,基于关键点角度变化序列和关键点距离变化序列,确定姿态总体变化序列,从而判断姿态总体变化序列中是否存在半数以上的姿态总体变化超过预设跌倒变化阈值,进而确定待检测目标的跌倒检测结果,然后判断下一个待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,直至处理完当前帧中的待检测目标,再进行下一帧的跌倒检测。其中,预设跌倒变化阈值是基于预设的标准目标检测框面积、待检测目标在当前帧中的目标检测框面积,以及标准总体变化差值确定得到的。
下面对本发明实施例提供的跌倒检测装置进行描述,下文描述的跌倒检测装置与上文描述的跌倒检测方法可相互对应参照。
基于上述任一实施例,图4为本发明实施例提供的跌倒检测装置的结构示意图,如图4所示,该装置包括视频帧确定单元410、目标跟踪单元420和跌倒检测单元430。
其中,视频帧确定单元410用于确定待检测的当前帧;
目标跟踪单元420用于基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
跌倒检测单元430用于基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,对该待检测目标进行跌倒检测。
本发明实施例提供的装置,基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标,然后结合待检测目标在当前帧之前的连续多帧中的姿态信息,以及该待检测目标在当前帧中的姿态信息,对待检测目标进行跌倒检测,提高了跌倒检测的准确性,并且无需额外增加硬件设备,扩大了跌倒检测方法的适用范围。
基于上述任一实施例,目标跟踪单元420具体用于:
将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果。
本发明实施例提供的装置,将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果,能够将当前帧之前丢失、又在当前帧中再出现的目标与之前连续多帧中检测到的同一目标重新建立联系,从而可以对其进行跌倒检测,进一步提高了跌倒检测的准确性。
基于上述任一实施例,将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果,具体包括:
若当前帧中任一目标的目标检测框与当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配,则基于该目标的目标检测框分别与多个历史目标的最新目标检测框之间的交并比,确定该目标对应的跟踪匹配结果。
本发明实施例提供的装置,在当前帧中任一目标的目标检测框与当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配时,基于该目标的目标检测框分别与多个历史目标的最新目标检测框之间的交并比,确定该目标对应的跟踪匹配结果,去除了误匹配的历史目标,提高了目标跟踪匹配的准确性。
基于上述任一实施例,该装置中,还包括历史目标删除单元,历史目标删除单元具体用于:
在基于当前帧之前的连续多帧,对当前帧中的每一目标进行目标跟踪匹配之后,删除连续丢失帧数大于预设丢失帧数阈值的所述历史目标。
基于上述任一实施例,跌倒检测单元430具体包括:
变化序列确定单元,用于基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,确定该待检测目标的关键点角度变化序列和/或关键点距离变化序列;
跌倒检测结果确定单元,用于基于关键点角度变化序列和/或关键点距离变化序列,确定该待检测目标的跌倒检测结果。
本发明实施例提供的装置,基于任一待检测目标的关键点角度变化序列和/或关键点距离变化序列,确定该待检测目标的跌倒检测结果,进一步提高了跌倒检测的准确性。
基于上述任一实施例,跌倒检测结果确定单元,具体用于:
基于关键点角度变化序列和/或关键点距离变化序列,以及预设跌倒变化阈值,确定待检测目标的跌倒检测结果;
其中,预设跌倒变化阈值是基于预设的标准目标检测框面积、待检测目标在当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到的。
本发明实施例提供的装置,基于预设的标准目标检测框面积、所述待检测目标在所述当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到预设跌倒变化阈值,动态设置每一待检测目标对应的预设跌倒变化阈值,进一步提高了跌倒检测的准确性。
基于上述任一实施例,跌倒检测单元430具体用于:
若任一待检测目标在当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则基于该待检测目标在当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对待检测目标进行跌倒检测。
本发明实施例提供的装置,在任一待检测目标在当前帧之前的连续多帧中的姿态信息序列长度超过预设数量阈值时,基于姿态信息序列中最新的预设数量阈值个姿态信息,以及待检测目标在当前帧中的姿态信息,对待检测目标进行跌倒检测,提高了跌倒检测的准确性。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行跌倒检测方法,该方法包括:确定待检测的当前帧;基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的跌倒检测方法,该方法包括:确定待检测的当前帧;基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果。
又一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的跌倒检测方法,该方法包括:确定待检测的当前帧;基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种跌倒检测方法,其特征在于,包括:
确定待检测的当前帧;
基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;
所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:
基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;
基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果;
所述基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,具体包括:
将所述当前帧中每一目标的目标检测框,与所述当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到所述当前帧中每一目标对应的跟踪匹配结果;
其中,任一历史目标的最新目标检测框为所述任一历史目标在之前连续多帧中,最近一次被检测到的目标检测框。
2.根据权利要求1所述的跌倒检测方法,其特征在于,所述将所述当前帧中每一目标的目标检测框,与所述当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到所述当前帧中每一目标对应的跟踪匹配结果,具体包括:
若所述当前帧中任一目标的目标检测框与所述当前帧之前的连续多帧中出现的多个历史目标的最新目标检测框匹配,则基于所述任一目标的目标检测框分别与所述多个历史目标的最新目标检测框之间的交并比,确定所述任一目标对应的跟踪匹配结果。
3.根据权利要求1所述的跌倒检测方法,其特征在于,所述基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,之后还包括:
删除连续丢失帧数大于预设丢失帧数阈值的所述历史目标。
4.根据权利要求1所述的跌倒检测方法,其特征在于,所述基于所述关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果,具体包括:
基于所述关键点角度变化序列和/或关键点距离变化序列,以及预设跌倒变化阈值,确定所述待检测目标的跌倒检测结果;
其中,所述预设跌倒变化阈值是基于预设的标准目标检测框面积、所述待检测目标在所述当前帧中的目标检测框面积,以及标准角度变化差值和/或标准距离变化差值确定得到的。
5.根据权利要求1至4任一项所述的跌倒检测方法,其特征在于,所述基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测,具体包括:
若任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息数量超过预设数量阈值,则基于所述任一待检测目标在所述当前帧及其之前的连续多帧中最新的预设数量阈值个姿态信息,对所述待检测目标进行跌倒检测。
6.一种跌倒检测装置,其特征在于,包括:
视频帧确定单元,用于确定待检测的当前帧;
目标跟踪单元,用于基于所述当前帧之前的连续多帧,对所述当前帧中的每一目标进行目标跟踪匹配,将跟踪匹配成功的若干个目标作为待检测目标;
跌倒检测单元,用于基于任一待检测目标在所述当前帧及其之前的连续多帧中的姿态信息,对所述任一待检测目标进行跌倒检测;
所述跌倒检测单元具体包括:
变化序列确定单元,用于基于任一待检测目标在当前帧及其之前的连续多帧中的姿态信息,确定所述任一待检测目标的关键点角度变化序列和/或关键点距离变化序列;
跌倒检测结果确定单元,用于基于关键点角度变化序列和/或关键点距离变化序列,确定所述任一待检测目标的跌倒检测结果;
目标跟踪单元具体用于:
将当前帧中每一目标的目标检测框,与当前帧之前的连续多帧中出现的每一历史目标的最新目标检测框进行匹配,得到当前帧中每一目标对应的跟踪匹配结果;
其中,任一历史目标的最新目标检测框为所述任一历史目标在之前连续多帧中,最近一次被检测到的目标检测框。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述跌倒检测方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述跌倒检测方法的步骤。
CN202010907436.4A 2020-09-02 2020-09-02 跌倒检测方法、装置、电子设备和存储介质 Active CN111814767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010907436.4A CN111814767B (zh) 2020-09-02 2020-09-02 跌倒检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010907436.4A CN111814767B (zh) 2020-09-02 2020-09-02 跌倒检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111814767A CN111814767A (zh) 2020-10-23
CN111814767B true CN111814767B (zh) 2021-02-05

Family

ID=72860103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010907436.4A Active CN111814767B (zh) 2020-09-02 2020-09-02 跌倒检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111814767B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115909503B (zh) * 2022-12-23 2023-09-29 珠海数字动力科技股份有限公司 一种基于人体关键点的跌倒检测方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108582B2 (en) * 2014-06-26 2018-10-23 Tata Consultancy Services Limited Detecting an event from time-series data sequences
CN107103733B (zh) * 2017-07-06 2019-07-02 司马大大(北京)智能系统有限公司 一种摔倒报警方法、装置及设备
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN111161320B (zh) * 2019-12-30 2023-05-19 浙江大华技术股份有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读介质

Also Published As

Publication number Publication date
CN111814767A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
EP2858008B1 (en) Target detecting method and system
CN113284168A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN112215156B (zh) 一种视频监控中的人脸抓拍方法及系统
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
CN108960211A (zh) 一种多目标人体姿态检测方法以及系统
JP2009015827A (ja) 物体追跡方法、物体追跡システム、及び物体追跡プログラム
CN103679742B (zh) 对象跟踪方法和装置
JP6265499B2 (ja) 特徴量抽出装置及び場所推定装置
JP6280020B2 (ja) 移動物体追跡装置
CN112651997A (zh) 地图构建方法、电子设备和存储介质
CN111241928B (zh) 人脸识别底库优化方法、系统、设备、可读存储介质
CN111814767B (zh) 跌倒检测方法、装置、电子设备和存储介质
CN117670939B (zh) 多相机的多目标跟踪方法、装置、存储介质及电子设备
WO2020007156A1 (zh) 人体识别方法、装置及存储介质
CN111402429B (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
KR102107177B1 (ko) 영상의 장면전환 검출 방법 및 장치
CN116843726A (zh) 行人轨迹的跟踪方法及装置、电子设备及存储介质
WO2005048196A2 (en) Object tracking within video images
CN115063443A (zh) 一种实时多目标跟踪方法及系统
CN109670470B (zh) 行人关系识别方法、装置、系统及电子设备
CN113847907A (zh) 定位方法及装置、设备、存储介质
CN115880776B (zh) 关键点信息的确定方法和离线动作库的生成方法、装置
WO2023184197A1 (zh) 目标跟踪方法、装置、系统及存储介质
CN118314162B (zh) 一种面向时序性稀疏重建的动态视觉slam方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant