CN113743292B - 基于视频序列的活动能力评估方法、装置、介质及设备 - Google Patents

基于视频序列的活动能力评估方法、装置、介质及设备 Download PDF

Info

Publication number
CN113743292B
CN113743292B CN202111025835.9A CN202111025835A CN113743292B CN 113743292 B CN113743292 B CN 113743292B CN 202111025835 A CN202111025835 A CN 202111025835A CN 113743292 B CN113743292 B CN 113743292B
Authority
CN
China
Prior art keywords
active link
video
link
walking
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111025835.9A
Other languages
English (en)
Other versions
CN113743292A (zh
Inventor
邓玥琳
李驰
刘岩
杨颜如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202111025835.9A priority Critical patent/CN113743292B/zh
Publication of CN113743292A publication Critical patent/CN113743292A/zh
Application granted granted Critical
Publication of CN113743292B publication Critical patent/CN113743292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例提供了一种基于视频序列的活动能力评估方法、基于视频序列的活动能力评估装置、计算机可读介质及电子设备，涉及图像处理技术领域，该方法包括：对获取到的视频文件进行解码，得到多个视频帧；对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。可见，实施本申请的技术方案，可以提升评估效率，降低评估结果的主观性。

Description

基于视频序列的活动能力评估方法、装置、介质及设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种基于视频序列的活动能力评估方法、基于视频序列的活动能力评估装置、计算机可读介质及电子设备。
背景技术
在医养服务场景下，养老院通常会配备专业的老年人能力评估师通过对日常生活中的自理能力、日常语言交流能力、身体的精神状态、感知觉等各方面的综合情况来评估老人的身体能力等级，基于评估老人的身体能力等级个性化安排老人的养老生活。但是，这样会存在人工评估效率较低且评估结果主观性过强的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种基于视频序列的活动能力评估方法、基于视频序列的活动能力评估装置、计算机可读介质及电子设备，可以提升评估效率，降低评估结果的主观性。
本公开实施例的第一方面提供了一种基于视频序列的活动能力评估方法，包括：
对获取到的视频文件进行解码，得到多个视频帧；
对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；
根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；
将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估；
根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
根据本公开实施例的第二方面，提供一种基于视频序列的活动能力评估装置，上述装置包括：
视频帧获取单元，用于对获取到的视频文件进行解码，得到多个视频帧；
骨骼关键点检测单元，用于对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；
活动环节划分单元，用于根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；
模型输入单元，用于将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估；
评估结果生成单元，用于根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
根据本公开实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例中第一方面的基于视频序列的活动能力评估方法。
根据本公开实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述实施例中第一方面的基于视频序列的活动能力评估方法。
根据本申请的第五方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
在本公开的一些实施例所提供的技术方案，具体包括：对获取到的视频文件进行解码，得到多个视频帧；对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估；根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。实施本公开的实施例，一方面，可以提升评估效率，降低评估结果的主观性。另一方面，可以将录制的用于评估用户活动能力的视频文件作为评估依据，进而检测骨骼关键点以基于骨骼关键点评价用户活动能力，可以实现标准化的用户活动能力评估，提升评估效率和评估精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了可以应用本公开实施例的一种基于视频序列的活动能力评估方法及基于视频序列的活动能力评估装置的示例性系统架构的示意图；
图2示意性示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的基于视频序列的活动能力评估方法的流程图；
图4示意性示出了根据本公开的一个实施例的骨骼关键点集合示意图；
图5示意性示出了根据本公开的另一个实施例的骨骼关键点集合示意图；
图6示意性示出了根据本公开的一个实施例中的活动环节示意图；
图7示意性示出了根据本公开的一个实施例的对应于一种行走等级的视频文件的关键帧示意图；
图8示意性示出了根据本公开的一个实施例的对应于另一种行走等级的视频文件的关键帧示意图；
图9示意性示出了根据本公开的一个实施例中的用于处理各活动环节的骨骼关键点集合的架构示意图；
图10示意性示出了根据本公开的一个实施例的实现基于视频序列的活动能力评估方法的模块结构示意图；
图11示意性示出了根据本公开的一个实施例的实现基于视频序列的活动能力评估方法的模块结构示意图；
图12示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法的架构示意图；
图13示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法所应用的评估场景图；
图14示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法所应用的产品架构图；
图15示意性示出了根据本公开的一个实施例的基于视频序列的活动能力评估方法的流程图；
图16示意性示出了根据本公开的一个实施例中的基于视频序列的活动能力评估装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种基于视频序列的活动能力评估方法及基于视频序列的活动能力评估装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。其中，服务器105用于执行：对获取到的视频文件进行解码，得到多个视频帧；对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估；根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从储存部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在(RAM)203中，还存储有系统操作所需的各种程序和数据。(CPU)201、(ROM)202以及(RAM)203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至(I/O)接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至(I/O)接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3所示的各个步骤等。
本示例实施方式提供了一种基于视频序列的活动能力评估方法，参考图3所示，该基于视频序列的活动能力评估方法可以包括以下步骤S310至步骤S350，具体地：
步骤S310：对获取到的视频文件进行解码，得到多个视频帧。
步骤S320：对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合。
步骤S330：根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
步骤S340：将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估。
步骤S350：根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
实施图3所示的基于视频序列的活动能力评估方法，可以提升评估效率，降低评估结果的主观性。此外，可以将录制的用于评估用户活动能力的视频文件作为评估依据，进而检测骨骼关键点以基于骨骼关键点评价用户活动能力，可以实现标准化的用户活动能力评估，提升评估效率和评估精度。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，对获取到的视频文件进行解码，得到多个视频帧。
具体地，视频文件可以是用于评价用户平地行走能力的视频，该视频文件是由用户处于静坐状态时开始录制，在用户完成站立、行走至目的地、转身、行走回到起始并回到静坐状态之后结束录制。
其中，对获取到的视频文件进行解码，得到多个视频帧，包括：依据预设的每秒传输帧数(Frames Per Second，FPS)进行解码，得到多个视频帧，预设的每秒传输帧数可以为任一整数(如，5)。其中，FPS是指画面每秒传输的帧数，可以测量用于保存、显示动态视频的信息数量。每秒帧数越多，视频中显示的动作就越流畅。
作为一种可选的实施例，根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列之前，上述方法还包括：接收请求端发送的活动环节划分参数；其中，活动环节划分参数用于通过时间戳标识各活动环节对应的视频帧。
例如，活动环节划分参数包括：0000～0009、0009～0017、0017～0037\0037～0052、0052～0070、0070～0087、0087～0104。
可见，实施该可选的实施例，能够通过为视频帧划分提供活动环节划分参数，提升视频帧划分的精度。
作为一种可选的实施例，接收请求端发送的活动环节划分参数之前，上述方法还包括：请求端获取视频录制区域中设置的至少一个传感器记录的参数；其中，参数对应的记录时间属于视频录制过程中的任一时间点；请求端根据参数生成活动环节划分参数；请求端将活动环节划分参数发送至服务端，以使得服务端接收活动环节划分参数。
具体地，传感器可以为压力传感器、距离传感器、红外传感器、触摸传感器、传感器加速度传感器、扭力传感器等传感器中至少一种，本申请实施例不作限定。
可见，实施该可选的实施例，能够基于传感器的参数确定活动环节划分参数，提升活动环节划分参数的有效性。
在步骤S320中，对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合。
作为一种可选的实施例，对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合之后，上述方法还包括：确定视频录制区域中包含所有传感器的最小区域；根据最小区域对多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于最小区域。
具体地，最小区域的面积小于摄像头的采集区域，最小区域可以理解为采集区域内最小的包含人体的区域。最小区域也可以理解为感兴趣区域(region of interest，ROI)，机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域，称为感兴趣区域，通常可以基于Halcon、OpenCV、Matlab等机器视觉软件求得感兴趣区域ROI。
可见，实施该可选的实施例，能够通过噪点筛除，避免无效骨骼关键点影响动作识别/行走等级的判别结果。
作为一种可选的实施例，对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合，包括：预测多个视频帧中骨骼关键点的位置坐标；根据位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系；根据空间位置关系确定多个视频帧分别对应的骨骼关键点集合。
具体地，每个视频帧对应的骨骼关键点数量(如，18或25等)相同，骨骼关键点的位置坐标是相对于视频帧的坐标(如，(23,25)、(05,35)、(54,32)等)，位置坐标可以为二维坐标或三维坐标，空间位置关系用于标识视频帧中各骨骼关键点之间的连接关系。
其中，预测多个视频帧中骨骼关键点的位置坐标，包括：根据人体姿态估计算法预测每个视频帧中骨骼关键点的18个位置坐标；或者，根据人体姿态估计算法预测多个视频帧中骨骼关键点的25个位置坐标。需要说明的是，若视频帧中骨骼关键点的数量为18，则采用COCO(Common Objects in COntext)数据集格式表示每个视频帧中的骨骼关键点集合；若视频帧中骨骼关键点的数量为25，则采用Kinect数据集格式表示每个视频帧中的骨骼关键点集合。其中，采用的人体姿态估计算法可以为CPM(Convolutional Pose Machines)算、Hourglass算法、OpenPose算法。
其中，CPM算法是一个多阶段结构的神经网络，能够同时学习图片特征(imagefeatures)和空间信息(spatial context)，基于此，根据CPM算法预测多个视频帧中骨骼关键点的位置坐标，包括：通过多阶段单元提取多个视频帧中各视频帧的骨骼关键点，在多阶段单元中，相邻的下一阶段单元的输入是视频帧以及当前阶段单元的空间信息编码，该空间信息编码可以表示为置信图(belief map)。其中，Hourglass算法也是一个多阶段结构的神经网络，由堆叠的Hourglass模块组成，能够提取并整合所有尺度下的特征。每个Hourglass模块用于通过卷积和池化将视频帧从高分辨率降到低分辨率，再通过上采样将视频帧从低分辨率恢复到高分辨率。其中，根据OpenPose算法预测多个视频帧中骨骼关键点的位置坐标，包括：对多个视频帧中各视频帧生成热力图(heat map)，热力图用于预测骨骼关键点的位置坐标，依据热力图可以生成骨骼关键点间的向量场；将关键点间的向量场和骨骼关键点的位置坐标代入二分图最大权匹配算法，以确定视频帧中骨骼关键点之间的空间位置关系。其中，根据区域姿态估计(Regional Multi-Person Pose Estimation，RMPE)框架预测多个视频帧中骨骼关键点的位置坐标，包括：根据对称空间变换网络(Symmetric Spatial Transformer Network，SSTN)从视频帧中提取单人区域；对提取的单人区域中进行骨架姿态预测；根据空间逆变换网络(Spatial De-Transformer Network，SDTN)将骨架姿态映射至视频帧的图像空间中，以确定每个视频帧中骨骼关键点的位置坐标，采用参数化的姿态非极大抑制(Parametric Pose Non-Maximum-Suppression，p-NMS)的方式处理重复预测的问题。
可选的，骨骼关键点集合还以为MSCOCO数据集格式、LSP(Leeds Sports PoseDataset)数据集格式、FLIC(Frames Labeled In Cinema)数据集格式、MPII(MPII HumanPose Dataset)数据集格式、AI Challenger数据集格式、PoseTrack数据集格式等，本申请实施例不作限定。其中，LSP是单人人体关键点检测数据集，关键点个数为14；FLIC是单人人体关键点检测数据集，关键点个数为9；MPII是单人/多人人体关键点检测数据集，关键点个数为16；MSCOCO是多人人体关键点检测数据集，关键点个数为17；AI Challenger是多人人体关键点检测数据集，关键点个数为14；PoseTrack是多人人体关键点跟踪数据集，关键点个数为15。
其中，根据位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系，包括：依据位置坐标以及先验信息确定各视频帧中各骨骼关键点之间的空间位置关系。
可见，实施该可选的实施例，能够实现对于每个视频帧的中的骨骼关键点检测，依据每个视频帧的骨骼关键点集合可以进一步实现用户行为识别或用户行为等级评估，从而可以得到综合评价老人活动能力的结果，便于相关人员依据该结果个性化服务老人。
请参阅图4，图4示意性示出了根据本公开的一个实施例的骨骼关键点集合示意图。通过对于每个视频帧中骨骼关键点的位置坐标的检测，可以确定出每个视频帧对应的骨骼关键点集合，骨骼关键点集合可以表示为图4。如图4所示，具体地，骨骼关键点集合可以包括：点401、点402、点403、点404、点404、点405、点406、点407、点408、点409、点410、点411、点412、点413、点414、点415、点416、点417、点418、点419。其中，点401～点419用于分别标识不同的身体部位，在视频帧中，点401～点419的位置可以用于描述该帧中人体的姿势/动作。
请参阅图5，图5示意性示出了根据本公开的另一个实施例的骨骼关键点集合示意图。通过对于每个视频帧中骨骼关键点的位置坐标的检测，可以确定出每个视频帧对应的骨骼关键点集合，骨骼关键点集合可以表示为图5。如图5所示，具体地，骨骼关键点集合可以包括：点500、点501、点502、点503、点504、点505、点506、点507、点508、点509、点510、点511、点512、点513、点514、点515、点516、点517、点518、点519、点520、点522、点523、点524。其中，点501～点524用于分别标识不同的身体部位，在视频帧中，点501～点524的位置可以用于描述该帧中人体的姿势/动作。
需要说明的是，图4与图5中包含的骨骼关键点不同，在实际应用中，可以根据需求选择应用图4所示的骨骼关键点标识人体，或是选择应用图5所示的骨骼关键点标识人体，本申请实施例不作限定。
在步骤S330中，根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
具体地，根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列之后，上述方法还可以包括：对各活动环节对应的视频帧序列进行关键帧抽取，得到各活动环节对应的关键帧，并将关键帧输出至接收端，以使得接收端展示各活动环节对应的关键帧，这样可以方便相关人员更直观地了解到老人的测试情况，从而根据展示的各活动环节对应的关键帧为老人提供个性化服务，以服务好每一位老人。
其中，视频帧序列可以包括多个视频帧，不同的视频帧序列包括的视频帧不同或部分相同，也就是说，视频帧序列可以存在部分重叠。用于划分视频帧序列的活动环节划分参数具体包含多个时间戳参数，每个时间戳参数可以作为一个可参考的视频切割点。
在步骤S340中，将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估。
作为一种可选的实施例，模型为行为识别模型或行走等级预测模型，将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型，包括：确定各活动环节对应的评估任务；若各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则将目标活动环节对应的视频帧序列的骨骼关键点集合输入行为识别模型，以使得行为识别模型识别目标活动环节对应的真实用户行为和行为置信度，作为行为识别模型的评估结果；若各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则将目标活动环节对应的视频帧序列的骨骼关键点集合输入行走等级预测模型，以使得行走等级预测模型预测目标活动环节对应的行走等级和等级置信度，作为行走等级预测模型的评估结果；其中，目标活动环节为各活动环节中任一活动环节，真实用户行为至少包括行走、坐、立、转身中至少一种。
具体地，本申请应用于舞蹈领域时，各活动环节还可以为舞蹈过程中的各个环节，本申请应用于体育领域时，各活动环节还可以为体育运动过程中的各个环节。
可见，实施该可选的实施例，能够基于检测到的骨骼关键点进行行为识别/行走等级预测，避免使用原图像帧，可以保护用户隐私。此外，相较于现有的步态分析，本申请采用视频方向并基于骨骼点的动作识别方法，能够在有效识别动作和等级的前提下降低计算量、提升计算速度。
作为一种可选的实施例，行为识别模型识别目标活动环节对应的真实用户行为和行为置信度，作为行为识别模型的评估结果，包括：控制行为识别模型依据多个时空长短时记忆单元传递目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定目标活动环节对应的真实用户行为和行为置信度；或者，控制行为识别模型依据卷积神经网络提取目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对特征进行特征分类，得到目标活动环节对应的真实用户行为和行为置信度。
具体地，真实用户行为可以为：静坐、站立、转身等，真实用户行为是基于对视频帧的识别确定出的，行为置信度可以用于通过数值(如，0.59)表征真实用户行为符合该活动环节(如，转身)的可能性。
其中，行为识别模型可以由以下至少一种网络构成：时空长短时记忆(Spatiotemporal Long Short-Term Memory，ST-LSTM)单元、时间卷积网络(Temporalconvolutional network,TCN)、时空图卷积网络(Spatial Temporal GraphConvolutional Networks，ST-GCN)、动作结构图卷积网络(Actional-Structural GraphConvolutional Networks,AS-GCN)、双流自适应图卷积网络(Two-Stream Adaptive GraphConvolutional Networks，2s-AGCN)等。
其中，ST-LSTM可以在一个统一的记忆单元中记忆空间和时间特征，并在垂直层面和水平层面上传递记忆。TCN可以基于层次的方式捕获所有两个级别的信息，具备并行性、灵活的感受野、稳定的梯度，并且可以占用更低的内存。ST-GCN是一种基于人体关节位置的时间序列表示，永固对动态骨骼进行建模，再利用图卷积扩展为时空图卷积结构来捕捉时空变化关系的动作识别方法，其依赖的算法公式为：
Figure GDA0004207033810000081
其中，Wk,Ak,Mk分别代表权重、邻接矩阵和掩码，Kv是子集类别数，一般取3。AS-GCN是基于ST-GCN改进的，增加了预测编码器以提高准确率，同时在原骨骼结构上增加了不相邻节点的连接学习，以捕捉关节内在依赖关系并预测未来帧。2s-AGCN也是对ST-GCN的改进，提出了一种端到端的、自适应地学习不同图卷积层和骨架图形拓扑结构、关键点(Joints)与骨架(Bones)组合的双流网络架构。2s-AGCN提出的自适应图卷积的主要公式为：/>
Figure GDA0004207033810000091
相比于ST-GCN，2s-AGCN对邻接矩阵进行了改进，表示为上述Ak,Bk,Ck三个部分之和。其中，Ak表示基础邻接矩阵，只包含关节间原有的直接物理连接，值为0或1；Bk为可训练的全局权重邻接矩阵，不仅能表示两个节点是否存在联系，还能表示联系的强弱；Ck是利用高斯嵌入函数对每个样本学习一个独有的自注意力邻接矩阵。/>
可见，实施该可选的实施例，能够通过多个时空长短时记忆单元提取关键点的特征，从而可以基于多个时空长短时记忆单元的传递特性，将每个单元提到的有价值的特征信息传递至最终输出结果中，提升了关键点特征提取精度，进而可以提升对于真实用户行为的识别精度以及提升确定出的行为置信度的有效性。
作为一种可选的实施例，行走等级预测模型预测目标活动环节对应的行走等级和等级置信度，作为行走等级预测模型的评估结果，包括：控制行走等级预测模型对目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果；控制行走等级预测模型依据端到端的预测标签预测特征提取结果对应的行走等级和等级置信度，作为目标活动环节对应的行走等级和等级置信度。
具体地，行走等级和等级置信度均用于描述对应于行走的活动环节，行走等级具体可以包括N种等级，如，行走等级level01、行走等级level02、行走等级level03、行走等级level04、行走等级level05，N为正整数；其中，行走等级用于评价自主行走能力，行走等级与自主行走能力呈正相关。等级置信度可以用于通过数值(如，0.85)表征行走等级预测模型判定的行走等级属实的可能性。
可见，实施该可选的实施例，能够基于端到端的预测标签实现对于行走等级的预测，提升行走等级的判定效率以及判定精度。
请参阅图6，图6示意性示出了根据本公开的一个实施例中的活动环节示意图框图。如图6所示，本申请中的活动环节可以包括：静坐660、站立670、行走680以及转身630。用户可以通过站起动作610由静坐660转换为站立670；进而通过起步动作620由站立670转换为行走680；当用户到达目的地时，可以由行走680转换为转身630；当转身630完成后，可以再由转身630转换为行走680；进而可以通过停步动作640由行走680转换为站立670；进而可以通过坐下动作650由站立670转换为静坐660。针对其中的静坐660、站立670、行走680以及转身630，行为识别模型可以识别静坐660、站立670以及转身630等真实用户行为并确定出静坐660、站立670以及转身630等真实用户行为的行为置信度，行走等级预测模型可以预测行走680的行走等级和等级置信度。
请参阅图7，图7示意性示出了根据本公开的一个实施例的对应于一种行走等级的视频文件的关键帧示意图。图7示出的是对应于行走等级level05的视频文件的关键帧，具体包括：关键帧710、关键帧720、关键帧730、关键帧740、关键帧750、关键帧760。
图7所示的关键帧是按照间隔时长(如，3s)从视频文件中抽取得到的，视频文件用于记录的活动环节可以包括：两次静坐、站立、两次行走以及两次转身。当服务端接收到针对视频文件的活动环节划分参数时，可以根据获取到的活动环节划分参数从视频文件的多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
示例性地，在视频文件中，第一次静坐对应的活动环节划分参数可以包括：0000～0009。站立对应的活动环节划分参数可以包括：0009～0017。第一次行走对应的活动环节划分参数可以包括：0017～0037。第一次转身对应的活动环节划分参数可以包括：0037～0052。第二次行走对应的活动环节划分参数可以包括：0052～0070。第二次转身对应的活动环节划分参数可以包括：0070～0087。第二次静坐对应的活动环节划分参数可以包括：0087～0104。其中，0000、0009、0017、0037、0052、0070、0087、0104均为时间戳。
服务端中的行走等级预测模型可以根据两次行走分别对应的活动环节划分参数以及两次行走分别对应的骨骼关键点集合，预测两次转身分别对应的行走等级以及等级置信度(如，0.85、0.90)，服务端中的行为识别模型可以根据两次静坐、站立以及两次转身分别对应的活动环节划分参数以及两次静坐、站立以及两次转身分别对应的骨骼关键点集合，识别两次静坐、站立以及两次转身分别对应的分别对应的真实用户行为以及行为置信度(如，0.59、0.70、1.00、0.51、0.00)。
基于此，服务端得到的各模型输出的结果如下：0000～0009：静坐环节，是，0.59；0009-0017：站立环节，是，0.70；0017-0037：行走环节，是，行走等级level05，0.85；0037-0052：转身环节，是，1.00；0052-0070：行走环节，是，行走等级level05，0.90；0070-0087：转身环节，是，0.51；0087-0104：静坐环节，否，0.00。
请参阅图8，图8示意性示出了根据本公开的一个实施例的对应于另一种行走等级的视频文件的关键帧示意图。图7示出的是对应于行走等级level03的视频文件的关键帧，具体包括：关键帧810、关键帧820、关键帧830、关键帧840、关键帧850、关键帧860、关键帧870、关键帧880。
图8所示的关键帧也是按照间隔时长(如，3s)从视频文件中抽取得到的，视频文件用于记录的活动环节可以包括：两次静坐、站立、两次行走以及两次转身。当服务端接收到针对视频文件的活动环节划分参数时，可以根据获取到的活动环节划分参数从视频文件的多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
示例性地，在视频文件中，第一次静坐对应的活动环节划分参数可以包括：0000～0040。站立对应的活动环节划分参数可以包括：0040～0075。第一次行走对应的活动环节划分参数可以包括：0075～0186。第一次转身对应的活动环节划分参数可以包括：0186～0221。第二次行走对应的活动环节划分参数可以包括：0221～0318。第二次转身对应的活动环节划分参数可以包括：0318～0332。第二次静坐对应的活动环节划分参数可以包括：0332～0357。其中，0000、0040、0075、0186、0221、0318、0332、0357为时间戳。
服务端中的行走等级预测模型可以根据两次行走分别对应的活动环节划分参数以及两次行走分别对应的骨骼关键点集合，预测两次转身分别对应的行走等级以及等级置信度(如，0.64、0.44)，服务端中的行为识别模型可以根据两次静坐、站立以及两次转身分别对应的活动环节划分参数以及两次静坐、站立以及两次转身分别对应的骨骼关键点集合，识别两次静坐、站立以及两次转身分别对应的分别对应的真实用户行为以及行为置信度(如，0.50、0.00、0.97、1.00、0.00)。
基于此，服务端得到的各模型输出的结果如下：0000～0040：静坐环节，是，0.50；0040～0075：站立环节，否，0.00；0075～0186：行走环节，是，行走等级level03，0.64；0186～0221：转身环节，是，0.97；0221～0318：行走环节，是，行走等级level05，0.44；0318～0332：转身环节，是，1.00；0332～0357：静坐环节，否，0.00。
基于图7和图8所示的关键帧可知，行走等级与关键帧数量呈负相关，即，行走等级越高，关键帧数量越少。此外，行走等级越高，各活动环节对应的视频帧序列越长。
请参阅图9，图9示意性示出了根据本公开的一个实施例中的用于处理各活动环节的骨骼关键点集合的架构示意图。如图9所示，请求端910可以获取视频录制区域中设置的至少一个传感器记录的参数，其中，参数对应的记录时间属于视频录制过程中的任一时间点，并根据参数生成活动环节划分参数，进而将活动环节划分参数发送至服务端920。示例性地，活动环节划分参数具体包括：0000～0009：静坐环节；0009-0017：站立环节；0017-0037：行走环节；0037-0052：转身环节：行走环节，是；0070-0087：转身环节；0087-0104：静坐环节。
服务端920可以基于针对平地行走视频的后端处理服务处理视频文件。具体地，服务端920中包括接收模块921、发送模块922、处理模块923。其中，接收模块921用于接收活动环节划分参数和相对应的视频文件。处理模块923用于对获取到的视频文件进行解码，得到多个视频帧；对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；控制行走等级预测模型根据两次行走分别对应的活动环节划分参数以及两次行走分别对应的骨骼关键点集合，预测两次转身分别对应的行走等级以及等级置信度(如，0.64、0.44)；控制行为识别模型可以根据两次静坐、站立以及两次转身分别对应的活动环节划分参数以及两次静坐、站立以及两次转身分别对应的骨骼关键点集合，识别两次静坐、站立以及两次转身分别对应的分别对应的真实用户行为以及行为置信度(如，0.59、0.70、1.00、0.51、0.00)；确定各模型输出的结果。发送模块922用于将各模型输出的结果发送至接收端930。
示例性地，各模型输出的结果可以为：0000～0009：静坐环节，是，0.59；0009-0017：站立环节，是，0.70；0017-0037：行走环节，是，行走等级level05，0.85；0037-0052：转身环节，是，1.00；0052-0070：行走环节，是，行走等级level05，0.90；0070-0087：转身环节，是，0.51；0087-0104：静坐环节，否，0.00。
在步骤S350中，根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
具体地，各模型输出的结果包括行为识别模型输出的结果和行走等级预测模型输出的结果。综合评估结果可以通过结构化数据进行表示，综合评估结果包括行为识别模型输出的结果和行走等级预测模型输出的结果。可选的，综合评估结果还可以包括建议信息，该建议信息可以基于行为识别模型输出的结果和行走等级预测模型输出的结果生成。
作为一种可选的实施例，根据各模型输出的结果生成用于评估用户活动能力的综合评估结果，包括：根据行为识别模型的评估结果进行行为完成度判定，得到第一判定结果；根据行走等级预测模型的评估结果进行行走困难度判定，得到第二判定结果；根据第一判定结果和第二判定结果生成用于评估用户活动能力的综合评估结果。
具体地，第一判定结果(如，动作完成度100％)和第二判定结果(如，行走困难度10％)可以通过文本形式进行表示。其中，根据第一判定结果和第二判定结果生成用于评估用户活动能力的综合评估结果，包括：将第一判定结果和第二判定结果转化为结构化数据，将结构化数据确定为用于评估用户活动能力的综合评估结果。
可见，实施该可选的实施例，能够结合行为识别模型的评估结果和行走等级预测模型的评估结果确定用于评估用户活动能力的综合评估结果，从而在实现个性化评价用户活动能力的同时还能够提升评估用户活动能力的自动化程度。
请参阅图10，图10示意性示出了根据本公开的一个实施例的实现基于视频序列的活动能力评估方法的模块结构示意图。如图10所示，该模块结构示意图可以包括骨骼关键点检测模块1010、区域筛选模块1020、活动环节划分模块1030、模型预测/识别模块1040；其中，模型预测/识别模块1040可以包括活动环节行走的判定模块1041、行走等级预测模型1042、行为识别模型1043。
骨骼关键点检测模块1010，用于对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合。
区域筛选模块1020，用于确定视频录制区域中包含所有传感器的最小区域；根据最小区域对多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于最小区域。
活动环节划分模块1030，用于根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
活动环节行走的判定模块1041，用于循环判定每次处理的活动环节是否为行为环节，如果是，则将行走对应的视频帧序列输入行走等级预测模型1042；如果否，则将静坐、站立、转身对应的视频帧序列输入行为识别模型1043。
行走等级预测模型1042，用于对目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果，依据端到端的预测标签预测特征提取结果对应的行走等级和等级置信度，作为目标活动环节对应的行走等级和等级置信度。
行为识别模型1043，用于依据多个时空长短时记忆单元传递目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定目标活动环节对应的真实用户行为和行为置信度；或者，依据卷积神经网络提取目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对特征进行特征分类，得到目标活动环节对应的真实用户行为和行为置信度。
模型预测/识别模块1040，用于整合行走等级预测模型1042和行为识别模型1043的模型输出结果并输出。
可见，通过实施图10所示的结构，可以实时传输单帧图像以节省带宽，后端实时计算每帧的骨骼点信息并临时存储，待收集到一个活动环节的信息即及帧图像后，进行行为识别和行走等级判定，提升处理效率。
请参阅图11，图11示意性示出了根据本公开的一个实施例的实现基于视频序列的活动能力评估方法的模块结构示意图。如图11所示，该模块结构示意图可以包括骨骼关键点检测模块1110、区域筛选模块1120、模型预测/识别模块1130；其中，模型预测/识别模块1130可以包括行走等级预测模型1131、行为识别模型1132。
骨骼关键点检测模块1110，用于对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合。
区域筛选模块1120，用于确定视频录制区域中包含所有传感器的最小区域；根据最小区域对多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于最小区域。
模型预测/识别模块1130，用于接收服务端划分的各活动环节对应的视频帧序列，各活动环节包括行走、静坐、站立、转身，将行走对应的视频帧序列输入行走等级预测模型1131，将静坐、站立、转身对应的视频帧序列输入行为识别模型1132。
行走等级预测模型1131，用于对目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果，依据端到端的预测标签预测特征提取结果对应的行走等级和等级置信度，作为目标活动环节对应的行走等级和等级置信度。
行为识别模型1132，用于依据多个时空长短时记忆单元传递目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定目标活动环节对应的真实用户行为和行为置信度；或者，依据卷积神经网络提取目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对特征进行特征分类，得到目标活动环节对应的真实用户行为和行为置信度。
模型预测/识别模块1130，还用于整合行走等级预测模型1131和行为识别模型1132的模型输出结果并输出。
可见，通过实施图11所示的结构，可以实现通过异步的方式，一次性传输所有帧图像及各个活动环节的信息，待后端完成关键点检测、行为识别和行走等级判定之后异步传输判定结果，能够减少后端服务调用临时存储的次数、避免不必要的读取错误。
请参阅图12，图12示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法的架构示意图。如图12所示，该架构包括：应用层1210、服务层1220、网络层1230、感知层1240。
其中，应用层1210包括：自理能力评估应用1211、认知能力评估应用1212、跌倒能力评估应用1213、医疗风险评价1214、评估结果1215、任务管理1216、用户管理1217、运维管理1218、量表映射管理1219、系统日志12191。理能力评估应用1211包括：数据分析模块12111、规则设置模块12112、场景配置模块12113、场景引导模块12114。认知能力评估应用1212包括：评估试题库12121、流程控制模块12122。跌倒能力评估应用1213包括：跌倒风险等级评定模块12131、防跌倒预备案生成模块12132。医疗风险评价1214包括：体征监测模块12141、疾病风险预测模块12142。
其中，服务层1220包括：数据服务1221、评估模型服务1222、疾病预测模型服务1223。数据服务1221包括：设备管理和监控模块12211、接收解析模块12212、实时计算模块12213、时序存储模块12214。评估模型服务1222包括：规则计算模块12221、计算任务管理和监控模块12222、姿态/手势识别模块12223、目标识别模块12224。疾病预测模型服务1223包括：疾病风险预测模块12231、个性化模型模块12232。
其中，网络层1230包括：4G/5G/FTTH12301、wifi/局域网12302、蓝牙/zigbee12303。
其中，感知层1240包括：自理能力评估1241、认知能力评估1242、医疗风险检测预警1243、防跌倒评估1244。自理能力评估1241应用的硬件是：摄像头、压力/距离/红外/触摸/加速度/扭力等传感器。认知能力评估1242应用的硬件是：摄像头、触屏。医疗风险检测预警1243应用的硬件是：手环、心电贴。防跌倒评估1244应用的硬件是：摄像头、压力/距离/红外传感器。
本申请可以获取视频录制区域中属于感知层1240的自理能力评估1241应用的硬件压力/距离/红外/触摸/加速度/扭力等传感器参数，参数对应的记录时间属于视频录制过程中的任一时间点，并根据参数生成活动环节划分参数，进而将活动环节划分参数通过网络层1230的4G/5G/FTTH12301、wifi/局域网12302或蓝牙/zigbee12303发送至服务端。本申请还可以服务层1220中的规则计算模块12221、计算任务管理和监控模块12222实现对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。本申请还可以基于应用层1210中的跌倒风险等级评定模块12131和防跌倒预备案生成模块12132根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
请参阅图13，图13示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法所应用的评估场景图。如图13所示，评估场景1310可以是起居评估区，用于考察用户自主起居的能力，包括从床到椅子/轮椅/辅助行走器具的转移能力；自主穿衣、系扣子的能力。评估场景1330可以是用餐评估区，用于考察用户是否能够正常用餐，包括取餐、将餐食放在桌面，用筷子或勺子用餐。评估场景1340可以是运动能力评估区，用于考察用户的运动能力，如，平地行走能力，本申请基于视频序列的活动能力评估方法就可以应用于该评估场景1340，以评估用户是否具备平地行走的能力。
请参阅图14，图14示意性示出了根据本公开的一个实施例的用于实现基于视频序列的活动能力评估方法所应用的产品架构图。如图14所示，该产品架构包括：数据采集阶段1410、4G/5G/FTTH/wifi/局域网1420、分析预测阶段1430、评估报告阶段1440；其中，数据采集阶段1410包括采集如下要素：自理评估要素(动作姿势、时序方位、特征变化)、跌倒评估要素(动作姿势、时序方位)、认知评估要素(问答结果、答题时间)、体征要素(心率、血氧、提问、心电、血压等)。分析预测阶段1430包括：自理能力模型1431、跌倒风险模型1432、认知能力模型1433、疾病风险模型1434。评估报告阶段1440包括：照护等级评定1441、跌倒风险评定1442、认知能力评定1443、综合健康评估1444。
其中，针对等级评定，考核的是各个场景中老人独立完成的能力，需要他人协助的程度越高，得分越低。举例来说，得分划分主要依赖的标准为：等级5(全部独立完成，得分最高)、等级4(场景准备、场景收拾阶段需要协助，活动过程独立完成；或独立完成的过程中需要提示和安全保护，得分次高)、等级3(活动过程中一少半需要协助，得分中等)、等级2(活动过程一半以上需要协助，得分次低)、等级1(完全依赖协助，得分最低)。
具体地，数据采集阶段1410采集的自理评估要素可以通过4G/5G/FTTH/wifi/局域网1420发送至自理能力模型1431，数据采集阶段1410采集的跌倒评估要素可以通过4G/5G/FTTH/wifi/局域网1420发送至跌倒风险模型1432、数据采集阶段1410采集的认知评估要素可以通过4G/5G/FTTH/wifi/局域网1420发送至认知能力模型1433、数据采集阶段1410采集的体征要素可以通过4G/5G/FTTH/wifi/局域网1420发送至疾病风险模型1434。自理能力模型1431、跌倒风险模型1432、认知能力模型1433、疾病风险模型1434的输出结果可以用于进行照护等级评定1441、跌倒风险评定1442、认知能力评定1443、综合健康评估1444，本申请可以应用其中的跌倒风险模型。
请参阅图15，图15示意性示出了根据本公开的一个实施例的基于视频序列的活动能力评估方法的流程图。如图15所示，该基于视频序列的活动能力评估方法包括：步骤S1500～步骤S1520。本申请中的服务端可以运行于本地服务器也可以运行于远端服务器，该服务器可以为云服务器，服务端可以体现为交互型用户系统。本申请中的请求端可以为用户设备，如，手机、平板电脑、个人计算机等，本申请实施例不作限定。
步骤S1500：请求端获取视频录制区域中设置的至少一个传感器记录的参数，参数对应的记录时间属于视频录制过程中的任一时间点，并根据参数生成活动环节划分参数，进而将活动环节划分参数发送至服务端。
步骤S1502：服务端接收请求端发送的活动环节划分参数；其中，活动环节划分参数用于通过时间戳标识各活动环节对应的视频帧。
步骤S1504：服务端对获取到的视频文件进行解码，得到多个视频帧，进而根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列。
步骤S1506：服务端预测多个视频帧中骨骼关键点的位置坐标，根据位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系，并根据空间位置关系确定多个视频帧分别对应的骨骼关键点集合。
步骤S1508：服务端确定视频录制区域中包含所有传感器的最小区域，根据最小区域对多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于最小区域。
步骤S1510：服务端确定各活动环节对应的评估任务。若各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则执行步骤S1512。若各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则执行步骤S1516。
步骤S1512：服务端将目标活动环节对应的视频帧序列的骨骼关键点集合输入行为识别模型；其中，目标活动环节为各活动环节中任一活动环节。进而，执行步骤S1514。
步骤S1514：服务端控制行为识别模型依据多个时空长短时记忆单元传递目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定目标活动环节对应的真实用户行为和行为置信度；或者，控制行为识别模型依据卷积神经网络提取目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对特征进行特征分类，得到目标活动环节对应的真实用户行为和行为置信度；其中，真实用户行为至少包括行走、坐、立、转身中至少一种。进而，执行步骤S1520。
步骤S1516：服务端将目标活动环节对应的视频帧序列的骨骼关键点集合输入行走等级预测模型；其中，目标活动环节为各活动环节中任一活动环节。进而，执行步骤S1518。
步骤S1518：服务端控制行走等级预测模型对目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果；控制行走等级预测模型依据端到端的预测标签预测特征提取结果对应的行走等级和等级置信度，作为目标活动环节对应的行走等级和等级置信度。进而，执行步骤S1520。
步骤S1520：服务端根据行为识别模型的评估结果进行行为完成度判定，得到第一判定结果，并根据行走等级预测模型的评估结果进行行走困难度判定，得到第二判定结果，进而根据第一判定结果和第二判定结果生成用于评估用户活动能力的综合评估结果。
需要说明的是，步骤S1500～步骤S1520与图3所示的各步骤及其实施例相对应，针对步骤S1500～步骤S1520的具体实施方式，请参阅图3所示的各步骤及其实施例，此处不再赘述。
可见，实施图15所示的方法，可以提升评估效率，降低评估结果的主观性。此外，可以将录制的用于评估用户活动能力的视频文件作为评估依据，进而检测骨骼关键点以基于骨骼关键点评价用户活动能力，可以实现标准化的用户活动能力评估，提升评估效率和评估精度。
进一步的，本示例实施方式中，还提供了一种基于视频序列的活动能力评估装置，参考图16所示，该基于视频序列的活动能力评估装置1600，可以包括：
视频帧获取单元1601，用于对获取到的视频文件进行解码，得到多个视频帧；
骨骼关键点检测单元1602，用于对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合；
活动环节划分单元1603，用于根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列；
模型输入单元1604，用于将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型；其中，模型用于进行用户行为识别或用户行为等级评估；
评估结果生成单元1605，用于根据各模型输出的结果生成用于评估用户活动能力的综合评估结果。
可见，实施图16所示的装置，可以提升评估效率，降低评估结果的主观性。此外，可以将录制的用于评估用户活动能力的视频文件作为评估依据，进而检测骨骼关键点以基于骨骼关键点评价用户活动能力，可以实现标准化的用户活动能力评估，提升评估效率和评估精度。
在本公开的一种示例性实施例中，上述装置还包括：
参数接收单元(未图示)，用于在活动环节划分单元1603根据获取到的活动环节划分参数从多个视频帧中确定属于各活动环节的视频帧，得到各活动环节对应的视频帧序列之前，接收请求端发送的活动环节划分参数；其中，活动环节划分参数用于通过时间戳标识各活动环节对应的视频帧。
可见，实施该可选的实施例，能够通过为视频帧划分提供活动环节划分参数，提升视频帧划分的精度。
在本公开的一种示例性实施例中，上述装置还包括：
参数采集单元(未图示)，用于活动环节划分参数接收单元接收请求端发送的活动环节划分参数之前，请求端获取视频录制区域中设置的至少一个传感器记录的参数；其中，参数对应的记录时间属于视频录制过程中的任一时间点；
参数生成单元(未图示)，用于请求端根据参数生成活动环节划分参数；
参数发送单元(未图示)，用于请求端将活动环节划分参数发送至服务端，以使得服务端接收活动环节划分参数。
可见，实施该可选的实施例，能够基于传感器的参数确定活动环节划分参数，提升活动环节划分参数的有效性。
在本公开的一种示例性实施例中，上述装置还包括：
噪点筛除单元(未图示)，用于在骨骼关键点检测单元1602对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合之后，确定视频录制区域中包含所有传感器的最小区域；根据最小区域对多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于最小区域。
可见，实施该可选的实施例，能够通过噪点筛除，避免无效骨骼关键点影响动作识别/行走等级的判别结果。
在本公开的一种示例性实施例中，模型为行为识别模型或行走等级预测模型，模型输入单元1604将各活动环节对应的视频帧序列的骨骼关键点集合输入各活动环节对应的模型，包括：
确定各活动环节对应的评估任务；
若各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则将目标活动环节对应的视频帧序列的骨骼关键点集合输入行为识别模型，以使得行为识别模型识别目标活动环节对应的真实用户行为和行为置信度，作为行为识别模型的评估结果；
若各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则将目标活动环节对应的视频帧序列的骨骼关键点集合输入行走等级预测模型，以使得行走等级预测模型预测目标活动环节对应的行走等级和等级置信度，作为行走等级预测模型的评估结果；
其中，目标活动环节为各活动环节中任一活动环节，真实用户行为至少包括行走、坐、立、转身中至少一种。
可见，实施该可选的实施例，能够基于检测到的骨骼关键点进行行为识别/行走等级预测，避免使用原图像帧，可以保护用户隐私。此外，相较于现有的步态分析，本申请采用视频方向并基于骨骼点的动作识别方法，能够在有效识别动作和等级的前提下降低计算量、提升计算速度。
在本公开的一种示例性实施例中，骨骼关键点检测单元1602对多个视频帧进行骨骼关键点检测，得到多个视频帧分别对应的骨骼关键点集合，包括：
预测多个视频帧中骨骼关键点的位置坐标；
根据位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系；
根据空间位置关系确定多个视频帧分别对应的骨骼关键点集合。
可见，实施该可选的实施例，能够实现对于每个视频帧的中的骨骼关键点检测，依据每个视频帧的骨骼关键点集合可以进一步实现用户行为识别或用户行为等级评估，从而可以得到综合评价老人活动能力的结果，便于相关人员依据该结果个性化服务老人。
在本公开的一种示例性实施例中，评估结果生成单元1605根据各模型输出的结果生成用于评估用户活动能力的综合评估结果，包括：
根据行为识别模型的评估结果进行行为完成度判定，得到第一判定结果；
根据行走等级预测模型的评估结果进行行走困难度判定，得到第二判定结果；
根据第一判定结果和第二判定结果生成用于评估用户活动能力的综合评估结果。
可见，实施该可选的实施例，能够结合行为识别模型的评估结果和行走等级预测模型的评估结果确定用于评估用户活动能力的综合评估结果，从而在实现个性化评价用户活动能力的同时还能够提升评估用户活动能力的自动化程度。
在本公开的一种示例性实施例中，行为识别模型识别目标活动环节对应的真实用户行为和行为置信度，作为行为识别模型的评估结果，包括：
行为识别模型依据多个时空长短时记忆单元传递目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定目标活动环节对应的真实用户行为和行为置信度；或者，
行为识别模型依据卷积神经网络提取目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对特征进行特征分类，得到目标活动环节对应的真实用户行为和行为置信度。
可见，实施该可选的实施例，能够通过多个时空长短时记忆单元提取关键点的特征，从而可以基于多个时空长短时记忆单元的传递特性，将每个单元提到的有价值的特征信息传递至最终输出结果中，提升了关键点特征提取精度，进而可以提升对于真实用户行为的识别精度以及提升确定出的行为置信度的有效性。
在本公开的一种示例性实施例中，行走等级预测模型预测目标活动环节对应的行走等级和等级置信度，作为行走等级预测模型的评估结果，包括：
行走等级预测模型对目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果；
行走等级预测模型依据端到端的预测标签预测特征提取结果对应的行走等级和等级置信度，作为目标活动环节对应的行走等级和等级置信度。
可见，实施该可选的实施例，能够基于端到端的预测标签实现对于行走等级的预测，提升行走等级的判定效率以及判定精度。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
由于本公开的示例实施例的基于视频序列的活动能力评估装置的各个功能模块与上述基于视频序列的活动能力评估方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的基于视频序列的活动能力评估方法的实施例。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于视频序列的活动能力评估方法，其特征在于，包括：
对获取到的视频文件进行解码，得到多个视频帧；
对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合；
根据获取到的活动环节划分参数从所述多个视频帧中确定属于各活动环节的视频帧，得到所述各活动环节对应的视频帧序列；
将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型；其中，所述模型用于进行用户行为识别或用户行为等级评估；
根据各模型输出的结果生成用于评估用户活动能力的综合评估结果；
其中，所述模型为行为识别模型或行走等级预测模型，将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型，包括：
确定所述各活动环节对应的评估任务；
若所述各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行为识别模型，以使得所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果；
若所述各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行走等级预测模型，以使得所述行走等级预测模型预测所述目标活动环节对应的行走等级和等级置信度，作为所述行走等级预测模型的评估结果；
其中，所述目标活动环节为所述各活动环节中任一活动环节，所述真实用户行为至少包括行走、坐、立、转身中至少一种；
其中，所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果，包括：
控制所述行为识别模型依据多个时空长短时记忆单元传递所述目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定所述目标活动环节对应的真实用户行为和行为置信度；或者，
控制所述行为识别模型依据卷积神经网络提取所述目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对所述特征进行特征分类，得到所述目标活动环节对应的真实用户行为和行为置信度。
2.根据权利要求1所述的方法，其特征在于，根据获取到的活动环节划分参数从所述多个视频帧中确定属于各活动环节的视频帧，得到所述各活动环节对应的视频帧序列之前，所述方法还包括：
接收请求端发送的所述活动环节划分参数；其中，所述活动环节划分参数用于通过时间戳标识所述各活动环节对应的视频帧。
3.根据权利要求2所述的方法，其特征在于，接收请求端发送的所述活动环节划分参数之前，所述方法还包括：
所述请求端获取视频录制区域中设置的至少一个传感器记录的参数；其中，所述至少一个传感器记录的参数对应的记录时间属于视频录制过程中的任一时间点；
所述请求端根据所述至少一个传感器记录的参数生成所述活动环节划分参数；
所述请求端将所述活动环节划分参数发送至服务端，以使得所述服务端接收所述活动环节划分参数。
4.根据权利要求3所述的方法，其特征在于，对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合之后，所述方法还包括：
确定所述视频录制区域中包含所有传感器的最小区域；
根据所述最小区域对所述多个视频帧分别对应的骨骼关键点集合进行噪点筛除，筛选后的各骨骼关键点集合均处于所述最小区域。
5.根据权利要求1所述的方法，其特征在于，对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合，包括：
预测所述多个视频帧中骨骼关键点的位置坐标；
根据所述位置坐标确定各视频帧中各骨骼关键点之间的空间位置关系；
根据所述空间位置关系确定所述多个视频帧分别对应的骨骼关键点集合。
6.根据权利要求1所述的方法，其特征在于，根据各模型输出的结果生成用于评估用户活动能力的综合评估结果，包括：
根据所述行为识别模型的评估结果进行行为完成度判定，得到第一判定结果；
根据所述行走等级预测模型的评估结果进行行走困难度判定，得到第二判定结果；
根据所述第一判定结果和所述第二判定结果生成用于评估用户活动能力的综合评估结果。
7.根据权利要求1所述的方法，其特征在于，所述行走等级预测模型预测所述目标活动环节对应的行走等级和等级置信度，作为所述行走等级预测模型的评估结果，包括：
控制所述行走等级预测模型对所述目标活动环节的骨骼关键点集合进行特征提取，得到特征提取结果；
控制所述行走等级预测模型依据预测标签预测所述特征提取结果对应的行走等级和等级置信度，作为所述目标活动环节对应的行走等级和等级置信度。
8.一种基于视频序列的活动能力评估装置，其特征在于，包括：
视频帧获取单元，用于对获取到的视频文件进行解码，得到多个视频帧；
骨骼关键点检测单元，用于对所述多个视频帧进行骨骼关键点检测，得到所述多个视频帧分别对应的骨骼关键点集合；
活动环节划分单元，用于根据获取到的活动环节划分参数从所述多个视频帧中确定属于各活动环节的视频帧，得到所述各活动环节对应的视频帧序列；
模型输入单元，用于将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型；其中，所述模型用于进行用户行为识别或用户行为等级评估；
评估结果生成单元，用于根据各模型输出的结果生成用于评估用户活动能力的综合评估结果；
其中，所述模型为行为识别模型或行走等级预测模型，所述模型输入单元将所述各活动环节对应的视频帧序列的骨骼关键点集合输入所述各活动环节对应的模型，包括：
确定所述各活动环节对应的评估任务；
若所述各活动环节中的目标活动环节所对应的评估任务为行为识别任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行为识别模型，以使得所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果；
若所述各活动环节中的目标活动环节所对应的评估任务为行走等级预测任务，则将所述目标活动环节对应的视频帧序列的骨骼关键点集合输入所述行走等级预测模型，以使得所述行走等级预测模型预测所述目标活动环节对应的行走等级和等级置信度，作为所述行走等级预测模型的评估结果；
其中，所述目标活动环节为所述各活动环节中任一活动环节，所述真实用户行为至少包括行走、坐、立、转身中至少一种；
其中，所述行为识别模型识别所述目标活动环节对应的真实用户行为和行为置信度，作为所述行为识别模型的评估结果，包括：
控制所述行为识别模型依据多个时空长短时记忆单元传递所述目标活动环节的骨骼关键点集合的特征，并根据最后一个时空长短时记忆单元输出的特征确定所述目标活动环节对应的真实用户行为和行为置信度；或者，
控制所述行为识别模型依据卷积神经网络提取所述目标活动环节的骨骼关键点集合的特征，并依据循环神经网络对所述特征进行特征分类，得到所述目标活动环节对应的真实用户行为和行为置信度。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的基于视频序列的活动能力评估方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～7中任一项所述的基于视频序列的活动能力评估方法。
CN202111025835.9A 2021-09-02 2021-09-02 基于视频序列的活动能力评估方法、装置、介质及设备 Active CN113743292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111025835.9A CN113743292B (zh) 2021-09-02 2021-09-02 基于视频序列的活动能力评估方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111025835.9A CN113743292B (zh) 2021-09-02 2021-09-02 基于视频序列的活动能力评估方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN113743292A CN113743292A (zh) 2021-12-03
CN113743292B true CN113743292B (zh) 2023-06-13

Family

ID=78734874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111025835.9A Active CN113743292B (zh) 2021-09-02 2021-09-02 基于视频序列的活动能力评估方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113743292B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN112270246A (zh) * 2020-10-23 2021-01-26 泰康保险集团股份有限公司 视频行为识别方法及装置、存储介质、电子设备
CN113066260A (zh) * 2021-03-19 2021-07-02 安徽正华生物仪器设备有限公司 一种基于日常行为分析的帕金森症预警系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2546641B (en) * 2011-05-13 2017-12-27 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN112270246A (zh) * 2020-10-23 2021-01-26 泰康保险集团股份有限公司 视频行为识别方法及装置、存储介质、电子设备
CN113066260A (zh) * 2021-03-19 2021-07-02 安徽正华生物仪器设备有限公司 一种基于日常行为分析的帕金森症预警系统

Also Published As

Publication number Publication date
CN113743292A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US10911775B1 (en) System and method for vision-based joint action and pose motion forecasting
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
US11948401B2 (en) AI-based physical function assessment system
Castillo et al. A multi-modal approach for activity classification and fall detection
Yadav et al. ARFDNet: An efficient activity recognition & fall detection system using latent feature pooling
Nahiduzzaman et al. Machine learning based early fall detection for elderly people with neurological disorder using multimodal data fusion
Alkhomsan et al. Situation awareness in ambient assisted living for smart healthcare
JP7185805B2 (ja) 転倒リスク評価システム
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
Li et al. Abnormal sitting posture recognition based on multi-scale spatiotemporal features of skeleton graph
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
Sun et al. Real-time elderly monitoring for senior safety by lightweight human action recognition
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
Mohan et al. Non-invasive technique for real-time myocardial infarction detection using faster R-CNN
Suresh et al. Cognitive IoT-based smart fitness diagnosis and recommendation system using a three-dimensional CNN with hierarchical particle swarm optimization
Sim et al. Improving the accuracy of erroneous-plan recognition system for Activities of Daily Living
CN114241270A (zh) 一种家庭护理智能监督方法、系统及装置
Liu et al. Automatic fall risk detection based on imbalanced data
Nugent et al. Managing sensor data in ambient assisted living
CN113990500A (zh) 一种生命体征参数的监测方法、装置以及储存介质
CN113488163A (zh) 一种基于机器视觉的肌少症识别方法、装置、设备及介质
Rezaee et al. Deep transfer learning-based fall detection approach using IoMT-enabled thermal imaging-assisted pervasive surveillance and big health data
CN113743292B (zh) 基于视频序列的活动能力评估方法、装置、介质及设备
CN114998816B (zh) 基于骨骼ai视频的病例改进方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant