CN115868966A - 一种智能行动辅助系统和智能行动辅助方法 - Google Patents

Abstract

本申请实施例公开了一种智能行动辅助系统和智能行动辅助方法，其系统包括：信息采集模块、预测跌倒分析模块和防跌倒执行模块；信息采集模块，用于采集目标对象的多项生理状态参数以及目标对象的监控视频，并传输至预测跌倒分析模块中；预测跌倒分析模块，用于基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；以及防跌倒执行模块，用于响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助。

Description

一种智能行动辅助系统和智能行动辅助方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种智能行动辅助系统和智能行动辅助方法。

背景技术

目标对象(例如，老人)肌肉含量降低，行走不稳，容易摔倒。当前的防跌倒设备厚重，不能在日常生活中随时穿戴，如防跌倒气囊；拐杖只能提供部分被动支撑；现有的由防摔倒辅助装置实现的防摔倒方法，必须将固定带绑在目标对象的身上，限制了使用时间和场景，且只能在目标对象跌倒时将用户拉住，不能在目标对象行走过程中提供支撑和辅助功能，从而限制了其实际应用场景。

综上所述，上述各种辅助装置均无法提前预测出目标对象可能会出现的跌倒现象，更无法及时对目标对象进行行动辅助，将其及时扶起。

如何提供一种能够提前精准地预测出目标对象可能会跌倒，并能够及时对目标对象进行行动辅助的系统，是待解决的技术问题。

发明内容

基于此，有必要针对基于现有的各种辅助装置所采用的辅助方法均无法做到提前精准地预测出目标对象可能会跌倒，以及时对目标对象进行行动辅助的问题，提供一种智能行动辅助系统和智能行动辅助方法。

第一方面，本申请实施例提供了一种智能行动辅助系统，所述系统包括：信息采集模块、预测跌倒分析模块和防跌倒执行模块；

所述信息采集模块，用于采集目标对象的多项生理状态参数以及所述目标对象的监控视频，并传输至所述预测跌倒分析模块中；

所述预测跌倒分析模块，用于基于所述目标对象的多项生理状态参数和采集的所述目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；

所述防跌倒执行模块，用于响应于所述触发信息，将预设的抓取装置移动至目标对象的实时位置以对所述目标对象进行智能行动辅助。

在一种实施方式中，还包括跟随分析模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，对所述目标对象的监控视频进行视频分析及跟踪，定位出所述目标对象的实时位置。

在一种实施方式中，还包括跟随执行模块，用于根据所述目标对象的实时位置移动所述抓取装置。

在一种实施方式中，还包括辅助起立模块，用于当所述目标对象握持所述抓取装置时，牵引所述抓取装置以在目标对象起立的过程中提供支撑力。

在一种实施方式中，还包括报警模块，所述预测跌倒分析模块还用于在存在跌倒风险时将触发信息传输至报警模块，所述报警模块用于响应于所述触发信息发出警报。

在一种实施方式中，所述抓取装置可移动地安装于滑轨上，所述滑轨布设于目标对象所在空间的上方。

在一种实施方式中，所述信息采集模块包括用于采集所述目标对象的监控视频的摄像头，所述摄像头可移动地安装于所述滑轨上。

在一种实施方式中，所述预测跌倒分析模块包括第一预测跌倒分析子模块和/或第二预测跌倒分析子模块；

所述第一预测跌倒分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，将从所述监控视频所提取的关键帧输入至第一预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，所述预测结果中包括目标对象的步态分类类别，所述第一预测跌倒分析子模型包括深度学习步态分类模型；

所述第二预测跌倒分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频和所述目标对象的多项生理状态参数，将获取的从所述监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的所述目标对象的多项生理状态参数均输入至所述第二预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，所述第二预测跌倒分析子模型包括多模态跌倒识别模型。

在一种实施方式中，所述跟随分析模块包括第一跟随分析子模块和/或第二跟随分析子模块；

所述第一跟随分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，并基于行人跟踪模型，对所述目标对象的监控视频进行视频分析及跟踪，定位出所述目标对象的所述实时位置；

所述第二跟随分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，并基于行人检测模型所检测到的所述目标对象在所述监控视频中的检测位置，并将所述检测位置对应至室内地图中，以定位出所述目标对象的所述实时位置。

第二方面，本申请实施例提供了一种基于上述的系统进行智能行动辅助的方法，所述方法包括：

信息采集模块采集目标对象的多项生理状态参数以及所述目标对象的监控视频，并传输至预测跌倒分析模块中；

预测跌倒分析模块基于所述目标对象的多项生理状态参数和采集的所述目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；

防跌倒执行模块响应于所述触发信息，将预设的抓取装置移动至目标对象的实时位置以对所述目标对象进行智能行动辅助。

在本申请实施例中，智能行动辅助系统包括信息采集模块、预测跌倒分析模块和防跌倒执行模块；信息采集模块，用于采集目标对象的多项生理状态参数以及目标对象的监控视频，并传输至预测跌倒分析模块中；预测跌倒分析模块，用于基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；以及防跌倒执行模块，用于响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助。本申请实施例提供的智能行动辅助系统能够提前精准地预测出目标对象可能会跌倒，并能够及时对目标对象进行行动辅助。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请一示例性实施例提供的一种智能行动辅助系统100的一结构示意图；

图2为根据本申请一示例性实施例提供的一种智能行动辅助系统100的又一结构示意图；

图3为根据本申请一示例性实施例提供的基于如图1所述的系统进行智能行动辅助的方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种智能行动辅助系统和智能行动辅助方法，下面结合附图进行说明。

请参考图1，其示出了本申请的一些实施方式所提供的智能行动辅助系统100的一结构示意图。如图1所示，本申请实施例提供的智能行动辅助系统100包括：信息采集模块101、预测跌倒分析模块102和防跌倒执行模块103；

信息采集模块101，用于采集目标对象的多项生理状态参数以及目标对象的监控视频，并传输至预测跌倒分析模块102中。

在一种可能的实现方式中，信息采集模块101包括用于采集目标对象的监控视频的摄像头，摄像头可移动地安装于滑轨上。

在实际应用场景中，通过可移动地安装于滑轨上的摄像头，采集目标对象的监控视频，通过行人跟踪方法跟踪目标对象的位置，移动滑轨，使得滑轨始终布设于目标对象所在空间的上方，从而，目标对象始终位于图像中央。随着目标对象的在室内活动区域的移动，滑轨不断移动位置，以确保目标对象在图像中央，以实现对目标对象的跟踪，以采集到目标对象高清的监控视频。为了更好地实现对目标对象的实时跟踪，滑轨上可以放置1个、2个或者更多的摄像头，通过布设的不同角度的摄像头，以实现对目标对象的多角度实时跟踪。

在实际应用场景中，常见的多项生理信息包括：通过目标对象所佩戴的智能监测设备(例如，智能手表或智能手环)采集的目标对象的心率、血压、血糖等生理信息。

预测跌倒分析模块102，用于基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块103。

在一种可能的实现方式中，预测跌倒分析模块102包括第一预测跌倒分析子模块和/或第二预测跌倒分析子模块；

第一预测跌倒分析子模块，用于接收信息采集模块101所采集的目标对象的监控视频，将从监控视频所提取的关键帧输入至第一预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，预测结果中包括目标对象的步态分类类别，第一预测跌倒分析子模型包括深度学习步态分类模型；

在实际应用场景中，第一预测跌倒分析子模块所对应的第一预测摔倒分析子模型，能够提前精准地预测出目标对象可能会跌倒，以及时对目标对象进行行动辅助。上述第一预测跌倒分析子模块所应用场景为：执行速度较快，占用计算资源少，适合在智能网关上运行的应用场景。

第二预测跌倒分析子模块，用于接收信息采集模块101所采集的目标对象的监控视频和目标对象的多项生理状态参数，将获取的从监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的目标对象的多项生理状态参数均输入至第二预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，第二预测跌倒分析子模型包括多模态跌倒识别模型。

在实际应用场景中，将获取的从监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的目标对象的多项生理状态参数传输至注意力网络中，训练能够预测目标对象在行走过程中的跌倒风险的第二预测跌倒分析子模型。

防跌倒执行模块103，用于响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助。

在一种可能的实现方式中，抓取装置可移动地安装于滑轨上，滑轨布设于目标对象所在空间的上方。在实际应用场景中，抓取装置往往为绳索或抓杆。

通过如图1所示的智能行动辅助系统100，通过预测跌倒分析模块，基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，能够提前精准地预测出目标对象可能会跌倒；进一步地，在通过预测跌倒分析模块预测出存在跌倒风险时，将触发信息传输至防跌倒执行模块；并通过防跌倒执行模块响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助，能够及时对目标对象进行行动辅助。

请参考图2，其示出了本申请的一些实施方式所提供的智能行动辅助系统100的又一结构示意图。如图2所示，本申请实施例提供的智能行动辅助系统100除了包括：信息采集模块101、预测跌倒分析模块102和防跌倒执行模块103之外，还包括：跟随分析模块104、跟随执行模块105、辅助起立模块106和报警模块107。

如图2所示，本申请实施例提供的智能行动辅助系统100中的跟随分析模块104，用于接收信息采集模块101所采集的目标对象的监控视频，对目标对象的监控视频进行视频分析及跟踪，定位出目标对象的实时位置。

在一种可能的实现方式中，跟随分析模块104包括第一跟随分析子模块和/或第二跟随分析子模块；

第一跟随分析子模块，用于接收信息采集模块101所采集的目标对象的监控视频，并基于行人跟踪模型，对目标对象的监控视频进行视频分析及跟踪，定位出目标对象的实时位置。

在实际应用场景中，通过第一跟随分析子模块所采用的行人跟踪模块，可以实现对目标对象的实时跟随分析，并在分析出目标对象所在的具体位置信息之后，将该具体位置信息传输至跟随执行模块105，以通过跟随执行模块105对滑轨进行路径规划，并通过规划出的特定路径，将滑轨移动至目标对象所在空间的上方。

第二跟随分析子模块，用于接收信息采集模块101所采集的目标对象的监控视频，并基于行人检测模型所检测到的目标对象在监控视频中的检测位置，并将检测位置对应至室内地图中，以定位出目标对象的实时位置。

在实际应用场景中，还可以通过第二跟随分析子模块实现对目标对象的实时跟随分析：对可移动地安装于滑轨上的摄像头所采集的目标对象的监控视频，使用行人检测方法进行检测，检测到目标对象所在视频中的位置，并将上述视频中的位置对应到室内地图中的相应位置，以确定控制滑轨运行至与室内地图所对应的室内空间的上方所在的位置。

如图2所示，本申请实施例提供的智能行动辅助系统100中的随执行模块，用于根据目标对象的实时位置移动抓取装置。在实际应用场景中，抓取装置往往为绳索或抓杆。

如图2所示，本申请实施例提供的智能行动辅助系统100中的辅助起立模块106，用于当目标对象握持抓取装置时，牵引抓取装置以在目标对象起立的过程中提供支撑力。

在实际应用场景中，当设置在辅助起立模块106上的传感器感应到目标对象的抓力时，将抓取装置(例如，绳索或抓杆)缓慢向上移动，给予目标对象支撑力；或者，在目标对象处于半倒的状态时，通过抓取装置(例如，绳索或抓杆)将目标对象带起来，以有效地避免其可能出现的摔倒现象。

如图2所示，本申请实施例提供的智能行动辅助系统100中的报警模块107，预测跌倒分析模块102还用于在存在跌倒风险时将触发信息传输至报警模块107，报警模块107用于响应于触发信息发出警报。

在实际应用场景中，预测跌倒分析模块102还用于在存在跌倒风险时将触发信息传输至报警模块107，报警模块107用于响应于触发信息发出警报，以通过发出的警报提醒目标对象抓住向其放下的抓取装置(例如，绳索或抓杆)，以避免其摔倒。

此外，在实际应用场景中，还可以通过智能网关对外呼叫报警，以向外寻求帮助对目标对象施行施救，以在其如果摔倒后将其尽快扶起来。

在上述的实施例中，提供了一种基于如上述图1所述的系统进行智能行动辅助的方法，与之相对应的，本申请还提供一种智能行动辅助的方法。

请参考图3，其示出了根据本申请一示例性实施例提供的基于如图1所述的系统进行智能行动辅助的方法的流程图。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

如图3所示，为根据本申请一示例性实施例提供的基于如图1所述的系统进行智能行动辅助的方法的流程图。

如图3所示，智能行动辅助的方法可以包括以下步骤：

步骤S301：信息采集模块采集目标对象的多项生理状态参数以及目标对象的监控视频，并传输至预测跌倒分析模块中。

在实际应用场景中，通过可移动地安装于滑轨上的摄像头，采集目标对象的监控视频，通过行人跟踪方法跟踪目标对象的位置，移动滑轨，使得滑轨始终布设于目标对象所在空间的上方，从而，目标对象始终位于图像中央。随着目标对象的在室内活动区域的移动，滑轨不断移动位置，以确保目标对象在图像中央，以实现对目标对象的跟踪，以采集到目标对象高清的监控视频。为了更好地实现对目标对象的实时跟踪，滑轨上可以放置1个、2个或者更多的摄像头，通过布设的不同角度的摄像头，以实现对目标对象的多角度实时跟踪。

在实际应用场景中，常见的多项生理信息包括：通过目标对象所佩戴的智能监测设备(例如，智能手表或智能手环)采集的目标对象的心率、血压、血糖等生理信息。

在一种可能的实现方式中，信息采集模块包括用于采集目标对象的监控视频的摄像头，摄像头可移动地安装于滑轨上。

步骤S302：预测跌倒分析模块基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块。

在一种可能的实现方式中，预测跌倒分析模块包括第一预测跌倒分析子模块和/或第二预测跌倒分析子模块；

第一预测跌倒分析子模块，用于接收信息采集模块所采集的目标对象的监控视频，将从监控视频所提取的关键帧输入至第一预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，预测结果中包括目标对象的步态分类类别，第一预测跌倒分析子模型包括深度学习步态分类模型；

在实际应用场景中，第一预测跌倒分析子模块所对应的第一预测摔倒分析子模型，能够提前精准地预测出目标对象可能会跌倒，以及时对目标对象进行行动辅助。上述第一预测跌倒分析子模块所应用场景为：执行速度较快，占用计算资源少，适合在智能网关上运行的应用场景。

第二预测跌倒分析子模块，用于接收信息采集模块所采集的目标对象的监控视频和目标对象的多项生理状态参数，将获取的从监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的目标对象的多项生理状态参数均输入至第二预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，第二预测跌倒分析子模型包括多模态跌倒识别模型。

在实际应用场景中，将获取的从监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的目标对象的多项生理状态参数传输至注意力网络中，训练能够预测目标对象在行走过程中的跌倒风险的第二预测跌倒分析子模型。

步骤S303：防跌倒执行模块响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助。

在一种可能的实现方式中，抓取装置可移动地安装于滑轨上，滑轨布设于目标对象所在空间的上方。在实际应用场景中，抓取装置往往为绳索或抓杆。

本申请实施例提供的智能行动辅助的方法，由于预测跌倒分析模块基于目标对象的多项生理状态参数和采集的目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，能够提前精准地预测出目标对象可能会跌倒；进一步地，在预测跌倒分析模块预测出存在跌倒风险时将触发信息传输至防跌倒执行模块的情况下，防跌倒执行模块响应于触发信息，将预设的抓取装置移动至目标对象的实时位置以对目标对象进行智能行动辅助，能够及时对目标对象进行行动辅助。

Claims (10)

1.一种智能行动辅助系统，其特征在于，包括：信息采集模块、预测跌倒分析模块和防跌倒执行模块；

所述信息采集模块，用于采集目标对象的多项生理状态参数以及所述目标对象的监控视频，并传输至所述预测跌倒分析模块中；

所述预测跌倒分析模块，用于基于所述目标对象的多项生理状态参数和采集的所述目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；

所述防跌倒执行模块，用于响应于所述触发信息，将预设的抓取装置移动至目标对象的实时位置以对所述目标对象进行智能行动辅助。

2.根据权利要求1所述的系统，其特征在于，还包括跟随分析模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，对所述目标对象的监控视频进行视频分析及跟踪，定位出所述目标对象的实时位置。

3.根据权利要求2所述的系统，其特征在于，还包括跟随执行模块，用于根据所述目标对象的实时位置移动所述抓取装置。

4.根据权利要求3所述的系统，其特征在于，还包括辅助起立模块，用于当所述目标对象握持所述抓取装置时，牵引所述抓取装置以在目标对象起立的过程中提供支撑力。

5.根据权利要求1所述的系统，其特征在于，还包括报警模块，所述预测跌倒分析模块还用于在存在跌倒风险时将触发信息传输至报警模块，所述报警模块用于响应于所述触发信息发出警报。

6.根据权利要求1～5任一所述的系统，其特征在于，所述抓取装置可移动地安装于滑轨上，所述滑轨布设于目标对象所在空间的上方。

7.根据权利要求6所述的系统，其特征在于，所述信息采集模块包括用于采集所述目标对象的监控视频的摄像头，所述摄像头可移动地安装于所述滑轨上。

8.根据权利要求1所述的系统，其特征在于，所述预测跌倒分析模块包括第一预测跌倒分析子模块和/或第二预测跌倒分析子模块；

所述第一预测跌倒分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，将从所述监控视频所提取的关键帧输入至第一预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，所述预测结果中包括目标对象的步态分类类别，所述第一预测跌倒分析子模型包括深度学习步态分类模型；

所述第二预测跌倒分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频和所述目标对象的多项生理状态参数，将获取的从所述监控视频所提取的关键帧所对应的多模型跌倒识别结果，以及获取的所述目标对象的多项生理状态参数均输入至所述第二预测跌倒分析子模型中，输出能够预测目标对象在行走过程中的跌倒风险的预测结果，所述第二预测跌倒分析子模型包括多模态跌倒识别模型。

9.根据权利要求2所述的系统，其特征在于，所述跟随分析模块包括第一跟随分析子模块和/或第二跟随分析子模块；

所述第一跟随分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，并基于行人跟踪模型，对所述目标对象的监控视频进行视频分析及跟踪，定位出所述目标对象的所述实时位置；

所述第二跟随分析子模块，用于接收所述信息采集模块所采集的所述目标对象的监控视频，并基于行人检测模型所检测到的所述目标对象在所述监控视频中的检测位置，并将所述检测位置对应至室内地图中，以定位出所述目标对象的所述实时位置。

10.一种基于如权利要求1所述的系统进行智能行动辅助的方法，包括：

信息采集模块采集目标对象的多项生理状态参数以及所述目标对象的监控视频，并传输至预测跌倒分析模块中；

预测跌倒分析模块基于所述目标对象的多项生理状态参数和采集的所述目标对象的监控视频，预测目标对象在行走过程中的跌倒风险，并在存在跌倒风险时将触发信息传输至防跌倒执行模块；

防跌倒执行模块响应于所述触发信息，将预设的抓取装置移动至目标对象的实时位置以对所述目标对象进行智能行动辅助。

Images