CN116092264A - 跌倒提示方法及装置 - Google Patents
跌倒提示方法及装置 Download PDFInfo
- Publication number
- CN116092264A CN116092264A CN202111276136.1A CN202111276136A CN116092264A CN 116092264 A CN116092264 A CN 116092264A CN 202111276136 A CN202111276136 A CN 202111276136A CN 116092264 A CN116092264 A CN 116092264A
- Authority
- CN
- China
- Prior art keywords
- fall
- human body
- falling
- image
- body posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 142
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006378 damage Effects 0.000 abstract description 12
- 238000012806 monitoring device Methods 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
- G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Social Psychology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种跌倒提示方法及装置，该跌倒提示方法包括：获取目标区域图像；基于所述目标区域图像，确定人体姿态图像；基于所述人体姿态图像，确定跌倒检测结果；在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。本发明提供的跌倒提示方法及装置，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种跌倒提示方法及装置。
背景技术
根据相关医学研究显示，跌倒已经成为老人因伤致死的主要原因，跌倒能够引发高血压和心脏病等相关病症，尤其是对于独居老人，及时察觉其跌倒情况，并进行提醒，能够有助于快速发现和救助，能够降低跌倒造成的伤害后果。
伴随着物联网技术的发展，目前出现的跌倒提示方法主要通过可穿戴设备来实现，也就是由用户佩戴可穿戴设备，可穿戴设备检测到人体运动参数来感知跌倒情况并进行预警，这种方法在用户未佩戴可穿戴设备或者可穿戴设备耗完电量时就会失去效果，且容易发生误判，检测准确率较低。
发明内容
本发明提供一种跌倒提示方法及装置，用以解决现有技术中由用户佩戴可穿戴设备，可穿戴设备检测到人体运动参数来感知跌倒情况并进行预警，这种方法在用户未佩戴可穿戴设备或者可穿戴设备耗完电量时就会失去效果，且容易发生误判，检测准确率较低的缺陷，实现减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
本发明提供一种跌倒提示方法，该跌倒提示方法包括：获取目标区域图像；基于所述目标区域图像，确定人体姿态图像；基于所述人体姿态图像，确定跌倒检测结果；在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
根据本发明提供的跌倒提示方法，所述在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息，包括：若判断所述跌倒检测结果为跌倒，则向服务器发送所述跌倒提示信息，以供所述服务器向所述终端设备推送所述跌倒提示信息。
根据本发明提供的跌倒提示方法，在所述向终端设备发送跌倒提示信息之后，还包括：在目标时段内未接收到终端反馈信息的情况下，呼叫目标电话号码进行语音报警。
根据本发明提供的跌倒提示方法，所述呼叫目标电话号码进行语音报警，包括：向服务器发送跌倒报警指令，以供所述服务器呼叫所述目标电话号码进行语音报警。
根据本发明提供的跌倒提示方法，所述基于所述人体姿态图像，确定跌倒检测结果，包括：将所述人体姿态图像输入到跌倒检测模型，获取所述跌倒检测模型输出的所述跌倒检测结果；其中，所述跌倒检测模型为基于人体姿态样本数据集训练得到。
根据本发明提供的跌倒提示方法，所述人体姿态样本数据集包括人体姿态样本图像和所述人体姿态样本图像对应的跌倒检测结果样本数据；所述跌倒检测模型为以所述人体姿态样本图像为样本，以及所述跌倒检测结果样本数据为样本标签进行训练得到的，所述人体姿态样本图像包括跌倒姿态样本图像和正常姿态样本图像。
根据本发明提供的跌倒提示方法，所述基于所述目标区域图像，确定人体姿态图像，包括：从所述目标区域图像中获取人体轮廓数据信息；基于所述人体轮廓数据信息，确定人体检测框；基于所述人体检测框，从所述目标区域图像中截取所述人体姿态图像。
本发明还提供一种跌倒提示装置，该跌倒提示装置包括：获取模块，用于获取目标区域图像；第一确定模块，用于基于所述目标区域图像，确定人体姿态图像；第二确定模块，用于基于所述人体姿态图像，确定跌倒检测结果；发送模块，用于在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述跌倒提示方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述跌倒提示方法的步骤。
本发明提供的跌倒提示方法及装置，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的跌倒提示方法的流程示意图；
图2是本发明提供的跌倒提示方法的程序框图；
图3是本发明提供的跌倒提示装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图4描述本发明的跌倒提示方法及装置。
该跌倒提示方法可以被电子设备执行，电子设备可以具有摄像头、处理器和通信装置，电子设备可以放置在目标区域内，电子设备可以对目标区域进行拍摄，并对拍摄得到的图片或者视频进行处理得到处理结果，并将该处理结果发送给与该电子设备通信连接的服务器或者终端设备，也可以通过服务器将处理结果推送给指定的终端设备。
该电子设备可以被称为监控设备，可以被固定在目标区域内，改电子设备的形状可以类似于常见的监控摄像头，可以通过有线或者无线通信的方式接入到互联网。
如图1所示，本发明提供一种跌倒提示方法，该跌倒提示方法包括如下步骤110至步骤140。
其中，步骤110、获取目标区域图像。
可以理解的是，监控设备可以安装在目标区域，目标区域可以为室内或者室内一定范围的空间，比如目标区域可以为养老院的活动室或者卧室，也可以为住宅的客厅或者卧室，监控设备可以通过摄像头拍摄到目标区域图像，摄像头可以按照一定的频率来拍摄目标区域图像，比如可以按照每秒30张的速度来拍摄目标区域图像，目标区域图像中可以具有人体活动部分，也有背景部分，还有干扰部分，比如目标区域图像中也可以拍摄到例如宠物猫、宠物狗或者昆虫等动物。
步骤120、基于目标区域图像，确定人体姿态图像。
可以理解的是，在得到目标区域图像之后，可以对目标区域图像进行目标识别，可以先判断目标区域图像中是否存在人体，将那些不存在人体的目标区域图像剔除，保留那些存在人体的目标区域图像。对于存在人体的目标区域图像，可以对目标区域图像进行预处理，从目标区域图像中剪切出人体姿态图像。
人体姿态图像是目标区域图像的一部分，相比于目标区域图像，人体姿态图像去除了背景部分和干扰部分，仅保留了人体活动部分，这样能够尽可能减少无关因素对跌倒检测的干扰。
此处可以采用神经网络模型来对目标区域图像进行检测，从目标区域图像中提取到人体姿态图像，可以对神经网络模型进行训练，比如可以通过有监督学习的方式，或者无监督学习的方式，使得神经网络模型的提取准确度更高，当然也可以预存人体姿态模板，将目标区域图像与人体姿态模板进行比对，根据比对结果，来从目标区域图像中裁剪出人体姿态图像。
本实施例不对具体如何从目标区域图像中提取人体姿态图像的过程进行限定，本领域技术人员可以选择可行的方法来实现这一提取过程。
步骤130、基于人体姿态图像，确定跌倒检测结果。
可以理解的是，在得到了人体姿态图像后，可以对人体姿态图像进行跌倒检测，比如可以从人体姿态图像中提取出人体的姿势信息，将姿势信息与预存的姿势信息表进行比对，判断人体姿态图像对应的跌倒检测结果，也就是该人体姿态图像中是否存在跌倒情况。当然，还可以采用神经网络模型来对人体姿态图像进行跌倒检测，可以将人体姿态图像输入到神经网络模型中，神经网络模型可以输出跌倒检测模型，可以预先通过人体姿态样本数据集对神经网络模型进行训练，得到准确的跌倒检测模型。
值得一提的是，对跌倒进行检测的过程不局限于以上列举的两种方法，还可以为其他方法，本领域技术人员可以根据具体需求自行选择合理的算法来从人体姿态图像中得到跌倒检测结果。
步骤140、在跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
可以理解的是，跌倒检测结果可以分为两种，一种是跌倒，也就是人体姿态图像中出现了人体跌倒的情况，另一种是正常，也就是人体姿态图像中不存在人体跌倒的情况。
当跌倒检测结果为跌倒的情况时，此时可以向终端设备发送跌倒提示信息，比如可以向终端设备发送文字报警指令或者语音报警指令，终端设备在接收到跌倒提示信息之后，可以采用文字推送的方式给用户进行消息提示，也可以采用语音推送的方式对用户进行消息提示。
比如，在实际的人体活动场景中，监控设备拍摄到目标区域图像时，从目标区域图像中裁剪出人体姿态图像，并从人体姿态图像中识别出跌倒检测结果，在跌倒检测结果为跌倒的情况下，监控设备给绑定的手机发送跌倒提示信息，手机在收到跌倒提示信息后，可以直接通过手机的扬声器向外进行语音报警，比如通过扬声器播放“请注意，有人跌倒”，扬声器可以重复播放三遍该语音，当然也可以不播放语音，而是控制扬声器蜂鸣或者播放预设的音乐片段或者铃声来提醒用户。
还可以通过手机的显示屏来推送消息提示，比如可以在通知栏反复推送消息提示，可以在消息提示的同时控制手机振动，提醒用户关注该消息提示。
值得注意的是，目前出现的跌倒提示方法主要通过可穿戴设备来实现，也就是由用户佩戴可穿戴设备，可穿戴设备检测到人体运动参数来感知跌倒情况并进行预警，这种方法在用户未佩戴可穿戴设备或者可穿戴设备耗完电量时就会失去效果，且容易发生误判，检测准确率较低。
而本发明这种跌倒提示方法，并不需要用户在身体上佩戴可穿戴设备，这样可以消除对用户活动的束缚，监控设备可以接入到市电，那么就能够确保监控设备供电的稳定性，监控设备可以持续工作，相比于可穿戴设备来说更加稳定可靠，且采用图像识别的方式，相对于利用人体运动参数来说，跌倒检测准确率更高，能够避免误判。
本发明提供的跌倒提示方法，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
在一些实施例中，上述步骤140、在跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息，包括：若判断跌倒检测结果为跌倒，则向服务器发送跌倒提示信息，以供服务器向终端设备推送跌倒提示信息。
可以理解的是，监控设备可以通过互联网和服务器通信连接，监控设备可以和服务器实时传输数据，当判断跌倒检测结果对应为存在跌倒的情况时，可以向服务器发送跌倒提示信息，服务器在接收到跌倒提示信息后，可以通过网络向指定的终端设备推送跌倒提示信息。
指定的终端设备可以预先在服务器中与对应的监控设备进行了绑定，比如在服务器中，可以将终端设备的设备编号与监控设备的设备编号进行了绑定。
比如，在实际的人体活动场景中，监控设备拍摄到目标区域图像时，从目标区域图像中裁剪出人体姿态图像，并从人体姿态图像中识别出跌倒检测结果，在跌倒检测结果为跌倒的情况下，监控设备给服务器发送跌倒提示信息，服务器可以给与该监控设备所绑定的手机推送跌倒提示信息，手机在收到跌倒提示信息后，可以直接通过手机的扬声器向外进行语音报警，比如通过扬声器播放“请注意，有人跌倒”，扬声器可以重复播放三遍该语音，当然也可以不播放语音，而是控制扬声器蜂鸣或者播放预设的音乐片段或者铃声来提醒用户。
还可以通过手机的显示屏来推送消息提示，比如可以在通知栏反复推送消息提示，可以在消息提示的同时控制手机振动，提醒用户关注该消息提示。
通过服务器作为消息推送的中间媒介，可以实现跌倒消息的远程预警，当需要推送的终端设备与监控设备距离较远，并不能通过近场通信时，就能够通过服务器完成远程推送过程，这样就能够方便对独居老人进行远程关注。
如图2所示，在一些实施例中，在上述步骤140、向终端设备发送跌倒提示信息之后，还包括：在目标时段内未接收到终端反馈信息的情况下，呼叫目标电话号码进行语音报警。
可以理解的是，可以预设目标时段，比如目标时段可以为1分钟，监控设备在向终端设备发送了跌倒提示信息后，可以开始计时，如果在目标时段内监控设备没有接收到终端设备发送来的终端反馈信息，此时就可以直接呼叫目标电话号码进行语音报警，比如可以呼叫医院紧急救助电话，或者拨打给用户预设的指定联系电话号码。
值得注意的是，监控设备在向终端设备发送了跌倒提示信息之后，终端设备可以对该跌倒提示信息进行响应，比如通过语音或者文字向用户进行报警，同时向用户弹出询问框，询问框中可以具有标记有“已收到”的触摸控件，当用户点击该触摸控件时，此终端设备向监控设备发送终端反馈信息，此时说明用户已经收到该跌倒提示信息，并会做出一定的处理措施。
如果监控设备没有接收到终端设备所发送的终端反馈信息，说明用户可能并没有收到该终端反馈信息，此时可以拨打目标电话号码进行语音报警，从而能够通过双重预警来进一步降低跌倒造成的损害后果。
在未收到终端反馈信息时，可以由监控设备自带的电话拨号模块呼叫目标电话号码，还可以通过服务器来呼叫目标电话号码，还可以通过绑定的终端设备来呼叫目标电话号码，此处不限定呼叫的载体。
在一些实施例中，呼叫目标电话号码进行语音报警，包括：向服务器发送跌倒报警指令，以供服务器呼叫目标电话号码进行语音报警。
可以理解的是，在未收到终端反馈信息时，监控设备可以向服务器发送跌倒报警指令，由服务器来呼叫目标电话号码，以进行语音报警，这样就可以不需要在监控设备中设置电话拨号模块，降低监控设备的零部件成本。
如图2所示，在一些实施例中，上述步骤130、基于人体姿态图像，确定跌倒检测结果，包括：将人体姿态图像输入到跌倒检测模型，获取跌倒检测模型输出的跌倒检测结果；其中，跌倒检测模型为基于人体姿态样本数据集训练得到。
可以理解的是，跌倒检测模型可以为深度学习神经网络，比如可以为卷积神经网络或者残差神经网络，跌倒检测模型可以是利用包含有大量训练样本的人体姿态样本数据集进行训练得到的，跌倒检测模型经过训练后，可以实现对人体姿态图像精确的识别检测，将人体姿态图像输入到跌倒检测模型中就能够输出跌倒检测结果。
在一些实施例中，人体姿态样本数据集包括人体姿态样本图像和人体姿态样本图像对应的跌倒检测结果样本数据；跌倒检测模型为以人体姿态样本图像为样本，以及跌倒检测结果样本数据为样本标签进行训练得到的，人体姿态样本图像包括跌倒姿态样本图像和正常姿态样本图像。
可以理解的是，跌倒检测模型可以通过大量的人体姿态样本图像以及预先标记的跌倒检测结果样本数据来进行训练，可以通过有监督学习的方式确保跌倒检测模型的训练准确度。
跌倒检测模型所使用的深度学习神经网络能够对输入的端子连接人体姿态样本图像中的特征进行挑拣，将每个特征用于得到一个输出结果，将每个输出结果都和样本标签进行比对，经过比对符合要求的特征可以保留下来，而经过比对不符合要求的特征通过Loss参数进行忽略，经过对输入的大量人体姿态样本图像的不断迭代训练，可以最终学会那些需要记忆的核心特征，并将不同的核心特征进行分类，最终可以根据这些核心特征来对新输入的人体姿态图像进行判别。
在对跌倒检测模型进行训练之前，深度学习神经网络的卷积层的滤波器是完全随机的，其不会对任何特征激活，也就是不能检测到任何特征，在训练的过程中，对空白的滤波器修改权重以使其能够检测特定的场景，这正是一种有监督学习方式，基于这种有监督学习方式，深度学习神经网络能够自行学习需要出核心特征，以根据这些核心特征来对新输入的人体姿态图像进行判别。
跌倒检测模型是通过人体姿态样本数据集训练得到的，人体姿态样本数据集可以包括跌倒姿态样本图像和正常姿态样本图像，样本可以包括人体速度特征，样本标签为非跌倒和跌倒，其中，正常姿态样本图像为真实采集的人员日常活动的样本，也就是非跌倒样本，跌倒姿态样本图像为跌倒样本。
在一些实施例中，人体姿态样本数据集中的正常姿态样本图像来自于真实采集的人员日常活动的样本，人体姿态样本数据集中的跌倒姿态样本图像为基于数据扩容模型对输入的真实跌倒样本进行预处理得到。
值得注意的是，发明人在研究过程中发现，可以采用真实的跌倒样本来对跌倒检测模型进行训练，但是对于正常人来说，发生跌倒的情况很少见，很难采集到大量的跌倒样本，并且采集到的样本也很难囊括到大部分跌倒情形。
为了让跌倒检测模型能够检测出更多的跌倒情形，人体姿态样本数据集需要有更多的跌倒样本，本实施例抛弃了传统的人工采集样本数据的方式，而是利用数据扩容模型来生成人体姿态样本数据集。
可以采集少量的真实跌倒样本，将真实跌倒样本输入到数据扩容模型中，数据扩容模型能够根据真实跌倒样本进行仿真，从而生成多个仿真跌倒样本，这样就实现了样本扩容，通过在对跌倒检测模型进行训练之前，利用数据扩容模型对真实跌倒样本进行扩容，形成更加丰富的人体姿态样本数据集，能够提升跌倒检测模型对于跌倒多样性的鲁棒性能。
本实施例提供的跌倒提示方法，采用无线网络信号来进行跌倒检测更便于大规模推广，适用的场景更广泛，通过利用数据扩容模型对真实跌倒样本进行扩容，形成人体姿态样本数据集，提升对跌倒检测模型训练的效果，使得对目标区域内人员跌倒情况的检测更加准确高效。
需要说明的是，人员跌倒涉及到全身各个部位的协调运动，也就产生了跌倒的多样性。有相关生物学的研究表明，人在跌倒的过程中会出于本能地挥舞四肢以寻求平衡或者预防伤害，而这种保护性的四肢运动会对躯干的运动速度产生影响，这类似于跳起身投篮的时候，躯干会后仰。因此，跌倒的多样性就存在于四肢的运动中。传统的跌倒检测方法仅仅考虑躯干的自由跌倒，而忽视了跌倒过程中四肢的参与，从而很难正确检测真实的跌倒行为。
在生成人体姿态样本数据集的过程中，既需要模拟跌倒过程中四肢的多样运动，也需要服从躯干的大致运动趋势。没有自我保护意识的假人在跌倒时具有典型的加速(Acceleration)和减速(Deceleration)两个阶段，在加速阶段，躯干速度由0m/s逐渐增加到大约4m/s，持续大约1000毫秒，在减速阶段，速度由4m/s骤然降低到0m/s，持续大约300毫秒。而真人的案例是在此基础上出现了不同程度的偏移。为了保证生成的仿真跌倒样本服从这种模式。
在一些实施例中，上述步骤120、基于目标区域图像，确定人体姿态图像，包括：从目标区域图像中获取人体轮廓数据信息；基于人体轮廓数据信息，确定人体检测框；基于人体检测框，从目标区域图像中截取人体姿态图像。
可以理解的是，在获取到目标区域图像之后，可以通过预设的人体检测模型从目标区域图像中获取到人体轮廓数据信息，对于这种目标检测，可以是基于SSD目标检测框架或者RefineDet目标检测框架，在本实施例中，并不对人体轮廓数据信息获取的具体算法进行限定，只要保证能够从目标区域图像中获取到人体轮廓数据信息即可。
可以通过目标区域图像进行多次卷积层处理和池化层处理，以形成全连接层，再利用目标检测网络对全连接层进行分类识别以获取人体轮廓数据，其中，该目标检测网络可以是基于SSD目标检测框架或者RefineDet目标检测框架。
基于SSD目标检测框架或者RefineDet目标检测框架，可以输出若干人体检测框，其中，每个人体检测框的位置和带大小均用第一坐标值，其中，第一坐标值包含4个坐标(x，，y，w，h)，x表示人体检测框左上角在预设坐标系中的x坐标，y表示人体检测框左上角在预设坐标系中的y坐标，w表示人体检测框的第一框长值，h表示人体检测框的第一框高值，其中，上述坐标值均以像素为单位，分别对应一个人体区域。
可以根据人体轮廓数据信息确定人体检测框的左上角顶点在预设坐标系中第一坐标值、第一框长值以及第一框高值，其中，第一坐标值中的横坐标值小于或者等于人体轮廓数据信息中最小横坐标值，第一坐标值中的纵坐标值大于或者等于人体轮廓数据信息中最大纵坐标值，第一框长值大于或者等于人体轮廓数据信息中最大横坐标值与最小横坐标值之差，第一框高值大于或者等于人体轮廓数据信息中最大纵坐标值与最小纵坐标值之差。
在确定人体检测框之后，可以利用人体检测框从目标区域图像中截取人体姿态图像，此外，在利用人体检测框从目标区域图像中截取人体姿态图像之后，还可以重新对齐尺寸进行统一，例如可以将其缩放至固定尺寸，比如224*224像素，之后再将缩放后的人体姿态图像输入到跌倒检测模型中进行跌倒检测。
下面对本发明提供的跌倒提示装置进行描述，下文描述的跌倒提示装置与上文描述的跌倒提示方法可相互对应参照。
如图3所示，本发明还提供一种跌倒提示装置，该跌倒提示装置包括：获取模块310、第一确定模块320、第二确定模块330和发送模块340。
其中，获取模块310，用于获取目标区域图像。
第一确定模块320，用于基于目标区域图像，确定人体姿态图像。
第二确定模块330，用于基于人体姿态图像，确定跌倒检测结果。
发送模块340，用于在跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
在一些实施例中，发送模块，还用于若判断跌倒检测结果为跌倒，则向服务器发送跌倒提示信息，以供服务器向终端设备推送跌倒提示信息。
在一些实施例中，该跌倒提示装置还包括：呼叫模块。
呼叫模块，用于在目标时段内未接收到终端反馈信息的情况下，呼叫目标电话号码进行语音报警。
在一些实施例中，呼叫模块还用于向服务器发送跌倒报警指令，以供服务器呼叫目标电话号码进行语音报警。
在一些实施例中，第二确定模块，还用于：将人体姿态图像输入到跌倒检测模型，获取跌倒检测模型输出的跌倒检测结果；其中，跌倒检测模型为基于人体姿态样本数据集训练得到。
在一些实施例中，人体姿态样本数据集包括人体姿态样本图像和人体姿态样本图像对应的跌倒检测结果样本数据；跌倒检测模型为以人体姿态样本图像为样本，以及跌倒检测结果样本数据为样本标签进行训练得到的，人体姿态样本图像包括跌倒姿态样本图像和正常姿态样本图像。
在一些实施例中，第一确定模块还用于从目标区域图像中获取人体轮廓数据信息；基于人体轮廓数据信息，确定人体检测框；基于人体检测框，从目标区域图像中截取人体姿态图像。
本发明提供的跌倒提示装置，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行跌倒提示方法，该方法包括：获取目标区域图像；基于所述目标区域图像，确定人体姿态图像；基于所述人体姿态图像，确定跌倒检测结果；在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
本发明提供的跌倒提示方法，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的跌倒提示方法，该方法包括：获取目标区域图像；基于所述目标区域图像，确定人体姿态图像；基于所述人体姿态图像，确定跌倒检测结果；在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
本发明提供的跌倒提示方法，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的跌倒提示方法，该方法包括：获取目标区域图像；基于所述目标区域图像，确定人体姿态图像；基于所述人体姿态图像，确定跌倒检测结果；在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
本发明提供的跌倒提示方法，通过获取目标区域图像，并从目标区域图像中提取出人体姿态图像，根据人体姿态图像识别出跌倒检测结果，在确认存在跌倒情况时，向终端设备发送跌倒提示信息，这样能够减少误判可能性，提高跌倒检测的准确性和可靠性，且能够做到实时提醒，降低跌倒造成的损害后果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种跌倒提示方法，其特征在于，包括：
获取目标区域图像；
基于所述目标区域图像，确定人体姿态图像；
基于所述人体姿态图像，确定跌倒检测结果；
在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
2.根据权利要求1所述的跌倒提示方法，其特征在于，所述在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息，包括：
若判断所述跌倒检测结果为跌倒，则向服务器发送所述跌倒提示信息，以供所述服务器向所述终端设备推送所述跌倒提示信息。
3.根据权利要求1所述的跌倒提示方法，其特征在于，在所述向终端设备发送跌倒提示信息之后，还包括：
在目标时段内未接收到终端反馈信息的情况下，呼叫目标电话号码进行语音报警。
4.根据权利要求3所述的跌倒提示方法，其特征在于，所述呼叫目标电话号码进行语音报警，包括：
向服务器发送跌倒报警指令，以供所述服务器呼叫所述目标电话号码进行语音报警。
5.根据权利要求1至4中任一项所述的跌倒提示方法，其特征在于，所述基于所述人体姿态图像，确定跌倒检测结果，包括：
将所述人体姿态图像输入到跌倒检测模型，获取所述跌倒检测模型输出的所述跌倒检测结果；
其中，所述跌倒检测模型为基于人体姿态样本数据集训练得到。
6.根据权利要求5所述的跌倒提示方法，其特征在于，所述人体姿态样本数据集包括人体姿态样本图像和所述人体姿态样本图像对应的跌倒检测结果样本数据；所述跌倒检测模型为以所述人体姿态样本图像为样本，以及所述跌倒检测结果样本数据为样本标签进行训练得到的，所述人体姿态样本图像包括跌倒姿态样本图像和正常姿态样本图像。
7.根据权利要求1至4中任一项所述的跌倒提示方法，其特征在于，所述基于所述目标区域图像，确定人体姿态图像，包括：
从所述目标区域图像中获取人体轮廓数据信息；
基于所述人体轮廓数据信息，确定人体检测框；
基于所述人体检测框，从所述目标区域图像中截取所述人体姿态图像。
8.一种跌倒提示装置，其特征在于，包括：
获取模块，用于获取目标区域图像；
第一确定模块，用于基于所述目标区域图像，确定人体姿态图像；
第二确定模块，用于基于所述人体姿态图像，确定跌倒检测结果；
发送模块，用于在所述跌倒检测结果为跌倒的情况下，向终端设备发送跌倒提示信息。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述跌倒提示方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至中任一项所述跌倒提示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276136.1A CN116092264A (zh) | 2021-10-29 | 2021-10-29 | 跌倒提示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276136.1A CN116092264A (zh) | 2021-10-29 | 2021-10-29 | 跌倒提示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116092264A true CN116092264A (zh) | 2023-05-09 |
Family
ID=86197779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111276136.1A Pending CN116092264A (zh) | 2021-10-29 | 2021-10-29 | 跌倒提示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116092264A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110532966A (zh) * | 2019-08-30 | 2019-12-03 | 深兰科技（上海）有限公司 | 一种基于分类模型进行跌倒识别的方法及设备 |
| CN112488019A (zh) * | 2020-12-07 | 2021-03-12 | 新疆爱华盈通信息技术有限公司 | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 |
| CN112750277A (zh) * | 2021-01-05 | 2021-05-04 | 武汉大学 | 融合轨迹数据与传感器姿态的室内跌倒检测系统及方法 |
-
2021
- 2021-10-29 CN CN202111276136.1A patent/CN116092264A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019128646A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
| CN110532966A (zh) * | 2019-08-30 | 2019-12-03 | 深兰科技（上海）有限公司 | 一种基于分类模型进行跌倒识别的方法及设备 |
| CN112488019A (zh) * | 2020-12-07 | 2021-03-12 | 新疆爱华盈通信息技术有限公司 | 基于姿态识别的跌倒检测方法、装置、电子设备及存储介质 |
| CN112750277A (zh) * | 2021-01-05 | 2021-05-04 | 武汉大学 | 融合轨迹数据与传感器姿态的室内跌倒检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Fall detection based on dual-channel feature integration | |
| CN107153871B (zh) | 基于卷积神经网络和手机传感器数据的跌倒检测方法 | |
| CN105171752A (zh) | 机器人系统及其方法 | |
| CN107193382A (zh) | 智能可穿戴设备以及自动利用传感器来配置能力的方法 | |
| CN111975772B (zh) | 机器人控制方法、装置、电子设备及存储介质 | |
| WO2016115835A1 (zh) | 人体特征数据的处理方法及装置 | |
| CN110801216B (zh) | 异常预警方法及相关设备 | |
| US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
| CN107609474A (zh) | 肢体动作识别方法、装置、机器人及存储介质 | |
| CN106510720A (zh) | 一种用户状态的提示方法及装置 | |
| CN111488850A (zh) | 一种基于神经网络的老年人跌倒检测方法 | |
| CN110737201A (zh) | 一种监护方法、装置、存储介质及空调 | |
| CN115482485A (zh) | 视频处理方法、装置、计算机设备及可读存储介质 | |
| WO2016206644A1 (zh) | 机器人控制引擎及系统 | |
| CN106325113A (zh) | 机器人控制引擎及系统 | |
| CN116416545A (zh) | 行为检测方法、装置、设备以及计算机可读存储介质 | |
| Wu et al. | Skeleton based fall detection with convolutional neural network | |
| CN116092264A (zh) | 跌倒提示方法及装置 | |
| CN106997449A (zh) | 具有人脸识别功能的机器人和人脸识别方法 | |
| CN110148234A (zh) | 校园刷脸接送交互方法、存储介质及系统 | |
| KR20230154380A (ko) | 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법 | |
| CN111563397B (zh) | 检测方法、装置、智能设备及计算机存储介质 | |
| CN115100560A (zh) | 用户不良状态的监测方法、装置、设备及计算机存储介质 | |
| CN110795017B (zh) | 一种虚拟按钮控制方法及其相关产品 | |
| CN106816150A (zh) | 一种基于环境的婴语解读方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |