CN111709277A - 人体摔倒检测方法、装置、计算机设备和存储介质 - Google Patents
人体摔倒检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111709277A CN111709277A CN202010358863.1A CN202010358863A CN111709277A CN 111709277 A CN111709277 A CN 111709277A CN 202010358863 A CN202010358863 A CN 202010358863A CN 111709277 A CN111709277 A CN 111709277A
- Authority
- CN
- China
- Prior art keywords
- human body
- rectangular frame
- posture
- preset
- minimum rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 42
- 210000000689 upper leg Anatomy 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请揭示了一种人体摔倒检测方法、装置、计算机设备和存储介质，其中方法进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标(x1、y1)是否高于实体设备的第二最小矩形框的中心坐标(x3、y3)，若否，则进行第三次判断，判断所述人体的姿态是否符合预设的摔倒姿态等，本申请经过上述三次判断，判断算法简单，而且判断结果的准确性较高。
Description
技术领域
本申请涉及到摔倒检测领域，特别是涉及到一种人体摔倒检测方法、装置、计算机设备和存储介质。
背景技术
随着社会的高速发展，越来越多的人长期在外工作，家里经常只有老人或小孩。对于老人、小孩这种身体机能较弱的群体，在家中活动时很容易发生摔倒的意外。针对这种情况，有多种人体摔倒检测方法被提出。
这些人体摔倒检测方法可以分为两大类：
一类是借助室内大量传感器和可穿戴式设备，采集人体摔倒时加速度数据的方法，这类方法虽然检测准确，但是具有所需设备多、人体穿戴麻烦等缺点；
另一类是借助计算机视觉方法，对视频图像进行实时处理，实现检测，这类方法，大多设备简单，只需一个摄像头，即可实现检测，但难以兼顾检测准确度，以及算法复杂度高等问题，要么牺牲准确度换取检测速度，要么牺牲检测速度换取准确度。
发明内容
本申请的主要目的为提供一种人体摔倒检测方法、装置、计算机设备和存储介质，旨在解决现有借助计算机视觉检测人体摔倒时算法复杂度高的技术问题。
为了实现上述发明目的，本申请提出一种人体摔倒检测方法，包括步骤：
获取待分析的图片；
检测所述图片中是否有人像；
若有人像，则标注出人像的外接的第一最小矩形框；
以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
判断h/w的值是否小于等于1；
若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
进一步地，所述判断所述人体的姿态是否符合预设的摔倒姿态的步骤，包括：
获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
判断所述第一夹角和/或所述第二夹角是否大于预设角度；
若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
进一步地，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
进一步地，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
进一步地，所述图片是视频流中的某一种帧图片，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
进一步地，所述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤，包括:
通过麦克风阵列采集声音信息；
判断所述声音信息中是否包含预设的摔倒声音；
若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
进一步地，所述检测所述图片中是否有人像的步骤之后，包括：
若有，则判断所述人像的清晰度是否达到要求；
若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
本本申请还提供一种人体摔倒检测装置，包括：
第一获取单元，用于获取待分析的图片；
第一检测单元，用于检测所述图片中是否有人像；
第一标注单元，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
第二获取单元，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
第一判断单元，用于判断h/w的值是否小于等于1；
第二检测单元，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
第二标注单元，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算单元，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
第二判断单元，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
第三判断单元，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
判定单元，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的人体摔倒检测方法、装置、计算机设备和存储介质，进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标(x1、y1)是否高于实体设备的第二最小矩形框的中心坐标(x3、y3)，若否，则进行第三次判断，判断所述人体的姿态是否符合预设的摔倒姿态等，本申请经过上述三次判断，判断算法简单，而且判断结果的准确性较高。
附图说明
图1为本申请一实施例的人体摔倒检测方法的流程示意图；
图2为本申请一实施例的人体摔倒检测装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种人体摔倒检测方法，包括步骤：
S1、获取待分析的图片；
S2、检测所述图片中是否有人像；
S3、若有人像，则标注出人像的外接的第一最小矩形框；
S4、以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
S5、判断h/w的值是否小于等于1；
S6、若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
S7、若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
S8、计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
S9、判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
S10、若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
S11、若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
如上述步骤S1，上述待分析的图片是指需要分析是否有人跌倒的电子图片，其可以是任意一张电子图片。
如上述步骤S2，是检测图片中是否具有人像的步骤，检测图片中是否具有人像的方法可以使用现有技术中的任意一种，比如，可以先通过图像目标检测方法，应用深度卷积神经网络YoloV3进行图像中人体检测；该YoloV3网络使用经过COCO数据集预训练的网络权重(可在网上下载获得)，可检测出person、chair、couch和bed物体，并标注出它们的外接最小矩形框；其具有检测速度快，精度高等特点，再此不在赘述。
如上述步骤S3，上述图片中可能存在有人像，也可能没有人像，当图片中没有人像的时候，则停止继续执行下面的各步骤，节约计算资源。当有人像的时候，则标注出人像的外接的第一最小矩形框，该外接的第一最小矩形框是指能够包围人像的最小矩形框。
如上述步骤S4和S5,以图片中的任一点建立二维的直角坐标系，然后计算出第一最小矩形框的中心点坐标(x1、y1)，以及矩形框的长度h和宽度w。该中心点坐标(x1、y1)的y1，可以反映出人像中心点的高度。而通过分析长度h和宽度w，则可以判断出人像是站立还是躺卧的状态。在本实施例中，计算h/w的值，如果h/w的值大于1，则说明人像处于站立或者蹲坐等非摔倒的状态，如果h/w的值小于等于1，则说明人像有可能是摔倒的横卧姿态，需要进一步的判定。具体地，在一个实施例中，长度h代表人当前距离地面的最高高度，而宽度w则代表人当前的最大宽度，通过h/w的值，判断人当前是否是处于倒在地上。比如，h/w的值等于1或小于1，在本申请中则认为人跌倒，因为高度已经小于等于宽度了，则显然不是一个正常人的身高和宽度的比例。而大于1，则认为人没有跌倒。
如上述步骤S6-S8，上述实体设备一般包括床、椅子、沙发等室内休息用物体，可以通过现有的神经网络学习的特征提取方式，将这些实体设备在图片中识别出来，同样进行外接的最小矩形框的标注，以及计算出各实体设备的第二最小矩形框的中心坐标(x2、y2)。然后计算出距离人体距离最近的实体设备(即中心点坐标(x1、y1)和各所述中心坐标(x2、y2)距离中，最小值对应的实体设备)，因为在同一个坐标系中，且已经知道各坐标，所及计算距离的方法可以利用简单的三角函数即可实现。当确定距离人体最近的实体设备后，为了描述清晰，将该实体设备标记为第一实体设备，将其对应的中心坐标(x2、y2)标记为(x3、y3)。需要注意的是，本申请中的中心点坐标(x1、y1)和中心坐标(x2、y2)等位于同一坐标系中。
如上述步骤S9和S10，即为判断中心点坐标(x1、y1)是否高于(x3、y3)的步骤，如果高于，则说明人体的中心高于第一实体设备的中心点，人可能是躺卧在第一实体设备上，而不是躺卧在地面上。如果低于，则说明人体可能是躺卧在地面上，存在摔倒的可能，所以需要进一步地确定。在一个具体实施例中，(x3、y3)是第一实体设备的中心坐标，而(x1、y1)是人的中心坐标，当人的中心坐标的纵y1高于实体设备的中心坐标的纵坐标y3，则说明人当前的位置是高于实体设备的，可以由此判定，人没有倒在地面上，因为，在实际生活中，桌、椅、床等实体设备是有高度的，而当人体的中心坐标高于实体设备的中心，则说明人体可能是躺卧在实体设备上。举个例子，人躺在床上，此时人的中心位置在同一个坐标系中，其高度肯定高于床的中心位置(不考床的床头)，此时，即使h/w的值小于等于1，已经判定人是躺卧的状态，也不会判定人是跌倒状态，而是判定人躺卧在床上等。
如上述步骤S11，上述预设的摔倒姿态是指根据人体摔倒后可能存在的姿态的合集，可以通过大量的样本进行合成，也可以是通过某些规律合成，在本实施例中不做具体限定。当人体的姿态符合上述预设的摔倒姿态，则判定人体摔倒。
在本实施例中，只需要对一幅图片进行具体分析既可以判断出人体是否摔倒，不需要如现有技术一样，通过多帧连续的图片进行比对计算，然后才判定出人体是否摔倒，本申请的检测方法更为简单，因为在检测过程进行了长度和宽度的比对，以及与预设的实体设备的高度进行比较，最后又与预设的摔倒姿态比对，所以检测的准确性也相对更高。
在一个实施例中，上述判断所述人体的姿态是否符合预设的摔倒姿态的步骤S10，包括：
S101、获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
S102、判断所述第一夹角和/或所述第二夹角是否大于预设角度；
S103、若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
在本实施例中，所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角的获取方法可以为：应用OpenPose深度卷积神经网络进行关节点提取，同样可在网上下载获得网络预训练权重，然后将左、右臀部关节节点与对应的左、右膝盖关节节点形成向量，以及，将左、右膝盖关节节点与左、右踝关节节点形成向量，然后分别计算同一侧的两个向量之间的夹角。计算可以采用余弦定理：
其中a,b为向量，ab代表向量做内积，余弦定理求出有的角度是弧度制，可由：
上述的预设角度一般是90度，或者是90度附近的角度，如85度、100等，因为人体摔倒的时候，一般至少有一条腿的大腿和小腿的角度是大于90度的，所以一旦有一条腿的大腿和小腿的角度大于预设角度，则可以判定人体的姿态符合所述预设的摔倒姿态。
在一个实施例中，若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
S111、若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
在本实施例中，如果两条腿的大腿和小腿的角度均大于预设角度，则说明摔倒的情况比较严重，所以将摔倒的结果告知监护人，以便于监护人做出相应的救援处理动作。通知监护人的方式可以是邮件、短信、拨打电话等。
在一个实施例中，若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
S112、若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
在本实施例中，因为只有一个角度大于预设角度，所以可以基本确定人体摔倒的情况并不严重，此时会启动问询的方式进行确定，如“是否摔倒、是否需要救助”等问询，然后接收人体的反馈语音信号，并对接收的语音信号进行语音转文字，对文字进行语义分析等，最后根据语义确定人体是否摔倒，进一步地提高判断的准确性和实用性。
在一个实施例中，所述图片是视频流中的某一种帧图片，上述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤S11之后，还包括：
判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
在本实施例中，上述指定间隔是指每个指定数量帧之后选择一帧作为辅助图片，比如间隔24帧选读取一张辅助图片等，辅助图片的数量可以根据需求选定。比如，视频流每秒播放30帧，那么获取5秒钟的5张辅助图片，就会每间隔29帧后获取一张辅助图片等。如果这5张辅助图片均反映人体处于摔倒状态，则说明人体真的摔倒了，而且至少在5秒钟内没有站起来，说明人体摔的比较严重，所以通知监护人。通知监护人的方式可以是邮件、短信、拨打电话等。对辅助图片中人体是否处于摔倒状态的判断方法与上述的人体摔倒检测方法相同。
在一个实施例中，上述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤S1，包括:
S1a、通过麦克风阵列采集声音信息；
S1b、判断所述声音信息中是否包含预设的摔倒声音；
S1c、若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
S1d、调整所述采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
在本实施例中，上述机器人是一种具有处理数据能力的智能机器人，或者可以接收到控制指令进行移动的机器人，比如，其本身可以通过采集的声音进行数据处理，又或则将采集的声音或者视频发送给服务器，由服务器进行数据处理，然后反馈控制命令控制机器人等。在本实施例中，执行主体是机器人，机器人具有数据处理能力；在另一个实施例中，执行主体是服务器，服务器与机器人通过5G网络连接，服务器进行数据处理，因为是5G网络连接，并不会产生延迟，且有服务器进行数据处理，其处理数据的能力和速度更快。通过阵列麦克风采集声音进行定位是比较常见的技术，在此不在赘述。识别声音信息中是否有摔倒声音，可以使用大量不同的摔倒声音样本训练神经网络模型，然后通过训练好的神经网络模型识别摔倒声音等，本申请中可以在实验室中收集大量的人体摔倒产生的声音，以及常规的非摔倒的声音，然后将人体摔倒产生的声音和常规的非摔倒的声音生成对应的频谱图，并进行标记声音类型的标记(摔倒类型和非摔倒类型)，形成训练样本，然后选用卷积神经网络(CNN)进行训练，得到识别摔倒声音的神经网络模型，具体的训练过程在此不在赘述。在本实施例中，当确定摔倒声音的声源位置后，控制机器人将摄像头朝向声源的位置采集视频流，并选择其中的一帧作为上述图片进行分析。这样，无需时刻获取图片，而是只有在获取到摔倒声音之后，才会进行图像分析，节约计算资源，且提高摔倒检测的准确率。
在一个实施例中，上述检测所述图片中是否有人像的步骤S2，之后包括：
S2a、若有，则判断所述人像的清晰度是否达到要求；
S2b、若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
在本实施例中，通过调整机器人与声源位置的距离，解决人像清晰度的问题，方法简单，容易实现，同时无需摄像头进行变焦处理，得到的图片视角一致性更高。当机器人与所述声源的位置之间的距离为预设值时，返回上述步骤S1，重新获取图片。
本申请实施例的人体摔倒检测方法，进行三次判断，第一次是判断第一最小矩形框的长度和宽度的比值是否满足小于等于1的条件，若是，则进行第二次判断，其判断第一最小矩形框的中心点坐标(x1、y1)是否高于实体设备的第二最小矩形框的中心坐标(x3、y3)，若否，则进行第三次判断，判断所述人体的姿态是否符合预设的摔倒姿态等，本申请经过上述三次判断，判断算法简单，而且判断结果的准确性较高。
参照图2，本申请还提供一种人体摔倒检测装置，包括：
第一获取单元1，用于获取待分析的图片；
第一检测单元2，用于检测所述图片中是否有人像；
第一标注单元3，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
第二获取单元4，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
第一判断单元5，用于判断h/w的值是否小于等于1；
第二检测单元6，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
第二标注单元7，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算单元8，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
第二判断单元9，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
第三判断单元10，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
判定单元11，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
在一个实施例中，上述判定单元11，包括：
夹角获取模块，用于获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
角度判断模块，用于判断所述第一夹角和/或所述第二夹角是否大于预设角度；
判定模块，用于若所述第一夹角和/或所述第二夹角大于预设角度，则判定所述人体的姿态符合所述预设的摔倒姿态。
在一个实施例中，所述人体摔倒检测装置，还包括：
发送单元，用于若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
在另一个实施例中，所述人体摔倒检测装置，还包括：
语音确定单元，用于若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
在一个实施例中，上述图片是视频流中的某一种帧图片，上述人体摔倒检测装置，还包括：
辅助判断单元，用于判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
结果发送单元，用于若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
在一个实施例中，上述采集视频流的主体是可以移动的机器人；上述第一获取单元1，包括:
采集模块，用于通过麦克风阵列采集声音信息；
声音判断模块，用于判断所述声音信息中是否包含预设的摔倒声音；
声源定位模块，用于根据所述摔倒声音进行声源定位，得到所述声源的位置；
调整选择模块，用于调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
进一步地，上述第一检测单元2，还包括：
清晰判断模块，用于判断所述人像的清晰度是否达到要求；
位置调整模块，用于若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
上述各单元和模块是实现上述各方法实施例的执行装置，在此不在一一解释说明。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器、可以移动的机器人等，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例中的人体摔倒检测方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现可以实现上述任一实施例中的人体摔倒检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种人体摔倒检测方法，其特征在于，包括步骤：
获取待分析的图片；
检测所述图片中是否有人像；
若有人像，则标注出人像的外接的第一最小矩形框；
以图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
判断h/w的值是否小于等于1；
若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
若否，则判断所述人体的姿态是否符合预设的摔倒姿态；
若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
2.根据权利要求1所述的人体摔倒检测方法，其特征在于，所述判断所述人体的姿态是否符合预设的摔倒姿态的步骤，包括：
获取所述人像中左大腿与左小腿之间的第一夹角，以及右大腿与右小腿之间的第二夹角；
判断所述第一夹角和/或所述第二夹角是否大于预设角度；
若是，则判定所述人体的姿态符合所述预设的摔倒姿态。
3.根据权利要求2所述的人体摔倒检测方法，其特征在于，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
若所述第一夹角和所述第二夹角均大于预设角度，则发送信息给预设的监护人。
4.根据权利要求2所述的人体摔倒检测方法，其特征在于，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
若所述第一夹角和所述第二夹角中仅有一个大于预设角度，则发起语音确定，其中，语音确定包括发出问询是否跌倒的语句，以及接收发出问询语句后指定时间内的语音，并解析出所述语音的语义，通过所述语义确定人体是否摔倒。
5.根据权利要求1所述的人体摔倒检测方法，其特征在于，所述图片是视频流中的某一种帧图片，所述若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态的步骤之后，还包括：
判断所述图片之后的视频流中连续指定间隔的多帧的辅助图片中，人体是否处于摔倒状态；
若所述辅助图片中的人像均被判定为处于摔倒状态，则将摔倒的结果告知监护人。
6.根据权利要求1所述的人体摔倒检测方法，其特征在于，所述采集视频流的主体是可以移动的机器人；所述获取待分析的图片的步骤，包括:
通过麦克风阵列采集声音信息；
判断所述声音信息中是否包含预设的摔倒声音；
若是，根据所述摔倒声音进行声源定位，得到所述声源的位置；
调整所述机器人的采集视频流的摄像头朝向所述声源的位置采集视频流，并将调整所述摄像头位置之后采集的视频流中的一帧作为所述图片。
7.根据权利要求6所述的人体摔倒检测方法，其特征在于，所述检测所述图片中是否有人像的步骤之后，包括：
若有，则判断所述人像的清晰度是否达到要求；
若没有达到要求，则控制所述机器人调整位置，使所述机器人与所述声源的位置之间的距离为预设值。
8.一种人体摔倒检测装置，其特征在于，包括：
第一获取单元，用于获取待分析的图片；
第一检测单元，用于检测所述图片中是否有人像；
第一标注单元，用于若所述图片中有人像，则标注出人像的外接的第一最小矩形框；
第二获取单元，用于以所述图片中的预设点为原点，获取所述第一最小矩形框的中心点坐标(x1、y1)，以及所述第一最小矩形框的长度h和宽度w，其中，沿y轴方向的为长度方向，沿x轴方向的为宽度方向；
第一判断单元，用于判断h/w的值是否小于等于1；
第二检测单元，用于若h/w的值小于等于1，则在所述图片中检测是否存在至少一个预设的实体设备；
第二标注单元，用于若存在至少一个所述实体设备，则标注出各实体设备的外接的第二最小矩形框，并获取各所述第二最小矩形框的中心坐标(x2、y2)；
计算单元，用于计算所述第一最小矩形框的中心点坐标(x1、y1)与各所述第二最小矩形框的中心坐标(x2、y2)之间的距离，并选择与所述第一最小矩形框的中心点坐标(x1、y1)距离最近的一个所述第二最小矩形框的中心坐标(x2、y2)，记为中心坐标(x3、y3)；
第二判断单元，用于判断所述第一最小矩形框的中心点坐标(x1、y1)是否高于所述中心坐标(x3、y3)；
第三判断单元，用于若中心点坐标(x1、y1)低于所述中心坐标(x3、y3)，则判断所述人体的姿态是否符合预设的摔倒姿态；
判定单元，用于若所述人体的姿态符合预设的摔倒姿态，则判定所述人体处于摔倒状态。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010358863.1A CN111709277A (zh) | 2020-04-29 | 2020-04-29 | 人体摔倒检测方法、装置、计算机设备和存储介质 |
| PCT/CN2020/098817 WO2021217848A1 (zh) | 2020-04-29 | 2020-06-29 | 人体摔倒检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010358863.1A CN111709277A (zh) | 2020-04-29 | 2020-04-29 | 人体摔倒检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111709277A true CN111709277A (zh) | 2020-09-25 |
Family
ID=72536728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010358863.1A Pending CN111709277A (zh) | 2020-04-29 | 2020-04-29 | 人体摔倒检测方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111709277A (zh) |
| WO (1) | WO2021217848A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819855A (zh) * | 2020-12-31 | 2021-05-18 | 广州紫川电子科技有限公司 | 基于养老院的人员摔倒检测方法、设备及介质 |
| CN113378809A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于单目三维人体姿态的摔倒检测方法及系统 |
| CN113870524A (zh) * | 2021-09-18 | 2021-12-31 | 深圳Tcl数字技术有限公司 | 监控方法、监控装置及存储介质 |
| CN115376276A (zh) * | 2022-07-25 | 2022-11-22 | 苏州智瞳威视科技有限公司 | 一种采用人工智能语音交互方式的老人跌倒监测装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913597A (zh) * | 2022-05-06 | 2022-08-16 | 山东光汇控股有限公司 | 基于OpenPose和轻量化神经网络的跌倒检测方法及系统 |
| CN116106855B (zh) * | 2023-04-13 | 2023-07-18 | 中国科学技术大学 | 摔倒检测方法及摔倒检测装置 |
| CN116311542B (zh) * | 2023-05-23 | 2023-08-04 | 广州英码信息科技有限公司 | 兼容拥挤场景和非拥挤场景的人体摔倒检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136180A (zh) * | 2011-03-11 | 2011-07-27 | 北京航空航天大学 | 人体跌倒检测与报警装置 |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| US20160217326A1 (en) * | 2013-07-03 | 2016-07-28 | Nec Corporation | Fall detection device, fall detection method, fall detection camera and computer program |
| CN110633652A (zh) * | 2019-08-27 | 2019-12-31 | 宇龙计算机通信科技(深圳)有限公司 | 意外状况确定方法、装置和电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7613324B2 (en) * | 2005-06-24 | 2009-11-03 | ObjectVideo, Inc | Detection of change in posture in video |
| KR101760327B1 (ko) * | 2016-04-18 | 2017-07-21 | 조선대학교산학협력단 | 카메라를 이용한 낙상 검출방법 |
| CN106373336A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种检测摔倒的方法及装置 |
| CN106826846B (zh) * | 2017-01-06 | 2020-02-14 | 南京赫曼机器人自动化有限公司 | 基于异常声音和图像事件驱动的智能服务机器人及方法 |
| CN106910314B (zh) * | 2017-02-03 | 2019-01-25 | 同济大学 | 一种基于体形的个性化跌倒检测方法 |
-
2020
- 2020-04-29 CN CN202010358863.1A patent/CN111709277A/zh active Pending
- 2020-06-29 WO PCT/CN2020/098817 patent/WO2021217848A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136180A (zh) * | 2011-03-11 | 2011-07-27 | 北京航空航天大学 | 人体跌倒检测与报警装置 |
| US20160217326A1 (en) * | 2013-07-03 | 2016-07-28 | Nec Corporation | Fall detection device, fall detection method, fall detection camera and computer program |
| CN103903281A (zh) * | 2014-04-04 | 2014-07-02 | 西北工业大学 | 一种基于多特征分析和场景学习的老人摔倒检测方法 |
| CN110633652A (zh) * | 2019-08-27 | 2019-12-31 | 宇龙计算机通信科技(深圳)有限公司 | 意外状况确定方法、装置和电子设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819855A (zh) * | 2020-12-31 | 2021-05-18 | 广州紫川电子科技有限公司 | 基于养老院的人员摔倒检测方法、设备及介质 |
| CN113378809A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于单目三维人体姿态的摔倒检测方法及系统 |
| CN113378809B (zh) * | 2021-08-16 | 2021-12-14 | 之江实验室 | 一种基于单目三维人体姿态的摔倒检测方法及系统 |
| CN113870524A (zh) * | 2021-09-18 | 2021-12-31 | 深圳Tcl数字技术有限公司 | 监控方法、监控装置及存储介质 |
| CN115376276A (zh) * | 2022-07-25 | 2022-11-22 | 苏州智瞳威视科技有限公司 | 一种采用人工智能语音交互方式的老人跌倒监测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021217848A1 (zh) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709277A (zh) | 人体摔倒检测方法、装置、计算机设备和存储介质 | |
| US11372484B2 (en) | Method and system for determining a correct reproduction of a movement | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
| JP2021064367A (ja) | 動作認識方法、動作認識装置及び電子機器 | |
| CN111241913A (zh) | 一种检测人员摔倒的方法、装置及系统 | |
| Procházka et al. | The MS kinect image and depth sensors use for gait features detection | |
| Wu et al. | Gait phase prediction for lower limb exoskeleton robots | |
| CN110781754A (zh) | 一种人工巡检智能监测的方法、装置、系统及存储介质 | |
| WO2020261404A1 (ja) | 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
| CN117109567A (zh) | 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备 | |
| Cheng et al. | A fall detection algorithm based on pattern recognition and human posture analysis | |
| CN110880371A (zh) | 一种人体姿态测试及健康监测管理系统 | |
| JP2021068088A (ja) | 画像処理装置、コンピュータプログラム、および画像処理システム | |
| CN115937969A (zh) | 仰卧起坐考核中目标人物的确定方法、装置、设备及介质 | |
| WO2021241293A1 (ja) | 行動体特定システム | |
| KR20190054590A (ko) | 반려견 행동분석 방법 및 시스템 | |
| Najmurrokhman et al. | Development of falling notification system for elderly using mpu6050 sensor and short message service | |
| CN108697377A (zh) | 步态分析器系统和方法 | |
| JP7172733B2 (ja) | 人等の姿勢推定装置 | |
| Liu et al. | A novel key point trajectory model for fall detection from RGB-D videos | |
| JP6525179B1 (ja) | 行動推定装置 | |
| CN113962247B (zh) | 一种基于标准库匹配的步态预测方法及系统 | |
| KR101685280B1 (ko) | 인체동작 수집 및 분석 시스템 | |
| Hassani et al. | Preliminary study on the design of a low-cost movement analysis system reliability measurement of timed up and go test |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |