CN113792615B - 人体上下楼梯的状态识别方法、装置、终端及存储介质 - Google Patents
人体上下楼梯的状态识别方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN113792615B CN113792615B CN202110983325.6A CN202110983325A CN113792615B CN 113792615 B CN113792615 B CN 113792615B CN 202110983325 A CN202110983325 A CN 202110983325A CN 113792615 B CN113792615 B CN 113792615B
- Authority
- CN
- China
- Prior art keywords
- target person
- target
- image
- processed
- foot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001174 ascending effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请适用于图像处理技术领域,提供了一种人体上下楼梯的状态识别方法、装置、终端及存储介质,所述状态识别方法包括:获取目标人物上下楼梯的待处理图像;获取所述待处理图像中第一目标台阶的长度和所述目标人物的人体宽度;根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果;若所述初始状态识别结果为正常状态,则获取所述待处理图像中所述目标人物的脚部间距和第二目标台阶的高度;若所述待处理图像中所述目标人物的脚部间距与所述第二目标台阶的高度之间的差值大于预设差值,则确定所述目标人物的最终状态识别结果为异常状态。上述方法可以识别出人体在上下楼梯时是否处于异常状态。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种人体上下楼梯的状态识别方法、装置、终端及存储介质。
背景技术
近年来,踩踏事件时有发生,已逐渐成为社会关注的热点。踩踏事件通常发生在人群拥挤的地方,尤其是在人群拥挤的时候若有人发生摔倒,就加大了踩踏事件发生的可能性。目前,在校园中,教学楼的楼梯是发生踩踏事件最多的地方,诱因通常为学生在楼梯上打闹、追逐等状态异常的上下楼梯行为。由于该状态异常的上下楼梯行为不能被及时发现,产生了较大的安全隐患,因此为了减少踩踏事件的发生,如何识别出人体上下楼梯的异常状态是亟需解决的技术问题。
发明内容
本申请实施例提供了一种人体上下楼梯的状态识别方法、装置、终端及存储介质,可以识别出人体在上下楼梯时是否处于异常状态。
本申请实施例的第一方面提供了一种人体上下楼梯的状态识别方法,所述状态识别方法包括:
获取目标人物上下楼梯的待处理图像;
获取所述待处理图像中第一目标台阶的长度和所述目标人物的人体宽度,所述第一目标台阶是指与获取所述目标人物的人体宽度时采用的任一目标点邻近的台阶;
根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果;
若所述初始状态识别结果为正常状态,则获取所述待处理图像中所述目标人物的脚部间距和第二目标台阶的高度,所述目标人物的脚部包括第一脚部和第二脚部,所述目标人物的脚部间距是指所述第一脚部和所述第二脚部在垂直方向上的距离,所述第二目标台阶是指所述目标人物任一脚部所在的台阶;
若所述待处理图像中所述目标人物的脚部间距与所述第二目标台阶的高度之间的差值大于预设差值,则确定所述目标人物的最终状态识别结果为异常状态。
本申请实施例的第二方面提供了一种人体上下楼梯的状态识别装置,所述状态识别装置包括:
图像获取模块,用于获取目标人物上下楼梯的待处理图像;
长度获取模块,用于获取所述待处理图像中第一目标台阶的长度和所述目标人物的人体宽度,所述第一目标台阶是指与获取所述目标人物的人体宽度时采用的任一目标点邻近的台阶;
初始确定模块,用于根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果;
判断模块,用于若所述初始状态识别结果为正常状态,则获取所述待处理图像中所述目标人物的脚部间距和第二目标台阶的高度,所述目标人物的脚部包括第一脚部和第二脚部,所述目标人物的脚部间距是指所述第一脚部和所述第二脚部在垂直方向上的距离,所述第二目标台阶是指所述目标人物任一脚部所在的台阶;
最终确定模块,用于若所述待处理图像中所述目标人物的脚部间距与所述第二目标台阶的高度之间的差值大于预设差值,则确定所述目标人物的最终状态识别结果为异常状态。
本申请实施例的第三方面提供了一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的人体上下楼梯的状态识别方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的人体上下楼梯的状态识别方法。
本申请实施例的第五方面提供了一种计算机程序产品,当所述计算机程序产品在终端设备上运行时,使得所述终端设备执行上述第一方面所述的人体上下楼梯的状态识别方法。
在本申请实施例中,首先获取目标人物在上下楼梯时的待处理图像,进而获取待处理图像中第一目标台阶的长度和目标人物的人体宽度,根据第一目标台阶的长度和目标人物的人体宽度,可以确定目标人物的初始状态识别结果。其次,在得出的初始状态识别结果为正常状态时,再获取待处理图像中目标人物的脚部间距和第二目标台阶的高度,最后若待处理图像中目标人物的脚部间距和第二目标台阶的高度之差的差值大于预设差值,可最终确定目标人物的状态识别结果为异常状态。通过上述技术方案,可以识别出人体在上下楼梯时是否处于异常状态,进而减少踩踏事件发生的安全隐患。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种人体上下楼梯的状态识别方法的流程示意图;
图2是待处理图像中目标人物的人体宽度的示例图;
图3是待处理图像中楼梯台阶的高度的示例图;
图4是待处理图像中目标人物的脚部间距的示例图;
图5是本申请实施例二提供的一种人体上下楼梯的状态识别方法的流程示意图;
图6是本申请实施例三提供的一种人体上下楼梯的状态识别装置的结构示意图;
图7是本申请实施例四提供的一种终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
应理解,本实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在对踩踏事件的诱因研究中发现,造成踩踏事件发生的诱因有很多,比如在校园中,造成踩踏事件发生的诱因通常为学生在楼梯上意外发生摔倒,或者学生在楼梯上打闹导致楼梯出现的拥堵现象,两种诱因都会为踩踏事件的发生带来较大的安全隐患。然而,现有的保障手段通常为在发生踩踏事件后进行监控以及提醒,虽然在一定程度上可以减少踩踏事件带来的危害,但是不能从根源(即诱因)上杜绝踩踏事件的发生。因此,本申请提出一种人体上下楼梯的状态识别方法,通过对人体上下楼梯的异常状态(例如张开双手或双脚阻挡他人上下楼梯或者快步上下楼梯)进行识别,从踩踏事件的根源处解决问题,可以从根源上杜绝踩踏事件的发生。
为了说明本申请的技术方案,下面通过具体实施例来说明。
参照图1,示出了本申请实施例一提供的一种人体上下楼梯的状态识别方法的流程示意图,如图1所示,该人体上下楼梯的状态识别方法可以包括如下步骤:
步骤101,获取目标人物上下楼梯的待处理图像。
在本申请实施例中,目标人物上下楼梯的待处理图像可以从图像采集设备采集的多帧图像中获取,其中,该图像采集设备应安装在正对楼梯的位置,可以采集到楼梯的所有台阶以及目标人物上下楼梯时的行为状态,图像采集设备在其安装位置可以采集到的待处理图像如图2所示,通过对待处理图像的观察可以得到,该待处理图像中包括楼梯的所有台阶以及目标人物上下楼梯时的行为状态。
示例性地,图像采集设备采集的多帧图像中包括存在目标人物的图像和不存在目标人物的图像,可以从图像采集设备采集到的多帧图像中选取存在目标人物的图像为待处理图像,其中,图像采集设备可以是任一能够采集图像的设备,例如单目相机、双目相机等。
步骤102,获取待处理图像中第一目标台阶的长度和目标人物的人体宽度。
其中,目标人物的人体宽度可以是指在待处理图像中的目标人物的人体骨架数据中水平距离最远的两个目标点之间的距离;第一目标台阶可以是指与获取目标人物的人体宽度时采用的任一目标点临近的台阶。
在本申请实施例中,获取待处理图像中目标人物的人体宽度可以首先获取目标人物的骨架数据,其次再根据目标人物的骨架数据获取目标人物的人体宽度。获取待处理图像中第一目标台阶的长度可以首先在待处理图像中确定第一目标台阶,获取第一目标台阶的轮廓,在根据第一目标台阶的边缘像素点的图像坐标确定第一目标台阶的长度。
在一种可能的实施方式中,获取待处理图像中目标人物的人体宽度包括:
从目标人物的人体骨架数据中获取所有目标点,计算任意两个目标点之间的水平距离;
确定所有水平距离中的最大值为目标人物的人体宽度。
其中,目标人物的人体骨架数据可以利用现有技术中获取人体骨架数据的任一开源算法(例如OpenPose、DeepCut以及AlphaPose)获取得到,通过获取人体骨架数据的任一开源算法可以得到人体关节的图像坐标,例如头部、臀部、脚部、手部等人体关节的图像坐标。
在本申请实施例中,获取待处理图像中目标人物的人体宽度,首先通过OpenPose、DeepCut以及AlphaPose任一种获取人体骨架数据的开源算法获取目标人物的人体骨架数据,从人体骨架数据中获取目标人物人体上的所有目标点,例如所有目标点可以包括头部、臀部、左耳、右耳、左肩、右肩、左肘、右肘、左手、右手、左膝、右膝、左脚以及右脚,其次计算任意两个目标点之间的水平距离,水平距离可以是指任意两个目标点的连线在水平方向上投影的距离,最后确定所有目标点之间的水平距离中的最大值为目标人物的人体宽度。
示例性地,如图2所示为待处理图像中目标人物的人体宽度的示例图;首先针对图2中待处理图像中的目标人物,获取目标人物人体上所有目标点,在图2中以正方块定位所有目标点的位置,并获取所有目标点对应的图像坐标,在得到所有目标点对应的图像坐标后,根据任意两个目标点之间的图像坐标计算两个目标点之间的水平距离,比较所有水平距离,确定所有水平距离中的最大值为目标人物的人体宽度,例如图2中的L1可以确定为目标人物的人体宽度。
在本申请实施例中,如图2所示,L1为目标人物的人体宽度,可以从图2中得出获取目标人物人体宽度的两个目标点分别为左手和右手,而与左手和右手中任一目标点临近的台阶为第一目标台阶,因此在图2的待处理图像中第一目标台阶的长度为L2。
步骤103,根据第一目标台阶的长度和目标人物的人体宽度,确定目标人物的初始状态识别结果。
在本申请实施例中,第一目标台阶的长度可以表示待处理图像中目标人物周围的台阶,根据第一目标台阶和目标人物的人体宽度确定目标人物的初始状态识别结果,可以判断出待处理图像中的目标人物是否存在阻挡他人上下楼梯的行为。若存在阻挡他人上下楼梯的行为,可确定目标人物的初始状态识别结果为异常状态;若不存在阻挡他人正常上下楼梯的行为,可确定目标人物的初始状态识别结果为正常状态。
在一种可能的实施方式中,根据第一目标台阶的长度和目标人物的人体宽度,确定目标人物的初始状态识别结果包括:
计算目标人物的人体宽度与第一目标台阶的长度之间的比值;
若比值小于或等于预设比值,则确定目标人物的初始状态识别结果为正常状态;
若比值大于预设比值,则确定目标人物的初始状态识别结果为异常状态。
其中,预设比值可以根据实际工程应用中台阶一次可通过的人数进行设定,例如若台阶一次可通过三人,可将预设比值设置为30%;若台阶一次可通过两人,可将预设比值设置为50%。
示例性地,如图2所示的待处理图像中楼梯的台阶,可设置预设比值为50%,由上可知,L1为目标人物的人体宽度,L2为第一目标台阶的长度,所以目标人物的人体宽度与第一目标台阶的长度之间的比值为L1/L2。若L1/L2小于或等于50%时,可以认为此时目标人物未阻挡他人上下楼梯,则确定目标人物的初始状态识别结果为正常状态;若L1/L2大于50%,可以认为此时目标人物阻挡他人上下楼梯,则确定目标人物的初始状态识别结果为异常状态。
步骤104,若初始状态识别结果为正常状态,则获取待处理图像中目标人物的脚部间距和第二目标台阶的高度。
在本申请实施例中,为了增加人体上下楼梯的状态识别方法的精确度,在确定初始状态识别结果为正常状态时,还可以获取待处理图像中目标人物的脚部间距和第二目标台阶的高度来判断目标人物是否存在快步上下楼梯的行为,若目标人物存在快步上下楼梯的行为,可以判断出目标人物的最终状态识别结果为异常状态。其中,目标人物的脚部包括第一脚部和第二脚部,目标人物的脚部间距是指第一脚部和第二脚部在垂直方向上的距离,第二目标台阶是指目标人物任一脚部所在的台阶。
可选地,若初始状态识别结果为异常状态,则终端设备不再获取待处理图像中目标人物的脚部间距和第二目标台阶的高度,直接确定目标人物上下楼梯的最终状态识别结果为异常状态。
其中,获取第二目标台阶的高度可以首先获取待处理图像中所有台阶的高度,其次对第二目标台阶进行定位,在定位之后直接从所有台阶的高度中提取第二目标台阶的高度。
其中,获取待处理图像中目标人物的脚部间距,可以首先获取目标人物两脚的图像坐标,在计算两个图像坐标之间的距离在垂直方向上的投影,确定两个图像坐标之间的距离在垂直方向上的投影为目标人物的脚部间距。
在一种可能的实施方法中,获取待处理图像中第二目标台阶的高度包括:
获取待处理图像中距离图像参考线最近的三节台阶的高度;
基于距离图像参考线最近的三节台阶的高度,计算待处理图像中台阶的高度变化系数;
根据距离图像参考线最近的三节台阶的高度和高度变化系数,确定待处理图像中第二目标台阶的高度。
其中,图像参考线是指图像底部的水平线,如图3所示,图像参考线位于待处理图像的底部,获取待处理图像中距离图像参考线最近的三节台阶的高度可以是指获取待处理图像中最下方的三节台阶的高度,根据该三节台阶的高度变化可以获取待处理图像中所有台阶的高度变化系数。
在本申请实施例中,首先获取距离图像参考线最近的一节台阶的边缘点连线的长度,其次获取该楼梯的倾斜角度(即楼梯与水平面的夹角),最后利用三角函数计算可得一节台阶的垂直高度,同样,按照上述方法可以获取距离图像参考线最近的三节台阶的垂直高度,由于在待处理图像中,台阶的垂直高度是不断发生变化的,故可以利用上述三节台阶的高度变化,来获取所有台阶的高度变化系数,根据距离图像参考线最近的三节台阶的高度和高度变化系数,可以获取所有台阶的高度,从所有台阶的高度中可直接获取第二目标台阶的高度。
示例性地,如图3所示为待处理图像中楼梯台阶的高度的示例图,首先在待处理图像中建立图像坐标系,以图中的O点为坐标原点,水平方向和垂直方向分别为图像坐标系的横轴和纵轴。其次识别出台阶的边缘点,即图3中的A点、B点、C点和D点,分别获取A点、B点、C点和D点的图像坐标,根据A点、B点、C点和D点的图像坐标,得到线段AB、BC、CD的长度分别为h1、h2和h3,若待处理图像中楼梯的倾斜角度为α,根据线段AB的长度以及倾斜角度α,利用三角函数可以得到台阶的垂直高度(即线段BE的长度)为n1=h1*sinα,同理可以得到n2=h2*sinα、n3=h3*sinα,得出距离图像参考线最近的三节台阶的垂直高度后,可得到高度变化系数为β=(n3-n2)/(n2-n1),根据该变化系数以及距离图像参考线最近的三节台阶的垂直高度,可以得到h4对应的台阶高度为β(n3-n2)+n3,同理可以得到所有台阶的垂直高度,采用这种方法避免了对每个台阶采用三角函数计算台阶高度,加快了系统的运行速度。最后,从所有台阶的垂直高度中提取出第二目标台阶的高度(即提取出图3中n2的大小)。
在一种可能的实施方式中,获取待处理图像中目标人物的脚部间距包括:
获取待处理图像中楼梯的倾斜角度和目标人物的第一脚部和第二脚部之间的参考垂直距离;
根据待处理图像中楼梯的倾斜角度和参考垂直距离,确定目标人物的脚部间距。
其中,目标人物的第一脚部和第二脚部之间的参考垂直距离可以是指目标人物的两只脚在图像中所在位置连线长度在垂直方向上的投影距离。
在本申请实施例中,若待处理图像中包含深度信息,那么目标人物的脚部间距可以直接根据第一脚部和第二脚部的深度坐标获取;若待处理图像中不包含深度信息,目标人物脚部间距可以利用三角函数的计算方法,根据待处理图像中楼梯的倾斜角度和参考垂直距离得到。
示例性地,如图4所示为待处理图像中目标人物的脚部间距的示例图,待处理图像中包括三个目标人物,分别为第一目标人物、第二目标人物和第三目标人物,图中m1为第一目标人物的脚部在待处理图像中的参考垂直距离,根据待处理图像中楼梯的倾斜角度α和参考垂直距离m1,计算可以得到第一目标人物的两只脚图像中所在位置的连线长度在垂直方向上的投影距离为m1*sinα,且目标人物的脚部间距也为m1*sinα。同理,参考上述方法,可以分别获取第二目标人物和第三目标人物对应的脚部间距为m2*sinα和m3*sinα。
步骤105,若待处理图像中目标人物的脚部间距与第二目标台阶的高度之间的差值大于预设差值,则确定目标人物的最终状态识别结果为异常状态。
其中,第二目标台阶的高度可以表示待处理图像中目标人物脚部所在的台阶高度,根据第二台阶的高度和目标人物的脚步间距确定目标人物的最终状态识别结果,可以判断出待处理图像中的目标人物是否存在快步上下楼梯的行为。若存在快步上下楼梯的行为,可确定目标人物的最终状态识别结果为异常状态;若不存在快步上下楼梯的行为,可确定目标人物的最终状态识别结果为正常状态。
在本申请实施例中,当目标人物的脚部间距与第二目标台阶的高度相同时,可以判断出目标人物一步踏一个台阶,为正常上下楼梯,当目标人物的脚部间距是第二目标台阶的高度的二倍时,可以判断出目标人物一步踏两个台阶,为快步上下楼梯,所以预设差值可以设置为一个较小值,该预设差值可以为大于零小于楼梯单个台阶高度的任意值。
示例性地,若目标人物的脚部间距为m1*sinα,第二目标台阶的高度为n2,则当m1*sinα-n2>预设差值时,可确定目标人物的最终状态识别结果为异常状态;当m1*sinα-n2≤预设差值时,可确定目标人物的最终状态识别结果为正常状态。
在一种可能的实施方式中,若初始状态识别结果为正常状态,还可以获取待处理图像中目标人物的头部的第一图像坐标和预设时间后的目标待处理图像中目标人物的头部的第二图像坐标;
根据第一图像坐标和第二图像坐标之间纵坐标的差值以及预设时间,计算目标人物的头部在预设时间内移动的距离;
若目标人物的头部在预设时间内移动的距离小于或等于预设距离,则确定目标人物的最终状态识别结果为正常状态;
若目标人物的头部在预设时间内移动的距离大于预设距离,则确定目标人物的最终状态识别结果为异常状态。
在本申请实施例中,若待处理图像中目标人物的脚部被遮挡,无法准确的获取到目标人物的脚部间距时,可以首先获取目标人物的头部的图像坐标,计算预设时间内目标人物的头部移动的距离是否超过了预设距离,若超过了预设距离,则可以确定目标人物存在快步上下楼梯的行为,即确定目标人物的状态识别结果为异常状态,由于本申请实施例是在初始状态识别结果为正常状态时,对快步上下楼梯的行为进行识别,因此,若目标人物的头部在预设时间内移动的距离小于或等于预设距离,则可以确定目标人物的最终状态识别结果为正常状态;若目标人物的头部在预设时间内移动的距离大于预设距离,则可以确定目标人物的最终状态识别结果为异常状态。
应理解,在本申请实施例中,若目标人物的初始状态识别结果为异常状态,则目标人物的最终状态识别结果也为异常状态;若目标人物的初始状态识别结果为正常状态,则比较待处理图像中目标人物的脚部间距与第二目标台阶的高度之间的差值与预设差值的大小,或者比较目标人物的头部在预设时间内移动的距离与预设距离差值的大小;若待处理图像中目标人物的脚部间距与第二目标台阶的高度之间的差值大于预设差值,则确定目标人物的最终状态识别结果为异常状态;若目标人物的头部在预设时间内移动的距离大于预设距离,则确定目标人物的最终状态识别结果为异常状态。以上均为本申请实施例中判断目标人物的最终识别结果为异常状态的技术方案。
在本申请实施例中,首先获取目标人物在上下楼梯时的待处理图像,进而获取待处理图像中第一目标台阶的长度和目标人物的人体宽度,根据第一目标台阶的长度和目标人物的人体宽度,可以确定目标人物的初始状态识别结果。其次,在得出的初始状态识别结果为正常状态时,再获取待处理图像中目标人物的脚部间距和第二目标台阶的高度,最后若待处理图像中目标人物的脚部间距和第二目标台阶的高度之差的差值大于预设差值,可最终确定目标人物的状态识别结果为异常状态。通过上述技术方法,可以识别出人体在上下楼梯时是否处于异常状态,进而减少踩踏事件发生的安全隐患。
参照图5,示出了本申请实施例二提供的一种人体上下楼梯的状态识别方法的流程示意图,如图5所示,该人体上下楼梯的状态识别方法可以包括如下步骤:
步骤501,获取目标人物上下楼梯的待处理图像。
步骤502,获取待处理图像中第一目标台阶的长度和目标人物的人体宽度。
步骤503,根据第一目标台阶的长度和目标人物的人体宽度,确定目标人物的初始状态识别结果。
步骤504,若初始状态识别结果为正常状态,则获取待处理图像中目标人物的脚部间距和第二目标台阶的高度。
步骤505,若待处理图像中目标人物的脚部间距与第二目标台阶的高度之间的差值大于预设差值,则确定目标人物的最终状态识别结果为异常状态。
本实施例步骤501-505与前述实施例中步骤101-105相同,可以相互参阅,本实施例在此不再赘述。
步骤506,在目标人物的最终状态识别结果为异常状态的情况下,发出报警提醒。
在本申请实施例中,报警提醒可以是指采用警铃鸣响的方式,发出警铃鸣响的设备可以与采集待处理图像的图像采集设备安装在同一位置,或者在图像采集设备中加入警铃鸣响的功能,在目标人物的最终状态识别结果为异常状态时发出警铃鸣响,提醒目标人物周围的人员进行避让,同时通过无线通讯的方式,将目标人物的最终状态识别结果发送给相关工作人员,以便于相关工作人员可以及时通知110公安报警以及120急救中心。
相较于实施例一,本申请实施例二在识别到最终状态识别结果为异常状态时,采用报警提醒的方式,以便于提醒目标人物周围人员进行避让并对目标人物发出警示,同时还便于相关工作人员及时获取目标人物上下楼梯时的状态,在发生事故后可以及时处理,有效避免了踩踏事件的进一步扩大。
参照图6,示出了本申请实施例三提供的一种人体上下楼梯的状态识别装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分。
人体上下楼梯的状态识别装置具体可以包括如下模块:
图像获取模块601,用于获取目标人物上下楼梯的待处理图像;
长度获取模块602,用于获取待处理图像中第一目标台阶的长度和目标人物的人体宽度,第一目标台阶是指与获取目标人物的人体宽度时采用的任一目标点邻近的台阶;
初始确定模块603,用于根据第一目标台阶的长度和目标人物的人体宽度,确定目标人物的初始状态识别结果;
判断模块604,用若初始状态识别结果为正常状态,则获取待处理图像中所述目标人物的脚部间距和第二目标台阶的高度,目标人物的脚部包括第一脚部和第二脚部,目标人物的脚部间距是指第一脚部和所述第二脚部在垂直方向上的距离,第二目标台阶是指目标人物任一脚部所在的台阶;
最终确定模块605,用于若待处理图像中目标人物的脚部间距与第二目标台阶的高度之间的差值大于预设差值,则确定目标人物的最终状态识别结果为异常状态。
在本申请实施例中,人体上下楼梯的状态识别装置具体还可以包括如下模块:
异常确定模块,用于若所述初始状态识别结果为异常状态,则确定所述目标人物的初始状态识别结果为所述目标人物的最终状态识别结果;
在本申请实施例中,长度获取模块602具体可以包括如下子模块:
计算子模块,用于从目标人物的人体骨架数据中获取所有目标点,计算任意两个目标点之间的水平距离;
宽度确定子模块,用于确定所有水平距离中的最大值为目标人物的人体宽度。
在本申请实施例中,初始确定模块603具体可以包括如下子模块:
比值计算子模块,用于计算目标人物的人体宽度与第一目标台阶的长度之间的比值;
第一初始识别子模块,用于若比值小于或等于预设比值,则确定目标人物的初始状态识别结果为正常状态;
第二初始识别子模块,用于若比值大于预设比值,则确定目标人物的初始状态识别结果为异常状态。
在本申请实施例中,判断模块604具体可以包括如下子模块:
距离获取子模块,用于获取待处理图像中楼梯的倾斜角度和目标人物的第一脚部和第二脚部之间的参考垂直距离;
间距确定子模块,用于根据待处理图像中楼梯的倾斜角度和参考垂直距离,确定目标人物的脚部间距;
高度获取子模块,用于获取待处理图像中距离图像参考线最近的三节台阶的高度;
系数计算子模块,用于基于距离图像参考线最近的三节台阶的高度,计算待处理图像中台阶的高度变化系数;
高度确定子模块,用于根据距离图像参考线最近的三节台阶的高度和高度变化系数,确定待处理图像中第二目标台阶的高度。
在本申请实施例中,人体上下楼梯的状态识别装置还可以包括如下模块:
报警模块,用于在目标人物的最终状态识别结果为异常状态的情况下,发出报警提醒。
本申请实施例提供的人体上下楼梯的状态识别装置可以应用在前述方法实施例中,详情参见上述方法实施例的描述,在此不再赘述。
图7是本申请实施例四提供的一种终端设备的结构示意图。如图7所示,该实施例的终端设备700包括:至少一个处理器710(图7中仅示出一个)处理器、存储器720以及存储在所述存储器720中并可在所述至少一个处理器710上运行的计算机程序721,所述处理器710执行所述计算机程序721时实现上述任一人体上下楼梯的状态识别方法实施例中的步骤。
所述终端设备700可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器710、存储器720。本领域技术人员可以理解,图7仅仅是终端设备700的举例,并不构成对终端设备700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器710可以是中央处理单元(Central Processing Unit,CPU),该处理器710还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器720在一些实施例中可以是所述终端设备700的内部存储单元,例如终端设备700的硬盘或内存。所述存储器720在另一些实施例中也可以是所述终端设备700的外部存储设备,例如所述终端设备700上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器720还可以既包括所述终端设备700的内部存储单元也包括外部存储设备。所述存储器720用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当所述计算机程序产品在终端设备上运行时,使得所述终端设备执行时可实现上述各个方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种人体上下楼梯的状态识别方法,其特征在于,所述状态识别方法包括:
获取目标人物上下楼梯的待处理图像;
获取所述待处理图像中第一目标台阶的长度和所述目标人物的人体宽度,所述第一目标台阶是指与获取所述目标人物的人体宽度时采用的任一目标点邻近的台阶;
根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果;
若所述初始状态识别结果为正常状态,则获取所述待处理图像中所述目标人物的脚部间距和第二目标台阶的高度,所述目标人物的脚部包括第一脚部和第二脚部,所述目标人物的脚部间距是指所述第一脚部和所述第二脚部在垂直方向上的距离,所述第二目标台阶是指所述目标人物任一脚部所在的台阶;
若所述待处理图像中所述目标人物的脚部间距与所述第二目标台阶的高度之间的差值大于预设差值,则确定所述目标人物的最终状态识别结果为异常状态。
2.如权利要求1所述的状态识别方法,其特征在于,所述状态识别方法还包括:
若所述初始状态识别结果为异常状态,则确定所述目标人物的初始状态识别结果为所述目标人物的最终状态识别结果。
3.如权利要求1所述的状态识别方法,其特征在于,所述获取所述待处理图像中所述目标人物的人体宽度包括:
从所述目标人物的人体骨架数据中获取所有目标点,计算任意两个目标点之间的水平距离;
确定所有水平距离中的最大值为所述目标人物的人体宽度。
4.如权利要求1所述的状态识别方法,其特征在于,所述根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果包括:
计算所述目标人物的人体宽度与所述第一目标台阶的长度之间的比值;
若所述比值小于或等于预设比值,则确定所述目标人物的初始状态识别结果为正常状态;
若所述比值大于预设比值,则确定所述目标人物的初始状态识别结果为异常状态。
5.如权利要求1所述的状态识别方法,其特征在于,所述获取所述待处理图像中所述目标人物的脚部间距包括:
获取所述待处理图像中所述楼梯的倾斜角度和所述目标人物的第一脚部和第二脚部之间的参考垂直距离;
根据所述待处理图像中楼梯的倾斜角度和所述参考垂直距离,确定所述目标人物的脚部间距。
6.如权利要求1所述的状态识别方法,其特征在于,所述待处理图像中的楼梯包括至少四节台阶,所述获取所述待处理图像中第二目标台阶的高度包括:
获取所述待处理图像中距离图像参考线最近的三节台阶的高度;
基于所述距离图像参考线最近的三节台阶的高度,计算所述待处理图像中台阶的高度变化系数;
根据所述距离图像参考线最近的三节台阶的高度和所述高度变化系数,确定所述待处理图像中第二目标台阶的高度。
7.如权利要求1至6任一项所述的状态识别方法,其特征在于,在所述目标人物的最终状态识别结果为异常状态的情况下,所述状态识别方法还包括:
发出报警提醒。
8.一种人体上下楼梯的状态识别装置,其特征在于,所述状态识别装置包括:
图像获取模块,用于获取目标人物上下楼梯的待处理图像;
长度获取模块,用于获取所述待处理图像中第一目标台阶的长度和所述目标人物的人体宽度,所述第一目标台阶是指与获取所述目标人物的人体宽度时采用的任一目标点邻近的台阶;
初始确定模块,用于根据所述第一目标台阶的长度和所述目标人物的人体宽度,确定所述目标人物的初始状态识别结果;
判断模块,用于若所述初始状态识别结果为正常状态,则获取所述待处理图像中所述目标人物的脚部间距和第二目标台阶的高度,所述目标人物的脚部包括第一脚部和第二脚部,所述目标人物的脚部间距是指所述第一脚部和所述第二脚部在垂直方向上的距离,所述第二目标台阶是指所述目标人物任一脚部所在的台阶;
最终确定模块,用于若所述待处理图像中所述目标人物的脚部间距与所述第二目标台阶的高度之间的差值大于预设差值,则确定所述目标人物的最终状态识别结果为异常状态。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110983325.6A CN113792615B (zh) | 2021-08-25 | 2021-08-25 | 人体上下楼梯的状态识别方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110983325.6A CN113792615B (zh) | 2021-08-25 | 2021-08-25 | 人体上下楼梯的状态识别方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113792615A CN113792615A (zh) | 2021-12-14 |
CN113792615B true CN113792615B (zh) | 2024-03-12 |
Family
ID=79182212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110983325.6A Active CN113792615B (zh) | 2021-08-25 | 2021-08-25 | 人体上下楼梯的状态识别方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113792615B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114089397B (zh) * | 2022-01-24 | 2022-04-12 | 中通服建设有限公司 | 一种智能定位方法、装置和设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110919653A (zh) * | 2019-11-29 | 2020-03-27 | 深圳市优必选科技股份有限公司 | 机器人的爬楼控制方法、装置、存储介质和机器人 |
CN113253607A (zh) * | 2020-04-24 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 上楼梯的步态规划方法、装置、可读存储介质及机器人 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127497B (zh) * | 2019-12-11 | 2023-08-04 | 深圳市优必选科技股份有限公司 | 一种机器人及其爬楼控制方法和装置 |
-
2021
- 2021-08-25 CN CN202110983325.6A patent/CN113792615B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110919653A (zh) * | 2019-11-29 | 2020-03-27 | 深圳市优必选科技股份有限公司 | 机器人的爬楼控制方法、装置、存储介质和机器人 |
CN113253607A (zh) * | 2020-04-24 | 2021-08-13 | 深圳市优必选科技股份有限公司 | 上楼梯的步态规划方法、装置、可读存储介质及机器人 |
Non-Patent Citations (1)
Title |
---|
基于视频的人体异常行为检测与识别;陈春雨;周胜;;哈尔滨商业大学学报(自然科学版);20141215(06);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113792615A (zh) | 2021-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188724B (zh) | 基于深度学习的安全帽定位与颜色识别的方法及系统 | |
US9854210B2 (en) | Method and device for monitoring a monitoring region | |
US10841501B2 (en) | Photographing control apparatus and photographing control method | |
CN110414400B (zh) | 一种施工现场安全帽穿戴自动检测方法及系统 | |
CN111127497B (zh) | 一种机器人及其爬楼控制方法和装置 | |
AU2018217437A1 (en) | System for identifying a defined object | |
CN113221856B (zh) | 人群拥挤危险度检测方法、装置及设备 | |
JP2007272488A (ja) | 画像処理装置、監視カメラ及び画像監視システム | |
JP5001808B2 (ja) | 犯罪防止装置及び犯罪防止プログラム | |
CN113792615B (zh) | 人体上下楼梯的状态识别方法、装置、终端及存储介质 | |
CN116168350B (zh) | 基于物联网实现施工人员违规行为的智能监测方法及装置 | |
EP3355269B1 (en) | Specific person detection system and specific person detection method | |
JP2008002817A (ja) | 物体識別システム | |
CN112651377B (zh) | 一种冰雪运动事故检测方法、装置及终端设备 | |
CN115797864B (zh) | 一种应用于智慧社区的安全管理系统 | |
CN111539253A (zh) | 一种人脸检测方法、装置、终端及存储介质 | |
WO2023109664A1 (zh) | 监测方法和相关产品 | |
CN114186896B (zh) | 一种走廊安全监管方法、电子设备和存储介质 | |
CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
CN113314230A (zh) | 基于大数据的智能防疫方法、装置、设备及存储介质 | |
CN115440001B (zh) | 儿童跟随看护方法、装置、跟随机器人及存储介质 | |
CN114493931A (zh) | 救援方法、救援装置、电子设备以及存储介质 | |
CN113469115B (zh) | 用于输出信息的方法和装置 | |
CN117474983B (zh) | 一种基于光视联动的预警方法以及相关装置 | |
CN113780214B (zh) | 基于人群进行图像识别的方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |