CN112581501A - 一种基于图像和激光行人检测的电梯人流强度方法 - Google Patents

Abstract

本发明提供了一种基于图像和激光行人检测的电梯人流强度方法，包括如下步骤：获取多帧激光数据；基于卷积神经网络的检测模型强度出图像上的行人和激光上的人腿位置；接着将图像和对应激光的结果进行融合得到激光上具有唯一ID的行人位置；通过结合前后多帧上的所述行人位置在所述人流强度模块中输出当前帧的人流运动方向；基于所述多帧的人流强度结果将多帧的时序信息进行对比得到人流运动趋势，本发明为一种基于图像和激光行人检测的电梯人流预测方法。一般的电梯人流预测，大多是基于图像的光流信息，通过前后帧光流的融合来得到人流运动的方向。

Description

一种基于图像和激光行人检测的电梯人流强度方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于图像和激光行人检测的电梯人流强度方法。

背景技术

现有的电梯人流强度方法，大多都是采用视觉图像或激光图像的光流来作强度，通过前后帧光流信息的比较来得到当前帧的人流运动方向，在得到当前帧结果后，亦可再次通过对多帧人流结果的融合来提高最终结果的准确性。

在现有技术方案中，通常会使用图像的光流信息来强度电梯人流。但是在计算图像光流时，由于没有感兴趣区域的先验信息，一般会需要处理整幅图像，这就会带来巨大的资源和时间上的消耗；同时，光流的计算对于背景的变化非常敏感，当图像发生抖动时，得到的光流结果会受到极大的干扰，强度出的人流的可行度也会大大降低。

在本技术方案中，电梯场景的人流强度是通过图像和激光上的行人检测结果计算得到的。由于图像和激光的模型检测过程可通过相关硬件得到加速提升，因此和现有技术相比，其资源消耗会相对减少很多；其次，借助于激光图像上电梯门位置的检测，则可以将人流计算过程转换至电梯坐标系下，这样便可以实现电梯位置动态变化的场景下的人流强度任务。

发明内容

本发明的目的之一在于，检测的电梯人流强度。

为实现上述目的，本发明提供了一种基于图像和激光行人检测的电梯人流强度方法，包括如下步骤：

获取多帧激光数据；

基于卷积神经网络的检测模型强度出图像上的行人和激光上的人腿位置；

接着将图像和对应激光的结果进行融合得到激光上具有唯一ID的行人位置；

通过结合前后多帧上的所述行人位置在所述人流强度模块中输出当前帧的人流运动方向；

基于所述多帧的人流强度结果将多帧的时序信息进行对比得到人流运动趋势。

进一步地，将所述激光数据转换为激光灰度图；

根据图像行人检测模型出行人的左上(x1,y1)和右下(x2,y2)角的坐标，以及角度方位θ，其中，所述角度方位θ是通过对相机标定内外参数计算得到，并且会输出该目标的唯一ID的第一结果信息，其中，所述图像行人检测模型是卷积神经网络算法；

根据激光人腿模型识别出人腿的位置坐标(x1,y1,x2,y2)和角度方位θ的第二结果信息，所述激光人腿模型是卷积神经网络算法；

通过融合模块将所述第一结果信息和所述第二结果信息的结果以一对一的方式绑定起来，融合得到的激光人腿结果通过人流强度模块得到当前电梯场景的人流运动方向结果，其中，所述人流流动方向包含了“进”、“出”和“未知”三种。

进一步地，计算所述图像行人的角度和所述激光人腿角度之间的差值，若该差值满足一定的预设阈值条件，则认定为匹配成功，所述图像行人的ID将会被赋予给相应的激光人腿；

或，所述角度差值不满足条件，则视为匹配失败；

或，图像或/和激光上没有检测出结果，则融合结果为空，表示该帧激光没有融合后的结果。

进一步地，融合后的人腿位置会包括经过一系列的处理：电梯相对坐标系转换、人腿位置平滑处理、更新人腿位置缓存、单帧人流计算和更新人流结果缓存、多帧人流融合和当前帧人流结果。

进一步地，需要将该人腿位置由激光图像坐标系转换为基于电梯的坐标系下；

需要将人腿的坐标进行平滑处理，降低匹配错的人腿位置对人流强度计算的影响，平滑公式如下所示

其中，x_i表示第i个坐标值，可以为横坐标x也可以为纵坐标y。

进一步地，建立缓存器中存储着不同ID与人腿位置的映射表，其中，不同的所述的ID分别对应着不同的列表，列表中包含了属于该ID的来自于不同连续帧的人腿位置；

在更新缓存时，若当前帧的人腿ID在缓存器中出现，则添加至对应ID的列表中；

或，若缓存器中不包含，则新添加该ID对应的列表并将当前帧该ID的人腿结果存储起来；

或，如果缓存器存储了当前帧未检测出的ID，则将其剔除。

进一步地，当图像中出现单个ID的人腿位置，比较前后帧的坐标的y轴差值，以当前帧y坐标减去过去帧y坐标，差值为正则表示“入”，以多帧的差值之和作为该ID的人腿的运动方向。

进一步地，当图像中出现多个ID的人腿位置；

预设第一预设时间和第二预设时间；

判断第一预设时间内和第二预设时间的人的流动状态，其中，所述流动状态包括目标区域中流入强度和流出强度；

通过累计所述流入强度和所述流出强度判断出第一预设时间和第二预设时间人流总强度；

如流入强度的绝对值大于流出强度的绝对值，计算出的累积强度Q2为正；

或，如流入强度的绝对值小于流出强度的绝对值，计算出的累积强度Q2为负；

或，当前帧没有检测到人腿结果导致流入强度Q入和流出强度Q出都为0，强度和Q则为0，或是依据上述方法计算出的总体强度恰好为0，则该帧的人流结果为“未知”。

进一步地，在计算完当前帧的人流运动趋势后，该结果会被存储至多帧的人流结果缓存中。

进一步地，在多帧人流结果融合时，会选取缓存中最近K帧的结果，选取出现频率超过比例r的结果作为当前帧融合之后的人流结果，具体方式如下：

其中y为融合后的人流结果，Cin表示K帧中“入”的次数，Cout表示K帧中“出”的次数，除此之外的情况，融合结果则为“未知”；

若想要融合更多的信息，可以考虑将此方式反复多次，使得融合结果更为平滑且准确。

与现有技术相比，本发明具有如下技术效果：

本发明为一种基于图像和激光行人检测的电梯人流预测方法。一般的电梯人流预测，大多是基于图像的光流信息，通过前后帧光流的融合来得到人流运动的方向。本方法则是利用图像和激光上的行人检测结果，依据前后多帧行人之间的空间位置关系，来预测出电梯人流。本方法中，首先会利用已有的基于卷积神经网络的检测模型预测出图像上的行人和激光上的人腿位置，接着将图像和对应激光的结果进行融合，得到激光上具有唯一ID的行人位置；并通过结合前后多帧上的行人位置，在人流预测模块中输出当前帧的人流运动方向；最后，在得到多帧的人流预测结果后，进一步将多帧的时序信息引入，得到更为准确的人流运动趋势。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供一种基于图像和激光行人检测的电梯人流强度方法的流程图；

图2提供了一种电梯人流预测的效果对比图

图3提供了一种电梯人流预测的效果对比图；

图4中提供了一种电梯人流预测的流程图；

图5提供了一种人流预测模块的流程图；

图6提供了一种更新缓存的示意图；

图7提供了计算人流强度的示例图的示意图；

图8是本发明实施例提供的一种控制器的电路结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。这里将详细地对示例行实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或者相似的要素。以下示例性实施例中所述描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与所述附图权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在一些实施例中，为实现上述目的，图1提供了一种基于图像和激光行人检测的电梯人流强度方法的流程图，包括如下步骤：

S1、获取多帧激光数据，其中获取激光数据的方法有多种，以下提供了三维激光雷达使用的三种情况，具体使用情况如下：如果机器人边扫描边行走，处理图片需要时间，为减少机器人处理图片的时间，需要在机器人移动之前采用人工手动进行采图处理，用户手持三维激光雷达在目标区域中行走，用户带动所述三维激光雷达向目标位置移动，三维激光雷达会实时地对地面进行检测并建图，用户的人数为多个，多个用户在不同的区域进行扫描，直到覆盖所有目标区域为止；或，将三维激光雷达安装在移动机器人上，让机器人自主移动和扫描，这样可以节约用户的工作时间；

或，如果机器人边扫描边行走，处理图片需要时间，为减少机器人处理图片的时间，需要在机器人移动之前采用人工手动进行采图处理，这种耗费了人力，如果在目标区域范围内设置多个激光扫描用户在目标区域进行定点设置，提供了一种目标区域设置设备的一种示意图，示意性地上述所述设备在目标区域设置三个站点，在分配方案上为：三个装备为三角形，优先地三角形夹角为60⁰，所述设备通过无线通讯设备和所述机器人建立联系，三维激光原始数据；

S2、基于卷积神经网络的检测模型强度出图像上的行人和激光上的人腿位置；

S3、接着将图像和对应激光的结果进行融合得到激光上具有唯一ID的行人位置，其中，唯一ID为编号或其他便于标识和统计的标记，示意性地，在激光图像中识别多个人腿后会对多个人腿进行编号；

S4、通过结合前后多帧上的所述行人位置在所述人流强度模块中输出当前帧的人流运动方向；

S5、基于所述多帧的人流强度结果将多帧的时序信息进行对比得到人流运动趋势。

本技术方案可以在机器人搭乘电梯过程中辅助机器人选择合适的进梯时机。机器人在进入电梯的过程中，一般会使用激光扫射轿厢，然后计算电梯内的剩余空间，若剩余空间足够则进入，不够则等候行人出梯后再做判断，或是放弃此电梯。但在实际过程中，电梯场景的行人是很多的，对电梯空间的观测往往会收到行人的干扰，且在等待行人出梯时，经常会出现机器人被后面要进电梯的行人超越的情况，导致机器人在电梯门口一直等待直至电梯满员，这样就会对机器人的进梯过程造成严重阻塞，其他任务无法进行。借助于本技术方案，可以在机器人等候电梯的过程中，实时预测出当前电梯口的人流朝向，基于此人流预测结果，机器人可以选择合适的时机进入电梯，如人流总体为“入”或者“出”的人流减小的时候即可进入。在本方案的帮助下，机器人进梯过程的耗时会极大减少，提升后续任务的执行效率。

容易理解地，融合处理也就是利用图像融合技术，将多源信道所采集的关于一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间的分辨率和光谱的分辨率，有利于检测。本发明利用图像融合技术中加权融合的方法，将拼接区域的像素值按照预设的全职相加，使拼接区域更加自然，方便观察。具体的，预设人腿识别模型是对预设训练图像进行机器学习得到的，预设训练图像主要为具有人腿特征的图像和不具有人腿特征的图像。预设人腿模型主要是利用预设训练图像在不同尺度和纵横比下的表达，创建图像金字塔，将不同尺度和纵横比的同一个训练图像在不同尺寸和纵横比下的表达，创建图像金字塔，将不同尺寸度和纵横比下的人腿测响应图中的人腿区域映射在原始分辨率的预设训练图中，从而识别所输入的预设训练图像的人腿区域。经过使用大量的预设训练图像对预设人腿模型的训练，会在预设人腿模型中产生一个二次分类器，二次分类器用于判断待识别图像中是否存在人腿。其中，图像金字塔是图像多尺寸表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。其中，图像的金字塔是一系列以金字塔形状排列分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始的图像集合。其通过梯度向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

图2一种电梯人流预测的示意图，(a),(b),(c)和(d)图显示了电梯人流预测的两个示例图，图2(a)最左侧图片为视觉图像的行人检测结果，图2(b)第二幅为激光图像上的人腿检测示例，图2(c)第三幅折线图则为当前帧人流的进出强度表示，其中红色为“进”，绿色为“出”，图2(d)最右侧的散点图表示结合了多帧信息得到的人流预测结果，没有点的时间段表示为不确定，可见结合了多帧信息的人流结果比单帧的更为平滑且噪点更少。

图3一种电梯人流预测的示意图，(a),(b),(c)和(d)图显示了电梯人流预测的两个示例图，图3(a)最左侧图片为视觉图像的行人检测结果，图3(b)第二幅为激光图像上的人腿检测示例，图3(c)第三幅折线图则为当前帧人流的进出强度表示，其中红色为“进”，绿色为“出”，图2(d)最右侧的散点图表示结合了多帧信息得到的人流预测结果，没有点的时间段表示为不确定，可见结合了多帧信息的人流结果比单帧的更为平滑且噪点更少。

在一些实施例中，将激光数据转换为激光灰度图。

在一些实施例中，模型检测由图像行人检测和激光人腿识别算法两部分组成；

根据图像行人检测模型出行人的左上(x1,y1)和右下(x2,y2)角的坐标，以及角度方位θ，其中，角度方位θ是通过对相机标定内外参数计算得到，并且会输出该目标的唯一IDid的第一结果信息，其中，所述图像行人检测模型可以是卷积神经网络；

根据激光人腿模型识别出人腿的位置坐标(x1,y1,x2,y2)和角度方位θ的第二结果信息；

通过融合模块将所述第一结果信息和第二结果信息的结果以一对一的方式绑定起来，融合得到的激光人腿结果通过人流强度模块得到当前电梯场景的人流运动方向结果，其中，所述人流流动方向包含了“进”、“出”和“未知”三种。

在一些实施例中，计算图像行人的角度和激光人腿角度之间的差值，若该差值满足一定的预设阈值条件，则认定为匹配成功，图像行人的ID id将会被赋予给相应的激光人腿；

或，所述角度差值不满足条件，则视为匹配失败；

或，图像或/和激光上没有检测出结果，则融合结果为空，表示该帧激光没有融合后的结果。

图4中提供了一种电梯人流预测的流程图，算法大致由检测模块、融合模块和人流预测模块三个部分组成。其中检测模块由图像行人检测和激光人腿识别算法两部分组成，图像检测输出行人的左上(x1,y1)和右下(x2,y2)角的坐标，以及角度方位θ，其中θ值是通过对相机标定内外参数计算得到，并且会输出该目标的唯一ID id，激光人腿识别则输出人腿的位置坐标(x1,y1,x2,y2)和角度方位θ。接下来通过融合模块将图像与激光的结果以一对一的方式绑定起来，融合得到的激光人腿结果通过人流预测模块即可得到当前电梯场景的人流运动方向结果，包含了“进”、“出”和“未知”三种。

在一些实施例中，图5提供了一种人流预测模块的流程图，在人流强度模块中，融合后的人腿位置会经过一系列的处理，将融合后的人腿位置分别进行按照电梯相对坐标系转换、人腿位置平滑处理、更新人腿位置缓存、单帧人流计算和更新人流结果缓存、多帧人流融合，最终得到当前帧人流的结果，其中人流的结果为包含了“进”、“出”和“未知”三种。

在一些实施例中，需要将该人腿位置由激光图像坐标系转换为基于电梯的坐标系下。

在一些实施例中，需要将人腿的坐标进行平滑处理，降低匹配错的人腿位置对人流强度计算的影响，平滑公式如下所示

其中，x_i表示第i个坐标值，可以为横坐标x也可以为纵坐标y。

经过融合模块后，会输出带有唯一ID的人腿位置，首先需要将该人腿位置由激光图像坐标系转换为基于电梯的坐标系下，这样才可以作为后续判断进出梯的条件，这一过程中需要事先获得电梯门的位置和角度等辅助信息。由于图像与激光检测结果的匹配仅依靠了角度信息，因此在匹配过程中，可能会出现匹配错位的情况，这时同一ID的行人位置会出现跳变的情况，对于人流预测的判断有很大干扰性，因此在计算人流强度前，需要将人腿的坐标进行平滑处理，降低匹配错的人腿位置对人流强度计算的影响。

在一些实施例中，建立缓存器中存储着不同ID与人腿位置的映射表，其中，不同的所述的ID分别对应着不同的列表，列表中包含了属于该ID的来自于不同连续帧的人腿位置；

在更新缓存时，若当前帧的人腿ID在缓存器中出现，则添加至对应ID的列表中；

或，若缓存器中不包含，则新添加该ID对应的列表并将当前帧该ID的人腿结果存储起来；

或，如果缓存器存储了当前帧未检测出的ID，则将其剔除。

图6提供了一种更新缓存的示意图，x_i表示第i个坐标值，可以为横坐标x也可以为纵坐标y。在对人腿位置做过平滑处理后，接着会更新人腿位置缓存，缓存器中存储着不同ID与人腿位置的映射，不同的ID分别对应着不同的列表，列表中包含了属于该ID的来自于不同连续帧的人腿位置，在更新缓存时，若当前帧的人腿ID在缓存器中出现，则添加至对应ID的列表中；若缓存器中不包含，则新添加该ID对应的列表并将当前帧该ID的人腿结果存储起来；如果缓存器存储了当前帧未检测出的ID，则将其剔除。图6提供了一种更新缓存的示意图，此时缓存器中包含了ID为1、2、3和4的人腿，而当前第t帧的结果中只包含了ID为2、3和4的人腿，根据上述的更新规则，缓存器中ID为1的人腿将被剔除，ID为2、3和4的列表中将新添加当前帧的人腿结果。

在一些实施例中，当图像中出现单个ID的人腿位置，比较前后帧的坐标的y轴差值，以当前帧y坐标减去过去帧y坐标，差值为正则表示“入”，以多帧的差值之和作为该ID的人腿的运动方向。

在一些实施例中，当图像中出现多个ID的人腿位置；

预设第一预设时间和第二预设时间；

判断第一预设时间内和第二预设时间的人的流动状态，其中，所述流动状态包括目标区域中流入强度和流出强度；

通过累计所述流入强度和所述流出强度判断出第一预设时间和第二预设时间人流总强度；

如流入强度的绝对值大于流出强度的绝对值，计算出的累积强度Q2为正；

或，如流入强度的绝对值小于流出强度的绝对值，计算出的累积强度Q2为负；

或，当前帧没有检测到人腿结果导致流入强度Q入和流出强度Q出都为0，强度和Q则为0，或是依据上述方法计算出的总体强度恰好为0，则该帧的人流结果为“未知”。

示意地，在更新完缓存后，将根据缓存器中的多帧人腿的位置关系来计算。图7提供了计算人流强度的示例图的示意图，其中黑色折线为电梯门入口，蓝色线为基于电梯门口中点的坐标系，红色和绿色的虚线椭圆为检测到的多帧上带有不同ID的人腿，对于单个ID的人腿位置而言，会在转换完坐标系之后，比较前后帧的坐标的y轴差值，以当前帧y坐标减去过去帧y坐标，差值为正则表示“入”，以多帧的差值之和作为该ID的人腿的运动方向。以绿色人腿为例，t0运动至t2时刻，只有流入强度，但是当运动至t3时刻时，t2到t3的流出强度大于现有流入强度，因此该人腿的总体强度Q1为负，则趋势为“出”；而对于红色人腿，按照此方式计算出的累积强度Q2为正。而当前帧的电梯人流方向则需要依据两个人腿的人流强度Q1与Q2的和，和为正表示“入”，否则为“出”。若当前帧没有检测到人腿结果导致流入强度Q入和流出强度Q出都为0，强度和Q则为0，或是依据上述方法计算出的总体强度恰好为0，则该帧的人流结果为“未知”。

在一些实施例中，在计算完当前帧的人流运动趋势后，该结果会被存储至多帧的人流结果缓存中。

在一些实施例中，在多帧人流结果融合时，会选取缓存中最近K(例如5帧)帧的结果，选取出现频率超过比例r(例如80％)的结果，作为当前帧融合之后的人流结果，具体方式如下：

其中y为融合后的人流结果，Cin表示K帧中“入”的次数，Cout表示K帧中“出”的次数，除此之外的情况，融合结果则为“未知”；

若想要融合更多的信息，可以考虑将此方式反复多次，这样就可以使得融合结果更为平滑且准确，但是可能会导致结果出现的时间较晚。

图8是本发明实施例提供的一种控制器的电路结构示意图。如图8所示，该控制器600包括一个或多个处理器61以及存储器62。其中，图8中以一个处理器61为例。

处理器61和存储器62可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器62作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于图像和激光行人检测的电梯人流强度方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行机器人的本地调度装置的各种功能应用以及数据处理，即实现上述方法实施例提供的基于图像和激光行人检测的电梯人流强度方法以及上述装置实施例的各个模块或单元的功能。

存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器62中，当被所述一个或者多个处理器61执行时，执行上述任意方法实施例中的基于图像和激光行人检测的电梯人流强度方法。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器61，可使得上述一个或多个处理器可执行上述任意方法实施例中的基于图像和激光行人检测的电梯人流强度方法。

本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的基于图像和激光行人检测的电梯人流强度方法。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种基于图像和激光行人检测的电梯人流强度方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于图像和激光行人检测的电梯人流强度方法，其特征在于，包括如下步骤：

获取多帧激光数据；

基于卷积神经网络的检测模型强度出图像上的行人和激光上的人腿位置；

接着将图像和对应激光的结果进行融合得到激光上具有唯一ID的行人位置；

通过结合前后多帧上的所述行人位置在所述人流强度模块中输出当前帧的人流运动方向；

基于所述多帧的人流强度结果将多帧的时序信息进行对比得到人流运动趋势。

2.根据权利要求1所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，将所述激光数据转换为激光灰度图；

根据图像行人检测模型出行人的左上(x1,y1)和右下(x2,y2)角的坐标，以及角度方位θ，其中，所述角度方位θ是通过对相机标定内外参数计算得到，并且会输出该目标的唯一ID的第一结果信息；

根据激光人腿模型识别出人腿的位置坐标(x1,y1,x2,y2)和角度方位θ的第二结果信息；

通过融合模块将所述第一结果信息和所述第二结果信息的结果以一对一的方式绑定起来，融合得到的激光人腿结果通过人流强度模块得到当前电梯场景的人流运动方向结果，其中，所述人流流动方向包含了“进”、“出”和“未知”三种。

3.根据权利要求1所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，计算所述图像行人的角度和所述激光人腿角度之间的差值，若该差值满足一定的预设阈值条件，则认定为匹配成功，所述图像行人的ID将会被赋予给相应的激光人腿；

或，所述角度差值不满足条件，则视为匹配失败；

或，图像或/和激光上没有检测出结果，则融合结果为空，表示该帧激光没有融合后的结果。

4.根据权利要求1所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，融合后的人腿位置会包括经过一系列的处理：电梯相对坐标系转换、人腿位置平滑处理、更新人腿位置缓存、单帧人流计算和更新人流结果缓存、多帧人流融合和当前帧人流结果。

5.根据权利要求4所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，将所述该人腿位置由激光图像坐标系转换为基于电梯的坐标系下；

需要将人腿的坐标进行平滑处理，降低匹配错的人腿位置对人流强度计算的影响，平滑公式如下所示

其中，x_i表示第i个坐标值，可以为横坐标x也可以为纵坐标y。

6.根据权利要求4所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，建立缓存器中存储着不同ID与人腿位置的映射表，其中，不同的所述ID分别对应着不同的列表，所述列表中包含了属于该ID的来自于不同连续帧的人腿位置；

在更新缓存时，若当前帧的人腿ID在缓存器中出现，则添加至对应ID的列表中；

或，若缓存器中不包含，则新添加该ID对应的列表并将当前帧该ID的人腿结果存储起来；

或，如果缓存器存储了当前帧未检测出的ID，则将其剔除。

7.根据权利要求4所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，当图像中出现单个ID的人腿位置，比较前后帧的坐标的y轴差值，以当前帧y坐标减去过去帧y坐标，差值为正则表示“入”，以多帧的差值之和作为该ID的人腿的运动方向。

8.根据权利要求4所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，当图像中出现多个ID的人腿位置；

预设第一预设时间和第二预设时间；

判断第一预设时间内和第二预设时间的人的流动状态，其中，所述流动状态包括目标区域中流入强度和流出强度；

通过累计所述流入强度和所述流出强度判断出第一预设时间和第二预设时间人流总强度；

如流入强度的绝对值大于流出强度的绝对值，计算出的累积强度Q2为正；

或，如流入强度的绝对值小于流出强度的绝对值，计算出的累积强度Q2为负；

或，当前帧没有检测到人腿结果导致流入强度Q入和流出强度Q出都为0，强度和Q则为0，或是依据上述方法计算出的总体强度恰好为0，则该帧的人流结果为“未知”。

9.根据权利要求1所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，在计算完当前帧的人流运动趋势后，该结果会被存储至多帧的人流结果缓存中。

10.根据权利要求1所述的基于图像和激光行人检测的电梯人流强度方法，其特征在于，在多帧人流结果融合时，会选取缓存中最近K帧的结果，选取出现频率超过比例r的结果作为当前帧融合之后的人流结果，具体方式如下：

其中y为融合后的人流结果，Cin表示K帧中“入”的次数，Cout表示K帧中“出”的次数，除此之外的情况，融合结果则为“未知”；

若想要融合更多的信息，可以考虑将此方式反复多次，使得融合结果更为平滑且准确。

Images