CN114419471B - 一种楼层识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及图像检测技术领域，提供了一种楼层识别方法、装置、电子设备及存储介质。该方法包括：获取多帧实时图像；对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域；按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；根据比对结果，确定目标图像及其楼层信息显示区域；识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层。本公开能够有效地减少干扰信息对楼层识别的影响，提高了楼层识别的准确性，同时，能够大大减少计算量，减少内存占用，提高了识别的效率，可适用于内嵌设备使用。

Description

一种楼层识别方法、装置、电子设备及存储介质

技术领域

本公开涉及图像检测技术领域，尤其涉及一种楼层识别方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的迅速发展，移动机器人也被广泛地应用于各行各业。例如，智能服务型移动机器人被广泛应用于酒店、写字楼、医院和餐厅等场所。智能服务型移动机器人在酒店、写字楼、医院和餐厅等室内环境下执行服务任务（例如，物品配送服务）时，通常需要穿梭于不同的楼层或楼宇。而机器人在穿梭不同的楼层或者楼宇去执行服务任务时，需要准确地识别出电梯的楼层，才能够获得准确的任务执行导航路线，从而完成其服务任务。

但是，由于在电梯内通常不仅会设置有楼层显示屏、电梯按钮，而且很多电梯内还会设置一些广告显示屏或者广告牌来投放广告信息。因此，机器人在识别电梯楼层的过程中，可能会不仅识别到楼层显示屏的数字信息，还很可能会一并识别到电梯按钮或者广告显示屏/广告牌中的一些无效的数字信息。这些无效的数字信息很容易干扰机器人准确地判断电梯的楼层，从而导致机器人无法准确获得其执行任务的导航路线，进而无法完成其服务任务。

发明内容

有鉴于此，本公开实施例提供了一种电梯楼层识别方法、装置、电子设备及存储介质，以解决现有技术中机器人在识别电梯楼层时容易受到电梯内的电梯按钮或者广告显示屏/广告牌上的无效数字信息的干扰而无法准确识别电梯楼层，从而导致其无法准确获得其执行任务的导航路线，进而无法完成其服务任务的问题。

本公开实施例的第一方面，提供了一种楼层识别方法，包括：

获取多帧实时图像；

对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域包括楼层信息显示区域和/或干扰信息显示区域；

按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；

根据比对结果，确定目标图像及其楼层信息显示区域；

识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层。

本公开实施例的第二方面，提供了一种楼层识别装置，包括：

获取模块，被配置为获取多帧实时图像；

处理模块，被配置为对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域包括楼层信息显示区域和/或干扰信息显示区域；

比对模块，被配置为按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；

确定模块，被配置为根据比对结果，确定目标图像及其楼层信息显示区域；

识别模块，被配置为识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比，其有益效果至少包括：通过获取多帧实时图像；对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域；按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；根据比对结果，确定目标图像及其楼层信息显示区域；识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层，能够有效地过滤掉电梯内的电梯按钮或者广告显示屏/广告牌上的无效数字信息，减少这些无效数字信息对电梯楼层识别的干扰，提高了楼层识别的准确性，从而使得机器人能够获取到其执行任务的导航路线，按时按质完成其服务任务；同时，能够大大减少计算量，减少内存占用，提高了识别的效率，可适用于内嵌设备使用。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例提供的一种楼层识别方法的流程示意图；

图2是本公开实施例提供的楼层识别方法中的一种轻量级卷积神经网络的结构示意图；

图3是本公开实施例提供的一种楼层识别装置的结构示意图；

图4是本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。

下面将结合附图详细说明根据本公开实施例的一种楼层识别方法和装置。

图1是本公开实施例提供的一种楼层识别方法的流程示意图。如图1所示，该楼层识别方法包括：

步骤S101，获取多帧实时图像。

本公开的技术方案可由机器人执行，也可以有电梯内部的监控装置执行，还可以由其他的监控设备（如云端服务器等）来执行。

下面以该方案由机器人来执行为例进行详细的说明。

在一实施例中，可通过电梯内部的监控摄像装置（如摄像头）实时采集电梯内部的多帧实时图像（比如，按照每1秒采集25帧图像的采集频率进行图像采集），再将采集到的多帧实时图像发送给机器人。还可在机器人进入电梯后，通过其摄像装置（如单目/双目摄像头）实时采集电梯内部的多帧实时图像。

步骤S102，对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域。

通常一帧实时图像中可能会包括有一些含有文本信息（比如，文字、数字等信息）的信息显示区域，以及其他不含有文本信息的区域。信息显示区域可能为楼层信息显示区域、电梯按钮显示区域或者广告信息显示区域中的其中之一或其任意组合。例如，获取到的多帧实时图像是1秒内拍摄到的25帧图像，可分别编号01~25。示例性的，识别出图像01的信息显示区域可能为楼层信息显示区域，图像02的信息显示区域可能为楼层信息显示区域和电梯按钮显示区域，图像03的信息显示区域可能为楼层信息显示区域、电梯按钮显示区域和广告信息显示区域。

其中，电梯按钮显示区域、广告信息显示区域为干扰信息显示区域。这些区域中所显示的信息通常是一些无效的数字信息，这些无效的数字信息会影响机器人识别出电梯所在楼层的准确性，即使得机器人错误识别其当前所在楼层。

在实际应用中，可以预先通过人工标注等方式对每一帧实时图像对应的信息显示区域所对应的类型进行标记。例如，图像01包括楼层信息显示区域、电梯按钮显示区域和广告信息显示区域，那么可以将其楼层信息显示区域标记为有效区域，电梯按钮显示区域和广告信息显示区域则均标记为无效区域或者干扰区域。标记时可以采用唯一的数字、文字、符号、编码等对不同的区域进行区分标记。

步骤S103，按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果。

电梯每上/下一层楼需要一定的运行时间，且电梯内的楼层信息显示区域（如电梯楼层显示屏）部分的信息（如字母、数字或负号的楼层信息以及满载、警报等其他提示信息）在电梯每上/下一层楼发生跳转变化也需要一定的跳转时间。一般情况下，电梯上/下一层楼层所需的运行时间和跳转时间的总和为1秒左右。若从机器人进入电梯内即可获取到电梯内的实时图像，为了能够及时识别出其当前所在的楼层，则可在1秒内，按照预设的时间间隔从获取到的多帧实时图像中抽取出连续的至少三帧实时图像来进行检测，以确定电梯当前所在的楼层。也就是说，机器人在1秒内可以按照预设的时间间隔（即抽帧检测时间间隔至少执行2次以上的抽帧检测操作，以识别出其当前所在楼层。

在一优选实施例中，机器人在接收到至少三帧采集时间连续的实时图像之后，再开始执行抽帧以及后续的信息显示区域比对操作。一方面，可保证至少有三帧实时图像可以作对比，降低漏检和误检率；同时可保证在电梯楼层信息（如楼层数字）发生跳转的时间内进行至少一次的抽帧检测，提高了楼层检测的准确性。另一方面，通过设置一定的时间间隔来抽帧检测还可减少机器人的检测计算量，有利于节省计算资源，减小内存占用，使得本公开方法能够适用于机器人的摄像装置或者电梯内的监控装置等嵌入式设备。

示例性的，如果按照1秒采集25帧实时图像的采集速率，在接收到第三帧实时图像时，刚好经过0.12秒（假设从机器人进入电梯并在接收到第一帧实时图像为0秒开始计算），再开始抽帧检测。这抽帧的时间间隔可以设置为0.12秒~1秒之间。优选的，时间间隔可设置为0.12秒。

需要说明的是，当采用的摄像装置不同，其实时图像的采集速率也可能会不同，那么连续采集三帧实时图像所需的时间也可能不同，因此，时间间隔可以根据实际情况灵活调整，在本公开不做具体的限制。

机器人的间隔抽帧检测操作会从其进入电梯到其走出电梯的这段时间内持续进行。也是就是说，机器人在进入电梯，并接收到三帧实时图像后，就开始按照预设的时间间隔抽帧检测，识别其所在楼层，直至其走出电梯为止，停止楼层的识别操作。

作为一示例，假设摄像装置的图像采集频率为1秒25帧，预设的时间间隔可为0.12秒，那么，机器人可在进入电梯并接收到电梯内部监控摄像装置发送过来的第1、2、3帧采集时间连续的实时图像时，即可将这三帧实时图像抽取出来，并对它们的信息显示区域进行比对，得到比对结果。接着，在下一个0.12秒后，即获取到第4、5、6帧实时图像，则此时可以从这6帧实时图像中抽取出其中的第2、3、4三帧实时图像，也可以抽取出其中的第3、4、5三帧实时图像，或者是抽取出其中的第4、5、6三帧实时图像，然后执行下一步的信息显示区域的比对操作。也就是说，机器人需要在接收到至少三帧实时图像后才会开始执行抽帧以及后续的信息显示区域比对操作。

步骤S104，根据比对结果，确定目标图像及其楼层信息显示区域。

作为一示例，假设多帧实时图像为采集时间连续的6帧图像，分别编号为图像01、02、03、04、05、06，机器人从中抽取的是图像01、02、03，它们的信息显示区域均为楼层信息显示区域。那么可先抓取图像03作为目标对象，将图像03与图像02的楼层信息显示区域进行比对，确定二者的楼层信息显示区域在图像中的位置以及区域大小是否在允许的误差范围内，再比较图像03与图像01的楼层信息显示区域在图像中的位置以及区域大小是否在允许的位置误差范围内。若图像03与图像02，图像03与图像01的楼层信息显示区域在图像中的位置以及区域大小均在允许的位置误差范围内，那么可以将图像03确定为目标图像。若图像03与图像02，图像03与图像01中的任意一组的楼层信息显示区域在图像中的位置以及区域大小不在允许的位置误差范围内，那么，可在下一个时间间隔（如预设的时间间隔为0.12秒，即第一个抽帧检测的时间是0.12秒，下一个抽帧检测的时间为0.24秒），再抽取至少三帧采集时间连续的实时图像，重复上述的比对步骤，得出比对结果，直至抽取到的最后一帧图像与前面的两帧图像的楼层信息显示区域在图像中的位置以及区域大小均在允许的位置误差范围内，将抽取到的最后一帧图像确定为目标图像。

步骤S105，识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层。

在一实施例中，可以将上述目标图像的楼层信息区域输入经轻量级卷积神经网络训练得到的识别模型，识别出目标图像的楼层信息显示区域中的楼层信息。

本公开实施例提供的技术方案，通过获取多帧实时图像；对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域；按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；根据比对结果，确定目标图像及其楼层信息显示区域；识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层，能够有效地过滤掉电梯内的电梯按钮或者广告显示屏/广告牌上的无效数字信息（即干扰信息显示区域中的信息），减少这些无效数字信息对电梯楼层识别的干扰，提高了楼层识别的准确性，从而使得机器人能够获取到其执行任务的导航路线，按时按质完成其服务任务；同时，能够大大减少计算量，减少内存占用，提高了识别的效率，可适用于内嵌设备使用。

在一些实施例中，上述获取多帧实时图像，包括：

获取实时视频流，对实时视频流进行处理，得到多帧图像帧；

对每一帧图像帧进行图像区域划分，得到与每一帧图像帧对应的图像划分区域，其中，图像划分区域包括包含文本信息的第一图像区域和不包含文本信息的第二图像区域；

统计每一帧图像帧的第一图像区域的区域数量，从多帧图像帧中筛选出区域数量符合预设的数量阈值的多帧实时图像。

在本实施例中，获取实时视频流，可以是机器人在进入电梯后接收到的电梯内的监控装置拍摄并发送过来的电梯内部的视频流，也可以是机器人在进入电梯后拍摄到的电梯内部的视频流。

预设的数量阈值，可以根据电梯内可能显示有文本信息的区域的数量来确定。比如，电梯内设置有楼层信息显示屏、电梯按钮显示屏、广告显示屏，这三种显示屏均会显示数字或文字等文本信息，那么可以预设的数值阈值可设置为3。又例如，电梯内设置有楼层信息显示屏、电梯按钮显示屏，那么预设的数值阈值可设置为2。

第一图像区域为包含文本信息的区域，例如，为上述示例中的楼层信息显示屏、电梯按钮显示屏、广告显示屏所在的区域。第二图像区域为不包含文本信息的区域，即为图像帧中除了第一图像区域外的部分。

作为一示例，假设获取到的实时视频流是0.4秒的视频流，按照0.04秒的时间间隔，对该视频流进行分帧处理，可得到10帧图像帧。然后，再对这10帧图像帧进行图像区域划分，以划分出每帧图像帧中包含文本信息的第一图像区域和不包含文本信息的第二图像区域。接着，再统计每一帧图像帧的第一图像区域的区域数量。

本公开实施例提供的技术方案，通过对实时视频流进行处理，得到多帧图像帧，并对每一帧图像帧进行图像区域划分，再统计包含文本信息的第一图像区域的区域数量，并从中筛选出区域数量符合预设的数量阈值的多帧实时图像，可以过滤掉可能不含有楼层信息显示屏的图像帧，有利于减少后续的识别计算量，同时还能够提高后续的楼层识别的准确度。

在一些实施例中，上述对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，包括：

将多帧实时图像输入预设的图像检测模型，输出与每一帧实时图像对应的信息显示区域，其中，图像检测模型是采用轻量级卷积神经网络训练得到的，第一图像区域包含信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域。也就是说，经图像检测模型输出的信息显示区域可能是正确的楼层信息显示区域，也可能是干扰信息显示区域。

在一些实施例中，轻量级卷积神经网络包括依次连接的第一网络、第二网络和全卷积检测模块，全卷积检测模块包括分类单元和边框回归单元；

图像检测模型是由如下步骤训练得到：

获取训练数据集，训练数据集包括多帧训练图像，训练图像至少携带有楼层信息显示区域的位置标签；

将多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果；

根据位置预测结果和位置标签，计算损失值；

根据损失值，更新轻量级卷积神经网络的模型参数；

重复上述步骤，直至达到预设的迭代停止条件，输出图像检测模型。

结合图2，轻量级卷积神经网络包括依次连接的第一网络201、第二网络202和全卷积检测模块203，全卷积检测模块203包括分类单元2031和边框回归单元2032。

轻量级卷积神经网络，可以是ShuffleNet。第一网络为其骨干网络，第二网络为特征提取网络。

训练数据集，可以是通过安装在电梯内部的监控摄像装置随机全方位采集到的电梯内部的图像，并可通过人工标记的方式，标记出图像中的楼层信息显示屏、电梯按钮显示屏、广告显示屏等包含文本信息的各个区域，不同的区域可采用不同的位置标签予以区分。比如，楼层信息显示屏（即楼层信息显示区域）、电梯按钮显示屏、广告显示屏分别在图像中的左上角、左下角和右下角。那么它们在图像中的所在区域的位置标签可分别设置为A、B、C。

在一些实施例中，将多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果，具体包括：

将多帧训练图像输入第一网络，得到第一特征图；

将第一特征图输入第二网络，生成不同维度的多个第二特征图；

将多个第二特征图输入全卷积检测模块，输出楼层信息显示区域的位置预测结果。

在本实施例中，可首先对轻量级卷积神经网络的网络参数进行初始化，生成初始权重和初始偏置；然后，将上述多帧训练图像输入该轻量级卷积神经网络，经第一网络提取训练图像的第一特征图；再经第二网络对第一特征图进行多尺度特征融合，生成不同维度的多个第二特征图（比如，生成多个不同图像大小和特征维度的第二特征图）；接着，将多个第二特征图输入全卷积检测模块，经分类单元输出训练图像的各个区域是否为楼层信息显示区域的分类结果，经边框回归单元输出训练图像的楼层信息显示区域的所在位置。最终，综合分类结果和经边框回归单元输出训练图像的楼层信息显示区域的所在位置，输出楼层信息显示区域的位置预测结果。

接着，根据预设的损失函数（例如，交叉熵损失、均方误差损失），计算位置预测结果和位置标签的损失值。降低该损失值并进行反向传播，通过反复循环前向传播和反向传播对轻量级卷积神经网络的权重和偏置进行更新，直至达到预设的迭代停止条件（比如，预设的模型精度或迭代轮数等），输出图像检测模型。

在一些实施例中，按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果，包括：

从多帧实时图像中筛选出信息显示区域为楼层信息显示区域的多帧待检图像；

按照预设的时间间隔，从多帧待检图像中抽取采集时间连续的至少三帧待检图像；

对至少三帧待检图像的信息显示区域进行比对，得到比对结果。

作为一示例，假设图像采集频率为1秒25帧，预设的抽帧检测的时间间隔为0.4秒，那么，机器人可在进入电梯并接收到电梯内部监控摄像装置发送过来的连续10帧实时图像（即接收到第一帧实时图像的0.4秒后），从这10帧实时图像中筛选出信息显示区域为楼层信息显示区域（如图像中携带有楼层信息显示区域的标记）的多帧待检图像。接着，从多帧待检图像中抽取采集时间连续的至少三帧待检图像，比如，抽取到的是第1、2、3帧实时图像时，则可进一步对它们的信息显示区域进行比对，得到比对结果。

对至少三帧待检图像的信息显示区域进行比对，得到比对结果，与上述的对至少三帧实时图像的信息显示区域的比对步骤基本相同，可参考前文相关内容，在此不再赘述。

应用本公开的方案，能够在抽帧检测之前过滤掉其中信息显示区域不为楼层信息显示区域的实时图像，能够进一步减少楼层识别的计算量，减少内存占用，提高后续的检测效率和识别的准确度。

在一些实施例中，待检图像包括第一待检图像、第二待检图像和第三待检图像；

对至少三帧待检图像的信息显示区域进行比对，得到比对结果，包括：

将第三待检图像确定为目标检测图像，将第一待检图像、第二待检图像确定为先验图像；

对目标检测图像和先验图像进行比对，得出比对结果。

结合上述示例，假设抽取到的是第1、2、3帧实时图像，即第1帧实时图像为第一待检图像，第2帧实时图像为第二待检图像，第3帧实时图像为第三待检图像。

在本实施例中，可先将第三待检图像与第二待检图像（先验图像）的楼层信息显示区域进行比对，确定二者在图像中的位置以及区域大小是否在允许的误差范围内，再比较第三待检图像与第一待检图像（先验图像）的楼层信息显示区域在图像中的位置以及区域大小是否在允许的位置误差范围内，即得到比对结果。

应用本公开方案，可以削弱非楼层信息显示区域（即干扰信息显示区域）的无效数字信息对楼层识别结果的干扰性，并增加了楼层信息显示区域的所在位置的识别准确性。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图3是本公开实施例提供的一种楼层识别装置的示意图。如图3所示，该楼层识别装置包括：

获取模块301，被配置为获取多帧实时图像；

处理模块302，被配置为对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域；

比对模块303，被配置为按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；

确定模块304，被配置为根据比对结果，确定目标图像及其楼层信息显示区域；

识别模块305，被配置为识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层。

本公开实施例提供的技术方案，通过获取模块301获取多帧实时图像；处理模块302对多帧实时图像进行预处理，得到与每一帧实时图像对应的信息显示区域，信息显示区域为楼层信息显示区域和/或干扰信息显示区域；比对模块303按照预设的时间间隔，从多帧实时图像中抽取采集时间连续的至少三帧实时图像，对至少三帧实时图像的信息显示区域进行比对，得到比对结果；确定模块304根据比对结果，确定目标图像及其楼层信息显示区域；识别模块305识别目标图像的楼层信息显示区域中的楼层信息，并根据楼层信息，确定电梯当前所在的楼层，能够有效地过滤掉电梯内的电梯按钮或者广告显示屏/广告牌上的无效数字信息，减少这些无效数字信息对电梯楼层识别的干扰，提高了楼层识别的准确性，从而使得机器人能够获取到其执行任务的导航路线，按时按质完成其服务任务，同时，能够大大减少计算量，减少内存占用，提高了识别的效率，可适用于内嵌设备使用。

在一些实施例中，上述获取模块301包括：

获取单元，被配置为获取实时视频流，对实时视频流进行处理，得到多帧图像帧；

划分单元，被配置为对每一帧图像帧进行图像区域划分，得到与每一帧图像帧对应的图像划分区域，其中，图像划分区域包括包含文本信息的第一图像区域和不包含文本信息的第二图像区域；

统计单元，被配置为统计每一帧图像帧的第一图像区域的区域数量，从多帧图像帧中筛选出区域数量符合预设的数量阈值的多帧实时图像。

在一些实施例中，上述处理模块302包括：

检测单元，被配置为将多帧实时图像输入预设的图像检测模型，输出与每一帧实时图像对应的信息显示区域，其中，图像检测模型是采用轻量级卷积神经网络训练得到的，第一图像区域包含信息显示区域，信息显示区域至少包括楼层信息显示区域。

在一些实施例中，上述轻量级卷积神经网络包括依次连接的第一网络、第二网络和全卷积检测模块，全卷积检测模块包括分类单元和边框回归单元；

图像检测模型是由如下步骤训练得到：

获取训练数据集，训练数据集包括多帧训练图像，训练图像至少携带有楼层信息显示区域的位置标签；

将多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果；

根据位置预测结果和位置标签，计算损失值；

根据损失值，更新轻量级卷积神经网络的模型参数；

重复上述步骤，直至达到预设的迭代停止条件，输出图像检测模型。

在一些实施例中，上述将多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果，包括：

将多帧训练图像输入第一网络，得到第一特征图；

将第一特征图输入第二网络，生成不同维度的多个第二特征图；

将多个第二特征图输入全卷积检测模块，输出楼层信息显示区域的位置预测结果。

在一些实施例中，上述比对模块303包括：

筛选单元，被配置为从多帧实时图像中筛选出信息显示区域为楼层信息显示区域的多帧待检图像；

抽取单元，被配置为按照预设的时间间隔，从多帧待检图像中抽取采集时间连续的至少三帧待检图像；

比对单元，被配置为对至少三帧待检图像的信息显示区域进行比对，得到比对结果。

在一些实施例中，上述待检图像包括第一待检图像、第二待检图像和第三待检图像。上述比对单元，可具体被配置为：

将第三待检图像确定为目标检测图像，将第一待检图像、第二待检图像确定为先验图像；

对目标检测图像和先验图像进行比对，得出比对结果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。

图4是本公开实施例提供的电子设备400的示意图。如图4所示，该实施例的电子设备400包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。

示例性地，计算机程序403可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在电子设备400中的执行过程。

电子设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备400可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备400的示例，并不构成对电子设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器402可以是电子设备400的内部存储单元，例如，电子设备400的硬盘或内存。存储器402也可以是电子设备400的外部存储设备，例如，电子设备400上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器402还可以既包括电子设备400的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (7)

1.一种楼层识别方法，其特征在于，包括：

获取多帧实时图像；

对所述多帧实时图像进行预处理，得到与每一帧所述实时图像对应的信息显示区域，所述信息显示区域为楼层信息显示区域和/或干扰信息显示区域；

在预设时长内按照预设的时间间隔，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像，对所述至少三帧实时图像的信息显示区域进行比对，得到比对结果，其中，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像的步骤至少执行两次；

根据所述比对结果，确定目标图像及其楼层信息显示区域；

识别所述目标图像的楼层信息显示区域中的楼层信息，并根据所述楼层信息，确定电梯当前所在的楼层；

其中，获取多帧实时图像的步骤，包括：

获取实时视频流，对所述实时视频流进行处理，得到多帧图像帧；

对每一帧所述图像帧进行图像区域划分，得到与每一帧图像帧对应的图像划分区域，其中，所述图像划分区域包括包含文本信息的第一图像区域和不包含文本信息的第二图像区域；

统计每一帧图像帧的第一图像区域的区域数量，从所述多帧图像帧中筛选出所述区域数量符合预设的数量阈值的多帧实时图像；

按照预设的时间间隔，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像，对所述至少三帧实时图像的信息显示区域进行比对，得到比对结果，包括：

从所述多帧实时图像中筛选出信息显示区域为楼层信息显示区域的多帧待检图像；

按照预设的时间间隔，从所述多帧待检图像中抽取采集时间连续的至少三帧待检图像；所述待检图像包括第一待检图像、第二待检图像和第三待检图像，所述第三待检图像为目标检测图像，所述第一待检图像、第二待检图像为先验图像；

对所述第三待检图像与第二待检图像的楼层信息显示区域进行比对，以确定所述第三待检图像与第二待检图像的楼层信息显示区域在图像中的位置以及区域大小是否在允许误差范围内；

若所述第三待检图像与第二待检图像的楼层信息显示区域在图像中的位置以及区域大小在允许误差范围内，则比对所述第三待检图像与第一待检图像的楼层信息显示区域在图像中的位置以及区域大小是否在允许的误差范围内，以得到比对结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述多帧实时图像进行预处理，得到与每一帧所述实时图像对应的信息显示区域，包括：

将所述多帧实时图像输入预设的图像检测模型，输出与每一帧所述实时图像对应的信息显示区域，其中，所述图像检测模型是采用轻量级卷积神经网络训练得到的，所述第一图像区域包含所述信息显示区域，所述信息显示区域至少包括楼层信息显示区域。

3.根据权利要求2所述的方法，其特征在于，所述轻量级卷积神经网络包括依次连接的第一网络、第二网络和全卷积检测模块，所述全卷积检测模块包括分类单元和边框回归单元；

所述图像检测模型是由如下步骤训练得到：

获取训练数据集，所述训练数据集包括多帧训练图像，所述训练图像至少携带有楼层信息显示区域的位置标签；

将所述多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果；

根据所述位置预测结果和所述位置标签，计算损失值；

根据所述损失值，更新所述轻量级卷积神经网络的模型参数；

重复上述步骤，直至达到预设的迭代停止条件，输出图像检测模型。

4.根据权利要求3所述的方法，其特征在于，所述将所述多帧训练图像输入轻量级卷积神经网络，输出楼层信息显示区域的位置预测结果，包括：

将所述多帧训练图像输入所述第一网络，得到第一特征图；

将所述第一特征图输入所述第二网络，生成不同维度的多个第二特征图；

将所述多个第二特征图输入所述全卷积检测模块，输出楼层信息显示区域的位置预测结果。

5.一种楼层识别装置，其特征在于，包括：

获取模块，被配置为获取多帧实时图像；

处理模块，被配置为对所述多帧实时图像进行预处理，得到与每一帧所述实时图像对应的信息显示区域，所述信息显示区域为楼层信息显示区域和/或干扰信息显示区域；

比对模块，被配置为在预设时长内按照预设的时间间隔，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像，对所述至少三帧实时图像的信息显示区域进行比对，得到比对结果，其中，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像的步骤至少执行两次；

确定模块，被配置为根据所述比对结果，确定目标图像及其楼层信息显示区域；

识别模块，被配置为识别所述目标图像的楼层信息显示区域中的楼层信息，并根据所述楼层信息，确定电梯当前所在的楼层；

其中，获取多帧实时图像的步骤，包括：

获取实时视频流，对所述实时视频流进行处理，得到多帧图像帧；

对每一帧所述图像帧进行图像区域划分，得到与每一帧图像帧对应的图像划分区域，其中，所述图像划分区域包括包含文本信息的第一图像区域和不包含文本信息的第二图像区域；

统计每一帧图像帧的第一图像区域的区域数量，从所述多帧图像帧中筛选出所述区域数量符合预设的数量阈值的多帧实时图像；

按照预设的时间间隔，从所述多帧实时图像中抽取采集时间连续的至少三帧实时图像，对所述至少三帧实时图像的信息显示区域进行比对，得到比对结果，包括：

从所述多帧实时图像中筛选出信息显示区域为楼层信息显示区域的多帧待检图像；

按照预设的时间间隔，从所述多帧待检图像中抽取采集时间连续的至少三帧待检图像；所述待检图像包括第一待检图像、第二待检图像和第三待检图像，所述第三待检图像为目标检测图像，所述第一待检图像、第二待检图像为先验图像；

对所述第三待检图像与第二待检图像的楼层信息显示区域进行比对，以确定所述第三待检图像与第二待检图像的楼层信息显示区域在图像中的位置以及区域大小是否在允许误差范围内；

若所述第三待检图像与第二待检图像的楼层信息显示区域在图像中的位置以及区域大小在允许误差范围内，则比对所述第三待检图像与第一待检图像的楼层信息显示区域在图像中的位置以及区域大小是否在允许的误差范围内，以得到比对结果。

6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。

Images