CN110245619A - 一种用于自动扶梯上超限物体判断方法及系统 - Google Patents

Abstract

本发明一种用于自动扶梯上超限物体判断方法，包括以下步骤：构建生成对抗网络模型，利用样本训练集和干扰样本训练集训练生成对抗网络模型；采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；将各重构图像进行平滑卷积处理获得相对应的处理图像；计算相对应的重构图像和处理图像的平均绝对误差；计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。本发明能够实现待判断自动扶梯上是否存在超限物体的判断，且无需限制物体形状，检测面广，便于工作人员后续对自动扶梯的控制。

Description

一种用于自动扶梯上超限物体判断方法及系统

技术领域

本发明涉及视频检测领域，具体涉及一种用于自动扶梯上超限物体判断方法及系统。

背景技术

为合理利用资源，减少能源消耗，故通常控制自动扶梯只在规定时间内工作，按照安全操作要求，启动或停止扶梯时扶梯上不允许存在超过30*30cm体积的物体，即，超限物体，现今对自动扶梯上是否存在超限物体通常需要工作人员至现场观察环境从而做出判断，再手动启动或停止自动扶梯运行，工作效率低。

综上，需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种用于自动扶梯上超限物体判断方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种用于自动扶梯上超限物体判断方法，包括以下步骤：

获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；利用样本训练集和干扰样本训练集训练生成对抗网络模型；

采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；将各重构图像进行平滑卷积处理获得相对应的处理图像；计算相对应的重构图像和处理图像的平均绝对误差；

计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

作为一种可实施方式，所述利用样本训练集和干扰样本训练集训练生成对抗网络模型的方法为：

将干扰样本训练集输入生成器进行训练，生成器输出与干扰样本图像相对应的重构样本图像；

将样本训练集和所述重构样本图像输入判别器进行训练，判别器输出判别获得的真伪值，根据真伪值的准确率判断判别器和生成器继续进行相互竞争的迭代训练。

作为一种可实施方式：所述生成器和判别器均采用卷积神经网络vgg16。

作为一种可实施方式：

样本图像的获取方法为：采集空旷的自动扶梯的图像，获得空旷图像，对所述空旷图像进行裁剪、调整大小处理后输出对应样本图像；

干扰样本图像的获取方法为：对各样本图像进行添加噪块处理，获取与样本图像一一对应的干扰样本图像。

作为一种可实施方式，计算相对应的重构图像和处理图像的平均绝对误差的公式为：

其中，MAE指平均绝对误差，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。

本发明还提出一种用于自动扶梯上超限物体判断系统，包括：

模型构建模块，用于获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；还用于利用样本训练集和干扰样本训练集训练生成对抗网络模型；

图像处理模块，用于采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；还用于将各重构图像进行平滑卷积处理获得相对应的处理图像；还用于计算相对应的重构图像和处理图像的平均绝对误差；

判断模块，用于计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

作为一种可实施方式，所述模型构建模块包括训练集获取单元和模型构建单元，所述模型构建单元包括生成器构建子单元和判别器构建子单元：

所述生成器构建子单元，用于构建生成器，还用于将干扰样本训练集输入生成器进行训练，生成器输出与干扰样本图像相对应的重构样本图像；

所述判别器构建子单元，用于构建判别器，还用于将样本训练集和所述重构样本图像输入判别器进行训练，判别器输出判别获得的真伪值，根据真伪值的准确率判断判别器和生成器继续进行相互竞争的迭代训练。

作为一种可实施方式：

所述生成器构建子单元采用卷积神经网络vgg16构建生成器；所述判别器构建子单元采用卷积神经网络vgg16构建判别器。

作为一种可实施方式，训练集获取单元被配置为：

样本图像的获取方法为：采集空旷的自动扶梯的图像，获得空旷图像，对所述空旷图像进行裁剪、调整大小处理后输出对应样本图像；

干扰样本图像的获取方法为：对各样本图像进行添加噪块处理，获取与样本图像一一对应的干扰样本图像。

作为一种可实施方式，图像处理模块包括重构图像输出单元、卷积处理单元和平均绝对误差计算单元，所述平均绝对误差计算单元被配置为：

计算相对应的重构图像和处理图像的平均绝对误差的公式为：

其中，MAE表示平均绝对误差，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明通过计算重构图像和处理图像中每个对应像素点的平均绝对误差MAE实现是否存在超限物体的检测，能够检测所有大于某个尺寸的物体，无需考虑物体形状，故检测面广；同时采样简单，无需采集指定物体的样本，只需采集空旷的自动扶梯的样本图像即可。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种用于自动扶梯上超限物体判断方法的工作流程示意图；

图2左图为样本图像示意图，右图为对应干扰样本图像的示意图；

图3中a1为原始图像(存在超限物体)，a2为对应原始图像的重构图像，b1为原始图像(不存在超限物体)，b2为对应原始图像的重构图像；

图4是本发明一种用于自动扶梯上超限物体判断系统的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种用于自动扶梯上超限物体判断方法，如图1至3所示，包括以下步骤：

S1、获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；利用样本训练集和干扰样本训练集训练生成对抗网络模型；

1.1、获取样本图像生成样本训练集，获取干扰样本图像，生成干扰样本训练集：

采集无人及物体的自动扶梯图像，即，空旷的自动扶梯的图像，获得空旷图像，将各空旷图像按照最小外接矩形进行裁剪，并调整裁剪后空旷图像的大小(256*256)，获取样本图像，如图2左图所示。

采集空旷图像的方法如下：对无人及物体的自动扶梯进行拍照，获得相应空旷图像；对无人及物体的自动扶梯进行录像，从所得录像中提取视频帧，获得相应空旷图像；本实施例中，分别对多个空旷的自动扶梯的进行录像1min，抽取(每秒取5-10帧)各录像的视频帧作为空旷图像。

设置最小关心尺寸(50)，根据最小关心尺寸处理各样本图像(如图2左图所示)，随机生成样本图像相对应的干扰样本图像(如图2右图所示)，各干扰样本图像中存在10～13个与最小关心尺寸相对应的噪块，该噪块为多边形。

注：可根据实际需要，设定每个样本图像生成多个(数量可根据实际情况自行设定)干扰样本图像。每个噪块的面积约等于最小关心尺寸，多个噪块可以重叠。噪块里用随机的像素点填充，该像素点均匀分布在噪块中。

从干扰样本训练集中随机提取m个干扰样本图像构成干扰样本训练集Pz(z)，从样本训练集选取与m个干扰样本图像一一对应的样本图像构成样本训练集P_data(x)。

1.2、构建生成对抗网络模型，利用样本训练集和干扰样本训练集训练生成对抗网络模型，生成对抗网络模型包括判别器D和生成器G；

本实施例中生成器G和判别器D均采用卷积神经网络vgg16，利用样本训练集和干扰样本训练集对判别器D和生成器G进行相互竞争的迭代训练。

生成器G输入干扰样本图像，输出对应的重构样本图像，即，利用干扰样本训练集训练生成器G，训练目标是要最小化判别器D的判别准确率。

判别器D输入的图像为重构样本图像或样本图像，输出判定的真伪值，即，利用样本训练集和各重构样本图像训练判别器D，训练目的就是要尽量最大化判别准确率；故本实施例中根据判别器D输出判定的真伪值的准确率判断停止迭代，输出训练完成的生成对抗网络模型，具体判断方法为：将真伪值的准确率与0.5的差值的绝对值在预设阈值内，则停止迭代过程，相关领域的技术人员可根据实际情况自行设定该阈值，故无需对该阈值进行限定。

生成对抗网络模型的目标函数如下：

其中，G表示生成器，D表示判别器，x表示输入的真实数据，即，样本图像，z表示输入的随机变量，即，干扰样本图像，E(·)表示期望，P_data(x)表示真实数据集分布，即，样本训练集，Pz(z)表示服从随机分布的数据分布，即，干扰样本训练集。

本实施例中利用minibatch随机梯度下降法实现对判别器和生成器进行训练的训练，具体方法可参考论文《Generative Adversarial Networks》，故不再本专利中进行详细介绍。

本实施例中，当判别器D输出的真伪值的准确率与0.5的差值的绝对值在0.05内，完成训练。

S2、采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；将各重构图像进行平滑卷积处理获得相对应的处理图像；计算相对应的重构图像和处理图像的平均绝对误差；

2.1、将各原始图像输入训练后的生成器G，获得与原始图像相对应的重构图像。

如图3所示，图3中图a1为存在超限物体的原始图像(超限物体为人)，以图a2为不存在超限物体的原始图像(空旷的自动扶梯)，将图a1输入训练后的生成器G获得的重构图像如图a2所示，将图b1输入训练后的生成器G获得的重构图像如图b2所示，对比图a1与图a2、图b1与图b2，可知利用本发明训练的生成器G获取的重构图像与原始图像十分相近。

2.2、处理重构图像获得相应处理图像，计算重构图像和处理图像的平均绝对误差MAE：

对重构图像进行平滑卷积处理，卷积尺寸为设定最小关心尺寸的1/10，本实施例中设置3*3的方阵，每个元素都为1/9，对重构图像进行平滑卷积处理，获得相应的处理图像，重构图像与处理图像一一对应。

计算重构图像与其相对应的处理图像中每个对应像素点的平均绝对误差MAE，公式如下：

其中，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。

本发明计算重构图像和处理图像中每个对应像素点的平均绝对误差MAE实现是否存在超限物体的检测，且无需对自动扶梯的原始图像、检测超限物体的形状进行限定，故本专利提出的方法检测面广，能够检测所有大于某个尺寸的物体；且采样简单，无需采集指定物体的样本，无需指定采集装置的位置，可直接采用现有所设置的摄像头采集对应自动扶梯的样本图像/原始图像即可。

2.3、根据平均绝对误差MAE判断原始图像中是否存在超限物体：

将步骤2.3所得平均绝对误差MAE与预设的空旷阈值u进行比较，当MAE小于空旷阈值u时，判定该原始图像中不存在超限物体；u可根据最小关心尺寸与敏感度自行设定，本实施例u取0.1。

S3、计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

本实施例验证阈值为0.8，即当平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例大于等于0.8时，判定该待判断自动扶梯上不存在超限物体。

本实施例分别采集15组自动扶梯的原始图像，每组自动扶梯的原始图像数量为25，当20张及以上MAE小于阈值u时，认为待判断自动扶梯上不存在超限物体，测试证明按照本发明提出的用于自动扶梯上超限物体判断方法的判断准确率高达75％。

本发明所提出的一种用于自动扶梯上超限物体判断方法可根据实际需要运用于多种需要检测自动扶梯上物体尺寸是否超限的场合，如，工作人员启动或停止自动扶梯工作时，可按照本方法的步骤快速获取若干个自动扶梯上是否存在超限物体，无需工作人员前往现场观察、处理，还可根据实际需要监控对应待判断自动扶梯，禁止待判断自动扶梯上存在超限物体时改变该自动扶梯的运行状态，保障行人及乘客的安全。

实施例2、一种用于自动扶梯上超限物体判断系统，如图4所示，包括模型构建模块100、图像处理模块200和判断模块300。

模型构建模块100，用于获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；还用于利用样本训练集和干扰样本训练集训练生成对抗网络模型；

所述模型构建模块100包括训练集获取单元110和模型构建单元120；

训练集获取单元110被配置为：

样本图像的获取方法为：采集空旷的自动扶梯的图像，获得空旷图像，对所述空旷图像进行裁剪、调整大小处理后输出对应样本图像；

干扰样本图像的获取方法为：对各样本图像进行添加噪块处理，获取与样本图像一一对应的干扰样本图像。

所述生成对抗网络模型包括生成器G和判别器D，所述模型构建单元120包括生成器构建子单元121和判别器构建子单元122：

所述生成器构建子单元121，用于构建生成器G，还用于将干扰样本训练集输入生成器G进行训练，生成器G输出与干扰样本图像相对应的重构样本图像；

所述判别器构建子单元122，用于构建判别器，还用于将样本训练集和所述重构样本图像输入判别器D进行训练，判别器D输出判别获得的真伪值，根据真伪值的准确率控制生成器进行迭代训练。

所述生成器构建子单元121采用卷积神经网络vgg16构建生成器G；所述判别器构建子单元122采用卷积神经网络vgg16构建判别器D。

图像处理模块200，用于采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；还用于将各重构图像进行平滑卷积处理获得相对应的处理图像；还用于计算相对应的重构图像和处理图像的平均绝对误差；

图像处理模块200包括重构图像输出单元210、卷积处理单元220和平均绝对误差计算单元230；

重构图像输出单元210用于采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；

卷积处理单元220用于将各重构图像进行平滑卷积处理获得相对应的处理图像；

所述平均绝对误差计算单元230用于计算相对应的重构图像和处理图像的平均绝对误差MAE，其被配置为：

计算相对应的重构图像和处理图像的平均绝对误差MAE的公式为：

其中，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。

判断模块300，计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种用于自动扶梯上超限物体判断方法，其特征在于，包括以下步骤：

获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；利用样本训练集和干扰样本训练集训练生成对抗网络模型；

采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；将各重构图像进行平滑卷积处理获得相对应的处理图像；计算相对应的重构图像和处理图像的平均绝对误差；

计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

2.根据权利要求1所述一种用于自动扶梯上超限物体判断方法，其特征在于：

所述利用样本训练集和干扰样本训练集训练生成对抗网络模型的方法为：

将干扰样本训练集输入生成器进行训练，生成器输出与干扰样本图像相对应的重构样本图像；

将样本训练集和所述重构样本图像输入判别器进行训练，判别器输出判别获得的真伪值，根据真伪值的准确率判断判别器和生成器继续进行相互竞争的迭代训练。

3.根据权利要求2所述一种用于自动扶梯上超限物体判断方法，其特征在于：

所述生成器和判别器均采用卷积神经网络vgg16。

4.根据权利要求3所述一种用于自动扶梯上超限物体判断方法，其特征在于：

样本图像的获取方法为：采集空旷的自动扶梯的图像，获得空旷图像，对所述空旷图像进行裁剪、调整大小处理后输出对应样本图像；

干扰样本图像的获取方法为：对各样本图像进行添加噪块处理，获取与样本图像一一对应的干扰样本图像。

5.根据权利要求1至4任一所述一种用于自动扶梯上超限物体判断方法，其特征在于，计算相对应的重构图像和处理图像的平均绝对误差的公式为：

其中，MAE指平均绝对误差，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。

6.一种用于自动扶梯上超限物体判断系统，其特征在于，包括：

模型构建模块，用于获取样本训练集和干扰样本训练集，样本训练集包括空旷的自动扶梯的样本图像，干扰样本训练集包括与样本图像一一对应的干扰样本图像；还用于利用样本训练集和干扰样本训练集训练生成对抗网络模型；

图像处理模块，用于采集若干张待判断自动扶梯的原始图像，并将其输入生成对抗网络模型获得相对应的重构图像；还用于将各重构图像进行平滑卷积处理获得相对应的处理图像；还用于计算相对应的重构图像和处理图像的平均绝对误差；

判断模块，用于计算平均绝对误差小于空旷阈值的原始图像占所有原始图像的比例，当所得比例大于等于验证阈值时，判定该待判断自动扶梯上不存在超限物体。

7.根据权利要求6所述一种用于自动扶梯上超限物体判断系统，其特征在于，所述模型构建模块包括训练集获取单元和模型构建单元，所述模型构建单元包括生成器构建子单元和判别器构建子单元：

所述生成器构建子单元，用于构建生成器，还用于将干扰样本训练集输入生成器进行训练，生成器输出与干扰样本图像相对应的重构样本图像；

所述判别器构建子单元，用于构建判别器，还用于将样本训练集和所述重构样本图像输入判别器进行训练，判别器输出判别获得的真伪值，根据真伪值的准确率判断判别器和生成器继续进行相互竞争的迭代训练。

8.根据权利要求7所述一种用于自动扶梯上超限物体判断系统，其特征在于：

所述生成器构建子单元采用卷积神经网络vgg16构建生成器；所述判别器构建子单元采用卷积神经网络vgg16构建判别器。

9.根据权利要求8所述一种用于自动扶梯上超限物体判断系统，其特征在于，训练集获取单元被配置为：

样本图像的获取方法为：采集空旷的自动扶梯的图像，获得空旷图像，对所述空旷图像进行裁剪、调整大小处理后输出对应样本图像；

干扰样本图像的获取方法为：对各样本图像进行添加噪块处理，获取与样本图像一一对应的干扰样本图像。

10.根据权利要求6至9任一所述一种用于自动扶梯上超限物体判断系统，其特征在于，图像处理模块包括重构图像输出单元、卷积处理单元和平均绝对误差计算单元，所述平均绝对误差计算单元被配置为：

计算相对应的重构图像和处理图像的平均绝对误差的公式为：

其中，MAE表示平均绝对误差，n表示原始图像的数量，即，相应的重构图像或处理图像数量，N_p(i)表示第n张重构图像中第i个像素点，N_r(i)表示第n张处理图像中第i个像素点。