CN116591575A - 基于机器视觉的旋转门安全控制方法及系统 - Google Patents

Abstract

本申请涉及旋转门控制领域，尤其涉及一种基于机器视觉的旋转门安全控制方法及系统，方法包括：采集旋转门的内部图像序列和外部图像序列；将所述内部图像序列的图像帧划分为多个内部子区域；计算每个内部子区域的人员密度、人员移动角速度、人员与前后相邻旋转门翼的第一距离和第二距离；基于人员密度的最大值确定初始转速；计算外部图像序列中所有人员的速度序列以确定目标人员，并预测目标人员的到达时间和到达位置；基于初始转速、目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定目标旋转加速度以控制旋转门转动。本申请可提高旋转门的安全性能。

Description

基于机器视觉的旋转门安全控制方法及系统

技术领域

本申请一般地涉及旋转门控制领域，尤其涉及一种基于机器视觉的旋转门安全控制方法及系统。

背景技术

旋转门常常分为两翼、三翼和四翼自动旋转门。旋转门向外保持打开状态的同时，向内处于关闭的状态，能够有效避免室外的风进入室内，进而避免在高层建筑内产生回流现象，可有效节省冷暖气的使用，被广泛应用在宾馆、饭店等公共场合。

目前，在旋转门的控制过程中，通常根据不同门翼之间行人或货物的移动方向、移动速度和位置信息对旋转门进行控制，从而避免门翼碰撞行人或货物。公开号为CN107091033的专利文件公开了一种旋转门控制方法，根据移动方向、移动速度和位置信息调整旋转门的转动速度、转动方向以及不同门翼之间的相对位置。

然而，这种控制方法可以避免已经进入旋转门内部的行人或货物与门翼之间发生碰撞，但未进入旋转门内部的行人或货物在进入旋转门时，可能会因为不同门翼之间相对位置的变化，使行人或货物碰撞到门翼，进而对进入旋转门的行人或货物造成伤害，旋转门的安全性能不高。

发明内容

为了解决现有技术中的上述技术问题，本申请提供了一种基于机器视觉的旋转门安全控制方法及系统，从而提高旋转门的安全性能。

本发明提供了一种基于机器视觉的旋转门安全控制方法，所述旋转门包括固定门框和设于所述固定门框内的至少两个旋转门翼，所述至少两个旋转门翼围绕旋转中心转动，方法包括：采集旋转门的内部图像序列和外部图像序列，其中所述内部图像序列包括所述固定门框内部区域的多个图像帧，所述外部图像序列包括所述固定门框内侧和外侧区域的多个图像帧；依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域；计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离；基于所有内部子区域中的人员密度的最大值确定所述旋转门的初始转速；计算所述外部图像序列中所有人员的速度序列以确定目标人员，所述目标人员为以设定速度或设定加速度靠近所述旋转门的行人，所述速度序列为光流信息的时间序列，所述光流信息包括光流方向和光流大小；基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置，其中所述到达时间为目标人员到达旋转门所需要的时间，所述到达位置为旋转门的内左侧、内右侧、外左侧和外右侧中任意一种；响应于目标人员的数量大于0，基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度，并基于所述目标旋转加速度控制所述旋转门转动。

在一些实施例中，所述依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域包括：对于所述内部图像序列中的每个图像帧，利用霍夫直线检测得到所述图像帧中的所有直线线段，并将所有直线线段中通过所述旋转中心的直线线段作为候选线段；对比所有候选线段的长度与预设长度；响应于一个候选线段的长度等于所述预设长度，则所述候选线段为旋转门翼的顶部边缘；响应于一个候选直线的长度不等于所述预设长度，将所述直线线段删除；将任意两个相邻旋转门翼的顶部边缘之间的区域作为所述图像帧中的一个内部子区域。

在一些实施例中，计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离之前，所述方法还包括：对于内部图像序列中任意图像帧的一个内部子区域，裁剪所述图像帧以获取所述内部子区域的实时图像；将所述实时图像与所述内部子区域对应的背景图像做差，得到内部子区域的前景图，所述前景图中人员区域的像素值为1，其他区域的像素值为0；其中，所述内部子区域对应的背景图像的获取方法包括：采集无人通行状态下对应的内部图像以作为全局背景图像；依据图像帧中旋转门翼的顶部边缘对所述全局背景图像进行划分，得到每个内部子区域对应的背景图像。

在一些实施例中，所述计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离包括：计算所述内部子区域对应的前景图中像素值为1的像素点的数量占比作为所述内部子区域的人员密度；对所述前景图中的人员区域进行轮廓检测，得到多个轮廓点；计算每个轮廓点到前一个相邻旋转门翼和后一个相邻旋转门翼的距离；将所有轮廓点中到前一个相邻旋转门翼的最小距离作为第一距离，并将对应的轮廓点作为第一轮廓点；将所有轮廓点中到后一个相邻旋转门翼的最小距离作为第二距离，并将对应的轮廓点作为第二轮廓点；计算所述前景图中人员区域中心点的移动速度和中心距离的比值作为所述内部子区域内人员移动角速度，所述中心距离为所述中心点到旋转中心的距离。

在一些实施例中，所述计算所述外部图像序列中所有人员的速度序列以确定目标人员包括：对于所述外部图像序列中的任意图像帧，依据训练完毕的关键点检测网络识别所述图像帧中所有行人的脚部关键点，所述脚部关键点对应于行人的空间位置；依据光流算法计算每个中图像帧中所有脚部关键点的光流信息，所述光流信息包括光流大小和光流方向，所述光流方向用于反映所述脚部关键点对应行人的移动方向，所述光流大小用于反映所述脚部关键点对应行人的移动速度；将光流方向在预设方向范围内的行人作为候选行人；采集所有候选行人在预设时间段内光流大小的时间序列以计算对应候选行人的加速度和平均移动速度；将所述加速度大于预设加速度或平均移动速度大于设定速度的候选行人作为目标人员。

在一些实施例中，所述基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置包括：以所述空间位置为起点，沿所述光流方向绘制直线，得到与所述固定门框内部区域的交点，并基于所述交点确定目标人员的到达位置；将所述空间位置和所述交点之间的线段作为通行路线；基于所述目标人员的平均移动速度、加速度和所述通行路线计算目标人员的到达时间。

在一些实施例中，所述基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度，包括：采集旋转门的旋转角度，并构建旋转角度与每个到达位置的入口角度之间的角度映射关系；对于每个目标人员，基于所述初始转速、所述目标人员的到达时间和到达位置，以及每个内部子区域中的人员移动角速度、第一距离、第二距离构建限定条件，并求解所述限定条件以获取所述目标人员的旋转加速度区间；获取所有目标人员的旋转加速度区间的交集，并将所述交集中旋转加速度的最小值作为目标旋转加速度。

在一些实施例中，所述限定条件满足关系式：

其中，和/>分别为旋转门的最小允许旋转加速度和最大允许旋转加速度，N为所有内部子区域的数量，/>、/>、/>、/>、/>分别为内部子区域k中人员移动角速度、第一轮廓点到旋转中心的距离、第二轮廓点到旋转中心的距离、第一距离和第二距离；为目标人员i的到达时间，/>为目标人员i的到达位置对应的角度映射关系，/>为所述初始转速，/>为所述旋转角度，/>为安全入口角度。

在一些实施例中，响应于所有目标人员的旋转加速度区间的交集为空集，发生声音报警。

本发明还提供了一种基于机器视觉的旋转门安全控制系统，包括：处理器；以及存储器，其存储有基于机器视觉的旋转门安全控制的计算机指令，当所述计算机指令由所述处理器运行时，以实现执行所述一种基于机器视觉的旋转门安全控制方法。

本申请实施例提供的上述基于机器视觉的旋转门安全控制方法，当检测到有强行闯入旋转门内部的目标人员时，根据固定门框内部每一个内部子区域中的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离构建限定条件，进而确定目标旋转加速度，在保证旋转门内部人员安全的前提下，使得目标人员以安全入口角度进入到旋转门内部，保证目标人员的安全。

进一步地，由于旋转门是不断转动的，故内部图像序列的不同图像帧中旋转门翼的顶部边缘的位置不同，在计算内部子区域前景图的过程中，依据图像帧中旋转门翼的顶部边缘的位置对全局背景图像进行裁剪，可保证内部子区域的背景图像与实时图像完全对应，保证前景图的准确性。

进一步地，以人员脚部关键点作为对应行人的空间位置，并用脚部关键点的光流信息反映行人的移动方向和移动速度，可避免因相机视角引起的人员定位误差，提高目标人员检测的准确性，目标人员为强行闯入旋转门的行人。

进一步地，综合考虑目标人员的空间位置、速度方向、速度大小、以及加速度大小，可预测出目标人员准确的到达位置和到达时间，为旋转门的安全控制提供了数据基础。

进一步地，将所述交集中旋转加速度的绝对值的最小值作为目标旋转加速度，可使得旋转门以较小的变化量进行转速调节，在保障目标人员安全的同时，减小对旋转门的损伤，保证旋转门的使用寿命。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是根据本申请实施例的一种基于机器视觉的旋转门安全控制方法的流程图；

图2(a)是根据本申请实施例的包括固定门框和两个个旋转门翼的两翼旋转门的结构示意图；

图2(b)是根据本申请实施例的包括固定门框和四个旋转门翼的四翼旋转门的结构示意图；

图3(a)是根据本申请实施例的旋转门工作过程中行人在旋转门外侧的示意图；

图3(b)是根据本申请实施例的旋转门工作过程中行人在固定门框的内部区域的示意图；

图3(c)是根据本申请实施例的旋转门工作过程中行人在旋转门内侧的示意图；

图4(a)是根据本申请实施例的两个旋转门翼的两翼旋转门对应的预设方向范围的示意图；

图4(b)是根据本申请实施例的四个旋转门翼的四翼旋转门对应的预设方向范围的示意图；

图5(a) 是根据本申请实施例的包括两个旋转门翼的两翼旋转门对应的到达时间和到达位置的示意图；

图5(b) 是根据本申请实施例的包括四个旋转门翼的四翼旋转门对应的到达时间和到达位置的示意图；

图6(a)是根据本申请实施例的两翼旋转门对应的各到达位置的入口角度的示意图；

图6(b)是根据本申请实施例的四翼旋转门对应的各到达位置的入口角度的示意图；

图7是根据本申请实施例的一种基于机器视觉的旋转门安全控制系统的示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当本申请的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

本申请提供一种基于机器视觉的旋转门安全控制方法。请参阅图1所示，为本申请较佳实施方式提供的一种基于机器视觉的旋转门安全控制方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

S11，采集旋转门的内部图像序列和外部图像序列，其中所述内部图像序列包括所述固定门框内部区域的多个图像帧，所述外部图像序列包括所述固定门框内侧和外侧区域的多个图像帧。

在一个实施例中，旋转门包括固定门框和设于固定门框内的至少两个旋转门翼，且多个旋转门翼围绕着固定的旋转中心转动，通过旋转门翼的转动不断改变旋转实现旋转门的开启和关闭。

图2(a)为包括固定门框和两个个旋转门翼的两翼旋转门的结构示意图，两个旋转门翼在固定门框内部围绕旋转中心转动，固定门框朝向内侧和外侧的方向均设有固定角度的开口，且两个旋转门翼之间的相对位置固定；在旋转门翼围绕旋转中心转动的过程中，不断改变内侧和外侧的入口角度，以实现行人通行。图2(b)为包括固定门框和四个旋转门翼的四翼旋转门的结构示意图，四个旋转门翼在固定门框内部围绕旋转中心转动，固定门框朝向内侧和外侧的方向均设有固定角度的开口，四个旋转门翼之间的相对位置固定；在旋转门翼围绕旋转中心转动的过程中，不断改变内侧和外侧的入口角度，以便于行人通行。

图3(a)中的三角形表示一个想要从旋转门外侧到达旋转门内侧的任意行人，在图3(a)中行人通过旋转门翼A和旋转门翼B之间进入固定门框的内部区域，行人随着旋转门翼的转动一起移动至图3(b)所示的状态，并继续移动，直至行人移动至图3(c)的状态后，从旋转门翼A和旋转门翼B之间离开固定门框的内部区域，此时，行人从旋转门的外侧进入到旋转门的内侧。

其中，内部图像序列包括多张固定门框内部区域的俯视图，内部图像序列可反映每个旋转门翼的位置信息以及任意两个旋转门翼之间的行人信息。外部图像序列包括旋转门内侧和外侧在固定门框外部区域的多个图像帧，外部图像序列可反映旋转门内侧和外侧所有行人的运动信息。

可以理解地，内部图像序列和外部图像序列中图像帧的数量与图像采集设备的帧率有关，本申请实施例中，图像采集设备的帧率为60fps，即每秒可采集到60张图像帧。

如此，得到旋转门的内部图像序列和外部图像序列，内部图像序列可反映不同旋转门翼之间的行人信息，外部图像序列可反映旋转门内侧和外侧所有行人的运动信息。

S12，依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域。

在一个可选的实施例中，依据旋转门翼可将固定门框的内部区域划分为至少两个内部子区域，所述内部子区域为任意两个相邻的旋转门翼之间的区域。所述依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域包括：对于所述内部图像序列中的每个图像帧，利用霍夫直线检测得到所述图像帧中的所有直线线段，并将所有直线线段中通过所述旋转中心的直线线段作为候选线段；对比所有候选线段的长度与预设长度；响应于一个候选线段的长度等于所述预设长度，则所述候选线段为旋转门翼的顶部边缘；响应于一个候选直线的长度不等于所述预设长度，将所述直线线段删除；将任意两个相邻旋转门翼的顶部边缘之间的区域作为所述图像帧中的一个内部子区域。

其中，所述预设长度为旋转门翼顶部边缘的长度，所述旋转中心为一固定位置点，可直接在内部图像中指定。内部图像中的所有直线线段包括旋转门翼的边缘线和地面上的干扰直线，通过旋转中心和预设长度对所有直线线段进行两次筛选，得到准确的旋转门翼的顶部边缘。

在其他可选的实施例中，还可以在地面铺设纯色地毯等物体，避免地面上的干扰直线影响旋转门翼顶部边缘的检测，提高内部子区域划分的准确性。

S13，计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离。

在一个实施例中，在计算人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离之前，所述方法还包括：对于内部图像序列中任意图像帧的一个内部子区域，裁剪所述图像帧以获取所述内部子区域的实时图像；将所述实时图像与所述内部子区域对应的背景图像做差，得到内部子区域的前景图，所述前景图中人员区域的像素值为1，其他区域的像素值为0。

其中，所述内部子区域对应的背景图像的获取方法包括：采集无人通行状态下对应的内部图像以作为全局背景图像；依据图像帧中旋转门翼的顶部边缘对所述全局背景图像进行划分，得到每个内部子区域对应的背景图像。

在一个实施例中，所述计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离包括：计算所述内部子区域对应的前景图中像素值为1的像素点的数量占比作为所述内部子区域的人员密度；对所述前景图中的人员区域进行轮廓检测，得到多个轮廓点；计算每个轮廓点到前一个相邻旋转门翼和后一个相邻旋转门翼的距离；将所有轮廓点中到前一个相邻旋转门翼的最小距离作为第一距离，并将对应的轮廓点作为第一轮廓点；将所有轮廓点中到后一个相邻旋转门翼的最小距离作为第二距离，并将对应的轮廓点作为第二轮廓点；计算所述前景图中人员区域中心点的移动速度和中心距离的比值作为所述内部子区域内人员移动角速度，所述中心距离为所述中心点到旋转中心的距离。

其中，前景图中人员区域中心点的移动速度可依据中心点在内部图像序列的相邻两个图像帧中的位置变化获取。

可以理解地，由于旋转门是不断转动的，故内部图像序列的不同图像帧中旋转门翼的顶部边缘的位置不同。在计算内部子区域前景图的过程中，依据图像帧中旋转门翼的顶部边缘的位置对全局背景图像进行裁剪，可保证内部子区域的背景图像与实时图像完全对应，保证前景图的准确性。

其中，所述内部子区域差值图满足关系式：

其中，为内部子区域i对应的实时图像中像素点/>处的像素值，为内部子区域i对应的背景图像中像素点/>处的像素值，/>为像素值阈值，为内部子区域i的前景图中像素点/>处的像素值。其中，为了避免光照等环境因素对差值图的影响，所述像素值阈值取值为5。

如此，对于固定门框内的每一个内部子区域，均对应人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离，其中，第一距离和第二距离分别对应第一轮廓点和第二轮廓点，可全面准确地反映已经进入旋转门内部的所有行人的状态。

S14，基于所有内部子区域中的人员密度的最大值确定所述旋转门的初始转速。

在一个可选的实施例中，当所有内部子区域人员密度均为0时，为了避免电力资源的浪费，将所述初始转速设置为0；当所有内部子区域人员密度的最大值大于0时，所述初始转速与所有内部子区域人员密度的最大值呈负相关。

具体地，将所有内部子区域人员密度的最大值记为，则所述初始转速满足关系式：/>；其中，/>为旋转门所允许的最大转速，/>为设定系数，该设定系数于每个内部子区域的空间大小有关。

如此，依据每个内部子区域的人员密度确定旋转门的初始转速，在初始转速下，可保障已经进入旋转门内的所有人员安全通过旋转门。

S15，计算所述外部图像序列中所有人员的速度序列以确定目标人员，所述目标人员为以设定速度或设定加速度靠近所述旋转门的行人，所述速度序列为光流信息的时间序列，所述光流信息包括光流方向和光流大小。

在一个可选的实施例中，外部图像序列中包括想要通过旋转门的所有行人，其中，固定门框外侧对应的外部图像序列包括想要从旋转门外侧到达内侧的所有行人，固定门框内侧对应的外部图像序列包括想要从旋转门内侧到达外侧的所有行人。当行人正常通行时，可安全进入旋转门，但当行人高速或加速通过旋转门时，即行人存在强行闯入旋转门的情况，此时会存在旋转门碰撞行人的安全隐患。为了确保强行闯入旋转门的行人不被旋转门翼碰撞，需要对强行闯入旋转门的目标人员进行识别。

所述计算所述外部图像序列中所有人员的速度序列以确定目标人员包括：对于所述外部图像序列中的任意图像帧，依据训练完毕的关键点检测网络识别所述图像帧中所有行人的脚部关键点，所述脚部关键点对应于行人的空间位置；依据光流算法计算每个中图像帧中所有脚部关键点的光流信息，所述光流信息包括光流大小和光流方向，所述光流方向用于反映所述脚部关键点对应行人的移动方向，所述光流大小用于反映所述脚部关键点对应行人的移动速度；将光流方向在预设方向范围内的行人作为候选行人；采集所有候选行人在预设时间段内光流大小的时间序列以计算对应候选行人的加速度和平均移动速度；将所述加速度大于预设加速度或平均移动速度大于设定速度的候选行人作为目标人员。其中，预设时间段可为1秒。

其中，关键点检测网络可以为Openpose、CPN等任意一种现有的多人检测场景下的人体关键点检测网络，本申请不做限制；以人员脚部关键点作为对应行人的空间位置，并用脚部关键点的光流信息反映行人的移动方向和移动速度，可避免因相机视角引起的人员定位误差，提高目标人员检测的准确性。

其中，预设方向范围与固定门框朝向内侧和外侧的开口的固定角度有关；具体的，图4(a)为两个旋转门翼的两翼旋转门对应的预设方向范围的示意图，该旋转门对应的预设方向范围为；图4(b)为四个旋转门翼的四翼旋转门对应的预设方向范围的示意图，该旋转门对应的预设方向范围为/>。当光流方向落入预设方向范围时，表示对应行人有通过旋转门的意图。

其中，本申请实施例中，预设加速度和设定速度的取值分别为和/>。

如此，依据速度方向、速度大小以及加速度大小在所有行人中准确筛选出所有目标人员，目标人员为强行闯入旋转门的行人。

S16，基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置，其中所述到达时间为目标人员到达旋转门所需要的时间，所述到达位置为旋转门的内左侧、内右侧、外左侧和外右侧中任意一种。

在一个实施例中，当检测到目标人员之后，需要对旋转门进行控制，以使得存在安全隐患的目标人员可顺利进入旋转门内部。在对旋转门进行控制之前，所述基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置包括：以所述空间位置为起点，沿所述光流方向绘制直线，得到与所述固定门框内部区域的交点，并基于所述交点确定目标人员的到达位置；将所述空间位置和所述交点之间的线段作为通行路线；基于所述目标人员的平均移动速度、加速度和所述通行路线计算目标人员的到达时间。

具体地，图5(a)为包括两个旋转门翼的两翼旋转门对应的到达时间和到达位置的示意图，三角形表示一个目标人员的空间位置，沿所述光流方向绘制直线，得到与固定门框内部区域的交点，进而获取通行路线；通行路线可反映目标人员到达旋转门的距离，故依据目标人员的速度序列和通行路线可计算出目标人员的到达时间；同时，通行路线与固定门框内部区域的交点可确定到达位置，图5(a)中目标人员的到达位置为外左侧。图5(b)为包括四个旋转门翼的四翼旋转门对应的到达时间和到达位置的示意图，对5(b)中目标人员的到达位置和到达时间本申请不再赘述。

需要说明的是，在同一时刻出现目标人员的数量是有限的，具体地，即使在同一时刻出现多个目标人员，目标人员的数量也不会超过4个。当同一时刻出现多个目标人员时，每个目标人员均对应一个到达时间和到达位置。

如此，综合考虑目标人员的空间位置、速度方向、速度大小、以及加速度大小，可预测出目标人员准确的到达位置和到达时间，为旋转门的安全控制提供了数据基础。

S17，响应于目标人员的数量大于0，基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度，并基于所述目标旋转加速度控制所述旋转门转动。

在一个实施例中，所述基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度包括：采集旋转门的旋转角度，并构建旋转角度与每个到达位置的入口角度之间的角度映射关系；对于每个目标人员，基于所述初始转速、所述目标人员的到达时间和到达位置，以及每个内部子区域中的人员移动角速度、第一距离、第二距离构建限定条件，并求解所述限定条件以获取所述目标人员的旋转加速度区间；获取所有目标人员的旋转加速度区间的交集，并将所述交集中旋转加速度的绝对值的最小值作为目标旋转加速度。

其中，所述角度映射关系包括内左侧映射关系、内右侧映射关系、外左侧映射关系和外右侧映射关系。以内左侧映射关系为示例具体说明，内左侧映射关系的输入旋转角度，输出为当前旋转角度对应的内左侧入口角度；其中，可在旋转门上部署角度传感器以用于采集旋转门的旋转角度，所述旋转角度的取值范围为；各到达位置的入口角度可参见图6(a)和图6(b)，其中，图6(a)为两翼旋转门对应的各到达位置的入口角度，图6(b)为四翼旋转门对应的各到达位置的入口角度。可以理解地，角度映射关系由旋转门中旋转门翼的数量决定，即旋转门翼的数量确定后，即可直接确定对应的角度映射关系。

在一个实施例中，所述限定条件满足关系式：

其中，和/>分别为旋转门的最小允许旋转加速度和最大允许旋转加速度，N为所有内部子区域的数量，/>、/>、/>、/>、/>分别为内部子区域k中人员移动角速度、第一轮廓点到旋转中心的距离、第二轮廓点到旋转中心的距离、第一距离和第二距离；为目标人员i的到达时间，/>为目标人员i的到达位置对应的角度映射关系，/>为所述初始转速，/>为所述旋转角度，/>为安全入口角度。

其中，和/>依据旋转门的生产工艺设定，如果旋转加速度过大，会导致旋转门旋转速度出现较大的突变，进而降低旋转门的使用寿命，故/>和/>的合理设定可保证旋转门的使用寿命。可以理解地，/>，用于降低旋转门的转速，/>，用于提高旋转门的转速。

其中，为目标人员i到达旋转门时，内部子区域k中人员与后一个相邻旋转门翼之间距离的变化量，约束该变化量小于等于第一距离/>，可避免内部子区域k中的人员与后一个相邻旋转门翼之间的碰撞。同理，/>为目标人员i到达旋转门时，内部子区域k中人员与前一个相邻旋转门翼之间距离的变化量，约束该变化量小于等于第二距离/>，可避免内部子区域k中的人员与前一个相邻旋转门翼之间的碰撞。

其中，为目标人员i到达旋转门时旋转门的旋转角度，为了保证目标人员i的安全，应约束目标人员i的到达位置对应的入口角度/>大于等于安全入口角度；其中，本实施例中，安全入口角度的取值为/>。

可以理解的，将所述交集中旋转加速度的绝对值的最小值作为目标旋转加速度，可使得旋转门以较小的变化量进行转速调节，减小对旋转门的损伤，保证旋转门的使用寿命。

在一个实施例中，基于所述目标旋转加速度控制所述旋转门转动，使得所有目标人员到达旋转门时的入口角度大于或等于安全入口角度，保证所有目标人员的安全。当所有目标人员安全进入旋转门内部后，以预设旋转加速度将旋转门的旋转速度降低至所述初始转速，以便于下一次监测到目标人员时再次对旋转门进行控制。

在一个可选的实施例中，响应于所有目标人员的旋转加速度区间的交集为空集，表示无法保证所有目标人员可安全进入旋转门内部，发生声音报警以提醒目标人员减速，保证目标人员的安全。

如此，确定目标旋转加速度，所述目标旋转加速度在保障各内部子区域内行人安全的同时，保证目标人员可以安全进入旋转门内部，同时，还保证了旋转门的使用寿命。

本申请实施例提供的上述基于机器视觉的旋转门安全控制方法，当检测到有强行闯入旋转门内部的目标人员时，根据固定门框内部每一个内部子区域中的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离构建限定条件，进而确定目标旋转加速度，在保证旋转门内部人员安全的前提下，使得目标人员以安全入口角度进入到旋转门内部，保证目标人员的安全。

本申请还提供了一种基于机器视觉的旋转门安全控制系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述计算机可执行指令在被所述处理器执行时，实现根据本申请第一方面所述的旋转门安全控制方法。

图7是根据本申请实施例的基于机器视觉的旋转门安全控制系统的示意框图。所述装置40包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本申请第一方面所述的一种基于机器视觉的旋转门安全控制方法。所述装置还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。

在本申请中，前述的可读存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（ResistiveRandom Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本申请描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于机器视觉的旋转门安全控制方法，所述旋转门包括固定门框和设于所述固定门框内的至少两个旋转门翼，所述至少两个旋转门翼围绕旋转中心转动，其特征在于：

采集旋转门的内部图像序列和外部图像序列，其中所述内部图像序列包括所述固定门框内部区域的多个图像帧，所述外部图像序列包括所述固定门框内侧和外侧区域的多个图像帧；

依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域；

计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离；

基于所有内部子区域中的人员密度的最大值确定所述旋转门的初始转速；

计算所述外部图像序列中所有人员的速度序列以确定目标人员，所述目标人员为以设定速度或设定加速度靠近所述旋转门的行人，所述速度序列为光流信息的时间序列，所述光流信息包括光流方向和光流大小；

基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置，其中所述到达时间为目标人员到达旋转门所需要的时间，所述到达位置为旋转门的内左侧、内右侧、外左侧和外右侧中任意一种；

响应于目标人员的数量大于0，基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度，并基于所述目标旋转加速度控制所述旋转门转动。

2.如权利要求1所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述依据所述旋转门翼将所述内部图像序列中的每个图像帧划分为至少两个内部子区域包括：

对于所述内部图像序列中的每个图像帧，利用霍夫直线检测得到所述图像帧中的所有直线线段，并将所有直线线段中通过所述旋转中心的直线线段作为候选线段；

对比所有候选线段的长度与预设长度；

响应于一个候选线段的长度等于所述预设长度，则所述候选线段为旋转门翼的顶部边缘；

响应于一个候选直线的长度不等于所述预设长度，将所述直线线段删除；

将任意两个相邻旋转门翼的顶部边缘之间的区域作为所述图像帧中的一个内部子区域。

3.如权利要求2所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离之前，所述方法还包括：

对于内部图像序列中任意图像帧的一个内部子区域，裁剪所述图像帧以获取所述内部子区域的实时图像；

将所述实时图像与所述内部子区域对应的背景图像做差，得到内部子区域的前景图，所述前景图中人员区域的像素值为1，其他区域的像素值为0；

其中，所述内部子区域对应的背景图像的获取方法包括：采集无人通行状态下对应的内部图像以作为全局背景图像；依据图像帧中旋转门翼的顶部边缘对所述全局背景图像进行划分，得到每个内部子区域对应的背景图像。

4.如权利要求3所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述计算每个内部子区域的人员密度、人员移动角速度、人员与前一个相邻旋转门翼的第一距离以及人员与后一个相邻旋转门翼的第二距离包括：

计算所述内部子区域对应的前景图中像素值为1的像素点的数量占比作为所述内部子区域的人员密度；

对所述前景图中的人员区域进行轮廓检测，得到多个轮廓点；

计算每个轮廓点到前一个相邻旋转门翼和后一个相邻旋转门翼的距离；

将所有轮廓点中到前一个相邻旋转门翼的最小距离作为第一距离，并将对应的轮廓点作为第一轮廓点；

将所有轮廓点中到后一个相邻旋转门翼的最小距离作为第二距离，并将对应的轮廓点作为第二轮廓点；

计算所述前景图中人员区域中心点的移动速度和中心距离的比值作为所述内部子区域内人员移动角速度，所述中心距离为所述中心点到旋转中心的距离。

5.如权利要求1所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述计算所述外部图像序列中所有人员的速度序列以确定目标人员包括：

对于所述外部图像序列中的任意图像帧，依据训练完毕的关键点检测网络识别所述图像帧中所有行人的脚部关键点，所述脚部关键点对应于行人的空间位置；

依据光流算法计算每个中图像帧中所有脚部关键点的光流信息，所述光流信息包括光流大小和光流方向，所述光流方向用于反映所述脚部关键点对应行人的移动方向，所述光流大小用于反映所述脚部关键点对应行人的移动速度；

将光流方向在预设方向范围内的行人作为候选行人；

采集所有候选行人在预设时间段内光流大小的时间序列以计算对应候选行人的加速度和平均移动速度；

将所述加速度大于预设加速度或平均移动速度大于设定速度的候选行人作为目标人员。

6.如权利要求5所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述基于目标人员的速度序列和空间位置预测所述目标人员的到达时间和到达位置包括：

以所述空间位置为起点，沿所述光流方向绘制直线，得到与所述固定门框内部区域的交点，并基于所述交点确定目标人员的到达位置；

将所述空间位置和所述交点之间的线段作为通行路线；

基于所述目标人员的平均移动速度、加速度和所述通行路线计算目标人员的到达时间。

7.如权利要求4所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述基于所述初始转速、所述目标人员的到达时间和到达位置、以及每个内部子区域中的人员移动角速度、第一距离、第二距离确定所述旋转门的目标旋转加速度包括：

采集旋转门的旋转角度，并构建旋转角度与每个到达位置的入口角度之间的角度映射关系；

对于每个目标人员，基于所述初始转速、所述目标人员的到达时间和到达位置，以及每个内部子区域中的人员移动角速度、第一距离、第二距离构建限定条件，并求解所述限定条件以获取所述目标人员的旋转加速度区间；

获取所有目标人员的旋转加速度区间的交集，并将所述交集中旋转加速度的绝对值的最小值作为目标旋转加速度。

8.如权利要求7所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，所述限定条件满足关系式：

其中，和/>分别为旋转门的最小允许旋转加速度和最大允许旋转加速度，N为所有内部子区域的数量，/>、/>、/>、/>、/>分别为内部子区域k中人员移动角速度、第一轮廓点到旋转中心的距离、第二轮廓点到旋转中心的距离、第一距离和第二距离；/>为目标人员i的到达时间，/>为目标人员i的到达位置对应的角度映射关系，/>为所述初始转速，/>为所述旋转角度，/>为安全入口角度。

9.如权利要求1所述的一种基于机器视觉的旋转门安全控制方法，其特征在于，响应于所有目标人员的旋转加速度区间的交集为空集，发生声音报警。

10.一种基于机器视觉的旋转门安全控制系统，其特征在于，所述系统包括：

处理器；以及

存储器，其存储有基于机器视觉的旋转门安全控制的计算机指令，当所述计算机指令由所述处理器运行时，以实现执行根据权利要求1-9的任意一项所述的旋转门安全控制方法。