CN110939351A - 一种视觉智控门控制方法及视觉智控门 - Google Patents

一种视觉智控门控制方法及视觉智控门 Download PDF

Info

Publication number
CN110939351A
CN110939351A CN201911027360.XA CN201911027360A CN110939351A CN 110939351 A CN110939351 A CN 110939351A CN 201911027360 A CN201911027360 A CN 201911027360A CN 110939351 A CN110939351 A CN 110939351A
Authority
CN
China
Prior art keywords
door
centroid
camera
tracking
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911027360.XA
Other languages
English (en)
Inventor
周健
金昊松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youchuangjia Dalian Technology Co Ltd
Original Assignee
Youchuangjia Dalian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youchuangjia Dalian Technology Co Ltd filed Critical Youchuangjia Dalian Technology Co Ltd
Priority to CN201911027360.XA priority Critical patent/CN110939351A/zh
Publication of CN110939351A publication Critical patent/CN110939351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Power-Operated Mechanisms For Wings (AREA)

Abstract

一种视觉智控门控制方法：用两个摄像机对门前检测区域的所有移动物体进行实时监测识别。智能算法嵌入式主板检测物体做正向推理预测。物体类型识别，系统根据跟踪对象的运动方向来推理预测跟踪物体是否要通过或者离开此对开自动门，并根据跟踪对象的数量向驱动电路板发出开门或者关门控制指令一种视觉智控门，为使用上述控制方法的智控门。使用多层人工神经网络对识别对象进行特征提取与识别，在开启和关闭操作中能够灵活控制开启范围，而不是全开全关，降低资源消耗。可以配合物体运动调整门的开启，提高通过率的同时降低安全事故风险。

Description

一种视觉智控门控制方法及视觉智控门
技术领域
本发明属于智能控制装置领域，特别涉及一种视觉智控门控制方法及视觉智控门。
背景技术
现有自动门技术主要依赖压力传感器：①脚踏板式：在踏板之下装有压力开关，②用手按类似开关的按钮使门扇打开。③光电束式：在门的附近设置光束发射装置和光电传感装置，但是这些技术只能解决何时开门，无法精准控制门的开启程度等问题。特别在工厂、仓库等大型场地的平开门上的控制效率较低、无反馈。(即便一个人，门也自动开到最大，很长时间后才关门，并且现在也没有如何在自控门装置上实现连续跟踪一个人并始终保持不会混淆的设计思路)。
发明内容
本发明的一个目的是提供一种视觉智控门控制方法，本发明的另一个目的是提供实现控制方法的视觉智控门，采用智能图像识别技术，通过摄像设备实时识别进门人员的数量精确判断门的开度和关门时间。
采用的技术方案是：
一种视觉智控门控制方法：包括下列步骤：
第一摄像机、第二摄像机在门前两侧划定门前第一检测区域和门前第二检测区域，并对所述的门前第一检测区域和门前第二检测区域内的所有移动物体进行实时监测识别。
智能算法嵌入式主板接收第一摄像机和第二摄像机传输来的实时图像，通过深度学习算法对回传的图像做实时解析，对检测物体做正向推理预测。
系统进行物体类型识别，会对检测物体标记为跟踪对象，记录对象的位置信息和特征信息。当检测物体在连续的图像中运动时，系统会对每一个跟踪对象的位置变化情况进行对象跟踪并做分析预测，从而计算物体的移动方向。
系统根据跟踪对象的运动方向来推理预测跟踪物体是否要通过或者离开此对开自动门，并根据跟踪对象的数量向驱动电路板发出开门或者关门控制指令，控制指令发送包括开门的开度，至机械控制装置。
一种视觉智控门，包括对开自动门。
第一摄像机和第二摄像机分别设置在对开自动门的两侧部。
第一摄像机的数据输出端连接智能算法嵌入式主板的第一通用摄像机接口。
第二摄像机的数据输出端连接智能算法嵌入式主板的第二通用摄像机接口。
智能算法嵌入式主板通过GPIO接口连接驱动电路板的输入接口。
驱动电路板的输出接口连接机械控制装置的输入端。
本发明主要技术采用机器视觉算法与智能计算芯片(智能算法嵌入式主板)，机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。智能计算芯片是专门处理人工智能应用中的大量计算任务，具有较低的功耗以及强大的计算能力。
其优点在于：
本发明采用深度学习的机器视觉算法，使用多层人工神经网络对识别对象进行特征提取与识别，并通过大量样本的训练，使机器能够识别任何人类可视的物体。为了满足机器学习所带来的大量计算，本发明采用目前最先进的带智能计算芯片的智能算法嵌入式主板，具备472千兆浮点运算能力(即，每秒十亿次浮点运算)，同时功耗仅5瓦。不仅满足本发明的实时计算需求，还保障了设备工作功耗的环保需求。
在开启和关闭操作中能够灵活控制开启范围，而不是全开全关，降低资源消耗。可以配合物体运动调整门的开启，提高通过率的同时降低安全事故风险。
由于采用智能识别技术，如果需要对门的通过流量进行统计分析也是很方便的，只需通过网络与本智控门建立连接，就可以远程完成智控门的流通数据采集，为后续的大数据分析收集原始数据(如商场客流量分析等)。
质心跟踪算法来实现监测对象的运动跟踪可以根据质心判断连续运动的同一跟踪对象，从而实现目标的追踪以及轨迹推算。
能有效智能的节约自动门内外的空气流通，从而降低能源的损耗，还能够提供实时的识别与监控。包括识别运动物体类型、运动方向和路线追踪。
附图说明
图1为系统结构图。
图2为系统流程图。
图3为卷积神经网络结构图。
图4为标准卷积层结构与MobileNets深度可分解卷积结构对比。
图5为质心跟踪法步骤一的示意图。
图6为质心跟踪法步骤二的示意图。
图7为质心跟踪法步骤三的示意图。
图8为系统结构简图。
图9为驱动电路板的第一驱动电路部分的电路图。
图10为驱动电路板的第二驱动电路部分的电路图。
图11为驱动电路板的第三驱动电路部分的电路图。
图12为霍尔元件的电路图。
图13为驱动电路板的插座组件部分的电路图。
第一摄像机1、第二摄像机2、智能算法嵌入式主板3、驱动电路板4、机械控制装置5、对开自动门6、云端7、本地局域网的设备8、门前第一检测区域9、门前第二检测区域10、远程智能控制系统11。
具体实施方式
一种视觉智控门控制方法：
第一摄像机1、第二摄像机2在门前两侧划定门前第一检测区域9和门前第二检测区域10(自动检测区域)，并对所述的这两个区域内的所有移动物体进行实时监测识别。
智能算法嵌入式主板3接收第一摄像机1和第二摄像机2传输来的实时高清图像，通过深度学习算法对回传的图像做实时解析，并通过预先训练好的特征模型对检测物体做正向推理预测。
系统进行物体类型识别，即识别出要检测的物体特征(如：行人)后，会对检测物体标记为跟踪对象，记录对象的位置信息、特征信息。当检测物体在连续的图像中运动时，系统会对每一个跟踪对象的位置变化情况进行对象跟踪并做分析预测，从而计算物体的移动方向。
系统根据跟踪对象的运动方向来推理预测跟踪物体是否要通过或者离开此对开自动门6，并根据跟踪对象的数量向驱动电路板4发出开门或者关门控制指令(控制指令发送)，控制指令发送包括开门的开度，至机械控制装置5，机械控制装置5的步进电机(三相步进电机)实现开门或者关门以配合跟踪对象顺利通过此门。
还有远程智能控制系统11，用于对智控门进行初始化参数管理、智控门实时监控、智控门通过量统计分析和智控门远程控制等，远程智能控制系统可同时监控与管理多个智控门设备。
其中系统流程关键环节说明：
(1)物体类型识别：
物体识别作为本系统中最关键的技术，为了保障智控门的识别准确率和稳定性，采用目前世界最主流的神经网络算法，卷积神经网络。卷积神经网络 (ConvolutionalNeural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。
关键数学公式：
Figure RE-GDA0002376647570000031
说明：卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。
卷积神经网络结构图如图3。
本系统由于使用的智能算法嵌入式主板3，为了满足智控门对运动物体的识别效率以及有限的硬件资源，采用Google针对嵌入式设备提出的一种轻量级的深层神经网络模型MobileNets作为构建智控门神经网络的基础模型。 MobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。通过引入两个简单的全局超参数(延迟度和准确度)，在延迟度和准确度之间有效地进行平衡。这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。
MobileNets模型基于深度可分解的卷积，它可以将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核)。深度卷积将每个卷积核应用到每一个通道，而1×1卷积用来组合通道卷积的输出。这种分解可以有效减少计算量，降低模型大小。
标准卷积层结构与MobileNets深度可分解卷积结构对比如图4。
MobileNets的计算量分布情况如下表1：
Type Mul t-Adds Parameters
Conv 1×1 94.86％ 74.59％
Conv DW 3×3 3.06％ 1.06％
Conv 3×3 1.19％ 0.02％
Fully Connected 0.18％ 24.33％
说明：整个计算量基本集中在1x1卷积上，卷积一般通过一种im2col方式实现，其需要内存重组，但是当卷积核为1x1时，就不需要这种操作了，底层可以有更快的实现。对于参数也主要集中在1x1卷积，除此之外还有就是全连接层占了一部分参数。
(2)对象跟踪：
监测对象跟踪也是系统关键技术之一，因为智控门不仅要完成目标对象的识别工作，还要能够对目标对象进行跟踪，实时计算其运动轨迹，以判断被监测对象是否要进入此门。为了解决这个关键技术问题，本技术方案设计了一套“质心跟踪算法”来实现监测对象的运动跟踪。质心跟踪算法的工作原理是根据视频每一帧中的监测对象的边界坐标计算质心(即物体中心点坐标)，然后计算后续每一帧中的目标质心与已经有的质心之间的欧几里德距离，具有最小欧几里德距离的质心视为连续运动的同一跟踪对象，从而实现目标的追踪以及轨迹推算。
关键数学公式：
Figure RE-GDA0002376647570000041
其电ρ为点(x2，y2)与点(x1，y1)之间的欧氏距离 |X|为点(x2，y2)到原点的欧氏距离。
上述的对象跟踪主要步骤如下：
步骤1：根据识别物体的边界坐标计算质心位置，将跟踪对象的质心数据保存在内存中，以便后续帧计算对比使用，如图5所示。
图5中每个人分配一个ID，并且在整个过程中，此人的ID始终不变。
步骤2：在后续帧中，计算跟踪对象新边界坐标的质心所在位置，并计算新质心与内存中已有质心之间的欧几里德距离，根据欧几里德距离最小的质心视为连续运动的同一对象，并更新内存中此对象的位置信息。如图6所示。
例如ID#1(第一个人)走向远离门、平行门或者朝向门。ID#2(第二个人) 走向远离门、平行门或者朝向门。
步骤3：当有新的对象出现在后续帧中，且根据欧几里德距离无法找到相关联的原有跟踪对象，那么将这个对象视为新对象，为其分配新的唯一ID保存在内存中。如图7所示的ID#？，可将其编号为ID#3。
步骤4：当跟踪对象离开第一摄像机1前方的门前第一检测区域9或者第二摄像机2前方的门前第二检测区域10(消失或离开视野)，那么会将此对象从跟踪队列中删除。
(3)控制指令发送：
当智能算法完成以上识别工作之后，将识别结果转换成本智控门的控制指令，通过驱动电路板4、霍尔元件、驱动机械控制装置5带动开门机械装置完成对对开自动门6的最终控制操作。
(4)智能控制系统：
远程智能控制系统11(云端7和本地局域网的设备8)主要负责对智控门的远程管理与控制，基于B/S架构，可部署在本地局域网的独立服务器上，也可以部署在云端7虚拟环境中。远程智能控制系统11功能包括：智控门初始化参数管理、智控门实时监控、智控门通过量统计分析和智控门远程控制等，远程智能控制系统11可同时监控与管理多个智控门设备。
一种视觉智控门：包括对开自动门6、第一摄像机1、第二摄像机2、智能算法嵌入式主板3、驱动电路板4和机械控制装置5。
第一摄像机1和第二摄像机2分别设置在对开自动门6的两侧顶部。
第一摄像机1的数据输出端连接智能算法嵌入式主板3的第一通用摄像机接口。
第二摄像机2的数据输出端连接智能算法嵌入式主板3的第二通用摄像机接口。
智能算法嵌入式主板3通过GPIO接口连接驱动电路板4的输入接口。
驱动电路板4的输出接口连接机械控制装置5(三相步进电机)的输入端。
三相步进电机的输出轴连接开门机械装置的动力输入部分。
智能算法嵌入式主板3通过网口连接云端7。
或者，智能算法嵌入式主板3也可以无线连接云端7。
云端7可以通过网口有线或者无线连接本地局域网的设备8(电脑)。
云端7也可以无线连接本地局域网的设备8(手机或平板电脑)。
对开自动门6、对开自动门6上的开门机械装置及机械控制装置5(三相步进电机)为已知技术。
云端7和本地局域网的设备8都属于远程智能控制系统11的一部分。
所述的驱动电路板4可以采用以下原理的电路，具体包括：第一驱动电路部分、第二驱动电路部分和第三驱动电路部分。
第一驱动电路部分包括：
VCC连接芯片IC1的1号脚。
VCC通过二极管D3连接芯片IC1的8号脚，二极管D3的负端连接芯片IC1 的8号脚。
芯片IC1的6号脚通过电容C2连接芯片IC1的8号脚。
芯片IC1的7号脚连接二极管D2的负端，同时芯片IC1的7号脚还连接电阻R4的一端。
芯片IC1的2号脚连接三极管Q3的集电极。
芯片IC1的3号脚接地。
芯片IC1的4号脚连接二极管D1的负端，芯片IC1的4号脚还连接电阻R2 的一端。
二极管D2的正端和电阻R4的另一端共同连接场效应管Q2的栅极。
场效应管Q2的漏极连接插座J5的1号脚。
场效应管Q2的源极通过电阻R3连接场效应管Q2的栅极。
二极管D1的正端和电阻R2的另一端共同连接场效应管Q1的栅极。
场效应管Q1的栅极通过电阻R1接地，场效应管Q1的源极接地。
场效应管Q1的漏极还同时连接场效应管Q2的源极。
三极管Q3的集电极还通过电阻R5连接VCC。
三极管Q3的发射极接地。
VCC同时通过电容C1接地。
第二驱动电路部分：
VCC连接芯片IC2的1号脚。
VCC通过二极管D23连接芯片IC2的8号脚，二极管D23的负端连接芯片IC2 的8号脚。
芯片IC2的6号脚通过电容C22连接芯片IC2的8号脚。
芯片IC2的7号脚连接二极管D22的负端，同时芯片IC2的7号脚还连接电阻R24的一端。
芯片IC2的2号脚连接三极管Q6的集电极。
芯片IC2的3号脚接地。
芯片IC2的4号脚连接二极管D21的负端，芯片IC2的4号脚还连接电阻 R22的一端。
二极管D22的正端和电阻R24的另一端共同连接场效应管Q5的栅极。
场效应管Q5的漏极连接插座J5的1号脚。
场效应管Q5的源极通过电阻R23连接场效应管Q5的栅极。
二极管D21的正端和电阻R22的另一端共同连接场效应管Q4的栅极。
场效应管Q4的栅极通过电阻R21接地，场效应管Q4的源极接地。
场效应管Q4的漏极还同时连接场效应管Q5的源极。
三极管Q6的集电极还通过电阻R25连接VCC。
三极管Q6的发射极接地。
VCC同时通过电容C21接地。
第三驱动电路部分包括：
VCC连接芯片IC3的1号脚。
VCC通过二极管D33连接芯片IC3的8号脚，二极管D33的负端连接芯片IC3 的8号脚。
芯片IC3的6号脚通过电容C32连接芯片IC3的8号脚。
芯片IC3的7号脚连接二极管D32的负端，同时芯片IC3的7号脚还连接电阻R34的一端。
芯片IC3的2号脚连接三极管Q9的集电极。
芯片IC3的3号脚接地。
芯片IC3的4号脚连接二极管D31的负端，芯片IC3的4号脚还连接电阻 R32的一端。
二极管D32的正端和电阻R34的另一端共同连接场效应管Q8的栅极。
场效应管Q8的漏极连接插座J5的1号脚。
场效应管Q8的源极通过电阻R33连接场效应管Q8的栅极。
二极管D31的正端和电阻R32的另一端共同连接场效应管Q7的栅极。
场效应管Q7的栅极通过电阻R31接地，场效应管Q7的源极接地。
场效应管Q7的漏极还同时连接场效应管Q8的源极。
三极管Q9的集电极还通过电阻R35连接VCC。
三极管Q9的发射极接地。
VCC同时通过电容C31接地。
霍尔元件部分：
第一部分：
电阻R41一端和电阻R42一端串联之间引出线(CHENG1)连接插座J2的4 号脚。
电阻R42另一端接地。
电阻R41另一端连接电阻R40一端，电阻R40此端同时连接电容C41一端，电容C41此端引出线(CHENG)连接插座J1的5号脚。
电阻R40另一端接VCC。
电容C41另一端接地。
第二部分：
电阻R51一端和电阻R52一端串联之间引出线(ZHONG1)连接插座J2的5 号脚。
电阻R51另一端连接电阻R50一端，电阻R50此端同时连接电容C51一端，电容C51此端引出线(ZHONG)连接插座J1的4号脚。
电阻R50另一端接VCC。
电容C51另一端接地。
第三部分：
电阻R61一端和电阻R62一端串联之间引出线(RED1)连接插座J2的6号脚。
电阻R62另一端接地。
电阻R61另一端连接电阻R60一端，电阻R60此端同时连接电容C61一端，电容C61此端引出线(RED)连接J1的10号脚。
电阻R60另一端接VCC。
电容C61另一端接地。
插座组件部分：
插座J2用于连接GPIO。
插座J2的1号脚连接三极管Q3的基极。
插座J2的2号脚连接三极管Q6的基极。
插座J2的3号脚连接三极管Q9的基极。
插座J1用于连接步进电机。
插座J1的8号脚连接场效应管Q1的漏极，插座J1的8号脚还连接芯片IC1 的6号脚。
插座J1的1号脚连接场效应管Q4的漏极，插座J1的8号脚还连接芯片IC2 的6号脚。
插座J1的6号脚连接场效应管Q7的漏极，插座J1的8号脚还连接芯片IC3 的6号脚。
插座J1的9号脚连接插座J4的1号脚。
插座J3用于在外部连接220V交流电源。
插座J1的3号脚接地。
插座J4的2号脚接地。
插座J5的2号脚接地。
插座J2的7号脚和8号脚接地。
驱动电路板4的输入接口为：插座J2。
驱动电路板4的输出接口为：插座J1。
前面所述的连接VCC均为连接插座J4的1号脚。
霍尔元件部分设置在步进电机的骨架内，用于检测三相步进电机是否正传运转，如果没有按照信号运转，说明可能遇到门缝之间的人或者物体，需要三相步进电机立刻倒转，防止伤到人或者损坏物体。
Q1、Q2、Q4、Q5、Q7和Q8型号均为：FK14KM。
Q3、Q6和Q9型号均为：S8550。
IC1、IC2和IC3型号均为IR2111S。
智能算法嵌入式主板3型号为英伟达JETSON NANO。
电路工作原理为：
插座J6用于与插座J3的引线连接，插座J6设置在电源模块输入端上，所述的电源模块为已知技术。
插座J4和插座J5分别连接电源模块的两个输出端，插座J4输出VCC (10-15V，DC)，插座J5输出给步进电机的供电(DC)。
以下以第一驱动电路部分为例解释说明，第二和第三驱动电路部分相同。
VCC是给IC1(IR2111S)供电的电源，15V为最佳，若VCC降低至10V，IR2111S 也能工作。
IN1是控制信号的输入端，输入等效电阻很高，属于高阻状态，可直接连接微处理器(JETSON NANO板的GPIO端子)控制的Q1(s8550)三极管发出的信号，逻辑输入信号与cmos电平兼容，在VCC是15伏时，0-6v的电压为逻辑 0，6.4-15v的电压为逻辑1。
输入端电压为逻辑1时，IC1输出端HO(7号脚)输出高电平，驱动Q2，输出端LO(4号脚)输出低电平，关闭Q1。电流走向从P(310V直流正极)至Q2(场效应管)至MOTOR1(三相步进电机的一个线圈)至GND(310V直流负极)。
输入端电压为逻辑0时，情况正好相反，电流走向从MOTOR1(三相步进电机线圈)里的电感电能至GND，属于快速消磁的过程。
IC1内部设置了650ns的死区时间，可防止Q2和Q1直接导通造成短路事故。

Claims (5)

1.一种视觉智控门控制方法：其特征在于包括下列步骤：
第一摄像机(1)、第二摄像机(2)在门前两侧划定门前第一检测区域(9)和门前第二检测区域(10)，并对所述的门前第一检测区域(9)和门前第二检测区域(10)内的所有移动物体进行实时监测识别；
智能算法嵌入式主板(3)接收第一摄像机(1)和第二摄像机(2)传输来的实时图像，通过深度学习算法对回传的图像做实时解析，对检测物体做正向推理预测；
系统进行物体类型识别，会对检测物体标记为跟踪对象，记录对象的位置信息和特征信息；当检测物体在连续的图像中运动时，系统会对每一个跟踪对象的位置变化情况进行对象跟踪并做分析预测，从而计算物体的移动方向；
系统根据跟踪对象的运动方向来推理预测跟踪物体是否要通过或者离开此对开自动门(6)，并根据跟踪对象的数量向驱动电路板(4)发出开门或者关门控制指令，控制指令发送包括开门的开度，至机械控制装置(5)。
2.根据权利要求1所述的一种视觉智控门控制方法：其特征在于包括下列步骤：物体类型识别作采用卷积神经网络；
采用深层神经网络模型MobileNets作为构建智控门神经网络的基础模型；通过引入全局超参数，在延迟度和准确度之间有效地进行平衡。
3.根据权利要求1所述的一种视觉智控门控制方法：其特征在于包括下列步骤：对象跟踪采用质心跟踪算法来实现监测对象的运动跟踪；质心跟踪算法的工作原理是根据视频每一帧中的监测对象的边界坐标计算质心，然后计算后续每一帧中的目标质心与已经有的质心之间的欧几里德距离，具有最小欧几里德距离的质心视为连续运动的同一跟踪对象，从而实现目标的追踪以及轨迹推算。
4.根据权利要求3所述的一种视觉智控门控制方法：其特征在于包括下列步骤：质心跟踪算法主要步骤如下：
步骤1：根据识别物体的边界坐标计算质心位置，将跟踪对象的质心数据保存在内存中，以便后续帧计算对比使用；
步骤2：在后续帧中，计算跟踪对象新边界坐标的质心所在位置，并计算新质心与内存中已有质心之间的欧几里德距离，根据欧几里德距离最小的质心视为连续运动的同一对象，并更新内存中此对象的位置信息；
步骤3：当有新的对象出现在后续帧中，且根据欧几里德距离无法找到相关联的原有跟踪对象，那么将这个对象视为新对象，为其分配新的唯一ID保存在内存中；
步骤4：当跟踪对象离开第一摄像机(1)前方的门前第一检测区域(9)或者第二摄像机(2)前方的门前第二检测区域(10)，那么会将此对象从跟踪队列中删除。
5.一种视觉智控门，包括对开自动门(6)，其特征在于：
第一摄像机(1)和第二摄像机(2)分别设置在对开自动门(6)的两侧；
第一摄像机(1)的数据输出端连接智能算法嵌入式主板(3)的第一通用摄像机接口；
第二摄像机(2)的数据输出端连接智能算法嵌入式主板(3)的第二通用摄像机接口；
智能算法嵌入式主板(3)通过GPIO接口连接驱动电路板(4)的输入接口；
驱动电路板(4)的输出接口连接机械控制装置(5)的输入端。
CN201911027360.XA 2019-10-28 2019-10-28 一种视觉智控门控制方法及视觉智控门 Pending CN110939351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911027360.XA CN110939351A (zh) 2019-10-28 2019-10-28 一种视觉智控门控制方法及视觉智控门

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911027360.XA CN110939351A (zh) 2019-10-28 2019-10-28 一种视觉智控门控制方法及视觉智控门

Publications (1)

Publication Number Publication Date
CN110939351A true CN110939351A (zh) 2020-03-31

Family

ID=69906222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911027360.XA Pending CN110939351A (zh) 2019-10-28 2019-10-28 一种视觉智控门控制方法及视觉智控门

Country Status (1)

Country Link
CN (1) CN110939351A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112412242A (zh) * 2020-11-20 2021-02-26 福建师范大学 基于双目立体视觉的自动门控制和防夹系统及其方法
CN113027284A (zh) * 2021-03-22 2021-06-25 重庆市智可智能设备有限公司 一种车库设备控制方法、装置、设备及可读存储介质
CN113294052A (zh) * 2021-05-25 2021-08-24 上海趣时信息技术有限公司 防夹控制方法、装置、电子设备以及存储介质
CN114382373A (zh) * 2021-12-31 2022-04-22 北京瞰瞰智能科技有限公司 基于tof识别的智能车门开启方法、控制模组及车辆
CN116006050A (zh) * 2023-02-20 2023-04-25 江苏明川四福智能科技股份有限公司 一种自动门节能控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012140A2 (en) * 2002-07-30 2004-02-05 Mitsubishi Denki Kabushiki Kaisha Method and system for classifying object in scene
CN101169020A (zh) * 2006-10-27 2008-04-30 上海市上海中学 基于视觉技术的自动门
CN102747919A (zh) * 2012-06-18 2012-10-24 浙江工业大学 基于全方位计算机视觉的人行自动门安全和节能控制装置
CN204418974U (zh) * 2015-01-30 2015-06-24 哈尔滨市凯达木业有限公司 智能门装置
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108875902A (zh) * 2017-12-04 2018-11-23 北京旷视科技有限公司 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质
CN109035808A (zh) * 2018-07-20 2018-12-18 上海斐讯数据通信技术有限公司 一种基于深度学习的红绿灯切换方法及系统
US10173625B2 (en) * 2016-06-28 2019-01-08 Ford Global Technologies, Llc Detecting hazards in anticipation of opening vehicle doors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004012140A2 (en) * 2002-07-30 2004-02-05 Mitsubishi Denki Kabushiki Kaisha Method and system for classifying object in scene
CN101169020A (zh) * 2006-10-27 2008-04-30 上海市上海中学 基于视觉技术的自动门
CN102747919A (zh) * 2012-06-18 2012-10-24 浙江工业大学 基于全方位计算机视觉的人行自动门安全和节能控制装置
CN204418974U (zh) * 2015-01-30 2015-06-24 哈尔滨市凯达木业有限公司 智能门装置
US10173625B2 (en) * 2016-06-28 2019-01-08 Ford Global Technologies, Llc Detecting hazards in anticipation of opening vehicle doors
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108875902A (zh) * 2017-12-04 2018-11-23 北京旷视科技有限公司 神经网络训练方法及装置、车辆检测估计方法及装置、存储介质
CN109035808A (zh) * 2018-07-20 2018-12-18 上海斐讯数据通信技术有限公司 一种基于深度学习的红绿灯切换方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112412242A (zh) * 2020-11-20 2021-02-26 福建师范大学 基于双目立体视觉的自动门控制和防夹系统及其方法
CN113027284A (zh) * 2021-03-22 2021-06-25 重庆市智可智能设备有限公司 一种车库设备控制方法、装置、设备及可读存储介质
CN113294052A (zh) * 2021-05-25 2021-08-24 上海趣时信息技术有限公司 防夹控制方法、装置、电子设备以及存储介质
CN114382373A (zh) * 2021-12-31 2022-04-22 北京瞰瞰智能科技有限公司 基于tof识别的智能车门开启方法、控制模组及车辆
CN116006050A (zh) * 2023-02-20 2023-04-25 江苏明川四福智能科技股份有限公司 一种自动门节能控制方法
CN116006050B (zh) * 2023-02-20 2023-10-27 江苏明川四福智能科技股份有限公司 一种自动门节能控制方法

Similar Documents

Publication Publication Date Title
CN110939351A (zh) 一种视觉智控门控制方法及视觉智控门
Cebollada et al. A state-of-the-art review on mobile robotics tasks using artificial intelligence and visual data
Craye et al. Spatio-temporal semantic segmentation for drone detection
AU2017233723B2 (en) System and method for training object classifier by machine learning
Molchanov et al. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural network
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
US20150339589A1 (en) Apparatus and methods for training robots utilizing gaze-based saliency maps
Natarajan et al. Hand gesture controlled drones: An open source library
Gupta et al. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural networks
Hsu et al. Learning to tell brake and turn signals in videos using cnn-lstm structure
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN105260715A (zh) 面向偏僻地段的小动物目标检测方法
CN105931276A (zh) 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN111708042A (zh) 一种行人轨迹预测和跟随的机器人方法及系统
Kirkland et al. SpikeSEG: Spiking segmentation via STDP saliency mapping
Manglik et al. Future near-collision prediction from monocular video: Feasibility, dataset, and challenges
Lai et al. Intelligent vehicle collision-avoidance system with deep learning
Saif et al. Crowd density estimation from autonomous drones using deep learning: challenges and applications
CN106056718A (zh) 一种智能驱动控制系统
Benezeth et al. A real time human detection system based on far infrared vision
Hossain et al. Object recognition and robot grasping: A deep learning based approach
Perez-Cutino et al. Event-based human intrusion detection in UAS using deep learning
CN116359846A (zh) 一种基于联合学习的动态毫米波雷达点云人体解析方法
Pratama et al. Frame rate optimization in traffic sign detection
Kushwaha et al. Rule based human activity recognition for surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200331

RJ01 Rejection of invention patent application after publication