CN102747919A - 基于全方位计算机视觉的人行自动门安全和节能控制装置 - Google Patents

Abstract

一种基于全方位计算机视觉的人行自动门安全和节能控制装置，包括用于获取自动门周围全景视频信息的具有网络接口无死角的全方位视觉传感器、用于检测自动门状态和行人行为的微处理器、用于控制自动门开闭或者转动的控制器、用于进行安全提示的语音播放器和用于建筑开口部位的人员通行的自动门；ODVS通过网络与微处理器连接，微处理器与控制器连接，控制器控制自动门电机的动作，语音播放器通过语音接口与微处理器连接；ODVS安置在自动门顶部的中间。本发明通过对行人的行为分析，根据行人的行为意愿自动控制自动门的开启；根据行人和自动门的状态避免自动门“轧人”等安全事故的发生，实现了自动门安全性、节能性和舒适性控制的高度融合。

Description

基于全方位计算机视觉的人行自动门安全和节能控制装置

技术领域

本发明属于全方位视觉传感器、数字图像处理、自动控制等技术在人行自动门的安全、节能和舒适等方面的应用。

背景技术

人行自动门包括推拉、平开、折叠、旋转等形式。自动门因使用方便、外形美观、有利于建筑节能等优点被广泛应用于办公大楼、店面、银行、酒店等建筑物的出入口，主要用于建筑开口部位的人员通行。按照旋转门的功能，其开启部位可以实现允许和禁止人员出入。实现过程是采用机械的方式，目前尽管在旋转门产品的设计、加工、安装及使用过程中已经采用了各种安全措施，但是仍然在使用过程中存在一定的风险和安全隐患。随着旋转自动门的日益普及，其中的安全隐患问题也逐渐暴露出来。近年来旋转自动门在世界各地已经发生了很多安全事故，造成了惨不忍睹的人员伤亡和巨大的经济损失。其中人员伤亡主要集中在老人和小孩。因此人行自动门的设计、施工和运维等整个产品生命周期中都需要以安全性、节能性和舒适性为设计理念和管理目标，其中安全性必须是第一位的。

当今控制自动门开启的主要是通过人体感应传感器感知到自动门附近有人体存在，然后通过这个感知信号输出给驱动单元控制自动门的电机动作；目前作为人体感知技术主要有：红外线感应器和微波传感器。在自动门的顶部和腰部装有红外线感应器，用于感知自动门的附近区域是否存在着物体，只要物体处于传感器的扫描范围内，它都会反应即传出触点信号，启动电机的动作；在安全性方面，这种感知方式不但存在一定的感知死角，并且都是针对成年人设计的，难以检测到在自动门附近小孩存在，因此存在着较大的安全隐患；在节能方面，红外传感器对感知区域内存在的物体都进行感知，路过自动门的行人也会误触发开启自动门；微波传感器是对物体的位移进行感知的传感器，特点是反应速度快，适用于行走速度正常的人员通过的场所，但只能对移动的物体进行判断，对于速度较低或相对静止的人体的识别率并不理想，这种感知方式也存在着一定的感知死角。

近年来，关于旋转自动门的安全隐患，其“伤人”、“扎死人”等安全事故频频发生，轻者将人撞倒、夹伤，更严重者危及生命安全。其主要原因是：现有的自动门传感装置获取的信息量较少，只能在人进入自动门之前进行检测，而且是针对成年人设计的，因此在人经过自动门的过程中和人通过自动门之后都无法进行检测；同时这类传感器检测内容单一，随着智能建筑技术的发展，人们对于自动门的准确性、安全性及智能化方面有了更高的要求。

中国发明专利申请号为200610074732.0公开了一种包括红外传感器和微波传感器两种不同传感器的自动门传感装置，尝试通过组合信号来检测由传感器感测的监视区域内的状况，通过增加监视区域范围来检测区域内的人和物体以提高检测精度和鲁棒性。美国发明专利US2003/0122514公开了一种自动门的方法和装置，该装置包括传感器和连接到传感器的门控制器，其中传感器包括微波检测器-运动检测器，红外检测器-存在检测器，和连接这些检测器的处理器；通过两种检测其提供的运动信号与存在信号检测自动门区域内的人体，该技术其实与200610074732.0公开的技术具有较高的类似性，都是综合了红外和微波传感器的优点，在检测的准确率和鲁棒性等方面有一定提升；但是这类检测技术限定了某些点或者线的检测，在安全性上仍然存在一定的隐患；要真正实现对人友好的自动门控制改善的潜力已经十分有限。

中国发明专利申请号为200980107336.5公开了一种基于透光器和受光器的自动门传感器。该系统采用多个投光器进行投光，通过透镜使投光器发出的光线偏转到与自动门宽度方向正交的方向，并使用多个受光器接受投射光线；如果有物体出现在监测区域内会对投射光产生一定的遮挡，使得受光器接收到的光线产生变化；该技术通过一个控制器监控受光器的接受光线的情况来判断监视区域内有无人或物体出现。由于受光器接受光线的情况容易受到外界光照环境的影响，而且只能对移动较慢的人或物体产生效果，因此该技术在稳定性和准确率上都存在一定的缺陷。

美国发明申请号为US2002/0118114A1公开了一种自动门传感装置，该装置主要包括距离检测单元、地面检测单元、位置/高度检测单元、自动门状态检测单元、决策单元。主要方法是利用摄像头获取自动门前方区域的图像，距离检测单元检测摄像头获取的图像中的物体相对于摄像头的距离，位置/高度检测单元检测物体的高度与位置信息，地面检测单元主要检测图像中的地面部分，自动门状态单元主要检测自动门；如果在图像中存在既不是自动门也不是地面的区域就认为是物体，最后决策单元综合各个单元的信息向自动门发出信号。中国发明申请号为00818283.3公开了一种带有视频设备的自动门组件，该组件使用一个视频成像装置检测人或物体靠近并通知自动门的操作机构进行相应操作，并通过霍尔效应传感器监视自动门的开闭状态。这些基于计算机视觉的自动门传感装置在多处技术细节没有公开披露，比如采用何种方法定制检测区域，如何进行人体检测等等重要细节，一般来说，按照专利文件中的说明的内容是无法达到检测人体靠近的目的的；应用环境往往限定在平移门中，没有提出如何解决在旋转门中进行应用及旋转门“伤人”的问题，无法适应于现代楼宇对于安全性方面越来越高的要求。

一种对人友好的自动门必须在满足安全性条件下同时兼顾以下几个方面的问题，在安全性方面，必须完全杜绝各种“伤人”事件的发生，排除各种安全隐患；在环境舒适性方面，防风、防尘、静音和外观朴素大方；在节能方面，能有效地隔断内外气流，达到最大节能效果；在智能控制方面，能避免各种误动作，对路过自动门的行人轨迹进行识别；当发现有人长时间在自动门附近逗留系统就会自动有语音提示；当发现小孩在自动门附近玩耍或者想独自通过自动门情况时系统就会有语音警示；当发现拥挤及抢行等行为时系统就会有语音警示；当发现行人的携带物品（如拉杆行李等）被夹情况发生时自动将自动门恢复到完全开启状态，并用语音告知行人快速通过自动门。

根据上述的设计理念，本发明将对人友好的自动门的核心问题归结为在自动门周围空间的行人行为智能检测的问题，关于这类问题的解决方案尚未在国内外专利以及科技文献中有相关披露和报道。

发明内容

本发明的目的是提供一种对人友好的自动门智能检测与控制方法，通过全方位视觉传感器获取自动门周围空间的视频信息，采用智能视频分析技术分析在自动门周围行人的各种行为，根据行人的不同行为来实现对自动门的智能控制，用以提高自动门的安全性、节能性和舒适性。

为了解决上述技术问题采用的技术方案为：

一种基于全方位计算机视觉的人行自动门安全和节能控制装置，所述基于全方位计算机视觉的人行自动门安全和节能控制装置，包括用于获取自动门周围全景视频信息的具有网络接口无死角的全方位视觉传感器、用于检测自动门状态和行人行为的微处理器、用于控制自动门开闭或者转动的控制器、用于进行安全提示的语音播放器和用于建筑开口部位的人员通行的自动门；，所述全方位视觉传感器简称ODVS；

所述的ODVS通过网络与所述的微处理器连接，所述的微处理器与所述的控制器连接，所述的控制器控制自动门电机的动作，所述的语音播放器通过语音接口与所述的微处理器连接；所述的ODVS安置在所述的自动门顶部的中间；

所述的微处理器包括：

全景图像读取单元，用于通过网络接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给全景图像展开单元；

全景图像展开单元，用于将全景图像按建筑物内外，即自动门内外进行二分屏柱状展开，全景图像的中心部位的广角成像图不进行展开处理，通过展开后的图像分成为三个部分，一个部分是自动门外的场景、一个部分是自动门内的场景、一个部分是自动门下的场景，经处理后得到的这三个部分的图像提交给行人对象检测单元；

自动门周围环境定制单元，用于对于平移自动门按自动门内外进行二分屏柱状展开定制，分为近距离、中距离和远距离，对于旋转自动门首先按入口处和出口处进行定制，然后分为近距离、中距离和远距离

行人对象检测单元，用于检测和跟踪在全景二分屏柱状展开图像中存在的行人目标对象；

行人高度检测单元，用于判断在自动门附近是否有小孩玩耍或者小孩独自经过自动门，依照所述的行人对象检测单元中检测得到的区域框的大小并结合行人与ODVS的距离进行判断；

行人运动轨迹检测单元，用于为判断行人的行为提供数据，在所述的行人对象检测单元中每次循环计算得到感兴趣区域的质心坐标值，将质心坐标值以时间序列进行记录就能得到行人运动轨迹；

行人行为检测单元，用于检测在自动门前是否有拥挤、抢行和携带大型物品造成安全事故的行为，并检测行人是路过自动门还是想通过自动门的行为；

自动门位置检测单元，用于检测自动门当前的开启位置状态；

安全状态判断单元，用于检测和判断行人通过自动门时的安全状态；在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果，以及感兴趣区域框的大小来判断行人的安全状态。

进一步，所述的行人对象检测单元中，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；在所述的全景图像展开单元中将一幅全景视频图像展开为自动门内外的二幅展开图和自动门下的场景图，分别启动三个线程分别对三个视频图像进行行人对象检测；在三个线程中都采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(18)表示：

$H_{\mathrm{\τ}}(x,y,t)=\left\{\begin{array}{cc}\mathrm{\τ}& \mathrm{if\; D}(x,y,t)=1\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1))& \mathrm{if\; S}\≤\mathrm{\δ}\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1)-1)& \mathrm{otherwise}\end{array}\right.---\left(18\right)$

式中，S为目标对象的运动速度，τ为持续时间，D(x,y,t)为运动区域的二进制图像序列，H_τ(x,y,t-1)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。

再进一步，所述的行人对象检测单元中，为在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影，主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的式中，RGB色彩空间转化成HSI色彩空间的计算方法如公式（19）所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}.....G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}...G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$ （19）

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式（19）中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（20）所示，

${\mathrm{IP}}_{L,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

（20）

${\mathrm{IP}}_{L,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_L,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Threshold1是相应的判断阈值；

对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（21）所示，

${\mathrm{IP}}_{M,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$ （21）

${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Threshold2是相应的判断阈值；

对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（22）所示，

${\mathrm{IP}}_{N,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$ （22）

${\mathrm{IP}}_{N,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Threshold3是相应的判断阈值；

最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(23)所示，

D(x,y,t)=IP_L,H Im age(i,j)∨IP_L,S Im age(i,j)∨IP_M,H Im age(i,j)∨IP_M,S Im age(i,j)∨IP_N,H Im age(i,j)∨IP_N,S Im age(i,j)                （23）

式中，D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M，S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，IP_L,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。

所述微处理器还包括：输出单元，用于输出各种不同的警示语音信息、用于控制自动门电机的动作，检测自动门是否与行人已经相接触或者在入口处从俯视的角度来看行人的外形面积接近于自动门开口的大小值，即检测是否有门夹人事件；检测自动门闭合处是否存在着超过一定阈值范围大小的静止物体，如果有上述情况存在停止自动门的电机动作。

所述的行人对象检测单元中，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i,m(x,y,t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i,m(x,y,t-1)来计算第i个运动目标对象的速度，计算方法如公式（24）所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(24\right)$

式中，ROI_i,m(x,y,t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i,m(x,y,t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度；

所述的行人对象检测单元中，由公式（24）计算得到的目标对象运动速度S_i(t)作为计算持续时间τ_i,M的依据；计算方法如公式（25）所示，

τ_i,M=k/S_i(t)                                               （25)

式中，τ_i,M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式（25）求得的是离ODVS中等距离情况下的τ_i，M值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为H_τ(x,y,t)=τ_i，M-α，中远处的持续时间设置为H_τ(x,y,t)=τ_i,M，远处的持续时间设置为H_τ(x,y,t)=τ_i，M+α；其中α=2~4。

所述的行人高度检测单元中，人体与ODVS的距离不同其高宽比是不同的，将人体高度小于成年人平均高度的68％定义为小孩，从远距离、中距离和近距离分别判断区域框的高度值进行检测和判断，用公式（26）进行判断，

h≤0.68h_ad,dis                                            （26）

式中，h_ad,dis为在不同距离范围内成年人的平均高度值，这里设定为1600mm,该值存放在环境要素、安全判断规则存储单元中，满足上述条件的判定为小孩；

为了判断小孩是否独自过自动门还是在大人携带下过自动门，需要进一步判断在小孩附近是否有成年人，如果在小孩附近没有具有成年人高度的区域框存在就判断为小孩独自过自动门或者小孩在自动门周边玩耍，这时设置一个警示Flag-Children为True。

所述的行人行为检测单元中，对于拥挤行为检测是检测在旋转门入口处周围的感兴趣区域密集程度，如果在旋转门入口处区域内感兴趣区域所占的面积达到某一个阈值T1就判断为出现拥挤行为，这时设置一个警示Flag-Crowd为True；

对于抢行行为检测是检测在旋转门入口处行人运动轨迹的情况，如果发现某一个行人的运动轨迹快速超越其他行人的运动轨迹就判断为有抢行行为，这时设置一个警示Flag-Nonorder为True；

对于携带大型物品行为的检测是检测在旋转门入口处感兴趣区域的大小值情况，如果发现感兴趣区域的大小超过在环境要素、安全判断规则存储单元中所存放的Object-size就判断为携带大型物品行为，这时设置一个警示Flag-Size为True。

所述的行人行为检测单元中，检测在离自动门入口的近距离处感兴趣区域的运动方向，对于移动自动门是不区分入口和出口的，对于旋转自动门入口一般都设置在自动门的右侧，出口设置在自动门的左侧；本发明中只是在近距离、中距离情况下，在展开图中最靠近x轴的区域进行检测；对于移动自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于旋转自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处的右侧部分同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于判断为行人想通过自动门的情况，设置Flag-Open为True。

所述的自动门位置检测单元中，用ODVS中的广角视觉范围进行检测，通过边缘检测算法中的Sobel算子检测自动门的开启状态；对于平移自动门，通过边缘检测可以直接得到自动门的开启状态，如果没有检测到边缘就判断为自动门处于全开状态；对于旋转自动门，通过边缘检测算法得到旋转门的角度，通过旋转门翼的角度来判断自动门的开启状态，对于4翼旋转自动门，当θ角度为45°时自动门处于全开状态；最后得到自动门的开启宽度W_autodoor。

所述的安全状态判断单元中，在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果，以及感兴趣区域框的大小来判断行人的安全状态；具体判断方式由公式（27）给出，

W_autodoor≤1.05×W_person                                    （27）

式中，W_autodoor为自动门的开启宽度值，W_person为行人通过自动门的闭合区域时的宽度值，即感兴趣区域框的宽度值；当满足了公式（27）关系时，表明行人的外形面积接近于自动门开口的大小值，如果自动门继续关闭即将发生门夹人事件，这时设置Flag-Clipperson为True；

由于行人通过自动门时都是处于运动状态的，无论是平移自动门还是旋转自动门，当行人通过自动门时出现摔倒情况同样也会出现安全问题，通过检测自动门的闭合区域内是否存在着超过设定阈值范围大小的静止物体进行判断，即感兴趣区域框的宽度值大于某一个阈值并且处于静止状态，这时设置Flag-Clipperson为True。

本发明的技术构思为：要实现上述设计目标，其核心是要准确地检测出自动门周围行人的各种行为和状态；因此，首先要梳理出哪些是通过自动门行人的正常行为，哪些是异常行为，哪些是危险行为；接着要分析和抽取出哪些是自动门的正常状态，哪些是异常状态，哪些是危险状态，并给出状态特征的判断准则；最后要根据不同的行为和状态给出自动门的智能控制策略；

为了便于进行智能视频分析，本发明将自动门周围的全景图像分为场景、对象和事件三类，将场景作为静态对象，自动门的旋转部分作为活动对象，行人以及随身携带物品作为活动对象；任何一个安全事件都考虑为对象之间的相互作用所产生的，因此需要考虑图像中的对象、对象的活动时间序列及空间问题、相关事件（对象之间的作用）等问题；

具有安全隐患的自动门和自动门安全隐患这是两个不同的概念，具有安全隐患的自动门是指行人的正常行为也有可能发生安全事件，主要反映了自动门设计、制造、安装和维护过程中的一些缺陷，导致发生安全事件的主体是自动门；自动门安全隐患主要指行人的异常行为和危险行为导致的安全事件，产生安全事件的主体是行人本身；

对于具有安全隐患的自动门的检测，从智能视频分析角度来说，检测的主要对象是自动门的本身，如自动门不正常的频繁开启和开启速度忽快忽慢；

对于自动门安全隐患的检测，从智能视频分析角度来说，检测的主要对象是行人的行为，这里主要关注可能导致安全事件的危险行为，如：1）小孩在自动门周围的玩耍行为，包括小孩独自经过自动门的行为；2）行人通过自动门时的摔倒；3）拥挤行为和抢行行为；4）行人通过自动门时携带大型物体的行为；

对于自动门安全事故的检测，从智能视频分析角度来说，检测的主要对象是行人和自动门的状态，检测自动门是否与行人已经相接触或者在入口处从俯视的角度来看行人的外形面积接近于自动门开口的大小值，即检测是否有门夹人事件；检测自动门闭合处是否存在着超过一定阈值范围大小的静止物体，如果有上述情况存在停止自动门的电机动作；

对于自动门舒适度和节能控制的检测，从行人的运动轨迹和运动方向进行智能视频分析判断，只有当行人离自动门距离在一定的阈值范围内且行走方向朝向自动门的情况下才驱动自动门的开启。

本发明的有益效果主要表现在：

1）实现了自动门安全性、节能性和舒适性控制的高度有机融合，将自动门周围环境的物理空间与信息空间进行了融合，提高了自动门的智能化控制水平；

2）实现了自动门对人友好的控制，通过对行人的行为分析，根据行人的行为意愿自动控制自动门的开启；根据行人和自动门的状态避免自动门“轧人”等安全事故的发生；根据有小孩在自动门周围玩耍或者独自想通过自动门等情况，警示小孩以及管理人员或者小孩的监护者避免安全事故的发生；根据自动门周围出现各种安全隐患的情景做出相应的语音警示；

3）可以拓广成其他各种商业应用，如进出入人数的调查、晚间进入的控制以及安防控制等领域。

附图说明

图1为无死角ODVS的结构示意图；

图2为ODVS在旋转自动门中的安装结构示意图；

图3为在全景视频图像上对旋转自动门环境定制说明图；

图4为ODVS自动门的全景图像示意图；

图5为ODVS广角成像部分的成像原理说明图；

图6为ODVS在平移自动门获取的全景图像和定制说明图；

图7为现有技术的平移自动门的感知区域说明图；

图8为ODVS在平移自动门获取的全景视觉范围和广角视觉范围说明图；

图9为基于全方位计算机视觉的人行自动门安全和节能控制装置的主要组成框图；

图10为基于全方位计算机视觉的人行自动门安全和节能控制装置的检测与控制流程框图；

图11为无死角ODVS成像过程说明图；

图12为在水平面上具有平均分辨率ODVS设计的说明图；

图13为无死角ODVS的折反射镜面的设计曲线；

图14为视频行人检测与跟踪的流程框图；

图15为全景视频展开图上定制不同的距离范围以及人体建模的说明图。

具体实施方式

下面结合附图对本发明做进一步说明。

实施例1

参照图1~5和图9~图15，一种基于全方位计算机视觉的人行自动门安全和节能控制装置，包括用于获取自动门周围全景视频信息的具有网络接口的全方位视觉传感器，以下简称ODVS、用于检测自动门状态和行人行为的微处理器、用于控制自动门开闭或者转动的控制器、用于进行安全提示的语音播放器和用于建筑开口部位的人员通行的自动门。

所述的ODVS通过网络与所述的微处理器连接，所述的微处理器通过RS232接口与所述的控制器连接，所述的控制器控制自动门电机的动作，所述的语音播放器通过语音接口与所述的微处理器连接；所述的ODVS安置在所述的自动门的中间，对于移动自动门安置在自动门的门梁中间，如附图8所示，对于旋转自动门安置在旋转门体的中间，如附图2、附图3所示；

为了获取自动门周围无死角的全景视频信息，在ODVS设计上可以归结于折反射镜面曲线的设计，如附图11所示，空间上的一个光源点P的入射光V1在主反射镜面（t1，F₁）点上进行反射，反射光V2反射到次反射镜面（t2，F₂）点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元（CCD或者CMOS）上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁,F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂,F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式（1）：

其中 $\tan \mathrm{\&phi;}=\frac{t_1}{F_1(t_1-s)},{\tan \mathrm{\&theta;}}_2=\frac{t_1-t_2}{F_2-F_1},\tan {\mathrm{\&theta;}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式（2）、（3）：

F₁′²-2αF₁'-1＝0                            （2）

F₂′²-2βF₂'-1＝0                            （3）

上式中，

$\mathrm{\&sigma;}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\&beta;}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式（2）、（3）可以得到公式（4）、（5）；

${F_1}^{\&prime;}=\mathrm{\&alpha;}\&PlusMinus;\sqrt{{\mathrm{\&alpha;}}^2+1}---\left(4\right)$

${F_2}^{\&prime;}=\mathrm{\&beta;}\&PlusMinus;\sqrt{{\mathrm{\&beta;}}^2+1}---\left(5\right)$

式中：F₁′为F₁曲线的微分，F₂′为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为Ｃ并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图12所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r,z)可以用以下公式来表示，

r=C*tanφ，z=s+C                                            （6）

为了设计水平面上具有平均分辨率ODVS,即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r=a*f*t₂/F₂(t₂)+b                                           （7）

根据成像原理有以下关系成立，入射角用公式（8）表示，

$\tan \mathrm{\&phi;}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式（6）、（8）代入公式（7）并整理，得到在水平方向不变形的条件，用公式（9）表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式（9）的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式（2）、（3）、（9）利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图13是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，ODVS的结构如图1所示；

更进一步，在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图5是摄像部件镜头与广角镜头的位置关系图。在图5中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S3}---\left(11\right)$

d=S2+S3                                            （12）

要使公式（12）成立的话，也就是将图5中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图4中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式（12）的要求；

进一步，对于图5中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f3可以由下式来表示：

$\frac{1}{f3}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f3}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f3}={2\mathrm{\&theta;}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图4所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图1所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料；

所述的微处理器包括：全景图像读取单元、全景图像展开单元、自动门周围环境定制单元、行人对象检测单元、行人高度检测单元、行人运动轨迹检测单元、行人行为检测单元、自动门状态检测单元、安全状态判断单元、输出单元和环境要素、安全判断规则存储单元，这些单元的输入输出关系如附图10所示；

全景图像读取单元，用于通过网络接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给全景图像展开单元；

全景图像展开单元，用于将全景图像按建筑物内外，即自动门内外进行二分屏柱状展开，全景图像的中心部位的广角成像图不进行展开处理，通过展开后的图像分成为三个部分，一个部分是自动门外的场景、一个部分是自动门内的场景、一个部分是自动门下的场景，经处理后得到的这三个部分的图像提交给行人对象检测单元；在所述的全景图像展开单元中，根据全景图像的中心坐标以及图像的内外圆半径，将全景图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴、全景图像的内径为r、外径为R，用r1=(r+R)/2设定中间圆的半径，方位角为β=tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将全景图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立全景柱状展开图像中任意一点象素坐标P^**(x^**，y^**)与全景图像中的象素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*=y^*/(tan(360x^**/π(R+r)))                                (16)

y^*=(y^**+r)cosβ                                            (17)

上式中，x^**，y^**为全景柱状展开图像的象素坐标值，x^*，y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；

自动门周围环境定制单元，对于平移自动门按自动门内外进行二分屏柱状展开定制，分为近距离、中距离和远距离，如附图15所示；对于旋转自动门首先按入口处和出口处进行定制，然后分为近距离、中距离和远距离，如附图3所示；

行人对象检测单元，用于检测在二分屏柱状展开图像中存在的移动目标对象，并用矩形框框住目标对象，用一种Motion History or Energy Images算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；在所述的全景图像展开单元中将一幅全景视频图像展开为自动门内外的二幅展开图和自动门下的场景图，分别启动三个线程分别对三个视频图像进行行人对象检测；在三个线程中都采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(18)表示：

标对象的运动速度，τ为持续时间，D(x,y,t)为运动区域的二进制图像序列，H_τ(x,y,t-1)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。

再进一步，所述的行人对象检测单元中，依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的计算方法如公式（19）所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}.....G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}...G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(19\right)$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（20）所示，

${\mathrm{IP}}_{L,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.---\left(20\right)$

${\mathrm{IP}}_{L,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_L，H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L，S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Pix_S，t(i,j)和Pix_S，t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；

对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（21）所示，

${\mathrm{IP}}_{M,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.---\left(21\right)$

${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_M，H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_m，S Image(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；

对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（22）所示，

${\mathrm{IP}}_{N,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.---\left(22\right)$

${\mathrm{IP}}_{N,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_N，H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N，S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H，t(i,j)和Pix_H，t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；

最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(23)所示，

D(x,y,t)=IP_L，HIm age(i,j)∨IP_L,S Im age(i,j)∨IP_M,H Im age(i,j)∨IP_M,S Im age(i,j)∨IP_N，H Im age(i,j)∨IP_N,S Im age(i,j)        （23）

式中，D(x，y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果，IP_M，H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N，S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，IP_L,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。

所述的行人对象检测单元中，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i,m(x,y,t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i,m(x,y,t-1)来计算第i个运动目标对象的速度，计算方法如公式（24）所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(24\right)$

式中，ROI_i,m(x,y,t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i,m(x,y,t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度。

所述的行人对象检测单元中，由公式（24）计算得到的目标对象运动速度S_i(t)作为计算持续时间τ_i,M的依据；计算方法如公式（25）所示，

τ_i,M=k/S_i(t)                                              （25)

式中，τ_i，M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式（25）求得的是离ODVS中等距离情况下的τ_i，M值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为H_τ(x,y,t)=τ_i，M-α，中远处的持续时间设置为H_τ(x,y,t)=τ_i,M，远处的持续时间设置为H_τ(x,y,t)=τ_i，M +α；其中α=2~4。

下面根据附图14说明在自动门附近行人对象的检测与跟踪算法的实现步骤：

P1为微处理器通过网络接口从ODVS中读取全景视频图像，并将读取的全景图像递交给P2；

P2对全景视频图像进行二分屏柱状展开处理，通过展开后的图像分成为三个部分，一个部分是自动门外的场景、一个部分是自动门内的场景、一个部分是自动门直下的场景，如图4所示，将全景图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴、全景图像的内径为r、外径为R，用r₁=(r+R)/2设定中间圆的半径，方位角为β=tan^-1(y^*/x^*)；全景柱状展开图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将全景图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开，如果自动门外的场景的方位角是从0~180°，那么自动门内的场景的方位角是从180~360°；建立全景柱状展开图像中任意一点象素坐标P^**(x^**，y^**)与全景图像中的象素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*=y^*/(tan(360x*^*/π(R+r)))                                   (16)

y^*=(y^**+r)cosβ                                               (17)

上式中，x^**,y^**为全景柱状展开图像的象素坐标值，x^*，y^*为全景图像的象素坐标值，R为圆形全景图像的外径，r为圆形全景图像的内径，β为圆形全景图像坐标的方位角；

根据ODVS的成像原理，如图15所示，目标对象处于离ODVS距离较远的区域成像在全景柱状展开图像的上部，目标对象处于离ODVS中等距离远的区域成像在全景柱状展开图像的中部，目标对象处于离ODVS距离较近的区域成像在全景柱状展开图像的下部；为此，本发明中将全景柱状展开图像在垂直方向上的范围设置为三个区域，如图15所示，分别为远距离区域、中等距离区域和近距离区域；经处理后得到的这三个部分的图像提交给P3；

P3启动三个线程分别对P2处理中得到的三个部分的图像进行灰度值变换和HSI颜色空间的变换处理，灰度值变换的目的是为了在求帧间差时获取运动目标对象区域，HSI颜色空间的变换处理的目的是为了在求帧间差时消除运动目标对象的阴影；

为了在做帧差法运算过程中消除运动目标对象的阴影；帧差法是一种基于时间序列的直接而简单的运动目标检测方法，帧差法计算方法如式（26）所示，

$\mathrm{IPIm\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_t(i,j)-{\mathrm{Pix}}_{t-n}(i,j)|>\mathrm{Threshold}\\ 0....\mathrm{else}\end{array}\right.---\left(26\right)$

式中，IP Im age(i,j)为当前输入图像帧中坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_t(i,j)和Pix_t-n(i,j)分别表示视频图像在第t时刻和第t-n时刻图像帧中坐标为(i,j)点的像素值，Threshold是相应的判断阈值；当所得的像素差值大于该设定的阈值时认为在视频图像中第t时刻帧中坐标为(i,j)的像素点属于前景运动区域集中的一个像素点，否则，判断为场景集中的一个像素点；

RGB色彩空间转化成HSI色彩空间的计算方法如公式（19）所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}.....G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}...G<B\end{array}\right.$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]---\left(19\right)$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

在P3处理中，本发明对全景展开图分别进行色彩空间变化，得到H分量的全景展开图和S分量的全景展开图，处理后的结果根据距离ODVS的远近分别递交给P4、P5和P6进行帧差法处理；

P4处理的是距离ODVS的远处的目标对象，分为H分量和S分量，其计算公式如（20）所示，

${\mathrm{IP}}_{L,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$ （20）

${\mathrm{IP}}_{L,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_L，H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L，S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Threshold1是相应的判断阈值，这里取值为45；

P5处理的是距离ODVS的中远处的目标对象，分为H分量和S分量，其计算公式如（21）所示，

${\mathrm{IP}}_{M,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$

（21）

${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_M，H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M，S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Threshold2是相应的判断阈值，这里取值为45；

P6处理的是距离ODVS的近处的目标对象，分为H分量和S分量，其计算公式如（22）所示，

${\mathrm{IP}}_{N,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.---\left(22\right)$

${\mathrm{IP}}_{N,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Threshold3是相应的判断阈值，这里取值为45；

P8主要进行分割后的目标对象拼合整理处理，一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(23)所示，

D(x,y,t)=IP_L,H Im age(i,j)∨IP_L,S Im age(i,j)∨IP_M,H Im age(i,j)∨IP_M,S Im age(i,j)∨IP_N,H Im age(i,j)∨IP_N,S Im age(i,j)       （23）

式中，D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，IP_L，H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Image(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果；P8的检测结果提交给P9处理；

P9主要是判断是否有新的运动像素点，如果有新的运动像素点递交给P11处理，反之递交给P10处理；

P10检测目标对象的移动速度是否大于规定的阈值δ，满足条件的相关像素点提交给P16处理，反之提交给P15处理；

P11根据目标对象的移动速度的快慢来选择公式（3）中的τ，对于移动速度快的目标对象的像素点采用小的τ值，移动速度慢的目标对象的像素点采用大的τ值，计算方法如公式（25）所示，

τ_i,M=k/S_i(t)                                         （25)

式中，τ_i，M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式（24）求得的是离ODVS中等距离情况下的τ_i,M值，本发明中对持续时间进行了归一化处理，分别在P12、P13和P14中进行处理，具体做法是将近处的持续时间设置为H_τ(x,y,t)=τ_i,M-α，中远处的持续时间设置为H_τ(x,y,t)=τ_i，M，远处的持续时间设置为H_τ(x,y,t)=τ_i，M+α；其中α=2~4；远处、中远处和近处的划分见图15；

P15主要针对着处于暂时性停止运动状态的目标对象所构成的像素灰度值进行保持处理，用于跟踪和锁定那些处于暂时性停止运动状态的目标对象，计算方法如公式（31）所示，

H_τ(x,y,t)=max(0,H_τ(x,y,t-1))                            （31）

P16主要针对着那些仍然运动着的目标对象所构成的像素灰度值进行减1运算，用于逐步清除那些运动较久的像素，计算方法如公式（32）所示，

H_τ(x,y,t)=max(0,H_τ(x,y,t-1)-1)                          （32）

P17根据P12、P13、P14、P15和P16的处理结果中得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i,m(x,y,t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i,m(x,y,t-1)来计算第i个运动目标对象的速度，计算方法如公式（24）所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(24\right)$

式中，ROI_i,m(x,y,t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i,m(x,y,t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度；根据这个运动速度S_i(t)将在P10中作为检测判断条件，在P11中作为计算持续时间τ_i，M的依据；

所述的行人对象检测单元中，每次循环得到i个ROI感兴趣区域、区域的质心坐标值以及区域框的大小值；

行人高度检测单元，主要用于判断在自动门附近是否有小孩玩耍或者小孩独自经过自动门，本发明根据所述的行人对象检测单元中检测得到的区域框的大小并结合行人与ODVS的距离进行判断，如附图15所示，人体与ODVS的距离不同其高宽比是不同的，本发明中将人体高度小于成年人平均高度的68％定义为小孩，从远距离、中距离和近距离分别判断区域框的高度值进行检测和判断，用公式（26）进行判断，

h≤0.68h_ad,dis                                            （26）

式中，h_ad,dis为在不同距离范围内成年人的平均高度值，这里设定为1600mm，该值存放在环境要素、安全判断规则存储单元中，满足上述条件的判定为小孩；

为了判断小孩是否独自过自动门还是在大人携带下过自动门，需要进一步判断在小孩附近是否有成年人，如果在小孩附近没有具有成年人高度的区域框存在就判断为小孩独自过自动门或者小孩在自动门周边玩耍，这时设置一个警示Flag-Children为True；

行人运动轨迹检测单元，用于为判断行人的行为提供数据，在所述的行人对象检测单元中每次循环计算得到感兴趣区域的质心坐标值，将质心坐标值以时间序列进行记录就能得到行人运动轨迹；

行人行为检测单元，主要检测在自动门前是否有拥挤、抢行和携带大型物品等造成安全事故的行为，上述行为检测主要是针对旋转自动门进行的，同时也需要检测行人是路过自动门还是想通过自动门的行为；

对于拥挤行为检测主要是检测在旋转门入口处周围的感兴趣区域密集程度，如果在旋转门入口处区域内感兴趣区域所占的面积达到某一个阈值T1就判断为出现拥挤行为，这时设置一个警示Flag-Crowd为True；

对于抢行行为检测主要是检测在旋转门入口处行人运动轨迹的情况，如果发现某一个行人的运动轨迹快速超越其他行人的运动轨迹就判断为有抢行行为，这时设置一个警示Flag-Nonorder为True；

对于携带大型物品行为的检测主要是检测在旋转门入口处感兴趣区域的大小值情况，如果发现感兴趣区域的大小超过在环境要素、安全判断规则存储单元中所存放的Object-size就判断为携带大型物品行为，这时设置一个警示Flag-Size为True；

对于行人是路过自动门还是想通过自动门的行为检测，主要是检测在离自动门入口的近距离处感兴趣区域的运动方向，对于移动自动门是不区分入口和出口的，对于旋转自动门入口一般都设置在自动门的右侧，出口设置在自动门的左侧；本发明中只是在近距离、中距离情况下，如附图15所示的展开图中最靠近x轴的区域进行检测；对于移动自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于旋转自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处的右侧部分同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于判断为行人想通过自动门的情况，设置Flag-Open为True；

自动门位置检测单元，用于检测自动门当前的开启位置状态；本发明中用ODVS中的广角视觉进行检测，如附图3、附图6和附图8中的方格区域所示；这里主要通过边缘检测算法中的Sobel算子检测自动门的开启状态，关于Sobel算子的实现方法可以参阅数字图像处理的有关书籍和相关论文；对于平移自动门，通过边缘检测可以直接得到自动门的开启状态，如图8所示，如果没有检测到边缘就判断为自动门处于全开状态；对于旋转自动门，通过边缘检测算法得到旋转门的角度，通过旋转门翼的角度来判断自动门的开启状态，对于附图3所示的4翼旋转自动门，当θ角度为45°时自动门处于全开状态；最后得到自动门的开启宽度W_autodoor；

安全状态判断单元，用于检测和判断行人通过自动门时的安全状态；在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果，以及感兴趣区域框的大小来判断行人的安全状态；具体判断方式由公式（27）给出，

W_autodoor≤1.05×W_person                                    （27）

式中，W_autodoor为自动门的开启宽度值，W_person为行人通过自动门的闭合区域时的宽度值，即感兴趣区域框的宽度值；当满足了公式（27）关系时，表明行人的外形面积接近于自动门开口的大小值，如果自动门继续关闭即将发生门夹人事件，这时设置Flag-Clipperson为True；

由于行人通过自动门时都是处于运动状态的，无论是平移自动门还是旋转自动门，当行人通过自动门时出现摔倒情况同样也会出现安全问题，本发明通过检测自动门的闭合区域内是否存在着超过一定阈值范围大小的静止物体进行判断，即感兴趣区域框的宽度值大于某一个阈值并且处于静止状态，这时设置Flag-Clipperson为True；

输出单元，用于输出各种不同的警示语音信息、用于控制自动门电机的动作；所述的输出单元中首先检查各种Flag标志，根据Flag标志的状态进行不同的输出控制，首先对各种Flag标志进行计算，得到控制状态信息，

state1=(Flag-Open)∨(Flag-Crowd)∨(Flag-Nonorder)∨(Flag-Size)∨(Flag-Children)                （28）

state2=(Flag-Open)∧(Flag-Crowd)∧

                                                         （29）

(Flag-Nonorder)∧(Flag-Size)∧(Flag-Children)

用表1进行归纳，

表1 自动门语音单元输出控制表

检测自动门是否与行人已经相接触或者在入口处从俯视的角度来看行人的外形面积接近于自动门开口的大小值，即检测是否有门夹人事件；检测自动门闭合处是否存在着超过一定阈值范围大小的静止物体，如果有上述情况存在停止自动门的电机动作；

对于旋转自动门控制，除了有开启旋转命令和关闭旋转命令以外，还需要有一个紧急停止命令和全开命令，紧急停止命令用于发生扎人情况，全开命令用于发生拥挤、大型物体通过自动门、小孩玩耍等情况，使得行人快速通过旋转自动门，避免扎人事故的发生；由于旋转自动门的安全隐患要高于平移自动门的安全隐患，本发明对旋转自动门控制采用更为严格的控制策略，首先对各种Flag标志进行计算，得到控制状态信息，目前旋转自动门的一些产品已经具备全开的功能；

state3=(Flag-Crowd)∨(Flag-Nonorder)∨(Flag-Size)∨(Flag-Children)                                 （30）

旋转门控制策略用表3进行归纳，

自动门状态	行人状态与行为	控制策略
			停止状态	(Flag-Open)=true	开启旋转命令
停止状态	state2=false	继续保持停止状态
			停止状态	state3=false	开启全开命令
旋转状态	Flag-Clipperson=true	紧急停止命令
			旋转状态	(Flag-Open)=true	继续保持旋转状态
旋转状态	state3=false	开启全开命令
			旋转状态	state2=false	关闭旋转命令

表3 旋转自动门控制策略表

进出入人数统计单元，用于统计进出自动门的人数；本发明中在自动门的入口处和出口处分别定制一条计数线，通过统计在某时间阈值Tv内通过进出入计数线的行人对象数来得到进出入自动门的人数值。

实施例2

参照图6~8，其余与实施例1相同，所不同的是平移自动门的环境定制和控制策略；

对于平移自动门控制，主要有开启自动门命令和关闭自动门命令；发出开启自动门命令和关闭自动门命令主要根据自动门的目前状态以及行人的行为共同来确定，自动门控制策略如表2所示。

自动门状态	行人状态与行为	控制策略
			全开状态	state1=true	继续保持全开
全开状态	state2=false	关闭自动门命令
			全开状态	Flag-Clipperson=true	继续保持全开
全闭状态	state1=true	开启自动门命令
			全闭状态	state2=false	继续保持全闭
开→闭过程	state1=true	继续保持开启
			开→闭过程	state2=false	关闭自动门命令
开→闭过程	Flag-Clipperson=true	开启自动门命令
			闭→开过程	state1=true	开启自动门命令
闭→开过程	state2=false	继续保持关闭

表2 平移自动门控制策略表。

Claims (10)

1.一种基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述基于全方位计算机视觉的人行自动门安全和节能控制装置，包括用于获取自动门周围全景视频信息的具有网络接口无死角的全方位视觉传感器、用于检测自动门状态和行人行为的微处理器、用于控制自动门开闭或者转动的控制器、用于进行安全提示的语音播放器和用于建筑开口部位的人员通行的自动门；，所述全方位视觉传感器简称ODVS；

所述的ODVS通过网络与所述的微处理器连接，所述的微处理器与所述的控制器连接，所述的控制器控制自动门电机的动作，所述的语音播放器通过语音接口与所述的微处理器连接；所述的ODVS安置在所述的自动门顶部的中间；

所述的微处理器包括：

全景图像读取单元，用于通过网络接口读取ODVS所拍摄的全景图像，并将读取的全景图像提交给全景图像展开单元；

全景图像展开单元，用于将全景图像按建筑物内外，即自动门内外进行二分屏柱状展开，全景图像的中心部位的广角成像图不进行展开处理，通过展开后的图像分成为三个部分，一个部分是自动门外的场景、一个部分是自动门内的场景、一个部分是自动门下的场景，经处理后得到的这三个部分的图像提交给行人对象检测单元；

自动门周围环境定制单元，用于对于平移自动门按自动门内外进行二分屏柱状展开定制，分为近距离、中距离和远距离，对于旋转自动门首先按入口处和出口处进行定制，然后分为近距离、中距离和远距离

行人对象检测单元，用于检测和跟踪在全景二分屏柱状展开图像中存在的行人目标对象；

行人高度检测单元，用于判断在自动门附近是否有小孩玩耍或者小孩独自经过自动门，依照所述的行人对象检测单元中检测得到的区域框的大小并结合行人与ODVS的距离进行判断；

行人运动轨迹检测单元，用于为判断行人的行为提供数据，在所述的行人对象检测单元中每次循环计算得到感兴趣区域的质心坐标值，将质心坐标值以时间序列进行记录就能得到行人运动轨迹；

行人行为检测单元，用于检测在自动门前是否有拥挤、抢行和携带大型物品造成安全事故的行为，并检测行人是路过自动门还是想通过自动门的行为；

自动门位置检测单元，用于检测自动门当前的开启位置状态；

安全状态判断单元，用于检测和判断行人通过自动门时的安全状态；在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果，以及感兴趣区域框的大小来判断行人的安全状态。

2.如权利要求1所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人对象检测单元中，用一种Motion History or EnergyImages算法，以下简称MHoEI算法，用目标对象的运动历史和能量图像来提取和跟踪目标对象；在所述的全景图像展开单元中将一幅全景视频图像展开为自动门内外的二幅展开图和自动门下的场景图，分别启动三个线程分别对三个视频图像进行行人对象检测；在三个线程中都采用MHoEI算法对目标对象的运动历史和能量图像来提取和跟踪目标对象，用公式(18)表示：

$H_{\mathrm{\&tau;}}(x,y,t)=\left\{\begin{array}{cc}\mathrm{\&tau;}& \mathrm{if\; D}(x,y,t)=1\\ \max (0,H_{\mathrm{\&tau;}}(x,y,t-1))& \mathrm{if\; S}\&le;\mathrm{\&delta;}\\ \max (0,H_{\mathrm{\&tau;}}(x,y,t-1)-1)& \mathrm{otherwise}\end{array}\right.---\left(18\right)$

式中，S为目标对象的运动速度，τ为持续时间，D(x,y,t)为运动区域的二进制图像序列，H_τ(x,y,t-1)为非运动区域的二进制图像序列，持续时间τ需要根据目标对象运动速度S进行动态调整。

3.如权利要求2所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人对象检测单元中，为在进行帧差法过程中利用阴影与非阴影区域区别的某些特征来消除阴影，主要依据阴影区域中像素的色度与背景像素色度相比几乎相等的特征，将原图像的RGB色彩空间转化成HSI色彩空间，然后再进行帧差法运算就能消除阴影，RGB色彩空间转化成HSI色彩空间的式中，RGB色彩空间转化成HSI色彩空间的计算方法如公式（19）所示，

$H=\left\{\begin{array}{c}\mathrm{\&theta;}.....G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}...G<B\end{array}\right.---\left(19\right)$

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$\mathrm{\&theta;}=\arccos \left\{\frac{[(R-G)+(R-B)]/2}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

式（19）中，R是RGB色彩空间中的红色分量，G是RGB色彩空间中的绿色分量，B是RGB色彩空间中的蓝色分量；H为HSI色彩空间中的色调，用角度表示，反映了颜色最接近什么样的光谱波长；S为HSI色彩空间中的饱和度，表征颜色的深浅程度；色调H与饱和度S合起来称色度；

对于距离ODVS的远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（20）所示，

${\mathrm{IP}}_{L,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

（20）

${\mathrm{IP}}_{L,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-3}(i,j)|>\mathrm{Threshold}1\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_L,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-3(i,j)分别表示全景视频图像的上部H颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-3(i,j)分别表示全景视频图像的上部S颜色分量在第t时刻和第t-3时刻图像帧中坐标为(i,j)点的像素值，Threshold1是相应的判断阈值；

对于距离ODVS的中远处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（21）所示，

${\mathrm{IP}}_{M,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.---\left(21\right)$

${\mathrm{IP}}_{M,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-2}(i,j)|>\mathrm{Threshold}2\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M，S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-2(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-2(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-2时刻图像帧中坐标为(i,j)点的像素值，Threshold2是相应的判断阈值；

对于距离ODVS的近处的目标对象，分别在H分量和S分量上进行帧差法处理，其计算公式如（22）所示，

${\mathrm{IP}}_{N,H}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{H,t}(i,j)-{\mathrm{Pix}}_{H,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$ （22）

${\mathrm{IP}}_{N,S}\mathrm{Im\; age}(i,j)=\left\{\begin{array}{c}1....\mathrm{if}|\mathrm{Pi}{x}_{S,t}(i,j)-{\mathrm{Pix}}_{S,t-1}(i,j)|>\mathrm{Threshold}3\\ 0....\mathrm{else}\end{array}\right.$

式中，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_N,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，用二值图表示，1表示前景运动目标，0表示背景，Pix_H,t(i,j)和Pix_H，t-1(i,j)分别表示全景视频图像的中部H颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Pix_S,t(i,j)和Pix_S，t-1(i,j)分别表示全景视频图像的中部S颜色分量在第t时刻和第t-1时刻图像帧中坐标为(i,j)点的像素值，Threshold3是相应的判断阈值；

最后，对于分割后的目标对象拼合整理处理；一方面，由于色度主要由色调H与饱和度S两个部分构成，这里需要进行或运算处理；另一方面，在P4、P5和P6处理过程中将整幅全景图像分割为上、中、下三个部分，这里也需要进行或运算处理；经过这样处理得到整幅全景图像上的运动目标对象的分割图像，处理方法如公式(23)所示，

D(x,y,t)=IP_L,H Im age(i,j)∨IP_L,S Im age(i,j)∨IP_M,H Im age(i,j)∨IP_M,S Im age(i,j)∨IP_N,H Im age(i,j)∨IP_N,S Im age(i,j)      （23）

式中，D(x,y,t)为当前输入全景图像帧中坐标为(i,j)点的检测结果，IP_N,H Im age(i,j)为当前输入全景图像帧中的下部H颜色分量的坐标为(i,j)点的检测结果，IP_M,S Im age(i,j)为当前输入全景图像帧中的下部S颜色分量的坐标为(i,j)点的检测结果，IP_M,H Im age(i,j)为当前输入全景图像帧中的中部H颜色分量的坐标为(i,j)点的检测结果，IP_M,S Im age(i,j)为当前输入全景图像帧中的中部S颜色分量的坐标为(i,j)点的检测结果，IP_L,H Im age(i,j)为当前输入全景图像帧中的上部H颜色分量的坐标为(i,j)点的检测结果，IP_L,S Im age(i,j)为当前输入全景图像帧中的上部S颜色分量的坐标为(i,j)点的检测结果。

4.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述微处理器还包括：输出单元，用于输出各种不同的警示语音信息、用于控制自动门电机的动作，检测自动门是否与行人已经相接触或者在入口处从俯视的角度来看行人的外形面积接近于自动门开口的大小值，即检测是否有门夹人事件；检测自动门闭合处是否存在着超过一定阈值范围大小的静止物体，如果有上述情况存在停止自动门的电机动作。

5.如权利要求2或3所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人对象检测单元中，在采用MHoEI算法提取和跟踪目标对象时，得到每个运动目标对象的ROI，计算第i个ROI_i的质心坐标ROI_i,m(x,y,t)，然后利用上一个循环中得到第i个ROI_i的质心坐标ROI_i,m(x,y,t-1)来计算第i个运动目标对象的速度，计算方法如公式（24）所示，

$S_i\left(t\right)=\frac{|{\mathrm{ROI}}_{i,m}(x,y,t)-{\mathrm{ROI}}_{i,m}(x,y,t-1)|}{\mathrm{\&Delta;t}}---\left(24\right)$

式中，ROI_i,m(x,y,t)为当前处理帧中第i个ROI_i的质心坐标，ROI_i,m(x,y,t-1)为上一个处理帧中第i个ROI_i的质心坐标，Δt为两帧间隔时间，S_i(t)为当前处理帧中第i个ROI_i的运动速度；

所述的行人对象检测单元中，由公式（24）计算得到的目标对象运动速度S_i(t)作为计算持续时间τ_i，M的依据；计算方法如公式（25）所示，

τ_i，M＝k/S_i(t)                                             （25）

式中，τ_i,M为第i个目标对象的持续时间，S_i(t)为第i个目标对象的移动速度，k为某一常数；

对于距离ODVS远近不同的目标对象，τ_i，M值也需要适当调整，对于同样的运动速度的目标对象，距离ODVS近的目标对象在全景展开图上反映的速度会快些，则距离ODVS远的目标对象在全景展开图上反映的速度会慢些，公式（25）求得的是离ODVS中等距离情况下的τ_i,M值，这里对持续时间进行了归一化处理，具体做法是将近处的持续时间设置为H_τ(x,y,t)=τ_i,M-α，中远处的持续时间设置为H_τ(x,y,t)=τ_i,M，远处的持续时间设置为H_τ(x,y,t)=τ_i，M+α；其中α=2~4。

6.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人高度检测单元中，人体与ODVS的距离不同其高宽比是不同的，将人体高度小于成年人平均高度的68%定义为小孩，从远距离、中距离和近距离分别判断区域框的高度值进行检测和判断，用公式（26）进行判断，

h≤0.68h_ad，dis                                              （26）

式中，h_ad，dis为在不同距离范围内成年人的平均高度值，这里设定为1600mm,该值存放在环境要素、安全判断规则存储单元中，满足上述条件的判定为小孩；

为了判断小孩是否独自过自动门还是在大人携带下过自动门，需要进一步判断在小孩附近是否有成年人，如果在小孩附近没有具有成年人高度的区域框存在就判断为小孩独自过自动门或者小孩在自动门周边玩耍，这时设置一个警示Flag-Children为True。

7.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人行为检测单元中，对于拥挤行为检测是检测在旋转门入口处周围的感兴趣区域密集程度，如果在旋转门入口处区域内感兴趣区域所占的面积达到某一个阈值T1就判断为出现拥挤行为，这时设置一个警示Flag-Crowd为True；

对于抢行行为检测是检测在旋转门入口处行人运动轨迹的情况，如果发现某一个行人的运动轨迹快速超越其他行人的运动轨迹就判断为有抢行行为，这时设置一个警示Flag-Nonorder为True；

对于携带大型物品行为的检测是检测在旋转门入口处感兴趣区域的大小值情况，如果发现感兴趣区域的大小超过在环境要素、安全判断规则存储单元中所存放的Object-size就判断为携带大型物品行为，这时设置一个警示Flag-Size为True。

8.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的行人行为检测单元中，检测在离自动门入口的近距离处感兴趣区域的运动方向，对于移动自动门是不区分入口和出口的，对于旋转自动门入口一般都设置在自动门的右侧，出口设置在自动门的左侧；本发明中只是在近距离、中距离情况下，在展开图中最靠近x轴的区域进行检测；对于移动自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于旋转自动门的情况，如果感兴趣区域出现在自动门近距离、中距离处的右侧部分同时|dy|≥|dx|和dy<0，就判断行人是想通过自动门；对于判断为行人想通过自动门的情况，设置Flag-Open为True。

9.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的自动门位置检测单元中，用ODVS中的广角视觉范围进行检测，通过边缘检测算法中的Sobel算子检测自动门的开启状态；对于平移自动门，通过边缘检测可以直接得到自动门的开启状态，如果没有检测到边缘就判断为自动门处于全开状态；对于旋转自动门，通过边缘检测算法得到旋转门的角度，通过旋转门翼的角度来判断自动门的开启状态，对于4翼旋转自动门，当θ角度为45°时自动门处于全开状态；最后得到自动门的开启宽度W_aytodoor。

10.如权利要求1~3之一所述的基于全方位计算机视觉的人行自动门安全和节能控制装置，其特征在于：所述的安全状态判断单元中，在自动门的闭合区域内根据所述的自动门位置检测单元对自动门开启状态的检测结果，以及感兴趣区域框的大小来判断行人的安全状态；具体判断方式由公式（27）给出，

W_autodoor≤1.05×W_person                                   （27）

式中，W_autodoor为自动门的开启宽度值，W_person为行人通过自动门的闭合区域时的宽度值，即感兴趣区域框的宽度值；当满足了公式（27）关系时，表明行人的外形面积接近于自动门开口的大小值，如果自动门继续关闭即将发生门夹人事件，这时设置Flag-Clipperson为True；

由于行人通过自动门时都是处于运动状态的，无论是平移自动门还是旋转自动门，当行人通过自动门时出现摔倒情况同样也会出现安全问题，通过检测自动门的闭合区域内是否存在着超过设定阈值范围大小的静止物体进行判断，即感兴趣区域框的宽度值大于某一个阈值并且处于静止状态，这时设置Flag-Clipperson为True。

Images