CN101291427A - 基于全方位视觉传感器的立体化智能摄像设备 - Google Patents

Abstract

一种基于全方位视觉传感器的立体化智能摄像设备，包括固定支架、安装在固定支架上的高速球摄像机以及用于控制高速球摄像机进行抓拍的视频数据微处理器，所述的立体化智能摄像设备还包括用于获取监控领域内全方位视频数据的全方位视觉传感器ODVS，微处理器将采集到的全景视频图像进行动态图像理解等处理，得到监控领域内所关心的对象或者事件的空间位置信息，然后根据ODVS与高速球摄像机之间的视场空间映射关系，指示高速球摄像机快速的转动到希望的定点位置进行局部监控。本发明提供一种实现多目标自动跟踪、全方位视觉大视场内自动摄取监控对象目标、实现实时动态、智能的过程监控的基于全方位视觉传感器的立体化智能摄像设备。

Description

基于全方位视觉传感器的立体化智能摄像设备

技术领域

本发明涉及一种智能摄像设备，尤其是全方位视觉传感器、高速球摄像机、计算机视觉、动态图像理解、机电一体化设计等技术在立体化智能摄像设备方面的应用。

背景技术

高速球摄像机以具有快速旋转、预置位、巡视轨迹、坐标功能、自动归位功能、长焦限速功能、夜视功能、外形美观和环境融合好等显著特点，正成为平安城市监控工程的新宠，鉴于智能高速球摄像机具有其他摄像机无法比拟的优势，在智能大厦监控、银行保安、远程教育、商场、机场、车站、道路、广场、小区、校园、地铁等室内外监控领域中得到了广泛的应用。

目前一些智能高速球摄像机已经能实现自动跟踪单个对象，但是在多目标对象情况下却无法实现多目标自动跟踪；另外即使在手动操控或定点巡逻时，依然存有时间上的监控死角问题；尤其在控制高速球摄影机转动时，因为只能控制向上/向下/向左/向右等运动，往往无法很快的将高速球摄影机转动到希望的位置，或者说不知道要控制高速球摄影机转动到什么地方，造成监控效率的降低；另外在实际应用中，摄像机即使抓拍到了监控对象，在事后确认过程中由于监控对象在整个视频图像上所占的比例过小，而造成了无法确认该监控对象是谁等问题。从全局监控和局部监控的观点来说，上述的几个问题关键点是由于让高速球摄像机担任了全局监控角色所引起的，而高速球摄像机最胜任的角色应该是某个空间位置的局部监控。

发明内容

为了克服已有智能摄像设备存在的多目标自动跟踪困难、存在着监控死角、高速球摄影机转动的盲目性的不足，本发明提供一种实现多目标自动跟踪、全方位视觉大视场内自由摄取目标、实现实时动态、智能的过程监控的基于全方位视觉传感器的立体化智能摄像设备。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的立体化智能摄像设备，包括固定支架、安装在固定支架上的高速球摄像机以及用于控制高速球摄像机进行抓拍的视频数据微处理器，所述的立体化智能摄像设备还包括用于获取监控领域内全方位视频数据的全方位视觉传感器，所述全方位视觉传感器包括用以反射监控领域中物体的折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明外罩和摄像单元，所述的折反射镜面位于透明外罩的上方，折反射镜面朝下，黑色圆锥体固定在折反射镜面的底部中央，所述摄像单元位于所述折反射镜面的焦点位置，所述透明外罩安装在固定支架上，所述折反射镜面、黑色圆锥体、透明外罩和摄像单元在同一中心轴线上；所述的视频数据微处理器包括：ODVS的标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；

ODVS与高速球摄像机之间的视频数据融合模块，用于控制高速球摄像机的转动与调焦，使得高速球摄像机能对准所跟踪目标对象进行特写抓拍或者摄像；

虚拟线定制模块，用于定制在监控领域内的敏感区域检测线，虚拟线定制在监控领域的出入口处；

目标对象ID号和文件夹的自动生成模块，用于对刚进入敏感区域检测线的目标对象进行命名，当目标对象进入监控范围的敏感区域内时，系统自动会产生一个目标对象ID号并同时生成一个以该目标对象ID号命名的文件夹，用于存放该目标对象的特写图像或者视频图像；

多对象目标跟踪模块，用于跟踪监控领域内的多目标对象，包括：

自适应背景消减单元，用于在底层特征层将监控领域背景中把前景对象目标部分的像素点提取出来，混合高斯分布模型来表征图像帧中每一个像素点的特征；设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k    (12)

式(12)中的下标t表示时间，各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新；

阴影抑制单元，用于通过形态学运算实现，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

连通区域标识单元，用于采用八连通区域提取算法提取前景目标对象；

跟踪处理单元；用于基于目标颜色特征跟踪算法，利用目标对象的颜色特征在视频图像中找到运动目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，在连通区域标识单元处理后所得到的目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现多目标对象的自动跟踪；

监控视频数据传输模块，用于将动态感知到的包含有跟踪目标对象视频数据传输给监控中心。

作为优选的一种方案：所述折反射镜为双曲面镜，所述摄像单元位于所述双曲面镜的虚焦点位置，所述固定支架上的外螺纹与连接5的内螺纹连接，将高速球摄像机与连接件的内螺纹连接。

作为优选的另一种方案：所述折反射镜为双曲面镜，所述摄像单元位于所述双曲面镜的实焦点位置，双曲面镜的中间留有一个小孔，在双曲面镜的前面配置有一个圆弧副镜，圆弧副镜的中心与双曲面镜的虚焦点重合，圆弧副镜的中部留有一个小孔，在该小孔中嵌入一个广角镜头。

进一步，所述的透明外罩呈碗状，即由半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，在半圆球部分的半径处与圆锥部分进行过渡。

再进一步，所述视频数据融合模块的标定方法为：以全景图像中心为圆心，根据需要将全景图像分成圆环，然后将每个圆环划分等份，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小；根据ODVS距地面的高度、高速球摄像机空间位置和摄像头焦距等参数，依次确定高速球摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

更进一步，在所述的目标对象ID号和文件夹的自动生成模块中，图像文件的命名方式根据抓拍的次数来确定，视频图像文件也是根据摄像装置以及摄像先后顺序来命名；由于全方位视觉传感器一直在拍摄，因此它的视频文件命名为ODVS.avi；高速球摄像机第一次拍摄的摄像就取名为1.avi。

所述全方位视觉传感器的摄像单元和高速球摄像机分别用螺钉固定在固定板上，固定板的上部铺设与全方位视觉传感器摄像单元、高速球摄像机连接的视频线、控制线和电源线，固定板的下部露出全方位视觉传感器摄像装置和高速球摄像机的获取视频图像部分。

本发明的技术构思为：近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS由于安放位置自由，可与高速球摄像机设计成一体化；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动目标时算法更加简单；可以获得大范围场景的实时图像。这种ODVS摄像机主要由一个CCD(或者CMOS)摄像机和正对着摄像单元的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD(或者CMOS)摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但是ODVS也存在着不能对监控对象目标进行特写抓拍，无法得到跟踪对象目标详细信息，ODVS最胜任的角色应该是大范围空间的全局视频监控。

自动跟踪和智能识别是智能化监控的一个重要特征。而智能识别是建立在实现了大范围的、全局的视频图像获取以及多目标自动跟踪基础上的，另外还需要对监控领域内所关心的对象、事件、对象的行为进行有效分析，从而使得让高速球摄像机知道要转动需要到什么地方去并对其进行局部的特写摄像，使得全局的监控与局部的监控实现完美的结合。

另外，通过ODVS的特殊设计能使得监控对象的空间位置与该对象在成像平面上的位置是可方便计算的，实现监控对象目标的定位的算法十分简单，加上目前高速球摄像机都具备了坐标功能，容易实现ODVS与高速球摄像机在空间位置上的信息融合。让ODVS实现全局的实时监控，而让高速球摄像机实现所关心的对象或者事件出现地方的局部监控，各行其责，各自发挥自己的特长，协同完成智能监控。

本发明的有益效果主要表现在：1)能同时连续监控360度全景空间内的所有监控对象活动、行为以及事件，使得视频海量数据得到快速加工处理，运用动态感知录像功能可减少保存视频图像数据存储空间以及视频图像传输量；2)能缩短跟踪对象目标确认时间；3)所监控的事件发生的当时在发生事件的视频图像上做上检索标记，能节省浏览已发生事件的时间；4)基于目标对象行动、行为以及事件而不是环境变化的智能跟踪，提高了高速球使用寿命；5)聚焦到某一对象目标时，仍能保持对全景的不间断的监控，实现了全局监控与局部监控的完美统一；6)能自动实现多目标的实时跟踪，通过控制策略通过对高速球的转动位置控制实现对多个对象目标的抓拍，实现了立体化智能监控；7)能实现使被识别者在无意识状态下的人脸识别等更高级的识别应用做好了基础；8)该新型立体化智能摄像设备采用一体化设计方案，同时采用了户外与室内两种类型，能满足各种监控场合的实际需求，安装维护方便。这种新型立体化智能监控手段的推出与应用将大大提高人们对事物的动态感知，辨别与监控能力，为各个领域尤其是军事、国防等领域降低风险，提高安全性作出卓越贡献。

附图说明

图1为一种ODVS的结构图；

图2为一种ODVS与高速球一体化设计的新型立体式摄像装置结构图(室外模式)；

图3为一种高速球摄像机的结构图；

图4为一种无死角的ODVS的结构图；

图5为采用消除了死角的ODVS所拍摄的图像；

图6为摄像头镜头与广角镜头进行组合的光学原理图；

图7为一种ODVS与高速球一体化设计的新型立体式摄像装置结构图(室内模式)；

图8为ODVS的成像原理说明示意图；

图9为ODVS与高速球摄像机之间的视场空间映射关系示意图；

图10为多对象目标跟踪的处理流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图10，一种基于全方位视觉传感器的立体化智能摄像设备，通过采用一个ODVS来获取现场360°监控场景的视频图像，微处理器将采集到的全景视频图像进行动态图像理解等处理，得到监控领域内所关心的对象或者事件的空间位置信息，然后根据ODVS与高速球摄像机之间的视场空间映射关系，指示高速球摄像机快速的转动到希望的定点位置进行局部监控，同时能获得全局的监控视频信息和监控对象、事件的详细局部视频信息，解决了目前视频监控中的多目标自动跟踪困难、存在着监控死角、高速球摄影机转动的盲目性等问题，实现了360°全方位监控与局部调节跟踪的完美结合，装置可在360°全方位大视场内自由摄取目标；同时自动跟踪锁定目标，实现全自动的、全方位的、同步的、实时动态的、智能的过程监控，监控过程完全无需人为操作。

首先是ODVS摄像装置的光学部分的制造技术方案，ODVS包括直垂向下的折反射镜、透明外罩、摄像单元、固定支架、上固定盖，所述的折反射镜为双曲面镜，所述的摄像单元包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)    (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)    (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的需焦点的距离。

为了使得透明外罩不会产生内壁的反射干扰光，如图1所示。具体做法是将透明外罩设计成碗状，即半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，这样能避免在透明外罩发生反射干扰光，在半圆球部分的半径处与圆锥部分进行过渡，圆锥部分的倾斜角度为2～3°，主要是考虑在模具生产时的脱模斜度，ODVS的结构如图1所示；

ODVS摄像装置的装配技术方案：ODVS的装配关系如图2所示，首先将摄像单元2通过螺钉固定在固定支架4内，然后将固定支架4套入透明外罩6的圆孔内，由于在固定支架4的外径上开有外螺纹，因此通过密封用螺帽10将固定支架与透明外罩6进行螺纹连接；接着是将折反射镜11与上盖8通过螺钉进行连接，然后将固定好折反射镜11的上盖8与上述固定好摄像单元后的透明外罩6通过螺钉9进行连接，形成一个ODVS摄像装置；

一种户外使用的ODVS与高速球一体化设计的新型立体式摄像装置的连接方案：如图2所示，连接件5开有与ODVS摄像装置的固定支架4上的外螺纹和高速球1的外螺纹相配合的内螺纹，将ODVS摄像装置的固定支架4上的外螺纹与连接件5的内螺纹进行连接，将高速球1与连接件5的内螺纹进行连接，使得ODVS与高速球形成一体；连接件5的中部开有一个圆孔，用于与立杆7的连接；连接件5和立杆7的内部是中空的，用于穿引与ODVS摄像装置、高速球连接的视频线、控制线和电源线；该一体化设计方案主要用于在户外模式的立体智能化监控；

360°全方位进行摄像的原理：空间上的一个点A(X，Y，Z)17经折反射镜面11反射到透镜上对应有一个投影点P(x，y)19，通过透镜的光线投射到CCD(CMOS)摄像单元进行成像，微处理器24通过视频接口23读入该环状图像，读取的环状图像如图9所示；

所述的微处理器还包括：ODVS的标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；ODVS与高速球摄像机1之间的视频数据融合模块，用于控制高速球摄像机1的转动与调焦，使得高速球摄像机1能对准所跟踪目标对象进行特写抓拍或者摄像；虚拟线定制模块，用于定制在监控领域内的敏感区域检测线，一般虚拟线定制在监控领域的出入口处；目标对象ID号和存放跟踪目标对象的图像或者视频图像的文件夹的自动生成模块，用于对刚进入敏感区域检测线的目标对象进行命名，当目标对象进入监控范围的敏感区域内时，系统自动会产生一个目标对象ID号并同时生成一个以该目标对象ID号命名的文件夹，用于存放该目标对象的特写图像或者视频图像；多对象目标跟踪模块，用于跟踪进入监控领域内的多目标目标对象；监控视频数据传输模块，用于将动态感知到的包含有跟踪目标对象视频数据传输给监控中心；

所述的ODVS与高速球摄像机1之间的视频数据融合模块，用于建立ODVS摄像装置和高速球摄像机1之间的空间映射关系，用于当ODVS检测到对象目标时，使得高速球摄像机1能根据自己与ODVS的对应关系标定表进行快速定位。标定方法为：以全景图像中心为圆心，根据需要将全景图像分成一些圆环，如图9所示，然后将每个圆环划分几等份，可根据实际需要划分。这样，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小。然后，根据ODVS距地面的高度、高速球摄像机空间位置和摄像头焦距等参数，依次确定高速球摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。如果ODVS检测到有对象目标存在，系统就可以根据该对象目标所在区域和标定表自动调节各个快速球型摄像机，对该对象目标进行特写抓拍或者摄像；目前市场上销售的高速球摄像机可以带80～256个预置点，为了达到快速地将高速球摄像机转动到ODVS所检测到的对象目标并迅速对焦，实现ODVS与高速球摄像机的空间位置信息融合，在本专利中将ODVS的视场分为128个区域，如附图9所示，每个区域对应着高速球摄像机的一个预置点，因此只要在ODVS所拍摄的视频图像上划分好128个区域，然后对每个区域的中心作为高速球摄像机的预置点；在ODVS检测到跟踪目标对象在某个检测区域出现时，微处理器24得到该信息后控制高速球摄像机1到与该区域所对应的预置点，对所跟踪的目标对象进行特写抓拍或者录像，实现ODVS的动态感知录像功能；

所述的目标对象ID号，用于产生一个能标识跟踪的目标对象、存储对该目标对象的进入监控领域的时间数据进行记录的主键，目标对象ID号的命名规则是：YYYYMMDDHHMMSS^*以14位符号命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；均由计算机的系统时间自动产生；

所述的目标对象ID号和存放跟踪目标对象的图像或者视频图像的文件夹的自动生成模块，用于保存跟踪的目标对象的特写图像和视频图像，当目标对象进入监控范围(最外的虚拟线)时，系统自动产生一个目标对象ID号，同时在某个存放图像的文件夹内创建一个与目标对象ID号同名的文件夹，用来存放该目标对象的特写图像以及视频图像，图像文件的命名方式是根据抓拍的次数来确定的，如果第一次抓拍的图像就命名为1.jpg，视频图像文件的也是根据摄像装置以及摄像先后顺序来命名，由于ODVS一直在拍摄，因此它的视频文件就只有一个，本发明中就命名为ODVS.avi；如果高速球摄像机第一次拍摄的摄像就取名为1.avi；上述的处理主要是有多目标跟踪问题，高速球摄像机要分别对各个目标进行抓拍，当监控范围内仅存在一个跟踪目标对象时，高速球摄像机就始终跟踪该对象进行摄像；

所述的多对象目标跟踪模块，用于跟踪进入监控领域内的多目标对象目标；为计算活动目标对象的运动方向、各种事件的检测以及对象目标特征的定位抓拍提供技术基础；在实现多对象目标跟踪时，首先要在底层特征层将监控领域背景中把前景对象目标部分的像素点提取出来。提取对象目标部分的像素点的方法主要由自适应背景消减、阴影抑制和连通区域标识三个部分组成，其顺序图如附图10所示；

所述的自适应背景消减，用于实时分割对象目标，我们采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是：使用混合高斯分布模型来表征图像帧中每一个像素点的特征；当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集来表征当前的背景；如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点。

针对图像的YCrCb颜色空间中的亮度值Y分量进行检测。自适应混合高斯模型对每个图像点采用了多个高斯模型的混合表示，设用来描述每个点颜色分布的高斯分布共有K个，分别标记为

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k    (12)

式(12)中的下标t表示时间。各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值。在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配。若匹配，则判定该点可能为前景点，否则为前景点。若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新。

所述的连通区域标识，用于提取前景目标对象，连通区域标识的方法很多，本发明中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本发明中利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，具体做法是：先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc可以认为是对初始前景点集F进行填补小孔和去除孤立噪声点的结果。因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}，通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。

经过以上三个步骤就可以从静态的监控领域背景中将动态的前景目标对象提取出来，并且可以得到基于目标对象的一些初始信息，如目标对象的大小和空间位置等等。在监控领域背景中提取出前景目标对象后，接着的处理是对监控领域内的目标对象进行跟踪处理；本发明中采用基于目标颜色特征跟踪算法，该算法是对MEANSHIFT算法的进一步改进，在该算法中利用目标对象的颜色特征在视频图像中找到运动目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜寻窗口的初始值设置为运动目标当前的位置和大小，由于搜寻窗口就在运动目标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使该算法具有了良好的实时性。同时该算法是通过颜色匹配找到运动目标，在目标对象运动的过程中，颜色信息变化不大，所以该算法具有良好的鲁棒性。在连通区域标识处理后所得到的目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现多目标对象的自动跟踪；

所述的监控视频数据传输模块，用于将动态感知到的包含有跟踪目标对象视频数据传输给监控中心；本发明中监控视频数据传输根据事件发生中和事件发生后两种进行传输，事件发生中的视频图像的传输与目前所采用的技术类同，将ODVS和高速球摄像机所拍摄到的视频图像进行压缩经网络传输给监控中心，监控中心根据传输过来的视频图像进行解压缩，然后显示在控制屏上；事件发生后的视频图像的传输，将存放跟踪目标对象的图像或者视频图像的文件夹中的ODVS视频文件、高速球摄像机的视频文件或者是抓拍的图像文件经压缩后打包经网络传输给监控中心，监控中心根据传输过来的打包文件分别对文件夹中的视频文件进行解压缩，然后显示在控制屏上。

实施例2

参照图1～图10，本实施例的实现原理与实施例1相同，与实施例1户外模式的立体智能化视频监控装置不同的是：在室内模式的立体智能化视频监控中，需要从美观角度来考虑，希望所有的引线隐蔽且没有立杆；需要从人的心理方面考虑，不会给人已一种被监视的感觉；因此需要对ODVS摄像装置进行适合室内模式的设计；一种无死角的ODVS的结构图如图4所示，本实施例中将摄像单元2配置在双曲面镜11的后面，安置在双曲面镜11的实焦点处，双曲面镜的中间留有一个小孔，摄像单元2能通过该小孔拍摄到双曲面镜11的前面的视频信息；在双曲面镜11的前面配置有一个圆弧副镜12，圆弧副镜12的中心与双曲面镜11的虚焦点重合，圆弧副镜12的中部留有一个小孔，在该小孔中嵌入一个广角镜头13；全方位视频信息在双曲面镜11折反射后经圆弧副镜12进行二次折反射，然后通过双曲面镜的小孔在摄像单元2中成像；另外在双曲面镜11正前方的物体通过广角镜头13在广角镜头13与摄像单元2的镜头之间成像，称为第一成像点，该成像点通过双曲面镜的小孔在摄像单元的镜头的焦点处成像；

经过上述设计的ODVS所拍摄出来的图像效果图如图5所示，图5中部圆部分是由广角镜头所拍摄的图像，外部圆环部分是由双曲面镜经圆弧副镜进行二次折反射所得到的视频图像，这样设计ODVS消除了原有ODVS的死角部分，并且通过摄像头镜头与广角镜头的组合方式加上双曲面镜以及圆弧副镜的设计，能将广角镜头的视觉范围覆盖原来的ODVS的死角部分；

所述的双曲面镜、双曲面镜上的小孔、摄像单元、透明外罩、圆弧副镜、广角镜头在同一中心轴线上；摄像单元的镜头安置在双曲面镜的实焦点的位置上；

通过广角镜头来扩展视野范围的原理为：本发明中将广角镜头配置在圆弧副镜的中部，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图6是摄像单元镜头与广角镜头的位置关系图。将广角镜头配置在圆弧副镜的中部，广角镜头与摄像单元镜头之间成像，称为第一成像点，该成像点通过摄像单元镜头在焦点处成像。这里将摄像单元镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像单元与摄像单元的镜头的焦点距离作为S1、从摄像单元的镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(6\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(7\right)$

d＝S2+S3    (8)

使公式(8)成立的话，也就是将图4中的从双曲面镜的实焦点上的摄像单元镜头距离为d的地方配置广角镜头的话，就可以得到图5中图像中部所显示的广角成像图。

对于图4中将摄像机镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(9\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(10\right)$

为了将合成镜头的视场与双曲面镜的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=\frac{b}{2a}---\left(11\right)$

无死角的ODVS摄像装置的装配技术方案：ODVS的装配关系如图4所示，首先将折反射镜11嵌入到上盖8内，然后将摄像单元2通过螺钉固定在上盖8上；接着将广角镜头13嵌入到圆弧副镜(二次反射镜面)12孔内，接着是将组装好的圆弧副镜嵌入到透明外罩6的孔内；最后将固定好折反射镜11和摄像单元2的上盖8与上述固定好的广角镜头13和圆弧副镜12的透明外罩6通过螺钉9进行连接，形成一个无死角的ODVS摄像装置；

一种室内使用的ODVS与高速球一体化设计的新型立体式摄像装置的连接方案：如图7所示，将固定板14设计成与室内装饰板同样尺寸大小，将无死角的ODVS摄像装置和高速球摄像机1分别用螺钉固定在固定板14上，固定板14的上部用于铺设与ODVS摄像装置、高速球摄像机连接的视频线、控制线和电源线，固定板14的下部只暴露出ODVS摄像装置和高速球摄像机1的获取视频图像部分。

Claims (7)

1、一种基于全方位视觉传感器的立体化智能摄像设备，包括固定支架、安装在固定支架上的高速球摄像机以及用于控制高速球摄像机进行抓拍的视频数据微处理器，其特征在于：所述的立体化智能摄像设备还包括用于获取监控领域内全方位视频数据的全方位视觉传感器，所述全方位视觉传感器包括用以反射监控领域中物体的折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明外罩和摄像单元，所述的折反射镜面位于透明外罩的上方，折反射镜面朝下，黑色圆锥体固定在折反射镜面的底部中央，所述摄像单元位于所述折反射镜面的焦点位置，所述透明外罩安装在固定支架上，所述折反射镜面、黑色圆锥体、透明外罩和摄像单元在同一中心轴线上；所述的视频数据微处理器包括：

ODVS的标定模块，用于建立监控空间的图像与所获得的视频图像的对应关系；

ODVS与高速球摄像机之间的视频数据融合模块，用于控制高速球摄像机的转动与调焦，使得高速球摄像机能对准所跟踪目标对象进行特写抓拍或者摄像；

虚拟线定制模块，用于定制在监控领域内的敏感区域检测线，虚拟线定制在监控领域的出入口处；

目标对象ID号和文件夹的自动生成模块，用于对刚进入敏感区域检测线的目标对象进行命名，当目标对象进入监控范围的敏感区域内时，系统自动会产生一个目标对象ID号并同时生成一个以该目标对象ID号命名的文件夹，用于存放该目标对象的特写图像或者视频图像；多对象目标跟踪模块，用于跟踪监控领域内的多目标对象，包括：

自适应背景消减单元，用于在底层特征层将监控领域背景中把前景对象目标部分的像素点提取出来，混合高斯分布模型来表征图像帧中每一个像素点的特征；设用来描述每个点颜色分布的高斯分布共有K个，分别标记为：

η(Y_t，μ_t，i，∑_t，i)，i＝1，2，3…，k    (12)

式(12)中的下标t表示时间，各高斯分布分别具有不同的权值和优先级，再将K个背景模型按照优先级从高到低的次序排序，取定适当的背景模型权值和阈值，在检测前景点时，按照优先级次序将Y_t与各高斯分布模型逐一匹配，若匹配，则判定该点可能为前景点，否则为前景点；若某个高斯分布与Y_t匹配，则对该高斯分布的权值和高斯参数按一定的更新率进行更新；

阴影抑制单元，用于通过形态学运算实现，利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔，先对消除了背景模型后的前景点集F分别进行膨胀和腐蚀处理，得到扩张集Fe和收缩集Fc，通过处理所得到的扩张集Fe和收缩集Fc是对初始前景点集F进行填补小孔和去除孤立噪声点的结果；因此有以下关系Fc＜F＜Fe成立，接着以收缩集Fc作为起始点，在扩张集Fe上检测连通区域，然后将检测结果记为{Rei，i＝1，2，3，…，n}，最后将检测所得的连通区域重新投影到初始前景点集F上，得到最后的连通检测结果{Ri＝Rei∩F，i＝1，2，3，…，n}；

连通区域标识单元，用于采用八连通区域提取算法提取前景目标对象；

跟踪处理单元；用于基于目标颜色特征跟踪算法，利用目标对象的颜色特征在视频图像中找到运动目标对象所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜寻窗口，在连通区域标识单元处理后所得到的目标对象的方位以及大小，然后将处理结果提交给目标颜色特征跟踪算法，以实现多目标对象的自动跟踪；

监控视频数据传输模块，用于将动态感知到的包含有跟踪目标对象视频数据传输给监控中心。

2、如权利要求1所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：所述折反射镜为双曲面镜，所述摄像单元位于所述双曲面镜的虚焦点位置，所述固定支架上的外螺纹与连接5的内螺纹连接，将高速球摄像机与连接件的内螺纹连接。

3、如权利要求1所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：所述折反射镜为双曲面镜，所述摄像单元位于所述双曲面镜的实焦点位置，双曲面镜的中间留有一个小孔，在双曲面镜的前面配置有一个圆弧副镜，圆弧副镜的中心与双曲面镜的虚焦点重合，圆弧副镜的中部留有一个小孔，在该小孔中嵌入一个广角镜头。

4、如权利要求1-3之一所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：所述的透明外罩呈碗状，即由半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，在半圆球部分的半径处与圆锥部分进行过渡。

5、如权利要求4所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：所述视频数据融合模块的标定方法为：以全景图像中心为圆心，根据需要将全景图像分成圆环，然后将每个圆环划分等份，一幅全景图像就被规则地分成了数个区域，每个区域有它特定的角度、方向和大小；根据ODVS距地面的高度、高速球摄像机空间位置和摄像头焦距等参数，依次确定高速球摄像机要检测的区域所需要水平、垂直旋转的角度以及焦距。

6、如权利要求5所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：在所述的目标对象ID号和文件夹的自动生成模块中，用于保存跟踪的目标对象的特写图像和视频图像，当目标对象进入监控范围(最外的虚拟线)时，系统自动产生一个目标对象ID号，同时在某个存放图像的文件夹内创建一个与目标对象ID号同名的文件夹，特写图像文件的命名方式根据抓拍的次数来确定，全方位视觉传感器一直在拍摄，将其视频文件命名为ODVS.avi；高速球摄像机第一次拍摄的摄像就取名为1.avi。

7、如权利要求3所述的基于全方位视觉传感器的立体化智能摄像设备，其特征在于：所述全方位视觉传感器的摄像单元和高速球摄像机分别用螺钉固定在固定板上，固定板的上部铺设与全方位视觉传感器摄像单元、高速球摄像机连接的视频线、控制线和电源线，固定板的下部露出全方位视觉传感器摄像装置和高速球摄像机的获取视频图像部分。

Images