CN1878297A - 全方位视觉装置 - Google Patents

Abstract

一种全方位视觉装置，包括全方位摄像单元、微处理器、存储器、显示装置，全方位摄像单元由反射部件、透镜、摄像部件组成，反射部件包括双曲线面镜，CCD摄像部件位于双曲线面镜的虚焦点位置，透镜位于CCD摄像部件与双曲线面镜之间，摄像部件通过视频输入接口与微处理器通信连接，显示装置与微处理器的视频输出接口连接，微处理器包括图像采集模块，图像存储模块，图像预处理模块，用于将采集的图像去噪、平滑处理；图像初始化模块，图像展开处理模块，用于将CCD摄像部件获得的圆形全方位图像通过几何变换展开成矩形柱面全景图像；图像输出模块。本发明提供一种获取实时全方位图像、图像不变形、观察精度高的全方位视觉装置。

Description

全方位视觉装置

(一)技术领域

本发明属于光学技术、计算机图像处理技术和网络通信技术在远程监控领域方面的应用，主要适用于在道路车辆超速、车流量的监控，同时也适用于一些重要场所的监视(如老人的监护、超市以及商店的防盗监视等)、电视会议、手机摄像、城市风光和景点的介绍、远程教育、自动导航与定位和医学等全局视频信息获取领域。

(二)背景技术

目前使用的大多数图像系统是由视频摄像机(或照相机)和镜头组成。多数镜头的投影成像模型是单个投影中心的透视。因为成像装置(如CCD阵列)的大小有限，接收入射光时镜头周围的阻挡，镜头只具有一个园锥区域的小视野，而不是一个半球。为了获得全景图像，旋转成像系统和采用鱼眼镜头是两种传统的方法。旋转成像系统获得全景图像的方法是绕投影中心旋转成像系统，旋转过程中获得的一系列图像拼接成场景(景物)的全景图像。这种方法的缺点是需要旋转运动的部件、系统难以准确定位，并且要使成像系统旋转一周才能获得全景图像，获取全景图像花费的时间长。所以这种方法一般只应用于静态场景和非实时应用的领域。采用鱼眼镜头取代传统的镜头，因为鱼眼镜头非常短的焦距，可将成像系统的视野扩大到半个球或更大的场景。但是要设计制作使所有入射光交会于一点产生固定的视点的鱼眼镜头十分困难。目前已经商业化的鱼眼镜头不能构建场景的无失真的透视图像；此外如果视野要半球，镜头更大更复杂，价格昂贵。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。

这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反光镜组成。反光镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着较大幅度的压缩和形变，这就影响了它对远距离物体的观察精度。

这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此如何通过全方位光学成像技术、计算机图象处理技术和网络技术通信技术为监控领域提供一种快速、可靠的视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，获取实时不变形的透视和全景图像及录像而不需要任何可移动的部件。

(三)发明内容

为了克服已有的全方位摄像机对图像存在较大幅度的压缩和形变、观察精度低的不足，本发明提供一种获取实时全方位图像、图像不变形、观察精度高的全方位视觉装置。

本发明解决其技术问题所采用的技术方案是：

一种全方位视觉装置，包括全方位摄像单元、微处理器、存储器、显示装置，所述的全方位摄像单元由反射部件、透镜、摄像部件组成，所述的反射部件包括双曲线面镜，CCD摄像部件位于双曲线面镜的虚焦点位置，透镜位于CCD摄像部件与双曲线面镜之间，所述的摄像部件通过视频输入接口与微处理器通信连接，所述的显示装置与微处理器的视频输出接口连接，所述的微处理器包括图像采集模块，用于采集CCD摄像部件上的图像；图像存储模块，用于将采集的图像数据存入存储器；图像预处理模块，用于将采集的图像去噪、平滑处理；所述的微处理器还包括：图像初始化模块，用于确定所采集的圆形全方位图像的中心点的位置和内径为r、外径为R，查找半径变化时相应圆周上像素平均值变化最大的值所对应的(r，x^* ₀，y^* ₀)，其计算式为：

${\max }_{(r,{x^{*}}_0,{y^{*}}_0)}\left|\frac{1}{\mathrm{\Δr}}\underset{k}{\mathrm{\Σ}}\right\{G_{\mathrm{\σ}}\left(r\right)\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})\left\}\right|...\left(1\right)$

其中：G_σ(r)＝G_σ((n-k)Δr)-G_σ((n-k-1)Δr)    (2)

$\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})=I\left[\left(\mathrm{k\Δ}r\cos \left(\mathrm{m\Δ\β}\right)+{x^{*}}_0\right),(\mathrm{k\Δ}r\sin \left(\mathrm{m\Δ\β}\right)+{y^{*}}_0)\right]...\left(3\right)$

I(x^*，y^*)为图像的像素，r为圆周的半径，G为对原图像进行平滑的高斯模板，Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长；

图像展开处理模块，用于将CCD摄像部件获得的圆形全方位图像通过几何变换展开成矩形柱面全景图像；图像输出模块，用于将展开后的矩形柱面全景图像输出到显示装置。

进一步，所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)cosβ                 (5)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

或者是，所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

P^**(x^**，y^**)← M× Q^*(x^*，y^*)    (6)

上式中， Q^*(x^*，y^*)为全方位图像上的各个像素坐标的矩阵， M为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵， P^**为矩形柱面全景图像上的各个像素坐标的矩阵。

又或者是，所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r^*为图像上任意点距离内圆的径向长度，方位角为：β＝tan^-1(y^*/x^*)，建立极坐标(r^*，β)，与全方位内外圆边界的交点坐标分别为(x^* _inner(β)，y^* _inner(β))和(x^* _outer(β)，y^* _outer(β))；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标(r^*，β)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，其计算式为：

$\left\{\begin{array}{c}{x}^{**}(r^{*},\mathrm{\β})=(1-r^{*})x^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r^{*}{x}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\\ y^{**}(r^{*},\mathrm{\β})=(1-r^{*})y^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r^{*}{y}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\end{array}\right....\left(7\right).$

再进一步，以上三种展开单元的计算方法得到全景图像，对图像进行进一步的处理。图像展开处理模块还包括：插值计算单元，用于消除在所述的展开单元取整计算所带来的误差，计算得到的矩形柱面全景图像的某个像素坐标P^**(x^**，y^**)的像素点为(k₀，j₀)，所述的像素点坐标落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四个相邻整数像素为顶点坐标所构成的正方形内，用式(8)插值计算：

P^**(x^**，y^**)＝(P^*(x^*+1，y^*)-P^*(x^*，y^*))*(k0-k)+(P^*(x^*，y^*+1)-P^*(x^*，y^*))*(j0-j)+(P^*(x^*+1，y^*+1)+P^*(x^*，y^*)-P^*(x^*+1，y^*)-P^*(x^*，y^*+1))*(k0-k)*(j0-j)+P^*(x^*，y^*)(8)

所述的插值计算单元的输入端连接展开计算单元的输出端，所述的插值计算单元的输出端连接图像输出模块。

更进一步，图像展开处理模块还包括：图像增强单元，用于对图像输出单元输出的像素均衡化，计算式为：

$S\left(r_k\right)=T\left(r_k\right)=\frac{1}{N}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}N\left(r_i\right)...\left(9\right)$

上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为r_k，S(r)为变换后图像的灰度分布函数，N为图像中的像素总数，N(r_i)为图像中灰度级为r_i的像素总数。

所述的图像预处理模块包括：图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波，关于二维Gabor滤波器的设计可参阅论文，Daugman JG.Uncertainty relation for resolution in space，spatial frequency，and orientationoptimized by two-dimensional visual cortical filters[J].Opt.Soc.Amer-A，Vol.2，pp：1160-1169，1985.；)；图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像，关于二维FFT变换实现可参阅论文，Daugman J G.How Iris Recognition Works[J].IEEE Transactions onCircuits and Systems for Video Technology，v14，n1，January，2004，p21-30；)。

本发明的光学部分的结构为：所述的反射部件还包括非透光圆锥体、透明圆柱体，所述的双曲线面镜位于圆柱体的上端，且面部的凹口向内伸入圆柱体内，所述的双曲线面镜的底面为反射面；所述的反射面中央固定连接所述的圆锥体，所述的圆锥体的锥角向下；所述的双曲线面镜、圆锥体、圆柱体的旋转轴在同一中心轴线上；所述的透镜位于圆柱体内的下方；所述的摄像部件包括CCD摄像装置、底座，所述的CCD摄像装置安装在底座上部中央，所述的底座上开有与所述的圆柱体的壁厚相同的圆槽；所述的圆锥体填充非透光性物质或者用遮光性涂料来喷涂其表面；所述的底座上设有透镜固定架，所述的透镜安装在透镜固定架上。

所述的微处理器采用嵌入式处理器和嵌入式操作Linux系统，所述的图像采集模块、图像存储模块、图像预处理模块、全方位图像展开处理模块、图像输出模块嵌入所述的微处理器。

所述的视觉装置为上固定式，所述的圆柱体的上端通过螺钉与天花板固定连接。或者，所述的视觉装置为下固定式，所述的底座通过悬臂安装在电线杆或墙面上，所述的圆柱体的上方安装防雨遮阳帽。

本发明的工作原理是：图1、图2是表示本发明的全方位成像装置的光学系统的原理图，图1是仰视图，图2是正视图。双曲线面镜1有2个焦点(0，0，c)、(0，0，-c)，CCD摄像部件6配置在与双曲线面镜中心轴同轴的一个焦点(0，0，-c)上。根据这样配置，能对CCD传感器周围360°方位进行摄像。如图2所示，进入双曲线面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜5中成像，在该成像平面上的一个点P₁(x^* ₁，y^* ₁)对应着实物在空间上的一个点的坐标A(x₁，y₁，z₁)，大五角星为三维空间上的一个点A(x₁，y₁，z₁)；中五角星为入射到双曲线面镜上的图像的三维空间坐标P₁(x₁，y₁，z₁)。

图1、图2中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1  (Z＞0)            (10)

$c=\sqrt{a^2+b^2}...\left(11\right)$

β＝tan^-1(Y/X)                                (12)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (13)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]...\left(14\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双曲面镜的虚焦点的距离。

由式(1)可以在三维空间上作出一个双叶双曲面，如图3所示，该双曲面有2个焦点(0，0，c)、(0，0，-c)，并对称与XY平面，本专利将CCD配置在与双曲面中心轴同轴的另一个焦点(0，0，-c)上，替换在XY平面下的一个双曲面，如图4所示，进入双曲线面镜的中心(0，0，c)的光，根据双曲面的镜面特性向着其虚焦点(0，0，-c)折射。

根据图5、图6来说明360°全方位进行摄像的原理，空间上的一个点A(x₁，y₁，z₁)(图中用大五角星表示)经双曲线面镜1进入凹部镜面，入射到双曲线面镜1上的图像的空间坐标点P₁(x₁，y₁，z₁)(图中用中五角星表示)，反射到透镜5上对应有一个投影点P₁(x^* ₁，y^* ₁)(图6中用小五角星表示)，通过透镜5的光线变成平行光投射到CCD摄像部件6，这时在CCD摄像部件6上成像的图像是一种发生形变的环状图像，微处理器通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示装置上。

上面提到的全方位摄像装置中有一个防止光饱和的圆锥体，因此在成像平面上有一个黑色圆形，该黑色圆形的圆心就是全方位图像的展开中心点，全方位图像中心定位是为了减少在展开过程中不同心而造成的图像失真，利用全方位图像中心定位的算法，可以检测拍到的一幅图像中迅速找到全方位图像的展开中心点，而不需要人工干预，这对于全方位摄像装置的实用化有十分重要的意义。

本专利中采用Daugman的圆模板匹配法进行全方位图像的展开中心点的定位。在拍摄获取的全方位图像中，灰度分布存在着一定的差异，一般而言全方位展开部分比圆锥体反射部分亮。然后根据全方位的形状是圆环形的情况，利用圆形检测匹配器的方法分割全方位，其数学方程为：

其中： $G_{\mathrm{\σ}}\left(r\right)=(1/\sqrt{2\mathrm{\π\σ}})e^{-({(r-r_0)}^2/{2\mathrm{\σ}}^2)},$ I(x^*，y^*)为图像的象素；r为圆周的半径；G为对原图像进行平滑的高斯模板。公式(1-1)的物理意义是，查找随着半径r变化相应圆周上象素平均值变化最大的值所对应的(r，x^* ₀，y^* ₀)，以此来确定全方位图像的展开中心点和圆锥体反射部分的边缘。卷积用来对图像进行平滑，消除区域边缘中噪声的影响，平滑模板的大小与定位的精度有关。为了方便公式(1-1)的离散化实现，利用卷积性质，把公式(1-1)转化为：

其中： $\frac{\∂G_{\mathrm{\σ}}\left(r\right)}{\∂r}\≈G_{\mathrm{\σ}}\left(n\right)=\frac{1}{\mathrm{\Δr}}{G}_{\mathrm{\σ}}\left(\mathrm{n\Δr}\right)-\frac{1}{\mathrm{\Δr}}{G}_{\mathrm{\σ}}\left((n-1)\mathrm{\Δr}\right)...(1-3)$

对公式(1-2)进行离散化，用累加和Σ来代替卷积和曲线积分，转换为：

${\max }_{(r,{x^{*}}_0,{y^{*}}_0)}\left|\frac{1}{\mathrm{\Δr}}\underset{k}{\mathrm{\Σ}}\right\{G_{\mathrm{\σ}}\left(r\right)\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})\left\}\right|...\left(1\right)$

其中：G_σ(r)＝G_σ((n-k)Δr)-G_σ((n-k-1)Δr)    (2)

$\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})=I\left[\left(\mathrm{k\Δ}r\cos \left(\mathrm{m\Δ\β}\right)+{x^{*}}_0\right),(\mathrm{k\Δ}r\sin \left(\mathrm{m\Δ\β}\right)+{y^{*}}_0)\right]...\left(3\right)$

Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长。也可以对式(14)进行改进，使得能更好的定位全方位内边缘：

其中r′略小于r，它们之间的距离是一定的，且r′随着r变化；λ为预设的值，防止分母为0。式(1-4)利用了这样一个事实，即圆锥体反射部分的灰度分布总是均匀的。因此，当搜索的圆弧与圆锥体反射部分的边缘很好匹配时，式(1-4)的分母非常小，因而式(1-4)会有一个突变值，这个突变值的位置就是全方位图像的展开中心点的位置。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。考虑到后面几个步骤的算法中，β分量即方位角度的信息是最需要的；而在竖直方向上，发生一些形变对结果几乎没有什么影响，这种展开的快速近似算法，如图7、图8、图9所示。图7为反射平面成像示意图，图8为透镜成像平面成像示意图，图9为展开平面示意图。图8是圆形全方位图像，其中内径为r，外径为R，内外径之间的是图像的有效区域，现将其展开成图9的矩形全景图，展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图图8的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图图9中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*)。下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)                (15)

r1＝(r+R)/2                         (16)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)cosβ                           (5)

从式(4)、(5)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

另一种方法是根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(6)关系。

P^**(x^**，y^**)← M× P^*(x^*，y^*)    (6)

根据式(6)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。每次在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像显示到显示器上或者保存在存储单元中或者通过Web服务发布到网页上。

再一种方法是利用极坐标系，全方位的图像内外边界都为圆形，因此可以简单地利用几何方法展开。以圆锥体反射部分的圆心为起点，与全方位内外圆边界的交点坐标分别为(x^* _inner(β)，y^* _inner(β))和(x^* _outer(β)，y^* _outer(β))，如图10所示，根据极坐标展开公式可以得到式(17)，生成不变形的全方位图像；

$\left\{\begin{array}{c}{x}^{**}(r,\mathrm{\β})=(1-r)x^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r{x}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\\ y^{**}(r,\mathrm{\β})=(1-r)y^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r{y}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\end{array}\right....\left(17\right)$

可将全方位图像中的每个点一一映射到极坐标(r，β)中。

将压缩的、圆形的全方位图像展开成矩形的柱面全景图像，由于成像平面上的某个像素P^*(x^*，y^*)与全方位图像上的点P^**(x^**，y^**)存在着非线形的几何关系，全方位图像上的点P^**(x^**，y^**)的像素可能不正好是成像平面上的某个像素P^*(x^*，y^*)，在这种情况下，本专利中采用插入法来解决小数坐标的像素值，如图11所示，假定计算得到的一个像素(k₀，j₀)，计算方法可以采用上述介绍的两种方法中的一种，像素(k₀，j₀)落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)为顶点坐标所构成的正方形内，

P^**(x^**，y^**)＝(P^*(x^*+1，y^*)-P^*(x^*，y^*))*(k0-k)+(P^*(x^*，y^*+1)-P^*(x^*，y^*))*(j0-j)+(P^*(x^*+1，y^*+1)+P^*(x^*，y^*)-P^*(x^*+1，y^*)-P^*(x^*，y^*+1))*(k0-k)*(j0-j)+P^*(x^*，y^*)(8)

通过式(8)的插值计算能够消除在展开变化时产生的取整所带来的误差，也可以采用其他一些插值计算方法，如样条法、平均法以及二次插入法等方法。

本发明的有益效果主要表现在：1、获取实时全方位图像，并通过几何计算得到全景图像，图像不变形、观察精度高；2、通过建立坐标系，近似展开算法、映射矩阵算法、极坐标算法来实现几何转换，算法更加简单，且能够获得场景的实时图像；3、非透光圆锥体向着双曲线面镜突出方向沿着中心轴线，能够防止光学画像的光饱和；4、原来在全方位视觉装置中由多个零部件组成的光学系统采用了整体式成型方式，能够降低制造成本。

(四)附图说明

图1为双曲线面镜侧的仰视图；

图2为全方位视觉光学原理图—正视图；

图3为一个双叶双曲面的三维示意图；

图4为在双叶双曲面中用CCD摄像单元替换另一个虚双曲面的示意图；

图5为全空间上的一个光点在成像平面上光路的双曲线面镜侧的仰视图；

图6为全空间上的一个光点在成像平面上光路的说明示意图；

图7为反射平面成像示意图；

图8为透镜成像平面成像的圆形全方位图像的示意图；

图9为展开平面的柱形全景图像的示意图；

图10为极坐标展开算法的图像转化示意图；

图11为像素插值图解示意图；

图12为全方位视觉装置的结构示意图；

图13为室内用(上固定式)全方位视觉装置剖面示意图；

图14为室外用(下固定式)全方位视觉装置剖面示意图；

图15为实施例1的电子单元的微处理器的内部结构框图；

图16为实施例2的电子单元的微处理器的内部结构框图；

图17为实施例3的电子单元的微处理器的内部结构框图；

图18为图像初始化单元的流程图；

图19为圆形全方位图像展开成柱状全景图像的流程图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图12、图13、图15、图18、图19，一种全方位视觉装置，包括全方位摄像单元、微处理器15、存储器17、显示装置16，所述的全方位摄像单元由反射部件、透镜5、摄像部件12组成，所述的反射部件是双曲线面镜1，CCD摄像部件12位于双曲线面镜1的虚焦点位置，透镜5位于CCD摄像部件12与双曲线面镜1之间，所述的CCD摄像部件12通过视频输入接口与微处理器15通信连接，所述的显示装置16与微处理器15的视频输出接口连接，所述的微处理器15包括图像采集模块24，用于采集CCD摄像部件12上所获得的图像；图像存储模块25，用于将采集的图像数据存入存储器；图像预处理模块26，用于将采集的图像去噪、平滑处理；所述的微处理器还包括：图像初始化处理模块35，用于确定所采集的全方位图像的中心点的位置和内径为r、外径为R，查找半径变化时相应圆周上像素平均值变化最大的值所对应的(r，x^* ₀，y^* ₀)，其计算式为：

${\max }_{(r,{x^{*}}_0,{y^{*}}_0)}\left|\frac{1}{\mathrm{\Δr}}\underset{k}{\mathrm{\Σ}}\right\{G_{\mathrm{\σ}}\left(r\right)\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})\left\}\right|...\left(1\right)$

其中：G_σ(r)＝G_σ((n-k)Δr)-G_σ((n-k-1)Δr)    (2)

$\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})=I\left[\left(\mathrm{k\Δ}r\cos \left(\mathrm{m\Δ\β}\right)+{x^{*}}_0\right),(\mathrm{k\Δ}r\sin \left(\mathrm{m\Δ\β}\right)+{y^{*}}_0)\right]...\left(3\right)$

I(x^*，y^*)为图像的像素，r为圆周的半径，G为对原图像进行平滑的高斯模板，Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长；

图像初始化处理模块35，首先进行滤波、去噪，然后确定圆心和内外圆半径处理单元37中完成上述(1)、(2)、(3)式的计算，通过保存处理结果单元38将计算结果保存在文件中，以便在图像展开处理模块29中调用；

图像展开处理模块29，用于将CCD摄像部件12获得的圆形全方位图像通过几何变换展开成矩形柱面全景图像；图像输出模块34，用于将展开后的矩形柱面全景图像输出到显示装置。

本实施例采用近似展开算法，所述的图像展开处理模块29包括：读取坐标信息单元30，将上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径等数据读取到程序中以便展开计算；近似展开计算单元31，将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；用于建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)cosβ                (5)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

再进一步，上述展开单元的计算方法得到全景图像，对图像进行进一步的处理，图像展开处理模块29还包括：插值计算单元32，用于消除在所述的展开单元取整计算所带来的误差，计算得到的矩形柱面全景图像的某个像素坐标P^**(x^**，y^**)的像素点为(k₀，j₀)，所述的像素点坐标落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四个相邻整数像素为顶点坐标所构成的正方形内，用式(8)插值计算：

P^**(x^**，y^**)＝(P^*(x^*+1，y^*)-P^*(x^*，y^*))*(k0-k)+(P^*(x^*，y^*+1)-P^*(x^*，y^*))*(j0-j)+(P^*(x^*+1，y^*+1)+P^*(x^*，y^*)-P^*(x^*+1，y^*)-P^*(x^*，y^*+1))*(k0-k)*(j0-j)+P^*(x^*，y^*)(8)

所述的插值计算单元32的输入端连接展开计算单元31的输出端，所述的插值计算单元32的输出端连接图像增强单元33。

更进一步，图像展开处理模块29还包括：图像增强单元33，用于对图像输出单元输出的像素均衡化，计算式为：

$S\left(r_k\right)=T\left(r_k\right)=\frac{1}{N}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}N\left(r_i\right)...\left(9\right)$

上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为r_k，S(r)为变换后图像的灰度分布函数，N为图像中的像素总数，N(r_i)为图像中灰度级为r_i的像素总数。

所述的图像预处理模块26包括：图像滤波单元27，用于采用二维Gabor滤波器对圆形全方位图像进行滤波；图像质量判断单元28，用于采用二维FFT(傅立叶)变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像。

本发明的光学部分的结构为：所述的反射部件还包括非透光圆锥体10、透明圆柱体9，所述的双曲线面镜1位于圆柱体9的上端，且面部的凹口向内伸入圆柱体9内，所述的双曲线面镜1的底面为反射面；所述的反射面中央固定连接所述的圆锥体10，所述的圆锥体10的锥角向下；所述的双曲线面镜1、圆锥体10、圆柱体9的旋转轴在同一中心轴线上；所述的透镜6位于圆柱体9内的下方；所述的摄像部件包括CCD摄像装置12、底座11，所述的CCD摄像装置12安装在底座11上部中央，所述的底座11上开有与所述的圆柱体9的壁厚相同的圆槽；所述的圆锥体10填充非透光性物质或者用遮光性涂料来喷涂其表面；所述的底座11上设有透镜固定架8，所述的透镜6安装在透镜固定架8上。

全方位摄像的光学系统由多个零部件所构成，为了降低制造成本，该光学系统也可以由单个成形的零部件构成。图12是表示各零部件相对的位置关系图。本专利中又将全方位摄像的光学系统分为上部和下部两个单元，光学系统的上部单元，首先形成一个双曲线面镜1的凹部，从上述凹部的最深部向着突出方向沿着中心轴线形成一个圆锥体10，圆柱体9由透明合成树脂或玻璃等的透明材料压注而成。凹部和圆锥体10最好与圆柱体9成型时同时形成。其次要对上述凹部实施镀银的镜面处理，对上述圆锥体10填充非透光性物质，也可以对上述圆锥体10用遮光性涂料来喷涂其表面。经过这样的工序得到的光学系统的上部单元，凹部成为双曲面镜，填充非透光性物质的圆锥体10具有防止在光学画像的光饱和功能。下部单元的底座11由有色合成树脂材料压注而成，在装配下部单元时，首先将透镜6固定在透镜固定架8上，再将CCD摄像装置12放进底座11中的固定CCD摄像装置的位置上，然后再将透镜固定架8装配到底座11中的固定透镜固定架11的位置上。在完成了光学系统的上部和下部两个单元的装配后，就可以将全方位摄像的光学系统进行组装，底座11上开有一个与圆柱体9的壁厚相同的圆槽，将光学系统的上部单元对准下部单元施加一定的力就能完成整个全方位摄像的光学系统的装配过程。按这种生产方式和装配所构成的全方位摄像的光学系统有良好的生产性、加工成本低。能保证透镜6和双曲线面镜1的位置关系以及透镜6和CCD摄像装置12的位置关系。

所述的微处理器15采用嵌入式处理器和嵌入式操作Linux系统，所述的图像采集模块24、图像存储模块25、图像预处理模块26、全方位图像展开处理模块29、图像输出模块34、初始化处理模块35安装在所述的微处理器15中。

参照图13，所述的视觉装置为上固定式，所述的圆柱体9的上端通过螺钉19与天花板20固定连接。

本发明的工作原理是：图1、图2是表示本发明的全方位成像装置的光学系统的原理图，图1是仰视图，图2是正视图。双曲线面镜1有2个焦点(0，0，c)、(0，0，-c)，CCD摄像部件12配置在与双曲线面镜中心轴同轴的一个焦点(0，0，-c)上。根据这样配置，能对CCD传感器周围360°方位进行摄像。如图2所示，进入双曲线面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜6中成像，在该成像平面上的一个点P₁(x^* ₁，y^* ₁)对应着实物在空间上的一个点的坐标A(x₁，y₁，z₁)，大五角星为三维空间上的一个点A(x₁，y₁，z₁)；中五角星为入射到双曲线面镜上的图像的三维空间坐标P(x₁，y₁，z₁)。

图1、图2中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1  (Z＞0)    (10)

$c=\sqrt{a^2+b^2}...\left(11\right)$

β＝tan^-1(Y/X)                                (12)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (13)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]...\left(14\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双曲面镜的虚焦点的距离。

由式(1)可以在三维空间上作出一个双叶双曲面，如图3所示，该双曲面有2个焦点(0，0，c)、(0，0，-c)，并对称与XY平面，本专利将CCD配置在与双曲面中心轴同轴的另一个焦点(0，0，-c)上，替换在XY平面下的一个双曲面，如图4所示，进入双曲线面镜的中心(0，0，c)的光，根据双曲面的镜面特性向着其虚焦点(0，0，-c)折射。

根据图5、图6来说明360°全方位进行摄像的原理，空间上的一个点A(x₁，y₁，z₁)(图中用大五角星表示)经双曲线面镜1进入凹部镜面，入射到双曲线面镜1上的图像的空间坐标点P₁(x₁，y₁，z₁)(图中用中五角星表示)，反射到透镜6上对应有一个投影点P₁(x^* ₁，y^* ₁)(图6中用小五角星表示)，通过透镜6的光线变成平行光投射到CCD摄像部件12，这时在CCD摄像部件12上成像的图像是一种发生形变的环状图像，微处理器通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到全方位的图像并显示在显示装置上。

上面提到的全方位摄像装置中有一个防止光饱和的圆锥体，因此在成像平面上有一个黑色圆形，该黑色圆形的圆心就是全方位图像的展开中心点，全方位图像中心定位是为了减少在展开过程中不同心而造成的图像失真，利用全方位图像中心定位的算法，可以检测拍到的一幅图像中迅速找到全方位图像的展开中心点，而不需要人工干预，这对于全方位摄像装置的实用化有十分重要的意义。

本专利中采用Daugman的圆模板匹配法进行全方位图像的展开中心点的定位。在拍摄获取的全方位图像中，灰度分布存在着一定的差异，一般而言全方位展开部分比圆锥体反射部分亮。然后根据全方位的形状是圆环形的情况，利用圆形检测匹配器的方法分割全方位，其数学方程为：

其中： $G_{\mathrm{\σ}}\left(r\right)=(1/\sqrt{2\mathrm{\π\σ}})e^{-({(r-r_0)}^2/{2\mathrm{\σ}}^2)},$ I(x^*，y^*)为图像的象素；r为圆周的半径；G为对原图像进行平滑的高斯模板。公式(1-1)的物理意义是，查找随着半径r变化相应圆周上象素平均值变化最大的值所对应的(r，x^* ₀，y^* ₀)，以此来确定全方位图像的展开中心点和圆锥体反射部分的边缘。卷积用来对图像进行平滑，消除区域边缘中噪声的影响，平滑模板的大小与定位的精度有关。为了方便公式(1-1)的离散化实现，利用卷积性质，把公式(1-1)转化为：

其中： $\frac{\∂G_{\mathrm{\σ}}\left(r\right)}{\∂r}\≈G_{\mathrm{\σ}}\left(n\right)=\frac{1}{\mathrm{\Δr}}{G}_{\mathrm{\σ}}\left(\mathrm{n\Δr}\right)-\frac{1}{\mathrm{\Δr}}{G}_{\mathrm{\σ}}\left((n-1)\mathrm{\Δr}\right)...(1-3)$

对公式(1-2)进行离散化，用累加和Σ来代替卷积和曲线积分，转换为：

${\max }_{(r,{x^{*}}_0,{y^{*}}_0)}\left|\frac{1}{\mathrm{\Δr}}\underset{k}{\mathrm{\Σ}}\right\{G_{\mathrm{\σ}}\left(r\right)\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})\left\}\right|...\left(1\right)$

其中：G_σ(r)＝G_σ((n-k)Δr)-G_σ((n-k-1)Δr)    (2)

$\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})=I\left[\left(\mathrm{k\Δ}r\cos \left(\mathrm{m\Δ\β}\right)+{x^{*}}_0\right),(\mathrm{k\Δ}r\sin \left(\mathrm{m\Δ\β}\right)+{y^{*}}_0)\right]...\left(3\right)$

Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长。也可以对式(14)进行改进，使得能更好的定位全方位内边缘：

其中r′略小于r，它们之间的距离是一定的，且r′随着r变化；λ为预设的值，防止分母为0。式(1-4)利用了这样一个事实，即圆锥体反射部分的灰度分布总是均匀的。因此，当搜索的圆弧与圆锥体反射部分的边缘很好匹配时，式(1-4)的分母非常小，因而式(1-4)会有一个突变值，这个突变值的位置就是全方位图像的展开中心点的位置。

进一步，在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。考虑到后面几个步骤的算法中，β分量即方位角度的信息是最需要的；而在竖直方向上，发生一些形变对结果几乎没有什么影响，这种展开的快速近似算法，如图7、图8、图9所示。图7为反射平面成像示意图，图8为透镜成像平面成像示意图，图9为展开平面示意图。图8是圆形全方位图像，其中内径为r，外径为R，内外径之间的是图像的有效区域，现将其展开成图9的矩形全景图，展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图图8的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图图9中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*)。下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)                (15)

r1＝(r+R)/2                         (16)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)cosβ                (5)

从式(4)、(5)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

实施例2

参照图12、图14、图16、图18、图19，本实施例的光学部分、电子部分基本构成、工作原理与实施例1基本相同，不同之处在于图像展开处理模块采用映射矩阵展开算法：展开处理模块29包括：读取坐标信息单元30，将上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径等数据读取到程序中以便展开计算；映射矩阵展开单元39，将上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

P^**(x^**，y^**)← M× Q^*(x^*，y^*)    (6)

上式中， Q^*(x^*，y^*)为全方位图像上的各个像素坐标的矩阵， M为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵， P^**为矩形柱面全景图像上的各个像素坐标的矩阵。

本实施例的展开计算方法的原理为：根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(6)关系。

P^**(x^**，y^**)← M× P^*(x^*，y^*)    (6)

根据式(6)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。每次在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的全方位图像显示到显示器上或者保存在存储单元中或者通过Web服务发布到网页上。

所述的视觉装置为下固定式，所述的底座21通过悬臂23安装在电线杆或墙面上，所述的圆柱体9的上方安装防雨遮阳帽22。

实施例3

参照图12、图14、图17、图18、图19，本实施例的光学部分、电子部分基本构成、基本原理与实施例1基本相同，不同之处在于图像展开处理模块采用极坐标展开算法：展开处理模块29包括：读取坐标信息单元30，将上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径等数据读取到程序中以便展开计算；极坐标展开计算单元40，用于将全方位图像的中心点的位置和内径为r、外径为R，r为图像上任意点距离内圆的径向长度，方位角为：β＝tan^-1(y^*/x^*)，建立极坐标(r^*，β)，与全方位内外圆边界的交点坐标分别为(x^* _inner(β)，y^* _inner(β))和(x^* _outer(β)，y^* _outer(β))；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标(r^*，β)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，其计算式为：

$\left\{\begin{array}{c}{x}^{**}(r^{*},\mathrm{\β})=(1-r^{*})x^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r^{*}{x}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\\ y^{**}(r^{*},\mathrm{\β})=(1-r^{*})y^{*}\mathrm{inner}\left(\mathrm{\β}\right)+r^{*}{y}^{*}\mathrm{outer}\left(\mathrm{\β}\right)\end{array}\right....\left(17\right).$

可将全方位图像中的每个点一一映射到极坐标(r，β)中，如图10所示。

Claims (10)

1、一种全方位视觉装置，包括全方位摄像单元、微处理器、存储器、显示装置，所述的全方位摄像单元由反射部件、透镜、摄像部件组成，所述的反射部件包括双曲线面镜，CCD摄像部件位于双曲线面镜的虚焦点位置，透镜位于CCD摄像部件与双曲线面镜之间，所述的摄像部件通过视频输入接口与微处理器通信连接，所述的显示装置与微处理器的视频输出接口连接，所述的微处理器包括图像采集模块，用于采集CCD摄像部件上的图像；图像存储模块，用于将采集的图像数据存入存储器；图像预处理模块，用于将采集的图像去噪、平滑处理；其特征在于：所述的微处理器还包括：

图像初始化模块，用于确定所采集的全方位图像的中心点的位置和内径为r、外径为R，查找半径变化时相应圆周上像素平均值变化最大的值所对应的

(r，x^*0，y^*0)，其计算式为：

${\max }_{(r,{x^{*}}_0,{y^{*}}_0)}\left|\frac{1}{\mathrm{\Δr}}\underset{k}{\mathrm{\Σ}}\right\{G_{\mathrm{\σ}}\left(r\right)\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})\left\}\right|---\left(1\right)$

其中：G_σ(r)＝G_σ((n-k)Δr)-G_σ((n-k-1)Δr)    (2)

$\underset{m}{\mathrm{\Σ}}I(x^{*},y^{*})=I[(\mathrm{k\Δ}r\cos \left(\mathrm{m\Δ\β}\right)+{x^{*}}_0),(\mathrm{k\Δ}r\sin \left(\mathrm{m\Δ\β}\right)+{y^{*}}_0)]---\left(3\right)$

I(x^*，y^*)为图像的像素，r为圆周的半径，G为对原图像进行平滑的高斯模板，Δr表示半径搜索的步长，Δβ表示沿着圆弧分隔的角度的步长；

图像展开处理模块，用于将CCD摄像部件获得的圆形全方位图像通过几何变换展开成矩形柱面全景图像；

图像输出模块，用于将展开后的矩形柱面全景图像输出到显示装置。

2、如权利要求1所述的全方位视觉装置，其特征在于：所述的图像展开处理模块包括：

读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；

近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (4)

y^*＝(y^**+r)cosβ                (5)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

3、如权利要求1所述的全方位视觉装置，其特征在于：所述的图像展开处理模块包括：

读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；

映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

P^**(x^**，y^**)← M× Q^*(x^*，y^*)    (6)

上式中， Q^*(x^*，y^*)为全方位图像上的各个像素坐标的矩阵， M为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，P^**为矩形柱面全景图像上的各个像素坐标的矩阵。

4、如权利要求1所述的全方位视觉装置，其特征在于：所述的图像展开处理模块包括：

读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；

极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r^*为图像上任意点距离内圆的径向长度，方位角为：β＝tan^-1(y^*/x^*)，建立极坐标(r^*，β)，与全方位内外圆边界的交点坐标分别为(x^* _inner(β)，y^* _inner(β))和(x^* _outer(β)，y^* _outr(β))；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标(r^*，β)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，其计算式为：

$\left\{\begin{array}{c}{x}^{**}(r^{*},\mathrm{\β})=(1-r^{*}){x^{*}}_{\mathrm{inner}}\left(\mathrm{\β}\right)+r^{*}{x^{*}}_{\mathrm{outer}}\left(\mathrm{\β}\right)\\ y^{**}(r^{*},\mathrm{\β})=(1-r^{*}){y^{*}}_{\mathrm{inner}}\left(\mathrm{\β}\right)+r^{*}{y^{*}}_{\mathrm{outer}}\left(\mathrm{\β}\right)\end{array}\right.---\left(7\right).$

5、如权利要求1-4之一所述的全方位视觉装置，其特征在于：图像展开处理模块还包括：

插值计算单元，用于消除在所述的展开单元取整计算所带来的误差，计算得到的矩形柱面全景图像的某个像素坐标P^**(x^**，y^**)的像素点为(k₀，j₀)，所述的像素点坐标落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四个相邻整数像素为顶点坐标所构成的正方形内，用式(8)插值计算：

P^**(x^**，y^**)＝(P^*(x^*+1，y^*)-P^*(x^*，y^*))*(k0-k)+(P^*(x^*，y^*+1)-P^*(x^*，y^*))*(j0-j)+(P^*(x^*+1，y^*+1)+P^*(x^*，y^*)-P^*(x^*+1，y^*)-P^*(x^*，y^*+1))*(k0-k)*(j0-j)+P^*(x^*，y^*)(8)

所述的插值计算单元的输入端连接展开计算单元的输出端，所述的插值计算单元的输出端连接图像输出模块。

6、如权利要求5所述的全方位视觉装置，其特征在于：图像展开处理模块还包括：图像增强单元，用于对图像输出单元输出的像素均衡化，计算式为：

$S\left(r_k\right)=T\left(r_k\right)=\frac{1}{N}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}N\left(r_i\right)---\left(9\right)$

上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为rk，S(r)为变换后图像的灰度分布函数，N为图像中的像素总数，N(ri)为图像中灰度级为ri的像素总数。

7、如权利要求6所述的全方位视觉装置，其特征在于：所述的图像预处理模块包括：

图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波；

图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像。

8、如权利要求5所述的全方位视觉装置，其特征在于：所述的反射部件还包括非透光圆锥体、透明圆柱体，所述的双曲线面镜位于圆柱体的上端，且面部的凹口向内伸入圆柱体内，所述的双曲线面镜的底面为反射面；所述的反射面中央固定连接所述的圆锥体，所述的圆锥体的锥角向下；所述的双曲线面镜、圆锥体、圆柱体的旋转轴在同一中心轴线上；所述的透镜位于圆柱体内的下方；

所述的摄像部件包括CCD摄像装置、底座，所述的CCD摄像装置安装在底座上部中央，所述的底座上开有与所述的圆柱体的壁厚相同的圆槽；

所述的圆锥体填充非透光性物质或者用遮光性涂料来喷涂其表面；

所述的底座上设有透镜固定架，所述的透镜安装在透镜固定架上。

9、如权利要求8所述的全方位视觉装置，其特征在于：所述的视觉装置为上固定式，所述的圆柱体的上端通过螺钉与天花板固定连接。

10、如权利要求8所述的全方位视觉装置，其特征在于：所述的视觉装置为下固定式，所述的底座通过悬臂安装在电线杆或墙面上，所述的圆柱体的上方安装防雨遮阳帽。

Images