CN101004538A - 无死角的全方位视觉传感器 - Google Patents

Abstract

一种无死角的全方位视觉传感器，包括支架、直向垂下的折反射镜、透明外罩、摄像头，所述的折反射镜位于透明外罩的上部，所述的透明外罩底部中央开口，所述的透明外罩安装在支架上，所述的摄像头位于所述折反射镜的焦点上，所述的折反射镜、透明外罩、摄像头位于同一轴线上，所述摄像头的输出连接用于处理图像的微处理器；所述透明外罩呈碗状，透明外罩包括上部的圆锥体以及下部的半圆球，所述的半圆球的半径处与圆锥体过渡，所述的半圆球的球心与折反射镜的焦点重合，在所述的折反射镜的中部开有小孔，所述的小孔的中心位于所述轴线上。本发明在垂直方向上的无死角、避免在透明外罩上产生反射干扰光。

Description

无死角的全方位视觉传感器

(一)技术领域

本发明属于光学技术、计算机图像处理技术和网络通信技术在远程监控领域方面的应用，主要适用于在智能交通、视频火灾检测、电梯安全防范，同时也适用于一些重要场所的监视(如老人的监护、超市以及商店的防盗监视等)、电视会议、手机摄像、城市风光和景点的介绍、远程教育、自动导航与定位和医学等全局视频信息获取领域，尤其是一种全方位视觉传感器。

(二)背景技术

目前使用的大多数图像系统是由视频摄像机(或照相机)和镜头组成。多数镜头的投影成像模型是单个投影中心的透视。因为成像装置(如CCD阵列)的大小有限，接收入射光时镜头周围的阻挡，镜头只具有一个园锥区域的小视野，而不是一个半球。为了获得全景图像，旋转成像系统和采用鱼眼镜头是两种传统的方法。旋转成像系统获得全景图像的方法是绕投影中心旋转成像系统，旋转过程中获得的一系列图像拼接成场景(景物)的全景图像。这种方法的缺点是需要旋转运动的部件、系统难以准确定位，并且要使成像系统旋转一周才能获得全景图像，获取全景图像花费的时间长。所以这种方法一般只应用于静态场景和非实时应用的领域。目前在监控领域中采用的云台就是属于这种技术。

采用鱼眼镜头取代传统的镜头，因为鱼眼镜头需要非常短的焦距，可将成像系统的视野扩大到半个球或更大的场景。但是要设计制作使所有入射光交会于一点产生固定的视点的鱼眼镜头十分困难。目前已经商业化的鱼眼镜头不能构建场景的无失真的透视图像；此外如果视野要达到半球范围，镜头更大更复杂，价格昂贵。

近年发展起来的全方位视觉传感器ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。

这种ODVS摄像机主要由一个CCD摄像机和正对着摄像头的一个反射镜组成。反射镜面将水平方向一周的图像反射给CCD摄像机成像，这样，就可以在一幅图像中获取水平方向360°的环境信息。这种全方位摄像机有着非常突出的优点，特别在对全景实时处理要求下，是一种快速、可靠的视觉信息采集途径。但另一方面，这种图像获取模式同时也决定了得到的全方位图像必然存在着较大幅度的压缩和形变，这就影响了它对远距离物体的观察精度。

这种ODVS摄像机可以在全方位拍摄到半球视野中的所有情况。能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围内的运动物体时算法更加简单；可以获得场景的实时图像。因此如何通过全方位光学成像技术、计算机图像处理技术和网络技术通信技术为监控领域提供一种快速、可靠的视觉信息采集途径，并根据ODVS摄像机得到的实时全方位图像，获取实时不变形的透视和全景图像及录像而不需要任何可移动的部件。

虽然ODVS能检测到水平方向360°的环境信息，但是在垂直方向上还是存在着死角，目前的反射镜面采用双曲面设计虽然在垂直方向上视角范围可以达到120°，在ODVS的上下方还存在着约120°左右的死角范围，如图4所示。中国发明专利公开的发明专利“全方位视觉装置”(公开号CN1878297)以及实用新型“全方位视觉传感器”(公开号CN2705807)均属于这类技术。

图1表示的目前ODVS的产品结构图，为了防止透明外罩2上的反射，在反射镜面下部配置了一个黑色圆锥体1，用于切断透明外罩2上的反射干扰光；摄像头3拍摄到的图像如图2所示，中间部分是黑色圆锥体1在成像平面上的成像部分(黑色圆部分)；原来的图像处理方式是将该成像部分去掉，仅对两个圆内所包容的区域进行展开，得到全方位的360°展开柱状图。存在的缺点是：透明外罩存在反射干扰光；中心黑色圆部分是ODVS的死角，在垂直方向上存在死角，不能利用这一部分的信息。

(三)发明内容

为了克服已有的全方位视觉传感器的在垂直方向上存在视觉死角、透明外罩存在反射干扰光的不足，本发明提供一种在垂直方向上的无死角、避免在透明外罩上产生反射干扰光的无死角的全方位视觉传感器。

本发明解决其技术问题所采用的技术方案是：

一种无死角的全方位视觉传感器，包括支架、直向垂下的折反射镜、透明外罩、摄像头，所述的折反射镜位于透明外罩的上部，所述的透明外罩底部中央开口，所述的透明外罩安装在支架上，所述的摄像头位于所述折反射镜的焦点上，所述的折反射镜、透明外罩、摄像头位于同一轴线上，所述摄像头的输出连接用于处理图像的微处理器；所述透明外罩呈碗状，透明外罩包括上部的圆锥体以及下部的半圆球，所述的半圆球的半径处与圆锥体过渡，所述的半圆球的球心与折反射镜的焦点重合，在所述的折反射镜的中部开有小孔，所述的小孔的中心位于所述轴线上。

进一步，所述的摄像头位于所述折反射镜的虚焦点上；所述的小孔为圆孔，在所述的折反射镜的上部设有广角镜头，所述的广角镜头位于圆孔的上方。

再进一步，所述的摄像头位于折反射镜的上方，所述摄像头位于折反射镜的实焦点上，在所述透明外罩底部中央开口配置圆弧副镜，所述圆弧副镜的中心与折反射镜的实焦点重合，圆弧副镜的中部留有一个小孔，在所述小孔内嵌入广角镜头，所述圆弧副镜、广角镜头位于所述轴线上。

更进一步，在广角镜头与摄像头之间的成像点为第一成像点，所述的摄像头的焦点距离为f1、广角镜头的焦点距离为f2、摄像头与摄像头的焦点的距离为S1、从摄像头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离为S3、从广角镜头到实物点的距离为S4，根据摄像头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(1\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(2\right)$

d＝S2+S3    (3)

从双曲面镜的虚焦点上的摄像头距离为d处配置广角镜头；

将摄像头与广角镜头作为一个组合镜头，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(6\right)$

将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}$ $---\left(7\right)$

合成镜头满足以下公式：

$n=\frac{D}{f}=\frac{b}{2a}---\left(8\right)$

上式中，a，b分别是折反射镜的实轴和虚轴的长度。

所述的视觉传感器为下固定式视觉传感器，所述的支架位于透明外罩的下部，所述支架与透明外罩固定连接。所述的视觉传感器为上固定式视觉传感器，所述支架位于折反射镜的上部，所述支架与折反射镜固定连接。

所述的折反射镜为双曲面镜，所述的双曲面镜构成的光学系统由以下5个等式表示：

((X²+Y²)/a²)-(Z²/b²)＝-1    (Z＞0)    (15)

$c=\sqrt{a^2+b^2}---\left(16\right)$

β＝tan^-1(Y/X)    (17)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (18)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{\left(X^2{+Y}^2\right)}]---\left(19\right)$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

所述的微处理器包括：图像分割模块，用于将获得的圆形图像分割成圆环形图像、圆心图像，设定原型图像为透孔后的图像，圆环形图像为折反射镜的图像；图像展开模块，用于将圆环形图像通过几何变换展开成矩形柱面全景图像；图像输出模块，用于将展开后的矩形柱面全景图像输出到显示装置。

本发明的技术构思为：首先改进透明外罩2，使得透明外罩2不会产生内壁的反射干扰光，如图3所示。具体做法是将透明外罩设计成碗状，即半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，这样能避免在透明外罩2发生反射干扰光，通过这种设计可以去掉黑色圆锥体1，使得ODVS的结构得到简化，在半圆球部分的半径处与圆锥部分进行过渡，圆锥部分的倾斜角度为2～3°，主要是考虑在模具生产时的脱模斜度；改进设计后的ODVS的结构如图3所示；

进一步，在改进设计后的ODVS去掉黑色圆锥体1，接着在双曲面镜上原有黑色圆锥体1会留出一个小孔，摄像头3通过该小孔能拍摄到双曲面镜后面的图像信息，如图4所示。但是通过该小孔能拍摄到双曲面镜后面的图像信息十分有限，大部分图像信息仍然被双曲面镜所遮挡；

更进一步，通过广角镜头能扩展视野范围，本发明中将广角镜头配置在双曲面镜后面，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图8是摄像头与广角镜头的位置关系图。在图5中将广角镜头配置在双曲面反射镜的后面，在双曲面反射镜的中间有一个圆孔，通过该圆孔在广角镜头与摄像头之间成像，称为第一成像点，该成像点通过摄像头在焦点处成像。这里将摄像头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像头与摄像头的焦点的距离作为S1、从摄像头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(1\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(2\right)$

d＝S2+S3  (3)

使公式(3)成立的话，也就是将图5中的从双曲面镜的虚焦点上的摄像头距离为d的地方配置广角镜头的话，就可以得到图7中图像中部所显示的广角成像图。

进一步，对于图7中将摄像头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(6\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(7\right)$

为了将合成镜头的视场与双曲面镜的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=\frac{b}{2a}---\left(8\right)$

更进一步，对于要拍摄双曲面镜正前方的视频图像(原死角部分)，如图6所示，将摄像头配置在双曲面镜的后面，安置在双曲面镜的实焦点处，双曲面镜的中间留有一个小孔，摄像头能通过小孔拍摄到双曲面镜的前面的视频信息；在双曲面镜的前面配置有一个圆弧副镜，圆弧副镜的中心与双曲面镜的主焦点重合，圆弧副镜的中部留有一个小孔，在该小孔中嵌入一个广角镜头；全方位视频信息在双曲面镜折反射后经圆弧副镜进行二次折反射，然后通过双曲面镜的小孔在摄像头中成像；另外在双曲面镜正前方的实物通过广角镜头在广角镜头与摄像头之间成像，称为第一成像点，该成像点通过双曲面镜的小孔在摄像头在焦点处成像。

经过上述改进后的ODVS拍摄出来的图像效果图如图7所示，与图2比较，图2中部黑色圆部分被在图7中部的广角镜头所拍摄的图像所替代，也就是通过改进设计ODVS消除了原来ODVS的死角部分，并且通过摄像头镜头与广角镜头的组合方式加上双曲面镜以及圆弧副镜的设计，能将视觉范围覆盖原来的ODVS的死角部分。

更进一步，所述的双曲面镜、双曲面镜上的小孔、摄像头、透明外罩、圆弧副镜、广角镜头在同一中心轴线上；摄像头的镜头安置在双曲面镜的实焦点或者虚焦点的位置上。

所述的透明外罩，主要用于支撑双曲面镜以及保护双曲面镜不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，这里在设计透明外罩外型时采用上大下小的形状，使得粉尘等颗粒物不会黏附在透明外罩上；在室外使用ODVS的情况，由于大气中包含着各种烟气、在透明外罩上会产生雨迹等，为了避免对ODVS的清洁维护工作，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料。

更进一步，ODVS从固定方式来讲，可以分为上固定式和下固定式两种方式，上固定式的ODVS的摄像头以及电源引线从上端引出，下固定式的ODVS的摄像头以及电源引线从下端引出，通过这些处理能减少各种引线对全方位视觉部分的干扰；对于原有ODVS的结构每种固定方式都存在着死角，通过本专利的设计上固定式ODVS采用图5的ODVS的结构方式，下固定式ODVS采用图3的ODVS的结构方式；通过这种设计ODVS的结构方式即可以减少各种引线对全方位视觉部分的干扰，又能根据实际应用克服由于各种固定方式所存在着死角问题。

通过摄像头镜头与广角镜头的组合方式所拍摄到的图像位于拍摄图像的中间，在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开。

本发明的有益效果主要表现在：1、通过对透明外罩的特殊设计，解决了光的干扰问题；2、将广角镜头配置在双曲面镜的中间的小孔前后，与摄像头组合，完全解决了全方位视觉传感器的死角问题；3、获取实时全方位图像，并通过几何计算得到全景图像，图像不变形、观察精度高。

(四)附图说明

图1是现有的原全方位视觉传感器的结构图。

图2是采用原全方位视觉传感器所拍摄的图像示意图。

图3是一种改进后的全方位视觉传感器的结构图。

图4是可透过双曲面镜面中部的小孔观测到双曲面镜后面景物的全方位视觉传感器的结构图。

图5是一种完全消除了死角的全方位视觉传感器的结构图。

图6是另一种完全消除了死角的全方位视觉传感器的结构图。

图7是采用消除了死角的全方位视觉传感器所拍摄的图像。

图8是摄像头镜头与广角镜头进行组合的光学原理图。

图9是全方位视觉传感器与视频服务器连接的原理框图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种无死角的全方位视觉传感器，包括支架7、直向垂下的折反射镜4、透明外罩2、摄像头3，所述的折反射镜4位于透明外罩2的上部，所述的透明外罩2底部中央开口，所述的透明外罩2安装在支架7上，所述的摄像头3位于所述折反射镜4的焦点上，所述的折反射镜4、透明外罩2、摄像头3位于同一轴线上，所述摄像头3的输出连接用于处理图像的微处理器；所述透明外罩2呈碗状，透明外罩2包括上部的圆锥体以及下部的半圆球，所述的半圆球的半径处与圆锥体过渡，所述的半圆球的球心与折反射镜的焦点重合，在所述的折反射镜的中部开有小孔，所述的小孔的中心位于所述轴线上。

参照图5，所述的摄像头3位于所述折反射镜2的虚焦点上；所述的小孔为圆孔，在所述的折反射镜的上部设有广角镜6头，所述的广角镜头6位于圆孔的上方。

参照图6，所述的摄像头3位于折反射镜2的上方，所述摄像头3位于折反射镜2的实焦点上，在所述透明外罩2底部中央开口配置圆弧副镜5，所述圆弧副镜5的中心与折反射镜4的实焦点重合，圆弧副镜5的中部留有一个小孔，在所述小孔内嵌入广角镜头6，所述圆弧副镜5、广角镜头6位于所述轴线上。

本实施例是在原有的全方位视觉传感器基础上进行改进；原有的全方位视觉传感器的结构如图1所示，原有的全方位视觉传感器包括直向垂下的折反射镜、透明圆筒体、摄像头、安装支架，所述的折反射镜位于透明圆筒体的上部，所述的折反射凸镜的中间设有通孔，摄像头位于所述折反射凸镜的下方安置在折反射镜的虚焦点处，在反射平镜和折反射镜之间设有直径逐渐变小的黑色圆锥状体，所述圆锥状体固定在折反射镜的中部，所述的折反射镜、圆锥状体以及摄像头的镜头的中心位置在同一中心轴上，所述的摄像头的输出连接用于处理图像的微处理器。

进一步，所述的折反射镜为双曲面镜，所述的摄像头包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1    (Z＞0)    (15)

$c=\sqrt{a^2+b^2}---\left(16\right)$

β＝tan^-1(Y/X)    (17)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (18)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(19\right)$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双曲面镜的需焦点的距离。

进一步，这里首先改进透明外罩2，使得透明外罩2不会产生内壁的反射干扰光，如图3所示。具体做法是将透明外罩设计成碗状，即半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，这样能避免在透明外罩2发生反射干扰光，通过这种设计可以去掉黑色圆锥体1，使得ODVS的结构得到简化，在半圆球部分的半径处与圆锥部分进行过渡，圆锥部分的倾斜角度为2～3°，主要是考虑在模具生产时的脱模斜度；改进设计后的ODVS的结构如图3所示；

进一步，在改进设计后的ODVS去掉黑色圆锥体1，接着在双曲面镜上原有黑色圆锥体1会留出一个小孔，摄像头3通过该小孔能拍摄到双曲面镜后面的图像信息，如图4所示。但是通过该小孔能拍摄到双曲面镜后面的图像信息十分有限，大部分图像信息仍然被双曲面镜所遮挡；

更进一步，通过广角镜头能扩展视野范围，本发明中将广角镜头配置在双曲面镜后面，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图7是摄像头与广角镜头的位置关系图。在图5中将广角镜头配置在双曲面反射镜的后面，在双曲面反射镜的中间有一个圆孔，通过该圆孔在广角镜头与摄像头之间成像，称为第一成像点，该成像点通过摄像头在焦点处成像。这里将摄像头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像头与摄像头的焦点的距离作为S1、从摄像头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(1\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(2\right)$

d＝S2+S3    (3)

使公式(3)成立的话，也就是将图5中的从双曲面镜的虚焦点上的摄像头距离为d的地方配置广角镜头的话，就可以得到图7中图像中部所显示的广角成像图。

进一步，对于图8中将摄像头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(6\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(7\right)$

为了将合成镜头的视场与双曲面镜的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=\frac{b}{2a}---\left(8\right)$

更进一步，对于要拍摄双曲面镜正前方的视频图像(原死角部分)，如图6所示，将摄像头配置在双曲面镜的后面，安置在双曲面镜的实焦点处，双曲面镜的中间留有一个小孔，摄像头能通过小孔拍摄到双曲面镜的前面的视频信息；在双曲面镜的前面配置有一个圆弧副镜，圆弧副镜的中心与双曲面镜的主焦点重合，圆弧副镜的中部留有一个小孔，在该小孔中嵌入一个广角镜头；全方位视频信息在双曲面镜折反射后经圆弧副镜进行二次折反射，然后通过双曲面镜的小孔在摄像头中成像；另外在双曲面镜正前方的实物通过广角镜头在广角镜头与摄像头之间成像，称为第一成像点，该成像点通过双曲面镜的小孔在摄像头在焦点处成像。

经过上述改进后的ODVS拍摄出来的图像效果图如图7所示，与图2比较，图8中部黑色圆部分被在图7中部的广角镜头所拍摄的图像所替代，也就是通过改进设计ODVS消除了原来ODVS的死角部分，并且通过摄像头镜头与广角镜头的组合方式加上双曲面镜以及圆弧副镜的设计，能将视觉范围覆盖原来的ODVS的死角部分。

更进一步，所述的双曲面镜、双曲面镜上的小孔、摄像头、透明外罩、圆弧副镜、广角镜头在同一中心轴线上；摄像头的镜头安置在双曲面镜的实焦点或者虚焦点的位置上。

所述的透明外罩，主要用于支撑双曲面镜以及保护双曲面镜不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，这里在设计透明外罩外型时采用上大下小的形状，使得粉尘等颗粒物不会黏附在透明外罩上；在室外使用ODVS的情况，由于大气中包含着各种烟气、在透明外罩上会产生雨迹等，为了避免对ODVS的清洁维护工作，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料。

ODVS从固定方式来讲，可以分为上固定式和下固定式两种方式，上固定式的ODVS的摄像头以及电源引线从上端引出，下固定式的ODVS的摄像头以及电源引线从下端引出，通过这些处理能减少各种引线对全方位视觉部分的干扰；对于原有ODVS的结构每种固定方式都存在着死角，通过本专利的设计上固定式ODVS采用图6的ODVS的结构方式，下固定式ODVS采用图5的ODVS的结构方式；通过这种设计ODVS的结构方式即可以减少各种引线对全方位视觉部分的干扰，又能根据实际应用克服由于各种固定方式所存在着死角问题。

通过摄像头镜头与广角镜头的组合方式所拍摄到的图像位于拍摄图像的中间，在展开全方位图像时需要将该中心部分的图像单独分离出来，然后对全方位图像进行展开；

图像展开处理模块，用于将摄像头获得的圆环形全方位图像通过几何变换展开成矩形柱面全景图像；图像输出模块，用于将展开后的矩形柱面全景图像输出到显示装置。

所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点0^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点0^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点0^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (9)

y^*＝(y^**+r)cosβ    (10)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

或者是，所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于根据上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径，将圆形全方位图像的中心坐标设定平面坐标系的原点0^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点0^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点0^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

${\stackrel{\‾}{P}}^{**}(x^{**},y^{**})\←\stackrel{\‾}{M}\×{\stackrel{\‾}{Q}}^{*}(x^{*},y^{*})$

上式中， 为全方位图像上的各个像素坐标的矩阵，

为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，

为矩形柱面全景图像上的各个像素坐标的矩阵。

又或者是，所述的图像展开处理模块包括：读取坐标信息单元，用于读取上述初始化模块中计算得到的圆形全方位图像的中心坐标以及图像的内外圆半径；极坐标展开计算单元，用于根据全方位图像的中心点的位置和内径为r、外径为R，r^*为图像上任意点距离内圆的径向长度，方位角为：β＝tan^-1(y^*/x^*)，建立极坐标(r^*，β)，与全方位内外圆边界的交点坐标分别为(x^* _inner(β)，y^* _inner(β))和(x^* _outer(β)，y^* _outer(β))；矩形柱面全景图像以坐标原点0^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点0^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标(r^*，β)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，其计算式为：

$\left\{\begin{array}{c}{x}^{**}(r^{*},\mathrm{\β})=(1-r^{*}){x^{*}}_{\mathrm{inner}}\left(\mathrm{\β}\right)+r^{*}{x^{*}}_{\mathrm{outer}}\left(\mathrm{\β}\right)\\ y^{**}(r^{*},\mathrm{\β})=(1-r^{*}){y^{*}}_{\mathrm{inner}}\left(\mathrm{\β}\right)+r^{*}{y^{*}}_{\mathrm{outer}}\left(\mathrm{\β}\right)\end{array}---\left(12\right)\right.$

再进一步，以上三种展开单元的计算方法得到全景图像，对图像进行进一步的处理。图像展开处理模块还包括：插值计算单元，用于消除在所述的展开单元取整计算所带来的误差，计算得到的矩形柱面全景图像的某个像素坐标P^**(x^**，y^**)的像素点为(k₀，j₀)，所述的像素点坐标落在由(k，j)，(k+1，j)，(k，j+1)，(k+1，j+1)四个相邻整数像素为顶点坐标所构成的正方形内，用式(13)插值计算：P^**(x^**，y^**)＝(P^*(x^*+1，y^*)-P^*(x^*，y^*))*(k0-k)+(P^*(x^*，y^*+1)-P^*(x^*，y^*))*(j0-j)+(P^*(x^*+1，y^*+1)+P^*(x^*，y^*)-P^*(x^*+1，y^*)-P^*(x^*，y^*+1))*(k0-k)*(j0-j)+P^*(x^*，y^*)(13)

所述的插值计算单元的输入端连接展开计算单元的输出端，所述的插值计算单元的输出端连接图像输出模块。

更进一步，图像展开处理模块还包括：图像增强单元，用于对图像输出单元输出的像素均衡化，计算式为：

$S\left(r_k\right)=T\left(r_k\right)=\frac{1}{N}\underset{i=0}{\overset{k}{\mathrm{\Σ}}}N\left(r_i\right)---\left(14\right)$

上式中，变换函数为灰度级累积分布函数T(r)，设原始图像的灰度级为r_k，S(r)为变换后图像的灰度分布函数，N为图像中的像素总数，N(r_i)为图像中灰度级为r_i的像素总数。

所述的图像预处理模块包括：图像滤波单元，用于采用二维Gabor滤波器对圆形全方位图像进行滤波，关于二维Gabor滤波器的设计可参阅论文，Daugman JG.Uncertainty relation for resolution in space，spatial frequency，andorientation optimized by two-dimensional visual cortical filters[J].Opt.Soc.Amer-A，Vol.2，pp：1160-1169，1985.；)；图像质量判断单元，用于采用二维FFT变换计算频域高频能量，并比较所得的高频能量值与预设的下限值，在高频能量值大于下限值时选择性地输出全方位图像，关于二维FFT变换实现可参阅论文，Daugman J G.How Iris Recognition Works[J].IEEE Transactions onCircuits and Systems for Video Technology，v 14，n1，January，2004，p21-30；)。

所述的微处理器中包括嵌入式处理器以及DSP处理芯片，所述的图像采集模块、图像存储模块、图像预处理模块、全方位图像展开处理模块等图像处理在DSP处理芯片中进行，图像输出模块以及视频网络等服务在所述的微处理器中完成。

视频服务器目的是不断读取全方位视觉传感器所拍摄到的场景图像信息，并提供对有线及无线网络的支持，使各种网络与远程主机进行Socket通讯，实现在远程主机上进行视频分析与处理，也可以通过无线网络传输场景信息到手机上，方便用户随时随地查看现场信息。ODVS视频服务器的架构如图9所示，在S3c2410微处理器中建立视频服务器。

Claims (10)

1、一种无死角的全方位视觉传感器，包括支架、直向垂下的折反射镜、透明外罩、摄像头，所述的折反射镜位于透明外罩的上部，所述的透明外罩底部中央开口，所述的透明外罩安装在支架上，所述的摄像头位于所述折反射镜的焦点上，所述的折反射镜、透明外罩、摄像头位于同一轴线上，所述摄像头的输出连接用于处理图像的微处理器；

其特征在于：所述透明外罩呈碗状，透明外罩包括上部的圆锥体以及下部的半圆球，所述的半圆球的半径处与圆锥体过渡，所述的半圆球的球心与折反射镜的焦点重合，在所述的折反射镜的中部开有小孔，所述的小孔的中心位于所述轴线上。

2、如权利要求1所述的无死角的全方位视觉传感器，其特征在于：所述的摄像头位于所述折反射镜的虚焦点上；所述的小孔为圆孔，在所述的折反射镜的上部设有广角镜头，所述的广角镜头位于圆孔的上方。

3、如权利要求1所述的无死角的全方位视觉传感器，其特征在于：所述的摄像头位于折反射镜的上方，所述摄像头位于折反射镜的实焦点上，在所述透明外罩底部中央开口配置圆弧副镜，所述圆弧副镜的中心与折反射镜的实焦点重合，圆弧副镜的中部留有一个小孔，在所述小孔内嵌入广角镜头，所述圆弧副镜、广角镜头位于所述轴线上。

4、如权利要求2或3所述的无死角的全方位视觉传感器，其特征在于：在广角镜头与摄像头之间的成像点为第一成像点，所述的摄像头的焦点距离为f1、广角镜头的焦点距离为f2、摄像头与摄像头的焦点的距离为S1、从摄像头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离为S3、从广角镜头到实物点的距离为S4，根据摄像头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(1\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(2\right)$

d＝S2+S3    (3)

从双曲面镜的虚焦点上的摄像头距离为d处配置广角镜头；

将摄像机镜头与广角镜头作为一个组合镜头，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(6\right)$

将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(7\right)$

合成镜头满足以下公式：

$n=\frac{D}{f}=\frac{b}{2a}---\left(8\right)$

上式中，a，b分别是折反射镜的实轴和虚轴的长度。

5、如权利要求2所述的无死角的全方位视觉传感器，其特征在于：所述的视觉传感器为下固定式视觉传感器，所述的支架位于透明外罩的下部，所述支架与透明外罩固定连接。

6、如权利要求3所述的无死角的全方位视觉传感器，其特征在于：所述的视觉传感器为上固定式视觉传感器，所述支架位于折反射镜的上部，所述支架与折反射镜固定连接。

7、如权利要求4所述的无死角的全方位视觉传感器，其特征在于：所述的折反射镜为双曲面镜，所述的双曲面镜构成的光学系统由以下5个等式表示：

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)    (15)

$c=\sqrt{a^2+b^2}---\left(16\right)$

β＝tan^-1(Y/X)                              (17)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (18)

$\mathrm{\γ}={\tan }^{-1}\left[\text{f/}\sqrt{(X^2+Y^2)}\right]$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

8、如权利要求7所述的无死角的全方位视觉传感器，其特征在于：所述的微处理器包括：

图像分割模块，用于将获得的圆形图像分割成圆环形图像、圆心图像，设定原型图像为透孔后的图像，圆环形图像为折反射镜的图像；

图像展开模块，用于将圆环形图像通过几何变换展开成矩形柱面全景图像；

图像输出模块，用于将展开后的矩形柱面全景图像输出到显示装置。

9、如权利要求8所述的无死角的全方位视觉传感器，其特征在于：所述的图像展开处理模块包括：读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (9)

y^*＝(y^**+r)cosβ                (10)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

10、如权利要求8所述的无死角的全方位视觉传感器，其特征在于：所述的图像展开处理模块包括：读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

$\stackrel{-}{P}**(x**,y**)\←\stackrel{-}{M}\×\stackrel{-}{Q}*(x*,y*)---\left(11\right)$

上式中，

为全方位图像上的各个像素坐标的矩阵， 为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，

为矩形柱面全景图像上的各个像素坐标的矩阵。

Images