CN106303393A - 一种全景360度空间还原高清智能球监控方法 - Google Patents

Abstract

本发明提供了一种全景360度空间还原高清智能球监控方法，涉及基于球面投影模型的鱼眼镜头成像的复原与校正，该方法包括：建立鱼眼图像的球面投影模型，建立3D球面投影模型的坐标系，建立球面投影模型还原后坐标系以及坐标点关系，建立平面投射坐标系与以及坐标点关系，最后可以得到指定任意方向的全部展开图像，即空间六平面还原图像，本发明弥补了单鱼眼镜头展开图像的缺陷，能够将成像由圆型立体变换成平面，最大程度地利用全景资源保存场景信息，在图像跟踪、监控及视频会议等领域具有广泛的应用前景。

Description

一种全景360度空间还原高清智能球监控方法

技术领域

本发明涉及监控领域，尤其涉及一种全景360度空间还原高清智能球监控方法。

背景技术

鱼眼全景监控摄像机称得上是对现有监控系统的改造与升级。一般的监控探头视场角度在60度—90度左右，如果监控场所有大范围的监控需求，就不得不依赖多支摄像头实现对监控区域的覆盖，这无疑会增加摄像头成本与安装成本，而且后端的显示与存储成本也会相应的增加；即便是球机可以通过云台实现360度全范围监控，但却不能达到同时监控360度的范围，而且在实际应用当中，多数球机都通过设置预置位对场景进行监控，难以避免重要事件被“漏控”的情况出现。

随着视频监控盲点越发不被人们所忍受，市场对无盲点视频监控系统的要求也愈来愈烈。相比传统的视频监控探头，全景摄像机可以填补特定监控场所因视场角受限而需要跟换前端探头的市场空缺，恰恰这个空缺也只有全景摄像机产品能胜任。全景摄像机的出现可在真正意义上消除监控盲区，确保视频的可靠性、完整性，对用户乃至对社会而言意义非凡。

全景摄像机特殊的构造造就其独有的无盲区监控，让其在民用、商用、警用或是特殊领域中的应用都十分适合。具体而言，全景摄像机的实际应用需求一般可分为高分辨率监控需求和标准分辨率监控需求。

高分辨率的场所是指在那些容易发生抢劫、盗窃等安全事件的场合，如银行、商场、超市等，这类场所需要高清晰的图像画质，不仅需要将整个作案过程全景监控录像，更需要清晰的辨认嫌疑人的面孔，对后期的刑侦调查提供便利。标准分辨率的监控场所只要求监控全范围局势，对视频细节要求不高，如空旷的广场、运动场馆、大范围的公共场所、交通路口、交通枢纽等。这类场所只需要有清晰的大范围监控画面从而实现监控调度即可，对视频质量要求并不高，而且也很难专为监控摄像机建立太多的支点，所以在制高点设置一台全景摄像机完全可以满足应用需求。鱼眼摄像机获得的全方位图像存在严重的扭曲现象，要有效的利用图像信息进行导航跟踪，需恢复还原图像，研究双鱼眼镜头的成像机理，鱼眼镜头投影成像规律，进而开发一种算法，使鱼眼图像得到实时、精确的恢复，进而实现三维空间信息的重建复原。

发明内容

本发明提供了一种弥补了单鱼眼镜头展开图像的缺陷，能够将成像由圆型立体变换成平面，最大程度地利用全景资源保存场景信息的技术方案：

一种全景360度空间还原高清智能球监控方法，涉及基于球面投影模型的鱼眼镜头成像的复原与校正，该方法包括以下步骤：

(1)建立鱼眼图像的球面投影模型；

(2)建立3D球面投影模型的坐标系；

(3)建立球面投影模型还原后坐标系以及坐标点关系；

(4)建立平面投射坐标系与以及坐标点关系。

作为优选，全景360度空间还原高清智能球的结构为：主要包括球形摄像体、鱼眼镜头，鱼眼镜头设置两个，分别为第一鱼眼镜头、第二鱼眼镜头，所述第一鱼眼镜头、所述第二鱼眼镜头结构完全一致，所述第一鱼眼镜头与所述第二鱼眼镜头镜像对称设置在所述球形摄像体上，所述第一鱼眼镜头、所述第二鱼眼镜头之间设有成像装置，成像装置连接监视器，第一鱼眼镜头主要包括框架、第一透镜、第二透镜、第三透镜以及滤光片，从物方至像方依次设置所述第一透镜、第二透镜、第三透镜、滤光片；第一透镜、第二透镜的焦距均为负焦距，第三透镜的焦距为正焦距，第一透镜设置在所述第一鱼眼镜头的最前端，第一透镜为凸面透镜，滤光片设置在第一鱼眼镜头的最末端，第三透镜为双凸透镜。

作为优选，全景360度空间还原高清智能球还包括第四透镜，第四透镜为粘合透镜，粘合透镜分为第一镜片和第二镜片，第一镜片的光焦度为0.3-0.5，第二镜片的光焦度为-0.3—-0.2，所述第四透镜设置在沿光轴方向的第三透镜与滤光片之间，所述第一镜片与所述第二镜片的粘合面倾斜角度为35°-45°。

作为优选，步骤(1)主要为通过球面投影模型，把鱼眼图像上每个2D像平面点(x,y)映射到3D场景(X,Y,Z)，根据图像像素点和对应光线3D向量间关系，再将空间分成如正立体的六个成像面中的五个面，将(X,Y,Z)分别映射到五个面中的(x’，y’)，再将两个摄像头各自的五个面合成，可以组合成完全表达空间的六面成像。

作为优选，步骤(2)主要为：P为空间中任意一点，连接单位球的圆心O与空间点P得到射线OP，射线OP映射到球面上，得到与球面的交点p，将p平行于Z轴投影到XOY平面上，得到鱼眼图像上的成像点m，空间中的点与鱼眼图像上的点一一对应，其中投影球面可以表达为：x²+y²+z²＝R²。

作为优选，步骤(3)主要为：p(x,y,z)是空间点P与球面交点，m(u,v)为p(x,y,z)的球面投影点，由于m与同P是一一对应关系，他们之间的坐标变换关系如下：

$\frac{x}{u}=\frac{y}{u}=\frac{z}{\sqrt{R^2-u^2-v^2}}=\frac{\sqrt{x^2+y^2+z^2}}{R}$

根据上式可得：

$x=\frac{\mathrm{zu}}{\sqrt{R^2-u^2-v^2}},y=\frac{\mathrm{zv}}{\sqrt{R^2-u^2-v^2}}$

通过以上公式可以从鱼眼图像点m(u,v)求得p(x,y,z)。从而还原空间点P的光路PO。

作为优选，步骤(4)主要为：以XOZ平面作为投射面，OP与平面XOZ平面的交点n(x,z)是点P在XOZ平面的投射点，其中m(u,v)与n(x,z)是一一对应关系，它们之间的转换关系如下：

$\frac{u}{n_x}=\frac{v}{L}$ 根据公式可得： $n_x=\frac{\mathrm{uL}}{v}$

$\frac{\sqrt{R^2-u^2-v^2}}{n_z}=\frac{\sqrt{u^2+v^2}}{\sqrt{{n_x}^2+L^2}}$

根据上式可得：

$n_2=\frac{\sqrt{R^2-u^2-v^2}\sqrt{{n_x}^2+L^2}}{\sqrt{u^2+v^2}}$

本发明的有益效果在于：

(1)本发明基于鱼眼镜头的球面成像模型，弥补了单鱼眼镜头展开图像的缺陷，可以还原侧面任意方向的信息，将成像由圆型立体变换成平面，最大程度地利用全景资源保存场景信息。

(2)本发明采用双鱼眼镜头，解决了传统监控探头不能真正实现立体360度全景监控，能够同时连续监控360度全景空间，一览无遗，不会漏掉或错过突发事件，真正无盲点。

附图说明

图1为本发明的正视图。

图2为本发明的剖视结构图。

图3为本发明的3D球面投影模型。

图4为本发明的平面投射图。

具体实施方式

为使本发明的发明目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

如图1-2所示，一种全景360度空间还原高清智能球装置，主要包括球形摄像体1、鱼眼镜头2，鱼眼镜头2设置两个，分别为第一鱼眼镜头21、第二鱼眼镜头22，第一鱼眼镜头21、第二鱼眼镜头22结构完全一致，第一鱼眼镜头21与第二鱼眼镜头22镜像对称设置在球形摄像体1上，第一鱼眼镜头21、第二鱼眼镜头22之间设有成像装置3，成像装置3连接监视器，第一鱼眼镜头21主要包括框架211、第一透镜212、第二透镜213、第三透镜214以及滤光片215，从物方至像方依次设置第一透镜212、第二透镜213、第三透镜214、滤光片215，第一透镜212、第二透镜213的焦距均为负焦距，第三透镜214的焦距为正焦距，第一透镜212设置在第一鱼眼镜头21的最前端，第一透镜212为凸面透镜，滤光片215设置在第一鱼眼镜头21的最末端，第三透镜214为双凸透镜。

还包括第四透镜4，第四透镜4为粘合透镜，粘合透镜分为第一镜片41和第二镜片42，第一镜片41的光焦度为0.3-0.5，第二镜片42的光焦度为-0.3—-0.2，第四透镜4设置在沿光轴方向的第三透镜214与滤光片215之间，第一镜片41与第二镜片42的粘合面倾斜角度为35°-45°。

一种全景360度空间还原高清智能球监控方法，涉及基于球面投影模型的鱼眼镜头成像的复原与校正，其特征在于：该方法包括以下步骤：

(1)建立鱼眼图像的球面投影模型；

(2)建立3D球面投影模型的坐标系；

(3)建立球面投影模型还原后坐标系以及坐标点关系；

(4)建立平面投射坐标系与以及坐标点关系。

步骤(1)主要为通过球面投影模型，把鱼眼图像上每个2D像平面点(x,y)映射到3D场景(X,Y,Z)，根据图像像素点和对应光线3D向量间关系，再将空间分成如正立体的六个成像面中的五个面，将(X,Y,Z)分别映射到五个面中的(x’，y’)，再将两个摄像头各自的五个面合成，可以组合成完全表达空间的六面成像。

步骤(1)主要为通过球面投影模型，如图3所示，把鱼眼图像上每个2D像平面点(x,y)映射到3D场景(X,Y,Z)，根据图像像素点和对应光线3D向量间关系，再将空间分成如正立体的六个成像面中的五个面，将(X,Y,Z)分别映射到五个面中的(x’，y’)，再将两个摄像头各自的五个面合成，可以组合成完全表达空间的六面成像。

步骤(2)主要为：P为空间中任意一点，连接单位球的圆心O与空间点P得到射线OP，射线OP映射到球面上，得到与球面的交点p，将p平行于Z轴投影到XOY平面上，得到鱼眼图像上的成像点m，空间中的点与鱼眼图像上的点一一对应，其中投影球面可以表达为：x²+y²+z²＝R²。

步骤(3)主要为：p(x,y,z)是空间点P与球面交点，m(u,v)为p(x,y,z)的球面投影点，由于m与同P是一一对应关系，他们之间的坐标变换关系如下：

$\frac{x}{u}=\frac{y}{u}=\frac{z}{\sqrt{R^2-u^2-v^2}}=\frac{\sqrt{x^2+y^2+z^2}}{R}$

根据上式可得：

$x=\frac{\mathrm{zu}}{\sqrt{R^2-u^2-v^2}},y=\frac{\mathrm{zv}}{\sqrt{R^2-u^2-v^2}}$

通过以上公式可以从鱼眼图像点m(u,v)求得p(x,y,z)。从而还原空间点P的光路PO。

如图4所示，步骤(4)主要为：以XOZ平面作为投射面，OP与平面XOZ平面的交点n(x,z)是点P在XOZ平面的投射点，其中m(u,v)与n(x,z)是一一对应关系，它们之间的转换关系如下：

$\frac{u}{n_x}=\frac{v}{L}$ 根据公式可得： $n_x=\frac{\mathrm{uL}}{v}$

$\frac{\sqrt{R^2-u^2-v^2}}{n_z}=\frac{\sqrt{u^2+v^2}}{\sqrt{{n_x}^2+L^2}}$

根据上式可得：

$n_2=\frac{\sqrt{R^2-u^2-v^2}\sqrt{{n_x}^2+L^2}}{\sqrt{u^2+v^2}}$

上述表达式，其中L代表放大系数，n(x,z)是m(u,v)在XOZ平面的映射点。同上所述，可以分别求得两个球面各五个平面的映图像，根据两球面所得各五平面图像，将除XOY平面外的其它四个平面对应合成四面图像，从面可以获得空间六平面还原图像。

本发明基于鱼眼镜头的球面成像模型，弥补了单鱼眼镜头展开图像的缺陷，将两个鱼眼镜头的成像将立体360度全景完全地显示在六个方位的画面中。利用180°鱼眼镜头180*360的成像特性，双高清摄像头就可以组成360*360成像效果，将成像由圆型立体变换成平面，最大程度地利用全景资源保存场景信息。

本发明安装简单，可以吊装，可以平放，不需要完全像单鱼眼球一定要在高空吊装，能够提供对目标的大范围覆盖和无盲点监测，同时采用镜像对称设置的双鱼眼镜头，解决了传统监控探头不能真正实现立体360度全景监控，能够同时连续监控360度全景空间，一览无遗，不会漏掉或错过突发事件，真正无盲点。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (7)

1.一种全景360度空间还原高清智能球监控方法，涉及基于球面投影模型的鱼眼镜头成像的复原与校正，其特征在于：该方法包括以下步骤：

(1)建立鱼眼图像的球面投影模型；

(2)建立3D球面投影模型的坐标系；

(3)建立球面投影模型还原后坐标系以及坐标点关系；

(4)建立平面投射坐标系与以及坐标点关系。

2.根据权利要求1所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述全景360度空间还原高清智能球的结构为：主要包括球形摄像体(1)、鱼眼镜头(2)，所述鱼眼镜头(2)设置两个，分别为第一鱼眼镜头(21)、第二鱼眼镜头(22)，所述第一鱼眼镜头(21)、所述第二鱼眼镜头(22)结构完全一致，所述第一鱼眼镜头(21)与所述第二鱼眼镜头(22)镜像对称设置在所述球形摄像体(1)上，所述第一鱼眼镜头(21)、所述第二鱼眼镜头(22)之间设有成像装置(3)，所述成像装置(3)连接监视器，所述第一鱼眼镜头(21)主要包括框架(211)、第一透镜(212)、第二透镜(213)、第三透镜(214)以及滤光片(215)，从物方至像方依次设置所述第一透镜(212)、所述第二透镜(213)、所述第三透镜(214)、所述滤光片(215)；

所述第一透镜(212)、所述第二透镜(213)的焦距均为负焦距，所述第三透镜(214)的焦距为正焦距，所述第一透镜(212)设置在所述第一鱼眼镜头(21)的最前端，所述第一透镜(212)为凸面透镜，所述滤光片(215)设置在所述第一鱼眼镜头(21)的最末端，第三透镜(214)为双凸透镜。

3.根据权利要求2所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述全景360度空间还原高清智能球还包括第四透镜(4)，所述第四透镜(4)为粘合透镜，所述粘合透镜分为第一镜片(41)和第二镜片(42)，所述第一镜片(41)的光焦度为0.3-0.5，所述第二镜片(42)的光焦度为-0.3—-0.2，所述第四透镜(4)设置在沿光轴方向的第三透镜(214)与滤光片(215)之间，所述第一镜片(41)与所述第二镜片(42)的粘合面倾斜角度为35°-45°。

4.根据权利要求1所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述步骤(1)主要为通过球面投影模型，把鱼眼图像上每个2D像平面点(x,y)映射到3D场景(X,Y,Z)，根据图像像素点和对应光线3D向量间关系，再将空间分成如正立体的六个成像面中的五个面，将(X,Y,Z)分别映射到五个面中的(x’，y’)，再将两个摄像头各自的五个面合成，可以组合成完全表达空间的六面成像。

5.根据权利要求1所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述步骤(2)主要为：P为空间中任意一点，连接单位球的圆心O与空间点P得到射线OP，射线OP映射到球面上，得到与球面的交点p，将p平行于Z轴投影到XOY平面上，得到鱼眼图像上的成像点m，空间中的点与鱼眼图像上的点一一对应，其中投影球面可以表达为：x²+y²+z²＝R²。

6.根据权利要求1所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述步骤(3)主要为：p(x,y,z)是空间点P与球面交点，m(u,v)为p(x,y,z)的球面投影点，由于m与同P是一一对应关系，他们之间的坐标变换关系如下：

$\frac{x}{u}=\frac{y}{u}=\frac{z}{\sqrt{R^2-u^2-v^2}}=\frac{\sqrt{x^2+y^2+z^2}}{R}$

根据上式可得：

$x=\frac{\mathrm{zu}}{\sqrt{R^2-u^2-v^2}},y=\frac{\mathrm{zv}}{\sqrt{R^2-u^2-v^2}}$

通过以上公式可以从鱼眼图像点m(u,v)求得p(x,y,z)。从而还原空间点P的光路PO。

7.根据权利要求1所述的一种全景360度空间还原高清智能球监控方法，其特征在于：所述步骤(4)主要为：以XOZ平面作为投射面，OP与平面XOZ平面的交点n(x,z)是点P在XOZ平面的投射点，其中m(u,v)与n(x,z)是一一对应关系，它们之间的转换关系如下：

$\frac{u}{n_x}=\frac{v}{L}$ 根据公式可得： $n_x=\frac{\mathrm{uL}}{v}$

$\frac{\sqrt{R^2-u^2-v^2}}{n_z}=\frac{\sqrt{u^2+v^2}}{\sqrt{{n_x}^2+L^2}}$

根据上式可得：

$n_z=\frac{\sqrt{R^2-u^2-v^2}\sqrt{{n_x}^2+L^2}}{\sqrt{u^2+v^2}}.$