CN108282632A - 全景视频监控装置及基于该装置的成像方法 - Google Patents

Abstract

本发明提供了一种全景视频监控装置及基于该装置的成像方法，属于视频监控领域，该全景视频监控装置包括：第一相机、第二相机、抛物面反射镜和单片机；第一相机的镜头视场角正对抛物面反射镜的反射面，第一相机镜头视场角能够覆盖抛物面反射镜，第二相机镜头与第一相机镜头的视场角方向相反，并且第一相机和第二相机的光轴与抛物面反射镜的中轴同轴，单片机能够获取第一相机和所述第二相机采集的图像信息，并将图像信息进行拼接融合。该装置及其成像方法能够生成两种侧重点不同但图像信息相互对应的全景图像，解决传统折反射全景成像装置因相机遮挡导致的盲区问题，且能够展示两种全景图像，使用者根据实际监控需求选择相应的显示区域。

Description

全景视频监控装置及基于该装置的成像方法

技术领域

本发明涉及视频监控技术领域，具体涉及一种全景视频监控装置及基于该装置的成像方法。

背景技术

目前，获取全景成像的方法主要由图像拼接和使用特殊光学元件两大类组成。图像拼接系统包括旋转相机系统和多相机系统，特殊光学元件系统包括鱼眼镜头系统、环形透镜系统和折反射系统。其中折反射全景成像系统具有相机数量少，实时性好等特点，适用于大视场实时成像场合。虽然其在水平方向可以获取360°视场角范围，但是由于相机的遮挡，装置下方存在一定的盲区，无法获得完整的场景俯视图像。在安防监控领域，监控装置的重点在于水平360°以及俯视区域获取完整场景信息的能力。因此，传统折反射全景成像装置存在盲区的这一缺陷，影响了其在安防监控领域的广泛应用。

发明内容

本发明的第一目的在于提供一种全景视频监控装置，该全景视频监控装置能够实现不同成像方式的图像的拼接，生成两种侧重点不同但图像信息相互对应的全景图像，解决传统折反射全景成像装置因相机遮挡导致的盲区问题，且能够同时展示两种全景图像，使用者根据实际监控需求选择相应的显示区域。

本发明的第二目的在于提供一种基于上述全景视频监控装置的成像方法，利用该方法能够保证折反射成像部分的图像质量，并利用第二相机补充了第一相机俯视盲区内的图像信息。

本发明的第三目的在于提供一种基于上述全景视频监控装置的另一种成像方法，利用该方法采用透视投影方法，重点保证第二相机成像部分的图像质量，折反射全景成像系统扩展了第二相机的视野。

基于上述第一目的，本发明提供的全景视频监控装置，包括：第一相机、第二相机、抛物面反射镜和单片机；

所述第一相机和所述第二相机位于所述抛物面反射镜的反射面的同一侧，所述第一相机的镜头视场角正对所述抛物面反射镜的反射面，所述第一相机镜头视场角能够覆盖所述抛物面反射镜，所述第二相机镜头与第一相机镜头的视场角方向相反，并且所述第一相机和所述第二相机的光轴与所述抛物面反射镜的中轴同轴，所述单片机能够获取所述第一相机和所述第二相机采集的图像信息，并将图像信息进行拼接融合。

进一步的，通过抛物面反射镜的反射，所述第一相机的有限视场角能够扩展至360度；

所述第二相机同步成像，所述第二相机的视场角能够覆盖由所述第一相机遮挡造成的盲区，并且所述第二相机与所述第一相机的成像内容能够产生重叠区域。

进一步的，所述第一相机的成像过程：

利用抛物面成像的逆投影过程，建立实际成像平面与虚拟像面之间的坐标映射关系，其逆映射公式为：

其中，D_M为抛物面反射镜的口径，θ_max为第一相机在高度方向的视场角，β为工业相机远心透镜空间放大率；(x_p ²，y_p ²，z_p ²)为空间任意一点P的坐标，(x_q，y_q)为点P在第一相机实际成像平面的像点q的坐标。

进一步的，还包括用于容纳所述第一相机和所述抛物面反射镜的外壳。

进一步的，所述外壳包括上盖、透光管和支撑管；

所述上盖与透光管一端连接，所述支撑管与所述透光管远离所述上盖的一端连接；

所述抛物面反射镜与上盖下端连接，所述第一相机通过第一相机安装架与所述支撑管靠近所述抛物面反射镜的一端连接，所述第二相机通过第二相机安装架与所述支撑管远离所述抛物面反射镜的一端连接。

进一步的，所述透光管采用锥形玻璃管，所述透光管的大直径开口端连接所述上盖，所述透光管的小直径开口端连接所述支撑管。

进一步的，所述外壳还包括用以容纳所述第二相机的透光保护罩，所述透光保护罩与所述支撑管连接。

进一步的，还包括安装支架，所述安装支架与所述外壳连接，所述安装支架内部设置与所述单片机电连接的电源线接口和数据线接口。

基于上述第二目的，本发明提供了一种基于上述的全景视频监控装置的成像方法，该成像方法包括以下步骤：

步骤S1，设置第一相机的虚拟像面为与成像系统对称轴Z垂直的平面，得到折反射全景成像的透视全景图像，使得第一相机和第二相机的图像投射到统一的平面上，所述成像系统对称轴Z为所述第一相机、所述第二相机的光轴和所述抛物面反射镜的中轴所在轴；

步骤S2，对投射到统一的平面上的第一相机和第二相机的图像进行的拼接融合。

基于上述第三目的，本发明提供了一种基于上述的全景视频监控装置的成像方法，该成像方法包括以下步骤：

步骤S1’，设置第一相机的虚拟像面为对称轴采用成像系统对称轴Z的圆柱面，得到折反射全景成像的柱面全景图像，然后将柱面全景图像转化为第一矩形平面图像；

同时，第二相机的图像映射到一定半径的球面上，确定第二相机的图像上A点与球面对应点M的映射关系，根据经纬映射法将经过球面映射的第二相机的图像再次映射到所述第一矩形平面图像所在平面上。

步骤S2’，对第一相机形成的第一矩形平面图像和第二相机在所述平面上的图像拼接融合。

采用上述技术方案，本发明的有益效果有：

本发明提供的全景视频监控装置包括：第一相机、第二相机、抛物面反射镜和单片机；第一相机和所述第二相机位于抛物面反射镜的反射面的同一侧，第一相机的镜头视场角正对抛物面反射镜的反射面，第一相机镜头视场角能够覆盖抛物面反射镜，第二相机镜头与第一相机镜头的视场角方向相反，并且第一相机和第二相机的光轴与抛物面反射镜的中轴同轴，单片机能够获取第一相机和第二相机采集的图像信息，并将图像信息进行拼接融合。该全景视频监控装置能够实现不同成像方式的图像的拼接，生成两种侧重点不同但图像信息相互对应的全景图像，解决传统折反射全景成像装置因相机遮挡导致的盲区问题，且能够同时展示两种全景图像，使用者根据实际监控需求选择相应的显示区域。

本发明提供的第一种基于上述全景视频监控装置的成像方法，能够保证折反射成像部分的图像质量，并利用第二相机补充了第一相机俯视盲区内的图像信息。

本发明提供第二种基于上述全景视频监控装置的成像方法，利用该方法采用透视投影方法，重点保证第二相机成像部分的图像质量，折反射全景成像系统扩展了第二相机的视野。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的全景视频监控装置的主视图；

图2为本发明实施例提供的全景视频监控装置的折反射成像原理图；

图3为本发明实施例提供的全景视频监控装置的消除俯视盲区的示意图；

图4为本发明实施例提供的全景视频监控装置的折反射成像的透视全景图像的投影原理图；

图5为本发明实施例提供的全景视频监控装置的折反射成像的柱面全景图像的投影原理图；

图6为本发明实施例提供的全景视频监控装置的常规相机成像的球面投影原理图；

图7为本发明实施例提供的全景视频监控装置中，常规相机成像的经纬映射投影原理图。

图标：1-第一相机；2-第二相机；3-抛物面反射镜；4-第一相机安装架；5-第二相机安装架；6-透光管；7-透光保护罩；8-上盖；9-支撑管；10-安装支架；11-单片机；12-电源线接口；13-数据线接口。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

请参照图1所示；本发明实施例中提供的全景视频监控装置包括：第一相机1、第二相机2、抛物面反射镜3和单片机11。

其中，第一相机1和第二相机2位于抛物面反射镜3的反射面的同一侧，第一相机1的镜头视场角正对抛物面反射镜3的反射面，以使第一相机1镜头视场角能够覆盖抛物面反射镜3。

第二相机2镜头与第一相机1镜头的视场角方向相反，并且第一相机1和第二相机2的光轴与抛物面反射镜3的中轴同轴，单片机11分别与第一相机1和第二相机2电连接，单片机11能够获取第一相机1和第二相机2采集的图像信息，并将图像信息进行拼接融合。

如图1所示，具体实施时，抛物面反射镜3的反射面朝向下方，第一相机1的镜头视场角朝向上方，第一相机1镜头视场角能够覆盖抛物面反射镜3的反射面；第一相机1的光轴竖直向上，第二相机2设置在第一相机1的下方，第二相机2的视场角朝向下方，第二相机2的光轴竖直向下，第一相机1、第二相机2的光轴与抛物面反射镜3的中轴同轴布置。

单片机11通过数据线分别获取由第一相机1和第二相机2采集的实时图像信息，并将该图像信息进行融合，同时也控制第一相机1和第二相机2的运行及供电。

作为本发明的一个优选技术方案，该全景视频监控装置还包括用于容纳第一相机1和抛物面反射镜3的外壳。外壳主要起到保护作用。

作为本发明的一个优选技术方案，该外壳包括上盖8、透光管6和支撑管9。

具体实施时，上盖8位于整个装置的顶部，上盖8底面与透光管6一端(图示为上端)连接，优选地，透光管6上端通过可以通过固体胶与上盖8的下端粘接固定，支撑管9与该透光管6远离上盖8的一端(图示为下端)连接，优选地，支撑管9与透光管6也可以采用固体胶进行固定。

抛物面反射镜3位于透光管6内，抛物面反射镜3的固定端与上盖8下端连接，优选地，抛物面反射镜3的固定端与上盖8下端采用螺纹连接方式，以方便两者进行拆卸。

第一相机1通过第一相机安装架4与支撑管9靠近抛物面反射镜3的一端连接，同时，第一相机1能够伸入于透光管6内。优选地，第一相机安装架4的外缘通过卡口支撑管9连接，以便于两者进行拆卸。第一相机1的光轴与抛物面反射镜3的中轴同轴布置。

第二相机安装架5位于第一相机安装架4下方，第二相机2通过第二相机安装架5与支撑管9远离抛物面反射镜3的一端连接。优选地，第二相机安装架5的外缘通过固体胶与支撑管9固定，第二相机安装架5通过螺钉固定第二相机2，第二相机2光轴垂向下，与第一相机1的光轴同轴布置。

作为本发明的一个优选技术方案，上述的透光管6采用锥形玻璃管，该透光管6的大直径开口端朝上，并连接上盖8；透光管6的小直径开口端朝下，并连接支撑管9。

作为本发明的一个优选技术方案，上述的外壳还包括用以容纳第二相机2的透光保护罩7，该透光保护罩7与支撑管9连接。该透光保护罩7设置为透明透光保护罩7，通过固体胶与支撑管9连接，以便于第二相机2取景。

由上述的上盖8、透光管6、支撑管9和透光保护罩7能够共同围成一个封闭的壳体，起到对第一相机1、第二相机2和抛物面反射镜3的保护作用。

作为本发明的一个优选技术方案，单片机11设置在支撑管9内。

作为本发明的一个优选技术方案，还包括安装支架10，安装支架10与外壳连接，安装支架10内部设置与单片机11电连接的电源线接口12和数据线接口13。

具体实施时，安装支架10位于支撑管9一侧，安装支架10一端通过螺钉固定在支撑管9的外壁上。电源线接口12位于安装支架10的管腔内，通过固体胶与安装支架10管腔内电源线接口安装槽固定。数据线接口13位于安装支架10对管腔内，通过固体胶与安装支架10管腔内的数据线接口安装槽固定。

单片机11是本发明全景视频监控装置的信号处理与控制中心，通过电线与电源线接口12连接，该电源线接口12与外部电源线连接，为单片机11提供稳定的供电。单片机11通过USB数据线分别获取第一相机1和第二相机2采集的实时图像信息，并将图像信息进行融合，同时也控制两个相机的运行以及供电。

如图2和图3所示，工作时，第一相机1的光轴竖直向上，第一相机1的镜头视场角覆盖抛物面反射镜3，因此，通过抛物面反射镜3的反射，可以将第一相机1的有限视场角扩展至水平360°，实时采集全景图像；同时，第二相机2的光轴竖直向下，第二相机2同步成像，第二相机2的镜头视场角覆盖装置下方一定区域。第二相机2的视场角能够覆盖由第一相机1遮挡造成的盲区，并且第二相机2与第一相机1的成像内容能够产生重叠区域。通过单片机11获取第一相机1和第二相机2的成像信息，实现不同成像方式的图像的拼接，生成两种侧重点不同但图像信息相互对应的全景图像，解决传统折反射全景成像装置因相机遮挡导致的盲区问题，且显示系统能够同时展示两种全景图像，使用者根据实际监控需求选择相应的显示区域。

如图4和图5，由于抛物面反射镜3为旋转对称曲面，分析过程可以在二维空间进行。建立X0Z坐标系，其中坐标系原点0为抛物面焦点。根据抛物面的特性，任意经过抛物面焦点的入射光线都被抛物面反射镜3反射为平行于其对称轴的平行光线。在获取图像时，经过抛物面焦点O的入射光线经过反射沿平行于Z轴其正方向传播，经过第一相机1透镜的折射，最终在第一相机1的成像单元CCD上成像。

对于第一相机1的成像过程，利用抛物面成像的逆投影过程，建立实际成像平面与虚拟像面之间的坐标映射关系，其逆映射公式为：

其中，D_M为抛物面反射镜3的口径，θ_max为第一相机系统在高度方向的视场角，β为工业相机远心透镜空间放大率；(x_P ²，y_P ²，z_P ²)为空间任意一点P的坐标，(x_q，y_q)为点P在第一相机1实际成像平面的像点q的坐标。

如图4所示，下面说明基于上述的全景视频监控装置的一种成像方法，该成像方法包括以下步骤：

步骤S1，设置第一相机1的虚拟像面为与成像系统对称轴Z垂直的平面，得到折反射全景成像的透视全景图像，使得第一相机1和第二相机2的图像投射到统一的平面上(需要说明的是，本实施例中这里统一的平面指的是水平平面)，该成像系统对称轴Z为所述第一相机1、第二相机2的光轴和所述抛物面反射镜3的中轴所在轴；

步骤S2，对投射到统一的平面上的第一相机1和第二相机2的图像进行的拼接融合。

利用上述成像方法(即图像拼接融合过程)，保障了第二相机2的成像质量，同时保留了第一相机1捕获的场景信息。

下面说明基于上述的全景视频监控装置的第二种成像方法，该成像方法包括以下步骤：

步骤S1’，如图5所示，设置第一相机1的虚拟像面为对称轴采用成像系统对称轴Z的圆柱面，得到折反射全景成像的柱面全景图像，然后将柱面全景图像转化为第一矩形平面图像；

同时，如图6所示，第二相机2的图像映射到一定半径的球面上，确定第二相机2的图像上A点与球面对应点M的映射关系，根据经纬映射法将经过球面映射的第二相机2的图像再次映射到所述第一矩形平面图像所在平面上。

步骤S2’，如图7所示，对第一相机1形成的第一矩形平面图像和第二相机2在所述平面上的图像拼接融合。

利用上述成像方法(即图像拼接融合过程)，保障了第一相机1的图像映射质量，同时第一相机1的盲区由第二相机2的图像进行了补充。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种全景视频监控装置，其特征在于，包括：第一相机、第二相机、抛物面反射镜和单片机；

所述第一相机和所述第二相机位于所述抛物面反射镜的反射面的同一侧，所述第一相机的镜头视场角正对所述抛物面反射镜的反射面，所述第一相机镜头视场角能够覆盖所述抛物面反射镜，所述第二相机镜头与第一相机镜头的视场角方向相反，并且所述第一相机和所述第二相机的光轴与所述抛物面反射镜的中轴同轴，所述单片机能够获取所述第一相机和所述第二相机采集的图像信息，并将图像信息进行拼接融合。

2.根据权利要求1所述的全景视频监控装置，其特征在于，所述第一相机的有限视场角通过抛物面反射镜的反射能够扩展至水平360度；

所述第二相机同步成像，所述第二相机的视场角能够覆盖由所述第一相机遮挡造成的盲区，并且所述第二相机与所述第一相机的成像内容能够产生重叠区域。

3.根据权利要求1或2所述的全景视频监控装置，其特征在于，所述第一相机的成像过程：

利用抛物面成像的逆投影过程，建立实际成像平面与虚拟像面之间的坐标映射关系，逆映射公式为：

其中，D_M为抛物面反射镜的口径，θ_max为第一相机在高度方向的视场角，β为工业相机远心透镜空间放大率；(x_p ²，y_p ²，z_p ²)为空间任意一点P的坐标，(x_q，y_q)为点P在第一相机实际成像平面的像点q的坐标。

4.根据权利要求1-3任一项所述的全景视频监控装置，其特征在于，还包括用于容纳所述第一相机和所述抛物面反射镜的外壳。

5.根据权利要求4所述的全景视频监控装置，其特征在于，所述外壳包括上盖、透光管和支撑管；

所述上盖与透光管一端连接，所述支撑管与所述透光管远离所述上盖的一端连接；

所述抛物面反射镜与上盖下端连接，所述第一相机通过第一相机安装架与所述支撑管靠近所述抛物面反射镜的一端连接，所述第二相机通过第二相机安装架与所述支撑管远离所述抛物面反射镜的一端连接。

6.根据权利要求5所述的全景视频监控装置，其特征在于，所述透光管采用锥形玻璃管，所述透光管的大直径开口端连接所述上盖，所述透光管的小直径开口端连接所述支撑管。

7.根据权利要求5所述的全景视频监控装置，其特征在于，所述外壳还包括用以容纳所述第二相机的透光保护罩，所述透光保护罩与所述支撑管连接。

8.根据权利要求4-7任一项所述的全景视频监控装置，其特征在于，还包括安装支架，所述安装支架与所述外壳连接，所述安装支架内部设置与所述单片机电连接的电源线接口和数据线接口。

9.一种基于权利要求1-8任一项所述的全景视频监控装置的成像方法，其特征在于，包括以下步骤：

步骤S1，设置第一相机的虚拟像面为与成像系统对称轴Z垂直的平面，得到折反射全景成像的透视全景图像，使得第一相机和第二相机的图像投射到统一的平面上，所述成像系统对称轴Z为所述第一相机、所述第二相机的光轴和所述抛物面反射镜的中轴所在轴；

步骤S2，对投射到统一的平面上的第一相机和第二相机的图像进行的拼接融合。

10.一种基于权利要求1-8任一项所述的全景视频监控装置的成像方法，其特征在于，包括以下步骤：

步骤S1’，设置第一相机的虚拟像面为对称轴采用成像系统对称轴Z的圆柱面，得到折反射全景成像的柱面全景图像，然后将柱面全景图像转化为第一矩形平面图像；

同时，第二相机的图像映射到一定半径的球面上，确定第二相机的图像上A点与球面对应点M的映射关系，根据经纬映射法将经过球面映射的第二相机的图像再次映射到所述第一矩形平面图像所在平面上。

步骤S2’，对第一相机形成的第一矩形平面图像和第二相机在所述平面上的图像拼接融合。