CN108401551B - 双镜头微光立体全景成像装置及其超大视场测距方法 - Google Patents

Abstract

本发明涉及一种双镜头微光立体全景成像装置及其超大视场测距方法，属于全景视觉技术领域。当装置水平放置时，微光CCD图像传感器系统b、折反射全景环形光学成像系统b、折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板，自上而下顺次同轴对称安装，光轴位于同一铅垂线上。微光CCD图像传感器系统a和微光CCD图像传感器系统b的输出通过视频线连接到微光全景图像处理板的输入端。基于所述的全景成像装置，本发明提供了一种360°超大视场测距方法，解决了现有技术中微光图像和360°超大视场全景图像不能实时测量距离的问题；具有极高的灵敏度、照度低、实时获取360°超大视场全景图像的特点。

Description

双镜头微光立体全景成像装置及其超大视场测距方法

技术领域

本发明涉及一种双镜头微光立体全景成像装置及其超大视场测距方法，属于全景视觉技术领域。

背景技术

现代高技术战中，无人作战武器平台发挥着越来越重要的作用，无人作战武器平台性能的提升，微光全景视觉传感器的发展是其中的关键技术之一，全景视觉环境感知图像传感器将会在军事应用领域发挥积极的作用。微光条件下大视场360°周视全景图像获取以及对动态目标实时测距，可极大地拓展无人作战平台的使用范围，包括侦察、监视、目标跟踪与搜索、目标指示等，使其由遥控式向半自主式、自主式智能控制的无人作战平台方向发展，进而完成火力发射、战术运输、通信中继、工程支援、搜索救援等复杂战场任务，也为在各种作战环境下的有人和无人、地面和空中平台的密切集成与合作，增强平台间的互操作能力提供技术支持。因此开展微小型微光全景视觉传感器系统与实时全景图像测距方法研究，对于提升无人作战武器平台作战性能，以及提高现代高技术战争的作战效能具有重要意义。

如图1所示，普通的双目立体视觉是基于视差原理，由两个图像传感器从不同角度同时获取景物的两幅图像，并基于视差原理恢复出物体三维几何信息，包括获取景物的距离信息。但普通的又目立体视觉装置的视场角很小，无法实现360°超大全景视场图像获取，也无法实时获取景物的距离信息。

如图2、图3和图4所示，目前进行360°全景视场图像获取方式主要包括：多摄像机全景图像拼接，单摄像机云台旋转获取全景图像，或者利用单镜头全景环形光学成像系统获取全景图像，但这些360°全景图像的获取，无法实时测量360°全景图像动态目标的距离信息；并且多摄像机全景图像拼接的全景图像摄像装置体积庞大，如拼接方式全景视觉传感器，无法实时测量360°全景视场中动态目标的距离信息。

发明内容

本发明为解决全景成像中难以实时获取动态目标距离信息的缺点，提出一种双镜头微光立体全景成像装置及其超大视场测距方法，能够在获取360°全景视场图像的同时，实时测量并计算出动态目标距离信息。

本发明的双镜头微光立体全景成像装置，包括单镜头全景环形光学成像系统a、单镜头全景环形光学成像系统b和双镜头支架。

单镜头全景环形光学成像系统a包括折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板；单镜头全景环形光学成像系统b包括折反射全景环形光学成像系统b和微光CCD图像传感器系统b。

1、所述的折反射全景环形光学成像系统a包括折反射透镜a和中继透镜组件a。折反射透镜a，位于折反射全景环形光学成像系统a的最前端；该透镜依据折反射成像原理，遵循平面圆柱投影FCP透视法，对围绕光轴360°的圆柱景象成一个平面的环形图像，实现单镜头360°超大视场图像的光学成像。

折反射透镜a为一个类椭球体的透镜体，当正面水平放置时，由上至下依次为：顶端反射面、入射环形折射面、下环形反射面和出射折射面。类椭球体顶端为一个向内凹陷的顶端反射面，四周向外凸出的部分以中心平面为界，上端为入射环形折射面，下端为下环形反射面；出射折射面位于类椭球体的底部、与顶端反射面位置相对，向外凸出。

中继透镜组件a与折反射透镜a同轴，位于折反射全景环形光学成像系统a的后端，由多块透镜同轴组成。中继透镜组件a将折反射透镜a所成的虚像转变成实像和进行像差校正，并成像于微光CCD传感器a的像面上。

所述的折反射全景环形光学成像系统b包括折反射透镜b和中继透镜组件b，其结构与折反射全景环形光学成像系统a相同。

2、所述的微光CCD图像传感器系统a，包括微光CCD图像传感器a、CCD图像信号处理电路a、时序控制及其驱动电路a。微光CCD图像传感器a分别与时序控制及其驱动电路a、CCD图像信号处理电路a互连；时序控制及其驱动电路a与CCD图像信号处理电路a相连。

所述微光CCD图像传感器a，为低照度微光CCD图像传感器，位于折反射全景环形光学成像系统a的成像平面上，用于在夜视微光低照度条件下感知图像。所述时序控制及其驱动电路a，为微光CCD图像传感器a和CCD图像信号处理电路a提供时序控制和驱动，保证电荷耦合器件正常工作。所述CCD图像信号处理电路a，将接收到的微光CCD图像传感器a感知的微光图像信号进行实时处理，合成标准制式的模拟信号图像输出。

所述的微光CCD图像传感器系统b，包括微光CCD图像传感器b、CCD图像信号处理电路b、时序控制及其驱动电路b；其结构与微光CCD图像传感器系统a相同。

3、所述的微光全景图像处理板，包括视频输入模块、DSP+FPGA并行图像处理模块、视频输出模块、程序存储器模块、外部数据存储器模块、分布式电源管理模块、时钟和倍频模块、键盘控制与数码显示模块、网络传输模块、系统监控与复位模块和串行通信模块。

DSP+FPGA并行图像处理模块为所述微光全景图像处理板的核心，视频输入模块、时钟和倍频模块、分布式电源管理模块、系统监控与复位模块的输出端与该模块的输入端相连；程序存储器模块、外部数据存储器模块、键盘控制与数码显示模块、串行通信模块与该模块互连；该模块的其中两路输出端与视频输出模块、网络传输模块的输入端连接。

所述视频输入模块接收来自两路CCD图像信号处理电路输出的标准制式的模拟信号图像，并将其离散成数字图像信号，输出给DSP+FPGA并行图像处理模块。

所述视频输出模块接收DSP+FPGA并行图像处理模块输出的处理后的微光全景图像，将其合成标准制式的模拟信号图像输出显示。

所述程序存储器模块包括第一FLASH存储器(FLASH1)和第二FLASH存储器(FLASH2)，分别与并行图像处理模块的DSP和FPGA连接；用于存储测距方法，以及DSP+FPGA并行图像处理模块的配置信息；该模块每次上电时都为DSP+FPGA并行图像处理模块提供加载程序以完成微光全景图像处理板系统自举。

所述外部数据存储器模块包括第一同步动态随机存储器(SDRA M1)、第二同步动态随机存储器(SDRAM2)和第一静态随机存储器(SRAM1)、第一静态随机存储器(SRAM2)；SDRAM1和SDRAM2与并行图像处理模块的DSP互连，SRAM1和SRAM2与并行图像处理模块的FPGA互连；用于实时图像处理时，存储大量的图像数据。

所述DSP+FPGA并行图像处理模块从所述视频输入模块获取离散后的微光全景图像，并从所述程序存储器模块获取微光全景图像测距处理方法，对微光全景图像进行处理，从视频输出模块输出图像。

所述的分布式电源管理模块，用于对DSP+FPGA并行图像处理模块供电，满足系统多种供电电压需求。

所述的时钟和倍频模块，用于满足DSP+FPGA并行图像处理模块对不同时钟频率的需求。

所述键盘控制与数码显示模块，用于输入或输出外部的开关量信号。

所述网络传输模块，用于实现所述DSP+FPGA并行图像处理模块与外部网络的通信与传输。

所述系统监控与复位模块，用于DSP+FPGA并行图像处理模块配置信息重置，监控系统状态和系统重启动。

所述串行通信模块，用于实现所述DSP+FPGA并行图像处理模块与其它上位机之间的通信，或者输出控制信号之用。

4、所述双镜头支架为中空支架，下端水平安装单镜头全景环形光学成像系统a，上端水平安装单镜头全景环形光学成像系统b，视频线从中空部分穿过。

当双镜头微光立体全景成像装置水平放置时，微光CCD图像传感器系统b、折反射全景环形光学成像系统b、折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板，自上而下顺次同轴对称安装，光轴位于同一铅垂线上。微光CCD图像传感器系统a和微光CCD图像传感器系统b的输出通过视频线连接到微光全景图像处理板的输入端。

本发明的双镜头立体全景成像装置的工作过程为：两个折反射全景环形光学成像系统分别成像于相应的微光CCD传感器的像面上；CCD图像信号处理电路在时序控制及其驱动电路的控制下，形成微光全景模拟信号图像，并将形成的模拟信号图像输入微光全景图像处理板上的视频输入模块；DSP+FPGA并行图像处理模块接收视频输入模块离散后形成的数字图像信号，完成微光全景图像展开、畸变校正、图像增强与测距功能；再由视频输出模块将其合成标准制式的图像输出显示。程序存储器模块、外部数据存储器模块、分布式电源管理模块、时钟和倍频模块、键盘控制与数码显示模块、网络传输模块、系统监控与复位模块和串行通信模块等功能模块，在DSP+FPGA并行图像处理模块工作过程中配合其共同完成图像处理任务。

本发明的另一种结构为所述双镜头支架下端水平安装单镜头全景环形光学成像系统a，上端水平安装单镜头全景环形光学成像系统b。当双镜头微光立体全景成像装置水平放置时，微光全景图像处理板、微光CCD图像传感器系统a、折反射全景环形光学成像系统a、折反射全景环形光学成像系统b和微光CCD图像传感器系统b，自下而上顺次同轴对称安装，光轴位于同一铅垂线上。

基于所述的双镜头微光立体全景成像装置，本发明提供了一种360°超大视场测距方法，具体实现过程如下：

第1步，获取全景参数：获取双镜头立体全景成像装置的几何参数，包括：内参数、外参数、全景图像畸变参数，确定空间坐标系到图像坐标系的变换矩阵；

所述内参数是由双镜头立体全景成像装置内部几何和光学特性决定，主要包括主点坐标和尺度因子；

所述外参数是指双镜头立体全景成像装置相对世界坐标系的位姿关系，包括旋转和平移变换；

所述全景图像畸变参数是指获取的图像与标定板之间的径向畸变和周向畸变；

第2步，全景图像采集：使用双镜头立体全景成像装置实时同步采集上下两路360°周视环形全景图像，形成同步的、各自独立的上下两路视频；

第3步，全景图像预处理：对实时获取的微光全景图像进行处理，主要包括平滑处理、图像锐化和对比度扩展，为下一步的全景图像特征提取和立体匹配打下基础；

第4步，参数校正：根据外极约束，通过双镜头立体全景成像装置的几何参数对采集到的上下两路环形全景图像视频逐帧进行处理，使每一对同步采集的上下两幅全景视图中对应的像素点都位于同一列上；

第5步，全景图像展开与畸变校正：将环形全景图像沿水平方向进行360°全景展开成带有畸变的矩形全景，根据第1步获取的全景畸变参数进行校准，包括径向畸变校正和周向畸变校正，形成无畸变的水平矩形全景图像；

第6步，全景图像切分：将校正后的无畸变矩形全景图像分别进行两方向、四方向、八方向的全景图像切分展开，形成两路各自独立的切分全景图像；

第7步，全景图像特征提取：分别对两路切分全景图像中比较明显的特征进行提取，包括图像点特征(角点、交叉点)、图像边缘、轮廓、图像区域的提取，形成两个全景图像立体匹配的模板；

第8步，立体匹配：在同步采集的上下两幅切分后全景图像中分别寻找对应空间中同一个点的像素点，将分别来自于上下两幅全景图像的对应像素点作为一个匹配对，根据找到的上下两幅全景图像中所有的匹配对来构建一个全景深度图像；

第9步，立体全景视频图像的生成：根据切分后的上下两幅全景图像以及所构建的全景深度图像，生成多幅不同视点的虚拟全景视频图像；再加上切分后的上下两幅全景图像，合成适合立体显示器显示的全景立体图像；

第10步，立体全景测距控制信号输出：根据生成的全景图立体图像解算并输出目标所在的深度信息，从而达到立体全景目标测距的目的。

有益效果

本发明双镜头微光立体全景成像装置及其超大视场测距方法，在可见光条件以及微光等极低照度环境下，只需两个全景环形镜头，无需多台相机及云台等旋转部件，可实时获取360°超大视场立体全景图像，并能实时测量360°视场范围内全景图像中景物中动态目标的距离信息，同时可将微光立体全景图像，进行立体全景展开、超大视场全景图像畸变校正、多模式图像分割和多模显示、并对低照度微光图像进行增强，突出动态景物轮廓的对比度，改善微光全景图像的夜间观察效果，并能对运动目标进行实时距离的测量。本发明是一种微小型的微光立体全景视觉传感器。

本发明根据实际需要将立体全景图像进行二分割、四分割、八分割；并对运动目标实时测量其距离，实现对无人作战武器平台进行微光立体全景视觉导航与定位。

本发明是一种新型的双镜头微光立体全景成像装置及其超大视场测距方法，解决了现有技术中微光图像和360°超大视场全景图像不能实时测量距离的问题；本发明具有极高的灵敏度、照度低、可实时获取360°超大视场全景图像、视场角大(水平方向上周视360°超大视场，垂直方向上仰角38°，俯角17°)。本发明对于开展微小型微光立体全景视觉传感器系统和360°超大视场立体全景视觉导航与定位领域的研究、提升无人作战武器平台微光条件下作战性能，以及提高现代高技术战争的作战效能具有重要意义。

附图说明

图1为背景技术中普通的双目立体视觉相机实物图；

图2为背景技术中多摄像机全景图像拼接全景相机实物图；

图3为背景技术中单摄像机云台旋转获取全景图像相机示意图；

图4为背景技术中单镜头环形光学成像全景图像传感器实物图；

图5为本发明的双镜头微光立体全景成像装置的示意图；

图6为本发明的双镜头微光立体全景成像装置中折反射全景环形光学成像系统的剖视结构示意图；

图7为本发明的微光全景图像处理板的硬件结构组成图；

图8为本发明的单镜头微光全景成像装置各组成部分的连接关系图；

图9为本发明的双镜头微光立体全景成像装置具体实施方式中折反射全景环形光学成像原理图；

图10为本发明中一种利用所述双镜头微光立体全景成像装置实现360°超大视场测距方法流程图；

图11为具体实施方式中上镜头原始环形360°全景图像；

图12为具体实施方式中下镜头原始环形360°全景图像；

图13为具体实施方式中上镜头全景图像展开与畸变校正后的图像；

图14为具体实施方式中下镜头全景图像展开与畸变校正后的图像；

图15为具体实施方式中双镜头立体全景成像装置测距原理图；

图16为具体实施方式中双镜头立体全景成像装置视差图；

图17为具体实施方式中边缘检测与图像增强后的全景图像；

图18为具体实施方式中边缘检测与图像增强后的全景图像；

标号说明

1A-折反射全景环形光学成像系统a、1B-折反射全景环形光学成像系统b、2A-微光CCD图像传感器系统a、2B-微光CCD图像传感器系统b、3-微光全景图像处理板、4A-折反射透镜组件a、4B-折反射透镜组件b、5A-中继透镜组件a、5B-中继透镜组件b、6A-微光CCD图像传感器a、6B-微光CCD图像传感器b、41A-入射环形折射面a、41B-入射环形折射面b、42A-下环形反射面a、42B-下环形反射面b、43A-顶端反射面a、43B-顶端反射面b、44A-出射折射面a、44B-出射折射面b，7-双镜头支架。

具体实施方式

为了更好的说明本发明的目的、优点和技术方案，下面结合附图和实施例来对本发明内容作进一步说明。

本发明的双镜头微光立体全景成像装置如图2所示，包括单镜头全景环形光学成像系统a1A、单镜头全景环形光学成像系统b1B和双镜头支架7。

单镜头全景环形光学成像系统a1A包括折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板；单镜头全景环形光学成像系统b包括折反射全景环形光学成像系统b和微光CCD图像传感器系统b。

1、所述的折反射全景环形光学成像系统a包括折反射透镜a和中继透镜组件a。折反射透镜a，位于折反射全景环形光学成像系统a的最前端；该透镜依据折反射成像原理，遵循平面圆柱投影FCP透视法，对围绕光轴360°的圆柱景象成一个平面的环形图像，实现单镜头360°超大视场图像的光学成像。

所述的折反射全景环形光学成像系统b包括折反射透镜b和中继透镜组件b，其结构与折反射全景环形光学成像系统a相同。

如图6所示，折反射透镜4A和4B为一个类椭球体的透镜体，就折反射透镜4A正面水平放置时，由上至下依次为：顶端反射面43A、入射环形折射面41A、下环形反射面42A和出射折射面44A。向外凸出的入射环形折射面41A的顶端为一个向内凹陷的顶端反射面43A；紧挨入射环形折射面41A的是下环形反射面42A，它是一个向外凸出的内反射面，与顶端反射面43A相对，在下环形反射面42A的底部是向外凸出的出射折射面44A，折反射透镜4B与其上下对称。

中继透镜组件A与折反射透镜A同轴，位于折反射全景环形光学成像系统A的后端，由多块透镜同轴组成。中继透镜组件A将折反射透镜A所成的虚像转变成实像和进行像差校正，并成像于微光CCD传感器a的像面上。

2、所述的微光CCD图像传感器系统a，包括微光CCD图像传感器a、CCD图像信号处理电路a、时序控制及其驱动电路a。微光CCD图像传感器a分别与时序控制及其驱动电路a、CCD图像信号处理电路a互连；时序控制及其驱动电路a与CCD图像信号处理电路a相连。

所述微光CCD图像传感器a，为低照度微光CCD图像传感器，位于折反射全景环形光学成像系统a的成像平面上，用于在夜视微光低照度条件下感知图像。所述时序控制及其驱动电路a，为微光CCD图像传感器a和CCD图像信号处理电路a提供时序控制和驱动，保证电荷耦合器件正常工作。所述CCD图像信号处理电路a，将接收到的微光CCD图像传感器a感知的微光图像信号进行实时处理，合成标准制式的模拟信号图像输出。

所述的微光CCD图像传感器系统b，包括微光CCD图像传感器b、CCD图像信号处理电路b、时序控制及其驱动电路b；其结构与微光CCD图像传感器系统a相同。

本发明的微光全景图像处理板3是一套自行开发的独立的嵌入式系统，必须为其配置专门用于程序存储的非易失性存储器。由于DSP和FPGA没有提供内部的FLASH作为程序存储器，需要分别从外部扩展FLASH存储器。FLASH存储器主要作用是固化程序和保存历史数据，也就是开机后执行闪存的程序，并在程序执行的过程中实时地保存或修改其内部的数据单元。

本实施例的DSP+FPGA并行图像处理模块中的DSP部分对应的程序存储器模块采用AMD公司的AM29LV033C系列的FLASH存储器。

所述外部数据存储器模块包括SDRAM1、SDRAM2和SRAM1、SRAM2，SDRAM1、SDRAM2与DSP+FPGA并行图像处理模块的DSP部分互连，SRAM1、SRAM2与DSP+FPGA并行图像处理模块的FPGA部分互连，用于实时处理图像处理时，存储大量的图像数据。

本实施例中，与DSP+FPGA并行图像处理模块的DSP部分相连的外部数据存储器模块采用的是Micron公司生产的MT48LC4M32B2系列的同步动态存储器(SDRAM)，存储容量为128Mbit，数据宽度为32位，由于DM642的EMIFA数据线宽度为64位，所以选用两片SDRAM与DM642相连接。SDRAM的读写以及刷新等一系列操作都是通过不同的命令来实现的。通过CS(片选使能信号)、RAS(行地址选通信号)、CAS(列地址选通信号)、WE(写使能信号)的组合指令字完成的，所有的指令都与外部时钟同步。

实时动态图像处理对于帧缓存要求很高，本发明中与DSP+FPGA并行图像处理模块的FPGA部分相连的SRAM1、SRAM2构成乒乓结构的切换方式。高速SRAM只有一套数据、地址和控制总线，直接与FPGA的I/O端口相连，总线的三态门切换方法由编写的FPGA管理系统软件程序实现，可方便实现图像数据的随机存取。这种方式的优点是SRAM可随机存取，同时大容量的高速SRAM容易得到且价格适中，缺点是切换控制电路比较复杂，软件设计难度大。本实施例采用的两片CYPRESS公司的高性能CMOS大容量的异步静态存储器SRAM，型号为：CY7C1061AV33，容量为1M＊16位。

所述DSP+FPGA并行图像处理模块从所述两路视频输入模块获取离散后的微光全景图像，并从所述程序存储器模块获取微光全景图像执行畸变校正与展开算法程序，依据双镜头立体折反射全景环形光学成像系统成像原理，由两个图像传感器从不同角度同时获取两幅全景图像，并基于视差原理恢复出物体三维几何信息，由双镜头微光立体全景成像装置实现360°超大视场测距算法解算出距离信息。

本实施例针对微光全景图像传感器图像处理算法的要求和特点，采用了目前运算性能和可编程能力都非常强大的高端数字信号处理器(DSP)和现场可编程门阵列(FPGA)处理器，构成DSP+FPGA图像处理架构。以高性能的TI专用图像处理器TMS320DSP DM642和XILINX公司Spartan3系列的FPGA：XC3S1000高性能100万门FPGA作为图像处理核心器件，构成嵌入式并行图像处理硬件平台，完成图像处理功能。

所述的分布式电源管理模块，用于对DSP+FPGA并行图像处理模块供电，满足系统多种供电电压需求；

本实施例采用5V直流电源供电。由于整个图像处理系统复杂而庞大，各种芯片对电源的要求不尽相同，共需要七种不同的电压源供电，包括：模拟3.3V；模拟1.8V；数字1.8V；数字1.2V；数字1.4V；数字2.5V；数字3.3V。

模拟电路涉及到弱小信号，电源噪声不能比信号大；数字电路门限电平较高，对电源的性能要求比模拟电路低，因此整个微光全景图像处理系统需要具有专为模拟电路供电的模拟电源和专为数字电路供电的数字电源。

综合分析各芯片的功率、电源输出纹波系数大小、性能、稳定性以及DSP上电顺序的要求，本实施例选用TI公司DC-DC电源转换芯片TPS系列芯片完成电源管理系统设计，包括：TPS54310PWP为DM642提供大功率、高精度的核电压1.4V，TPS54316PWP提供数字系统3.3V供电电压，TPS79633DCQ提供3.3V模拟电压，TPS79601DCQ提供1.8V供电电压，TPS79601DCQ为FPGA提供1.2V供电电压，TPS79625DCQ为FPGA提供2.5V供电电压。

所述时钟与倍频模块，用于满足DSP+FPGA并行图像处理模块中多种芯片不同时钟频率的需求。

所述键盘控制与数码显示模块，用于输入或输出外部的开关量信号。

所述网络传输模块，用于实现所述DSP+FPGA并行图像处理模块与外部网络的通信与传输。

所述系统监控与复位模块，用于DSP+FPGA并行图像处理模块配置信息重置，监控系统状态和系统重启动。

所述串行通信模块，用于实现所述DSP+FPGA并行图像处理模块与其它上位机之间的通信，或者输出控制信号之用。

所述上下安装的两路全景折反射全景环形光学成像系统a和全景折反射全景环形光学成像系统b，分别成像于微光CCD图像传感器系统a和微光CCD图像传感器系统b上，实时获取两路全景图像信息，如图11、图12所示，所述DSP+FPGA并行图像处理模块从所述视频输入模块获取离散后的微光全景图像，并从所述程序存储器模块获取微光全景图像执行畸变校正与展开算法程序，如图13、图14所示，依据双镜头立体折反射全景环形光学成像系统成像原理，由两个图像传感器从不同角度同时获取两幅全景图像，并基于视差原理恢复出物体三维几何信息，由双镜头微光立体全景成像装置实现360°超大视场测距算法解算出距离信息。

如图5所示的双镜头微光立体全景成像装置，本实施方式提供了一种利用所述双镜头立体全景成像装置实现360°超大视场测距的方法。

具体测距原理如下：

人通过双眼从不同的观察角度来获取客观的三维世界景物图像信息，根据几何光学投影原理，位于观察者双眼不同距离的物点呈现在两眼视网膜的不同位置上。这种两眼视网膜上的位置差就称为双目视差简称视差，它反映了客观景物的深度。现有的绝大多数左右并列双目立体视觉系统均采用这项原理。

所述基于视差理论的双镜头立体全景视觉成像装置，是运用两个相同的全景环形光学成像系统上下安装，对同一景物在不同位置成像，获得景物的立体图像，并通过立体全景图像处理算法，计算视差，然后采用基于三角测量的方法恢复深度信息。

垂直结构的双镜头立体全景成像装置是将两个全方位视觉传感器的主轴装配在同一条竖直线上来实现的立体全景视觉系统。垂直结构的双镜头立体全景成像装置可以有效的克服水平结构不能同时获取360度全景立体图像的缺点，本发明所述的测量方法以基线为中心，具有各方向同性，测量点的对应极线是标准的直线，有利于算法的实现。垂直结构的双镜头立体全景成像装置测距原理图如图15所示。

双镜头立体全景成像可获取同一场景的两幅不同全景图像，成像时的模型可看作是由两个单镜头全景成像模型组合而成，原理如图16所示。设A和B分别为下上两个单镜头全景视觉传感器的单视点，且基线距AB为c，全景环形光学成像系统的焦距为f。设物体上的点过A和B分别向图像面做垂线，垂足分别为A1和B1，过G向图像面做垂线，垂足为Q。|A₁G₁|＝l_A，|B₁G₂|＝l_B，|G₂Q|＝a，则由三角形相似有：

由式(1)和式(2)可得

把式(3)带入式(1)有

由上式可以看出，距离d与c、f和l_A-l_B有关。l_A-l_B称为在下上两个图像平面上形成的视差，它表示了物点G在下上两幅图像中成像点的位置差异。由于c、f是已知的，因同一点G在下上两幅图像上的投影点之间的对应关系。所以可以求得空间任一物点G到双镜头立体全景成像装置的中心点O位置的距离。

实现过程如下：

第1步，全景参数校准：获取双镜头立体全景成像装置的几何参数，包括：内参数、外参数、全景图像畸变参数，确定空间坐标系到图像坐标系的变换矩阵；

所述内参数是由双镜头立体全景成像装置内部几何和光学特性决定的，主要包括主点坐标和尺度因子；

所述外参数是指双镜头立体全景成像装置相对世界坐标系的位姿关系包括旋转和平移变换；

所述全景图像畸变参数是指获取的图像与标定板之间的径向畸变和周向畸变；

第2步，全景图像采集：使用双镜头立体全景成像装置实时同步采集上下两路360°周视环形全景图像，形成同步的、各自独立的上下两路视频，如图11、图12所示；

第3步，全景图像预处理：对拍摄获取的微光全景图像进行处理，主要包括平滑处理、图像锐化、对比度扩展等内容，为下一步的全景图像特征提取和立体匹配打下基础；

所述平滑处理主要目的是去除全景图像获取中产生的噪声，如椒盐噪声、脉冲噪声和高斯噪声等；

所述图像锐化就是补偿图像的轮廓，增强图像的边缘及灰度跳变的区域，使其更加清晰，如图17、图18所示；

所述对比度扩展就是把感兴趣的灰度范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，从而达到了增强对比度的目的；

第4步，参数校正：根据外极约束，通过双镜头立体全景成像装置的几何参数对采集到的上下两路环形全景图像视频逐帧进行处理，使每一对同步采集的上下两幅全景视图中对应的像素点都位于同一列上；

第5步，全景图像展开与畸变校正：将环形全景图像沿水平方向进行360°全景展开成带有畸变的矩形全景，根据全景畸变参数进行校准，包括径向畸变校正和周向畸变校正，形成无畸变的水平矩形全景图像；

第6步，全景图像切分：将校正后的无畸变矩形全景图像分别进行两方向、四方向、八方向的全景图像切分展开，形成两路各自独立的切分全景图像，一路图像，如图13、图14所示；

第7步，全景图像特征提取：对图像中比较明显的特征进行提取，如基于基于图像点特征(角点、交叉点)的提取，基于图像边缘、轮廓的提取，基于图像区域的提取，为全景图像立体匹配提供模板；

第8步，立体匹配：在每一对同步采集的上下两幅全景图像中分别寻找对应空间中同一个点的像素点，这样分别来自于上下两幅全景图像的每一对的对应像素点称为一个匹配对，根据找到的上下两幅全景图像中所有的匹配对来构建全景深度图像；

第9步，立体全景视频图像的生成：根据同步采集的上下两幅全景图像以及所构建的全景深度图像，生成多幅不同视点的虚拟全景视频图像；再加上同步采集的上下两幅全景图像，合成适合立体显示器显示的全景立体图像；

第10步，立体全景测距控制信号输出：根据生成的全景图立体图像解算并输出目标所在的深度信息，从而达到目标测距的目的。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.双镜头微光立体全景成像装置，其特征在于：包括单镜头全景环形光学成像系统a、单镜头全景环形光学成像系统b和双镜头支架；

单镜头全景环形光学成像系统a包括折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板；单镜头全景环形光学成像系统b包括折反射全景环形光学成像系统b和微光CCD图像传感器系统b；

所述的折反射全景环形光学成像系统a包括折反射透镜a和中继透镜组件a；折反射透镜a，位于折反射全景环形光学成像系统a的最前端，对围绕光轴360°的圆柱景象成一个平面的环形图像；

折反射透镜a为一个类椭球体的透镜体，当正面水平放置时，由上至下依次为：顶端反射面、入射环形折射面、下环形反射面和出射折射面；类椭球体顶端为一个向内凹陷的顶端反射面，四周向外凸出的部分以中心平面为界，上端为入射环形折射面，下端为下环形反射面；出射折射面位于类椭球体的底部、与顶端反射面位置相对，向外凸出；

中继透镜组件a与折反射透镜a同轴，位于折反射全景环形光学成像系统a的后端，由多块透镜同轴组成；

所述的折反射全景环形光学成像系统b包括折反射透镜b和中继透镜组件b，其结构与折反射全景环形光学成像系统a相同；

所述的微光CCD图像传感器系统a，包括微光CCD图像传感器a、CCD图像信号处理电路a、时序控制及其驱动电路a；微光CCD图像传感器a分别与时序控制及其驱动电路a、CCD图像信号处理电路a互连；时序控制及其驱动电路a与CCD图像信号处理电路a相连；

所述微光CCD图像传感器a，位于折反射全景环形光学成像系统a的成像平面上；所述时序控制及其驱动电路a，为微光CCD图像传感器a和CCD图像信号处理电路a提供时序控制和驱动；所述CCD图像信号处理电路a，实时处理微光图像信号，合成标准制式的模拟信号图像输出；

所述的微光CCD图像传感器系统b，包括微光CCD图像传感器b、CCD图像信号处理电路b、时序控制及其驱动电路b；其结构与微光CCD图像传感器系统a相同；

所述的微光全景图像处理板，包括视频输入模块、DSP+FPGA并行图像处理模块、视频输出模块、程序存储器模块、外部数据存储器模块、分布式电源管理模块、时钟和倍频模块、键盘控制与数码显示模块、网络传输模块、系统监控与复位模块和串行通信模块；

视频输入模块、时钟和倍频模块、分布式电源管理模块、系统监控与复位模块的输出端与DSP+FPGA并行图像处理模块的输入端相连；程序存储器模块、外部数据存储器模块、键盘控制与数码显示模块、串行通信模块与DSP+FPGA并行图像处理模块互连；DSP+FPGA并行图像处理模块的两路输出端与视频输出模块、网络传输模块的输入端连接；

所述双镜头支架为中空支架，下端水平安装单镜头全景环形光学成像系统a，上端水平安装单镜头全景环形光学成像系统b；

当双镜头微光立体全景成像装置水平放置时，微光CCD图像传感器系统b、折反射全景环形光学成像系统b、折反射全景环形光学成像系统a、微光CCD图像传感器系统a和微光全景图像处理板，自上而下顺次同轴对称安装，光轴位于同一铅垂线上；微光CCD图像传感器系统a和微光CCD图像传感器系统b的输出通过视频线连接到微光全景图像处理板的输入端。

2.根据权利要求1所述的双镜头微光立体全景成像装置，其特征在于：所述微光CCD图像传感器a或者微光CCD图像传感器b，为低照度微光CCD图像传感器。

3.根据权利要求1所述的双镜头微光立体全景成像装置，其特征在于：所述视频输入模块接收来自两路CCD图像信号处理电路输出的标准制式的模拟信号图像，并将其离散成数字图像信号，输出给DSP+FPGA并行图像处理模块；

所述视频输出模块接收DSP+FPGA并行图像处理模块输出的处理后的微光全景图像，将其合成标准制式的模拟信号图像输出显示；

所述程序存储器模块包括第一FLASH存储器和第二FLASH存储器，分别与并行图像处理模块的DSP和FPGA连接；用于存储测距方法，以及DSP+FPGA并行图像处理模块的配置信息；该模块每次上电时都为DSP+FPGA并行图像处理模块提供加载程序以完成微光全景图像处理板系统自举；

所述外部数据存储器模块包括SDRAM1、SDRAM2和SRAM1、SRAM2；SDRAM1和SDRAM2与并行图像处理模块的DSP互连，SRAM1和SRAM2与并行图像处理模块的FPGA互连；

所述DSP+FPGA并行图像处理模块处理并输出微光全景图像；

所述的分布式电源管理模块对DSP+FPGA并行图像处理模块供电；

所述的时钟和倍频模块满足DSP+FPGA并行图像处理模块对不同时钟频率的需求；

所述键盘控制与数码显示模块输入或输出外部的开关量信号；

所述网络传输模块实现与外部网络的通信与传输；

所述系统监控与复位模块配置信息重置，监控系统状态和系统重启动；

所述串行通信模块实现所述DSP+FPGA并行图像处理模块与其它上位机之间的通信，或者输出控制信号。

4.双镜头微光立体全景成像的超大视场测距方法，其特征在于：具体实现过程如下：

第1步，获取全景参数：获取双镜头立体全景成像装置的内参数、外参数、全景图像畸变参数；

所述内参数是由双镜头立体全景成像装置内部几何和光学特性决定的，主要包括主点坐标和尺度因子；

所述外参数是指双镜头立体全景成像装置相对世界坐标系的位姿关系包括旋转和平移变换；

所述全景图像畸变参数是指获取的图像与标定板之间的径向畸变和周向畸变；

第2步，全景图像采集：使用双镜头立体全景成像装置实时同步采集上下两路360°周视环形全景图像，形成同步的、各自独立的上下两路视频；

第3步，全景图像预处理：对实时获取的微光全景图像进行处理；

第4步，参数校正：根据外极约束，通过双镜头立体全景成像装置的几何参数对采集到的上下两路环形全景图像视频逐帧进行处理，使每一对同步采集的上下两幅全景视图中对应的像素点位于同一列上；

第5步，全景图像展开与畸变校正：将环形全景图像沿水平方向进行360°全景展开成带有畸变的矩形全景，根据第1步获取的全景畸变参数进行校准；

第6步，全景图像切分：将校正后的无畸变矩形全景图像分别进行两方向、四方向、八方向的全景图像切分展开，形成两路各自独立的切分全景图像；

第7步，全景图像特征提取：分别对两路切分全景图像中比较明显的特征进行提取，形成两个全景图像立体匹配的模板；

所述比较明显的特征包括角点、交叉点、图像边缘、轮廓、图像区域；

第8步，立体匹配：在同步采集的上下两幅切分后全景图像中分别寻找对应空间中同一个点的像素点，将分别来自于上下两幅全景图像的对应像素点作为一个匹配对，根据找到的上下两幅全景图像中所有的匹配对来构建一个全景深度图像；

第9步，立体全景视频图像的生成：根据切分后的上下两幅全景图像以及所构建的全景深度图像，生成多幅不同视点的虚拟全景视频图像；再结合切分后的上下两幅全景图像，合成适合立体显示器显示的全景立体图像；

第10步，立体全景测距控制信号输出：根据生成的全景立体图像解算并输出目标所在的深度信息，达到立体全景目标测距的目的。