CN103974040A

CN103974040A - 一种接口共享的全景数字图像传感器及构建方法

Info

Publication number: CN103974040A
Application number: CN201410195524.0A
Authority: CN
Inventors: 付梦婷; 付永庆
Original assignee: Harbin Mercury Electronic Science And Technology Co Ltd
Current assignee: Harbin Mercury Electronic Science And Technology Co Ltd
Priority date: 2014-05-09
Filing date: 2014-05-09
Publication date: 2014-08-06

Abstract

本发明提供一种接口共享的全景数字图像传感器及构建方法。由M个相同的CMOS传感器、1片CPLD/FPGA和1个晶体钟源组成。传感器按正M边形放置，系统时钟信号线、配置信号线、休眠信号线分别连接在一起由CPLD/FPGA驱动，任取一个CMOS传感器的帧同步信号、行使能信号、像素时钟信号代替其他CMOS传感器与CPLD/FPGA相连，每个CMOS传感器的数据线分别接到CPLD/FPGA，CPLD/FPGA并行读入传感器数据，按时分复用方式从非标准化图像接口输出带有帧同步、行使能、像素时钟信号的全景图像数据序列。本发明可解决多图像传感器引脚超出嵌入式处理器接入能力问题，特别适合全景图像监控应用场合。

Description

一种接口共享的全景数字图像传感器及构建方法

技术领域：

本发明涉及的是一种接口共享的全景数字图像传感器及构建方法，特别是涉及一种通过M个CMOS传感器接口共享连接获取360°场景线性实时图像的全景数字图像传感器及构建方法。

背景技术：

为获取全景的实时图像，人们已经做了很多研究，目前主要方式有特殊镜头式全景成像(如使用鱼眼镜头的超半球凝视成像、专利[1]中所示的非半球反射面前置全景成像、专利[2]中所示的圆柱平面投影带状成像)与通用镜头式全景成像(如专利[3]中所示的多镜头阵列全景成像、单镜头扫描式全景成像)两大类。其中特殊镜头式全景成像装置需要特殊的光学装置，这种装置相对普通镜头所需成本较高，且成像结果多为非线性图像，因此需要较复杂的运算处理才能获得接近线性的图像，对实时性和图像画质(几何失真)有一定影响，获得高分辨率图像也很困难；单镜头扫描式全景成像所需成本最低，但其所需的机械结构降低了镜头的隐蔽性，且扫描周期较长使跟踪快速目标困难；多镜头阵列全景成像可获得线性图像且成本主要在传感器芯片上，相对较低，但是由于所用传感器较多，多个传感器与控制芯片互连就成了一个需要解决的关键技术问题。而且该问题在专利[1][2][3][4]中均未给出解决方案。

当传感器增多时传感器与控制芯片(如ARM，FPGA，DSP)之间的引脚需求就会增高，鉴于专利[4]中使用USB作为互连协议，需要USB通信芯片、集线器等设备，其成本相对较高。考虑到当各图像传感器信号同步时，多个图像传感器的同步信号(像素时钟信号，行使能信号，帧同步信号)完全可以用来自其中一个传感器的信号代替；多个图像传感器的数据也可用CPLD控制以时分复用高速传输的方式把8位并行数据用非标准化信号形式传给后继的图像处理芯片。故通过共享使用接口信号可构建出一种具有非标准图像接口的全景数字图像传感器。本专利技术可以用于简化全景成像系统设计并达到降低造价的目的，进而推动全景成像系统技术进步。

参考文献

[1]朱齐丹、马铁刚、沈建永、王会勇、张智、韩瑞、蔡成涛、王立辉、栗蓬、马宏业.防爆型高分辨率全景视觉监控系统，发明专利号ZL200710072677，2008年07月16(授权日)。

[2]周向东、黄治、白剑.一种全景成像装置及方法，发明专利号ZL201310257672，2013年 10月16(授权日)。

[3]庄越挺、姚琤、吴飞.分体式实时全景无缝无失真视频摄像机，发明专利号ZL200720112359，2008年9月10日(授权日)。

[4]徐涛、杨泱、陈立、金伟伟、岑兆丰、李晓彤.一种多镜头实时全景成像系统，发明专利号ZL201010164788，2010年9月8日(授权日)。

发明内容

本发明的目的在于提供一种接口共享的全景数字图像传感器。本发明的目的还在于提供一种接口共享的全景数字图像传感器的构建方法。

本发明的目的是这样实现的：

1.根据图像传感器的成像角FOV，按公式(1)选取M个相同型号的CMOS传感器，使之能覆盖360°全景成像场景。

式中，η取0.95，表示扣除相邻图像重叠部分后图像传感器成像角的有效系数；符号表示向上取整运算。

2.把选择的M个CMOS传感器按正M边形放置构成拾取全景图像信息的镜头，并使其镜头成像角(FOV)中分线(光轴连线)相交于正M边形的中心。作为参考(不失一般性，仅为便于说明传感器的放置方法)，给出M＝8时CMOS传感器的安装位置俯视图如图1所示。

3.把M个CMOS传感器按接口共享方式与一片CPLD/FPGA连接，组成覆盖360°成像场景的全景数字图像传感器电路。CMOS传感器与CPLD/FPGA间的接口共享连接关系示于图2，具体可描述如下：

(1)将M个CMOS传感器的系统时钟线(VXCLK)、SCCB配置控制线(SIO_C、SIO_D)、休眠线(PWDN)各自连接在一起，再分别与CPLD/FPGA的I/O引脚线相连，驱动信号由CPLD/FPGA提供；

(2)在M个CMOS传感器中任取一个CMOS传感器，把它的帧同步信号线(VSYNC)、行使能信号线(HREF)、像素时钟信号线(PCLK)分别连接到CPLD/FPGA的I/O引脚线上，取代另外M-1个CMOS传感器上的同名信号；

(3)将每个CMOS传感器的数据口线(Camera_data k[7..0]，k＝1，2，...，M)都连接到 CPLD/FPGA的I/O引脚线上，并确保承担该连接任务的PCB布线按等长线设计；

(4)全景数字图像传感器的数据经由CPLD/FPGA的非标准化图像接口(也简称为非标准化接口)输出，其引脚功能定义如图2所示。

(5)CPLD/FPGA内部电路负责产生系统时钟信号、同步读入M个CMOS传感器的YUV格式数据，生成非标准化接口辅助信号(随路时钟信号Trans_clk、行使能信号Trans_href、帧同步信号Trans_vsync、像素时钟信号Trans_pclk)，按时分复用方式把同步读入的M个CMOS传感器的数据以更高的传输速率送到非标准化接口(八位并行图像数据接口Trans_data[7..0])输出。CPLD/FPGA内部电路功能通过装入硬件描述语言代码程序实现，相应的电路原理如图3所示。

图3中，VXCLK是送给CMOS传感器的系统时钟信号，由200MHz晶体钟源经分频获得；CTL[0..N]为多路开关的控制信号，其中，M为CMOS传感器的个数，符号代表向上取整运算；状态机、循环计数器、多路开关共同完成对同步读入的M个CMOS传感器数据进行时分复用处理和送给非标准化接口输出的任务；移位计数器用于生成非标准化接口的随路时钟信号Trans_clk、行使能信号Trans_href、帧同步信号Trans_vsync和像素时钟信号Trans_pclk。

(6)非标准化图像接口在行使能信号有效(高电平)且随路时钟信号出现上升沿时，启动数据(按时分复用方式)传输，直到行使能信号无效(低电平)时终止。工作时，信号时序关系如图4、图5所示。

图4中，C1，C2，…，CM为来自M个CMOS传感器的YUV格式的图像数据。因YUV格式图像数据在每个像素点上用两个字节表达，所以经非标准化接口输出的图像数据Trans_data[7..0]的传输率等于像素时钟速率与传感器数量乘积的两倍，或等于随路时钟速率。

4.非标准化接口输出的图像数据允许用FPGA、DSP、ARM等智能器件按图4、图5给出的信号时序进行接收、处理、拼接成为覆盖360°场景的全景图像。

本发明的关键特征是：通过接口共享把多个CMOS传感器用最少互连线连接到CPLD/FPGA来实现全景图像传感器设计；用硬件描述语言设计CPLD/FPGA的内部电路功能和对各CMOS传感器的配置寄存器进行配置；把来自各CMOS传感器的图像数据以时分复用方式排列成一个8位并行数据序列，用带有行使能、帧同步、像素时钟、随路时钟的8位并行非标准化图像接口向外输送高速图像数据，供构建全景成像系统使用。

本发明的实质是：利用接口共享技术最大限度的减少多CMOS传感器与CPLD/FPGA间的互连线；简化全景图像传感器硬件设计及降低其工程实现的造价；推动基于多CMOS传感器局部图像数据通过拼接获取全景图像的技术进步和发展。本发明的全景数字图像传感器，还具有图像线性度好、分辨率高、硬件对外连线少、易于和图像处理智能芯片相接口和输出数据便于实时处理的特点。

本发明的具体工作过程和原理是：

1、利用公式(1)选取M个相同型号的CMOS传感器；

2、将M个CMOS传感器按图1示出的方法放置；

3、将M个相同型号的CMOS传感器的系统时钟信号线(VXCLK)、配置信号线(SIO_C、SIO_D)、休眠信号线(PWDN)分别连接在一起由CPLD/FPGA统一提供驱动信号；

4、利用相同型号CMOS传感器，在同频同相系统时钟(VXCLK)驱动下，其行使能信号(HREF)、帧同步信号(VSYNC)、像素时钟信号(PCLK)、图像数据输出(camera_data1[7..0]，…，camera_dataM[7..0])都会保持同步的特性，任取一个CMOS传感器的行使能信号(HREF)、帧同步信号(VSYNC)、像素时钟信号(PCLK)连接到CPLD/FPGA上代替其他M-1个CMOS传感器的同名信号；同时，把M个CMOS传感器的数据口线分别接到CPLD/FPGA上，连线按等长线设计，以确保信号传输延迟相同。

5、非标准化数字图像接口由CPLD/FPGA的8位并行数据接口、1位行使能信号、1位帧同步信号、1位像素时钟信号、1位随路时钟信号(频率等于像素时钟频率与传感器数量乘积的2倍)组成。

6、CPLD/FPGA用PWDN控制对M个CMOS传感器图像采集的开启和关闭。

7、分配M个时隙，让CPLD/FPGA上的8位并行数据接口分时传输各CMOS传感器的数据，每个时隙宽度为像素时钟信号周期的1/(2M)倍，每个时隙传输一个字节YUV格式的图像数据。

8、非标准化图像接口输出的各信号时序满足图4和图5给出的时序关系。

本发明的有益效果在于：

1.提供一种基于局部线性图像拼接原理和接口共享技术的全景数字图像传感器，解决多图像传感器与图像处理智能芯片连接时对引脚数量要求过高的问题，可推动全景视频监控系统图像采集设备的技术进步。

2.可用于研制潜望镜、十字路口全景监控设备；与通过机械云台实现大视角图像监控的成像系统相比，具有无噪音、隐蔽和可高速跟踪移动目标等优点。

附图说明

图1是8个CMOS传感器布放位置俯视图；

图2是CMOS传感器与CPLD/FPGA的互连关系及非标准化图像接口；

图3是CPLD/FPGA内部电路原理；

图4是非标准化图像接口输出一行图像数据时的信号时序关系图；

图5是非标准化图像接口图像数据、使能信号、同步信号的时序关系图；

图6是本发明的一个实施例的电原理图。

本发明的具体实施方式在前述的发明内容中已做出详细描述。下面结合实施例进行具体说明。

本实施例的功能主要由8个CMOS传感器U1-U8(0V9650)、可编程数字逻辑芯片U9(EPM1270GT144C3)、时钟源U10共同组成。

U1-U8负责采集图像传感数据，格式为8位并行的YUV信号/或RGB信号，每个像素用2个字节表示；U1的行使能、帧同步、像素时钟及U1-U8的数据口引脚分别与U9的I/O线相连；U1-U8的8个SCCB控制脚、8个PWDN脚、8个系统时钟脚各自并联在一起后，再与U9的I/O线相连；U9为CPLD/FPGA芯片，其功能用VHDL语言通过编程实现，程序下载使用JTAG方式；U10负责为U9提供系统时钟。U9通过非标准化图像接口与外部图像处理智能芯片(如DSP、FPGA、ARM)相连。

本实施例采用的具体参数是：

1.8个OV9650CMOS传感器按正八边形方式放置(见图1)，光轴交于正八边形中心，每个OV9650的视角为62°，其中8个OV9650CMOS传感器与EPM1270GT144C3按接口共享方式进行引脚连接。

2.U9的输入时钟GCLK1的频率为200MHz，由U10提供；该时钟在U9内经缓冲后直接作为随路时钟使用；像素时钟频率为12.5MHz。

3.单传感器的图像分辨率配置为SXGA(1280×1024)，帧率为15fps。可实现最大全景图像分辨率约为9728×1024。

4.全景数字图像传感器的数据输出采用非标准化数据接口，包括8位并行数据信号、1位行使能信号、1位帧同步信号、1位像素时钟信号、1位随路时钟信号。

5.U9采用Altera公司的EPM1270GT144C3芯片，供电电压3.3V。

以上描述为本发明的一种实施例，根据本发明的技术方案可以进行相应变化。

Claims

1.一种接口共享的全景数字图像传感器，其特征是：由M个相同的CMOS传感器、一片可编程数字逻辑芯片(CPLD/FPGA)、一个时钟源芯片组成。每个CMOS传感器的数据口都直接与CPLD/FPGA的I/O线连接，SIO_C和SIO_D线、PWDN线、系统时钟线各自并联在一起后再与CPLD/FPGA的I/O线连接，任取一个CMOS传感器的行使能线、帧同步线、像素时钟线与CPLD/FPGA的I/O线连接，晶体钟源芯片的输出脚与CPLD/FPGA的全局时钟线相连，CPLD/FPGA的内部电路按本发明专利说明书中图3示出的功能通过VHDL语言编程实现。

2.根据权利要求1所述的一种接口共享的全景数字图像传感器，其特征在于用CPLD/FPGA对各CMOS传感器的内部寄存器进行配置，使其满足输出YUV格式图像数据的工作要求；同时CPLD/FPGA还产生驱动各CMOS传感器工作的系统时钟和非标准化图像接口工作的信号。

3.根据权利要求1所述的一种接口共享的全景数字图像传感器，其特征在于非标准化图像接口在行使能信号有效(高电平)且随路时钟信号出现上升沿时，启动数据(按时分复用方式)传输，直到行使能信号无效(低电平)时终止传输。

4.一种接口共享的全景数字图像传感器的构建方法，其特征是：利用CMOS图像传感器成像角FOV选择需要使用的相同图像传感器的个数M，然后把M个传感器按正M边形放置构成拾取全景图像信息的镜头，M个CMOS传感器按接口共享方式与CPLD/FPGA连接，CPLD/FPGA按分时复用方式处理来自M个CMOS传感器的数据，并通过非标准化图像接口高速输出全景图像数据。

5.根据权利要求4所述的一种接口共享的全景数字图像传感器的构建方法，其特征在于具体包括如下步骤：

(1)根据图像传感器的成像角FOV，按公式(1)选取M个相同型号的CMOS传感器，使之能覆盖360°全景成像场景。

(2)把选择的M个CMOS传感器按正M边形放置构成拾取全景图像信息的镜头，并使其镜头成像角(FOV)中分线(光轴连线)相交于正M边形的中心。

(3)把M个CMOS传感器按接口共享方式与一片CPLD/FPGA的连接在一起，即：1)将M个CMOS传感器的系统时钟信号线(VXCLK)、配置控制信号线(SIO_C、SIO_D)、休眠信号线(PWDN)各自连接在一起，再分别与CPLD/FPGA的I/O引脚线相连，驱动信号由CPLD/FPGA提供；2)在M个CMOS传感器中任取一个CMOS传感器，把它的帧同步信号线(VSYNC)、行使能信号线(HREF)、像素时钟信号线(PCLK)分别连接到CPLD/FPGA的I/O引脚线上，取代另外M-1个CMOS传感器上的同名信号；3)将每个CMOS传感器的数据口线(8根)都连接到CPLD/FPGA的I/O引脚线上，并确保承担该连接任务的PCB布线按等长线设计；4)CPLD/FPGA的非标准化图像接口由8位并行数据信号Trans_data[7..0]、1位行使能信号Trans_href、1位帧同步信号Trans_vsync、1位像素时钟信号Trans_pclk、1位随路时钟信号Trans_clk(频率等于像素时钟频率与传感器数量乘积的2倍)组成；5)CPLD/FPGA用PWDN控制对M个CMOS传感器图像采集的开启和关闭；6)分配M个时隙，让CPLD/FPGA上的8位并行数据接口分时传输各CMOS传感器的数据，每个时隙宽度为像素时钟信号周期的1/(2M)倍，每个时隙传输一个字节YUV格式的图像数据。

6.根据权利要求4所述的一种接口共享的全景数字图像传感器的构建方法，其特征还在于非标准化图像接口输出的各信号时序满足本发明专利说明书中图4和图5示出的时序关系。