CN103475819A - 超高清智能摄像机及其图像数据拼接方法 - Google Patents

Abstract

本发明公开了一种超高清智能摄像机及其图像数据拼接方法，所述摄像机包括：镜头、四通道图像传感器、四个AD单元、FPGA和存储器；其中，每个CCD单元的控制信号输入端、驱动信号输入端、模拟信号输出端，分别与其对应的AD单元的控制信号输出端、驱动信号输出端、模拟信号输入端相连；FPGA的通信接口通过通信总线与各AD单元的通信接口相连；并每个AD单元的数字信号输出端还分别与FPGA的一个数字信号输入端相连；FPGA的数据存储端口、数据读取端口，分别与所述存储器的数据输入端口、数据输出端口相连。应用本发明，可以达到图像较高分辨率的情况下同时满足传输速率要求。

Description

超高清智能摄像机及其图像数据拼接方法

技术领域

本发明涉及智能交通技术领域，尤其涉及一种超高清智能摄像机及其图像数据拼接方法。

背景技术

摄像机广泛应用在机器视觉、身份识别、监控等领域，尤其应用在智能交通技术领域，例如，在电子警察系统中，单台摄像机可以对2条车道内的行驶车辆进行车牌识别，但是随着智能交通技术的不断发展，对摄像机的要求也越来越高，要求单台摄像机可以高清覆盖4条车道。

按照每个车牌长度0.44米、每条车道宽3.5米，而车牌识别算法需要每个车牌至少需要100个水平像素，因此单条车道需要近800个水平像素，若要支持四车道，需要水平像素在3200左右，对于4:3的显示器传感器，需要3200*2400=800万像素，同时，若要达到800万像素15fps（frames persecond，每秒中填充图像的帧数）的视频格式，大概需要140Mbps-160Mbps的信号带宽。

目前，摄像机一般采用单通道或双通道的图像传感器，由于信号输出带宽有限，通常最高只能支持40Mbps-60Mbps，若要达到在800万像素，最高只能输出8fps，无法满足对高清流畅视频的需求。

发明内容

本发明的发明目的在于提供了一种超高清智能摄像机及其图像数据拼接方法，用以在达到图像较高分辨率的情况下同时满足传输速率要求。

根据本发明的一个方面，提供了一种超高清智能摄像机，包括：镜头、四通道图像传感器、四个AD单元、FPGA和存储器；其中，所述四通道图像传感器包括四个CCD单元，每个CCD单元对应一个AD单元，用于感应所述镜头收集并聚焦的被照物体反射光而获取图像子帧；每个CCD单元的控制信号输入端、驱动信号输入端、模拟信号输出端，分别与其对应的AD单元的控制信号输出端、驱动信号输出端、模拟信号输入端相连；所述FPGA的通信接口通过通信总线与各AD单元的通信接口相连；并每个AD单元的数字信号输出端还分别与所述FPGA的一个数字信号输入端相连；所述FPGA的数据存储端口、数据读取端口，分别与所述存储器的数据输入端口、数据输出端口相连；所述FPGA用于通过所述通信总线向所述摄像机中的四个AD单元发送图像数据获取指令；每个AD单元用于接收到所述图像数据获取指令后，通过其控制信号输出端向对应的CCD单元发送起始信号，通过其驱动信号输出端向对应的CCD单元发送驱动时序；每个CCD单元用于接收到所述起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的第1个像素到最后一个像素的模拟电信号依次输出到与本CCD单元对应的AD单元；所述四个AD单元还用于将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；并且，每个AD单元在输出第1个像素的数字图像数据前，向所述FPGA输出帧起始标志，在输出完毕最后一个像素的数字图像数据后，向所述FPGA输出帧结束标志；所述FPGA还用于对于每个AD单元，将该AD单元通过其数字信号输出端、在所述帧起始标志与帧结束标志之间输出的一帧图像子帧的数字图像数据，依次顺序通过本FPGA的数据存储端口存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，通过本FPGA的数据读取端口将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。

较佳地，所述FPGA还用于向所述四个AD单元发送下一个图像数据获取指令后，对于每个AD单元，将从该AD单元接收的数字图像数据，通过本FPGA的数据存储端口依次顺序存入到第二存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，通过本FPGA的数据读取端口将第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据进行输出。

较佳地，所述超高清智能摄像机还包括：DSP单元，用于对所述FPGA输出的完整图像数据进行视频分析。

较佳地，所述存储器具体包括：DDR-SDRAM与DDR-SDRAM控制器；以及所述DDR SDRAM具体为DDR2SDRAM或者DDR3SDRAM。

根据本发明的另一个方面，还提供了一种图像数据拼接方法，包括：所述摄像机中的FPGA向所述摄像机中的四个AD单元发送图像数据获取指令；每个AD单元在接收到所述图像数据获取指令后，向所述摄像机中的四通道图像传感器中的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序；所述四通道图像传感器中的每个CCD单元用于感应所述摄像机中的镜头收集并聚焦的被照物体反射光而获取图像子帧；所述四通道图像传感器中的每个CCD单元在接收到所述起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的第1个像素到最后一个像素的模拟电信号依次输出到与本CCD单元相连接的AD单元；四个AD单元将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；并且，每个AD单元在输出第1个像素的数字图像数据前，向所述FPGA输出帧起始标志，在输出完毕最后一个像素的数字图像数据后，向所述FPGA输出帧结束标志；对于每个AD单元，所述FPGA将该AD单元在所述帧起始标志与帧结束标志之间输出的一帧图像子帧的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。

其中，在所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元后，还包括：

所述摄像机中的FPGA向所述摄像机中的四个AD单元发送下一个图像数据获取指令；每个AD单元在接收到所述下一个图像数据获取指令后，向所述摄像机中的四通道图像传感器中的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序；所述四通道图像传感器中的每个CCD单元在接收到所述起始信号后，根据接收的驱动时序，将本CCD单元当前获取的图像子帧的各像素的模拟电信号依次输出到与本CCD单元相连接的AD单元；四个AD单元将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；对于每个AD单元，所述FPGA将从该AD单元接收的数字图像数据，依次顺序存入到第二存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，将第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据进行输出。

其中，在所述将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出后，还包括：

所述摄像机中的DSP单元将由所述FPGA输出的一帧完整图像数据转换为YUV图像数据。

其中，所述对于每个AD单元，所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元，具体包括：

对于每个AD单元，所述FPGA中的数据接收模块将该AD单元输出的数字图像数据缓存到本地对应该AD单元的缓存区中；在所述缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出；所述FPGA中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据写入到第一/二存储区域中对应该AD单元的子存储单元。

其中，所述四个CCD单元分别为：左上CCD单元、右上CCD单元、左下CCD单元、右下CCD单元；以及所述按特定的读取顺序，将所述存储器中的第二/一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来具体包括：

依次读取出所述一帧完整图像数据中的第1～n行数据，n为所述一帧完整图像数据中的总行数；其中，在读取所述一帧完整图像数据中的第i行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第i行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第i行中的各字节的数据；其中，i为1～n/2的自然数；在读取所述一帧完整图像数据中的第j行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第n-j行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第n-j行中的各字节的数据；其中，j为n/2+1～n的自然数。

其中，所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元，具体为：

所述FPGA将该AD单元输出的一帧图像子帧的数字图像数据，以burst方式依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元；以及所述按特定的读取顺序，将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，具体为：所述FPGA按特定的读取顺序，以burst方式将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来；其中，所述burst方式中的burst length参数为16；以及所述一帧完整图像数据中的一行数据包括3200个字节，n为2400。

由上述技术方案可知，本发明实施例提供的超高清智能摄像机及其图像数据拼接方法，采用FPGA+存储器的方案来实现完整图像的拼接：FPGA将从四通道的图像传感器中的每个CCD单元输出的图像子帧存储到存储器中对应的子存储区，并按特定的顺序读取出来，该特定的读取顺序正好是一帧完整的图像数据输出的顺序，从而实现完整的图像数据的拼接与输出；从而实现利用四通道的图像传感器在高分辨率和高传输率下获取完整的图像数据输出。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1为本发明实施例的超高清智能摄像机的结构示意图；

图2为本发明实施例的超高清智能摄像机的图像拼接方法流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

本发明的发明人考虑到，摄像机采用四通道的图像传感器，来提高信号输出带宽，从而满足在一个图像较高分辨率的情况下，同时可以满足传输速率的要求；然而，四通道的图像传感器分别采集的图像需要进行拼接合成后才能得到完整的图像输出；本发明的发明人考虑到可以采用FPGA来完成图像的拼接。但是，FPGA中的缓存的空间最大为10M，而一帧完成的图像则有28×4M；为解决该问题，本发明的技术方案中采用FPGA+存储器的方案来实现完整图像的拼接：FPGA将从四通道的图像传感器中的每个CCD单元输出的图像子帧存储到存储器中对应的子存储区，并按特定的顺序读取出来，该特定的读取顺序正好是一帧完整的图像数据输出的顺序，从而实现完整的图像数据的拼接与输出；从而实现利用四通道的图像传感器在高分辨率和高传输率下获取完整的图像数据输出。

下面结合附图详细说明本发明的技术方案。图1为本发明实施例的超高清智能摄像机的结构示意图。该摄像机包括：镜头101、四通道传感器102、四个AD单元103、FPGA104和存储器105；其中，

镜头101，用于收集被照目标物体的反射光，并将其聚焦于四通道图像传感器102上。

四通道图像传感器102包括四个CCD（Charge-Coupled Device，图像传感器）单元，每个CCD单元对应一个AD单元，用于感应镜头101收集并聚焦的被照物体反射光而获取图像子帧；每个CCD单元的控制信号输入端、驱动信号输入端、模拟信号输出端，分别与其对应的AD单元的控制信号输出端、驱动信号输出端、模拟信号输入端相连。

每个AD单元具体可以是集成了AD器件的MCU(Micro Control Unit，微控制单元)，除了具有基本的模数转换功能将模拟电信号转换成数字图像数据外，还可具有通信、控制功能。

FPGA104的通信接口通过通信总线与各AD单元的通信接口相连；并且，每个AD单元的数字信号输出端分别与FPGA104的一个数字信号输入端相连；

FPGA104的数据存储端口、数据读取端口，分别与存储器105的数据输入端口、数据输出端口相连。

存储器105，被预先划分了第一存储区和第二存储区，用于分布存储数字图像数据。

本发明实施例中，存储器105具体可以包括DDR-SDRAM(Double DataRate Synchronous Dynamic Random Access Memory，双倍数据率同步动态随机存取存储器)与DDR-SDRAM控制器；DDR SDRAM具体为DDR2SDRAM(Double-Data-Rate Two Synchronous Dynamic Random AccessMemory,第二代双倍数据率同步动态随机存取存储器)或者DDR3SDRAM(Double-Data-Rate Three Synchronous Dynamic Random AccessMemory，第三代双倍数据率同步动态随机存取存储器)。

进一步，本发明实施例的超高清智能摄像机还包括：DSP(Digital SignalProcessor，数字信号处理器)单元106。

DSP单元106的数字信号输出端与FPGA104的数字信号输出端相连。

下面详细介绍四通道图像传感器102、四个AD单元103、FPGA104、存储器105和DSP单元106的具体功能，以及本发明实施例的超高清智能摄像机的图像拼接方法，拼接流程如图2所示，包括如下步骤：

S201：超高清智能摄像机中的FPGA104通过通信总线向四个AD单元103发送图像数据获取指令。

具体地，每隔设定周期，FPGA104开始获取一帧图像数据，先通过通信总线向四个AD单元103分别发送图像数据获取指令。

S202：每个AD单元在接收到图像数据获取指令后，向四通道图像传感器102中的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序。

具体地，每个AD单元通过通信接口接收到图像数据获取指令后，通过控制信号输出端向与本AD单元连接的CCD单元发送起始信号，通过驱动信号输出端，向与本AD单元连接的CCD单元发送驱动时序。

S203：四通道图像传感器中的每个CCD单元在接收到起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的第1个像素到最后一个像素的模拟电信号依次输出到与本CCD单元相连接的AD单元。

具体地，四通道图像传感器中的每个CCD单元通过感应镜头101收集并聚焦的被照物体反射光来获取图像子帧，在通过控制信号输入端接收到由与本CCD单元对应的AD单元发送的起始信号后，根据驱动信号输入端接收的驱动时序，将本CCD单元获取的图像子帧的第1个像素到最后一个像素的模拟电信号通过模拟信号输出端依次输出到与本CCD单元相连接的AD单元（即与本CCD单元对应的AD单元）。

在实际应用中，四通道图像传感器中的四个CCD单元是按照两排两列放置的，通常被称为：左上CCD单元、右上CCD单元、左下CCD单元、右下CCD单元。

左上CCD单元获取图像左上角第1～x行，第1～y列的所有像素，按照行数由小到大，每一行由小到大顺序向对应的AD单元模拟输出各像素的模拟电信号；

右上CCD单元获取图像右上角第1～x行，第（y/2+1）～j列的所有像素，按照行数由小到大，每一行由大至小顺序向对应的AD单元模拟输出各像素的模拟电信号；

左下CCD单元获取图像左下角第（x/2+1）～x行，第1～y/2列的所有图像，按照行数由大到小，每一行由大到小的顺序，向对应的AD单元模拟输出各像素的模拟电信号；

右下CCD单元获取图像右下角第（x/2+1）～x行，第（y/2+1）～y列的所有像素，按照行数由大到小、每一行由大到小的顺序，向对应的AD单元模拟输出各像素的模拟电信号；

其中x为一帧完整图像数据中的一列数据包括的像素总数，x为2400，y为一帧完整图像数据中的一行数据包括的像素总数，y为3200。

S204：四个AD单元将接收的模拟电信号转换为数字图像数据后，将数字图像数据并行输出到FPGA104，FPGA104将每个AD单元输出的数字图像数据，存入到存储器105的第一存储区域中对应该AD单元的子存储单元。

具体地，每个AD单元将通过模拟信号输入端接收的模拟电信号转换为数字图像数据后，通过数字信号输出端向FPGA104输出帧起始标志后，依次输出第1个、第2个……第m-1个、第m个像素的数字图像数据，在输出完毕最后一个像素的数字图像数据后，向FPGA104输出帧结束标志；

FPGA在接收各像素的数字图像数据过程中，其数据接收模块将每个AD单元在帧起始标志与帧结束标志之间输出的数字图像数据先缓存到本地对应该AD单元的缓存区中，在缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出，FPGA104中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据通过数据存储端口写入到第一存储区域中对应该AD单元的子存储单元，写入的图像数据是顺序存储于子存储单元中的，也就是说，先存入的图像数据的地址小，后存入的图像数据地址大。之后，清空对应该AD单元的缓存区。其中，m为一帧图像子帧的数字图像像素总数，m具体为7680000。

这样，与左上CCD单元相连接的AD单元，对于左上角第1～x行，第1～y列的所有像素，按照行数由小到大，每一行由小到大顺序向FPGA输出各像素的数字图像数据，并且该AD单元输出的数字图像数据被顺序存储于第一存储区域中对应该AD单元的子存储单元中；

与右上CCD单元相连接的AD单元，对于右上角第1～x行，第（y/2+1）～j列的所有像素，按照行数由小到大，每一行由大至小顺序向FPGA输出各像素的数字图像数据，并且该AD单元输出的数字图像数据被顺序存储于第一存储区域中对应该AD单元的子存储单元中；

与左下CCD单元相连接的AD单元，对于左下角第（x/2+1）～x行，第1～y/2列的所有图像，按照行数由大到小，每一行由大到小的顺序，向FPGA输出各像素的数字图像数据，并且该AD单元输出的数字图像数据被顺序存储于第一存储区域中对应该AD单元的子存储单元中；

与右下CCD单元相连接的AD单元，对于右下角第（x/2+1）～x行，第（y/2+1）～y列的所有像素，按照行数由大到小、每一行由大到小的顺序，向FPGA输出各像素的数字图像数据，并且该AD单元输出的数字图像数据被顺序存储于第一存储区域中对应该AD单元的子存储单元中。

本步骤中，本领域技术人员根据图像像素大小以及AD单元缓存区的大小来设置缓存区中的设定字节，例如可以设定字节设置为32k。

S205：FPGA104按特定的读取顺序，将存储器105中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。

具体地，FPGA104以burst（突发脉冲）方式依次读取出一帧完整图像数据中的第1～n行数据，n为所述一帧完整图像数据中的总行数；其中，

在读取一帧完整图像数据中的第i行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第i行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第i行中的各字节的数据；i为1～n/2的自然数；

这样，根据左上CCD单元与右上CCD单元对数据的存储顺序，通过先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第i行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第i行中的各字节的数据，便读取出了一帧完整图像中的第i行数据。

在读取一帧完整图像数据中的第j行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第n-j行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第n-j行中的各字节的数据；j为n/2+1～n的自然数。

这样，根据左下CCD单元与右下CCD单元对数据的存储顺序，通过先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第n-j行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第n-j行中的各字节的数据，便读取出了一帧完整图像中的第n-j行数据。

FPGA104通过数据读取端口将第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来后，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据输出给DSP单元106，DSP单元106将由FPGA104输出的一帧完整图像数据转换为YUV图像数据后进行视频分析。

其中，burst方式中的burst length（突发脉冲长度）参数为16，一帧完整图像数据中的一行数据包括3200个字节，n为2400，AD单元转换的数字图像数据具体为RAW图像。

事实上，上述的第一存储区、第二存储区可以交替作为写存储区、读存储区；在上述步骤S204-S205中，第一存储区作为写存储区，第二存储区作为读存储区；那么，在FPGA获取下一帧图像数据时，第二存储区将被作为写存储区，第一存储区将被作为读存储区，具体过程如下步骤S206-S210。

S206：FPGA104向四个AD单元103发送下一个图像数据获取指令。

S207：每个AD单元在接收到图像数据获取指令后，向四通道图像传感器中102的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序。

S208：四通道图像传感器中的每个CCD单元在接收到起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的第1个像素到最后一个像素的模拟电信号依次输出到与本CCD单元相连接的AD单元。

S209：四个AD单元将接收的模拟电信号转换为数字图像数据后，将数字图像数据并行输出到FPGA104，FPGA104将每个AD单元输出的数字图像数据，存入到存储器105的第二存储区域中对应该AD单元的子存储单元。

具体地，每个AD单元将通过模拟信号输入端接收的模拟电信号转换为数字图像数据后，通过数字信号输出端向FPGA104输出帧起始标志后，依次输出第1个、第2个……第m-1个、第m个像素的数字图像数据，在输出完毕最后一个像素的数字图像数据后，向FPGA104输出帧结束标志；

FPGA在接收各像素的数字图像数据过程中，其数据接收模块将每个AD单元在帧起始标志与帧结束标志之间输出的数字图像数据先缓存到本地对应该AD单元的缓存区中，在缓存区中缓存的数据达到设定字节（32k）时，产生该缓存区的数据满有效信号输出，FPGA104中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据通过数据存储端口写入到第二存储区域中对应该AD单元的子存储单元，写入的图像数据是顺序存储于子存储单元中的。之后，清空对应该AD单元的缓存区。其中，m为一帧图像子帧的数字图像像素总数，m具体为7680000。

S210：FPGA104按特定的读取顺序，将存储器105中的第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。之后，跳转到上述步骤S201，重复执行S201-S210，从而不断地输出完整的图像数据。

本步骤中，FPGA104按特定的读取顺序的原理与S205相同。

具体地，存储器105以burst（突发脉冲）方式依次读取出一帧完整图像数据中的第1～n行数据，n为所述一帧完整图像数据中的总行数；其中，

在读取一帧完整图像数据中的第i行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第i行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第i行中的各字节的数据；i为1～n/2的自然数；

在读取一帧完整图像数据中的第j行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第n-j行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第n-j行中的各字节的数据；j为n/2+1～n的自然数。

FPGA104通过数据读取端口将第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来后，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据输出给DSP单元106，DSP单元106将由FPGA104输出的一帧完整图像数据转换为YUV图像数据后进行视频分析。

其中，burst方式中的burst length（突发脉冲长度）参数为16，一帧完整图像数据中的一行数据包括3200个字节，n为2400，AD单元转换的数字图像数据具体为RAW图像。

这里需要指出的是，FPGA104将图像数据存储到第一存储区，与FPGA104从第二存储区读取数据是分别在步骤S204、S205中描述的，FPGA104将图像数据存储到第二存储区，与FPGA104从第一存储区读取数据是分别在步骤S209、S210中描述的，但实际应用中，S204、S205这两个步骤，S209、S210这两个步骤可以同时进行，以提高FPGA图像数据处理、输出的速率。

较佳地，上述数字图像数据在第一/二存储区域中的写入与读取均可采用burst方式。

具体地，DSP单元106具体通过SRIO（Serial Rapid I/O，快速串行IO接口）从FPGA104接收该完整的图像数据，将该完整的图像数据转换为YUV图像数据后，对其进行视频分析、JPEG（Joint Photographic ExpertsGroup，联合图像专家小组）编码、H264编码等功能实现。

进一步，所述超高清摄像机还包括ARM（Advanced RISC Machines,嵌入式系统）单元107；

ARM单元107用于将DSP单元106的视频分析结果发送到网络。

本发明实施例提供了超高清智能摄像机的图像拼接方法，采用四通道的图像传感器，以及与其对应的四个AD单元，对于每个AD单元，将该AD单元在帧起始标志与帧结束标志之间输出的一帧图像子帧的数字图像数据存入到FPGA的缓存区中，当在缓存区中缓存的数据达到设定字节（32k）时，将该缓存区中的数据依次顺序写入到第一/二存储区域中对应该AD单元的子存储单元，并通过特定的读取顺序，将一帧图像子帧的数字图像数据数据读取出来，解决了FPGA中的缓存的空间最大为10M，而一帧完成的图像则有28×4M超出缓存的问题，在达到图像较高分辨率的情况下同时满足传输速率要求。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (10)

1.一种超高清智能摄像机，其特征在于，包括：镜头、四通道图像传感器、四个AD单元、FPGA和存储器；

其中，所述四通道图像传感器包括四个CCD单元，每个CCD单元对应一个AD单元，用于感应所述镜头收集并聚焦的被照物体反射光而获取图像子帧；

所述FPGA用于通过所述通信总线向所述摄像机中的四个AD单元发送图像数据获取指令；

每个AD单元用于接收到所述图像数据获取指令后，通过其控制信号输出端向对应的CCD单元发送起始信号，通过其驱动信号输出端向对应的CCD单元发送驱动时序；

每个CCD单元用于接收到所述起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的各像素的模拟电信号依次输出到与本CCD单元对应的AD单元；

所述四个AD单元还用于将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；

所述FPGA还用于对于每个AD单元，将该AD单元通过其数字信号输出端输出的数字图像数据，依次顺序通过本FPGA的数据存储端口存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，通过本FPGA的数据读取端口将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。

2.根据权利要求1所述的超高清智能摄像机，其特征在于，

所述FPGA还用于向所述四个AD单元发送下一个图像数据获取指令后，对于每个AD单元，将从该AD单元接收的数字图像数据，通过本FPGA的数据存储端口依次顺序存入到第二存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，通过本FPGA的数据读取端口将第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据进行输出。

3.根据权利要求2所述的超高清智能摄像机，其特征在于，还包括：

DSP单元，用于对所述FPGA输出的完整图像数据进行视频分析。

4.根据权利要求1-3任一所述的超高清智能摄像机，其特征在于，所述存储器具体包括：DDR-SDRAM与DDR-SDRAM控制器；以及

所述DDR SDRAM具体为DDR2SDRAM或者DDR3SDRAM。

5.一种超高清智能摄像机的图像数据拼接方法，其特征在于，包括：

所述摄像机中的FPGA向所述摄像机中的四个AD单元发送图像数据获取指令；

每个AD单元在接收到所述图像数据获取指令后，向所述摄像机中的四通道图像传感器中的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序；所述四通道图像传感器中的每个CCD单元用于感应所述摄像机中的镜头收集并聚焦的被照物体反射光而获取图像子帧；

所述四通道图像传感器中的每个CCD单元在接收到所述起始信号后，根据接收的驱动时序，将本CCD单元获取的图像子帧的各像素的模拟电信号依次输出到与本CCD单元相连接的AD单元；

四个AD单元将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；

对于每个AD单元，所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出。

6.根据权利要求5所述的方法，其特征在于，在所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一存储区域中对应该AD单元的子存储单元后，还包括：

所述摄像机中的FPGA向所述摄像机中的四个AD单元发送下一个图像数据获取指令；

每个AD单元在接收到所述下一个图像数据获取指令后，向所述摄像机中的四通道图像传感器中的、与本AD单元连接的CCD单元发送起始信号，以及驱动时序；

所述四通道图像传感器中的每个CCD单元在接收到所述起始信号后，根据接收的驱动时序，将本CCD单元当前获取的图像子帧的各像素的模拟电信号依次输出到与本CCD单元相连接的AD单元；

四个AD单元将接收的模拟电信号转换为数字图像数据后，并行输出到所述FPGA；

对于每个AD单元，所述FPGA将从该AD单元接收的数字图像数据，依次顺序存入到第二存储区域中对应该AD单元的子存储单元；并按特定的读取顺序，将第一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，作为将四个CCD单元当前获取的图像子帧拼接得到的一帧完整图像数据进行输出。

7.根据权利要求6所述的方法，其特征在于，在所述将四个CCD单元获取的图像子帧拼接得到的一帧完整图像数据进行输出后，还包括：

所述摄像机中的DSP单元将由所述FPGA输出的一帧完整图像数据转换为YUV图像数据。

8.根据权利要求7所述的方法，其特征在于，所述对于每个AD单元，所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元，具体包括：

对于每个AD单元，所述FPGA中的数据接收模块将该AD单元输出的数字图像数据缓存到本地对应该AD单元的缓存区中；在所述缓存区中缓存的数据达到设定字节时，产生该缓存区的数据满有效信号输出；所述FPGA中的数据存储模块接收到缓存区的数据满有效信号时，将该缓存区中的数据写入到第一/二存储区域中对应该AD单元的子存储单元。

9.根据权利要求6-8任一所述的方法，其特征在于，所述四个CCD单元分别为：左上CCD单元、右上CCD单元、左下CCD单元、右下CCD单元；以及

所述按特定的读取顺序，将所述存储器中的第二/一存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来具体包括：

依次读取出所述一帧完整图像数据中的第1～n行数据，n为所述一帧完整图像数据中的总行数；其中，

在读取所述一帧完整图像数据中的第i行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第i行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第i行中的各字节的数据；其中，i为1～n/2的自然数；

在读取所述一帧完整图像数据中的第j行数据时，先依存储地址从小到大依次读取左上CCD单元对应的子存储单元的第n-j行中的各字节的数据后，再依存储地址从大到小依次读取右上CCD单元对应的子存储单元的第n-j行中的各字节的数据；其中，j为n/2+1～n的自然数。

10.根据权利要求9所述的方法，其特征在于，所述FPGA将该AD单元输出的数字图像数据，依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元，具体为：

所述FPGA将该AD单元输出的一帧图像子帧的数字图像数据，以burst方式依次顺序存入到所述摄像机中的存储器的第一/二存储区域中对应该AD单元的子存储单元；以及

所述按特定的读取顺序，将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来，具体为：

所述FPGA按特定的读取顺序，以burst方式将所述存储器中的第二存储区域中分别对应四个AD单元的四个子存储单元的数据读取出来；

其中，所述burst方式中的burst length参数为16；以及

所述一帧完整图像数据中的一行数据包括3200个字节，n为2400。

Images