CN107205124A - 一种多镜头倾斜摄影设备及方法 - Google Patents

Abstract

本发明涉及一种多镜头倾斜摄影设备及方法，该设备包括多个图像采集模块、传输模块、图像处理模块和主功能模块；多个图像采集模块与传输模块连接，传输模块与图像处理模块连接，图像处理模块与主功能模块连接；多个图像采集模块采集图像数据，并通过传输模块将采集的图像数据发送至图像处理模块，图像处理模块控制多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理，所述主功能模块获取图像数据的属性信息，并将图像数据和属性信息存储在存储器中。本发明解决了批量化生产的难题，降低产品成本，便于大面积推广应用，并解决了曝光同步、属性信息写入同步、存储同步及一体化问题。

Description

一种多镜头倾斜摄影设备及方法

技术领域

本发明涉及倾斜摄影领域，尤其涉及一种多镜头倾斜摄影设备及方法。

背景技术

倾斜摄影技术是国际测绘领域近些年发展起来的一项高新技术，通过在同一飞行平台上搭载多台传感器，同时从一个垂直、四个倾斜等五个不同的角度采集影像，将用户引入了符合人眼视觉的真实直观世界。目前市场的倾斜摄影设备，多数通过组装单个镜头的相机或手机以实现多个角度对地物的拍摄。该方式具有明显的缺点：1)独立拍摄单元组装的相机在拍摄曝光一致性，GPS定位同步性方面，实现比较困难；2)利用市场已有成品相机的组合，组合过程比较困难，受限于，体积、重量、形状等，往往尺寸偏大、重量大，仅限于大型无人机搭载使用；3)数据存储比较分散，每个拍摄单元只能使用自己原有的存储结构(基本为sd存储卡，存储读写速度慢，容量有限)，存储介质分布在各个相机，数据汇总比较繁琐。后期生产处理时，数据整理非常困难；4)成本高，组装复杂，产品品质一致性差，受限于上游成品的供货，不便于实现批量化供货；5)受限于成品相机的技术指标，技术改进优化空间较小，参数调整灵活性差；6)原相机冗余(无用)的零部件较多，无法拆解去除，增加整机重量。

发明内容

本发明针对现有技术存在的上述问题，提供一种多镜头倾斜摄影设备及方法，依据倾斜摄影测量的基本原理，通过设计多个镜头在空中一定高度对地面物体进行拍摄，以获取同一拍摄点不同角度的地物照片，为倾斜摄影建模生产提供原始生产数据。

本发明解决上述技术问题的技术方案如下：一种多镜头倾斜摄影设备，包括多个图像采集模块、传输模块、图像处理模块和主功能模块；

所述多个图像采集模块与所述传输模块连接，所述传输模块与所述图像处理模块连接，所述图像处理模块与所述主功能模块连接；

所述多个图像采集模块采集图像数据，并通过所述传输模块将采集的图像数据发送至所述图像处理模块，所述图像处理模块控制所述多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理，所述主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

本发明的有益效果是：1)统一电路布局，重新设计，从根本上解决曝光同步、属性信息写入同步、存储同步及一体化问题。

2)采用集成电路一体化设计，精简了相机的结构，减少相机的体积和重量，结构紧凑，便于使用和安装。

3)解决了该设备批量化、流水线生产的难题，成倍降低产品成本，使该产品在行业内大面积推广，广泛应用成为可能。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述传输模块为LVDS总线。

进一步，所述图像处理模块包括曝光时序发生器单元、串并转换单元、ISP图像信号处理单元和图像编码器单元；

所述曝光时序发生器单元，用于生成行场信号和像素时钟并发送至多个图像采集模块，控制所述多个图像采集模块进行帧同步曝光；

所述串并转换单元，用于对串行总线发送的图像数据进行串并转换；

所述ISP图像信号处理单元，用于对经过串并转换的图像数据进行处理；

所述图像编码单元，用于对经过ISP图像信号处理单元处理的图像数据进行编码。

进一步，所述主功能模块包括Exif信息单元、姿态信息单元和存储单元；

所述Exif信息单元，用于获取所述图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

所述姿态信息单元，用于获取设备的姿态信息并生成记录所述姿态信息的文件；

所述存储单元，用于将携带EXIF信息的图像数据和携带姿态信息的文件存储在存储器中。

进一步，所述主功能模块还包括VPSS视频前处理单元、IMAGE SYSTEM图像处理单元和HDMI高清晰度多媒体接口单元；

所述VPSS视频前处理单元，用于处理经过ISP图像信号处理单元处理的图像数据；

所述IMAGE SYSTEM图像处理单元，用于处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元发送到显示器进行显示。

为解决上述技术问题，本发明还提供一种利用上述多镜头倾斜摄影设备进行摄影的方法，该方法包括以下步骤：

步骤1、多个图像采集模块采集图像数据，并通过传输模块将采集的图像数据发送至图像处理模块；

步骤2、图像处理模块控制多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理；

步骤3、主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和携带所述姿态信息的文件存储在存储器中。

本发明的有益效果是：从根本上解决曝光同步、属性信息写入同步、存储同步及一体化问题。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤2具体包括：

步骤2.1、曝光时序发生器单元生成行场信号和像素时钟并发送至多个图像采集模块，控制所述多个图像采集模块进行帧同步曝光；

步骤2.2、串并转换单元对串行总线发送的图像数据进行串并转换；

步骤2.3、ISP图像信号处理单元对经过串并转换的图像数据进行处理；

步骤2.4、图像编码单元对经过ISP图像信号处理单元处理的图像数据进行编码。

进一步，所述步骤3具体包括：

步骤3.1、Exif信息单元获取经过处理的图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

步骤3.2、姿态信息单元获取设备的姿态信息并生成记录所述姿态信息的文件；

步骤3.3、存储单元将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

进一步，所述所述步骤3还包括：

步骤3.4、VPSS视频前处理单元处理经过ISP图像信号处理单元处理的图像数据；

步骤3.5、IMAGE SYSTEM图像处理单元处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元发送到显示器进行显示。

附图说明

图1为本发明实施例提供的一种多镜头倾斜摄影设备的结构框图；

图2为本发明实施例提供的另一种多镜头倾斜摄影设备的结构框图；

图3为本发明实施例提供的另一种多镜头倾斜摄影设备的结构框图；

图4为本发明实施例提供的另一种多镜头倾斜摄影设备的结构框图；

图5为本发明实施例提供的另一种多镜头倾斜摄影设备的结构框图；

图6为本发明实施例提供的一种多镜头倾斜摄影方法的流程图；

图7为本发明实施例提供的另一种多镜头倾斜摄影方法的流程图；

图8为本发明实施例提供的另一种多镜头倾斜摄影方法的流程图；

图9为本发明实施例提供的另一种多镜头倾斜摄影方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种多镜头倾斜摄影设备的结构示意图，如图1所示，该设备包括多个图像采集模块110、传输模块120、图像处理模块130和主功能模块140；

所述多个图像采集模块与所述传输模块连接，所述传输模块与所述图像处理模块连接，所述图像处理模块与所述主功能模块连接；

所述多个图像采集模块采集图像数据，并通过所述传输模块将采集的图像数据发送至所述图像处理模块，所述图像处理模块控制所述多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理，所述主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

具体的，多个图像采集模块采用5个500万像素摄像头，在设备整机内成固定的角度安装，每个摄像头由IMX178传感器和低畸变1M像素镜头组成。完成图像的光电转换和图像采集功能，5路IMX178传感器工作于从模式，通过传输模块统一连接到图像处理模块上，其中，传输模块完成对5路传感器的信号汇聚功能，由于摄像头呈特定角度安装，传输模块采用转接板形式，整齐可靠地与图像处理模块连接。

图像处理模块利用本地晶振生成统一的传感器主时钟，传感器行信号和场信号，复制成5份，通过5个触发器单元分别送给5片IMX178，IMX178依据接收的时序产生每一帧的RAWDATA数据。这种曝光方式，由于5路信号是同源的(源自同一个本地晶振)，因此不存在任何误差和延时。

主功能模块采集图像数据的Exif信息，Exif信息包括相机名称，照片分辨率，光圈，曝光，增益，时间，GPS等，并将Exif信息添加到图像数据中，从而将图像数据转换成EXIF可交换图像文件，主功能模块还获取设备在采集图像数据时同步采集的姿态信息，便于后期导出使用。

本发明实施例提供的一种多镜头倾斜摄影设备，从根本上解决曝光同步、属性信息写入同步、存储同步及一体化问题，另外，采用集成电路一体化设计，精简了相机的结构，减少相机的体积和重量，结构紧凑，便于使用和安装，解决了该设备批量化、流水线生产的难题，成倍降低产品成本，使该产品在行业内大面积推广，广泛应用成为可能。

可选地，在该实施例中，传输模块为LVDS总线。

具体的，LVDS(Low-Voltage Different ial Signal ing，低电压差分信号)是1994年由美国国家半导体公司提出的一种信号传输模式，是一种电平标准。

可选地，在该实施例中，如图2所示，图像处理模块130包括曝光时序发生器单元210、串并转换单元220、ISP图像信号处理单元230和图像编码器单元240；

所述曝光时序发生器单元210，用于生成行场信号和像素时钟并发送至多个图像采集模块110，控制所述多个图像采集模块110进行帧同步曝光；

所述串并转换单元220，用于对传输模块120发送的图像数据进行串并转换；

所述ISP图像信号处理单元230，用于对经过串并转换的图像数据进行处理；

所述图像编码单元240，用于对经过ISP图像信号处理单元230处理的图像数据进行编码。

具体的，图像处理模块选用FPGA芯片，SYNC GEN曝光时序发生器发送统一的行场信号和像素时钟控制5个IMX178同步曝光，每个摄像头的图像数据通过LVDS总线以15fps的速率送到LVDS receiver串并转换单元，LVDS receiver将其转换成可以由FPGA内部处理的并行信号，将RAWDATA原始数据输出到RAM随机存储器中，RAM作为数据处理和缓冲的空间，ISP图像信号处理单元从每个摄像头的数据流中均匀的取5帧(由用户设定)，形成25fps的数据流后，进行图像的颜色插值、降噪、自动白平衡和伽马矫正等操作，将RAWDATA转换为YUV422图像数据输出，ISP处理后的数据送给JPEG ENC图像编码模块，进行25fps的JPEG编码，进而送给主功能模块进行后续的组织和存储。

可选地，如图3所示，主功能模块140包括Exif信息单元310、姿态信息单元320和存储单元330；

所述Exif信息单元310，用于获取经过处理的图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

所述姿态信息单元320，用于获取设备的姿态信息并生成记录所述姿态信息的文件；

所述存储单元330，用于将所述EXIF可交换图像文件和携带姿态信息的文件存储在存储器中。

具体的，主功能模块选用ARM CortexA9架构处理器，Exif信息单元对每帧JPGE图像数据添加Exif标志。EXIF是一种图像文件格式，它的数据存储与JPEG格式是完全相同的。实际上EXIF格式就是在JPEG格式头部插入了数码照片的信息，包括相机的相机名称，照片分辨率，光圈，曝光，增益，时间，GPS等数据。主功能模块每接收五张图片，首先将这五张缓存至RAM中，然后分别从ISP图像信号处理单元中获取照片的曝光和增益值，通过UART(通用串行总线，有2根线组成，一根负责接收，一根负责发送，在芯片之间连接，专门用来传输一些低速率的数据，设备里面的传输速率不超过112Kb/s)从GPS模块中获取GPS定位信息，通过UART从IMU模块中获取当前空间姿态信息。同时有一些固定的信息，比如照片分辨率，设备名称等信息整合起来。按照EXIF规定的格式写到JPEG头部文件中。这样，在生成地物照片时，即可同步写入照片拍摄时刻的GPS定位信息及倾斜摄影所需的姿态信息，极大解决后期数据整理的难度。

主功能模块同固态硬盘通过SATAII进行读写操作，在固态硬盘中存储添加GPS定位信息和姿态信息的图像数据。设备在抓拍时每隔5分钟生成一个文件夹，每个文件夹内分别包含5个同传感器通道对应的额目录，每个目录下存储JPEG图片。JPEG的名称以[事件号-拍摄事件年月日时分毫秒-设备号-通道号]的格式记录。拍摄时间从GPS信息中取得(通过UART总线取得)，通道号向ISP模块取得(ISP输出视频流的时候，在视频流之中就已经添加了通道信息，标志该视频流属于哪个IMX178传感器)。同时配合另外TXT文件进行对应的标志，TXT文件中记录了照片拍摄时的相机位置信息比如三维空间加速度，三维空间角速度等信息，该信息由主功能模块从IMU模块中读取。获取三维空间信息(当前时刻拍摄照片的时候相机的三轴角速度和三轴加速度)可以用来后期拼接的时候，对图片进行校准和矫正。

可选地，在该实施例中，如图4所示，所述主功能模块还包括VPSS视频前处理单元410、IMAGE SYSTEM图像处理单元420和HDMI高清晰度多媒体接口单元430；

所述VPSS视频前处理单元410，用于处理经过ISP图像信号处理单元处理的图像数据；

所述IMAGE SYSTEM图像处理单元420，用于处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元430发送到显示器进行显示。

具体的，VPSS视频前处理单元将ISP图像信号处理单元输出的YUV422信号抽点为YUV420信号，再由IMAGE SYSTEM图像处理单元进行HDMI显示的一些图像增强以及UI界面的叠加，最后通过HDMI高清晰度多媒体接口单元发送到显示器进行实时显示，供用户检查每个摄像头的状态，对镜头进行清洗和调焦等维护工作。

其中，主功能模块通过Qt图形用户界面程序在HDMI图像上叠加UI界面，设备可以外接鼠标对设备的各种参数例如每秒抓拍张数，抓拍方式，相机的曝光，增益，相机的网络IP地址等进行方便直观的测试和设置。

可选地，如图5所示，主功能模块提供2种设备软体升级方式，分别是通过在USB接口510插入U盘升级，以及通过GMAC千兆网络接口520连接PC升级。

主功能模块内置FTP服务器，PC通过GMAC千兆网络接口与设备连接，可以对设备的文件进行添加，删除和导出的操作。

相应的，本发明还提供一种利用上述多镜头倾斜摄影设备进行摄影的方法，如图6所示，该方法包括以下步骤：

610、多个图像采集模块采集图像数据，并通过传输模块将采集的图像数据发送至图像处理模块；

620、图像处理模块控制多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理；

630、主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和携带所述姿态信息的文件存储在存储器中。

本发明实施例提供的一种多镜头倾斜摄影方法，从根本上解决曝光同步、属性信息写入同步、存储同步及一体化问题。

可选地，在该实施例中，如图7所示，所述步骤620具体包括：

710、曝光时序发生器单元生成行场信号和像素时钟并发送至多个图像采集模块，控制所述多个图像采集模块进行帧同步曝光；

720、串并转换单元对串行总线发送的图像数据进行串并转换；

730、ISP图像信号处理单元对经过串并转换的图像数据进行处理；

740、图像编码单元对经过ISP图像信号处理单元处理的图像数据进行编码。

可选地，在该实施例中，如图8所示，所述步骤630具体包括：

810、Exif信息单元获取经过处理的图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

820、姿态信息单元获取设备的姿态信息并生成记录所述姿态信息的文件；

830、存储单元将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

可选地，在该实施例中，如图9所示，所述步骤630还包括：

910、VPSS视频前处理单元处理经过ISP图像信号处理单元处理的图像数据；

920、IMAGE SYSTEM图像处理单元处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元发送到显示器进行显示。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多镜头倾斜摄影设备，其特征在于，包括多个图像采集模块、传输模块、图像处理模块和主功能模块；

所述多个图像采集模块与所述传输模块连接，所述传输模块与所述图像处理模块连接，所述图像处理模块与所述主功能模块连接；

所述多个图像采集模块采集图像数据，并通过所述传输模块将采集的图像数据发送至所述图像处理模块，所述图像处理模块控制所述多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理，所述主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和携带所述姿态信息的文件存储在存储器中。

2.根据权利要求1所述的设备，其特征在于，所述传输模块为LVDS总线。

3.根据权利要求2所述的设备，其特征在于，所述图像处理模块包括曝光时序发生器单元、串并转换单元、ISP图像信号处理单元和图像编码器单元；

所述曝光时序发生器单元，用于生成行场信号和像素时钟并发送至多个图像采集模块，控制所述多个图像采集模块进行帧同步曝光；

所述串并转换单元，用于对串行总线发送的图像数据进行串并转换；

所述ISP图像信号处理单元，用于对经过串并转换的图像数据进行处理；

所述图像编码单元，用于对经过ISP图像信号处理单元处理的图像数据进行编码。

4.根据权利要求3所述的设备，其特征在于，所述主功能模块包括Exif信息单元、姿态信息单元和存储单元；

所述Exif信息单元，用于获取经过处理的图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

所述姿态信息单元，用于获取设备的姿态信息并生成记录所述姿态信息的文件；

所述存储单元，用于将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

5.根据权利要求4所述的设备，其特征在于，所述主功能模块还包括VPSS视频前处理单元、IMAGE SYSTEM图像处理单元和HDMI高清晰度多媒体接口单元；

所述VPSS视频前处理单元，用于处理经过ISP图像信号处理单元处理的图像数据；

所述IMAGE SYSTEM图像处理单元，用于处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元发送到显示器进行显示。

6.一种利用权利要求1-5所述的多镜头倾斜摄影设备进行摄影的方法，其特征在于，包括以下步骤：

步骤1、多个图像采集模块采集图像数据，并通过传输模块将采集的图像数据发送至图像处理模块；

步骤2、图像处理模块控制多个图像采集模块进行帧同步曝光，并对采集的图像数据进行处理；

步骤3、主功能模块将经过处理的图像数据转换成EXIF可交换图像文件，并获取设备的姿态信息，将所述EXIF可交换图像文件和携带所述姿态信息的文件存储在存储器中。

7.根据权利要求6所述的方法，其特征在于，所述步骤2具体包括：

步骤2.1、曝光时序发生器单元生成行场信号和像素时钟并发送至多个图像采集模块，控制所述多个图像采集模块进行帧同步曝光；

步骤2.2、串并转换单元对串行总线发送的图像数据进行串并转换；

步骤2.3、ISP图像信号处理单元对经过串并转换的图像数据进行处理；

步骤2.4、图像编码单元对经过ISP图像信号处理单元处理的图像数据进行编码。

8.根据权利要求7所述的方法，其特征在于，所述步骤3具体包括：

步骤3.1、Exif信息单元获取经过处理的图像数据的Exif信息，并根据所述Exif信息将所述图像数据转换成EXIF可交换图像文件；

步骤3.2、姿态信息单元获取设备的姿态信息并生成记录所述姿态信息的文件；

步骤3.3、存储单元将所述EXIF可交换图像文件和记录所述姿态信息的文件存储在存储器中。

9.根据权利要求8所述的方法，其特征在于，所述所述步骤3还包括：

步骤3.4、VPSS视频前处理单元处理经过ISP图像信号处理单元处理的图像数据；

步骤3.5、IMAGE SYSTEM图像处理单元处理经过VPSS视频前处理单元处理的图像数据，并通过HDMI高清晰度多媒体接口单元发送到显示器进行显示。