CN100432836C

CN100432836C - 实现二维全景真实成像的方法

Info

Publication number: CN100432836C
Application number: CNB2006100814490A
Authority: CN
Inventors: 李鹏; 王道宪
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-05-19
Filing date: 2006-05-19
Publication date: 2008-11-12
Anticipated expiration: 2026-05-19
Also published as: CN1851555A

Abstract

一种实现二维全景真实成像的方法。其中，以地理定位坐标为中心，在360度范围内进行单幅拍摄或连续取像，将所拍摄的单幅图片进行无差异的拼接，构成一幅新的全景图像。在拍照时采用预拍照和正式拍照两个阶段来实现全景成像。预拍照要获取成像的范围和其他参数。正式拍照时摄像机获取连续单幅图像的第一幅，并截取图像的最小末边数据区，连续判别第二幅图像的曝光值，调整所需的曝光量，获取第二幅图像，并且截取最小起始图像边沿数据区和末端图像边沿数据区，利用图像相邻匹配算法进行最佳匹配，形成一幅新的图像数据。然后使光学镜头按Kn值精确转动到预定位置，继续取下一幅图像，一直到完成全景成像全景结束。

Description

实现二维全景真实成像的方法

技术领域：

本发明涉及一种实现二维全景真实成像的方法。

背景技术：

近年来，国内外对数码全景技术的研究及应用发展很快，特别是随着图像传感器分辨率的提高，以及各种应用的需求，导致全景数字图像应用领域越来越广阔。同时也促进了全景数字图像理论和产业的迅猛发展。在产业方面，主要集中在美国、欧洲，日本、台湾。在国内，少数的公司依托一些大学的研究成果，正逐步向产品化方向发展。目前全景处理软件和一体全景摄像机为代表的产品和技术正广泛应用于环境监测、城市规划、建筑设计以及军事方面。具体地，现有的全景成像技术包括以下几种方式：(1)数码相机+后台虚拟处理软件；(2)全景数码相机+后台软件；(3)一体化全景数码摄像机。以上三种方式的主要区别在于全景成像的真实性和不可篡改性。

以下将分析一下全景数字成像技术的发展状况。全景成像技术包括：(1)全景成像算法的实现；(2)全景成像系统的构建；(3)全景应用系统的实现。目前全景图像分为虚拟成像和真实成像两种方式。

1.虚拟全景技术：

虚拟全景技术，是一种基于图像的虚拟现实技术，自从面世以来，以其仿真实感强、制作生成方便快捷的特点受到日益广泛的关注。它的主要实现方法如下：首先使用高分辨率的全景摄像机等专业设备捕捉整个场景的图像信息，一般是多幅边界重叠的连续二维平面图片；然后使用软件手段对这些图片进行拼合，得到拥有360度场景信息的全景图片；最后使用专门的播放软件将全景图片呈现给观者，达到模拟和再现场景真实三维立体环境的逼真效果。观者在欣赏时只需要通过简单操作鼠标、轨迹球等输入设备，就可自由选择感兴趣的局部图像，并可以按意愿放大缩小，朝各个方向移动观看全景图片的所有内容，还能够直接转移到全景图片的重要区域，并且对重要区域叠加文字、图标说明，达到身临其境的人机交互体验。虚拟全景技术同虚拟现实中传统的CG三维建模技术相比，其优势主要体现在以下几方面：

(1)真实感强，由于全景图片来源于真实拍摄的高清晰图片的制作生成，相比建模生成图象更真实可信；

(2)能表达、提供更多的图像信息，控制方便，交互性能好；

(3)经过对图像的透视处理模拟真实三维实景，沉浸感强；

(4)生成过程自动化程度高，大大加快制作周期，降低制作成本；

(5)文件体积不大，广泛适用于网络、多媒体光盘等多种应用形式。

虚拟全景技术的应用能够帮助人们在计算机和网络这个虚拟世界中更好地重建现实，体验现实和改造现实。根据展示区域的不同，全景图片主要包括如下分类：1.柱型全景：水平360度的环景，不能进行俯视和仰视；2.球型全景：水平360度，上下180度，可以看到场景的所有角度；3.局部全景：对场景单个方向或者局部的超广角展示。目前常见的虚拟全景技术主要有JavaApplet，QTVR，Shockwave3d等，其中后两者均由国外商业软件公司推出，生成的全景图片也是各自专门定义的数据格式，兼容性不高、价格昂贵。采用JavaApplet技术的虚拟全景可以在安装Java虚拟机的浏览器中很方便地播放使用，因此得到了相当广泛地支持应用。

2.真实成像

真实成像是将全景摄像机与全景图像拼接算法合为一体，通过多幅边界重叠最小化的连续二维平面图片，产生一幅完整的全景图。真实成像可以对静态目标和一定范围的动态目标成像。它的关键在于成像各单幅成像匹配性要好，成像的处理速度要快。有间隙会形成全景的失真，重叠过多会影响到成像的处理速度和质量，真实成像的技术实现在于根据全景成像的要求选择合理的交叉间隙，来保证图像拼接的合成和处理精度。同时在处理单幅图像生成中，还要考虑不同角度光线对图像的影响。

由于在高清晰数码全景成像中，二维合成全景成像的拼接处理以及在图像中嵌入信息的方法是关键点，因此，迫切需要找到处理速度高、实现旋转同步控制的拼接处理方法和在图像中嵌入信息的方法。

发明内容：

在高清晰二维全景真实成像的处理方法中，需要解决的主要技术问题有：

1：如何快速高效地寻找并确定各相邻照片中的匹配拼接线；

2：在沿水平方向拼接过程中如何有效修正在垂直方向存在的偏移和几何形变；

3：图像拼接完成后如何有效弥合不同角度拍摄时因曝光量的差异而显现的拚缝痕迹。

本发明为解决上述问题提供了一种系统的实现方法。本方法的实现基础是建立一套完整的高清晰二维全景真实成像平台又简称为一体化处理技术。它主要由CMOS成像传感器+电动可调光学镜头+电动可调光控制MCU所构成光学数字成像模块、由旋转平台+同步电机+控制MCU所构成的旋转模块、由gps芯片+电子罗盘芯片+RTC时钟芯片所构成的区域定位和角度定位模块，由DSP+DRAM+FLASH+总线接口+同步处理电路所构成的主控处理模块等构成。

在“一体化”处理技术实现二维快速合成全景成像中，首先一体化平台中的光学数字成像模块和同步控制旋转模块保证了每幅拼接照片不产生垂直位移、不产生几何形变。而通过预扫描(预拍照)的处理步骤，获取全景成像所需的方位起始角度和方位结束角度并计算出每幅照片的匹配拼接线。利用一体化平台中的gps定位模块，电子罗盘模块，RTC时钟模块实时获取每幅照片的拍摄时间及成像方位(由此可换算出顺、逆光信息，作为后续拼接弥合算法的修正参数)，加之CMOS传感器自身的电子测光功能，有效提供了合理控制曝光量的技术手段。

其中，利用CMOS图像传感器高帧频的特性，可以实现快速全景的快速预扫描(预拍照)处理。以OV5610传感器为例，OV5610传感器支持70Fps(针对HF分辨率320×200)的数据处理能力。首先由用户根据电子罗盘所提供方位角度来设置预扫描的起始方位角和结束方位角，根据图像传感器高帧频的值和取景范围，计算出平台的水平旋转速度和图像的匹配线，系统控制使旋转平台以一定的转速驱动摄像头对静态目标的取景成像。在这种条件下，低分辨率的图像通过拼接算法实现动态全景图像的轮廓性内容并检测到不同方位角下的感光强度，供使用者通过后台的监视计算机来确定静态全景图像的取景范围，为真实全景的成像建立实现的必要条件。预扫描(预拍照)所形成的数据结果包括：1、全景图像区域所需的方位起始角度和方位结束角度；2、每个区域所需的旋转角度值；3、每个区域的平均亮度值；4、每个区域的轮廓范围；5、每个区域的景深值。

由此可知，从系统的成像机制上即有效解决了上文提到的第一、二项技术问题，同时又为解决第三项技术问题提供了关键性的修正参数，在此基础上利用简单快速的图像拼接算法即可实现真实照片的无缝拼接处理。

而已有的专利拼接算法的复杂之处就在于要通过运算寻找拼接处，要补偿各类形变、要弥合不同曝光量照片间的拼缝等等，而本发明是从系统设计的角度出发，恰恰不需要以算法来处理这些复杂问题，从而在减少拼接运算复杂度的同时也有效提高了拼接效果。

本发明主要应用于环境和地貌的监测，其主要特点有：(1)以地理位置为中心的柱形成像方式；(2)以一体化技术所形成的二维快速真实全景成像；(3)成像的不可篡改性；(4)成像中的地理信息的嵌入和检索的实现；(5)全景预扫成像处理。

其中真实成像通过旋转同步控制和图像的拼接算法两部分实现。其技术核心是建立在快速搜索处理的全景数字成像技术和多信号检测控制系统的基础上实现。其中实现本发明关键点有：

(1)基于全景成像过程的信息高速处理技术；

(2)图像的无缝隙拼接和图像的全景快速合成技术；

(3)不同景距的画面分辖处理和计算；

(4)高清晰动态图像和静态图像的生成。

具体地，本发明是在如下的条件下所形成的以地理信息为中心的高清晰全景成像的发明，其中：(1)高清晰图像是指采用图像传感器＞500万像素以上的电信号实现基础上所获取的图像分辨率格式，2592×1944或1920×1920；(2)全景成像的合成是利用机控同步装置所获取；(3)将图像数据处理装置，同步控制处理机制以及全景数字成像合为一个处理平台。

其中本发明的二维柱式全景成像技术涉及一体化二维全景摄像机和全景成像处理模块，其主要特点有：一体化的二维全景摄像机将多角度多幅的摄像处理过程变为一次性的摄像处理，同时还可实现定位信息、环境信息相融合地一体化处理。其实现的主要功能有：在高清晰全景图像中嵌入以地理信息为索引的数据流；对高清晰全景图像中以地理信息为索引的数据流的验证和图像信息快速检索的实现；内置gps信息采集装置；将同步旋转台与快速全景定位相结合，形成快速全景成像功能；对目标光源的自动补偿处理；具有视频成像观测和静态高分辨全景成像的功能；具有静态图像的压缩处理功能；具有旋转、仰俯角控制；提高图像的安全性和不可篡改性；提供各种传感器和监测设备的接口。本发明的全景图像技术实现包含两方面的工作：静态图像拼接以及图像合成后数字影像的播放。一般而言这两方面的工作也分别由两部分不同的软件模块来完成。

为了在特定应用下能够获得更为理想的图像拼接效果(特别是为了实现软件自动拼接、而不是在PhotoSEAM之类软件下作手动编辑方式的图像拼接)，并根据应用目标的不同，采用自己特定的算法完成图像拼接。本发明核心拼接算法包括搜寻配准边界与边界无缝弥合两方面：为了让处理器自动配准图像就要求待拼接的图像边界有最少部分重叠，并利用这些信息进行匹配对准。匹配算法的总体思想是既要保证配准的精度，又要保证运算量不至过大。在一般图像中由于相邻的象素点的灰度值相差不大。因此可在第二幅图像的边界取一个网格，然后将网格在第一幅图像上移动，对所有网格点的两幅图像对应象素点的RGB值进行方差求和。记录最小值所对应的网格位置，即认为是最佳匹配位置。为了进一步提高配准效率，可将配准过程分为两大步骤：第一步粗略匹配，在该阶段网格每次水平或垂直移动一个网格间距。在完成粗略匹配之后，再在当前最佳匹配点处进行精确匹配，在该阶段以当前最佳匹配点为中心，网格向上下、左右各移动一个小步长。初始步长为粗略拼接时移动步长的一半，即为半个网格间距。不断的与当前最小平方和进行比较，如果比当前值优，就替换当前最佳匹配点。循环进行这个过程每次步长减半，通过这种最佳匹配点的自适应方式调整，直到水平步长和垂直步长均为0为止即完成了搜寻配准边界部分的工作。

找到配准边界后一般还不能对相邻两幅图像进行简单拼接，这是由于在图像拼接过程中，如果直接将两副图像叠加融合，由于两幅图像间亮度、色度的差异，会使拼接图像有明显的拼接痕迹，为了消除拼接缝隙，在两副图像的重叠区域我们采用加权合成的方式实现图像间的平滑过渡。

参考附图，通过下面的详细描述，本发明的其它优点将变得更加明显。

附图说明

图1是根据本发明的用于拼接处理的多幅图像；

图2是根据图1中的多幅图像拼接处理后的图像结果；

图3是根据本发明的二维全景真实成像平台的总体结构图；

图4是根据本发明的全景成像旋转台的结构图；

图5是根据本发明的紧锁装置的结构图；

图6是根据本发明的二维全景真实成像平台的功能流程图；

图7是根据本发明的二维合成全景成像的拼接处理流程图；

图8是图7的拼接处理流程的继续部分；

图9是根据本发明的综合性监测的平台结构图；

图10是根据本发明的综合性监测系统的结构图；

图11是根据本发明的高速DSP在同步控制电路的协助下实现数据运算与信号控制的统一管理和同步处理示意图。

附图标记说明：

A0：摄像机的托架

A1：仰角紧锁装置：紧锁装置

A2：仰角被驱动齿轮

A3：仰角传动轴

A4：仰角主驱动齿轮

A5：仰角同步驱动电机

A6：仰角电机传动轴

A7：仰角磁性定位测量传感器

A8：水平旋转托架

A9：水平旋转轴

A10：水平旋转底座

A11：水平旋转被驱动齿轮

A12：水平同步驱动电机传动轴

A13：水平磁性定位测量传感器

A14：水平旋转主驱动齿轮

A15：水平旋转同步驱动电机

A16：旋转传动平台连接架

B1：电磁驱动的插棍

B2：插棍轴套

B3：仰俯旋转齿轮

B4：仰俯旋转齿轮轴套

具体实施例：

根据本发明的具体实施例，其公开了一种利用高清晰二维全景真实成像平台实现二维全景真实成像的方法，该方法包括以下步骤：预拍照步骤和正式拍照步骤，其中两个步骤都以地理定位坐标为中心，呈圆柱形旋转光学成像模块，在360度范围内进行单幅拍摄或连续取像，将不同旋转角度所拍摄的单幅图片进行无差异的拼接，构成一幅新的全景图像；

其中，通过预拍照来获取取景焦距大小及全景所涉及的取景区域角度，确认拍摄的地理位置；在后台的计算机中显示预拍照所获得的全景区域图像，并由用户确定取景的范围，根据如下公式自动计算出每幅照片旋转的角度以及合成一幅全景照片所需的最少单幅照片数：

其中N为所需照片数、W为照片取景视角(W正比于镜头取景范围、反比于焦距)、k为拼接系数(1≥k≥0.75，为使N为整数需适当调整k值)；

根据预扫描照片的曝光量预估计算出第一幅照片的曝光参数作为起始基准，在正式拍摄时，首先启动区域定位和方位角定位模块，获取地理信息和方位角，通过内置的RTC，获取阳光照射方位信息，启动同步控制旋转模块，并确定镜头的起始位，然后，拍摄连续单幅照片的第一幅，通过图像拼接处理算法截取照片重叠部分数据区，同步预估第二幅照片的曝光参数，调整所需的曝光量，同时启动旋转平台按所确定的角度(包括水平旋转角度和仰俯旋转)快速转动，获取第二幅图像，并且截取最小起始图像边沿数据区和末端图像边沿数据区，利用图像相邻匹配算法进行最佳匹配，拼接成一幅新的合成照片；

使光学镜头按N值精确转动到预定位置，继续获取下一幅照片，直到完成全景照片结束后，按指令取地理位置信息、GPS和其它环境信息，并按图像嵌入算法将它们嵌入到图片中；

其中，在拼接成全景图像前对参与构成的每幅图像都进行嵌入以地理坐标为关键字的其它数据流的处理，以地理坐标为关键字的数据流内容为依据，对图像上、下边沿轮廓部分的亮度值的最小比特位进行重新编码，在解码端，取图像上、下边沿轮廓部分亮度值的最小比特位解码以提取地理坐标数据流。

所述的高清晰二维全景真实成像平台包括：光学成像模块，其由CMOS成像传感器、电动可调光学镜头、电动可调光控制MCU构成；同步控制旋转模块，其由旋转平台、同步电机和控制MCU构成；区域定位和角度定位模块，其由gps芯片、电子罗盘芯片(型号HCS01)、RTC时钟芯片(型号X1226V8)构成；主控处理模块，其由DSP、DRAM、FLASH、总线接口、同步处理电路构成。更具体地，如图3中所示，其可包括：自动调焦光学数字成像模块；CMOS图像传感器；图像存储器；DSP处理器；程序运行存储器；Flash静态存储器；通讯接口；控制总线接口；无线WLAN收发器；TCP/IP；RS-232；LCD显示；键盘；I/O控制单元；旋转台控制单元；传感器控制单元；GPS信息采集单元；红外成像控制单元；镜头变焦控制单元；和灯光补偿控制单元。优选地，光学数字成像模块包括自动调焦光学镜头、调盒控制和灯光补偿电路、及CMOS传感器。光学数字成像模块机构主要完成：(1)目标的成像处理；(2)成像的数字化；(3)成像的外部光强检测；(4)成像曝光量的控制；(5)焦距的电控操作；(6)图像的不同分辨率的控制和采集；(7)动态、静态图像的捕获。该光学数字成像模块机构通过电功变焦光学镜头和由CMOS图像传感器(例如可采用OV5610传感器)实现，以及该机构还包括相应的数据接口，实现与DSP的连接和受控，同时还考虑光线感应、光线镜头的匹配、变焦处理。光学数字成像模块可实现f8~f200的焦距调整，并通过CMOS芯片的感光控制时间解决曝光的处理。旋转装置用于完成一定角域的去向和数字成像。通过光学数字成像系统能为图像转换平台提供信噪比较高的光电信号。这种R、G、B信号组成的数字信源通过A/D处理后，形成一定格式的图像数字文件格式。文件大小、格式内容与图像的扫描效率和取像方式构成一定的关联。本机构的技术实现保证了全景成像所需的远近控制和光强控制保证了成像的质量。

同步控制旋转模块：

本发明可采用如图4中所示的结构设计，使光学镜头、信息处理机构、旋转机构、摄像机保护机构融为一体，以适应车在野外使用的条件。其中图4中示出了一种旋转传动平台结构(即同步控制旋转模块)，该旋转传动平台包括：摄像机的托架；仰角紧锁装置(紧锁装置)；仰角被驱动齿轮；仰角传动轴；仰角主驱动齿轮；仰角同步驱动电机；仰角电机传动轴；仰角磁性定位测量传感器；水平旋转托架；水平旋转轴；水平旋转底座；水平旋转被驱动齿轮；水平同步驱动电机传动轴；水平磁性定位测量传感器；水平旋转主驱动齿轮；水平旋转同步驱动电机；旋转传动平台连接架。

其中，如图5中所示，该紧锁装置主要用于防止摄像机托架的仰角滑移。由于托架要支撑一定重量的摄像机并且还要承受机械旋转运动所带来的冲击力会使仰角传动装置发生移位现象。为了防止此现象，利用B1电磁驱动的插棍来阻止B4旋转齿轮的转动。当通电时插棍被吸上并脱离B4旋转齿轮的齿中，以使旋转齿轮能够被仰角同步驱动电机驱动。无电时，插棍在自身重力的作用下，插入到齿轮中完成紧锁任务。具体地，其工作原理为：旋转平台通过仰角同步驱动电机和水平旋转同步驱动电机完成对摄像机的水平旋转角度和仰视角度的调整。在车载应用中要求旋转平台可在水平方向的360度范围内旋转以及仰角调角范围在120度内，并且其包括仰角紧锁装置。其中，水平旋转主要用于实现：在指令的控制下任意方向360度范围内的水平旋转和控制；数字信号线的连接输出；旋转角度的计算和定位。其中，倾斜调角单元主要用于实现：解决在指令的控制下，可以完成正负60度倾斜方向的调角；完成倾斜方向的自动检测和保护。

该同步控制旋转模块主要完成：(1)通过对水平同步电机和垂直同步电机的控制；实现按指令来调整托架的角度达到精确移动的目标；(2)对灯光的闪亮的控制；(4)对光圈电机的控制；(5)镜头的方向定位和控制。

主控处理模块

主控处理模块主要由以DSP为核心的数据处理平台和相应的算法软件系统所构成。其中，数据处理平台：主要由高速DSP、高速外部数据运算DRAM区+flash数据存口之区和数字图像输入接口，以及相应的外部地址和数据总线构成。其主要特点：(1)是支持数据处理能力4800MIPS的运算要求；(2)能够通过同步控制电路，实现软件对控制装置的同步处理并不会影响到图像处理的效率。实现对数据通讯的控制；实现对外置其它传感器工作状态的控制；实现对本机电源管理的控制；实现对屏幕亮度管理的控制。(3)能够通过同步控制电路实现与同步控制旋转模块的指令交换和控制。

高速DSP在同步控制电路的协助下实现数据运算与信号控制的统一管理和同步处理(参见附图11)。其中，该同步控制电路可采用美国Xilinx公司的XC2V500-5FG256C来实现。利用同步控制技术所构建的一体化独立平台为解决数字信号的合成与处理提供了技术实现的保证。由于DSP与控制MCU之间在数据运算能力上和控制的可靠性上存在着巨大的差异，所以DSP仅适应于图像数据的合成与嵌入的运行，而旋转和仰俯控制机构等低速控制处理装置则采用MCU来控制，保证全景图像获取的真实性。采用本方法后，可以有效地解决快与慢的同步处理问题，同时也提高了系统运行的可靠性。

采用DSP作为核心处理器(即主控模块)，通过连接的存储器件和控制器件构成处理模块平台，在相应的系统软件支持下，可实现如下功能：图像数字信息及文件的生成；图像的预视和生成；同步信号控制的实现；图像压缩处理；全景图像的合成。

由于DSP(实施方案采用TI公司的TMS320DM642GDK-600M)的高速运算能力，它需通过控制总线接口实现与其它低速外部功能控制模块的互通。控制总线由地址、寻址线、16位数据线、中断控制线组成。DSP主要承担图像文件的比对、合成、传输、存储的处理任务。DSP数据图像帧幅存储完成信号，自动图像处理算法，将原始图像根据不同的指令处理成连续视频图像或单幅静态图像(前者用于取景观测，后者用于全景成像)。对于连续图像算法经过压缩处理并形成MPEG转入上位机观测。处理器还挂接大容量存储卡，可实现数据存储空间的灵活配置，有利于系统应用的扩展性。通过标准数据控制总线实现与图像传感器，GPS定位器，光线传感器，温度传感器，湿度传感器的信息交互，为图像数据的生成提供更多的环境参数。最终形成一体化二维的图像和环境数据文件。同时信号处理还能挂接相应的全景图像控制器以及升降器。

优选地，数据存储单元模块(数据存储器件)可由动态DRAM和静态flash构成，其还可包括程序运行存储区、程序静态存储区、图像静态动态存储区。在开机后，DSP将程序从flash静态存储区分别调入到DSP内部程序运行区和外部动态存储运行。动态数据区用于接收CMOS芯片所传送送的图像数据，并由DSP将不同处理阶段的图像数据存放其中，根据指令的要求，可将最终合成的全景图像移置到数据flash中保存。数据flash的容量可为8×64M。优选地，通讯控制模块可提供几种标准的接口。其中的标准接口可包括USB(主从结构))、TCP/IP、RS-232，用于与不同的主机或外部扩展存储设备相连，实现图像数据的轻移。

此外，还可配备HCS01芯片(电子罗盘传感器)，利用其电子罗盘功能自动完成摄像机方位检测，与系统RTC(实时钟)、GPS信息相结合折算出全景照片拼接时顺光、逆光部分各自的拼接补偿系数，有效提高拼接算法的效率。气压、温度、湿度、图片拍摄时间等参数也随GPS信息一起被记录在全景照片的水印信息中。

此外，如图11中所示，还可建立以DSP为图像处理核心+MCU控制处理为同步快处理的硬件结构，该结构采用主从并行处理结构，MCU和DSP根据所执行任务的优先级不同，可以采用中断应答和查询应答的方式，实现在保证快速处理大容量图像数据的基础上完成同步处理的高效率和高可靠性的要求。这一点是由于本设备所面临的图像数据量巨大，而处理的时效性要求极高的技术背景下所建立的。通过这种应答机制，解决了图像获取与其它数据获取的同步性，以及图像处理的可靠性，并对本机完成图像处理能力的技术指标产生了直接的影响。

全景成像机(即二维全景真实成像平台中的光学成像系统)是针对区域环境监测所需的成像设备。在现实检测中需要解决如下问题：(1)区域地理位置信息的确认；(2)0~360度的柱形二维全景成像的采集；(3)高分辨率的目标成像，解决图像比对所需的条件；(4)彩色全景成像后可真实地反映所监测的二维区域状况；(5)能够根据监测目标的远近和所需的成像分辨率，自动设置取景图像的帧幅数，通过算法的拼接实现有效的全景图像；(6)能够适应不同角度的光线变化(具有自动光圈检测和曝光调整功能)；(7)具有可调整的图像分辨率；(8)一幅全景成像的处理时间应能适应具有一定速率的移动目标；(9)一定距离范围内的光学数字成像的技术实现；(10)实现按预定路线自动获取图像。

为了解决上述问题，在主控模块为核心的一体化硬件平台上，实现基于地理信息的嵌入和图像拼接算法为核心的处理系统并构成为二维全景真实成像平台。在这个平台上通过本发明的拼接处理方法来达到获取带有地理信息的高清全景图像的目的。

本发明采用如下的方法处理流程来实现本发明中的二维合成全景成像的拼接处理。

参考图7和图8，本二维全景成像是以地理定位坐标为中心，呈圆柱形旋转，在0-360度进行的单幅拍摄或连续取像，将不同旋转度所拍摄的单幅图片进行无差异的拼接，构成一幅新的全景图像。在拍摄时，根据取景焦距的大小及全景所涉及的取景区域角度，由系统根据如下公式自动计算出每幅旋转的角度和一幅全景所需的最小单幅图像数：Kn(全景所需的单幅数)＝n(取景角域)/i.k：：I＝焦距系统k＝单幅成像域根据成像的光线平方值计算出第一幅的曝光值，作为起始基准。摄像机获取连续单幅图像的第一幅，并截取图像的最小末边数据区，连续判别第二幅图像的曝光值，调整所需的曝光量，获取第二幅图像，并且截取最小起始图像边沿数据区和末端图像边沿数据区，利用图像相邻匹配算法进行最佳匹配，形成一幅新的图像数据。主控发出旋转命令，使光学镜头按Kn值精确转动到预定位置，继续取下一幅图像，一直到完成全景成像全景结束后，按指令取地理位置信息，GPS和其它环境信息根据指令可以嵌入到图片之中形成尾随的图形文件。

优选地，本发明还包括在图像中嵌入信息的实现方法，以及为图像数据索引的建立方法。

具体地，拼接成全景图像前对参与构成的每幅图像都进行嵌入以地理坐标为关键字的其它数据流的处理(数据流《256byte，对图像上、下边沿轮廓部分的亮度值的最小比特位进行重新编码，其编码依据以地理坐标为关键字的数据流内容进行。由于编码过程中仅仅改变图像亮度值的最小比特位，因而其效果最多仅改变原有图像亮度的1/256，由于这一变化远小于人眼对亮度变化的分辨力(约1/64)，所以人们感觉不到原有图像内容有任何变化。在解码端，取图像上、下边沿轮廓部分亮度值的最小比特位解码即可提取地理坐标数据流。上述过程在图像边沿轮廓部分进行有两方面的目的：其一是在对图像进行压缩编码的过程中对其余部分的图像内容可以进行有失真的高压缩比编码(由于本应用是高分辨率特殊应用，因而建议采用无失真压缩编码)；其二是为进一步减弱人眼对嵌入地理坐标的编码对原有图像内容改变的感觉。

利用拼接后的高清晰全景照片的上、下边沿行像素中亮度数据的低bit位用于嵌入地理坐标编码，可被用于编码的有效数据bit位数取决于图像的分辨率和参与拼接照片的幅数。用于进行地理坐标编码的bit数为：

M＝H×N×k

其中M为可被用于编码的有效数据bit位数，H为拼接前每幅照片的行像素数，N、k值同前，分别为拼接照片的幅数，以及相邻两幅照片间的匹配系数。

以单幅格式为QSXGA(2592×1944)的照片为例，所能够用于编码的最小bit数M＝2592.(其中n＝1，k＝1)。

设用于表示地理坐标等附加数据信息的二进制代码为：Coordinate[]＝D255D254D253…D1D0(256bits)

以单幅QSXGA分辨率照片为例说明将表示地理坐标等附加数据信息嵌入的算法流程如下：

设：Y(x，y)、U(x，y)、V(x，y)分别为以4∶2∶2分量方式表示的、嵌入地理经、纬度坐标数据流编码前的彩色像素P(x，y)的亮度及色差值，其中1944≥y≥1；2592≥x≥1；且其取值范围：255≥Y(x，y)≥0、255≥U(x，y)≥0、255≥V(x，y)≥0，即亮度分辨率为256级、具有64K种颜色；

设：Y_c(x，y)、U_c(x，y)、V_c(x，y)分别为嵌入地理经、纬度坐标数据流编码后的彩色像素P_c(x，y)的亮度及色度值，其中1944≥y≥1；2592≥x≥1；

地理经、纬度坐标数据的嵌入算法为：

编码端：

Y_c(x，1)＝[Y(x，1)∩0x0FC]+Coordinate[Round(x/8)]2048≥x≥1；

Y_c(x，1)＝Y(x，1)2592≥x≥2049；

Y_c(x，y)＝Y(x，y)1944≥y≥2；2592≥x≥1；

U_c(x，y)＝U(x，y)1944≥y≥1；2592≥x≥1；

V_c(x，y)＝V(x，y)1944≥y≥1；2592≥x≥1；

解码端：

Data[x，Round(x/8)]＝LSB[Y_c(x，1)∩0x01]2048≥x≥1；

Coordinate[n]＝multi{Data[m，n]}；

其中，Round(x/8)表示除以8后取其整数部分；Multi{Data[m，n]}表示对具有相同n值的所有8个Data[m，n]值取其多者。嵌入的编码信息除了地理信息外，还可加入其他所需的数据。由于参与构成全景图像拼接的每幅图像都可以进行了这种嵌入地理坐标数据流的处理，因而从任何一幅图像都可解码提取地理坐标数据流信息。

经实验验证，此算法模块在嵌入信息码后不仅对原图像的视觉改变难以觉察(PSNR＞50)，且具有对JPEG压缩算法极强的鲁棒性(对其进行JPEG编码不影响嵌入算法)。

具体地，生成全景图像的操作步骤如下：主控模块通过本机键盘输入的指令或与之相连的后台计算机所发出的命令来第一步启动将启动地理位置信息的获取和比对的处理进程，根据进程运行的结果，第二步启动光学数字成像模块的运行，是其进入预置的工作进程中，并且输出所需的各种数据。第三步启动全景预览并产生取景角域和焦距等数据。第四步启动正式图像拍照处理所需图像拼接算法软件和控制软件。对所获取的图像数据进行加工处理，并继续控制光学机构的工作状态至完成全景图像的拼接过程。第五步利用数字水印算法实现地理位置等信息的嵌入。第六步实现对全景图像的压缩处理(也可以非压缩处理)，并形成所需的文件形式存储在本机的静态存储器之中。第七步通过通讯模块将图像文件输出到外部的计算机或其他存储设备中。

由于所采用的DSP(TMS320DM642GDK-600M)具有4800MPS处理运行能力，以及拼接算法实现的精简性，使一次全景成像的时间大大缩短(从1000ms~3s)，并可以保证对一定速率的流动目标的成像，或在一定速率的载体上的全景成像。在系统处理过程中，按图6中示出的流程结构处理。其中，利用本发明的实施系统的所要达到的主要技术指标：

1.能提供基于Java applet全景图像的发布格式；

对于Java applet格式，播放时要求系统安装java虚拟环境；

2.所支持的全景类型：柱型全景；

3.全景照片图像尺寸(像素数)：普通精度全景(以SXGA格式分辨率为单位合成)：2400×1200。高清晰全景(以QSXGA格式分辨率为单位合成)：6000×3000；

4.图像处理器：速度4800mps；

5.成像分辨率：500百万；

6.水平成像旋转度：360°仰视度：60°俯视度：60°

7.自动测光和曝光处理。

由于全景图像数据中包含以地理信息+时间信息，它可以构成的本幅图像唯一关键字，因此在建立图像数据库时，通过解码算法，将图像中的地理信息+时间信息提取作为图像数据的关键索引，使本图像数据库的建立效率大为加快。优选地，本方法适用于任何以图像数据处理的数据库。用本发明所形成的一体化二维全景摄像机，可以配接各种传感器，后台计算机及无线通讯设备后，构成一个综合性野外监测平台。它能够采集本区域内的环境参数，拍摄区域内的植物，动物等物体的高分辨率图像最终形成完整的检测数据表。同时监测平台可安放在车辆或定点位置上形成不同行业的应用。

如图9所示，配合二维全景真实成像平台的综合性监测系统可包括：后台中心数据服务器；地理信息系统；通讯控制器和以地理信息为索引的信息检索单元。如图10所示，综合性监测平台还可被视为包括：汽车载体；无线通讯单元；旋转上升控制台；一体化二维全景摄像机；计算机和传感器。

本发明还可以应用在农牧业方面，其主要完成基于定位地理位置的农牧业植物生长状况的图像采集。通过所采集的高清晰图像，为农牧业、植物亩产的预估与生长状况做出实际的比对和预告。通过定点位置和不同的时间的植物生长状况还可以对土地的状况进行间接测试。本发明还可以应用在环境监测中，其主要通过高清晰图像信息+温度+水质+其他传感器所形成的综合数据，完成对某一段流域的水质和生态环境的监测和采集。图像信息可提供水质颜色的混浊度的观测和比对，弥补传感器信息的准确性，同时还可提供预警处理。本发明还可以应用在城市规划中，其主要完成城市区域建筑道路的精确分布和地理位置。为城市的建筑规划提供直观的静态图像，同时还可以应用于城市的管理(比如广告的位置，交通的管制等方面)。

本发明并不限于上述优选实施例，在本发明的教导下，本领域普通技术人员可以做出各种变形和替换，它们都包括在本发明的范围内。

Claims

1.一种利用高清晰二维全景真实成像平台实现二维全景真实成像的方法，其中所述高清晰二维全景真实成像平台包括：

光学成像模块，其由CMOS成像传感器、电动可调光学镜头、电动可调光控制MCU构成；

同步控制旋转模块，其由旋转平台、同步电机和控制MCU构成；

区域定位和角度定位模块，其由GPS芯片、电子罗盘芯片、RTC时钟芯片构成；

主控处理模块，其由DSP、DRAM、FLASH、总线接口、同步处理电路构成；

其特征在于该方法包括以下步骤：预拍照步骤和正式拍照步骤，其中两个步骤都以地理定位坐标为中心，呈圆柱形旋转光学成像模块，在360度范围内进行单幅拍摄或连续取像，将不同旋转角度所拍摄的单幅图片进行无差异的拼接，构成一幅新的全景图像；

其中N为所需照片数、W为照片取景视角，W正比于镜头取景范围、反比于焦距，k为拼接系数，其中，1≥k≥0.75，为使N为整数需适当调整k值；

根据预扫描照片的曝光量预估计算出第一幅照片的曝光参数作为起始基准，在正式拍摄时，首先启动区域定位和方位角定位模块，获取地理信息和方位角，通过内置的RTC，获取阳光照射方位信息，启动同步控制旋转模块，并确定镜头的起始位，然后，拍摄连续单幅照片的第一幅，通过图像拼接处理算法截取照片重叠部分数据区，同步预估第二幅照片的曝光参数，调整所需的曝光量，同时启动旋转平台按所确定的角度快速转动，所述所确定的角度包括水平旋转角度和仰俯旋转，获取第二幅图像，并且截取最小起始图像边沿数据区和末端图像边沿数据区，利用图像相邻匹配算法进行最佳匹配，拼接成一幅新的合成照片；

其中，在第二幅图像的边界取一个网格，然后将网格在第一幅图像上移动，对所有网格点的两幅图像对应象素点的RGB值进行方差求和，记录最小值所对应的网格位置，即认为是最佳匹配位置；

2.根据权利要求1所述的二维全景真实成像的方法，其特征在于：在所述的预拍照步骤中，利用CMOS图像传感器低分辨率高帧频的特性，以一定转速驱动光学成像模块对准一定的区域范围连续拍摄所形成的照片集，这些低分辨率的照片通过全景拼接算法形成全景图像，同时对图像亮度值进行计算，获取每幅图像的曝光值、全景图像区域所需的方位起始角度和方位结束角度、每个区域所需的旋转角度值、每个区域的平均亮度值、每个区域的轮廓范围、每个区域的景深值。

3.根据权利要求1所述的实现二维全景真实成像的方法，其特征在于：利用拼接后的高清晰全景照片的上、下边沿行像素中亮度数据的低bit位用于嵌入地理坐标编码，被用于编码的有效数据bit位数取决于图像的分辨率和参与拼接照片的幅数；用于进行地理坐标编码的bit数为：

M＝H×N×k

其中M为被用于编码的有效数据bit位数，H为拼接前每幅照片的行像素数，N、k值同前，分别为拼接照片的幅数，以及相邻两幅照片间的匹配系数；

其中所述照片的单幅格式为QSXGA 2592x 1944，所能够用于编码的最小bit数M＝2592，其中N＝1，k＝1；

用于表示地理坐标的附加数据信息的二进制代码为256bits：Coordinate[]＝D255D254D253...D1D0

将表示地理坐标的附加数据信息嵌入的算法流程如下：

Y(x，y)、U(x，y)、V(x，y)分别为以4∶2∶2分量方式表示的、嵌入地理经、纬度坐标数据流编码前的彩色像素P(x，y)的亮度及色差值，其中1944≥y≥1；2592≥x≥1；且其取值范围：255≥Y(x，y)≥0、255≥U(x，y)≥0、255≥V(x，y)≥0，即亮度分辨率为256级、具有64K种颜色；

Y_c(x，y)、U_c(x，y)、V_c(x，y)分别为嵌入地理经、纬度坐标数据流编码后的彩色像素P_c(x，y)的亮度及色度值，其中1944≥y≥1；2592≥x≥1；

地理经、纬度坐标数据的嵌入算法为：

编码端：

Y_c(x，1)＝[Y(x，1)∩0x0FC]+Coordinate[Round(x/8)]2048≥x≥1；

Y_c(x，1)＝Y(x，1)2592≥x≥2049；

Y_c(x，y)＝Y(x，y)1944≥y≥2；2592≥x≥1；

U_c(x，y)＝U(x，y)1944≥y≥1；2592≥x≥1；

V_c(x，y)＝V(x，y)1944≥y≥1；2592≥x≥1；

解码端：

Data[x，Round(x/8)]＝LSB[Y_c(x，1)∩0x01]2048≥x≥1；

Coordinate[n]＝multi{Data[m，n]}；

其中，Round(x/8)表示除以8后取其整数部分；Multi{Data[m，n]}表示对具有相同n值的所有8个Data[m，n]值取其多者；

嵌入的编码信息除了地理信息外，还加入其他所需的数据。

4、如权利要求3所述的实现二维全景真实成像的方法，其特征在于：其中在建立图像数据库时，通过解码算法，将图像中的地理信息+时间信息提取作为图像数据的关键索引。

5、如权利要求1或2所述的实现二维全景真实成像的方法，其特征在于：所述同步控制旋转模块包括：摄像机的托架；仰角紧锁装置；仰角被驱动齿轮；仰角传动轴；仰角主驱动齿轮；仰角同步驱动电机；仰角电机传动轴；仰角磁性定位测量传感器；水平旋转托架；水平旋转轴；水平旋转底座；水平旋转被驱动齿轮；水平同步驱动电机传动轴；水平方位磁性定位测量传感器；水平旋转主驱动齿轮；水平旋转同步驱动电机；旋转传动平台连接架，同步电机控制电路。

6、如权利要求1、2或3所述的实现二维全景真实成像的方法，其特征在于：所述电子罗盘芯片用于检测方位，与系统RTC、GPS信息相结合折算出全景照片拼接时顺光、逆光部分各自的拼接补偿系数。