CN103047972B - 一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法 - Google Patents

Abstract

地球静止轨道卫星平台面阵凝视相机分辨率提升方法属于航天卫星平台相机分辨率提升技术领域，该方法借助多个高速小面阵成像传感器实时检测相机光轴随平台颤振情况，根据分析数据发送指令给压电陶瓷执行机构，在预定位置分别采集四幅包含亚像元偏移量图像并进行超分辨重构，从而得到分辨率提升的图像。本发明的方法可以一定程度恢复图像损失的细节，提升分辨率，提高有效目标的辨识率；借助多个高速小面阵成像传感器进行实时图像配准计算像面偏移量，消除了卫星平台颤振对像面微位移机构亚像元偏移精度造成的影响；本发明的方法不增加大体积成像元器件，不引入额外像差，没有光能损失，所使用技术也不存在工艺受限问题，更适合航天平台应用。

Description

一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法

技术领域

本发明属于航天卫星平台相机分辨率提升技术，针对地球静止轨道卫星平台面阵凝视相机的应用，用以提高相机系统地面分辨率，提升地面景物辨识度。

背景技术

随着二十一世纪科学技术的飞速发展，基于高轨卫星的对地观测遥感信息平台吸引了世界各国的关注。高分辨率对地观测技术对气象预报，自然灾害监测，农、林、海洋、矿产资源监测，以及军事国防应用方面都有重要的战略意义。航天相机所获取的遥感图像分辨率越高，包含的信息越丰富，更能为国民经济发展、国防科技进步提供决策基础。

航天相机地面分辨率由相机焦距、像元尺寸和轨道高度共同决定：

$\mathrm{GSD}=\frac{d}{f}\·H---\left(1\right)$

式中，d表示相机成像传感器的像元尺寸，f是相机焦距，H是相机所在卫星平台的轨道高度。可以看到，对于预定任务的航天相机来说，轨道高度和相机焦距确定，成像传感器的像元尺寸越小，相机的地面分辨率越高。然而为了保证图像信噪比以及受制备工艺约束，像元尺寸不可能无限减小。因此，针对地球静止轨道卫星平台面阵凝视相机的应用，需要提供一种硬件代价小的超分辨方法来提升航天相机的分辨率。

发明内容

为了解决航天相机地面分辨率受成像传感器像元尺寸所限的技术问题，本发明提出了一种基于像面微位移的地球静止轨道卫星平台面阵凝视相机分辨率提升方法，该方法采用像面微位移的方式形成亚像元偏移，提高采样频率，并进行超分辨图像重构处理，从而提高分辨率。

本发明解决技术问题所采取的技术方案如下：

一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法，包括如下步骤：

步骤一、相机控制器发送开启指令，主成像传感器上电待命，四个高速小面阵成像传感器同时开始图像采集；

步骤二、相机计算处理单元缓存高速小面阵成像传感器采集的前N帧图像数据，并计算每帧图像的清晰度，选择清晰度最高的图像作为参考图像；

步骤三、相机计算处理单元重新开始接收图像数据，同时计算接收的图像数据与参考图像间的偏移量；

步骤四、相机计算处理单元比较来自四个高速小面阵成像传感器的图像配准计算数据，剔除错误项，取剩余数据的均值作为像面偏移量；

步骤五、相机计算处理单元分析X方向和Y方向两维M组偏移量数据中，每一方向的正负最大偏移量绝对值之和是否均大于0.5像元，若大于0.5像元，则执行步骤六；若至少有一个方向的正负最大偏移量绝对值之和小于0.5像元，则执行步骤七；

步骤六、选取偏移集中的位置发送指令通知主成像传感器采集图像首帧，然后根据高速小面阵成像传感器返回的像面偏移实时数据，主成像传感器在预定的彼此偏移0.5像元的位置进行第2、3、4幅图像的采集，其坐标分别为(X1,Y1)、(X2,Y1)、(X2,Y2)和(X1,Y2)，其中X2＝X1+0.5，Y2＝Y1+0.5；

步骤七、相机控制器发送指令开启像面微位移执行机构在垂直光学系统光轴平面做两维补偿移动：选取偏移集中的位置采集首帧图像并记录其坐标(X1,Y1)后，像面微位移执行机构推动像面分别移至(X2,Y1)、(X2,Y2)和(X1,Y2)，然后根据高速小面阵成像传感器返回的像面偏移实时数据发送图像采集指令，获得4帧在两维方向上彼此偏移0.5像元的图像；

步骤八、相机计算处理单元缓存获得的4帧亚像元偏移图像，根据目标特征寻找有效目标所在区域，截取4帧图像中的有效目标所在局部区域进行超分辨重构处理，得到分辨率提升的图像。

本发明的有益效果如下：

1)本发明适合于地球同步静止轨道卫星平台面阵凝视成像系统的分辨率提升。地球同步静止轨道因其“凝视成像”特性，在未进行调姿的情形下，相机始终对同一地面区域成像，这为“同画面”的亚像元偏移采样提供了可能。受图像信噪比及电子学工艺等因素的约束，目前的航天相机一般都采用λf/p＜1(其中λ是相机工作波长，f是相机焦距，p是成像传感器像元尺寸)的设计，均为成像传感器采样频率小于两倍光学截止频率的欠采样成像系统，由于不满足奈奎斯特采样定理而丢失了一部分高频细节。基于像面亚像元偏移采样获得的序列图像，经过超分辨重构处理，可以一定程度恢复损失的细节，提升分辨率，提高有效目标的辨识率。本发明以0.5像元偏移的四帧图像重构得到的超分辨图像，分辨率将提升至原来的1.7倍，为有效目标的辨识提供了更为丰富的细节信息。

2)本发明中使用了由多个高速小面阵成像传感器构成的相机光轴抖动探测机构，消除了平台颤振对亚像元偏移精度造成的影响，从而保证最后结果的准确性。

3)本发明可作为航天相机的辅助工作模式之一，并不影响主模式的正常工作。增加的高速小面阵布局在主成像传感器四周，不影响主像场的工作；增加的像面微位移执行机构移动量极小，约为主成像传感器的0.5像元，相对于全像场上万像元，光学系统光轴中心与主像场中心的相对偏移可忽略不计；增加的各器件均为轻小型元件，对相机整体机构及质量影响很小。

4)相较于地面成像系统中用到的光学分光亚像元法，平面反射镜扫描法、平行平板扫描法，双折射晶体分光法，微变焦法，异形像元法，孔径编码法等，本发明不增加大体积成像元器件，不引入额外像差，没有光能损失，所使用技术也不存在工艺受限问题，更适合航天平台应用。

附图说明

图1是本发明中的像面布局平面示意图。

图2是本发明中的两维亚像元偏移位置示意图。

图3是本发明地球静止轨道卫星平台面阵凝视相机分辨率提升方法的流程图。

图4是本发明中的相机控制器工作流程图。

图5是本发明中的相机计算处理单元工作流程图。

图6是本发明中的相机计算处理单元缓存1工作流程图。

图7是本发明中的相机计算处理单元缓存2工作流程图。

图8是本发明中的像面偏移量实时探测一维曲线示意图。其中，图(a)是正负最大偏移量绝对值之和大于0.5像元的情况；图(b)是正负最大偏移量绝对值之和小于0.5像元的情况。

图9是本发明中的超分辨重构示意图。其中，图(a)是包含亚像元偏移的4帧图像；图(b)是将网格加密，4帧亚像元偏移图像采样点分别填入加密后的对应网格点中；图(c)是超分辨重构获得分辨率提升的图像。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细描述。

本发明地球静止轨道卫星平台面阵凝视相机分辨率提升的方法借助多个高速小面阵成像传感器实时检测相机光轴随平台颤振的情况，相机计算处理单元对检测的情况进行分析，并根据分析数据发送指令给像面微位移执行机构，在预定位置分别采集四幅包含亚像元偏移量的图像并进行超分辨重构，从而得到分辨率提升的图像。

图1所示为本发明的像面布局平面示意图。在面阵凝视相机主成像传感器1四周增加了4块高速小面阵成像传感器(图1中的附图标记2、3、4、5)，用以实时探测由于平台颤振等因素引起的相机系统光轴的抖动；另外还在主成像传感器1的两侧增加了像面微位移执行机构(图1中的附图标记6、7)，此处像面微位移执行机构采用的是压电陶瓷促动器，用以推动主成像传感器1在垂直光轴平面(即像平面)沿导轨作微量的两维移动，从而实现亚像元偏移采样(导轨位于主成像传感器1的背面，平面示意图中未能体现)。

图2为两维亚像元偏移位置示意图。设主成像传感器1的首帧图像坐标为(X1,Y1)，则第2帧图像坐标为(X2,Y1)，其中X2＝X1+0.5，第3帧图像坐标为(X2,Y2)，其中Y2＝Y1+0.5，第4帧图像坐标为(X1,Y2)，坐标单位均为像元。

图3为本发明分辨率提升方法的工作流程图。当接收到任务模式开启指令时，主成像传感器1上电待命；4个高速小面阵成像传感器同时开始图像采集；采集的前N帧图像数据存入相机计算处理单元缓存，相机计算处理单元计算每帧图像清晰度，选择清晰度最高图像作为参考图像；重新开始接收图像数据，相机计算处理单元同时计算接收的图像数据与参考图像间的偏移量；比较来自4个高速小面阵成像传感器的图像配准计算数据，剔除错误项(一般是由于所采图像细节量过少导致图像配准失败)，取剩余数据的均值作为像面偏移量；分析X方向和Y方向两维M组偏移量数据中，每一方向的正负最大偏移量绝对值之和是否均大于0.5像元：若大于0.5像元，则选取偏移集中的某位置发送指令通知主成像传感器1采集图像首帧，然后根据高速小面阵成像传感器返回的像面偏移实时数据，主成像传感器1在预定的彼此偏移0.5像元的位置进行第2、3、4幅图像的采集，其坐标分别为(X1,Y1)，(X2,Y1)，(X2,Y2)和(X1,Y2)，其中X2＝X1+0.5，Y2＝Y1+0.5；若至少有一个方向的正负最大偏移量绝对值之和小于0.5像元，则发送指令开启像面微位移执行机构在垂直光学系统光轴平面做两维补偿移动：选取偏移集中的某位置采集首帧图像并记录其坐标(X1,Y1)后，像面微位移执行机构推动像面分别移至(X2,Y1)，(X2,Y2)和(X1,Y2)，然后根据高速小面阵成像传感器返回的像面偏移实时数据发送图像采集指令，获得4帧在两维方向上彼此偏移0.5像元的图像；获得的4帧亚像元偏移图像送入相机计算处理单元缓存，根据目标特征寻找有效目标所在区域，截取4帧图像中的有效目标所在局部区域进行超分辨重构处理，得到分辨率提升的图像。

图4是相机控制器的程序流程图。接到任务模式开启指令时，相机控制器通知主成像传感器1上电待命；通知4个高速小面阵成像传感器开始图像采集；通知相机计算处理单元缓存1接收图像数据；通知相机计算处理单元开始计算N帧图像的清晰度；清晰度数据计算完毕，相机计算处理单元发送中断告知控制器；相机控制器通知相机计算处理单元缓存1将参考图像存入固定区，其他为可擦写区；通知相机计算处理单元缓存1继续接收图像数据；通知相机计算处理单元同时计算所接收的图像序列与参考图像的相对偏移量；偏移量计算完毕，相机计算处理单元发送中断告知相机控制器；等待相机计算处理单元分析偏移量数据；相机计算处理单元发送中断告知相机控制器是否启用像面微位移执行机构：

若不启用像面微位移执行机构，则通知主成像传感器1采集首帧图像；通知相机计算处理单元缓存2接收首帧图像；等待相机计算处理单元第2帧图像采集中断；通知主成像传感器1采集第2帧图像；通知相机计算处理单元缓存2接收第2帧图像；等待相机计算处理单元第3帧图像采集中断；通知主成像传感器1采集第3帧图像；通知相机计算处理单元缓存2接收第3帧图像；如此循环采集完4个预定亚像元位置的图像；通知相机计算处理单元搜索4帧主成像传感器1的图像目标区域；等待目标区域搜索完毕中断；通知相机计算处理单元利用4帧目标区域图像进行超分辨重构；等待相机计算处理单元运算完毕中断；通知相机存储器接收超分辨重构图像；任务模式结束，等待指令是否开始下一周期任务。

若启用像面微位移执行机构，则在采集完首帧图像后，通知像面微位移机构移动至预定位置，接收到预定位置到达中断时，通知主成像传感器采集第2帧图像，通知计算处理单元缓存2接收第2帧图像；通知像面微位移机构移动至下一预定位置，如此循环采集完4个预定亚像元位置的图像；通知计算处理单元搜索4帧主成像传感器图像目标区域；等待目标区域搜索完毕中断；通知计算处理单元利用4帧目标区域图像进行超分辨重构；等待计算处理单元运算完毕中断；通知相机存储器接收超分辨重构图像；任务模式结束，等待指令是否开始下一周期任务。

图5是相机计算处理单元的工作流程图。接到相机控制器指令开始计算来自计算处理单元缓存1的图像序列清晰度，选出N帧图像中清晰度最高的作为参考图像，存入计算处理单元缓存1固定区中，发送中断，告知相机控制器参考图像确定完毕；接到相机控制器指令连续计算来自计算处理单元缓存1的图像序列与参考图像的相对偏移量，综合来自4个小面阵图像的偏移量计算数据，剔除错误数据，计算剩余数据均值作为像面偏移量，此进程重复运行直至任务结束；分析M组X方向和Y方向两维偏移量数据中，每一方向的正负最大偏移量绝对值之和是否均大于0.5像元，发送中断，告知相机控制器是否启用像面微位移执行机构：若不启用像面微位移执行机构，根据高速小面阵成像传感器图像计算的像面偏移实时数据，到达预定位置时发送中断，告知相机控制器开始图像采集，如此循环直至4帧亚像元偏移图像采集完成；若启用像面微位移执行机构，则在每次像面微位移执行机构移动完成后，根据高速小面阵成像传感器图像计算的像面偏移实时数据在像面到达预定位置时发送中断，告知相机控制器开始图像采集，如此循环直至4帧亚像元偏移图像采集完成；接到相机控制器指令计算4帧图像特征目标区域，计算完毕发送中断告知控制器；接到相机控制器指令进行超分辨重构，计算完毕发送中断告知控制器。

图6是相机计算处理单元缓存1的工作流程图。接到相机控制器数据存储指令，开始接收4个高速小面阵成像传感器图像数据；接到相机控制器指令将参考图像存入固定区，其他图像均在可擦写区；接到相机控制器指令连续接收4个高速小面阵成像传感器图像数据，将图像数据提供给相机计算处理单元，并接收偏移量计算数据；循环工作直至任务模式结束。

图7是相机计算处理单元缓存2的工作流程图。接到相机控制器数据存储指令，开始接收主成像传感器1的首帧图像；接到相机控制器数据存储指令开始接收主成像传感器1的第2帧图像；接到相机控制器数据存储指令开始接收主成像传感器1的第3帧图像；接到相机控制器数据存储指令开始接收主成像传感器1的第4帧图像；等待相机控制器指令将目标区域超分辨重构图像送入相机存储器。

图8是像面一维偏移量实时探测曲线示意图，像平面内另一维的偏移曲线与其类似。平台颤振引起的光轴抖动被分为两种情况，其一是颤振幅度较大，正负最大偏移量绝对值之和大于0.5像元，这样无需启动像面微位移执行机构即可采集到两维方向上互相偏移0.5像元的图像；另一种情形是颤振幅度很小，正负最大偏移量的绝对值之和小于0.5像元，如此需要启动像面微位移执行机构先按预定位置偏移0.5像元，再根据高速小面阵成像传感器探测的光轴抖动实时数据采集两维方向上互相偏移0.5像元的图像。

图9是超分辨重构示意图。图(a)为4帧坐标分别为(X1,Y1),(X2,Y1)，(X2,Y2)，和(X1,Y2)的亚像元偏移图像，其中X2＝X1+0.5，Y2＝Y1+0.5。4帧亚像元偏移图像采样点分别填入对应的空间位置中，即相当于采样网格密度增加了一倍，再进行超分辨重构即可获得分辨率提升的图像。

本发明地球静止轨道卫星平台面阵凝视相机分辨率提升方法的具体实施例如下：

(1)在地球同步轨道面阵凝视相机发现特征目标，希望利用图像采集超分辨模式进一步辨识图像细节时，相机控制器发送指令开启高速小面阵成像传感器进行图像采集，图像序列存入相机计算处理单元缓存中。梯度和算法自动计算前N帧图像的清晰度，选择清晰度最高的图像作为参考图像。高速小面阵成像传感器持续进行图像采集，图像序列与参考图像进行亚像元配准运算，计算图像序列中各帧的两维相对偏移量，正负数据分别代表偏移的正反方向。来自4个高速小面阵成像传感器图像的偏移量计算数据经错误数据剔除后，剩余数据取均值作为像面偏移量。

(2)分析X方向和Y方向两维图像偏移量数据，若每一方向的正负最大偏移距离绝对值之和均大于0.5像元，则无需启用像面微位移执行机构。选取偏移集中的某位置采集图像首帧，然后根据高速小面阵成像传感器返回的像面偏移(相机光学系统与成像传感器认为是刚体连接，像面偏移量数据即相当于光轴抖动数据)实时数据，主成像传感器1在预定的彼此偏移0.5像元的位置进行第2、3、4幅图像的采集。两维亚像元偏移位置示意图如图2所示，设首帧图像坐标为(X1,Y1)，第2帧图像坐标为(X2,Y1)，其中X2＝X1+0.5，第3帧图像坐标为(X2,Y2)，其中Y2＝Y1+0.5，第4帧图像坐标为(X1,Y2)，坐标单位均为像元。

(3)分析X方向和Y方向两维图像偏移量数据，若至少有一个方向的正负最大偏移距离绝对值之和小于0.5像元，则发送指令开启像面微位移执行机构在垂直光学系统光轴平面做两维补偿移动：选取偏移集中的某位置采集首帧图像并记录其坐标(X1,Y1)后，像面微位移执行机构推动像面分别移至(X2,Y1)，(X2,Y2)和(X1,Y2)，然后根据高速小面阵成像传感器返回的像面偏移实时数据发送图像采集指令，获得4帧在两维方向上彼此偏移0.5像元的图像。

(4)4帧图像均存入相机计算处理单元缓存，为减小计算所占资源，搜索特征目标局部区域进行超分辨重构处理，获得该区域的超分辨图像后将其送入相机存储器中。

以此0.5像元偏移的四帧图像重构得到的超分辨图像，分辨率将提升至原来的1.7倍，为有效目标的辨识提供了更为丰富的细节信息。

本发明可作为航天相机的辅助工作模式之一，并不影响主模式的正常工作。增加的高速小面阵布局在主成像传感器1四周，不影响主像场的工作；增加的像面微位移执行机构移动量极小，约为主成像传感器1的0.5像元，相对于全像场上万像元，光学系统光轴中心与主像场中心的相对偏移可忽略不计；增加的各器件均为轻小型元件，对相机整体机构及质量影响很小。

本发明与常规工作模式区别较大的主要是数据量和计算量的增加：主成像传感器1的图像由1帧变为4帧，还涉及到高速小面阵图像的配准运算，目标区域的超分辨重构运算，因此一定程度上依赖于星上的计算及存储资源。但是由于本发明并非常规实时工作模式，只是基于特殊目标识别的任务模式，构建合理的资源分配策略，在现有的卫星硬件平台上本发明所需的计算和存储能力仍是可以达到的。

Claims (2)

1.一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法，其特征在于，该方法包括如下步骤：

步骤一、相机控制器发送开启指令，主成像传感器上电待命，四个高速小面阵成像传感器同时开始图像采集；

步骤二、相机计算处理单元缓存高速小面阵成像传感器采集的前N帧图像数据，并计算每帧图像的清晰度，选择清晰度最高的图像作为参考图像；

步骤三、相机计算处理单元重新开始接收图像数据，同时计算接收的图像数据与参考图像间的偏移量；

步骤四、相机计算处理单元比较来自四个高速小面阵成像传感器的图像配准计算数据，剔除错误项，取剩余数据的均值作为像面偏移量；

步骤五、相机计算处理单元分析X方向和Y方向两维M组偏移量数据中，每一方向的正负最大偏移量绝对值之和是否均大于0.5像元，若大于0.5像元，则执行步骤六；若至少有一个方向的正负最大偏移量绝对值之和小于0.5像元，则执行步骤七；

步骤六、选取偏移集中的位置发送指令通知主成像传感器采集图像首帧，然后根据高速小面阵成像传感器返回的像面偏移实时数据，主成像传感器在预定的彼此偏移0.5像元的位置进行第2、3、4幅图像的采集，其坐标分别为(X1,Y1)、(X2,Y1)、(X2,Y2)和(X1,Y2)，其中X2＝X1+0.5，Y2＝Y1+0.5；

步骤七、相机控制器发送指令开启像面微位移执行机构在垂直光学系统光轴平面做两维补偿移动：选取偏移集中的位置采集首帧图像并记录其坐标(X1,Y1)后，像面微位移执行机构推动像面分别移至(X2,Y1)、(X2,Y2)和(X1,Y2)，然后根据高速小面阵成像传感器返回的像面偏移实时数据发送图像采集指令，获得4帧在两维方向上彼此偏移0.5像元的图像；

步骤八、相机计算处理单元缓存获得的4帧亚像元偏移图像，根据目标特征寻找有效目标所在区域，截取4帧图像中的有效目标所在局部区域进行超分辨重构处理，得到分辨率提升的图像。

2.如权利要求1所述的一种地球静止轨道卫星平台面阵凝视相机分辨率提升方法，其特征在于，所述的像面微位移执行机构为压电陶瓷促动器。