CN107197217B - 一种星上高帧频图像数据实时切片传输方法 - Google Patents

Abstract

一种星上高帧频图像数据实时切片传输方法，涉及航天遥感领域，具体方法包括：首先将单帧全景图像样本均匀划分为多个基本图像单元，并为每一个基本图像单元配置一个位置编号信息；当需要传输高帧频图像数据时，若接收到图像区域选择指令，则根据所述位置编号信息，从实时获取每一帧全景图像数据中提取图像数据进行传输；若未接收到，则实时获取第一帧全景图像数据，并根据预置目标检测算法获取目标对象；然后获取目标对象的中心点在所述单帧全景图像样本中对应的基本图像单元，并以所述基本图像单元为中心获取目标区域；最后根据获取的目标区域中各个基本图像单元分别对应的位置编码信息，从获取的每一帧全景图像数据中提取图像数据进行传输。

Description

一种星上高帧频图像数据实时切片传输方法

技术领域

本发明属于航天遥感领域，特别涉及一种星上高帧频图像数据实时切片传输方法。

背景技术

随着遥感卫星空间分辨率及时间分辨率的不断提升，产生的原始数据量越来越大。尤其对于采用凝视成像体制的静止轨道光学遥感卫星，由于其幅宽大，通常能达到百公里级，帧频高，通常能到达秒级，因此随着分辨率不断提高，相机获取的原始数据量已达数10Gbps。为了快速传输遥感图像数据，通常需要对该图像数据进行处理后才可以满足传输需求。

目前，在对需要传输的图像进行处理时，通常采用图像压缩技术或者高速数传技术等。在高帧频成像模式下，由于数据量较大，在采用图像压缩技术对图像进行处理时，需要采用大压缩比图像压缩技术对图像进行处理，才能满足遥感图像数据实时传输的要求，其中，高帧频成像模式为星载相机对同一地面观测区域连续拍照，获取高帧频序列图像的过程。然而，采用大压缩比图像压缩技术对图像进行压缩处理时，会造成较大的图像质量损失，导致处理后的图像质量较差，无法满足用户对图像质量的要求，进而导致传输的图像数据质量较差。

发明内容

本发明解决的技术问题是：克服现有技术的不足，针对遥感卫星高帧频成像工作模式下，数传分系统无法实时下传原始数据的问题，提供了一种基于棋盘式的任意形状区域高帧频图像在轨实时切片传输方法，从而实现了高帧频图像数据实时下传。

本发明的技术解决方案是：一种星上高帧频图像数据实时切片传输方法，包括如下步骤：

(1)将单帧全景图像样本均匀划分为多个基本图像单元，并为每一个基本图像单元配置一个位置编号信息，所述位置编号信息用于标识每一个基本图像单元在所述单帧全景图像样本中的位置，所述基本图像单元的个数为单帧全景图像样本大小与单个基本图像单元大小的商；

(2)当需要传输高帧频图像数据时，判断是否接收到图像区域选择指令，若是，则执行步骤(3)，若否，则执行步骤(4)，其中，所述图像区域选择指令中携带有用户从单帧全景图像样本中选定的基本图像单元和与所述基本图像单元对应的位置编号信息；

(3)根据所述位置编号信息，从实时获取的高帧频图像数据的每一帧全景图像数据中提取图像数据进行传输，并退出；

(4)实时获取高帧频图像数据中第一帧全景图像数据，并根据预置目标检测算法从所述第一帧全景图像数据中获取目标对象；

(5)获取步骤(4)中目标对象的中心点在所述单帧全景图像样本中对应的基本图像单元，并以所述基本图像单元为中心确定目标区域，所述目标区域由多个基本图像单元组成；

(6)根据步骤(5)确定的目标区域中各个基本图像单元分别对应的位置编码信息，从实时获取的高帧频图像数据的每一帧全景图像数据中提取图像数据进行传输。

进一步地，所述步骤(3)中根据所述位置编号信息，从实时获取的高帧频图像数据中的每一帧全景图像数据中提取待传输图像数据的步骤包括：

(31)实时获取高帧频图像数据，并将高帧频图像数据中第1帧到第K帧全景图像数据分别存储于缓存模块1到缓存模块K，其中， K为一次能够处理的图像数据总帧数；

(32)根据所述位置编号信息依次从缓存模块1到缓存模块K中提取每帧全景图像中与所述位置编号信息对应位置的图像数据进行传输；

(33)删除所述各个缓存模块中的全景图像数据；

(34)从第Q+1帧开始再次执行步骤(31)直到所述高帧频图像数据中所有帧全景图像数据全部传输完毕，Q为上一循环提取的最后一帧全景图像数据对应的帧序号。

进一步地，所述步骤(5)中获取所述目标中心点在所述单帧全景图像样本中对应的基本图像单元的步骤包括：

根据公式T=floor(i/m)•N/n+floor(j/n)+1计算所述目标中心点在所述单帧全景图像样本中对应的基本图像单元的位置编号信息，其中， T为位置编号信息，N为单帧全景图像样本的宽，m和n分别为基本图像单元的高和宽，i，j分别为目标中心点在所述单帧全景图像样本中的行号和列号，floor表示向下取整。

进一步地，所述步骤(5)中以所述基本图像单元为中心获取目标区域的步骤包括：

以所述基本图像块单元为中心获取至少九个位置相邻的基本图像单元组成的区域作为所述目标区域。

进一步地，所述目标区域包含的基本图像单元的个数小于或等于m_max×n_max，其中，所述m_max×n_max<A/(X*Y)，A为卫星数传系统最大传输速率，X图像量化比特，Y为图像帧频，m_max为每一行包含的基本图像单元个数，n_max为每一列包含的基本图像单元个数。

进一步地，所述步骤(2)中用户从单帧全景图像样本中选定的基本图像单元为，用户从单帧全景图像样本中选定的区域覆盖的基本图像单元中，完整度大于或等于R的基本图像单元，50％<R<100％。

本发明与现有技术相比的优点在于：

(1)本发明通过对用户感兴趣区域的高帧频图像数据进行在轨实时提取与传输，解决了海量原始高帧频图像数据无法实时下传的问题；

(2)本发明通过对全景图像数据进行网格式划分，并通过对基本图像单元进行位置编号定义，解决了对任意形状、任意大小区域图像进行选择提取的问题；

(3)本发明根据不同场景，可以实现人为选定区域和智能自动选择区域两种功能，满足了用户对已知感兴趣区域和未知重要目标区域高帧频图像数据的实时获取需求；

(4)本发明在实现时，只需根据事先定义的基本图像单元的位置编号信息读取缓存中对应区域图像数据，解决了以往通过计算辅助数据求解区域图像位置算法复杂度高的问题，方便硬件实时处理。

附图说明

图1为本发明方法的流程图；

图2为本发明提供的全景网格图像模型图；

图3为本发明提供的用户获取指定区域图像工作流程；

图4为本发明提供的用户指定区域图像示意图；

图5为本发明提供的用户指定区域高帧频图像提取流程图；

图6为本发明提供的用户指定区域高帧频图像提取时间流程图；

图7为本发明提供的智能选择区域高帧频图像提取流程图；

图8为本发明提供的目标区域提取示意图。

具体实施方式

本发明提供的传输方法的原理图可以如图1所示，首先，对本发明基于的原理进行详细阐述：星上图像区域提取主要包括用户指定区域提取和星上智能自动选择区域两种工作模式。其中，用户指定区域提取为通过地面发送携带有位置编号信息的选择指令即可以实现高帧频图像数据中部分图像数据的提取，并将提取的高帧频图像实时下传。其中，高帧频指的为帧频为秒级的图像数据，例如帧频为1s、 0.5s、1.5s等，本发明实施例不做限定。星上智能自动选择区域工作模式指星上处理系统通过对单帧全景图像数据进行用户关注目标检测，自主筛选重要目标对象，对目标对象在高帧频图像中对应区域的图像进行提取，并将提取的高帧频图像实时下传。

具体地，用户指定区域提取模式下，地面处理系统可以根据本发明提供的基本图像单元划分和编码规则生成用户关注的目标点、目标区域，并将携带有区域位置编号信息的选择指令发送给星上处理系统，星上处理系统根据具体的区域位置编号信息实现全景图像数据的提取，传输给地面处理系统；地面接收终端收到提取后的数据后根据基本图像单元划分和编码规则中各个基本图像单元对应的位置编码信息，可以实现高帧频区域图像数据的拼接和组帧。最终可实现用户对重点关注区域实时监视。

在星上智能自动选择区域模式下，星上处理系统根据用户关注目标类型进行在轨实时检测，实现广域目标搜索发现。并对重要目标进行筛选，最终选择出需要实时提取的目标区域，实现目标区域高帧频数据的实时下传。

下面对本发明提供的方法进行详细阐述，其中，本发明提供的星上高帧频图像数据实时切片传输方法主要包括三个基本过程，即基本图像单元划分及区域编码信息生成、用户指定区域提取、智能自动选择区域三个处理过程，下面针对每一个处理过程分别进行详细阐述：

第一、基本图像单元划分及区域编码信息生成过程包括：

首先，假设单帧全景图像样本大小为M×N，预先配置基本图像块单元的大小为m×n，则单帧全景图像样本可以被划分为 (M×N)/(m×n)个子块。例如：全景图像大小为10k×10k，基本图像单元为0.5k×0.5k，此时单帧全景图像样本可以划分为20×20＝400个基本图像单元。

然后，对每一个基本图像单元对应的位置区域依次进行编号标记，从1到(M×N)/(m×n)共(M×N)/(m×n)个编号标签，可以如图2所示，组成棋盘式切片网格。

其中，m×n大小的选择主要取决于用户对任意形状区域图像数据的精度，m×n粒度越小，提取的区域图像数据越逼近用户指定的区域范围。但随着粒度变小，描述一个区域的基本图像单元数目就会越多，需要上传的编码信息量将增大。因此，实际工程中，需要结合最大允许上注的编码信息量和用户对区域提取精度的要求综合考虑，确定 m×n的大小。

需要说明的是，通过对全景图像样本进行网格划分及位置编号，当用户指定任意形状成像区域后，地面系统通过简单计算就可以得到该任意形状区域对应的基本图像块单元编号及其组合，并将该信息通过上注通道发送给星上处理系统，星上处理系统在接收到相机数据后，可实现对应图像块的提取。

第二，用户指定区域提取过程包括：

该处理模式主要用于用户自主指定监视区域，通过地面上传携带有基本图像单元位置编号信息的图像区域选择指令即可以实现相应区域高帧频图像数据的获取，并将提取的高帧频图像数据实时下传，可以如图3所示。

其中，用户指定的图像区域以基本图像单元为单位，可以对任意基本单元及其组合进行划分，实现目标点实时监视；也可以选择任意形状区域进行提取，实现不规则区域的实时监视。但是选择任意形状区域时，地面终端需要做一个简单的近似计算，将用户选择的区域转换成对应的基本图像单元的组合，具体可以如图4所示。

具体地，上述近似计算的过程可以如下所述：

(1)生成m×n个计数器Number_z，1≤z≤m×n；

(2)当用户在切片网格图像模型中选定观测区域后，获取区域中每个像素点(i,j)，1≤i≤M，1≤j≤N，所属的基本图像单元编号z＝floor(i/m) •N/n+floor(j/n)+11≤z≤(M×N)/(m×n)，并将对应的计数器的值Number_z加1。其中，M，N为全景图像数据的高和宽，m和n分别为基本图像单元的高和宽，floor表示向下取整。

(3)统计所有计数器Number_z的值，当Number_z/(m×n)>R时，其中，R为百分比，一般取50％<R<100％，将该基本图像单元位置编号z作为需要上传的位置编号信息。

另外，由于实时数传能力的限制，此种模式用户最多一次可选择 L个基本图像单元进行实时下传。其中，L＝A/B，A为卫星数传系统最大传输速率，单位为Mbps)，B为星上处理系统输出的基本图像块数据速率，单位为Mbps。例如，当A＝600Mbps时，假定一个基本图像块为2Mbps，则，最大支持的基本图像单元数量为300个。通过结合具体图像分辨率及基本图像单元大小，可以计算出最大允许选择的基本图像单元个数。通过结合具体图像分辨率、基本图像单元大小及最大可支持的基本图像单元个数，可以计算出最大允许实时监视的地面覆盖面积。

例如，假设星上处理系统硬件平台为1片FPGA+2片DDR组成，则具体处理流程的原理可以如图5所示，具体过程如下：

(1)FPGA接收高帧频图像数据中的第1帧全景图像数据，存储在DDR_1进行缓存；

(2)提取第1帧中相应的基本图像单元；提取处理完成后清空 DDR_1；

(3)FPGA接收第2帧全景图像数据，存储在DDR_2上进行缓存；

(4)提取第2帧中相应的基本图像单元，提取处理完成后清空 DDR_2；

(5)FPGA接收第3帧全景图像数据，存储在DDR_1进行缓存；

(6)提取第3帧中相应的基本图像块单元；提取处理完成后清空 DDR_1；

(7)FPGA接收第4帧全景图像数据，存储在DDR_2上进行缓存；

(8)提取第4帧中相应的基本图像单元，提取处理完成后清空 DDR_2。

依此类推，直至接收高帧频图像数据中所有全景图像数据帧后，将提取的图像数据进行下传。其中，具体处理过程时间流如图6所示。

第三、星上智能自动选择区域模式过程包括：

此模式主要用于星上处理系统通过接收全景图像并进行在轨目标检测，发现重要目标后，筛选出目标区域，并对相应区域的高帧频图像数据进行实时下传，具体处理流程可以如图7所示，包括：

(1)接收高帧频图像数据中的第1帧全景图像数据，并进行缓存，下传第1帧全景原始图像数据。

(2)对全景原始图像数据进行目标检测，并对检测出的目标进行筛选，筛选出重要目标对象。其中，目标检测的算法可以为最大类间方差法等，本发明实施例不做限定，例如，通过最大类间方差法进行海上舰船目标检测。

(3)确定目标对象所在的基本图像单元。

需要说明的是，为了避免目标在基本图像单元的边缘以及由于目标运动在后续帧移动出视野。因此，选择以目标对象的中心点所在基本图像单元为中心的9个基本图像单元作为目标区域进行切片，可以如图8所示。即智能选择区域模式下，最小切片区域大小为3m×3n；也可根据用户需求选择大于3m×3n的区域进行切片；最大切片大小必须满足m_max×n_max<A/(X*Y)，从而保证切片数据的实时下传，其中，A 为卫星数传系统最大传输速率，单位为Mbps，X为图像量化比特，单位为bit，Y为图像帧频，单位为s。

(4)从实时获取的高帧频图像数据的每一帧全景图像数据中提取图像数据进行传输。

需要说明的是，如果目标检测存在处理时延时，则从第P+1帧图像开始，提取与目标区域对应的基本图像单元组成的图像数据进行下传，并将处理时延作为提取时间间隔，直至高帧频图像数据的最后一帧数据完成传输。其中，P为正整数，与目标检测处理延迟时间相关，例如，如果处理延迟为2帧，则P为2。

(5)在下传一定时间后，为了避免目标移动到视野外，可对处理过程进行更新一次。即，重新下传一次高帧频图像数据，并进行目标检测，重新确定对象，从而完成图像提取下传。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (5)

1.一种星上高帧频图像数据实时切片传输方法，其特征在于，包括如下步骤：

(1)将单帧全景图像样本均匀划分为多个基本图像单元，并为每一个基本图像单元配置一个位置编号信息，所述位置编号信息用于标识每一个基本图像单元在所述单帧全景图像样本中的位置，所述基本图像单元的个数为单帧全景图像样本大小与单个基本图像单元大小的商；

(2)当需要传输高帧频图像数据时，判断是否接收到图像区域选择指令，若是，则执行步骤(3)，若否，则执行步骤(4)，其中，所述图像区域选择指令中携带有用户从单帧全景图像样本中选定的基本图像单元对应的位置编号信息；

(3)根据所述位置编号信息，从实时获取的高帧频图像数据的每一帧全景图像数据中提取图像数据进行传输，并退出；

其中，从实时获取的高帧频图像数据中的每一帧全景图像数据中提取待传输图像数据的步骤包括：

(31)实时获取高帧频图像数据，并将高帧频图像数据中第1帧到第K帧全景图像数据分别存储于缓存模块1到缓存模块K，其中，K为一次能够处理的图像数据总帧数；

(32)根据所述位置编号信息依次从缓存模块1到缓存模块K中提取每帧全景图像中与所述位置编号信息对应位置的图像数据进行传输；

(33)删除各个所述缓存模块中的全景图像数据；

(34)从第Q+1帧开始再次执行步骤(31)直到所述高帧频图像数据中所有帧全景图像数据全部传输完毕，Q为上一循环提取的最后一帧全景图像数据对应的帧序号；

(4)实时获取高帧频图像数据中第一帧全景图像数据，并根据预置目标检测算法从所述第一帧全景图像数据中获取目标对象；

(5)获取步骤(4)中目标对象的中心点在所述单帧全景图像样本中对应的基本图像单元，并以所述基本图像单元为中心确定目标区域，所述目标区域由多个基本图像单元组成；

(6)根据步骤(5)确定的目标区域中各个基本图像单元分别对应的位置编码信息，从实时获取的高帧频图像数据的每一帧全景图像数据中提取图像数据进行传输。

2.根据权利要求1所述的星上高帧频图像数据实时切片传输方法，其特征在于，所述步骤(5)中获取所述目标对象的中心点在所述单帧全景图像样本中对应的基本图像单元的步骤包括：

根据公式T＝floor(i/m)N/n+floor(j/n)+1计算所述目标对象的中心点在所述单帧全景图像样本中对应的基本图像单元的位置编号信息，其中，T为位置编号信息，N为单帧全景图像样本的宽，m和n分别为基本图像单元的高和宽，i，j分别为目标对象的中心点在所述单帧全景图像样本中的行号和列号，floor表示向下取整。

3.根据权利要求1所述的星上高帧频图像数据实时切片传输方法，其特征在于，所述步骤(5)中以所述基本图像单元为中心确定目标区域的步骤包括：

以所述基本图像块单元为中心确定由至少九个位置相邻的基本图像单元组成的区域作为所述目标区域。

4.根据权利要求3所述的星上高帧频图像数据实时切片传输方法，其特征在于，

所述目标区域包含的基本图像单元的个数小于或等于m_max×n_max，其中，所述m_max×n_max<A/(X*Y)，A为卫星数传系统最大传输速率，X图像量化比特，Y为图像帧频，m_max为每一行包含的基本图像单元个数，n_max为每一列包含的基本图像单元个数。

5.根据权利要求3所述的星上高帧频图像数据实时切片传输方法，其特征在于，所述步骤(2)中用户从单帧全景图像样本中选定的基本图像单元为，用户从单帧全景图像样本中选定的区域覆盖的基本图像单元中，完整度大于或等于R的基本图像单元，50％<R<100％。

Images