CN112714249B - 一种图像处理方法及装置 - Google Patents

Abstract

本申请公开一种图像处理方法及装置，包括：基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；图像处理组件在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；将所述多个待叠加景物域图像叠加得到景物域输出图像。本发明的实施可以通过FPGA对图像进行数字域TDI积分算法，在不依赖器件本身特点的情况下，可以提升成像质量，提高传感器的使用效率。

Description

一种图像处理方法及装置

技术领域

本发明涉及遥感相机的图像处理方法，特别涉及一种图像处理方法及装置。

背景技术

遥感相机以航天器等为观测平台，对地球或月球、火星等其他星体成像，一般采用电荷耦合器件(Charge Couple Device，CCD)或CMOS作为图像传感器进行光电转换，随着CMOS图像传感器技术的发展，逐渐替代CCD，在空间相机中应用越来越广泛。目前以航天器为观测平台的遥感相机的焦距都在米级甚至更长，变焦距光学系统和结构设计困难，因而焦距通常都是固定的，相机调焦单元的作用是修正遥感相机经历发射振动和真空环境带来焦面的漂移，对焦距基本没有影响，使用的CCD或CMOS图像传感器也以固定大小的像元工作，当遥感相机的工作高度固定时，地面像元分辨率是固定的。有时为了取得更高的分辨率，需要通过卫星降低轨道高度等方式来降低遥感相机的工作高度，这就需要耗费更多的卫星燃料，且需要较长的调整时间。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

为了达到上述申请的目的，本申请提供了一种图像处理方法，包括：

基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；

将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；

图像处理组件在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；

将所述多个待叠加景物域图像叠加得到景物域输出图像。

进一步地、所述在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，之前还包括：

判断所述多个待叠加景物域图像的数量是否等于所述焦平面板的成像行数；

所述景物域输出图像是在所述多个待叠加景物域图像的数量等于所述焦平面板的成像行数时将所述多个待叠加景物域图像合成的。

进一步地、还包括：

当所述多个待叠加景物域图像的数量小于所述焦平面板的成像行数时，剔除所述待叠加景物域图像。

进一步地、所述发送帧拍摄请求包括：曝光成像次数和推进；

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，包括：

对待成像区域进行多次曝光成像是所述遥感相机基于所述发送帧拍摄请求采用推扫的方式拍摄的。

进一步地、还包括：

根据输出尺寸需求对多个所述景物域输出图像拼接合成得到最终输出图像。

进一步地、所述遥感相机连接有寄存器：

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图，之前还包括：将所述寄存器与所述遥感相机建立spi传输协议配置。

进一步地、还包括：

对所述最终输出图像进行压缩。

另一方面，本发明提供一种图像处理装置，包括：

成像模块，被配置为执行基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；

同步模块，被配置为执行将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；

计算模块，被配置为执行图像处理组件在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；

输出模块，被配置为执行将所述多个待叠加景物域图像叠加得到景物域输出图像。

另一方面，本发明提供一种图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如上述所述的图像处理方法。

另一方面，一种计算机可读存储介质，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如上述所述的图像处理方法。

实施本申请，具有如下有益效果：

本发明提供的一种图像处理方法及装置，将CMOS传感器与数字域TDI的结合，其与TDI CCD技术相比，具有更好的抗辐射能力，意味着卫星具有更长寿命，CMOS传感器相比于CCD传感器的能耗相对小，CMOS传感器的处理速度要远快于CCD，CMOS读取方式简单于CCD。

而与利用电压累加的方法实现CMOS中的TDI技术相比，利用数字域TDI积分算法具有更好的通用性，算法不需要依赖器件本身特点。

CMOS传感器具有抗辐照能力强的特点，但是因为缺少TDI CMOS器件，导致CMOS传感器的成像质量相对较差，但是通过FPGA对图像进行数字域TDI积分算法，在不依赖器件本身特点的情况下，可以提升成像质量，实现传感器的使用。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的第一种图像处理方法的流程示意图；

图3为本申请实施例提供的第一个行周期积分处理示意图；

图4为本申请实施例提供的第二个行周期积分处理示意图；

图5为本申请实施例提供的第四个行周期积分处理示意图；

图6为本申请实施例提供的第二种图像处理方法的流程示意图；

图7为本申请实施例提供的第三种图像处理方法的流程示意图；

图8为本申请实施例提供的一种图像处理装置的结构示意图；

图9为本申请实施例提供的一种图像处理设备的结构示意图。

其中，100-光学系统，200-焦平面板，300-图像处理组件，810-成像模块，820-同步模块，830-计算模块，840-输出模块。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了实现申请的技术方案，让更多的工程技术工作者容易了解和应用本申请，将结合具体的实施例，进一步阐述本申请的工作原理。

请参考说明书附图1，图1为本申请实施例提供的一种应用场景示意图，其示出了本发明实施例提供的实施环境示意图，如图1所示，该实施环境可以至少包括：用于摄像的光学系统100、用于成像的CMOS焦平面板200和用于图像计算的图像处理组件300，光学系统100、CMOS焦平面板200和图像处理组件300依次连接，图像处理组件300可以是图像控制处理板。

在上述的应用场景中，首先介绍本申请一种图像处理方法的实施例，如图2所示，图2为本申请实施例提供的第一种图像处理方法的流程示意图，该方法包括：

S102、基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像。

在具体的实施过程中，在接收到发送帧拍摄请求后，遥感相机可以对待成像区域进行多次曝光成像，曝光成像的方式可以采用推送的方式进行，使得待成像区域依次成像在焦平面板上得到多张待处理图像。多张待处理图像均可以包含待成像区域的部分区域。待成像区域中可以是与发送帧拍摄请求对应的拍摄区域。焦平面板可以是CMOS传感器的焦平面板。

S104、将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中。

在具体的实施过程中，在图像传输过程中，可以将时间线和数字线同步的方式输出，其可以通过配置以及遥感相机内部负责对齐功能的寄存器实现，以确保各路通道内输出的像素值已经获得对齐。输出通道数量可以由相应寄存器内部值决定。

S106、图像处理组件在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域。

在具体的实施过程中，图像处理组件可以对对齐后的所述多张待处理图像中进行数字域TID积分处理，由于每张待处理图像均包括与焦平面板的成像行数对应的景物域，因此，图像处理组件可以通过多个待处理图像比对的方式提取出多个待叠加景物域图像，可以理解的是，相邻两个待叠加景物域图像可以是相邻两种待处理图像所在相邻行的景物域。

示例地，图3为本申请实施例提供的第一个行周期积分处理示意图；图4为本申请实施例提供的第二个行周期积分处理示意图；图5为本申请实施例提供的第四个行周期积分处理示意图，如图3-5所示，在数字域TDI中算法中，需要明确3个领域：景物域(S)，积分图像域(P)，输出域(O)；Sn＝{S_n,1,S_n,2,…，S_n,10}表示第n行景物。P_n(t)＝{P_n,1(t),P_n,2(t),…,P_n,10(t)}表示在t个周期获得的第n行图像。O(t)＝{O₁(t),O₂(t),…,O₁₀(t)}表示第t个周期最终输出景象。

假设景物域大小为10*10。

图3展示了第一个行周期时的积分过程。P₄(1)代表了第一次曝光景物S₄(1)时获得的图像。

图4为第二个行周期的积分过程。P₃(2)为第二次对景物S₄曝光时获得的图片。而此时P₄(2)代表了第一次曝光景物S₅(1)时获得的图像。

同理可得，在第四个行周期此时P₁(4)代表了景物S₄受到第四次曝光的图像，而P₂(4)，P₃(4)，P₄(4)分别代表了对景物S₅进行第三次曝光，对景物S₆进行第二次曝光，对景物S₇进行第一次曝光时获得的图像。

S108、将所述多个待叠加景物域图像叠加得到景物域输出图像。

在具体的实施过程中，

在具体的实施过程中，如图5所示，已经对景物S₄完成了四次曝光，在第四个行周期获得了输出域S₄的4级TDI输出结果为O(4)＝P₁(4)+P₂(3)+P₃(2)+P₄(1)。

同理可证，第五个行周期可以获得O(5)＝P₁(5)+P₂(4)+P₃(3)+P₄(2)。

因此，CMOS在数字域TDI的通用公式为：

O(t)＝P_m(t-m+1)+P_m-1(t-m+2)+…+P₂(t-1)+P₁(t)

其中t表示为行周期，m代表积分级数。

在上述实施例基础上，本说明书一个实施例中，图6为本申请实施例提供的第二种图像处理方法的流程示意图，如图6所示，所述在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，之前还包括：

S202、判断所述多个待叠加景物域图像的数量是否等于所述焦平面板的成像行数。

在具体的实施过程中，在全部待处理图像中可以部分包含待叠加景物域图像，也可以全部包含待叠加景物域图像。当待叠加景物域图像的数量小于焦平面板的成像行数时，可以确定该待叠加景物域图像的成像满足预设条件即不足够清楚。因此，在对待叠加景物域图像进行处理时，可以预先判断其数量是否等于所述焦平面板的成像行数。

S204、所述景物域输出图像是在所述多个待叠加景物域图像的数量等于所述焦平面板的成像行数时将所述多个待叠加景物域图像合成的。

在具体的实施过程中，当多个待叠加景物域图像的数量等于所述焦平面板的成像行数时可以将所述多个待叠加景物域图像合成景物域输出图像。其合成的方式采用上述CMOS在数字域TDI的通用公式完成。

在上述实施例基础上，本说明书一个实施例中，图7为本申请实施例提供的第三种图像处理方法的流程示意图，如图3所示，还包括：

S302、当所述多个待叠加景物域图像的数量小于所述焦平面板的成像行数时，剔除所述待叠加景物域图像。

在上述实施例基础上，本说明书一个实施例中，所述发送帧拍摄请求包括：曝光成像次数和推进；

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，包括：

对待成像区域进行多次曝光成像是所述遥感相机基于所述发送帧拍摄请求采用推扫的方式拍摄的。

在上述实施例基础上，本说明书一个实施例中，还包括：

根据输出尺寸需求对多个所述景物域输出图像拼接合成得到最终输出图像。

在具体的实施过程中，由于景物域输出图像是焦平面板的成像行数中的一行，当输出尺寸需求表征为多行时，可以按照景物域输出图像在待处理图像中的位置或顺序将多个景物域输出图像拼接合成得到最终输出图像。最终输出图像可以是小于或等于焦平面板的成像行数。

在上述实施例基础上，本说明书一个实施例中，所述遥感相机连接有寄存器：

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图，之前还包括：将所述寄存器与所述遥感相机建立spi传输协议配置。

在具体的实施过程中，寄存器可以用于存储待处理图像、待叠加景物域图像、景物域输出图像或最终输出图像。

在上述实施例基础上，本说明书一个实施例中，还包括：

对所述最终输出图像进行压缩。

在具体的实施过程中，在积分算法完成后，经过压缩模块压缩图像成制定模式，最后将压缩完成的图像输出。

对所述最终输出图像进行压缩选择上可以选择通过利用压缩芯片。压缩芯片其优势在于低成本，可靠性强，接口灵活，通用性强并且可以减少开发者的工作量。压缩芯片的工作模式与CMOS的共同点是，均是在初始化固件中通过对相应寄存器写入值进行改变。

另一方面，本说明书实施例提供一种图像处理装置，图8为本申请实施例提供的一种图像处理装置的结构示意图，如图8所示，所述装置包括：

成像模块810，被配置为执行基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；

同步模块820，被配置为执行将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；

计算模块830，被配置为执行图像处理组件在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；

输出模块840，被配置为执行将所述多个待叠加景物域图像叠加得到景物域输出图像。

另一方面，本说明书实施例提供一种图像处理设备，图9为本申请实施例提供的一种图像处理设备的结构示意图，如图9所示，该设备包括处理器和存储器，该存储器中存储有至少一条指令或者至少一段程序，该至少一条指令或者至少一段程序由处理器加载并执行以实现上述的图像处理方法。

本申请另一方面还提供一种计算机可读存储介质，存储介质中存储有至少一条指令或者至少一段程序，该至少一条指令或者至少一段程序由处理器加载并执行以实现上述的图像处理方法。

本发明提供的一种图像处理方法及装置，将CMOS传感器与数字域TDI的结合，其与TDI CCD技术相比，具有更好的抗辐射能力，意味着卫星具有更长寿命，CMOS传感器相比于CCD传感器的能耗相对小，CMOS传感器的处理速度要远快于CCD，CMOS读取方式简单于CCD。

而与利用电压累加的方法实现CMOS中的TDI技术相比，利用数字域TDI积分算法具有更好的通用性，算法不需要依赖器件本身特点。

CMOS传感器具有抗辐照能力强的特点，但是因为缺少TDI CMOS器件，导致CMOS传感器的成像质量相对较差，但是通过FPGA对图像进行数字域TDI积分算法，在不依赖器件本身特点的情况下，可以提升成像质量，实现传感器的使用。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本发明实施例所提供测试方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以上述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；

将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；

图像处理组件对对齐后的所述多张待处理图像进行数字域TDI积分处理，在对齐后的所述多张待处理图像中通过多个待处理图像比对的方式提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；

将所述多个待叠加景物域图像叠加得到景物域输出图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述在对齐后的所述多张待处理图像中提取相同的景物域的多个待叠加景物域图像，之前还包括：

判断所述多个待叠加景物域图像的数量是否等于所述焦平面板的成像行数；

所述景物域输出图像是在所述多个待叠加景物域图像的数量等于所述焦平面板的成像行数时将所述多个待叠加景物域图像合成的。

3.根据权利要求2所述的图像处理方法，其特征在于，还包括：

当所述多个待叠加景物域图像的数量小于所述焦平面板的成像行数时，剔除所述待叠加景物域图像。

4.根据权利要求2所述的图像处理方法，其特征在于，所述发送帧拍摄请求包括：曝光成像次数和推进；

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，包括：

对待成像区域进行多次曝光成像是所述遥感相机基于所述发送帧拍摄请求采用推扫的方式拍摄的。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，还包括：

根据输出尺寸需求对多个所述景物域输出图像拼接合成得到最终输出图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述遥感相机连接有寄存器：

所述基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图，之前还包括：将所述寄存器与所述遥感相机建立spi传输协议配置。

7.根据权利要求5所述的图像处理方法，其特征在于，还包括：

对所述最终输出图像进行压缩。

8.一种图像处理装置，其特征在于，包括：

成像模块，被配置为执行基于发送帧拍摄请求遥感相机对待成像区域进行多次曝光成像，使得所述待成像区域依次成像在焦平面板上得到多张待处理图像；

同步模块，被配置为执行将所述多张待处理图像以数据线与时间线同步的方式输出至图像处理组件中；

计算模块，被配置为执行图像处理组件对对齐后的所述多张待处理图像进行数字域TDI积分处理，在对齐后的所述多张待处理图像中通过多个待处理图像比对的方式提取相同的景物域的多个待叠加景物域图像，所述多张待处理图像包括与所述焦平面板的成像行数对应的景物域；

输出模块，被配置为执行将所述多个待叠加景物域图像叠加得到景物域输出图像。

9.一种图像处理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的图像处理方法。

Images