CN114125216A - 一种面向软件定义卫星的成像系统及成像方法 - Google Patents

一种面向软件定义卫星的成像系统及成像方法 Download PDF

Info

Publication number
CN114125216A
CN114125216A CN202111253065.3A CN202111253065A CN114125216A CN 114125216 A CN114125216 A CN 114125216A CN 202111253065 A CN202111253065 A CN 202111253065A CN 114125216 A CN114125216 A CN 114125216A
Authority
CN
China
Prior art keywords
image
imaging
exposure
agent
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111253065.3A
Other languages
English (en)
Other versions
CN114125216B (zh
Inventor
赵军锁
林翊钧
吴凤鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN202111253065.3A priority Critical patent/CN114125216B/zh
Publication of CN114125216A publication Critical patent/CN114125216A/zh
Application granted granted Critical
Publication of CN114125216B publication Critical patent/CN114125216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种面向软件定义卫星的成像系统及成像方法，所述自适应曝光成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数值，并根据所述目标成像参数值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述新的RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述RGB三通道图像。本申请的实施例使得控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。

Description

一种面向软件定义卫星的成像系统及成像方法
技术领域
本申请涉及数字图像处理领域，具体而言本申请实施例涉及一种面向软件定义卫星的成像系统及成像方法。
背景技术
基于数字图像处理的航天相机成像控制系统架构与一般相机类似，在成像过程中通过内置算法调节光圈、感光度、曝光时间、焦距等核心参数以获取更高质量的图像，主要研究集中在自动曝光(AE)、自动对焦(AF)和自动白平衡(AWB)三个领域，通常称为3A技术。
近年来随着深度学习技术的兴起，也有学者尝试将神经网络应用于最佳曝光参数的求解问题中，但由于各相机型号及成像场景的差异巨大，且目前缺乏公开可用的训练数据集，相关数据驱动的算法模型迁移性较差，实际的使用价值和落地场景有限。
发明内容
本申请实施例的目的在于提供一种面向软件定义卫星的成像系统及成像方法，通过本申请实施例的可移动的自适应曝光成像系统以及方法使得相机载荷在成像过程中，每次迭代阶段都无需进行评价值估计，加速了成像过程。
第一方面，本申请的一些实施例提供一种面向软件定义卫星的成像系统，该成像系统包括：相机载荷，被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据目标所述成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；成像决策智能体，被配置为：接收所述RGB三通道图像；根据所述RGB三通道图像得到所述曝光值增量并向所述相机载荷提供所述曝光值增量；以及，确认达到设定的循环次数，向空间视觉处理任务提供所述新的RGB三通道图像；其中，所述成像参数的类型包括：曝光时间、感光度、增益或者光圈。
与相关技术公开的将控制单元(或者控制系统)集成在相机载荷内部，并以感光器件采集的原始图像(即RAW图像)作为控制单元的输入的方案相比，本申请的实施例不是将曝光时间、感光度、光圈等成像参数作为控制单元向相机载荷输出的控制决策变量，而是以各种相机都能接收的曝光值增量作为控制单元的输出，这使控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。
在一些实施例中，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。
在真实的复杂太空环境中为智能体提供用于模型训练的成像数据十分困难，对此，本申请的一些实施例提出了一种基于Gamma校正理论的曝光仿真成像环境构建方法，为架构中的决策智能体(即待训练的模型)提供近乎无限的合成曝光数据用于模型训练。
在一些实施例中，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。
本申请的一些实施例通过两次伽马校正有效模拟相机基于不同曝光值成像的结果，保障智能体在训练和验证环境中数据分布的近似一致。
在一些实施例中，所述选择遥感数据集中的图像作为初始样本数据，包括：选择所述遥感数据集中的图像作为基础元数据；对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。
本申请的一些实施例为了解决训练图像缺乏的问题还会对遥感数据集中的图像进行多种预处理来增加训练图像的数量。
在一些实施例中，所述成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。
本申请的一些实施例采用强化学习的方式通过一系列试错运行之后，能够使得智能体学习到最优的曝光策略，即能够使得成像决策智能体学习到相机载荷拍摄的图像与最优的曝光值增量之间的逻辑关系，进而控制相机载荷生成质量最优的图像用于空间视觉任务中。
在一些实施例中，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行梯度更新。
本申请的一些实施例提供了一种具体的强化学习的实现过程，通过基于强化学习范式建模相机载荷的成像过程，使智能体通过与环境的交互来自主学习演化，拟合视觉任务与曝光值增量间的非线性映射关系，相比于已有的监督学习数据驱动算法，能够得到更好的自适应能力。
在一些实施例中，所述目标空间感知任务对应的模型包括：目标检测分类模型或者图像分割模型。
本申请的一些实施例通过训练多种视觉任务的强化学习模型，能够挖掘出这些模型的曝光值增量与输入的RGB图像之间的关系。
在一些实施例中，所述Gamma校正是通过一阶幂函数、高阶幂函数、指数函数、对数函数或者初等函数的复合函数实现的。
本申请的一些实施例通过多种非线性函数实现Gamma校正对曝光环境的仿真，最终改善了训练数据缺乏导致的模型无法训练的问题。
第二方面，本申请的一些实施例提供一种自适应曝光成像方法，应用于相机载荷，所述自适应曝光成像方法包括：接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量；根据所述曝光值增量拍摄新的RGB图像；向所述成像决策智能体发送所述新的RGB图像；重复执行上述步骤，直至达到设定的循环次数或者达到设定的循环终止条件。
在一些实施例中，所述接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量之前，所述自适应曝光成像方法还包括：初始化地选择一组成像参数，计算初始曝光值EV，并根据所选择的一组成像参数得到初始RGB图像，其中，所述成像参数包括：曝光时间、光圈和感光度；向所述成像决策智能体发送所述初始RGB图像，以使所述成像决策智能体根据所述初始RGB图像得到所述曝光值增量。
第三方面，本申请的一些实施例提供一种自适应曝光成像方法，应用于成像决策智能体，所述自适应曝光成像方法包括：接收由相机载荷根据曝光值拍摄的RGB图像；根据所述RGB图像得到待更新的曝光值增量；向所述相机载荷发送所述待更新的曝光值增量；重复上述过程，直至达到设定的循环次数或者达到设定的循环终止条件时，向目标空间识别任务输出目标RGB图像。
第四方面，本申请的一些实施例提供一种训练智能体的方法，所述方法包括：随机初始化状态，选择一张相机载荷输出的RGB图像；重复执行循环过程，直至与目标空间感知任务对应的模型收敛得到成像决策智能体，其中，所述循环过程包括：将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；根据所述调整动作指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述深度强化学习智能体动作的优劣，得到损失并利用反向传播算法进行梯度更新。
在一些实施例中，所述智能体对应的模型包括：基于深度神经网络的模型、深度决策树模型或者胶囊网络模型。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为相关技术提供的自动曝光/对焦系统的架构图；
图2为本申请实施例提供的自动曝光/对焦系统的架构图；
图3为本申请实施例提供的构造用于训练数据集的方法；
图4为本申请实施例提供的训练智能体获得成像决策智能体的流程图；
图5为本申请实施例提供的采用强化学习训练智能体的示意图；
图6为本申请实施例提供的拍摄图像的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1，图1为相关技术的自动曝光/对焦系统的组成示意图。图1的系统为了获取满足空间任务104的目标图像需要执行三个流程的迭代处理。针对一次迭代包括以下三个步骤：第一步，图像采集，即由图1的成像传感器101拍摄图像，得到RAW图像；第二步，对拍摄结果进行评估，即由图1的控制单元110包括的评估模块102选择评价函数对RAW图像进行评估，并判断评估值是否满足设定的终止条件，如果满足终止条件则把拍摄的RAW图像输出给空间任务104进行图像分割或者目标识别等感知处理；如果评估值不满足终止条件，则需要进一步执行第三步的搜索操作。第三步，参数搜索模块103根据评价值获取更合适的相机参数，并把更合适的相机参数返回至成像传感器101，以控制成像传感器根据这些参数拍摄图像。相关技术的测光或对焦评价函数(例如，平均亮度法、权重均值法、亮度直方图法、图像信息熵法等)较简单，且第三步的参数搜索过程则是指根据某种合适的策略，快速准确地寻找出可使评价函数达到最优的相机参数值，传统方法主要通过数学理论建模法和自动搜索法实现。
相关技术的控制系统用于度量图像质量的指标主要面向通用场景，通常以简单的标准特征为主，例如梯度、熵、亮度、频谱等，但这不能够准确表达不同视觉感知任务对于图像“高质量”需求的个性化定义，软件定义卫星的功能可重构和按需成像特性更突出了这一矛盾。相关技术的最优参数搜索算法在相机每次成像后都需对图像质量进行评估，这种设计在通用场景下是可行的，但当面对特定的空间感知任务成像时，评估过程可能涉及图像的二次处理，以及深度模型的推理等复杂操作，导致耗时较长，这就很可能使相机错过最佳成像时间。
至少为了解决上述技术问题本申请的一些实施例提供了如图2所示的可迁移的自适应曝光成像系统，即图2提供了本申请一些实施例的自动曝光/对焦系统的架构图。
如图2所示，本申请的一些实施例提供的成像系统。图2的系统与图1具有实质性差异，图2的相机载荷100没有与成像决策智能体120(对应于图1的控制单元110)设置在同一设备中，因此与图2的成像决策智能体120对应的软件可以单独作为应用程序APP在卫星上部署，该应用程序并不与某一类型的相机一一对应。这对于具有分布式特性的环境实现了控制单元和相机更细粒度的解耦合。
如图2所示，本申请的一些实施例提供的可迁移的自适应曝光成像系统包括：相机载荷100以及成像决策智能体120，其中，图1的相机载荷100包括镜头组件201、感光器件202以及图像处理器203(即ISP)，相机载荷的工作过程包括：光线穿过镜头组件201折射到达感光器件202，之后感光器件202将入射的光信号转换为RAW图像，最后由ISP对RAW图像进行处理(例如，进行坏点处理、插值处理等)，得到三通道RGB图像。
图2的相机载荷100被配置为：根据初始化成像参数获取RGB三通道图像；以及根据曝光值增量确定目标成像参数的值，并根据所述目标成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP。
图2的成像决策智能体120被配置为：接收由相机载荷100拍摄的RGB图像，根据RGB图像得到曝光值增量并向相机载荷提供计算得到的曝光值增量。成像决策智能体120还被配置为：在收到RGB图像时确认达到设定的循环次数，向空间视觉处理任务提供最优的RGB图像；其中，目标成像参数的类型包括：曝光时间、感光度、增益和光圈中的至少一个。
与相关技术公开的将控制单元(或者控制系统)集成在相机载荷内部，并以感光器件采集的原始图像(即RAW图像)作为控制单元的输入的方案相比，本申请的实施例不是将曝光时间、感光度、光圈等成像参数作为控制单元向相机载荷输出的控制决策变量，而是以各种相机都能接收的曝光值增量作为控制单元(即图2的成像决策智能体)的输出，这使控制单元的算法与相机载荷松耦合，在软件定义背景下满足跨卫星平台型号部署的需求，可迁移的适应性能力较强。
可以理解的是，为了使得成像决策智能体具备根据输入的RGB图像生成最优曝光值增量的目的，需要预先训练智能体得到成像决策智能体。
下面示例性阐述训练智能体得到成像决策智能体120的过程。
由于在真实的复杂太空环境中为智能体提供用于模型训练的成像数据十分困难，对此，本申请的一些实施例提出了一种基于基于Gamma校正理论的多曝光图像合成方法，为架构中的决策智能体(即待训练的模型)提供近乎无限的合成曝光数据用于模型训练。
具体地，在本申请的一些实施例中，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。
在本申请的一些实施例中，通过如下方法获取用于训练所述智能体的标注数据：选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；对所述初始样本数据中的每幅图像，根据第一伽马值应用Gamma校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；根据第二伽马值，再次应用Gamma校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。可以理解的是，如对目标检测任务而言，需标注出图像中待检测的兴趣物体位置(飞机、舰船、油罐等)，对图像分割任务而言，需标注出图像中各像素对应所属的类别(房屋、道路、草地等)，对图像去噪、超分辨率等任务而言，则无需额外标注。
作为一个示例，如图3所示，本申请一些实施例提供的获取训练智能体的标注数据(即具体构建仿真训练/评估环境的过程)的方法包括：
S101，选择一个大规模公开遥感数据集作为基础元数据，将所述图像的像素值归一化到[0,1]空间。
S102，数据增强，对原始图像进行裁剪、旋转、伸缩等操作，增加数据规模。
S103，对每幅图像，将Gamma设为2.2，应用Gamma校正将图像映射到线形空间。
S104，直接通过乘法的方式对图像亮度值进行线形调整，以模拟不同的曝光量。
S105，将Gamma设为1/2.2，再次应用Gamma校正将图像复原到非线形空间中，得到曝光仿真图像。
S106，根据空间感知任务的不同，为图像合成相应的任务数据标注(可选)。
也就是说，本申请的一些实施例提出了一种基于Gamma校正理论的曝光仿真成像环境构建方法，为架构中的成像决策智能体提供近乎无限的合成曝光数据用于训练。根据斯蒂文思幂定律，人眼对于自然光的感知是非线形的，而这种非线形的一阶近似可以用幂函数拟合：
Figure BDA0003322972540000101
其中，Iin指的是原始图像，Iout指的是非线性校正后的输出图像，Gamma值决定了映射关系的变化幅度，根据大量的经验测量已知，当Gamma值取2.2时最符合人眼的视觉成像过程。而通过调整Gamma值的大小，即可模拟采用不同曝光值进行成像后得到的结果。基于这一理论，本申请的一些实施例提出直接利用公开的遥感数据集构造合成曝光图像的通用方法：
Figure BDA0003322972540000102
其中，IEV指的是原始曝光值为EV的图像，IEV+ΔEV指合成的曝光值为EV+ΔEV的图像，该公式首先对IEV进行2.2的Gamma校正，然后根据ΔEV的值调整图像的像素值，最后再进行1/2.2的伽马校正得到IEV+ΔEV，可以看出，该合成过程并不需要知道初始的EV值，因此对所有图像都适用。本申请一些实施例的技术方案能够有效模拟相机基于不同曝光值成像的结果，保障智能体在训练和验证环境中数据分布的近似一致。
基于监督学习方法训练智能体，不仅依赖大量的任务数据和标注，而且由于空间环境变化复杂，模型通常难以适应数据分布的变化，当迁移到其他卫星平台运行时的自适应性水平较差，成像效果不稳定。因此，本申请的一些实施例将空间的相机载荷成像过程建模为强化学习的序列决策过程，智能体通过不断地与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，实现自适应的曝光决策。
本申请一些实施例设计的智能体训练的框架采用到了深度强化学习方法。强化学习理论包含基本要素由：状态、奖励、动作和策略，结合本系统架构的特点，将状态定义为相机成像输出的三通道的RGB图像，策略由待训练的智能体给出，定义为曝光值增量ΔEV(或称为曝光值调整量)，奖励定义为采用调整曝光参数后成像得到的图像质量评价值，该评价值需要通过具体的空间视觉感知任务模型得到。具体地，如图4所示，选择一张拍摄的相关环境的RGB三通道的图像I，将图像I输入智能体(包括策略网络和值函数网络)生成调整动作(即生成曝光值增量和与曝光值增量对应的调整动作，例如，增加或减少曝光时间；增加或减少感光度/增益值；增加或减小光圈直径)，相机载荷会根据调整动作重新拍摄环境得到图片I+1，将图片I+1用于空间感知任务，并根据空间感知任务的处理结果生成针对本次调整动作的奖励，并将奖励反馈给智能体，以使得智能体根据奖励情况做出更优的调整动作。
也就是说，本申请一些实施例的成像决策智能体是通过如下策略训练得到的：通过将训练中的智能体不断地与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于特定空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。可以立即的是，得到自适应的曝光决策即确定目标曝光值增量。例如，通过如下策略训练所述智能体：随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；重复执行循环过程直至目标空间感知任务对应的智能体的模型(即正在训练的智能体，也就是正在训练的神经网络模型)收敛，得到所述成像决策智能体，其中，所述循环过程包括：将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络得到曝光值增量ΔEV，并根据所述曝光值增量得到曝光调整动作；根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行梯度更新。需要说明的是第一种类的相机载荷属于可见光成像装置。
如图5所示，本申请一些实施例的智能体训练和评估步骤如下：
S201，随机初始化状态，选择一张相机载荷输出的RGB图像。
S202，将图像输入智能体，由智能体根据策略或值函数网络综合给出曝光调整动作ΔEV
S203，根据智能体给出的动作，指导相机载荷再次成像，得到新的图像。
S204，将新图像应用于具体的空间感知任务(如目标检测分类模型Yolo，图像分割模型Unet等)，根据任务取得的性能计算得到相应的奖励。
S205，基于奖励计算累计回报，评估智能体动作的优劣，得到损失并利用反向传播算法进行梯度更新。
S206，判断模型是否收敛，如果收敛则训练结束得到成像决策智能体；如果不收敛，则返回S202，重复过程S202-S205直到模型收敛。
需要说明的是，上述Gamma校正是通过一阶幂函数、高阶幂函数、指数函数、对数函数或者初等函数的复合函数实现的。本申请的一些实施例通过多种非线性函数实现Gamma校正对曝光环境的仿真，最终改善了训练数据缺乏导致的模型无法训练的问题。
可以理解的是，使用本申请一些实施例提出的可迁移自适应成像系统包含两个阶段，一是准备阶段，即构造仿真环境，并在其中利用强化学习方法训练基于智能体得到成像决策智能体(该成像决策智能体具备生成曝光决策的能力)，二是应用阶段，将训练得到的成像决策智能体部署在成像卫星平台上，在真实空间环境中实现自适应按需成像。其中，训练准备阶段的具体步骤已经在前文记载，而在软件定义卫星上应用阶段(即基于训练得到的成像决策智能体生成相机载荷的曝光策略得到最优图像)的具体步骤如下：
第一步，相机初始化地选择一组成像参数(曝光时间、光圈和感光度)，计算相应曝光值EV，并成像得到图像I1。
第二步，将图像I1输入曝光决策智能体，由智能体给出曝光调整值。
第三步，相机根据曝光调整值，解析出各成像硬件参数的调整量，再次成像得到图像I2
第四步，重复过程第二步-第三步直到满足预先停止条件，将最终的图像交付下游空间感知任务使用。
可以理解的是，在应用阶段由相机载荷执行的自适应曝光成像方法包括：接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量；根据所述曝光值增量拍摄新的RGB图像；向所述成像决策智能体发送所述新的RGB图像；重复执行上述步骤，直至达到设定的循环次数或者达到设定的循环终止条件。
在本申请的一些实施例中，相机载荷在执行接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量之前，所述自适应曝光成像方法还包括：初始化地选择一组成像参数，计算初始曝光值EV，并根据所选择的一组成像参数得到初始RGB图像，其中，所述成像参数包括：曝光时间、光圈和感光度；向所述成像决策智能体发送所述初始RGB图像，以使所述成像决策智能体根据所述初始RGB图像得到所述曝光值增量。
在应用阶段由成像决策智能体执行的自适应曝光成像方法包括：接收由相机载荷根据曝光值增量拍摄的RGB图像；根据所述RGB图像得到待调整的曝光值增量(或称为待更新的曝光值增量)；向所述相机载荷发送所述更新后的曝光值增量；重复上述过程，直至达到设定的循环次数或者达到设定的循环终止条件时，向目标空间识别任务输出目标RGB图像。
需要说明的是，本申请一些实施例所构建的可迁移自适应成像系统中，成像决策智能体主要是基于深度神经网络模型构建，通过卷积和全连接神经网络实现成像映射函数的拟合逼近，并根据模型输出来确定相机参数的调整值，但采用其他非神经网络的数学函数逼近模型也能够实现本发明的方法，例如深度决策树、Capsual胶囊网络、多项式/傅立叶/径向基函数等等。此外，本申请一些实施例的曝光成像仿真过程，采用了一阶幂函数来近似模拟非线性的视觉感知，而采用高阶幂函数，或其他的非线性函数，比如指数函数、对数函数，或是初等函数的复合，也可以实现Gamma校正来模拟多曝光成像。
通过本申请图2的架构和上述方法实现控制系统与相机硬件载荷分离。基于光学理论，通过重构控制系统的输入和输出，建立可迁移的成像系统架构。使曝光决策算法具备自适应不同空间环境的能力。本申请的一些实施例将相机载荷成像过程建模为强化学习的序列决策过程，并设计了曝光决策智能体的训练范式，通过与环境的交互来自主地演化智能体策略。本申请的一些实施例低成本地建立了可用于训练数据驱动曝光成像算法的空间仿真环境。基于视觉非线性理论，通过幂函数映射和乘性调整仿真图像曝光的变化。
本申请的一些实施例将控制系统软件与相机硬件载荷分离，建立了不依赖于特定相机型号的数据驱动智能成像框架，使成像系统具备可迁移性，能够部署在不同的卫星平台上使用。本申请的一些实施例基于Gamma校正理论建立了曝光仿真成像环境，解决数据驱动成像算法模型训练中存在的数据集缺失、真实空间环境难以获取的问题，使得智能体能够更好地得到训练。本申请的一些实施例基于强化学习范式建模相机成像过程，使深度神经网络智能体通过与环境的交互来自主学习演化，拟合视觉任务与成像参数间非线性映射关系，相比于已有的监督学习数据驱动算法，能够得到更好的自适应能力。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种面向软件定义卫星的成像系统，其特征在于，所述成像系统包括：
相机载荷，被配置为：
根据初始化成像参数获取RGB三通道图像；以及
根据曝光值增量确定目标成像参数的值，并根据所述目标成像参数的值生成新的RGB三通道图像，其中，所述的相机载荷包括镜头组件、感光器件以及图像处理器ISP；
成像决策智能体，被配置为：
接收所述RGB三通道图像；
根据所述RGB三通道图像得到所述曝光值增量并提供给所述相机载荷；以及，确认达到设定的循环次数，向空间视觉处理任务提供目标RGB三通道图像；
其中，所述目标成像参数的类型包括：曝光时间、感光度、增益或者光圈。
2.如权利要求1所述的成像系统，其特征在于，通过曝光仿真图像集训练智能体，得到所述成像决策智能体，其中，所述曝光仿真图像集是通过伽玛校正理论对多曝光遥感图像进行合成得到的。
3.如权利要求2所述的成像系统，其特征在于，通过如下方法获取用于训练所述智能体的标注数据：
选择遥感数据集中的图像作为初始样本数据，并将所述图像的像素值归一化到[0,1]空间；
对所述初始样本数据中的每幅图像，根据第一伽马值应用伽马校正将所述每幅图像映射到线形空间，得到第一校正图像集，其中，所述第一伽马值为2.2；
通过乘法的方式对所述第一校正图像集中的图像的亮度值进行线形调整，以模拟不同的曝光量，得到多曝光量图像集；
根据第二伽马值，再次应用伽马校正将所述多曝光量图像集中的图像复原到非线形空间中，得到所述曝光仿真图像集，其中，所述第二伽马值为1/2.2；
根据空间感知任务的不同，为所述曝光仿真图像集中图像合成相应的任务数据标注。
4.如权利要求3所述的成像系统，其特征在于，所述选择遥感数据集中的图像作为初始样本数据，包括：
选择所述遥感数据集中的图像作为基础元数据；
对所述基础元数据中的图像进行数据增强操作，得到所述初始样本数据，其中，所述数据增强操作包括：翻转、裁剪、旋转、伸缩、位移和噪声添加中的至少一种。
5.如权利要求1-2任一项所述的成像系统，其特征在于，所述成像决策智能体是通过如下策略训练得到的：
通过将训练中的智能体与空间环境交互，探索和积累不同成像参数组合的历史经验数据，并基于反馈控制的认知学习机制来拟合逼近评价函数与曝光值之间的非线性映射关系，以挖掘出适用于目标空间感知任务的最优RGB三通道图像与曝光值增量之间的对应关系，得到自适应的曝光决策。
6.如权利要求2所述的成像系统，其特征在于，通过如下策略训练所述智能体：
随机初始化状态，选择一张由第一种类的相机载荷输出的RGB图像；
重复执行循环过程直至目标空间感知任务对应的智能体的模型收敛，得到所述成像决策智能体，其中，所述循环过程包括：
将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；
根据所述曝光调整动作，指导所述相机载荷再次成像，得到新的图像；
将所述新的图像应用于所述目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；
基于所述奖励计算累计回报，评估所述智能体提供的所述曝光调整动作的优劣，得到损失并利用反向传播算法进行梯度更新。
7.如权利要求6所述的成像系统，其特征在于，所述目标空间感知任务对应的模型包括：目标检测分类模型或者图像分割模型。
8.如权利要求2所述的成像系统，其特征在于，所述Gamma校正是通过一阶幂函数、高阶幂函数、指数函数、对数函数或者初等函数的复合函数实现的。
9.一种成像方法，应用于相机载荷，其特征在于，所述成像方法包括：
接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量；
根据所述曝光值增量拍摄新的RGB图像；
向所述成像决策智能体发送所述新的RGB图像；
重复执行上述步骤，直至达到设定的循环次数或者达到设定的循环终止条件。
10.如权利要求9所述的成像方法，其特征在于，所述接收由成像决策智能体根据所述相机载荷拍摄RGB图像得到的曝光值增量之前，所述自适应曝光成像方法还包括：
初始化地选择一组成像参数，计算初始曝光值EV，并根据所选择的一组成像参数得到初始RGB图像，其中，所述成像参数包括：曝光时间、光圈和感光度；
向所述成像决策智能体发送所述初始RGB图像，以使所述成像决策智能体根据所述初始RGB图像得到所述曝光值增量。
11.一种成像方法，应用于成像决策智能体，其特征在于，所述成像方法包括：
接收由相机载荷根据曝光值拍摄的RGB图像；
根据所述RGB图像得到待更新的曝光值增量；
向所述相机载荷发送所述待更新的曝光值增量；
重复上述过程，直至达到设定的循环次数或者达到设定的循环终止条件时，向目标空间识别任务输出目标RGB图像。
12.一种训练智能体的方法，其特征在于，所述方法包括：
随机初始化状态，选择一张相机载荷输出的RGB图像；
重复执行循环过程，直至与目标空间感知任务对应的模型收敛得到成像决策智能体，其中，所述循环过程包括：
将所述RGB图像输入所述智能体，由所述智能体根据策略或值函数网络的输出得到曝光值增量ΔEV作为曝光调整动作；
根据所述调整动作指导所述相机载荷再次成像，得到新的图像；
将所述新的图像应用于目标空间感知任务，根据所述目标空间感知任务取得的性能计算得到相应的奖励；
基于所述奖励计算累计回报，评估所述深度强化学习智能体动作的优劣，得到损失并利用反向传播算法进行梯度更新。
13.如权利要求12所述的方法，其特征在于，所述智能体对应的模型包括：基于深度神经网络的模型、深度决策树模型或者胶囊网络模型。
CN202111253065.3A 2021-10-27 2021-10-27 一种面向软件定义卫星的成像系统及成像方法 Active CN114125216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111253065.3A CN114125216B (zh) 2021-10-27 2021-10-27 一种面向软件定义卫星的成像系统及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253065.3A CN114125216B (zh) 2021-10-27 2021-10-27 一种面向软件定义卫星的成像系统及成像方法

Publications (2)

Publication Number Publication Date
CN114125216A true CN114125216A (zh) 2022-03-01
CN114125216B CN114125216B (zh) 2023-04-07

Family

ID=80376998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253065.3A Active CN114125216B (zh) 2021-10-27 2021-10-27 一种面向软件定义卫星的成像系统及成像方法

Country Status (1)

Country Link
CN (1) CN114125216B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565535A (zh) * 2022-03-02 2022-05-31 北京锐影医疗技术有限公司 一种基于自适应梯度gamma校正的图像增强方法及装置
CN114757994A (zh) * 2022-06-14 2022-07-15 深圳深知未来智能有限公司 一种基于深度学习多任务的自动对焦方法及系统
CN114900619A (zh) * 2022-05-06 2022-08-12 北京航空航天大学 一种自适应曝光驱动相机摄影水下图像处理系统
CN115379129A (zh) * 2022-08-19 2022-11-22 广州虎牙信息科技有限公司 曝光处理方法、装置、设备和可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161986A (zh) * 2016-07-21 2016-11-23 中国科学院软件研究所 一种基于Sandroid卫星平台空间清晰成像的方法及系统
CN109729275A (zh) * 2019-03-14 2019-05-07 Oppo广东移动通信有限公司 成像方法、装置、终端及存储介质
CN110249622A (zh) * 2017-01-28 2019-09-17 微软技术许可有限责任公司 实时的语义感知的相机曝光控制
CN110798654A (zh) * 2018-08-01 2020-02-14 华为技术有限公司 软件定义摄像机的方法、系统及摄像机
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
CN111866402A (zh) * 2020-09-07 2020-10-30 三一重工股份有限公司 参数调整方法和装置、电子设备及存储介质
CN112118388A (zh) * 2020-08-04 2020-12-22 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
US20210092280A1 (en) * 2019-09-24 2021-03-25 Sony Corporation Artificial intelligence (ai)-based control of imaging parameters of image-capture apparatus
CN112866574A (zh) * 2021-01-14 2021-05-28 中国科学院软件研究所 一种面向软件定义卫星的可重构阵列成像方法与装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161986A (zh) * 2016-07-21 2016-11-23 中国科学院软件研究所 一种基于Sandroid卫星平台空间清晰成像的方法及系统
CN110249622A (zh) * 2017-01-28 2019-09-17 微软技术许可有限责任公司 实时的语义感知的相机曝光控制
CN110798654A (zh) * 2018-08-01 2020-02-14 华为技术有限公司 软件定义摄像机的方法、系统及摄像机
CN109729275A (zh) * 2019-03-14 2019-05-07 Oppo广东移动通信有限公司 成像方法、装置、终端及存储介质
US20210092280A1 (en) * 2019-09-24 2021-03-25 Sony Corporation Artificial intelligence (ai)-based control of imaging parameters of image-capture apparatus
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
CN112118388A (zh) * 2020-08-04 2020-12-22 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN111866402A (zh) * 2020-09-07 2020-10-30 三一重工股份有限公司 参数调整方法和装置、电子设备及存储介质
CN112866574A (zh) * 2021-01-14 2021-05-28 中国科学院软件研究所 一种面向软件定义卫星的可重构阵列成像方法与装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565535A (zh) * 2022-03-02 2022-05-31 北京锐影医疗技术有限公司 一种基于自适应梯度gamma校正的图像增强方法及装置
CN114565535B (zh) * 2022-03-02 2022-09-13 北京锐影医疗技术有限公司 一种基于自适应梯度gamma校正的图像增强方法及装置
CN114900619A (zh) * 2022-05-06 2022-08-12 北京航空航天大学 一种自适应曝光驱动相机摄影水下图像处理系统
CN114900619B (zh) * 2022-05-06 2023-05-05 北京航空航天大学 一种自适应曝光驱动相机摄影水下图像处理系统
CN114757994A (zh) * 2022-06-14 2022-07-15 深圳深知未来智能有限公司 一种基于深度学习多任务的自动对焦方法及系统
CN114757994B (zh) * 2022-06-14 2022-09-20 深圳深知未来智能有限公司 一种基于深度学习多任务的自动对焦方法及系统
CN115379129A (zh) * 2022-08-19 2022-11-22 广州虎牙信息科技有限公司 曝光处理方法、装置、设备和可读存储介质

Also Published As

Publication number Publication date
CN114125216B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114125216B (zh) 一种面向软件定义卫星的成像系统及成像方法
CN109791688B (zh) 曝光相关的亮度变换
KR102318772B1 (ko) 도메인 분리 뉴럴 네트워크들
US20200151858A1 (en) Image contrast enhancement method and device, and storage medium
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
WO2021015840A1 (en) Cross-modality automatic target recognition
US11354772B2 (en) Cross-modality image generation
US20220076385A1 (en) Methods and systems for denoising media using contextual information of the media
WO2022133194A1 (en) Deep perceptual image enhancement
JP2019016114A (ja) 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
CN114746895A (zh) 用于图像去噪的噪声重构
CN111832592A (zh) Rgbd显著性检测方法以及相关装置
CN111639755A (zh) 一种网络模型训练方法、装置、电子设备及存储介质
CN114595799A (zh) 一种模型训练方法及装置
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
CN116844032A (zh) 一种海洋环境下目标检测识别方法、装置、设备及介质
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
Babu et al. ABF de-hazing algorithm based on deep learning CNN for single I-Haze detection
CN110708469B (zh) 用于适配曝光参数的方法和装置以及相应的相机曝光系统
EP4199498A1 (en) Site model updating method and system
Qiao et al. Pre-processing for UAV based wildfire detection: a loss U-net enhanced GAN for image restoration
Singh et al. WeAbDeepCNN: weighted average model and ASSCA based two level fusion scheme for multi-focus Images
JP7148078B2 (ja) 属性推定装置、属性推定方法、属性推定器学習装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant