CN114419146A - 一种多源光学样本生成方法和系统 - Google Patents

Abstract

本申请提供了一种多源光学样本生成方法和系统，属于图像处理技术领域。本申请实施例通过接收用于生成同一识别任务的仿真场景的输入参数，并根据该输入参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及光学图像对应的标注信息，最后将光学图像和标注信息作为该种光学类型下的光学样本。本申请实施例通过仿真的方式，可以根据识别任务的识别需求，生成足够多的识别任务密切相关的多种光学类型的高质量光学样本，并利用该光学样本对与识别任务对应的目标识别模型进行充分训练，能够提高目标识别模型的训练效果，进而有效提高目标识别模型执行该识别任务时的实际应用效果。

Description

一种多源光学样本生成方法和系统

技术领域

本申请涉及图像处理技术领域，特别是涉及一种多源光学样本生成方法和系统。

背景技术

随着深度学习技术的迅猛发展，基于深度学习技术的监督学习方法被广泛运用于环境污染监测、濒危物种监测、交通监控等多种场景中的目标识别、检测、跟踪等任务中。在执行目标识别、检测、跟踪任务时的一个核心模块就是基于深度学习的目标识别模型，而目标识别模型的实际应用效果与目标识别模型的训练程度密切相关，即与目标识别模型训练时使用的光学样本的质量和数量相关，需要采用大量与应用问题密切相关的光学样本训练模型，才能得到更好的识别模型。

然而，受限于采样环境以及采样设备的限制，人工采集光学样本耗时费力，采集到的高质量光学样本数量有限，种类单一，面向同一任务的多源样本更是少之又少，无法使基于深度学习技术的目标识别模型发挥最大的能力。

发明内容

本申请提供一种多源光学样本生成方法和系统，以解决人工采集光学样本耗时费力，采集到的高质量光学样本数量有限，种类单一，无法使基于深度学习技术的目标识别模型发挥最大能力的问题。

为了解决上述问题，本申请采用了以下的技术方案：

第一方面，本申请实施例提供了一种多源光学样本生成方法，所述方法包括：

接收用于生成同一识别任务的仿真场景的输入参数，所述输入参数包括所述识别任务的不同光学类型的光学样本特性参数和仿真条件参数；

根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，所述标注信息至少包括所述光学图像中的目标对象的位置信息；

将所述光学图像和所述标注信息作为该种光学类型下的所述光学样本。

在本申请一实施例中，所述识别任务为环境污染监测任务、濒危物种监测任务以及交通监控任务中的任一。

在本申请一实施例中，所述输入参数包括可见光样本参数、动态视觉样本参数和红外样本参数；其中，所述可见光样本参数、所述动态视觉样本参数和所述红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数；其中，

所述仿真条件参数包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数；

所述光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，

所述可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；

所述动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；

所述红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。

在本申请一实施例中，根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，包括：

根据所述可见光样本参数，构建可见光仿真场景，并在所述可见光仿真场景中生成可见光图像以及所述可见光图像对应的标注信息；和/或，

根据所述动态视觉样本参数，构建动态视觉仿真场景，并在所述动态视觉仿真场景中生成初始图像，并对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息；和/或，

根据所述红外样本参数，构建红外仿真场景，并在所述红外仿真场景中生成红外图像以及所述红外图像对应的标注信息。

在本申请一实施例中，对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息，包括：

获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像；

通过噪声变换函数，对所述第二初始图像与所述第一初始图像之间的差值进行噪声变换，得到噪声图像；

通过图像变换函数，对所述噪声图像进行图像变换，得到动态视觉图像；

将所述预设时间间隔除以二的商与所述当前时刻的和，确定为所述动态视觉图像的目标仿真时刻。

将所述目标仿真时刻对应的标注信息作为所述动态视觉图像的标注信息。

在本申请一实施例中，所述方法还包括：

响应于用户触发的查询指令，显示所述查询指令对应的光学样本；

响应于用户触发的参数调整指令，对所述可见光样本参数、所述动态视觉样本参数和/或所述红外样本参数进行调整。

第二方面，基于相同发明构思，本申请实施例提供了一种多源光学样本生成系统，所述系统包括：

接口模块，用于接收用于生成同一识别任务的仿真场景的输入参数，所述输入参数包括所述识别任务的不同光学类型的光学样本特性参数和仿真条件参数；

仿真模块，用于根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，所述标注信息至少包括所述光学图像中的目标对象的位置信息；

样本生成模块，用于将所述光学图像和所述标注信息作为该种光学类型下的所述光学样本。

在本申请一实施例中，所述识别任务为环境污染监测任务、濒危物种监测任务以及交通监控任务中的任一。

在本申请一实施例中，所述输入参数包括可见光样本参数、动态视觉样本参数和红外样本参数；其中，所述可见光样本参数、所述动态视觉样本参数和所述红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数；其中，

所述仿真条件参数包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数；

所述光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，

所述可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；

所述动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；

所述红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。

在本申请一实施例中，所述仿真模块包括可见光仿真子模块、动态视觉仿真子模块和红外仿真子模块；其中，

所述可见光仿真子模块，用于根据所述可见光样本参数，构建可见光仿真场景，并在所述可见光仿真场景中生成可见光图像以及所述可见光图像对应的标注信息；

所述动态视觉仿真子模块，用于根据所述动态视觉样本参数，构建动态视觉仿真场景，并在所述动态视觉仿真场景中生成初始图像，并对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息；

所述红外仿真子模块，用于根据所述红外样本参数，构建红外仿真场景，并在所述红外仿真场景中生成红外图像以及所述红外图像对应的标注信息。

在本申请一实施例中，所述动态视觉仿真子模块包括：

初始图像生成子模块，用于获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像；

噪声变换子模块，用于通过噪声变换函数，对所述第二初始图像与所述第一初始图像之间的差值进行噪声变换，得到噪声图像；

图像变换子模块，用于通过图像变换函数，对所述噪声图像进行图像变换，得到动态视觉图像；

仿真时刻确定子模块，用于将所述预设时间间隔除以二的商与所述当前时刻的和，确定为所述动态视觉图像的目标仿真时刻；

标注信息确定子模块，用于将所述目标仿真时刻对应的标注信息作为所述动态视觉图像的标注信息。

在本申请一实施例中，所述系统还包括管理模块；

所述管理模块，用于响应于用户触发的查询指令，显示所述查询指令对应的光学样本；

所述管理模块，还用于响应于用户触发的参数调整指令，对所述可见光样本参数、所述动态视觉样本参数和/或所述红外样本参数进行调整。

与现有技术相比，本申请包括以下优点：

本申请实施例提供的一种多源光学样本生成方法，通过接收用于生成同一识别任务的仿真场景的输入参数，并根据该输入参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及光学图像对应的标注信息，最后将光学图像和标注信息作为该种光学类型下的光学样本。本申请实施例通过仿真的方式，可以根据识别任务的识别需求，生成足够多的识别任务密切相关的多种光学类型的高质量光学样本，并利用该光学样本对与识别任务对应的目标识别模型进行充分训练，能够提高目标识别模型的训练效果，进而有效提高目标识别模型执行该识别任务时的实际应用效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例中的多源光学样本生成方法的步骤流程图。

图2是本申请一实施例中的多源光学样本生成系统的功能模块示意图。

附图标记：200-多源光学样本生成系统；201-接口模块；202-仿真模块；203-样本生成模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施方式需要说明的是，随着深度学习技术的迅猛发展，基于深度学习技术的监督学习方法被广泛运用于环境污染监测、濒危物种监测、交通监控等多种场景中的目标识别、检测、跟踪等任务中。在此类方法中，通常首先建立监督学习算法模型，将已对感兴趣目标进行标记的光学样本图像作为输入，对监督学习算法模型进行训练，训练完毕后，监督学习算法模型就可以根据输入的光学样本图像计算出图像上目标的类型和位置，进而实现目标识别、检测、跟踪等应用。随着近年深度学习技术的迅猛发展，基于深度学习技术的监督学习方法能够在训练样本足够多、足够完备的前提下，在目标识别、定位和跟踪等问题上得到与人工判断相当、甚至超过人工判读的能力，在实际应用中有巨大的应用潜力。然而，受限于采样环境以及采样设备的限制，人工采集光学样本耗时费力，采集到的高质量光学样本数量有限，种类单一，面向同一任务的多源样本更是少之又少，如利用可见光传感器在野外监测濒危物种时，在原本针对濒危物种的光学样本就较少的情况下，可见光传感器又难以在光线较差或者濒危物种快速移动的过程中，有效识别出该濒危物种；又如在交通监控领域，仅是通过可见光传感器识别车辆，将无法在光线条件差的情况下对高速移动的车辆进行有效识别。因此，基于数量有限、单一种类的光学样本训练得到的目标识别模型的识别能力有限，无法使基于深度学习技术的目标识别模型发挥最大的能力。

针对上述现有技术存在的问题，本申请旨在提供一种多源光学样本生成方法和系统，可以根据识别任务的识别需求，生成足够多的识别任务密切相关的多种光学类型的高质量光学样本，并利用该光学样本对与识别任务对应的目标识别模型进行充分训练，能够提高目标识别模型的训练效果，进而有效提高目标识别模型执行该识别任务时的实际应用效果。

参照图1，示出了本申请一种多源光学样本生成方法，该方法可以包括以下步骤：

S101：接收用于生成同一识别任务的仿真场景的输入参数，输入参数包括识别任务的不同光学类型的光学样本特性参数和仿真条件参数。

本实施方式需要说明的是，常规的光学样本通常是光学传感器拍摄获取的。典型的光学传感器包括可见光传感器、动态视觉传感器和红外传感器，其中，可见光传感器获取的可见光图像具备丰富的形貌及纹理特征，又由于其探测波段与人眼类似，因此，可见光图像非常有利于人类解译，在目标检测、识别领域应用广泛；红外传感器是收集、记录地物热辐射信息的仪器，并以红外图像形式输出可视化热辐射信息，由于热辐射与物质表面状态和内部组成及温度有关，因此红外图像也是目标检测识别的重要数据源之一；动态视觉传感器是一种新型的光学传感器，其感光波段通常也是可见光波段，但在图像获取的原理上与传统的可见光传感器不同，动态视觉传感器得到的是“事件流”信息，表达的是每个像素点对应的亮度变化情况及对应时间信息，动态视觉传感器具备高速感知环境变化的能力，在动目标检测、高速载体目标检测识别等领域具备极高的应用价值。

在本实施方式中，基于可见光传感器、红外传感器和动态视觉传感器获取的数据有各自特点与优势，因此，可将其联合应用于识别任务中，以提高识别效果。其中，识别任务为环境污染监测任务、濒危物种监测任务以及交通监控任务中的任一。示例性的，当识别任务为濒危物种监测任务时，当该濒危物种在白天等光线较好的环境下时，可通过可见光传感器监测；在黑夜等光线较差的环境下时，可通过红外传感器监测；当濒危物种在奔跑或者飞翔等高速移动的过程中，可通过动态视觉传感器监测。基于可见光传感器、红外传感器和动态视觉传感器的联合应用，能够对所要监测或者监控的目标进行全面有效的识别。

在本实施方式中，考虑到基于数量有限、单一种类的光学样本训练得到的目标识别模型的识别能力有限，因此，在进行图像仿真时，基于该识别任务的识别需求，将生成多种光学类型的光学样本用于目标识别模型的训练，以保证目标识别模型在执行该识别任务时，能够达到良好的识别效果。

在本实施方式中，输入参数可以包括可见光样本参数、动态视觉样本参数和红外样本参数；其中，可见光样本参数、动态视觉样本参数和红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数。

具体的，仿真条件参数可以包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数。需要说明的是，目标位置约束参数用于约束目标对象在仿真生成的光学图像中的位置，而目标对象指目标识别模型所要识别、检测或跟踪的物体；背景参数则是指目标对象所处的背景，如在环境监测领域，根据地理环境的不同，可以划分为水域背景、沙漠背景、森林背景和湿地背景，又如在交通监测领域，根据车辆行驶道路的不同，将背景参数划分为高速公路、乡间公路、城市道路等；环境参数包括云、雾、雨、雪、风、温度和湿度等参数；传感器与载体参数指执行目标识别任务的设备所采用的传感器参数以及搭载该传感器的设备本身的参数，如当采用民用无人机执行对某一水域进行的水环境污染监测任务时，传感器参数指民用无人机所采用的可见光传感器、红外传感器和/或动态视觉传感器的参数，载体参数指无人机本身的参数，具体可包括无人机拍摄的高度参数和姿态参数等参数。

在本实施方式中，通过设置不同背景参数和环境参数，可以得到不同背景参数和不同环境参数下的高质量仿真样本，保证目标识别模型部署在识别设备之后，即使在不同地理环境和天气条件下，均具备可靠的识别能力；通过设置传感器与载体参数等参数，能够以识别设备的视角，真实模拟识别设备的实际拍摄情形，使得光学样本更加真实可靠，提高识别模型的训练效果。

具体的，光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。需要说明的是，通过设置可见光样本增广参数、动态视觉样本增广参数和红外样本增广参数，可以对生产的可见光图像、动态视觉样本图像和红外样本图像进行数据增广，通过对生产的光学图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大光学样本的规模；而通过设置可见光样本批量生成参数、动态视觉样本批量生成参数和红外样本批量生成参数，可以同时根据需要生成相应数量和类型的光学图像，能够充分满足识别模型的训练量需求。

S102：根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及光学图像对应的标注信息，标注信息至少包括光学图像中的目标对象的位置信息。

在本实施方式中，根据输入的可见光样本参数、动态视觉样本参数和红外样本参数，可以构建对应的可见光仿真场景、动态视觉仿真场景和红外仿真场景，并生成对应的光学图像，具体的，S102可以包括以下子步骤：

S102-A：根据可见光样本参数，构建可见光仿真场景，并在可见光仿真场景中生成可见光图像以及可见光图像对应的标注信息。

S102-B：根据动态视觉样本参数，构建动态视觉仿真场景，并在动态视觉仿真场景中生成初始图像，并对初始图像进行图像变换，得到动态视觉图像以及动态视觉图像对应的标注信息。

S102-C：根据红外样本参数，构建红外仿真场景，并在红外仿真场景中生成红外图像以及红外图像对应的标注信息。

本实施方式需要说明的是，标注信息包括了对应的样本参数，具体的，可见光图像的标注信息包括可见光样本参数中的图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、可见光样本增广参数；动态视觉图像的标注信息包括动态视觉样本参数中的图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、预设时间间隔参数、噪声变换参数、图像变换参数；红外图像的标注信息包括红外样本参数中的图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、红外样本增广参数、红外仿真参数、红外样本批量生成参数。

在本实施方式中，根据输入参数，可以根据目标识别模型的识别任务，生成与目标识别模型的识别任务密切相关的多种类型的光学样本，并且针对每种类型的光学样本，可以根据实际运用场景的需求，设置目标识别模型所要所要识别、检测或跟踪的物体在光学样本中的位置，并且图像的类别、像素大小、拍摄角度以及仿真数量等均可设置，光学样本的质量和数据均可控，能够充分满足光学样本的质量需求和目标识别模型的训练量需求。

示例性的，以监控摄像头监测高速公路的来往车辆的识别任务为例，针对该识别任务，根据输入的可见光样本参数、动态视觉样本参数和红外样本参数，构建对应的可见光仿真场景、动态视觉仿真场景和红外仿真场景，参照表1，示出了用于生成可见光仿真场景的可见光样本参数的具体内容。

表1 可见光样本参数

序号	参数	参数对应内容
			1	目标类型参数	车辆
2	目标位置约束参数	无约束
			3	背景类型参数	道路
4	背景参数	高速公路
			5	环境参数	中度雾
6	传感器与载体参数	可见光相机、像素1920×1080、拍摄高度10米和30°俯仰角
			7	命名参数	“VIS_1920_1080_10m_FY30”
8	存储路径参数	“D:\样本数据\可见光样本ex”
			9	显示参数	不显示样本生成过程
10	可见光样本增广参数	噪声叠加、图像切割和几何变换
			11	可见光样本批量生成参数	目标随机游走方式和1000张

S103：将光学图像和标注信息作为该种光学类型下的光学样本。

在本实施方式中，将一张可见光图像和该可见光图像对应的标注信息构成一组可见光样本，可根据可见光样本批量生成参数，批量生成多组可见光样本；将一张动态视觉图像以及该动态视觉图像对应的标注信息构成一组动态视觉样本，可根据动态视觉样本批量生成参数，批量生成多组动态视觉样本；将一张红外图像以及该红外图像对应的标注信息构成一组红外样本，可根据红外样本批量生成参数，批量生成多组红外样本。

在本实施方式中，生成的光学样本作为输入，对基于深度学习的目标识别模型行训练，训练完毕后，目标识别模型就可以部署至对应的识别设备中，并在实际运用中，根据输入的检测图像计算出检测图像上目标对象的类型和位置，可以广泛运用于环境污染监测、濒危物种监测、交通监控等多种场景中，以完成相应的目标识别、检测、跟踪等任务。

在一个可行的实施方式中，S102-B可以具体包括以下子步骤：

S102-B-1：获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像。

S102-B-2：通过噪声变换函数，对第二初始图像与第一初始图像之间的差值进行噪声变换，得到噪声图像。

S102-B-3：通过图像变换函数，对噪声图像进行图像变换，得到动态视觉图像。

S102-B-4：将预设时间间隔除以二的商与当前时刻的和，确定为动态视觉图像的目标仿真时刻。

S102-B-5：将目标仿真时刻对应的标注信息作为动态视觉图像的标注信息。

本实施方式需要说明的是，动态视觉传感器是一种新型的光学传感器，其感光波段通常也是可见光波段，但在图像获取的原理上与传统的可见光传感器不同，动态视觉图像并不存在视频帧的概念，动态视觉传感器得到的动态视觉图像是“事件流”信息，表达的是每个像素点对应的亮度变化情况及对应时间信息。因此，在本实施方式中，动态视觉图像通常由两个仿真生成的初始图像转化而来的，用于表征仿真得到的初始图像中的物体的变化情况。

在本实施方式中，记当前时刻为仿真时刻T₁，预设时间间隔δT之后的时刻为仿真时刻T₂，即T₁和T₂满足T₂-T₁=δT，仿真时刻T₁对应的图像为第一初始图像I₁，仿真时刻T₂对应的图像为第二初始图像I₂；通过噪声变换函数f（）对两个仿真时刻对应的图像差（I₂-I₁）进行噪声变换，得到噪声图像f（I₂-I₁）；再通过图像变换函数G（）对噪声图像f（I₂-I₁）进行图像变换，得到动态视觉图像D=G（f（I₂-I₁）），并将预设时间间隔除以二的商与当前时刻的和，也即仿真时刻T₁和仿真时刻T₂的中间时刻T₃，作为动态视觉图像D=G（f（I₂-I₁））的仿真时刻，并将中间时刻T₃对应的标注信息作为动态视觉图像的标注信息，其中，T₃满足T₃=T₁+（T₂-T₁）/2。

本实施方式需要说明的是，考虑到动态视觉传感器在拍摄动态视觉图像时，由于传感器的电路在传导电信号的过程中存在一定的噪声，因此通过噪声变换能够使动态视觉图像更加真实，更加逼真于动态视觉传感器拍摄的实际动态视觉图像，通过图像变换则是将噪声图像的图像格式变换为动态视觉传感器实际拍摄得到的动态视觉图像的格式。

在本实施方式中，通过噪声变换、图像变换能够使动态视觉图像更加真实可靠，有效提高目标识别模型针对动态视觉图像的训练效果。

在一个可行的实施方式中，多源光学样本生成方法还可以包括以下步骤：

S104：响应于用户触发的查询指令，显示查询指令对应的光学样本。

S105：响应于用户触发的参数调整指令，对可见光样本参数、动态视觉样本参数和/或红外样本参数进行调整。

在本实施方式中，用户可通过人机交互界面输入查询指令，即可对对应的光学样本进行查看，并且在生成的光学样本不符合要求的情况下，对不合格的光学样本进行删除，并通过人机交互界面输入参数调整指令，对可见光样本参数、动态视觉样本参数和/或红外样本参数进行调整，直到对应的可见光样本、动态视觉样本和红外样本满足目标识别模型的训练要求。

参照图2，基于相同发明构思，本申请实施例提供了一种多源光学样本生成系统200，该系统可以包括：

接口模块201，用于接收用于生成同一识别任务的仿真场景的输入参数，输入参数包括识别任务的不同光学类型的光学样本特性参数和仿真条件参数；

仿真模块202，用于根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及光学图像对应的标注信息，标注信息至少包括光学图像中的目标对象的位置信息；

样本生成模块203，用于将光学图像和标注信息作为该种光学类型下的光学样本。

在本申请一实施例中，识别任务为环境污染监测任务、濒危物种监测任务以及交通监控任务中的任一。

在本申请一实施例中，输入参数包括可见光样本参数、动态视觉样本参数和红外样本参数；其中，可见光样本参数、动态视觉样本参数和红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数；其中，

仿真条件参数包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数；

光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，

可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；

动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；

红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。

在本申请一实施例中，仿真模块202包括可见光仿真子模块、动态视觉仿真子模块和红外仿真子模块；其中，

可见光仿真子模块，用于根据可见光样本参数，构建可见光仿真场景，并在可见光仿真场景中生成可见光图像以及可见光图像对应的标注信息；

动态视觉仿真子模块，用于根据动态视觉样本参数，构建动态视觉仿真场景，并在动态视觉仿真场景中生成初始图像，并对初始图像进行图像变换，得到动态视觉图像以及动态视觉图像对应的标注信息；

红外仿真子模块，用于根据红外样本参数，构建红外仿真场景，并在红外仿真场景中生成红外图像以及红外图像对应的标注信息。

在本申请一实施例中，动态视觉仿真子模块包括：

初始图像生成子模块，用于获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像；

噪声变换子模块，用于通过噪声变换函数，对第二初始图像与第一初始图像之间的差值进行噪声变换，得到噪声图像；

图像变换子模块，用于通过图像变换函数，对噪声图像进行图像变换，得到动态视觉图像；

仿真时刻确定子模块，用于将预设时间间隔除以二的商与当前时刻的和，确定为动态视觉图像的仿真时刻；

标注信息确定子模块，用于将目标仿真时刻对应的标注信息作为动态视觉图像的标注信息。

在本申请一实施例中，系统还包括管理模块；

管理模块，用于响应于用户触发的查询指令，显示查询指令对应的光学样本；

管理模块，还用于响应于用户触发的参数调整指令，对可见光样本参数、动态视觉样本参数和/或红外样本参数进行调整。

本实施方式需要说明的是，本申请实施例的多源光学样本生成系统200的具体实施方式参照前述本申请实施例第一方面提出的多源光学样本生成方法的具体实施方式，在此不再赘述。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种多源光学样本生成方法和系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多源光学样本生成方法，其特征在于，所述方法包括：

接收用于生成同一识别任务的仿真场景的输入参数，所述输入参数包括所述识别任务的不同光学类型的光学样本特性参数和仿真条件参数；

根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，所述标注信息至少包括所述光学图像中的目标对象的位置信息；

将所述光学图像和所述标注信息作为该种光学类型下的所述光学样本。

2.根据权利要求1所述的方法，其特征在于，所述识别任务为环境污染监测任务、濒危物种监测任务以及交通监控任务中的任一。

3.根据权利要求1所述的方法，其特征在于，所述输入参数包括可见光样本参数、动态视觉样本参数和红外样本参数；

其中，所述可见光样本参数、所述动态视觉样本参数和所述红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数；其中，

所述仿真条件参数包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数；

所述光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，

所述可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；

所述动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；

所述红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。

4.根据权利要求3所述的方法，其特征在于，根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，包括：

根据所述可见光样本参数，构建可见光仿真场景，并在所述可见光仿真场景中生成可见光图像以及所述可见光图像对应的标注信息；和/或，

根据所述动态视觉样本参数，构建动态视觉仿真场景，并在所述动态视觉仿真场景中生成初始图像，并对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息；和/或，

根据所述红外样本参数，构建红外仿真场景，并在所述红外仿真场景中生成红外图像以及所述红外图像对应的标注信息。

5.根据权利要求4所述的方法，其特征在于，对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息，包括：

获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像；

通过噪声变换函数，对所述第二初始图像与所述第一初始图像之间的差值进行噪声变换，得到噪声图像；

通过图像变换函数，对所述噪声图像进行图像变换，得到动态视觉图像；

将所述预设时间间隔除以二的商与所述当前时刻的和，确定为所述动态视觉图像的目标仿真时刻；

将所述目标仿真时刻对应的标注信息作为所述动态视觉图像的标注信息。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于用户触发的查询指令，显示所述查询指令对应的光学样本；

响应于用户触发的参数调整指令，对所述可见光样本参数、所述动态视觉样本参数和/或所述红外样本参数进行调整。

7.一种多源光学样本生成系统，其特征在于，所述系统包括：

接口模块，用于接收用于生成同一识别任务的仿真场景的输入参数，所述输入参数包括所述识别任务的不同光学类型的光学样本特性参数和仿真条件参数；

仿真模块，用于根据每种光学类型的光学样本特性参数和仿真条件参数，构建与每种光学类型一一对应的仿真场景，并在每种光学类型对应的仿真场景中，生成该种光学类型的光学图像以及所述光学图像对应的标注信息，所述标注信息至少包括所述光学图像中的目标对象的位置信息；

样本生成模块，用于将所述光学图像和所述标注信息作为该种光学类型下的所述光学样本。

8.根据权利要求7所述的系统，其特征在于，所述输入参数包括可见光样本参数、动态视觉样本参数和红外样本参数；

其中，所述可见光样本参数、所述动态视觉样本参数和所述红外样本参数均包括各自对应的光学样本特性参数和仿真条件参数；其中，

所述仿真条件参数包括图像类型参数、目标位置约束参数、背景参数、环境参数、传感器与载体参数、命名参数、存储路径参数和显示参数；

所述光学样本特性参数包括可见光样本特性参数、动态视觉样本特性参数和红外样本特性参数；其中，

所述可见光样本特性参数包括可见光样本增广参数和可见光样本批量生成参数；

所述动态视觉样本特性参数包括动态视觉样本增广参数、预设时间间隔参数、噪声变换参数、图像变换参数和动态视觉样本批量生成参数；

所述红外样本特性参数包括红外样本增广参数、红外仿真参数、红外样本批量生成参数。

9.根据权利要求8所述的系统，其特征在于，所述仿真模块包括可见光仿真子模块、动态视觉仿真子模块和红外仿真子模块；其中，

所述可见光仿真子模块，用于根据所述可见光样本参数，构建可见光仿真场景，并在所述可见光仿真场景中生成可见光图像以及所述可见光图像对应的标注信息；

所述动态视觉仿真子模块，用于根据所述动态视觉样本参数，构建动态视觉仿真场景，并在所述动态视觉仿真场景中生成初始图像，并对所述初始图像进行图像变换，得到动态视觉图像以及所述动态视觉图像对应的标注信息；

所述红外仿真子模块，用于根据所述红外样本参数，构建红外仿真场景，并在所述红外仿真场景中生成红外图像以及所述红外图像对应的标注信息。

10.根据权利要求9所述的系统，其特征在于，所述动态视觉仿真子模块包括：

初始图像生成子模块，用于获取当前时刻生成的第一初始图像和预设时间间隔后生成的第二初始图像；

噪声变换子模块，用于通过噪声变换函数，对所述第二初始图像与所述第一初始图像之间的差值进行噪声变换，得到噪声图像；

图像变换子模块，用于通过图像变换函数，对所述噪声图像进行图像变换，得到动态视觉图像；

仿真时刻确定子模块，用于将所述预设时间间隔除以二的商与所述当前时刻的和，确定为所述动态视觉图像的目标仿真时刻；

标注信息确定子模块，用于将所述目标仿真时刻对应的标注信息作为所述动态视觉图像的标注信息。

Images