CN109087378A - 图像处理方法及系统 - Google Patents

Abstract

本申请公开了一种图像处理方法及系统，应用于图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座，所述方法包括：通过所述卫星星座拍摄目标位置，获得与至少两个时刻分别对应的至少两幅原始图像；根据所述至少两幅原始图像检测所述动目标；还原所述动目标的运动轨迹；根据所述动目标的运动轨迹生成动画片段。本申请实施例中，通过卫星星座来采集目标位置的图像，可以采集大范围的目标位置的图像。由于卫星星座中可以包括多颗卫星，由于多颗卫星中的每颗卫星在运行周期中都会采集同一目标位置的图像，因此，卫星星座整体对同一目标位置进行图像采集时的采集频率更高，可以更加及时地采集目标位置的图像。

Description

图像处理方法及系统

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法及系统。

背景技术

地球表面的实时状况是地球科学、地理学、测绘学等领域关注的重点，现有技术中，为了获取地球表面目标位置的实时状况，常常通过具有图像采集功能的设备采集目标位置的图像，从而根据目标位置的图像来判断目标位置的实时状况。其中，采集目标位置的图像的方式有固定监控摄像、航空拍摄、单一卫星拍摄、卫星凝视拍摄等多种方式。然而，这些方式中，固定监控的摄像范围小，航空拍摄的拍摄范围也十分有限，而且还存在稳定性差的问题，单一卫星拍摄由于卫星运动速度快，视场转换快，无法获取短时间动态信息，且重访周期长，快速运动目标运动离开拍摄目标位置导致漏检，造成动态信息不完整。因此，现有技术的这些方式均不能兼顾覆盖范围和动态信息的完整度，无法对地球进行大范围、动态信息更完整的实时或准实时直播。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种图像处理方法，应用于图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座，所述方法包括：

通过所述卫星星座拍摄目标位置，获得与至少两个时刻分别对应的原始图像；

根据至少两幅所述原始图像之间的差异检测动目标；

还原所述动目标的运动轨迹；

根据所述动目标的运动轨迹生成动画片段。

可选地，所述根据至少两幅所述原始图像之间的差异检测动目标的步骤包括：

对至少两幅所述原始图像进行图像配准，得到至少两幅所述原始图像的图像配准结果；

根据至少两幅所述原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。

可选地，所述对至少两幅所述原始图像进行图像配准的步骤中，进行图像配准采用的方法为基于特征点的自动配准方法。

可选地，所述图像配准结果中包括特征点相匹配的至少两幅配准图像，所述至少两幅配准图像与所述原始图像一一对应；

所述还原所述动目标的运动轨迹的步骤包括：

将所述至少两幅配准图像以及所述至少两幅配准图像对应的原始图像的采集时间输入轨迹还原模型，得到所述动目标的运动轨迹。

可选地，背景图像是用来作为动画背景的图像，中间图像是所述背景图像上包括对应位置动目标的图像；

所述根据所述动目标的运动轨迹生成动画片段的步骤包括：

根据与最先采集的原始图像对应的所述配准图像生成背景图像；

根据所述背景图像以及所述动目标的运动轨迹生成中间图像；

将所述中间图像和所述至少两幅配准图像生成动画片段。

可选地，所述根据与最先采集的原始图像对应的所述配准图像生成背景图像的步骤包括：

获取所述动目标对应的像元，作为动目标像元；将与最先采集的原始图像对应的配准图像作为起始图像，计算所述起始图像中所述动目标像元周围预设范围内的像元的平均灰度值；

将所述起始图像中动目标像元的灰度值替换为所述平均灰度值，得到所述背景图像。

可选地，所述根据所述背景图像以及所述动目标的运动轨迹生成中间图像步骤包括，

根据还原的动目标的运动轨迹，采用动目标像元分别替换多个时刻动目标在背景图像上对应位置的背景像元，生成多幅中间图像。

可选地，所述方法还包括，

将包括动目标的运动轨迹的图像和与所述运动轨迹对应的时间序列作为训练样本输入机器学习模型进行机器学习训练，获得轨迹还原模型。

本申请的另一目的在于提供一种图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座以及服务器；所述卫星星座用于拍摄目标位置，以获得与至少两个时刻分别对应的至少两幅原始图像；所述服务器包括处理器和存储器，所述存储器存储有可执行指令，所述处理器在执行所述可执行指令时，

获得至少与两个时刻分别对应的原始图像；

根据至少两幅所述原始图像之间的差异检测动目标；

还原所述动目标的运动轨迹；

根据所述动目标的运动轨迹生成动画片段。

所述根据至少两幅所述原始图像检测动目标的步骤包括：

对至少两幅所述原始图像进行图像配准，得到至少两幅所述原始图像的图像配准结果；

根据至少两幅所述原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例中，通过卫星星座来采集目标位置的图像，可以采集大范围的目标位置的图像。由于卫星星座中可以包括多颗卫星，多颗卫星中的每颗卫星在运行周期中都会采集同一目标位置的图像，因此，卫星星座整体对同一目标位置进行图像采集时的采集频率更高，可以更加及时地采集目标位置的图像，也就是说，卫星星座可以获得短时间内目标位置的至少两幅原始图像，从而根据两幅原始图像生成短时间内目标位置的动态信息，减少因动目标运动速度过快离开目标位置带来的漏检现象，提高动态信息的完整度。此外，结合原始图像与动态信息制成动画片段，实现地球准实时直播。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的卫星星座成像示意图；

图2为本申请实施例提供的图像处理方法的流程图；

图3为本申请实施例提供的生成动画片段的流程图；

图4为本申请实施例提供的生成背景图像的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在现有技术中，为了获得大范围内的目标位置的图像，往往会采用空间站摄像，但是由于空间站每幅图像采集的范围比较宽，因此空间站摄像不容易发现中小型的目标。

而卫星也能采集较大范围内的目标位置的图像，且卫星摄像能够发现中小型目标。从理论上来说，可以用卫星摄像来采集目标位置的图像从而检测出目标位置的动目标。

发明人经研究发现，单一卫星在运行过程中的重返周期较长，也就是说，单一卫星采集同一目标位置的时间间隔较长，采集频率不高，快速运动的动目标会离开目标位置，造成动态信息不完整。此外，单一卫星在同一时刻，只能采集到一个目标位置的图像。

卫星星座在运行过程中，其包含的不同的卫星会经过相同区域，不同的卫星能采集到同一目标位置的图像。因此，可以通过卫星星座来提高对同一目标位置的图像的采集频率，也就是说，通过卫星星座可以更及时地在短时间内采集目标位置的图像，对快速运动的动目标的漏检率降低，动态信息更完整。同时，由于卫星星座中的每颗卫星都会绕地球表面做周期性的运动，因此，通过卫星星座还可以同时采集多个不同的目标位置的图像，也就是说，卫星星座所采集的图像范围也比单一卫星更大。请参见图1，例如，卫星星座中包括三个卫星时，当时刻1时，卫星1运行到目标位置的上部，采集目标位置的图像。当时刻2时，卫星2运行到目标位置的上部，采集目标位置的图像。当时刻3时，卫星3运行到目标位置的上部，采集目标位置的图像，该卫星星座对目标为位置的图像采集频率便比单一卫星采集时高三倍。

请参见图2，图2是本申请实施例提供的图像处理方法的流程图。本实施例的图像处理方法，应用于图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座，所述方法包括：

步骤S110，通过所述卫星星座拍摄目标位置，获得与至少两个时刻分别对应的原始图像。

本步骤中，卫星星座中可以包括两颗或者两颗以上的卫星。

当从卫星星座中的两颗卫星采集的图像中获取目标位置的图像时，可以将两颗卫星相邻时间的采集的目标位置的图像作为原始图像。例如，t1时刻、t2时刻、t3时刻和t4时刻是一组时间序列，当卫星星座中包括卫星A和卫星B时，卫星A在t1时刻采集了目标位置的图像I1，卫星B在t1时刻后的t2时刻采集了目标位置的图像I2，卫星A在t2时刻后的t3时刻采集了目标位置的图像I3，卫星B在t3时刻后的t4时刻采集了目标位置的图像I4。则可以将I1和I2作为原始图像，也可以将I2和I3作为原始图像，还可以将I3和I4作为原始图像。

当从卫星星座中的多颗卫星采集的图像中获取目标位置的图像时，可以将多颗卫星按照时间序列采集的目标位置的图像作为原始图像。其中，获取的相邻原始图像的采集时间间隔均小于单个卫星采集目标位置的图像的最短时间间隔。单个卫星采集一次采集同一目标位置图像与下一次采集该目标位置的时间间隔最短为H，那么，获取的相邻原始图像的采集时间间隔应该小于H。

步骤S120，根据至少两幅所述原始图像之间的差异检测动目标。

在本步骤中，由于目标位置的动目标会发生移动，动目标移动后，其相对目标位置不移动的物体的相对位置就会改变，从而使得，不同时刻采集的目标位置的原始图像中，会出现一些部位的特征变化的情况，及不同时刻采集的原始图像之间存在一定的差异。因此，本步骤可以根据至少两幅原始图像检测所述动目标。

步骤S130，还原所述动目标的运动轨迹。

本步骤用于在检测出动目标后，还原出动目标的运动轨迹。从而确定某一时刻动目标的位置。

步骤S140，根据所述动目标的运动轨迹生成动画片段。

由于已经获得了动目标的轨迹，即在某一时刻动目标的位置，因此，可以根据动目标的轨迹确定在某一个时刻动目标的位置，因此，可以根据动目标的位置生成该时刻动目标在目标位置的相关图像，从而根据相关图像生成动画片段。并以动画片段的方式呈现地球的动态信息，实现大范围、动态信息更完整的地球准实时直播。

在本实施例中，所述根据至少两幅所述原始图像之间的差异检测动目标的步骤可以包括：

步骤S121，对至少两幅所述原始图像进行图像配准，得到至少两幅所述原始图像的图像配准结果。

步骤S122，根据至少两幅所述原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。

本实施例中，进行图像配准时可以采用基于特征点的自动配准算法。

例如，所述对至少两幅所述原始图像进行图像配准的步骤中，进行图像配准采用的特征点为SURF特征点、SIFT特征点等。本实施例能够完成图像快速配准。

本实施例中，根据所述至少两幅原始图像的图像配准结果检测动目标时，可以将图像配准后，具有对应关系的图像区域的信息直接用于检测动目标。

本实施例中，可以通过图像配准，生成具有对应特征点的至少两幅配准图像，每幅配准图像与一个时刻的原始图像对应，然后采用帧间差分法来检测动目标。所述图像配准结果中可以包括特征点相匹配的至少两幅配准图像，所述至少两幅配准图像与至少两幅原始图像一一对应。然后通过帧间差分法检测出至少两幅图配准图像之间的差异，当通过两幅配准图像来检测动目标时，可以采用，但不限于两帧差分法来检测两幅配准图像之间的差异，当通过两幅以上的配准图像来检测动目标时，可以采用，但不限于三帧差分法，减背景法或者光流法等。

当检测出各幅配准图之间的差异后，便可以根据各幅配准图像之间的差异检测动目标，然后进行动目标匹配以找出同一个动目标在各幅配准图像上位置。进行动目标匹配时，可以求取动目标的轮廓、质心和外接矩形等。然后，可以根据动目标的轮廓，外接矩形，动目标的面积或者动目标的灰度值来进行匹配。如果一个时刻对应的配准图像上的某一个动目标与另一个时刻对应的配准图像上的某一个动目标的轮廓相似，或者外接矩形相似，或者面积相近等，可以认为这两幅配准图像上的两个动目标是同一个。

在一种实施方式中，所述图像配准结果中包括特征点相匹配的至少两幅配准图像，所述至少两幅配准图像与原始图像一一对应，即一幅原始图像对应一幅配准图像时，所述还原所述动目标的运动轨迹的步骤可以包括：

将所述至少两幅配准图像以及所述至少两幅配准图像对应的原始图像的采集时间输入轨迹还原模型，得到所述动目标的运动轨迹。本实施例中，动目标的轨迹可以用动目标的质心轨迹表示。

本实施例直接通过预先训练好的轨迹还原模型来还原动目标的运动轨迹，具有方便快速的特点。

在本实施例中，背景图像是用来作为动画背景的图像，中间图像是所述背景图像上包括对应位置的动目标的图像；

请参照图3，所述根据所述动目标的运动轨迹生成动画片段的步骤包括：

步骤S141，根据与最先采集的原始图像对应的所述配准图像生成背景图像；

步骤S142，根据所述背景图像以及所述动目标的运动轨迹生成中间图像；

步骤S143，将所述中间图像和所述至少两幅配准图像生成动画片段。

本实施例中，最先采集的原始图像是指在所获取的用于还原动目标轨迹的多幅原始图像中，采集时间最早的原始图像。

请参照图4，本实施例中，所述根据与最先采集的原始图像对应的配准图像生成背景图像的步骤包括：

步骤S1411，获取所述动目标对应的像元，作为动目标像元；

本步骤中，在获取动目标的像元时，可以从各幅原始图像中获取，也可以从各幅原始图像对应的配准图像中获取。

步骤S1412，将与最先采集的原始图像对应的配准图像作为起始图像，计算所述起始图像中所述动目标像元周围预设范围内的像元的平均灰度值；

本步骤中，计算动目标像元周围预设范围内的像元的平均灰度值时，预设范围可以根据实际需要进行设置。

步骤S1413，将所述起始图像中动目标像元的灰度值替换为所述平均灰度值，得到所述背景图像。

本步骤中，将动目标像元替换为平均灰度，生成背景图像，可以去除背景图像上的动目标，使背景图像的视觉效果更好。

本实施例中，所述根据所述背景图像以及所述动目标的运动轨迹生成中间图像步骤包括，

根据还原的动目标的运动轨迹，采用动目标像元分别替换多个时刻动目标在背景图像上对应位置的背景像元，生成多幅中间图像。

本实施例中，可以求取出动目标像元的质心，然后使动目标像元的质心与相应时刻的轨迹重合，然后以动目标像元替换背景图像上相应的背景像元。

本实施例能够生成采集原始图像时刻之间的多个时刻时分别与动目标为位置对应的中间图像。

本实施例中，所述方法还包括，

将包括动目标的运动轨迹的图像和与所述运动轨迹对应的时间序列作为训练样本输入机器学习模型进行机器学习训练，获得轨迹还原模型。

本申请的另一实施例还提供一种图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座以及服务器；所述卫星星座用于拍摄目标位置，以获得与至少两个时刻分别对应的原始图像；所述服务器包括处理器和存储器，所述存储器存储有可执行指令，所述处理器在执行所述可执行指令时，

获得至少与两个时刻分别对应的原始图像；

根据至少两幅所述原始图像之间的差异检测动目标；

还原所述动目标的运动轨迹；

根据所述动目标的运动轨迹生成动画片段。

本实施例的一种图像处理系统，所述根据至少两幅所述原始图像检测动目标的步骤包括：

对至少两幅所述原始图像进行图像配准，得到所述至少两幅原始图像的图像配准结果；

根据所述至少两幅原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。

综上所述，本申请实施例中，通过卫星星座来采集目标位置的图像，可以采集大范围的目标位置的图像。此外，由于卫星星座中可以包括多颗卫星，由于多颗卫星中的每颗卫星在运行周期中都会采集同一目标位置的图像，因此，卫星星座整体对同一目标位置进行图像采集时的采集频率更高，可以更加及时地采集目标位置的图像，也就是说，卫星星座可以获得更短时间内目标位置的至少两幅原始图像，从而根据两幅原始图像生成短时间内目标位置的动态信息，并以动画片段的方式呈现该动态信息，即地球表面的动态信息，实现大范围、动态信息更完整的地球准实时直播。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于图像处理系统，所述图像处理系统包括由至少两颗卫星组成的卫星星座，所述方法包括：

通过所述卫星星座拍摄目标位置，获得与至少两个时刻分别对应的原始图像；

根据至少两幅所述原始图像之间的差异检测动目标；

还原所述动目标的运动轨迹；

根据所述动目标的运动轨迹生成动画片段。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据至少两幅所述原始图像之间的差异检测动目标的步骤包括：

对至少两幅所述原始图像进行图像配准，得到至少两幅所述原始图像的图像配准结果；

根据至少两幅所述原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对至少两幅所述原始图像进行图像配准的步骤中，进行图像配准采用的方法为基于特征点的自动配准方法。

4.根据权利要求2或3所述的图像处理方法，其特征在于，所述图像配准结果中包括特征点相匹配的至少两幅配准图像，所述至少两幅配准图像与所述原始图像一一对应；

所述还原所述动目标的运动轨迹的步骤包括：

将所述至少两幅配准图像以及所述至少两幅配准图像对应的原始图像的采集时间输入轨迹还原模型，得到所述动目标的运动轨迹。

5.根据权利要求4所述的图像处理方法，其特征在于，背景图像是用来作为动画背景的图像，中间图像是所述背景图像上包括对应位置的动目标的图像；

所述根据所述动目标的运动轨迹生成动画片段的步骤包括：

根据与最先采集的原始图像对应的所述配准图像生成背景图像；

根据所述背景图像以及所述动目标的运动轨迹生成中间图像；

将所述中间图像和所述至少两幅配准图像生成动画片段。

6.根据权利要求5所述的图像处理方法，其特征在于，所述根据与最先采集的原始图像对应的所述配准图像生成背景图像的步骤包括：

获取所述动目标对应的像元，作为动目标像元；将与最先采集的原始图像对应的配准图像作为起始图像，计算所述起始图像中所述动目标像元周围预设范围内的像元的平均灰度值；

将所述起始图像中动目标像元的灰度值替换为所述平均灰度值，得到所述背景图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述背景图像以及所述动目标的运动轨迹生成中间图像步骤包括，

根据还原的动目标的运动轨迹，采用动目标像元分别替换多个时刻动目标在背景图像上对应位置的背景像元，生成多幅中间图像。

8.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括，

将包括动目标的运动轨迹的图像和与所述运动轨迹对应的时间序列作为训练样本输入机器学习模型进行机器学习训练，获得轨迹还原模型。

9.一种图像处理系统，其特征在于，所述图像处理系统包括由至少两颗卫星组成的卫星星座以及服务器；所述卫星星座用于拍摄目标位置，以获得与至少两个时刻分别对应的至少两幅原始图像；所述服务器包括处理器和存储器，所述存储器存储有可执行指令，所述处理器在执行所述可执行指令时，

获得至少与两个时刻分别对应的原始图像；

根据至少两幅所述原始图像之间的差异检测动目标；

还原所述动目标的运动轨迹；

根据所述动目标的运动轨迹生成动画片段。

10.根据权利要求9所述的图像处理系统，其特征在于，所述根据至少两幅所述原始图像检测动目标的步骤包括：

对至少两幅所述原始图像进行图像配准，得到至少两幅所述原始图像的图像配准结果；

根据至少两幅所述原始图像的图像配准结果检测动目标，得到采集原始图像时刻所述动目标对应的位置。