CN109255778A - 图像处理方法和装置、电子设备、存储介质、程序产品 - Google Patents

Abstract

本公开实施例提供了一种图像处理方法和装置、电子设备、存储介质、程序产品，其中，方法包括：接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果，通过排列顺序实现了从多个输入图像中确定至少一个图像对，实现了自动的图像变化检测，提高了处理效率的同时，减少了人工误差，提升了处理准确率。

Description

图像处理方法和装置、电子设备、存储介质、程序产品

技术领域

本公开涉及计算机视觉技术，尤其是一种图像处理方法和装置、电子设备、存储介质、程序产品。

背景技术

随着各种越来越高空间、时间、光谱分辨率卫星发射升空，遥感影像成为我们监测地球变化最直接和权威的数据源，尤其是关乎我们生活环境的土地利用情况也越来越得到人们的重视，对于土地情况的变化，需要及时检测以了解；例如：森林健康、城市扩张、农业生产、自然灾害、人为灾害、土地覆盖、冰雪范围、水面变化等的变换检测。

发明内容

本公开实施例提供了一种图像处理技术。

根据本公开实施例的一个方面，提供的一种图像处理方法，包括：

接收至少两个输入图像；

基于所述至少两个输入图像的排列顺序，确定所述至少两个输入图像包括的至少一个图像对；

对所述至少两个输入图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括每个所述图像对对应的图像特征对；

基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果。

可选地，在所述基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果之前，还包括：

对所述图像特征序列进行分片处理，获得所述至少两个输入图像中每个输入图像的图像特征；

基于所述图像对包括的输入图像和所述至少两个输入图像中每个输入图像的图像特征，确定所述图像对对应的图像特征对。

可选地，所述图像对包括在不同时间在同一目标区域采集到的两个图像，所述处理结果包括变化检测结果。

可选地，所述图像对包括第一视角视图和第二视角视图，所述处理结果包括视差检测结果。

可选地，所述对所述至少两个输入图像进行特征提取处理，得到图像特征序列，包括：

基于共享神经网络对所述至少两个输入图像中每个输入图像进行特征提取处理，得到所述图像特征序列。

可选地，所述图像对包括第一图像和第二图像；

所述基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果，包括：

连接每个所述图像对的所述第一图像的图像特征和所述第二图像的图像特征，得到至少一个连接特征；

基于所述至少一个连接特征，确定每个所述图像对的处理结果。

可选地，所述基于所述至少一个连接特征，确定每个所述图像对的处理结果，包括：

基于处理网络对所述连接特征进行处理，得到结果特征图；

基于所述结果特征图中每个像素的特征值，确定所述图像对的处理结果。

可选地，所述方法利用图像处理神经网络实现；

所述接收至少两个输入图像之前，还包括：

基于样本图像对集合，训练所述图像处理神经网络，所述样本图像对集合包括至少一个样本图像对，所述样本图像对具有标注信息。

可选地，所述标注信息包括标注变化图，所述标注变化图包含所述样本图像对中第一样本图像与第二样本图像之间发生变化的像素的信息。

可选地，所述基于样本图像对集合，训练所述图像处理神经网络，包括：

基于所述图像处理神经网络对所述样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图；

基于所述预测结果特征图和所述标注变化图训练所述图像处理神经网络。

可选地，所述图像处理神经网络包括：共享神经网络和处理网络；

所述基于所述图像处理神经网络对所述样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图，包括：

接收所述样本图像对集合；

基于所述共享神经网络对所述样本图像对集合中的每个样本图像进行特征提取，得到样本图像特征序列，所述样本图像特征序列包括每个所述样本图像对对应的样本图像特征对；

利用所述处理网络，基于至少一个所述样本图像对中每个样本图像对对应的样本图像特征对，得到所述每个样本图像对的预测结果特征图。

可选地，所述利用所述处理网络，基于至少一个所述样本图像对中每个样本图像对对应的样本图像特征对，得到所述每个样本图像对的预测结果特征图之前，还包括：

对所述样本图像特征序列进行分片处理，获得所述至少一个样本图像对中每个样本图像的样本图像特征；

基于所述样本图像对包括的样本图像和所述至少一个样本图像对中每个样本图像的样本图像特征，确定所述样本图像对对应的样本图像特征对，所述样本图像包括第一样本图像和第二样本图像。

可选地，所述样本图像特征对包括第一样本图像特征和第二样本图像特征；

所述利用所述处理网络，基于至少一个所述样本图像对中每个样本图像对对应的样本图像特征对，得到所述每个样本图像对的预测结果特征图，包括：

连接每对所述样本图像对的所述第一样本图像特征和所述第二样本图像特征，获得至少一个连接样本特征；

基于所述处理网络，对所述至少一个连接特征进行处理，得到至少一个所述样本图像对对应的预测结果特征图。

可选地，所述基于所述预测结果特征图和所述标注变化图训练所述图像处理神经网络，包括：

对所述预测结果特征图和所述标注变化图中对应位置的像素按位相减，获得损失；

基于所述损失调整所述共享神经网络和处理网络的网络参数。

根据本公开实施例的一个方面，提供的一种图像处理装置，包括：

图像接收单元，用于接收至少两个输入图像；

图像对确定单元，用于基于所述至少两个输入图像的排列顺序，确定所述至少两个输入图像包括的至少一个图像对；

特征提取单元，用于对所述至少两个输入图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括每个所述图像对对应的图像特征对；

结果获得单元，用于基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果。

可选地，所述装置还包括：

分片处理单元，用于对所述图像特征序列进行分片处理，获得所述至少两个输入图像中每个输入图像的图像特征；

特征对确定单元，用于基于所述图像对包括的输入图像和所述至少两个输入图像中每个输入图像的图像特征，确定所述图像对对应的图像特征对。

可选地，所述图像对包括在不同时间在同一目标区域采集到的两个图像，所述处理结果包括变化检测结果。

可选地，所述图像对包括第一视角视图和第二视角视图，所述处理结果包括视差检测结果。

可选地，所述特征提取单元，具体用于基于共享神经网络对所述至少两个输入图像中每个输入图像进行特征提取处理，得到所述图像特征序列。

可选地，所述图像对包括第一图像和第二图像；

所述结果获得单元，具体用于连接每个所述图像对的所述第一图像的图像特征和所述第二图像的图像特征，得到至少一个连接特征；基于所述至少一个连接特征，确定每个所述图像对的处理结果。

可选地，所述结果获得单元基于所述至少一个连接特征，确定每个所述图像对的处理结果时，用于基于处理网络对所述连接特征进行处理，得到结果特征图；基于所述结果特征图中每个像素的特征值，确定所述图像对的处理结果。

可选地，所述装置利用图像处理神经网络实现；

所述装置还包括：

网络训练单元，用于基于样本图像对集合，训练所述图像处理神经网络，所述样本图像对集合包括至少一个样本图像对，所述样本图像对具有标注信息。

可选地，所述标注信息包括标注变化图，所述标注变化图包含所述样本图像对中第一样本图像与第二样本图像之间发生变化的像素的信息。

可选地，所述网络训练单元，包括：

结果预测模块，用于基于所述图像处理神经网络对所述样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图；

训练模块，用于基于所述预测结果特征图和所述标注变化图训练所述图像处理神经网络。

可选地，所述图像处理神经网络包括：共享神经网络和处理网络；

所述结果预测模块，具体用于接收所述样本图像对集合；基于所述共享神经网络对所述样本图像对集合中的每个样本图像进行特征提取，得到样本图像特征序列，所述样本图像特征序列包括每个所述样本图像对对应的样本图像特征对；利用所述处理网络，基于至少一个所述样本图像对中每个样本图像对对应的样本图像特征对，得到所述每个样本图像对的预测结果特征图。

可选地，所述结果预测模块，还用于对所述样本图像特征序列进行分片处理，获得所述至少一个样本图像对中每个样本图像的样本图像特征；基于所述样本图像对包括的样本图像和所述至少一个样本图像对中每个样本图像的样本图像特征，确定所述样本图像对对应的样本图像特征对，所述样本图像包括第一样本图像和第二样本图像。

可选地，所述样本图像特征对包括第一样本图像特征和第二样本图像特征；

所述结果预测模块利用所述处理网络，基于至少一个所述样本图像对中每个样本图像对对应的样本图像特征对，得到所述每个样本图像对的预测结果特征图时，用于连接每对所述样本图像对的所述第一样本图像特征和所述第二样本图像特征，获得至少一个连接样本特征；基于所述处理网络，对所述至少一个连接特征进行处理，得到至少一个所述样本图像对对应的预测结果特征图。

可选地，所述训练模块，具体用于对所述预测结果特征图和所述标注变化图中对应位置的像素按位相减，获得损失；基于所述损失调整所述共享神经网络和处理网络的网络参数。

根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的图像处理装置。

根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于执行所述可执行指令使得所述处理器完成如上任意一项所述图像处理方法。

根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述图像处理方法。

根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像处理方法。

根据本申请实施例的再一个方面，提供的另一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的图像处理方法。

在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。

根据本申请实施例还提供了另一种图像处理方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列，图像特征序列包括每个图像对对应的图像特征对；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。

基于本公开上述实施例提供的一种图像处理方法，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果，通过排列顺序实现了从多个输入图像中确定至少一个图像对，实现了自动的图像变化检测，提高了处理效率的同时，减少了人工误差，提升了处理准确率。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开图像处理方法一个实施例的流程图。

图2为本公开图像处理方法一个实施例中图像处理神经网络的结构示意图。

图3为本公开图像处理方法一个可选示例的应用示意图。

图4为本公开图像处理方法另一个可选示例的应用示意图。

图5为本公开图像处理装置一个实施例的结构示意图。

图6为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

对于遥感图像不同时间的变化情况，需对不同时相图像进行配准和检测，在传统方案完成了多时相影像的配准后，仍需要人工设计变化检测方案、人工选取训练样本、调整训练不同方案中参数的各个阈值等等的流程。更遗憾的是，由于获取遥感影像的传感器、时相、分辨率、成像条件等的不同，前面繁重操作流程下获得的变化检测方案，常常只能用于与训练数据极其类似的一些影像，普适性特别差。所以目前具体的变化检测任务中仍有绝大部分工作量为人工工作，效率低下，成本较高。

图1为本公开图像处理方法一个实施例的流程图。如图1所示，该实施例方法包括：

步骤110，接收至少两个输入图像。

本公开实施例提供的图像处理方法具有批量处理能力。可选地，输入图像的数量可以是两个或两个以上，并且输入图像可以包括一个或多个图相对，其中，当只有两个输入图像时，这两个输入图像即为一个图像对。

可选地，图像对可以包括在不同时间在同一目标区域采集到的两个图像，例如：对遥感图像进行处理时，输入图像对为同一区域两个时相的遥感影像。时相表示随着环境条件的周期性变化，群落中各种生物的生长发育都相应有规律地进行，使群落表现出不同的时相。环境条件中广、温、湿度等都具有明显的周期性，如日周期、月周期和年周期，此时，图像处理方法可以用于确定图像对中两个图像之间的变化；可选地，图像对可以包括针对同一目标区域的不同视角的至少两个图像，例如：图像对包括第一视角视图和第二视角视图，例如左视角图像和右视角图像，不同视角获得的同一目标区域会存在一定的差异，此时，图像处理方法可以用于确定图像对中两个不同视角的图像之间的视差，等等，本公开实施例对图像对的具体实现不作限定。

而当输入图像的数量为两个以上时，通过本实施例中步骤120按照预设的排列顺序将两个以上的输入图像划分为至少两个图像对。

步骤120，基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对。

本公开实施例中为了识别输入图像中哪两个输入图像是一个图像对，可选地，通过按照排列顺序选择预设位置的输入图像来确定哪两个输入图像是成对的，即构成一个图像对；该排列顺序可以预先设定，例如：可以设定排列顺序中相邻的两个位置是成对的，此时，按照排列顺序获得至少两个输入图像，即可将每两个相邻的输入图像确定为一个图像对，实现对图像对的图像处理；具体排列顺序中哪两个位置是对应的成对关系，本申请不做具体限定，只需按照对应的排列顺序获得输入图像即可。

在一个具体例子中，图像处理方法可以通过图像处理神经网络实现，该图像处理神经网络可以包括数据层，用于接收输入图像，其中，在数据层可以预先设定多个输入位置以及多个输入位置中哪些输入位置相对应。这样，在接收到至少两个输入图像之后，可以基于该至少两个输入图像对应的输入位置以及至少两个输入位置中的预设对应关系，确定该至少两个输入图像中的至少一个图像对，但本公开实施例不限于此。

步骤130，对至少两个输入图像进行特征提取处理，得到图像特征序列。

其中，图像特征序列包括每个输入图像的图像特征，另一方面，图像特征序列包括每个图像对对应的图像特征对，其中，该图像特征对包含图像对中每个输入图像的图像特征。

在一些实现方式中，可以采用相同的方式对该至少两个输入图像进行特征提取处理，得到图像特征序列。例如，可以采用同一神经网络或同一神经网络单元或同一卷积块对至少两个输入图像进行特征提取处理，得到图像特征序列。可选地，基于共享神经网络对至少两个输入图像中每个输入图像进行特征提取，得到图像特征序列。

基于同一共享神经网络处理图像对中的两个输入图像，进行特征提取，即使是不同时相的图像，但它们需要进行相同的特征提取，基于同一共享神经网络进行处理，非常方便的实现了网络参数共享。训练过程也只需要对数据进行拆分和合并操作，几乎不提升计算量，并提升共享神经网络体特征提取能力的鲁棒性。

共享神经网络的网络结构可以采用能够实现特征提取的任一网络结构，本公开对于共享神经网络的具体结构不做限制。

步骤140，基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。

可选地，当图像对包括在不同时间在同一目标区域采集到的两个图像，该处理结果包括变化检测结果，即，可获得同一目标区域在不同时间发生的变化。可选地，图像对的处理结果可以是两个图像(例如：第一图像和第二图像)之间具有哪些不同的像素，即在不同时相，图像中的哪些区域发生了变化，这里的变化结果可以通过与第一图像和第二图像相同大小的一个特征图进行表示，该特征图中每个像素的值可以表示该像素在第一图像和第二图像中是否相同。

可选地，当图像对包括第一视角视图和第二视角视图，该处理结果包括视差检测结果，即，可获得同一目标区域通过不同视角获得的图像之间的区别，通过不同视角获得的图像之间的区别可以获得该目标区域更全面的图像信息，当进行目标区域识别或其他图像处理任务时，提高了任务处理的准确度。

基于本公开上述实施例提供的一种图像处理方法，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果，通过排列顺序实现了从多个输入图像中确定至少一个图像对，实现了自动的图像变化检测，提高了处理效率的同时，减少了人工误差，提升了处理准确率。

在一个或多个可选的实施例中，步骤140之前，还可以包括：

对图像特征序列进行分片处理，获得至少两个输入图像中每个输入图像的图像特征；

基于图像对包括的输入图像和至少两个输入图像中每个输入图像的图像特征，确定图像对对应的图像特征对。

可选地，如果该至少两个输入图像包括多个图像对，则对于基于共享神经网络获得的图像特征序列，需要进行拆分，以获得每个图像对对应的图像特征对。在一些可选的实现方式中，采用分片处理，通过从设定的成对的位置中获取图像特征以获得图像特征对。可选地，通过训练后的共享神经网络可对获得的特征序列进行成对拆分，以获得成对的第一图像特征和第二图像特征，其中，第一图像特征和第二图像特征对应一个图像对。例如：在神经网络的数据层(Data-layer)进行特征序列的数据组织。比如Data-layer如果读取了8个图像，表示为img1_1\img1_2\img1_3\img1_4\img2_1\img2_2\img2_3\img2_4，那么只需要知道读取图像的个数以及Data-layer中的输入位置之间的对应关系，便可以将数据转换为img1_1\img2_1、img1_2\img2_2、img1_3\img2_3、img1_4\img2_4这4个图像对，并按照输入位置之间的对应关系对特征序列进行分片，得到4个图像对对应的特征对。

在得到至少一个图像对中每个图像对对应的图像特征对之后，可以基于每个图像对对应的图像特征对，确定该图像对的处理结果。在一个或多个可选的实施例中，图像对可以包括第一图像和第二图像，操作140可以包括：

连接第一图像的图像特征和第二图像的图像特征，得到连接特征；

基于连接特征，确定图像对的处理结果。

为了识别第一图像和第二图像之间的差别，需要结合两个图像对应的第一特征和第二特征获得变化结果，具体地，可以通过连接第一特征和第二特征，例如：第一特征和第二特征的大小都为c×w×h，其中，c表示维度，w表示长度，h表示高度，经过连接得到的连接特征为2×c×w×h，表示进行通道叠加；还可以进行其他形式的连接，本公开实施例对具体获得连接特征的过程不做限制，只需将第一特征和第二特征在处理过程都得到利用即可。

可选地，基于处理网络对连接特征进行处理，得到结果特征图；可选地，该结果特征图与第一图像和第二图像的大小相同。

基于结果特征图中每个像素的特征值，确定图像对的处理结果。

可选地，处理网络对连接特征进行处理，该处理网络经过训练，得到的结果特征图，其大小与第一图像和第二图像的大小相同，而其中每个像素表示第一图像和第二图像中的像素在该位置是否相同，当第一图像和第二图像为同一目标区域在不同时间获取的图像时，为了表示第一图像与第二图像之间是否存在变化，可以通过0表示该像素未发生，通过非0的值表示该像素发生变化的概率；而当第一图像和第二图像为不同视角获取的两个图像时，为了表示第一图像与第二图像之间是否存在不同，可以通过0表示该像素在不同视角下相同，通过非0的值表示该像素在不同视角下不同的概率。

在一个或多个可选的实施例中，本申请实施例图像处理方法可以利用图像处理神经网络实现，此时在步骤110之前，还可以包括：

基于样本图像对集合，训练图像处理神经网络。

其中，样本图像对集合包括至少一对样本图像对，每对样本图像对具有标注信息。

可选地，该标注信息可以包括同一目标区域不同时刻的两个样本图像之间的变化信息，例如标注信息包括变化图，或同一目标区域在不同视角的两个样本图像之间的视差信息，例如标注信息包括视差图，等等，本公开实施例对标注信息的具体实现不作限定。

为了实现准确的对图像对进行变化检测，需要预先对图像处理神经网络进行训练，对于图像处理神经网络的训练可通过监督训练的方式实现，监督训练需要样本图像对集合具有标注信息，可选地，标注信息包括标注变化图，标注变化图包含样本图像对中第一样本图像与第二样本图像之间发生变化的像素的信息。已知标注变化图，即已知每对样本图像对中第一样本图像与第二样本图像之间发生变化的像素，以此为监督训练得到的图像处理神经网络对像素变化的识别更准确。

可选地，基于样本图像对集合，训练图像处理神经网络，包括：

基于图像处理神经网络对样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图；

基于预测结果特征图和标注变化图训练图像处理神经网络。

可选地，基于预测结果特征图和标注变化图可以获得损失(loss)，基于损失通过反向梯度传播对图像处理神经网络中的参数进行调整，即可实现对图像处理神经网络的训练；由于本公开是基于多组样本图像对进行训练。

可选地，图像处理神经网络可以包括但不限于：共享神经网络和处理网络；

基于图像处理神经网络对样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图，包括：

接收样本图像对集合；

基于共享神经网络对样本图像对集合中的各样本图像对进行特征提取，得到样本图像特征序列；

其中，样本图像特征序列包括每个样本图像对对应的样本图像特征对。基于同一共享神经网络处理样本图像对中的两个样本图像，进行特征提取，即使是不同时相的样本图像，但它们需要进行相同的特征提取，基于同一共享神经网络进行处理，非常方便的实现了网络参数共享。

利用处理网络，基于至少一个样本图像对中每个样本图像对对应的样本图像特征对，得到每个样本图像对的预测结果特征图。

可选地，预测结果特征图与样本图像对中的第一样本图像和第二样本图像的大小相同，其中每个像素表示第一样本图像和第二样本图像在该位置是否相同。当第一样本图像和第二样本图像为同一目标区域在不同时间获取的样本图像时，为了表示第一样本图像与第二样本图像之间是否存在变化，可以通过0表示该像素未发生，通过非0(例如：1)的值表示该像素发生了变化；而当第一图像和第二图像为不同视角获取的两个图像时，为了表示第一图像与第二图像之间是否存在不同，可以通过0表示该像素在不同视角下相同，通过非0(例如：1)的值表示该像素在不同视角下不同。

所有样本图像经过相同的共享神经网络进行特征提取，而且经过共享神经网络的处理后，可以简单的将两组数据进行拆分，而不必将每组数据分别经过不同的网络，或者经过相同的网络，减小网络结构的同时，提高了处理效率。

可选地，利用处理网络，基于至少一个样本图像对中每个样本图像对对应的样本图像特征对，得到每个样本图像对的预测结果特征图之前，还包括：

对样本图像特征序列进行分片处理，获得至少一个样本图像对中每个样本图像的样本图像特征；

基于样本图像对包括的样本图像和至少一个样本图像对中每个样本图像的样本图像特征，确定样本图像对对应的样本图像特征对，样本图像包括第一样本图像和第二样本图像。

在训练过程中，处理网络对样本图像对的分片处理与测试过程相同，由于样本图像对是已知哪两个样本图像为一个样本图像对的，只需按照设定顺序输入，即可获得对应的样本图像特征对，可选地，可以通过神经网络的数据层(Data-layer)获取图像，并对多个图像进行拆分，以获得成对的样本图像对，会获得多个特征，对获得的特征序列进行成对拆分，以获得多组成对的第一样本图像特征和第二样本图像特征，其中每对第一样本图像特征和第二样本图像特征对应一个样本图像对。例如：在神经网络的数据层(Data-layer)进行样本特征序列的数据组织。比如Data-layer如果读取了8个样本图像，表示为img1_1\img1_2\img1_3\img1_4\img2_1\img2_2\img2_3\img2_4，那么只需要知道读取的样本图像的个数以及Data-layer中的输入位置之间的对应关系，便可以将数据转换为img1_1\img2_1、img1_2\img2_2、img1_3\img2_3、img1_4\img2_4这4个样本图像对，并按照输入位置之间的对应关系对特征序列进行分片，得到4个样本图像对对应的样本特征对。

可选地，样本图像特征对包括第一样本图像特征和第二样本图像特征；

利用处理网络，基于至少一个样本图像对中每个样本图像对对应的样本图像特征对，得到每个样本图像对的预测结果特征图，包括：

连接每对样本图像对的第一样本图像特征和第二样本图像特征，获得至少一个连接样本特征；

基于处理网络，对至少一个连接特征进行处理，得到至少一个样本图像对对应的预测结果特征图。

为了预测第一样本图像和第二样本图像之间的差别，需要结合两个样本图像对应的第一样本图像特征和第二样本图像特征获得变化结果，具体地，可以通过连接第一样本图像特征和第二样本图像特征，例如：第一样本图像特征和第二样本图像特征的大小都为c×w×h，其中，c表示维度，w表示长度，h表示高度，经过连接得到的连接特征为2×c×w×h，表示进行通道叠加；还可以进行其他形式的连接，本公开实施例对具体获得连接样本特征的过程不做限制，只需将第一样本图像特征和第二样本图像特征在处理过程都得到利用即可。

不同时相的特征对比后就会得到分类结果，或者说是识别结果。比如，基于特征是否发生了变化，可以做影像上不同区域是否发生变化的分类；或者针对具体地物，实现了耕地变化识别、建筑物变化识别、水体变化识别等等。

图2为本公开图像处理方法一个实施例中图像处理神经网络的结构示意图。如图2所示，在对图像处理神经网络进行训练的过程中，通过数据层(Data-layer)获取样本图像对集合，样本图像对集合中的各样本图像对具有标注信息；样本图像对集合经过共享神经网络的处理得到样本图像特征序列，对样本图像特征序列进行分片处理，本实施例中将同一样本图像对中的第一样本图像特征和第二样本图像特征分别划分到特征1(用于保存至少一个样本图像特征)和特征2(用于保存至少一个样本图像特征)中，即，特征1中保存的都是样本图像对中的第一样本图像特征，特征2中保存的都是样本图像对中的第二样本图像特征，特征1中不存在两个样本图像是成对的，同样，特征2中不存在两个样本图像是成对的；将分片后的样本图像特征进行特征连接得到连接样本特征，经过处理网络对连接后的连接样本特征进行处理即可获得预测结果特征图，结合样本图像对的标注信息，即可实现对图像处理神经网络的训练。

可选地，基于预测结果特征图和标注变化图训练图像处理神经网络，包括：

对预测结果特征图和标注变化图中对应位置的像素按位相减，获得损失；

基于损失调整共享神经网络和处理网络的参数。

经过图像处理神经网络得到的预测结果特征图每个像素可以是一个概率值，而标注变化图中每个像素是已知的0或1，经过按位相减，可获得图像处理神经网络的损失，通过该损失对调整共享神经网络和处理网络的参数，即可实现对图像处理神经网络的训练。

图3-4为本公开基于图像处理神经网络检测图像变化的方法一个和另一个可选示例的应用示意图。如图3所示，将一对相同位置不同时相的遥感图像作为样本图像对，一对训练样本包括一对样本图像对(即图3上侧的两幅对应影像)和一个尺寸大小相同的变化标签(label)数据(对应标注变化图，即图3下方图像，其中所标识的区域表示变化的区域)，例如：这个label数据大小与图像对大小一致，他的每个像素为一个二值数据，表示图像对的对应位置是否发生了变化。比图，在图像对中图像1为林地的位置，在图3中是否还是林地，若还是林地，表示没有没发生变化，记为0；若图像3中不再是林地，表示该位置发生了变化，记为1。这样的组织形式有利于该网络的训练和应用。

通过参数共享的共享神经网络对样本图像对进行特征提取，该部分对图像对进行无差别的特征提取，同时也是利用了所有的样本对该部分网络的参数进行了学习，提升了该共享神经网络的特征提取能力。

由于每次网络会选取多个样本进行学习，即会一次性得到多组图像对特征，所以首先对这些特征图进行拆分，确定哪些是同一个时相的影像，分别放置到conv_pair1、conv_apir2中，然后根据索引将属于一个图像对的影像特征进行融合，得到能够表达一个区域不同时相信息的特征。

基于上述能够描述指定区域变化信息的特征进行变化检测，得到如图4所示的在林地变化检测方面的效果示意，图中的多边形框为检测到的变化区域在各个时相影像上的叠加显示。

变化区域主要是指一个位置在不同的时刻，是否发生了变化，所以需要基于不同时刻数据(时相)特征变化了也就是区域发生了变化，所以需要提取一个区域的不同时相特征，这种结构主要用于变化检测任务，当然可以用于多种的图像处理：比如灾害后建筑物是否因为倒塌而发生了变化、洪涝灾害使耕地受到多大的破坏等变化。

本公开上述实施例利用已有历史变化数据，转化为适用于网络学习的图像对，经过针对性设置的数据层，读取数据，同时方便实现对网络特征提取部分的参数共享，在网络后半部分，基于数据层的独特设计，正确拆分、融合对应图像对，然后将图像对特征送入网络后半部分对变化区域进行高精度检测。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本公开图像处理装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图5所示，该实施例的装置包括：

图像接收单元51，用于接收至少两个输入图像。

本公开实施例提供的图像处理装置具有批量处理能力。可选地，输入图像的数量可以是两个或两个以上，并且输入图像可以包括一个或多个图相对，其中，当只有两个输入图像时，这两个输入图像即为一个图像对。

图像对确定单元52，用于基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对。

本公开实施例中为了识别输入图像中哪两个输入图像是一个图像对，可选地，通过按照排列顺序选择预设位置的输入图像来确定哪两个输入图像是成对的，即构成一个图像对；该排列顺序可以预先设定，例如：可以设定排列顺序中相邻的两个位置是成对的，此时，按照排列顺序获得至少两个输入图像，即可将每两个相邻的输入图像确定为一个图像对，实现对图像对的图像处理；具体排列顺序中哪两个位置是对应的成对关系，本申请不做具体限定，只需按照对应的排列顺序获得输入图像即可。

特征提取单元53，用于对至少两个输入图像进行特征提取处理，得到图像特征序列。

其中，图像特征序列包括每个图像对对应的图像特征对，另一方面，图像特征序列包括每个图像对对应的图像特征对，其中，该图像特征对包含图像对中每个输入图像的图像特征。

在一些实现方式中，可以采用相同的方式对该至少两个输入图像进行特征提取处理，得到图像特征序列。例如，可以采用同一神经网络或同一神经网络单元或同一卷积块对至少两个输入图像进行特征提取处理，得到图像特征序列。可选地，基于共享神经网络对至少两个输入图像中每个输入图像进行特征提取，得到图像特征序列。

基于同一共享神经网络处理图像对中的两个输入图像，进行特征提取，即使是不同时相的图像，但它们需要进行相同的特征提取，基于同一共享神经网络进行处理，非常方便的实现了网络参数共享。训练过程也只需要对数据进行拆分和合并操作，几乎不提升计算量，并提升共享神经网络体特征提取能力的鲁棒性。

结果获得单元54，用于基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。

基于本公开上述实施例提供的一种图像处理装置，通过排列顺序实现了从多个输入图像中确定至少一个图像对，实现了自动的图像变化检测，提高了处理效率的同时，减少了人工误差，提升了处理准确率。

在一个或多个可选的实施例中，本实施例装置还包括：

分片处理单元，用于对图像特征序列进行分片处理，获得至少两个输入图像中每个输入图像的图像特征；

特征对确定单元，用于基于图像对包括的输入图像和至少两个输入图像中每个输入图像的图像特征，确定图像对对应的图像特征对。

可选地，如果该至少两个输入图像包括多个图像对，则对于基于共享神经网络获得的图像特征序列，需要进行拆分，以获得每个图像对对应的图像特征对。在一些可选的实现方式中，采用分片处理，通过从设定的成对的位置中获取图像特征以获得图像特征对。可选地，通过训练后的共享神经网络可对获得的特征序列进行成对拆分，以获得成对的第一图像特征和第二图像特征，其中，第一图像特征和第二图像特征对应一个图像对。

可选地，图像对包括在不同时间在同一目标区域采集到的两个图像，处理结果包括变化检测结果。

可选地，图像对包括第一视角视图和第二视角视图，处理结果包括视差检测结果。

在一个或多个可选的实施例中，图像对包括第一图像和第二图像；

结果获得单元54，具体用于连接每个图像对的第一图像的图像特征和第二图像的图像特征，得到至少一个连接特征；基于至少一个连接特征，确定每个图像对的处理结果。

为了识别第一图像和第二图像之间的差别，需要结合两个图像对应的第一特征和第二特征获得变化结果，具体地，可以通过连接第一特征和第二特征，例如：第一特征和第二特征的大小都为c×w×h，其中，c表示维度，w表示长度，h表示高度，经过连接得到的连接特征为2×c×w×h，表示进行通道叠加；还可以进行其他形式的连接，本公开实施例对具体获得连接特征的过程不做限制，只需将第一特征和第二特征在处理过程都得到利用即可。

可选地，结果获得单元54基于至少一个连接特征，确定每个图像对的处理结果时，用于基于处理网络对连接特征进行处理，得到结果特征图；基于结果特征图中每个像素的特征值，确定图像对的处理结果。

在一个或多个可选的实施例中，本实施例装置可以利用图像处理神经网络实现；

本实施例装置还包括：

网络训练单元，用于基于样本图像对集合，训练图像处理神经网络，样本图像对集合包括至少一个样本图像对，样本图像对具有标注信息。

可选地，该标注信息可以包括同一目标区域不同时刻的两个样本图像之间的变化信息，例如标注信息包括变化图，或同一目标区域在不同视角的两个样本图像之间的视差信息，例如标注信息包括视差图，等等，本公开实施例对标注信息的具体实现不作限定。

为了实现准确的对图像对进行变化检测，需要预先对图像处理神经网络进行训练，对于图像处理神经网络的训练可通过监督训练的方式实现，监督训练需要样本图像对集合具有标注信息，可选地，标注信息包括标注变化图，标注变化图包含样本图像对中第一样本图像与第二样本图像之间发生变化的像素的信息。已知标注变化图，即已知每对样本图像对中第一样本图像与第二样本图像之间发生变化的像素，以此为监督训练得到的图像处理神经网络对像素变化的识别更准确。

可选地，网络训练单元，包括：

结果预测模块，用于基于图像处理神经网络对样本图像对集合中的各样本图像对进行处理，得到至少一个预测结果特征图；

训练模块，用于基于预测结果特征图和标注变化图训练图像处理神经网络。

可选地，图像处理神经网络包括：共享神经网络和处理网络；

结果预测模块，具体用于接收样本图像对集合；基于共享神经网络对样本图像对集合中的每个样本图像进行特征提取，得到样本图像特征序列，样本图像特征序列包括每个样本图像对对应的样本图像特征对；利用处理网络，基于至少一个样本图像对中每个样本图像对对应的样本图像特征对，得到每个样本图像对的预测结果特征图。

可选地，结果预测模块，还用于对样本图像特征序列进行分片处理，获得至少一个样本图像对中每个样本图像的样本图像特征；基于样本图像对包括的样本图像和至少一个样本图像对中每个样本图像的样本图像特征，确定样本图像对对应的样本图像特征对，样本图像包括第一样本图像和第二样本图像。

可选地，样本图像特征对包括第一样本图像特征和第二样本图像特征；

结果预测模块利用处理网络，基于至少一个样本图像对中每个样本图像对对应的样本图像特征对，得到每个样本图像对的预测结果特征图时，用于连接每对样本图像对的第一样本图像特征和第二样本图像特征，获得至少一个连接样本特征；基于处理网络，对至少一个连接特征进行处理，得到至少一个样本图像对对应的预测结果特征图。

可选地，训练模块，具体用于对预测结果特征图和标注变化图中对应位置的像素按位相减，获得损失；基于损失调整共享神经网络和处理网络的网络参数。

根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一实施例所述的图像处理装置。

根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于执行所述可执行指令使得所述处理器完成如上任意一实施例所述图像处理方法。

根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一实施例所述图像处理方法。

根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一实施例所述图像处理方法。

根据本申请实施例的再一个方面，提供的另一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的图像处理方法。

在一个或多个可选实施方式中，本申请实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的图像处理方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

根据本申请实施例还提供了图像处理方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列，图像特征序列包括每个图像对对应的图像特征对；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。

在一些实施例中，该图像处理指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像处理，相应地，响应于接收到调用指令，第二装置可以执行上述图像处理方法中的任意实施例中的步骤和/或流程。

应理解，本申请实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本申请实施例的限定。

还应理解，在本申请中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本申请中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备600的结构示意图：如图6所示，电子设备600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器602和/或随机访问存储器603中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列，图像特征序列包括每个图像对对应的图像特征对；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。

此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使中央处理单元601执行上述通信方法对应的操作。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU613和CPU601可分离设置或者可将GPU613集成在CPU601上，通信部可分离设置，也可集成设置在CPU601或GPU613上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，接收至少两个输入图像；基于至少两个输入图像的排列顺序，确定至少两个输入图像包括的至少一个图像对；对至少两个输入图像进行特征提取处理，得到图像特征序列，图像特征序列包括每个图像对对应的图像特征对；基于至少一个图像对中每个图像对对应的图像特征对，获得每个图像对的处理结果。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能的操作。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

接收至少两个输入图像；

基于所述至少两个输入图像的排列顺序，确定所述至少两个输入图像包括的至少一个图像对；

对所述至少两个输入图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括每个所述图像对对应的图像特征对；

基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果。

2.根据权利要求1所述的方法，其特征在于，在所述基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果之前，还包括：

对所述图像特征序列进行分片处理，获得所述至少两个输入图像中每个输入图像的图像特征；

基于所述图像对包括的输入图像和所述至少两个输入图像中每个输入图像的图像特征，确定所述图像对对应的图像特征对。

3.根据权利要求1或2所述的方法，其特征在于，所述图像对包括在不同时间在同一目标区域采集到的两个图像，所述处理结果包括变化检测结果。

4.根据权利要求1-3任一所述的方法，其特征在于，所述图像对包括第一视角视图和第二视角视图，所述处理结果包括视差检测结果。

5.根据权利要求1-4任一所述的方法，其特征在于，所述对所述至少两个输入图像进行特征提取处理，得到图像特征序列，包括：

基于共享神经网络对所述至少两个输入图像中每个输入图像进行特征提取处理，得到所述图像特征序列。

6.一种图像处理装置，其特征在于，包括：

图像接收单元，用于接收至少两个输入图像；

图像对确定单元，用于基于所述至少两个输入图像的排列顺序，确定所述至少两个输入图像包括的至少一个图像对；

特征提取单元，用于对所述至少两个输入图像进行特征提取处理，得到图像特征序列，所述图像特征序列包括每个所述图像对对应的图像特征对；

结果获得单元，用于基于所述至少一个图像对中每个图像对对应的图像特征对，获得所述每个图像对的处理结果。

7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求6所述的图像处理装置。

8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于执行所述可执行指令使得所述处理器完成权利要求1至5任意一项所述图像处理方法。

9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5任意一项所述图像处理方法。

10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5任意一项所述图像处理方法。