CN111860226B - 用于图像处理的方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了用于图像处理的方法、装置、设备以及存储介质，涉及计算机视觉、三维图像重建领域。具体实现方案为：提供了一种图像处理的方法，包括：获取图像序列集合，该图像序列集合包括多个图像序列；确定图像序列集合中的图像序列之间的第一相似度度量；基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过本公开的实施例，能够减少三维图像重建中的计算量，提高计算效率，适用于自动驾驶领域。

Description

用于图像处理的方法、装置、设备以及存储介质

技术领域

本公开总体上涉及计算机视觉技术，并且更具体地涉及三维图像重建中的图像处理技术。

背景技术

三维图像的精确重建在诸多领域中发挥着重要的作用。为了从大量二维图像中准确重建出三维图像，需要对大量的二维图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配，因此是一项计算量很大的、极为耗时和耗资源的过程。

发明内容

本公开提供了一种用于图像处理的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像处理的方法，包括：获取图像序列集合，该图像序列集合包括多个图像序列；确定图像序列集合中的图像序列之间的第一相似度度量；基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。

根据本公开的另一方面，提供了一种图像处理的装置，包括：图像序列集合获取模块，被配置为获取图像序列集合，该图像序列集合包括多个图像序列；相似度度量确定模块，被配置为确定图像序列集合中的图像序列之间的第一相似度度量；图像序列集合划分模块，被配置为基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及图像关联度确定模块，被配置为在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。

根据本公开的又一方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的一方面的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，该计算机指令用于使计算机执行根据本公开的一方面的方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开的一方面的方法。

根据本申请的技术减少了三维图像重建中的计算量，提高了计算效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例能够在其中实现的示例环境的示意图；

图2是根据本申请实施例的图像处理的方法的示意图；

图3A是根据本申请实施例的图像序列集合的示意图；

图3B是根据本申请实施例的多个图像序列子集的示意图；

图4是根据本申请实施例的图像序列子集中的两个图像序列的示意图；

图5是根据本申请实施例的将图像序列集合划分成一个或多个图像序列子集的方法的示意图；

图6A是根据本申请实施例的图像序列集合的示意图；

图6B是根据本申请实施例的图像序列集合的示意图；

图7是根据本公开实施例的图像处理的装置的示意性框图；

图8是用来实现本申请实施例的图像处理的方法的电子设备的框图；

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

三维图像的精确重建在诸多领域中发挥着重要的作用。例如，在自动驾驶领域，所重建的高精度三维地图可以有助于自动驾驶车辆的计算平台做出正确的驾驶决策、路线规划等。然而，为了实现从大量图像中准确重建出高精度的三维地图，需要对大量的图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配，因此是一项计算量很大的、极为耗时和耗资源的过程。

在进行特征匹配计算之前，确定图像之间的关联度可以有助于减少特征匹配的计算量，提高计算效率，因为可以只对关联的图像进行特征匹配。

目前，在进行三维图像重建中的特征匹配之前，仅仅是根据采集的图像序列或视频的位置信息和采集时间对图像序列集合进行聚类，然后对聚类内的视频图像进行特征匹配计算。然而，通过这样的方式，所需的特征匹配的计算量仍然很大。

根据本公开的实施例，提出了一种图像处理的方案。在该方案中，根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集，然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过这种方式，可以有效地确定具有高关联度的图像，使得可以仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算，从而减少计算量、提高计算效率。

图1是本申请实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100包括图像处理设备110和图像获取设备120-1至120-3(统称为图像获取设备120)。图像获取设备120能够获取图像序列130-1至130-3(统称为图像序列130)并将图像序列130传输给图像处理设备110。图像处理设备110能够从图像序列130中确定图像之间的关联度。在一些实施例中，图像处理设备110可以是计算机、虚拟机、服务器等。图像获取设备120可以是相机、摄像机等。图像处理设备110和图像获取设备120之间可以通过网络彼此通信。网络可以是互联网、内联网等。

应当理解，仅出于示例性的目的描述了示例环境100，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与示例环境100不同的环境中。应当理解，上述各设备的具体数目仅出于说明性目的给出，而不暗示对本公开范围的任何限制。例如，本公开的实施例还可以被应用于更多的图像处理设备110、更多或更少的图像获取设备120。或者，本公开的实施例还可以将图像处理设备110和图像获取设备120集成在相同的设备中。

图2是根据本申请实施例的图像处理的方法200的示意图。在一些实施例中，方法200可以在图1示出的图像处理设备110中实现。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。

在S201，图像处理设备110可以获取图像序列集合，该图像序列集合包括多个图像序列。

在一些实施例中，图像处理设备110可以从不同的图像获取设备120中获取图像序列集合。附加地或备选地，在另一些实施例中，图像处理设备110可以从相同的图像获取设备120中获取图像序列集合。附加地，在一些实施例中，图像获取设备120可以是车辆中的视觉信息采集设备，车辆的计算平台可以通过获取车辆的总线控制系统中的信息，控制车辆的视觉信息采集设备采集图像，并将经处理的图像序列传输给图像处理设备110。例如，车辆的计算平台可以通过获取车轮的转速信息，控制车辆的视频信息采集设备在车轮每转0.33圈时采集一幅图像，并将按时间顺序排列的图像序列传输给图像处理设备110。

在一些实施例中，图像获取设备120可以在采集图像的同时记录图像被采集的地理位置信息，例如GPS信息，以及图像被采集的时间信息。因此，在一些实施例中，图像序列集合可以是在邻近的地理位置处被采集的图像序列集合。例如，在相同路段、相邻路段等处被采集的图像序列集合。附加地或备选地，图像序列集合可以是在相同的时间段内被采集的图像序列集合。例如，在相同的季节、相同的月份、相同的星期等被采集的图像序列集合。

在S202，图像处理设备110可以确定图像序列集合中的图像序列之间的第一相似度度量。

在一些实施例中，图像处理设备110可以首先确定与图像序列集合中的每个图像相对应的特征向量，然后根据图像的特征向量来确定图像序列之间的相似度。例如，对于具有1000个图像的图像序列1，图像处理设备110可以确定分别与这1000个图像相对应的1000个特征向量。类似地，对于具有2000个图像的图像序列2，图像处理设备110可以确定分别与这2000个图像相对应的2000个特征向量。然后，图像处理设备110可以计算与图像序列1相对应的1000个特征向量和与图像序列2相对应的2000个特征向量之间的向量距离，例如，欧式距离、曼哈顿距离、切比雪夫距离、夹角余弦距离等，以表征图像序列1与图像序列2之间的相似度。

应当理解，仅以示例性的方式示出了图像序列中图像的数目、表征相似度的向量距离等，而不暗示对于本公开的限制。例如，可以采用各种方法来计算图像的特征向量；还可以采用其他向量距离来表征图像序列之间的相似度。本公开在这些方面不受限制。

在S203，图像处理设备110可以根据第一相似度度量将图像序列集合划分成一个或多个图像序列子集。

下面参考图3来描述图2。图3A是根据本申请实施例的图像序列集合的示意图301。图3B是根据本申请实施例的多个图像序列子集的示意图302。如图3A所示，所获取的7个图像序列分别用编号1至7表示。每个图像序列中的图像的数目可以相同，也可以不同。在传统的三维图像重建方案中，每两个图像序列中的图像之间都要进行特征匹配计算。如图3B所示，这7个图像序列被划分为3个图像序列子集，其中，图像序列1、2和4为一个图像序列子集，图像序列1、3和6为一个图像序列子集，图像序列1、5和7为一个图像序列子集。关于如何将图像序列集合划分成一个或多个图像序列子集的细节，将在下文参考图5来详细描述。

现在返回图2。在S204，图像处理设备110可以在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。

例如，在一些实施例中，图像处理设备110可以通过确定各个图像的特征向量，然后计算特征向量之间的向量距离来确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。例如，仍然参考图3B，针对图像序列1、2和4组成的图像序列子集，图像处理设备110可以确定图像序列1中的图像与图像序列2或图像序列4中的图像的关联度。

附加地，在一些实施例中，图像处理设备110可以根据图像的关联度确定每个图像序列子集中的关联的图像，并且计算关联的图像的特征匹配，以用于三维图像重建。附加地，在一些实施例中，图像处理设备110可以根据所确定的关联的图像来构建图像的关联图谱，以指示来自不同图像序列的哪些图像之间具有较高的关联度。图4是根据本申请实施例的图像序列子集中的两个图像序列的示意图400。如图4所示，图像处理设备110可以确定上方的图像序列中的第4幅图像与下方的图像序列中的第1幅图像的关联度较高，上方的图像序列中的第5幅图像与下方的图像序列中的第2幅图像的关联度较高，以此类推。这样，在本申请的方案中，只需对每个图像序列子集中的关联的图像之间进行特征匹配计算。

在上述示例性实施例中，通过根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集，然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度，可以有效地确定具有高关联度的图像，使得能够仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算，从而减少计算量、提高计算效率。

此外，在上述示例性实施例中，由于图像序列集合被划分成一个或多个图像序列子集，因此不同的图像序列子集可以被分配到不同的计算设备上，以执行并行的特征匹配计算。通过这种方式，可以充分利用计算资源，进一步减少计算时间，提高计算效率。

图5是根据本申请实施例的将图像序列集合划分成一个或多个图像序列子集的方法500的示意图。在一些实施例中，方法500可以在图1示出的图像处理设备110中实现。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。

在S501，图像处理设备110可以从图像序列集合中确定基础图像序列，其中与基础图像序列相对应的第二相似度度量高于等于与图像序列集合中其他图像序列相对应的第二相似度度量，其中第二相似度度量是基于第一相似度度量确定的。

例如，在一些实施例中，图像处理设备110可以首先根据每个图像序列与其他图像序列之间的各个第一相似度度量来计算第一相似度度量的总和，作为第二相似度度量。然后，图像处理设备110可以将具有最高的第二相似度度量的图像序列确定为基础图像序列。备选地，在另一些实施例中，如果有多于一个的图像序列具有最高的第二相似度度量，则从这多于一个的图像序列中选择一个图像序列作为基础图像序列。应当理解，仅出于示例性目的示出了从第一相似度度量确定第二相似度度量的方法。还可以使用其他方式来确定第二相似度度量，本公开在此方面不受限制。

在S502，图像处理设备110可以将图像序列集合划分成一个或多个图像序列子集，以使每个图像序列子集包括基础图像序列和至少一个其他图像序列。优选地，基础图像序列和至少一个其他图像序列之间的第一相似度度量高于一阈值相似度度量。

在一些实施例中，图像处理设备110可以首先根据一阈值相似度度量来确定与基础图像序列的相似度高于阈值相似度度量的图像序列。附加地，图像处理设备110可以确定彼此之间的相似度高于阈值相似度度量的图像序列。在一些实施例中，该阈值相似度度量可以是预先确定的。备选地，在另一些实施例中，该阈值相似度度量可以是根据与每个图像序列相对应的各个第一相似度度量来确定的。例如，图像处理设备110可以对与每个图像序列相对应的各个第一相似度度量进行排序，然后将排名为第N的相似度确定为阈值相似度度量。

现在参考图6来描述图5。图6A和图6B是根据本申请实施例的图像序列集合的示意图。在图6A中，图像序列1被确定为基础图像序列。实线表示图像序列之间的相似度高于阈值相似度度量，虚线表示图像序列之间的相似度低于或等于阈值相似度度量。如图6A所示，图像处理设备110可以将彼此之间用实线相连的图像序列划分在一个图像序列子集中且每个图像序列子集包括基础图像序列1。例如，图像处理设备110可以将图像序列1、3和6划分在一个图像序列子集中，将图像序列1、6和7划分在一个图像序列子集中，将图像序列1和2划分在一个图像序列子集中等等。

附加地，在一些实施例中，图像处理设备110可以调整所划分的一个或多个图像序列子集。

例如，在一些实施例中，图像处理设备110可以根据以下准则来调整一个或多个图像序列子集：每个图像序列子集包括预定数目的图像序列。在一些实施例中，如果图像序列子集中的图像序列的数目少于预定数目，则从其他图像序列中选择一个图像序列添加到该图像子集中。如图6B所示，如果准则为每个图像序列子集包括3个图像序列，而图像处理设备110划分的一个图像序列子集中仅包括图像序列1和2，则图像处理设备110可以根据第一相似度度量将图像序列4添加到该图像序列子集中。在该实施例中，图像序列2与图像序列4之间的相似度低于阈值相似度度量(在图6A中用虚线表示)，但是高于或等于图像序列2与除了基础图像序列1之外的其他图像序列之间的相似度。因此，在上述准则下，图像序列4可以被调整为包括在图像序列1和2所组成的图像序列子集中(用粗实线表示)。

附加地或备选地，在一些实施例中，图像处理设备110可以根据以下准则来调整一个或多个图像序列子集：每个图像序列仅属于一个图像序列子集。在一些实施例中，如果一个图像序列可以被划分到多个图像序列子集中，则图像处理设备110可以从该多个图像序列子集中选择一个图像序列子集来划分该图像序列。仍然参考图6B，例如，图像序列6可以被划分到图像序列子集1、3和6以及图像序列子集1、6和7(在图6A中均用实线表示)中，则图像处理设备110可以选择将图像序列6划分在图像序列子集1、3和6中，因此，在图6B中，图像序列6和7之间改为用虚线表示。

在上述示例性实施例中，通过确定与图像序列集合中的其他图像序列都具有较高相似度的基础图像序列，并且将图像序列集合划分成包括基础图像序列和至少一个其他图像序列的一个或多个图像序列子集，可以高效地确定具有高关联度的图像。

此外，在上述示例性实施例中，由于各个图像序列子集可以被分配到不同的计算设备来进行特征匹配计算，因此，通过各种准则来调整所划分的一个或多个图像序列子集，可以充分且均衡地利用计算资源。

图7是根据本公开实施例的图像处理的装置700的示意性框图。如图7所示，装置700可以包括：图像序列集合获取模块701，被配置为获取图像序列集合，该图像序列集合包括多个图像序列；相似度度量确定模块702，被配置为确定图像序列集合中的图像序列之间的第一相似度度量；图像序列集合划分模块703，被配置为基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及图像关联度确定模块704，被配置为在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。

在某些实施例中，相似度度量确定模块702包括：特征向量确定模块(未示出)，被配置为确定与图像序列集合中的每个图像相对应的特征向量；以及第一相似度度量确定模块(未示出)，被配置为基于特征向量，确定图像序列集合中的图像序列之间的第一相似度度量。

在某些实施例中，图像序列集合划分模块703包括：基础图像序列确定模块(未示出)，被配置为从图像序列集合中确定基础图像序列，其中与基础图像序列相对应的第二相似度度量高于等于与图像序列集合中其他图像序列相对应的第二相似度度量，其中第二相似度度量是基于第一相似度度量确定的；以及第一图像序列集合划分模块(未示出)，被配置为将图像序列集合划分成一个或多个图像序列子集，以使每个图像序列子集包括基础图像序列和至少一个其他图像序列，其中基础图像序列和至少一个其他图像序列之间的第一相似度度量高于一阈值相似度度量。

在某些实施例中，第一图像序列集合划分模块(未示出)包括：图像序列子集调整模块(未示出)，被配置为调整一个或多个图像序列，其中调整基于以下准则中的至少一项：每个图像序列子集包括预定数目的图像序列；以及每个图像序列仅属于一个图像序列子集。

在某些实施例中，装置700还包括：关联图像确定模块(未示出)，被配置为基于关联度，确定每个图像序列子集中的关联的图像；以及图像重建模块(未示出)，被配置为计算关联的图像的特征匹配，以用于三维图像重建。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理的方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理的方法对应的程序指令/模块(例如，附图7所示的图像序列集合获取模块701、相似度度量确定模块702、图像序列集合划分模块703和图像关联度确定模块704)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像处理的方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集，然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度，可以有效地确定具有高关联度的图像，使得能够仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算，从而减少计算量、提高计算效率。此外，由于图像序列集合被划分成一个或多个图像序列子集，因此不同的图像序列子集可以被分配到不同的计算设备上，以执行并行的特征匹配计算。通过这种方式，可以充分利用计算资源，进一步减少计算时间，提高计算效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种图像处理的方法，包括：

获取图像序列集合，所述图像序列集合包括多个图像序列；

确定所述图像序列集合中的图像序列之间的第一相似度度量；

基于所述第一相似度度量，将所述图像序列集合划分成一个或多个图像序列子集；

在每个所述图像序列子集中，确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度；

基于所述关联度，确定每个所述图像序列子集中的关联的图像；以及

计算所述关联的图像的特征匹配，以用于三维图像重建。

2.根据权利要求1所述的方法，其中，确定所述图像序列集合中的图像序列之间的所述第一相似度度量包括：

确定与所述图像序列集合中的每个图像相对应的特征向量；以及

基于所述特征向量，确定所述图像序列集合中的图像序列之间的所述第一相似度度量。

3.根据权利要求1所述的方法，其中，基于所述第一相似度度量将所述图像序列集合划分成所述一个或多个图像序列子集包括：

从所述图像序列集合中确定基础图像序列，其中与所述基础图像序列相对应的第二相似度度量高于等于与所述图像序列集合中其他图像序列相对应的第二相似度度量，其中所述第二相似度度量是基于所述第一相似度度量确定的；以及

将所述图像序列集合划分成所述一个或多个图像序列子集，以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列，其中所述基础图像序列和所述至少一个其他图像序列之间的所述第一相似度度量高于一阈值相似度度量。

4.根据权利要求3所述的方法，其中，将所述图像序列集合划分成所述一个或多个图像序列子集以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列包括：

调整所述一个或多个图像序列子集，其中所述调整基于以下准则中的至少一项：

每个所述图像序列子集包括预定数目的图像序列；以及

每个所述图像序列仅属于一个所述图像序列子集。

5.一种图像处理的装置，包括：

图像序列集合获取模块，被配置为获取图像序列集合，所述图像序列集合包括多个图像序列；

相似度度量确定模块，被配置为确定所述图像序列集合中的图像序列之间的第一相似度度量；

图像序列集合划分模块，被配置为基于所述第一相似度度量，将所述图像序列集合划分成一个或多个图像序列子集；

图像关联度确定模块，被配置为在每个所述图像序列子集中，确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度；

关联图像确定模块，被配置为基于所述关联度，确定每个所述图像序列子集中的关联的图像；以及

图像重建模块，被配置为计算所述关联的图像的特征匹配，以用于三维图像重建。

6.根据权利要求5所述的装置，其中，所述相似度度量确定模块包括：

特征向量确定模块，被配置为确定与所述图像序列集合中的每个图像相对应的特征向量；以及

第一相似度度量确定模块，被配置为基于所述特征向量，确定所述图像序列集合中的图像序列之间的所述第一相似度度量。

7.根据权利要求5所述的装置，其中，所述图像序列集合划分模块包括：

基础图像序列确定模块，被配置为从所述图像序列集合中确定基础图像序列，其中与所述基础图像序列相对应的第二相似度度量高于等于与所述图像序列集合中其他图像序列相对应的第二相似度度量，其中所述第二相似度度量是基于所述第一相似度度量确定的；以及

第一图像序列集合划分模块，被配置为将所述图像序列集合划分成所述一个或多个图像序列子集，以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列，其中所述基础图像序列和所述至少一个其他图像序列之间的所述第一相似度度量高于一阈值相似度度量。

8.根据权利要求7所述的装置，其中，所述第一图像序列集合划分模块包括：

图像序列子集调整模块，被配置为调整所述一个或多个图像序列子集，其中所述调整基于以下准则中的至少一项：

每个所述图像序列子集包括预定数目的图像序列；以及

每个所述图像序列仅属于一个所述图像序列子集。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。