CN111860225A - 一种图像处理的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理的方法、装置、电子设备及存储介质，涉及计算机视觉领域。具体实现方案为：获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；根据匹配关联关系，确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及根据每个待建模图像帧中第一特征点集合中的第一特征点的数目，从待建模图像帧集合中选择待建模图像帧以用于三维重建。

Description

一种图像处理的方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理领域，具体而言，涉及计算机视觉技术。

背景技术

随着技术的发展，各类数码相机和摄像机以及手机等数字产品已经成为人们生活的必需品，人们可以方便地获取影像数据。影像不仅是一种大众化的娱乐媒介，更是一种历史风貌、环境变迁、场景描述的真实再现，因此，可以说图像是表达现实世界的有效载体。随着智能制造、人工智能、辅助驾驶等技术的发展，人们迫切需要充分挖掘图像中包含的三维几何信息，从而利用图像来真实还原现实世界。而在众多影像数据中，视频是一类重要的信息源，不仅具有一般图像、影像的特征，还具有时间属性等，因此，从视频数据中有效提取对象三维信息以进行三维重建的技术有着巨大的市场需求。

发明内容

本公开提供了一种图像处理的方法、装置、设备以及存储介质，解决跨时间、跨相机导致图像关联度低而无法三维重建的问题。

根据本公开的第一方面，提供了一种图像处理的方法，包括：获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；根据匹配关联关系，确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及根据每个待建模图像帧中第一特征点集合中的第一特征点的数目，从待建模图像帧集合中选择待建模图像帧以用于三维重建。

根据本公开的第二方面，提供了一种图像处理的装置，包括：匹配关联关系获取模块，用于获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；特征点集合确定模块，用于根据匹配关联关系确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及重建模块，用于根据每个待建模图像帧中第一特征点集合中的第一特征点的数目从待建模图像帧集合中选择待建模图像帧以用于三维重建。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被所述至少一个处理器执行的指令，指令被所述一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行根据本公开的第一方面的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开的上述以及其它目的、特征和优势将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的图像处理的方法的流程图；

图3示出了根据本公开的一些实施例的特征点的匹配关联关系的示意图；

图4示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；

图5示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；

图6示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；

图7示出了根据本公开实施例的图像处理的装置的示意性框图；以及

图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如本文所使用的，术语“采集实体”可以但不限于是驾驶系统。驾驶系统可以包括自动驾驶系统和/或非自动驾驶系统。在下文中，以采集车为例来讨论本公开的实施例，然而应当理解，本公开的方案也可以被类似地应用于其他类型的采集实体。

如以上提及的，利用视频图像来真实还原现实世界(即，三维重建)对于智能制造、人工智能、辅助驾驶等技术的发展而言是很重要的。基于视频序列的三维重建可有效恢复对象的三维模型，从而方便进一步获取对象的相关信息。现有的三维重建，一般是通过SFM(structure from motion，运动恢复结构)技术来实现三维场景重建。重建过程一般为：先获取待重建场景对应的多幅二维图像，然后对所有二维图像进行特征提取、特征匹配等操作，确定二维图像中的二维图像点与三维图像点之间的匹配关系，最后，根据各匹配关系，建立该场景的三维图像。例如，在辅助驾驶中，利用车辆行驶过程中拍摄的图像可以重建车辆行驶过程中所经过的场景中的具有显著特征变化的像素点，即特征点(例如，道路中的路牌、树木等)，从而反推出车辆与这些特征点之间的相对关系以进行辅助驾驶。

视频数据的特点是相邻图像重叠度高，一方面可为重建提供丰富的信息，但同时也带来重建效率较低的问题。传统的重建方法大都将整个视频数据纳入重建的流程，这不仅影响重建效率，同时也会降低重建的精度。另外，当使用异构相机或者使用同一相机在不同时间对待重建场景进行采集时，由于光照、时间、季节、运动物体、相机参数等不稳定因素使得在相同的图像序列中的图像帧中存在匹配关系的特征点的数量很多，而在不同的图像序列中的图像帧之间存在匹配关系的特征点的数量较少，因此在进行三维建模时不同的图像序列无法融合在一起。

根据本公开的实施例，提出了一种图像处理的方案。根据该方案，当待建模图像帧来源于不同的图像序列时，针对待建模图像帧集合中的每个待建模图像帧，根据该待建模图像帧中的特征点的匹配关联关系将特征点分为两类，一类是与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配的特征点(以下称为“第一特征点”)，一类是仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配的特征点(以下称为“第二特征点”)，进而根据“第一特征点”的数目来从待建模图像帧集合中选择待建模图像帧以用于三维重建。通过采用上述基于匹配关联关系的三维重建方法，能够在三维重建时过滤掉一部分同序列内匹配的“第二特征点”，优先使用跨序列匹配的“第一特征点”，以使得“第一特征点”与“第二特征点”的数量相均衡。以此方式，有效地提高了重建效率，并且避免了采用跨序列图像帧的三维重建失败，提高了成功重建的概率。

以下将参照附图来具体描述本公开的实施例。

图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，由图像处理设备120使用采集实体110采集的视频图像数据130进行场景的三维重建。

在本公开的实施例中，用于采集视频图像数据130的采集实体110可以是具有视频图像数据采集能力的任何实体，例如，移动设备、交通工具等。同时，采集实体110也可以是集成或者承载了具有视频图像数据采集能力的设备的各种实体。应当理解，采集实体110可以采取诸如有线或者无线数据传输等任何数据传输形式将视频图像数据130传送给图像处理设备120。这种传送无需是实时传送。无论在何时或者以何种形式将视频图像数据130传送给图像处理设备120均不会影响图像处理设备120对视频图像数据130的后续处理。

图像处理设备150可以基于所获得的视频图像数据130进行三维重建，图像处理设备150可以设置在采集实体110上，也可以设置在采集实体110外并且通过无线通信的方式与采集实体110进行信号交互。

可以根据所采集的视频图像数据130的相关信息对视频图像数据130进行预处理，使得所采集的视频图像数据130包括不同的图像序列140-1和140-2(在下文中统称为图像序列140)，这些不同的图像序列可以是由不同的相机针对相同场景拍摄的视频图像，也可以是由相同的相机在不同的时间针对相同场景拍摄的视频图像。每个图像序列中包括多个图像帧150-1、150-2、150-3和150-4(在下文中统称为图像帧150)。针对每个图像帧150可以采用现有的特征点提取方法进行特征点提取，从而提取出特征点160-1、160-2、160-3和160-4(在下文中统称为特征点160)。提取特征点的目的是为了对特征点进行匹配，从中得到不同图像帧的特征点之间的相互关系等有用信息，以进行三维重建。可以采用现有的特征点提取方法以及特征点匹配方法对相同序列内的图像帧与不同序列内的图像帧进行特征点提取与匹配。例如，Harris特征点提取方法、尺度不变特征变换SIFT特征点提取方法等。本文中的各个实施例都是在已经完成特征点提取与匹配的基础上进行描述的。

在进行三维重建时，是逐帧将每个待建模图像帧追加到模型中。由于存在多个不同的图像序列，因此特征点可能存在两种关联关系，即跨序列匹配关联关系与序列内匹配关联关系。具有跨序列匹配关系的特征点说明其反复在不同序列的图像帧中出现，因此，这些特征点相比具有序列内匹配关联关系的特征点较可靠、置信度较高，其相应的图像帧及其具有跨序列匹配关系的特征点应优先追加到模型中以用于三维重建。

图1中所示的图像序列的数目、图像帧的数目以及图像帧中的特征点的数目仅是示例性的，而无意限制。应当理解，可以具有任何合适的数目的图像序列、图像帧以及特征点。

图2示出了根据本公开的一些实施例的图像处理的方法200的流程图。为便于讨论，结合图1来描述方法200。方法200可以由图像处理设备120来实现。

在框210，图像处理设备120可以获取待建模图像帧集合中的每个待建模图像帧150中的特征点160的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列140。匹配关联关系表示特征点160与待建模图像帧集合中的其他待建模图像帧150中的相应特征点160相匹配。在一些实施例中，待建模图像帧集合可视为一个待建模图像帧队列，其中包括了多个待建模图像帧，在三维建模过程中，需要将待建模图像队列中的所有待建模图像帧都追加到模型中。在一些实施例中，通过对待建模图像帧进行特征点提取与匹配，可以获取特征点的匹配关联关系。图3示出了根据本公开的一些实施例的特征点的匹配关联关系300的示意图。为了清楚起见，以下将结合图3具体介绍方法200的内容。

在图3中，序列A 140-1包括两个图像帧A-1 150-1和A-2 150-2，序列B 140-2包括两个图像帧B-1 150-3和B-2 150-4，其中在图像帧A-1 150-1中检测出两个特征点p1 160-1和q1 160-2，在图像帧A-2 150-2中检测出两个特征点p2 160-3和q2 160-4，在图像帧B-1150-3中检测出两个特征点p1’160-5和m1’160-6，在图像帧B-2 150-4中检测出两个特征点p2’160-7和m2’160-8。这些图像帧都是针对同一场景在不同时间采集到的，通过特征点匹配可以得到特征点的匹配关联关系。例如，图像帧A-1 150-1中的特征点p1 160-1与图像帧A-2 150-2中的特征点p2 160-3、图像帧B-1 150-3中的特征点p1’160-5以及图像帧B-2150-4中的特征点p2’160-7相匹配，即它们表示相同的特征点，因此，关于点p可以获取其匹配关联关系为{p2->p1->p1’->p2’}；并且可以得到图像帧A-1 150-1中的特征点q1 160-2与图像帧A-2 150-2中的特征点q2 160-4相匹配但不与图像帧B-1 150-3中的特征点m1’160-6相匹配，因此，关于点q可以获取其匹配关联关系为{q1->q2}；同样在图像帧B-1 150-3中的特征点m1’160-6与图像帧B-2 150-4中的特征点m2’160-8相匹配，因此，关于点m可以获取其匹配关联关系为{m1’->m2’}。由此可见，根据特征点的匹配关联关系，可以将特征点分为两类：具有跨序列匹配关系的特征点和仅具有序列内匹配关系的特征点。

为了清楚起见，在图3中仅示出了两个图像序列，因此只存在跨两个序列匹配关系的特征点。但是应当理解，在实践中，可以具有多个图像序列，因此，可以存在跨多个图像序列匹配关系的特征点。跨的图像序列越多，说明该特征点反复出现在多个图像序列中，因此该特征点越稳定。另外，为了清楚起见，图3将匹配关联关系示出为链状关系，但是应当理解，在实际操作中，一个点往往能够匹配到多个点，因此最终的匹配关联关系可以为复杂的网状关系，其是一种图的形式。例如，当图像帧A-2与图像帧B-2中的特征点p存在匹配关联关系时，则p点的匹配关联关系为网状。

在一些实施例中，匹配关联关系可以是图的形式，该图不仅保存两两特征点的对应关系，还会保存其关联强度(即匹配相似度)等多维信息。在一些实施例中，根据匹配关联关系，可以使用两张待建模图像帧进行建模初始化，这两张待建模图像帧满足：1)来自于两个不同的待建模图像序列；2)这两张待建模图像帧之间的匹配特征点最多。通过这种方式，使得在早期阶段能够尽快并且可靠地建立初步模型，之后，逐帧将每个待建模图像帧追加到模型中，从而完成三维重建。

在框220，图像处理设备120根据匹配关联关系，可以确定每个待建模图像帧150的特征点集合(以下称为“第一特征点集合”)，“第一特征点集合”中的特征点160(以下称为“第一特征点”)与不同待建模图像序列140中的待建模图像帧150中的相应特征点160相匹配。在三维重建过程中，每个特征点具有空间位置坐标、所属图像序列等信息。因此，在一些实施例中，根据特征点的匹配关联关系以及特征点的相关信息，可以确定每个待建模图像帧150中具有跨序列匹配关系的第一特征点160。例如，帧A-1中的点p，其匹配关联关系为{p2->p1->p1’->p2’}，由于点p的匹配关联关系涉及两个图像序列140-1和140-2，因此可以确定点p为具有跨序列匹配关系的第一特征点。在一些实施例中，针对每个待建模图像帧150，可以确定所有具有跨序列匹配关系的第一特征点以构成“第一特征点集合”。

在一些实施例中，图像处理设备120还可以根据匹配关联关系对具有跨序列匹配关系的第一特征点进行进一步分类。在一些实施例中，图像处理设备120还可以按照其匹配关联关系所跨的序列数目来对第一特征点进行进一步分类。例如，将第一特征点进一步分为具有跨两序列关联关系的特征点、具有跨三序列关联关系的特征点等等，从而分别确定具有跨不同的序列数目关联关系的特征点集合。跨的序列数目越多的匹配特征点越可靠、置信度越高，其相应的图像帧及其具有跨序列匹配关系的特征点应优先追加到模型中以用于三维重建。

在一些实施例中，图像处理设备120可以根据匹配关联关系，确定每个待建模图像帧150的特征点集合(以下称为“第二特征点集合”)，第二特征点集合中的特征点160(以下称为“第二特征点”)仅与相同待建模图像序列140中的待建模图像帧150中的相应特征点160相匹配。在一些实施例中，根据特征点160的匹配关联关系以及特征点160的相关信息，可以确定每个待建模图像帧150中仅具有序列内匹配关系的第二特征点160。例如，帧A-1中的点q，其匹配关联关系为{q1->q2}，由于点q的匹配关联关系仅涉及一个图像序列140-1，因此可以确定点q为仅具有序列内匹配关系的第二特征点。在一些实施例中，针对每个待建模图像帧150，可以确定所有仅具有序列内匹配关系的第二特征点以构成第二特征点集合。

在框230，图像处理设备120可以根据每个待建模图像帧150中“第一特征点集合”中的所述第一特征点160的数目，从待建模图像帧集合中选择待建模图像帧以用于三维重建。在三维重建过程中，是通过逐帧将每个待建模图像帧追加到现有模型中，来完成的。因此，图像帧的追加顺序以及所使用的特征点对三维重建的重建效率和成功率有很大影响。由于具有跨序列匹配关系的特征点较可靠，因此在图像帧的追加过程中，会优先使用具有较多跨序列匹配关系的特征点。在一些实施例中，图像处理设备120可以确定每个待建模图像帧中“第一特征点集合”中的第一特征点的数目。在一些实施例中，可以根据每个待建模图像帧中“第一特征点集合”中的第一特征点的数目来选择待建模图像帧以优先用于三维重建。在一些实施例中，针对所选择的待建模图像帧，图像处理设备120可以优先使用所有具有跨序列匹配关系的第一特征点。在一些实施例中，针对所选择的待建模图像帧，图像处理设备120可以舍弃部分仅具有序列内匹配关系的第二特征点。

通过使用特征点的匹配关联关系，将特征点分为具有跨序列匹配关联关系的特征点和仅具有序列内匹配关联关系的特征点，从而在三维重建时过滤掉一部分同序列内匹配的“第二特征点”，优先使用跨序列匹配的“第一特征点”，以使得“第一特征点”与“第二特征点”的数量相均衡，保证了跨序列图像能够正确融合，有效地提高了重建效率，并且避免了采用跨序列图像帧的三维重建失败，提高了成功重建的概率。

为方便讨论，以下将结合图4-6具体介绍框230的一个实现，即如何根据“第一特征点”的数目从待建模图像帧集合中选择待建模图像帧以用于三维重建。此外，仅出于说明的目的而关于待建模图像帧150-1来描述，可以理解，对于待建模图像帧150-1的描述可以应用于待建模图像帧集合中的任何待建模图像帧。

在一些实施例中，图像处理设备120可以确定待建模图像帧150-1的第一特征点160的数目大于一阈值(以下称为“第一阈值”)；选择待建模图像帧150-1进行三维重建；其中使用待建模图像帧150-1的“第一特征点集合”中的所有“第一特征点”进行三维重建；并且响应于使用待建模图像帧进行三维重建成功，从待建模图像帧集合中移除待建模图像帧。在已经进行三维建模初始化生成了初步模型之后，从待建模图像帧队列中依次取出待建模图像帧150-1。在一些实施例中，可以将待建模图像帧150-1的“第一特征点”的数目与一阈值(以下称为“第一阈值”)相比较，响应于该数目大于第一阈值，选择待建模图像帧150-1并且使用该待建模图像帧150-1的“第一特征点集合”中的所有“第一特征点”进行三维重建。可以理解，“第一阈值”的取值与后续所使用的三维重建算法有关，在实际操作中，可以按照经验值进行选取。

在一些实施例中，图像处理设备120可以分别确定具有跨不同的序列数目关联关系的特征点集合的数目，根据该数目来选择参与三维重建的图像帧及其特征点。在一些实施例中，图像处理设备120可以优先选择具有跨多个序列匹配关联关系的特征点的视频帧及其具有跨多个序列匹配关联关系的特征点来进行三维重建。

由于图像帧的特征点分布不均匀，可能存在满足第一特征点的数目大于“第一阈值”但是建模不成功的情况。在一些实施例中，图像处理设备120可以判断使用待建模图像帧150-1进行三维重建是否成功，响应于使用待建模图像帧进行三维重建成功，从待建模图像帧集合中移除待建模图像帧150-1。此时，待建模图像帧150-1建模结束。在一些实施例中，响应于使用待建模图像帧进行三维重建失败，可以在待建模图像帧集合中保留待建模图像帧150-1，以在后续过程中继续进行三维建模。在一些实施例中，可以针对待建模图像帧150-1及其所使用的特征点、以及现有模型计算待建模图像帧150-1中的特征点在模型中的位姿，如果能够计算得到该位姿，则认为待建模图像帧150-1已经成功追加到该模型中。

通过这种方式，保证具有跨序列匹配关联关系的特征点尽可能地用于三维建模，从而提高了重建效率，并且避免了采用跨序列图像帧的三维重建失败，提高了成功重建的概率。

图4示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法400的流程图。为便于讨论，结合图1来描述方法400。在这样的示例中，方法400可以由图像处理设备120来实现。在一些实施例中，方法400可以视为过程200的框230的一个具体实现。

在框410，从待建模图像帧队列(即集合)中取出第i帧，图像处理设备120可以确定待建模图像帧集合中的第i帧中的第一特征点的数目，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配。在框420，图像处理设备120可以判断该数目是否大于“第一阈值”。如果框420的判断结果为“否”，则在框430，将i递增1，从而暂时不将第i帧用于三维重建，从待建模图像帧队列中取出第i+1帧进行以下操作。如果框420的判断结果为“是”，则在框440，选择第i帧进行三维重建，其中使用第i帧的所有“第一特征点”进行三维重建。在框450，判断使用第i帧的三维重建是否成功，如果判断结果为“是”，则在框460，从待建模图像帧集合中移除第i帧；否则，在框470，在待建模图像帧集合中保留第i帧。在框460或框470中对第i帧处理之后，在框430，将i递增1，从而从待建模图像帧队列中取出第i+1帧，执行上述参照框410-470所描述的相同的操作。

在针对帧i进行完上述操作之后，依次从待建模图像帧队列中取出下一待建模图像帧进行相同的操作，直到将待建模图像帧中所有满足第一特征点的数目大于“第一阈值”的图像帧都用于三维重建。

通过这种方式，在三维重建过程中，能够优先使用具有多个跨序列匹配关联关系的特征点的待建模图像帧，并且仅使用该待建模图像帧的所有具有跨序列匹配关联关系的特征点，舍弃该待建模图像帧的具有序列内匹配关联关系的特征点。从而使得“第一特征点”与“第二特征点”的数量相均衡，保证了跨序列图像能够正确融合，有效地提高了重建效率和成功重建的概率。

在一些实施例中，图像处理设备120可以确定当前待建模图像帧集合中的待建模图像帧150-1的第一特征点160的数目大于另一阈值(以下称为“第二阈值”)并且待建模图像帧150-1的邻近图像帧已经用于三维重建，其中“第二阈值”小于“第一阈值”；选择待建模图像帧150-1进行三维重建，其中使用“第一特征点集合”中的所有“第一特征点”以及第二特征点集合中的部分“第二特征点”进行三维重建；以及响应于三维重建成功，从待建模图像帧集合中移除待建模图像帧150-1。

在一些实施例中，针对当前待建模图像帧集合中的每个待建模图像帧150，图像处理设备120还可以将待建模图像帧150的第一特征点的数目与“第二阈值”相比较，其中“第二阈值”小于“第一阈值”，响应于该数目大于“第二阈值”并且该待建模图像帧的邻近帧已经用于三维重建，使用该待建模图像帧的“第一特征点集合”中的所有“第一特征点”和第二特征点集合中的部分“第二特征点”用于三维重建。

通过这种方式，当仅待建模图像帧中的具有跨序列匹配关系的特征点(即“第一特征点”)的数目不足以成功建模时，可以在使用所有“第一特征点”的同时选择性地使用部分具有序列内匹配关系的特征点(即“第二特征点”)，从而进一步使得“第一特征点”与“第二特征点”的数量相均衡，保证了跨序列图像能够正确融合，有效地提高了重建效率和成功重建的概率。

在一些实施例中，图像处理设备120可以在第二特征点集合中随机选择部分“第二特征点”进行三维重建，其中所选择的“第二特征点”的数目R小于“第一特征点集合”中的“第一特征点”的数目。通过这种方式，使得在三维重建过程中使用的特征点中，具有跨序列匹配关系的特征点多于具有序列内匹配关系的特征点，从而使得具有跨序列匹配关系的特征点在三维重建中更占优势。

另外，在实际操作中，在使用具有序列内匹配关系的特征点进行三维重建时，需要满足其相邻帧已经存在于模型中。在一些实施例中，确定待建模图像帧的邻近图像帧已经用于三维重建可以包括：确定待建模图像帧与已经用于三维重建的图像帧之间的帧号之差小于一阈值(以下称为“第三阈值”)。例如，可以设置“第三阈值”取值为3，当确定与待建模图像帧的帧号之差小于3时，可以认为该代建模图像帧的邻近图像帧已经在模型中。该“第三阈值”可以设置为不同的值，数值越大模型增长速度越快，但是优化速度会下降。在一些实施例中，图像处理设备120可以确定待建模图像帧的邻近图像帧未用于三维重建，在待建模图像帧集合中保留待建模图像帧。

可以理解，“第二阈值”、“第三阈值”以及所选择的“第二特征点”的数目R的取值，在实际操作中，可以按照经验值进行选取。

图5示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法500的流程图。为便于讨论，结合图1来描述方法500。在这样的示例中，方法500可以由图像处理设备120来实现。在一些实施例中，方法500可以视为过程200的框230的一个具体实现。

在框510，确定当前待建模图像帧集合中的第j帧中的第一特征点的数目，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配。在框520，图像处理设备120可以判断该数目是否大于第二阈值。如果判断结果为“否”，则在框530，将j递增1，从而暂时不将第j帧用于三维重建，从待建模图像帧队列中取出第j+1帧进行以下操作。如果在框520中判断结果为“是”，则在框540，判断该待建模图像帧的邻近帧是否已经用于三维重建。如果在框540中判断结果为“是”，则在框550，选择第j帧进行三维重建，其中使用第j帧的所有第一特征点和部分第二特征点进行三维重建，第二特征点仅与相同待建模图像序列中的图像帧中的相应特征点相匹配。如果在框540中判断结果为“否”，则在框580，在待建模图像帧集合中保留第j帧。在框560，判断使用第j帧的三维重建是否成功。如果在框560中判断结果为“是”，则在框570，从待建模图像帧集合中移除第j帧；否则，在框580，在待建模图像帧集合中保留第j帧以在后续过程中继续进行三维重建。在框570或框580中对第i帧处理之后，在框530，将j递增1，从而从待建模图像帧队列中取出第j+1帧，执行上述参照框510-580所描述的相同的操作。

在针对帧j进行完上述操作之后，依次从待建模图像帧队列中取出下一待建模图像帧进行相同的操作，直到将待建模图像帧中所有满足第一特征点的数目大于“第二阈值”且其邻近帧已经用于三维重建的图像帧都用于三维重建。

通过这种方式，采用比“第一阈值”小的“第二阈值”来放宽条件，挑选出将具有相对较多数目的跨序列匹配关系的特征点的图像帧，但是仅使用这些图像帧的具有跨序列匹配关系的特征点进行三维重建无法成功，则在重建时，同时使用部分具有序列内匹配关系的特征点。这与使用所有序列内匹配关系的特征点进行重建相比，能够进一步均衡用于三维重建的“第一特征点”与“第二特征点”的数目，保证了跨序列图像能够正确融合，有效地提高了重建效率和成功重建的概率。

在一些实施例中，图像处理设备120可以在待建模图像帧集合的剩余的待建模图像帧中确定待建模图像帧的邻近图像帧已经用于三维重建；选择待建模图像帧进行三维重建，其中使用待建模图像帧的“第一特征点集合”中的所有“第一特征点”以及第二特征点集合中的所有“第二特征点”进行三维重建；以及响应于三维重建成功，从待建模图像帧集合中移除待建模图像帧。

图6示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法600的流程图。为便于讨论，结合图1来描述方法600。在这样的示例中，方法600可以由图像处理设备120来实现。在一些实施例中，方法600可以视为过程200的框230的一个具体实现。

在框610，判断待建模图像帧集合中的剩余帧k的邻近帧已经用于三维重建。如果判断结果为“否”，则在框650，将k递增1，从而暂时不将第k帧用于三维重建，从待建模图像帧队列中取出第k+1帧进行以下操作。如果在框610的判断结果为“是”，则在框620，选择第k帧进行三维重建，其中使用第k帧的所有第一特征点和所有第二特征点进行三维重建，第二特征点仅与相同待建模图像序列中的图像帧中的相应特征点相匹配。在框630，判断使用第k帧的三维重建是否成功，如果判断结果为“是”，则在框640，从待建模图像帧集合中移除第k帧。然后，在框650，将k递增1，从而从待建模图像帧队列中取出第k+1帧，执行上述参照框610-650所描述的相同的操作。此时，如果待建模图像帧还不能重建成功，则可以该帧将被丢弃。

在针对帧k进行完上述操作之后，依次从待建模图像帧队列中取出下一待建模图像帧进行相同的操作，直到将待建模图像集合中的所有能够参与建模的图像帧均追加到模型中，建模结束。

通过这种方式，采用不断放宽的选择条件，从待建模图像帧集合中按照一定顺序挑选出符合不同条件的待建模图像帧，针对不同的待建模图像帧，根据其具有跨序列匹配关系的特征点的数目来选择所使用的特征点，从而可以调和在三维重建过程中使用的具有跨序列匹配关系的特征点与仅具有序列内匹配关系的特征点的比例，提高跨序列数据融合的成功率，解决跨时段异构相机的三维重建问题。

图7示出了根据本公开实施例的图像处理的装置700的示意性狂徒。如图7所示，装置700包括：匹配关联关系获取模块710，用于获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；特征点集合确定模块720，用于根据匹配关联关系确定每个待建模图像帧的第一特征点集合，第一特征点集合中的第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及重建模块730，用于每个待建模图像帧中第一特征点集合中的第一特征点的数目从待建模图像帧集合中选择待建模图像帧以用于三维重建。

在一些实施例中，装置700还包括：第二特征点集合确定模块，用于根据匹配关联关系，确定每个待建模图像帧的第二特征点集合，其中第二特征点集合包括第二特征点，该第二特征点仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配。

在一些实施例中，其中重建模块包括：第一阈值确定单元，用于确定待建模图像帧的数目大于第一阈值；第一重建单元，用于选择待建模图像帧进行三维重建，其中使用待建模图像帧的第一特征点集合中的所有第一特征点进行三维重建；以及第一更新单元，用于响应于使用待建模图像帧进行三维重建成功从待建模图像帧集合中移除待建模图像帧。

在一些实施例中，其中重建模块还包括：第二阈值确定单元，用于确定待建模图像帧的数目大于第二阈值并且待建模图像帧的邻近图像帧已经用于三维重建，其中第二阈值小于第一阈值；第二重建单元，用于选择待建模图像帧进行三维重建，其中使用第一特征点集合中的所有第一特征点以及第二特征点集合中的部分第二特征点进行三维重建；以及第二更新单元，用于响应于使用待建模图像帧进行三维重建成功从待建模图像帧集合中移除待建模图像帧。

在一些实施例中，其中重建模块还包括：特征点选择单元，用于在第二特征点集合中随机选择部分第二特征点进行三维重建，其中所选择的第二特征点的数目小于第一特征点集合中的第一特征点的数目。

在一些实施例中，其中重建模块还包括：第三确定单元，用于在待建模图像帧集合的剩余的待建模图像帧中确定待建模图像帧的邻近图像帧已经用于三维重建；第三重建单元，用于选择待建模图像帧进行三维重建，其中使用待建模图像帧的第一特征点集合中的所有第一特征点以及第二特征点集合中的所有第二特征点进行三维重建；以及第三更新单元，用于响应于使用待建模图像帧进行三维重建成功从待建模图像帧集合中移除待建模图像帧。

在一些实施例中，其中重建模块还包括：待建模图像帧保留单元，用于确定待建模图像帧的邻近图像帧未用于三维重建，在待建模图像帧集合中保留待建模图像帧。

在一些实施例中，其中重建模块还包括：邻近图像帧确定单元，用于确定待建模图像帧与已经用于三维重建的图像帧之间的帧号之差小于第三阈值。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本公开实施例的图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的图像处理的方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的图像处理的方法对应的程序指令/模块(例如，附图7所示的匹配关联关系获取模块710、第一特征点集合确定模块720和重建模块730)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像处理的方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种图像处理的方法，包括：

获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，所述待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；

根据所述匹配关联关系，确定每个所述待建模图像帧的第一特征点集合，其中所述第一特征点集合包括第一特征点，所述第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及

根据每个所述待建模图像帧中第一特征点集合中的所述第一特征点的数目，从所述待建模图像帧集合中选择待建模图像帧以用于三维重建。

2.根据权利要求1所述的方法，还包括：

根据所述匹配关联关系，确定每个所述待建模图像帧的第二特征点集合，其中所述第二特征点集合包括第二特征点，所述第二特征点仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配。

3.根据权利要求2所述的方法，其中根据所述数目，从所述待建模图像帧集合中选择待建模图像帧以用于三维重建包括：

确定待建模图像帧的所述数目大于第一阈值；

选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点进行三维重建；以及

响应于使用所述待建模图像帧进行所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。

4.根据权利要求3所述的方法，还包括：

确定待建模图像帧的所述数目大于第二阈值并且所述待建模图像帧的邻近图像帧已经用于三维重建，其中所述第二阈值小于所述第一阈值；

选择所述待建模图像帧进行三维重建，其中使用所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的部分所述第二特征点进行三维重建；以及

响应于所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。

5.根据权利要求4所述的方法，还包括：

在所述第二特征点集合中随机选择部分所述第二特征点进行三维重建，其中所选择的所述第二特征点的数目小于所述第一特征点集合中的第一特征点的数目。

6.根据权利要求4所述的方法，还包括：

在所述待建模图像帧集合的剩余的待建模图像帧中确定待建模图像帧的邻近图像帧已经用于三维重建；

选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的所有所述第二特征点进行三维重建；以及

响应于所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。

7.根据权利要求4或6所述的方法，还包括：

确定所述待建模图像帧的邻近图像帧未用于三维重建，在所述待建模图像帧集合中保留所述待建模图像帧。

8.根据权利要求4或6所述的方法，其中，确定所述待建模图像帧的邻近图像帧已经用于三维重建包括：

确定所述待建模图像帧与已经用于三维重建的图像帧之间的帧号之差小于第三阈值。

9.一种图像处理的装置，包括：

匹配关联关系获取模块，用于获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，所述待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；

第一特征点集合确定模块，用于根据所述匹配关联关系确定每个所述待建模图像帧的第一特征点集合，其中所述第一特征点集合包括第一特征点，所述第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及

重建模块，用于根据每个所述待建模图像帧中第一特征点集合中的所述第一特征点的数目从所述待建模图像帧集合中选择待建模图像帧以用于三维重建。

10.根据权利要求9所述的装置，还包括：

第二特征点集合确定模块，用于根据所述匹配关联关系，确定每个所述待建模图像帧的第二特征点集合，其中所述第二特征点集合包括第二特征点，所述第二特征点仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配。

11.根据权利要求9所述的装置，其中所述重建模块包括：

第一阈值确定单元，用于确定待建模图像帧的所述数目大于第一阈值；

第一重建单元，用于选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点进行三维重建；以及

第一更新单元，用于响应于使用所述待建模图像帧进行所述三维重建成功从所述待建模图像帧集合中移除所述待建模图像帧。

12.根据权利要求11所述的装置，其中所述重建模块还包括：

第二阈值确定单元，用于确定待建模图像帧的所述数目大于第二阈值并且所述待建模图像帧的邻近图像帧已经用于三维重建，其中所述第二阈值小于所述第一阈值；

第二重建单元，用于选择所述待建模图像帧进行三维重建，其中使用所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的部分所述第二特征点进行三维重建；以及

第二更新单元，用于响应于使用所述待建模图像帧进行所述三维重建成功从所述待建模图像帧集合中移除所述待建模图像帧。

13.根据权利要求11所述的装置，其中所述重建模块还包括：

特征点选择单元，用于在所述第二特征点集合中随机选择部分所述第二特征点进行三维重建，其中所选择的所述第二特征点的数目小于所述第一特征点集合中的第一特征点的数目。

14.根据权利要求12所述的装置，其中所述重建模块还包括：

第三确定单元，用于在所述待建模图像帧集合的剩余的待建模图像帧中确定待建模图像帧的邻近图像帧已经用于三维重建；

第三重建单元，用于选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的所有所述第二特征点进行三维重建；以及

第三更新单元，用于响应于使用所述待建模图像帧进行所述三维重建成功从所述待建模图像帧集合中移除所述待建模图像帧。

15.根据权利要求12或14所述的装置，其中所述重建模块还包括：

待建模图像帧保留单元，用于确定所述待建模图像帧的邻近图像帧未用于三维重建，在所述待建模图像帧集合中保留所述待建模图像帧。

16.根据权利要求12或14所述的装置，其中所述重建模块还包括：

邻近图像帧确定单元，用于确定所述待建模图像帧与已经用于三维重建的图像帧之间的帧号之差小于第三阈值。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

Images