CN114757824B - 图像拼接的方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提供了图像拼接的方法、装置、设备以及存储介质，涉及图像处理技术领域，尤其涉及人工智能、智能交通、自动驾驶、自主泊车等领域。具体实现方案为：确定相邻图像采集设备采集到的图像的拼接缝；利用拼接缝，确定指定特征点的像素偏差，指定特征点的像素偏差包括指定特征点在相邻图像采集设备采集到的图像中的像素偏差；利用指定特征点的像素偏差和拼接缝中指定像素点的像素偏差，确定相邻图像采集设备的外参变化情况；利用外参变化情况，对图像拼接参数进行优化，图像拼接参数用于对相邻图像采集设备采集到的图像进行拼接。通过确定出的相邻图像采集设备之间的高度变化修正外参，从而可以消除在图像拼接过程中的拼接重影等不良因素。

Description

图像拼接的方法、装置、设备以及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及人工智能、智能交通、自动驾驶、自主泊车等领域，特别涉及一种图像拼接的方法、装置、设备以及存储介质。

背景技术

环视渲染是自动驾驶的一个基本功能，用于辅助驾驶员安全驾驶。利用图像采集设备的内参数和外参数进行图像拼接，从而展示车辆周边的环境。相关技术中，由于外力导致图像采集设备的外参发生变化时，会导致图像拼接出会出现明显的缝隙，严重影响使用体验。

发明内容

本公开提供了一种图像拼接的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种图像拼接的方法，该方法可以包括以下步骤：

确定相邻图像采集设备采集到的图像的拼接缝；

利用拼接缝，确定指定特征点的像素偏差，指定特征点的像素偏差包括指定特征点在相邻图像采集设备采集到的图像中的像素偏差；

利用指定特征点的像素偏差和拼接缝中指定像素点的像素偏差，确定相邻图像采集设备的外参变化情况；

利用外参变化情况，对图像拼接参数进行优化，图像拼接参数用于对相邻图像采集设备采集到的图像进行拼接。

根据本公开的另一方面，提供了一种图像拼接的装置，该装置可以包括：

拼接缝确定模块，用于确定相邻图像采集设备采集到的图像的拼接缝；

指定特征点的像素偏差确定模块，用于利用拼接缝，确定指定特征点的像素偏差，指定特征点的像素偏差包括指定特征点在相邻图像采集设备采集到的图像中的像素偏差；

外参变化情况确定模块，用于利用指定特征点的像素偏差和拼接缝中指定像素点的像素偏差，确定相邻图像采集设备的外参变化情况；

参数优化模块，用于利用外参变化情况，对图像拼接参数进行优化，图像拼接参数用于对相邻图像采集设备采集到的图像进行拼接。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术利用拼接缝错位与相邻图像采集设备之间的高度变化成正比的原理，通过指定特征点的像素偏差和拼接缝中指定像素点的像素偏差反应比例关系。通过确定出的相邻图像采集设备之间的高度变化修正外参，从而可以消除在图像拼接过程中的拼接重影等不良因素。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开图像拼接的方法的流程图之一；

图2是根据本公开图像拼接的原理示意图；

图3是根据本公开用于图像拼接的三维凹型结构模型示意图；

图4是根据本公开图像拼接效果示意图；

图5是根据本公开拼接缝的示意图；

图6是根据本公开确定指定特征点的像素偏差的流程图；

图7是根据本公开确定相邻图像采集设备的外参变化情况的流程图；

图8是根据本公开确定指定像素点的流程图；

图9是根据本公开对图像拼接参数进行优化的流程图；

图10是根据本公开图像拼接的方法的流程图之二；

图11是根据本公开候选拼接模型的示意图；

图12是根据本公开利用底部面积大于对应阈值的三维凹型结构模型得到的图像拼接效果示意图；

图13是根据本公开利用底部面积不大于对应阈值的三维凹型结构模型得到的图像拼接效果示意图；

图14是根据本公开图像拼接的装置的示意图；

图15是用来实现本公开实施例的图像拼接的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，本公开涉及一种图像拼接的方法，该方法可以包括以下步骤：

S101：确定相邻图像采集设备采集到的图像的拼接缝；

S102：利用拼接缝，确定指定特征点的像素偏差，指定特征点的像素偏差包括指定特征点在相邻图像采集设备采集到的图像中的像素偏差；

S103：利用指定特征点的像素偏差和拼接缝中指定像素点的像素偏差，确定相邻图像采集设备的外参变化情况；

S104：利用外参变化情况，对图像拼接参数进行优化，图像拼接参数用于对相邻图像采集设备采集到的图像进行拼接。

本公开的执行主体可以是与图像设备通信连接的本地设备或云端设备等。相邻图像采集设备采集到的图像可以是待拼接的图像。本公开的执行场景可以是具有自动驾驶功能的车辆所用到的图像拼接、摄像场景的图像拼接、监控场景的图像拼接等。

以具有自动驾驶功能的车辆为示例，图像采集设备可以是装载于车辆车身的四周的摄像头。摄像头可以是红外相机、鱼眼相机等。结合图2所示，首先可以获取多路图像采集设备所采集到的图像。其次，获取每路图像采集设备的参数，参数可以包括图像采集设备的内参和外参。最后，依照图像采集设备的参数，对图像进行拼接处理。

结合图3所示，以4路图像采集设备为示例进行说明。图像拼接的原理是将4路图像采集设备所采集到的图像贴图到预先构建的三维凹型结构模型的内壁。贴图的过程用到了图像采集设备的内参和外参。最终可以得到如图4所示的效果图。

在贴图的过程中，可以通过已有算法确定相邻图像采集设备采集到的图像之间的拼接缝。例如，可以根据特征点识别的方式，以出现相同特征点最多的线段作为拼接缝。结合图5所示为拼接缝的示意图。图5中左侧视图所示为俯视角度，右侧视图所示为立体角度。通过图5看出，由于车辆可能出现的载重变化或胎压变化，会导致车身上的图像采集设备的高度发生改变。在此情况下，可能会引起拼接图像中较为明显的重影效果。

基于此，本公开利用拼接缝为参照物，确定指定特征点在相邻图像采集设备采集到的图像中的像素偏差。为了示例性说明，在此以4路图像采集设备为示例进行说明，4路图像采集设备所采集的图像分别对应前视图、后视图、左视图和右视图。示例性地，前视图与左视图、前视图与右视图为相邻图像采集设备采集到的图像。以前视图和右视图进行图像拼接为例进行说明。可以首先确定拼接缝上的各像素点或像素区域。其次，分别确定各像素点(区域)所对应的实体，以第i个像素点(区域)为例，对应实体i，i为正整数。其中，拼接缝上的像素点(区域)可以有n个，n为正整数，且1≤i≤n。而后分别确定实体i在前视图中的坐标，以及在右视图中的坐标。最后，根据计算得到的坐标差确定出像素偏差。理想情况下，像素偏差为零。即合并的图像中没有出现重影。反之，可以将像素偏差记录为(dxi，dyi)。其中，dxi可以是像素偏差的横坐标的微分表示；dyi可以是像素偏差的纵坐标的微分表示。对应的，拼接缝中各像素点(区域)对应的像素偏差可以表示为L1：(dx1，dy1)、……、Ln：(dxn，dyn)。不难理解，距离车辆距离越近的像素点，像素偏差较小。距离车辆距离越远的像素点，像素偏差较大。

在拼接缝附近，对前视图和右视图进行特征识别以及特征匹配。找到指定特征点。比如，指定特征点可以是树的顶部，叶片的顶端，车道线的端点等。指定特征点在前视图和右视图中的像素偏差可以记为(Dx，Dy)。其中，Dx可以是像素偏差的横坐标的微分表示；Dy可以是像素偏差的纵坐标的微分表示。

将前视图和右视图中两个特征点的中点投影到拼接缝处，投影点可以作为拼接缝中的指定像素点。利用前述确定出的拼接缝中各像素点对应的像素偏差，可以得到拼接缝中指定像素点的像素偏差。

利用指定特征点的像素偏差和指定像素点的像素偏差之间的比例关系，即可确定出相邻图像采集设备的外参变化情况。上述计算的逻辑是基于拼接缝错位与车辆高度变化成线性关系确定的。即，确定出的外参变化情况即可表示为采集到前视图的第一图像采集设备与采集到右视图的第二图像采集设备之间的当前高度偏差。上述当前高度偏差可以反应与初始高度偏差的差异，即，可以认为上述高度偏差可以用于反应由于载重变化或胎压变化导致的高度变化。

利用确定出的外参变化情况，可以在图像拼接时对外参进行修正，从而可以实现对相邻图像采集设备采集到的图像进行拼接优化。

通过上述过程，利用拼接缝错位与相邻图像采集设备之间的高度变化成正比的原理，通过指定特征点的像素偏差和拼接缝中指定像素点的像素偏差反应比例关系。通过确定出的相邻图像采集设备之间的高度变化修正外参，从而可以消除在图像拼接过程中的拼接重影等。

如图6所示，在一种实施方式中，步骤S102可以包括以下过程：

S601：设定范围阈值；

S602：在各图像中，将在拼接缝的范围阈值内的像素点作为候选像素点；

S603：将在候选像素点中出现的满足预定条件的像素点确定为指定特征点；

S604：计算指定特征点在相邻图像采集设备采集到的图像中的像素偏差。

范围阈值可以依据经验进行设定，例如5个像素单位、10个像素单位、15个像素单位等。

可以以拼接缝中的每个像素点(区域)为中心，将范围阈值内的各像素点均确定为候选像素点。

在候选像素点中，对实物进行识别。通过识别结果，选择具有代表性的实物对应的像素点作为指定特征点；或者，选择辨识度较高的实物对应的像素点作为指定特征点。示例性地，指定特征点可以是树的顶部，叶片的顶端，车道线的端点等。即，具有代表性的实物，或者选择辨识度较高的实物可以作为预定条件。

仍以前视图和右视图为例，通过计算指定特征点在前视图和右视图中的像素偏差，可以最终确定出指定特征点在相邻图像采集设备采集到的图像中的像素偏差。

通过上述过程，在拼接缝的附近寻找到指定特征点。仅需要沿着拼接缝附近的有限区域进行特征点的搜索，由此可以减小计算量，提高图像拼接的实时性效果。

如图7所示，在一种实施方式中，步骤S103可以包括以下过程：

S701：根据指定特征点在相邻图像采集设备采集到的图像中的坐标，在拼接缝中确定指定像素点；

S702：获获取指定像素点的像素偏差；

S703：利用指定特征点的像素偏差和指定像素点的像素偏差之间的比例关系，确定相邻图像采集设备的外参变化情况。

仍以前视图和右视图为例，在出现重影等情况下，指定特征点会分别出现在前视图和右视图，并且具有一定像素偏差。基于此，可以利用前视图和右视图中的指定特征点的连线，在拼接缝中确定指定像素点。

例如，可以将连线与拼接缝的交点作为指定像素点。又例如，可以将连线中点投影至拼接缝的投影点作为指定像素点。

在确定出指定像素点后，可以根据在先记录的拼接缝上每个像素点(区域)的像素偏差，从中选择出指定像素点的像素偏差。指定像素点的像素偏差的微分表示可以是(dxi，dyi)。

利用指定特征点的像素偏差和指定像素点的坐标之间的比例关系，可以确定出相邻图像采集设备的外参变化情况。例如，定特征点的像素偏差可以表示为(Dx，Dy)。那么，比例关系可以表示为c＝Dx/dxi＝Dy/dyi。其中，c可以表示求得的高度变化系数，即对应为外参变化情况。

通过上述过程，由于参与计算的参数均为微分表示，因此通过上述求导的计算过程，可以确定出高度变化系数，从而更有利于确定出相对更为准确的实际变化高度。

如图8所示，在一种实施方式中，步骤S701可以包括以下过程：

S801：获取指定特征点在第一图像中的第一坐标、以及指定特征点在第二图像中的第二坐标，第一图像和第二图像为相邻图像采集设备采集到的图像；

S802：将坐标连线与拼接缝的交点作为指定像素点，坐标连续包括第一坐标和第二坐标之间的连线；或

S803：将坐标中点投影至拼接缝的投影点作为指定像素点，坐标中点为第一坐标和第二坐标之间连线的中点。

分别获取指定特征点在第一图像中的第一坐标、以及指定特征点在第二图像中的第二坐标。所谓第一图像可以对应前文示例中的前视图，所谓第二图像可以对应前文示例中的右视图。

关于指定特征点坐标的获取，可以采用基于传统计算机视觉(Computer Version，CV)算法中的特征点提取(Scale-invariant Feature Transform，SIFT)算法、特征点向量(Oriented Fast and Rotated Brief，ORB)算法、角点检测(Features fromacceleratedsegment test，Fast)算法，或者基于深度学习的特征提取网络(SuperPoint CNN)等。

在得到指定特征点在第一图像中的第一坐标、以及指定特征点在第二图像中的第二坐标的情况下，可以确定第一坐标和第二坐标的连线。

方法一中，可以将第一坐标和第二坐标的连线与拼接缝的交点，作为指定像素点。

方法二中，可以首先确定第一坐标和第二坐标的连线中点，该连线中点可以称为坐标中点。将坐标中点向拼接缝进行投影，可以得到投影点。可以将该投影点作为指定像素点。

通过上述过程，可以利用多种方式进行指定像素点的确定。

如图9所示，在一种实施方式中，步骤S104可以包括以下过程：

S901：根据外参变化情况，确定相邻图像采集设备的当前高度差异；

S902：将相邻图像采集设备的当前高度差异与预先获取的初始高度差异进行比较，得到比较结果；

S903：在比较结果超过对应阈值的情况下，依照初始高度差异对当前高度差异进行修正，得到修正结果；

S904：将修正结果作为优化后的图像拼接参数。

可以预设高度变化量dh(例如0.1mm)。利用前述确定的外参变化情况(c)以及预设高度变化量，计算相邻图像采集设备的当前高度差异。

与前述示例同理，dh可以是预设的高度变化量的微分表示。根据外参变化情况与预设的高度变化量的乘积，可以计算出相邻图像采集设备的当前高度差异。即，当前高度差异Dh＝c×dh。

初始高度差异可以是在每个图像采集设备初次使用或者出厂时设定的已知数据。将相邻图像采集设备的当前高度差异与预先获取的初始高度差异进行比较，可以确定出每个图像采集设备的高度变化情况。

对应阈值可以是根据经验值确定的影响图像拼接的高度差异值。在比较结果为相邻图像采集设备的当前高度差异超过对应阈值的情况下，表示需要进行修正。基于此，可以依照初始高度差异对当前高度差异进行修正，得到修正结果。

该修正结果即可作为优化后的图像拼接参数。

通过上述过程，利用该优化后的图像拼接参数进行图像拼接，可以消除由于高度变化带来的影响。

如图10所示，在一种实施方式中，在步骤S101之前，还可以包括以下过程：

S1001：检测图像采集设备的位置属性，位置属性包括开阔属性或狭窄属性；

S1002：根据位置属性，在预先设定的候选拼接模型中选择目标拼接模型；候选拼接模型为用于图像进行拼接的模型，候选拼接模型包括具有不同底部面积的三维凹型结构的模型。

可以利用车载雷达、车载全球定位系统(Global Positioning System，GPS)等设备确定图像采集设备的位置属性。

示例性地，在搭载图像采集设备的车辆上，通常都装备有雷达设备，用以检测车辆周围的障碍物，以及障碍物与车辆的距离。例如，当车辆任意两侧存在距离低于对应阈值的障碍物的情况下，可以确定图像采集设备的位置属性为狭窄属性；反之，可以确定为图像采集设备的位置属性为开阔属性。

另外，还可以利用车载GPS确定车辆(图像采集设备)的位置。例如，在社区或停车场等相对封闭的区域，可以确定图像采集设备的位置属性为狭窄属性。在道路等相对开放的区域，可以确定图像采集设备的位置属性为开阔属性。

结合图11所示，候选拼接模型可以至少包括两类。两类候选拼接模型可以是具有不同底部面积的三维凹型结构模型。图11中的左侧模型为底部面积大于对应阈值的三维凹型结构模型，图11中的右侧模型为底部面积小于对应阈值的三维凹型结构模型。

结合图12所示，底部面积大于对应阈值的三维凹型结构模型，由于底部面积较大，因此在图像拼接后，反应出的效果为远景地面效果(图12中左侧视图车道线效果较好)比较好，但近景立体物体(图12中右侧视图所示的障碍物车辆)效果失真较为严重。

结合图13所示，底部面积小于对应阈值的三维凹型结构模型，由于底部面积较小，因此在图像拼接后，反应出的效果为远景地面效果(图13中左侧视图车道线弯曲严重)失真，但近景立体物体(图13中右侧视图障碍物车辆)效果呈现较好。

在当前实施方式中，以两类候选拼接模型为示例。但在实际使用场景下并不限于此，例如，可以设计底部面积为大中小差异的三类候选拼接模型。或者可以更为细化的设置更多候选拼接模型。

通过上述过程，可以根据传感器或定位信息判断图像采集设备的位置属性，从而可以据此(位置属性)选择用于图像拼接的三维凹型结构的模型。以使不同场景均可以实现周围环境的清晰显示。

在一种实施方式中，在位置属性为开阔属性的情况下，将底部面积小于对应阈值的三维凹型结构模型作为目标拼接模型。

在位置属性为开阔属性的情况下，表示远景的清晰度优先级高于近景的清晰度优先级。在此情况下，可以选择底部面积小于对应阈值的三维凹型结构模型作为目标拼接模型。

在一种实施方式中，在位置属性为狭窄属性的情况下，将底部面积不小于对应阈值的三维凹型结构模型作为目标拼接模型。

在位置属性为狭窄属性的情况下，表示近景的清晰度优先级高于远景的清晰度优先级。在此情况下，可以选择底部面积不小于对应阈值的三维凹型结构模型作为目标拼接模型。

相比于已有技术需要多次调试以确定底部面积折中的三维凹型结构模型，在当前实施方式中，可以预设至少两类底部面积不同的三维凹型结构模型，根据位置属性进行选择。从而可以兼顾近景和远景的清晰度要求。

在一种实施方式中，图像采集设备包括设置于车辆车身不同位置的图像采集设备。

通过上述设置，可以实现消除在图像拼接过程中因为胎压、或者负载变化产生的拼接重影等不良效果。

如图14所示，本公开涉及一种图像拼接的装置，该装置可以包括：

拼接缝确定模块1401，用于确定相邻图像采集设备采集到的图像的拼接缝；

指定特征点的像素偏差确定模块1402，用于利用拼接缝，确定指定特征点的像素偏差，指定特征点的像素偏差包括指定特征点在相邻图像采集设备采集到的图像中的像素偏差；

外参变化情况确定模块1403，用于利用指定特征点的像素偏差和拼接缝中指定像素点的像素偏差，确定相邻图像采集设备的外参变化情况；

参数优化模块1404，用于利用外参变化情况，对图像拼接参数进行优化，图像拼接参数用于对相邻图像采集设备采集到的图像进行拼接。

在一种实施方式中，指定特征点的像素偏差确定模块1402，可以包括：

范围阈值设定子模块，用于设定范围阈值；

候选像素点确定子模块，用于在各图像中，将在拼接缝的范围阈值内的像素点作为候选像素点；

指定特征点确定子模块，用于将在候选像素点中出现的满足预定条件的像素点确定为指定特征点；

像素偏差计算子模块，用于计算指定特征点在相邻图像采集设备采集到的图像中的像素偏差。

在一种实施方式中，外参变化情况确定模块1403，可以包括：

指定像素点确定子模块，用于根据指定特征点在相邻图像采集设备采集到的图像中的坐标，在拼接缝中确定指定像素点；

指定像素点的像素偏差确定子模块，用于获取指定像素点的像素偏差；

外参变化情况确定执行子模块，用于利用指定特征点的像素偏差和指定像素点的像素偏差之间的比例关系，确定相邻图像采集设备的外参变化情况。

在一种实施方式中，指定像素点确定子模块，可以包括：

坐标获取子模块，用于获取指定特征点在第一图像中的第一坐标、以及指定特征点在第二图像中的第二坐标，第一图像和第二图像为相邻图像采集设备采集到的图像；

指定像素点确定子模块，具体用于将坐标连线与拼接缝的交点作为指定像素点，坐标连续包括第一坐标和第二坐标之间的连线；或具体用于

将坐标中点投影至拼接缝的投影点作为指定像素点，坐标中点为第一坐标和第二坐标之间连线的中点。

在一种实施方式中，参数优化模块1404，可以包括：

当前高度差异确定子模块，用于根据外参变化情况，确定相邻图像采集设备的当前高度差异；

比较结果确定子模块，用于将相邻图像采集设备的当前高度差异与预先获取的初始高度差异进行比较，得到比较结果；

修正结果确定子模块，用于在比较结果超过对应阈值的情况下，依照初始高度差异对当前高度差异进行修正，得到修正结果；

将修正结果作为优化后的图像拼接参数。

在一种实施方式中，还包括目标拼接模型确定模块，该模块包括：

位置属性检测子模块，用于检测图像采集设备的位置属性，位置属性包括开阔属性或狭窄属性；

目标拼接模型确定执行子模块，用于根据位置属性，在预先设定的候选拼接模型中选择目标拼接模型；候选拼接模型为用于图像进行拼接的模型，候选拼接模型包括具有不同底部面积的三维凹型结构的模型。

在一种实施方式中，在位置属性为开阔属性的情况下，目标拼接模型确定执行子模块具体用于：

将底部面积小于对应阈值的三维凹型结构模型作为目标拼接模型。

在一种实施方式中，在位置属性为狭窄属性的情况下，目标拼接模型确定执行子模块，具体用于：

将底部面积不小于对应阈值的三维凹型结构模型作为目标拼接模型。

在一种实施方式中，图像采集设备包括设置于车辆车身不同位置的图像采集设备。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图15所示，设备1500包括计算单元1510，其可以根据存储在只读存储器(ROM)1520中的计算机程序或者从存储单元1580加载到随机访问存储器(RAM)1530中的计算机程序，来执行各种适当的动作和处理。在RAM 1530中，还可存储设备1500操作所需的各种程序和数据。计算单元1510、ROM 1520以及RAM 1530通过总线1540彼此相连。输入/输出(I/O)接口1550也连接至总线1540。

设备1500中的多个部件连接至I/O接口1550，包括：输入单元1560，例如键盘、鼠标等；输出单元1570，例如各种类型的显示器、扬声器等；存储单元1580，例如磁盘、光盘等；以及通信单元1590，例如网卡、调制解调器、无线通信收发机等。通信单元1590允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1510可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1510的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1510执行上文所描述的各个方法和处理，例如图像拼接的方法。例如，在一些实施例中，图像拼接的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1580。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1520和/或通信单元1590而被载入和/或安装到设备1500上。当计算机程序加载到RAM 1530并由计算单元1510执行时，可以执行上文描述的图像拼接的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1510可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像拼接的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种图像拼接的方法，包括：

确定相邻图像采集设备采集到的图像的拼接缝；

利用所述拼接缝，确定指定特征点的像素偏差，所述指定特征点的像素偏差包括所述指定特征点在所述相邻图像采集设备采集到的图像中的像素偏差；

利用所述指定特征点的像素偏差和所述拼接缝中指定像素点的像素偏差，确定所述相邻图像采集设备的外参变化情况；

利用所述外参变化情况，对图像拼接参数进行优化，所述图像拼接参数用于对所述相邻图像采集设备采集到的图像进行拼接；

所述指定像素点的确定方式，包括：

获取所述指定特征点在第一图像中的第一坐标、以及所述指定特征点在第二图像中的第二坐标，所述第一图像和所述第二图像为所述相邻图像采集设备采集到的图像；

将坐标连线与所述拼接缝的交点作为所述指定像素点，所述坐标连线包括所述第一坐标和所述第二坐标之间的连线。

2.根据权利要求1所述的方法，其中，所述利用所述拼接缝，确定指定特征点的像素偏差，包括：

设定范围阈值；

在各所述图像中，将在所述拼接缝的所述范围阈值内的像素点作为候选像素点；

将在所述候选像素点中出现的满足预定条件的像素点确定为所述指定特征点；

计算所述指定特征点在相邻图像采集设备采集到的图像中的像素偏差。

3.根据权利要求2所述的方法，其中，所述利用所述指定特征点的像素偏差和所述拼接缝中指定像素点的像素偏差，确定所述相邻图像采集设备的外参变化情况，包括：

根据所述指定特征点在所述相邻图像采集设备采集到的图像中的坐标，在所述拼接缝中确定所述指定像素点；

获取所述指定像素点的像素偏差；

利用所述指定特征点的像素偏差和所述指定像素点的像素偏差之间的比例关系，确定所述相邻图像采集设备的外参变化情况。

4.根据权利要求3所述的方法，其中，所述根据所述指定特征点在所述相邻图像采集设备采集到的图像中的坐标，在所述拼接缝中确定所述指定像素点，包括：

获取所述指定特征点在第一图像中的第一坐标、以及所述指定特征点在第二图像中的第二坐标，所述第一图像和所述第二图像为所述相邻图像采集设备采集到的图像；

将坐标中点投影至所述拼接缝的投影点作为所述指定像素点，所述坐标中点为所述第一坐标和所述第二坐标之间连线的中点。

5.根据权利要求1所述的方法，其中，所述利用所述外参变化情况，对图像拼接参数进行优化，包括：

根据所述外参变化情况，确定相邻图像采集设备的当前高度差异；

将所述相邻图像采集设备的当前高度差异与预先获取的初始高度差异进行比较，得到比较结果；

在所述比较结果超过对应阈值的情况下，依照所述初始高度差异对所述当前高度差异进行修正，得到修正结果；

将所述修正结果作为优化后的图像拼接参数。

6.根据权利要求1所述的方法，在所述确定相邻图像采集设备采集到的图像的拼接缝之前，还包括：

检测所述图像采集设备的位置属性，所述位置属性包括开阔属性或狭窄属性；

根据所述位置属性，在预先设定的候选拼接模型中选择目标拼接模型；所述候选拼接模型为用于所述图像进行拼接的模型，所述候选拼接模型包括具有不同底部面积的三维凹型结构的模型。

7.根据权利要求6所述的方法，其中，在所述位置属性为开阔属性的情况下，所述在预先设定的候选拼接模型中选择目标拼接模型，包括：

将底部面积小于对应阈值的三维凹型结构模型作为目标拼接模型。

8.根据权利要求6所述的方法，其中，在所述位置属性为狭窄属性的情况下，所述在预先设定的候选拼接模型中选择目标拼接模型，包括：

将底部面积不小于对应阈值的三维凹型结构模型作为目标拼接模型。

9.根据权利要求1至8任一所述的方法，其中，所述图像采集设备包括设置于车辆车身不同位置的图像采集设备。

10.一种图像拼接的装置，包括：

拼接缝确定模块，用于确定相邻图像采集设备采集到的图像的拼接缝；

指定特征点的像素偏差确定模块，用于利用所述拼接缝，确定指定特征点的像素偏差，所述指定特征点的像素偏差包括所述指定特征点在所述相邻图像采集设备采集到的图像中的像素偏差；

外参变化情况确定模块，用于利用所述指定特征点的像素偏差和所述拼接缝中指定像素点的像素偏差，确定所述相邻图像采集设备的外参变化情况；

参数优化模块，用于利用所述外参变化情况，对图像拼接参数进行优化，所述图像拼接参数用于对所述相邻图像采集设备采集到的图像进行拼接；

所述外参变化情况确定模块包括指定像素点确定子模块，所述指定像素点确定子模块包括：

坐标获取子模块，用于获取所述指定特征点在第一图像中的第一坐标、以及所述指定特征点在第二图像中的第二坐标，所述第一图像和所述第二图像为所述相邻图像采集设备采集到的图像；

指定像素点确定子模块，具体用于将坐标连线与所述拼接缝的交点作为所述指定像素点，所述坐标连线包括所述第一坐标和所述第二坐标之间的连线。

11.根据权利要求10所述的装置，其中，所述指定特征点的像素偏差确定模块，包括：

范围阈值设定子模块，用于设定范围阈值；

候选像素点确定子模块，用于在各所述图像中，将在所述拼接缝的所述范围阈值内的像素点作为候选像素点；

指定特征点确定子模块，用于将在所述候选像素点中出现的满足预定条件的像素点确定为所述指定特征点；

像素偏差计算子模块，用于计算所述指定特征点在相邻图像采集设备采集到的图像中的像素偏差。

12.根据权利要求11所述的装置，其中，所述外参变化情况确定模块，包括：

指定像素点确定子模块，用于根据所述指定特征点在所述相邻图像采集设备采集到的图像中的坐标，在所述拼接缝中确定所述指定像素点；

指定像素点的像素偏差确定子模块，用于获取所述指定像素点的像素偏差；

外参变化情况确定执行子模块，用于利用所述指定特征点的像素偏差和所述指定像素点的像素偏差之间的比例关系，确定所述相邻图像采集设备的外参变化情况。

13.根据权利要求12所述的装置，其中，所述指定像素点确定子模块，包括：

坐标获取子模块，用于获取所述指定特征点在第一图像中的第一坐标、以及所述指定特征点在第二图像中的第二坐标，所述第一图像和所述第二图像为所述相邻图像采集设备采集到的图像；

指定像素点确定子模块，具体用于将坐标中点投影至所述拼接缝的投影点作为所述指定像素点，所述坐标中点为所述第一坐标和所述第二坐标之间连线的中点。

14.根据权利要求10所述的装置，其中，所述参数优化模块，包括：

当前高度差异确定子模块，用于根据所述外参变化情况，确定相邻图像采集设备的当前高度差异；

比较结果确定子模块，用于将所述相邻图像采集设备的当前高度差异与预先获取的初始高度差异进行比较，得到比较结果；

修正结果确定子模块，用于在所述比较结果超过对应阈值的情况下，依照所述初始高度差异对所述当前高度差异进行修正，得到修正结果；

将所述修正结果作为优化后的图像拼接参数。

15.根据权利要求10所述的装置，还包括目标拼接模型确定模块，该模块包括：

位置属性检测子模块，用于检测所述图像采集设备的位置属性，所述位置属性包括开阔属性或狭窄属性；

目标拼接模型确定执行子模块，用于根据所述位置属性，在预先设定的候选拼接模型中选择目标拼接模型；所述候选拼接模型为用于所述图像进行拼接的模型，所述候选拼接模型包括具有不同底部面积的三维凹型结构的模型。

16.根据权利要求15所述的装置，在所述位置属性为开阔属性的情况下，所述目标拼接模型确定执行子模块具体用于：

将底部面积小于对应阈值的三维凹型结构模型作为目标拼接模型。

17.根据权利要求15所述的装置，在所述位置属性为狭窄属性的情况下，所述目标拼接模型确定执行子模块，具体用于：

将底部面积不小于对应阈值的三维凹型结构模型作为目标拼接模型。

18.根据权利要求10至17任一所述的装置，其中，所述图像采集设备包括设置于车辆车身不同位置的图像采集设备。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。

Images