CN113538538B - 双目图像对齐方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请的实施例涉及图像处理技术领域，公开了一种双目图像对齐方法、电子设备和计算机可读存储介质。上述双目图像对齐方法方法包括：获取待对齐的双目图像的特征点对；其中，所述待对齐的双目图像包括第一图像和第二图像，所述特征点对包括同一特征在所述第一图像的特征点和在所述第二图像的特征点；根据所述特征点对，确定对齐映射关系；根据所述对齐映射关系，对所述待对齐的双目图像进行对齐。本申请的实施例提供的双目图像对齐方法，可以在不需要知晓图像的深度信息的情况下，实现双目图像的高精度对齐，显著缩短双目图像对齐过程的耗时，提升双目图像对齐的效率。

Description

双目图像对齐方法、电子设备和计算机可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种双目图像对齐方法、电子设备和计算机可读存储介质。

背景技术

随着机器深度视觉技术的飞速发展，双目成像系统已经广泛运用在人类生产生活的方方面面，双目成像系统，是指两个光学传感器按照一定的方式搭建形成的成像系统，比如用于进行三维重建的被动式双目视觉系统，被动式双目视觉系统通常由双RGB相机组成，再比如主动式结构光系统，主动式结构光系统可以由红外光学感受器、投射器和RGB相机组成。经双目成像系统成像后可以获得双目图像，对双目图像进行图像处理，需要进行双目图像的对齐，使得空间中的同名点在对齐后处在双目图像的同一位置处。

然而，相关技术大多使用逐像素对齐法或中心像素对齐法，实现双目图像的对齐，但逐像素对齐法需要对双目图像中的每一个像素进行逐个对齐，双目图像对齐过程的耗时非常长，对齐效率较低；而中心像素对齐法只选定双目图像画面中的主体部分进行对齐，即只有画面中的主体部分的对齐精度比较高，而非主体部分的对齐精度较差；同时，无论是使用逐像素对齐法还是使用中心像素对齐法，都需要依赖于图像的深度信息进行双目图像对齐方法，无法在没有深度信息的情况下实现双目图像的高精度的对齐。

发明内容

本申请实施例的目的在于提供一种双目图像对齐方法、电子设备和计算机可读存储介质，可以在不需要知晓图像的深度信息的情况下，实现双目图像的高精度对齐，显著缩短双目图像对齐过程的耗时，提升双目图像对齐的效率。

为解决上述技术问题，本申请的实施例提供了一种双目图像对齐方法，包括以下步骤：获取待对齐的双目图像的特征点对；其中，所述待对齐的双目图像包括第一图像和第二图像，所述特征点对包括同一特征在所述第一图像的特征点和在所述第二图像的特征点；根据所述特征点对，确定对齐映射关系；根据所述对齐映射关系，对所述待对齐的双目图像进行对齐。

为解决上述技术问题，本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述双目图像对齐方法。

为了解决上述技术问题，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述双目图像对齐方法。

本申请提出的双目图像对齐方法、电子设备和计算机可读存储介质，相较于使用逐像素对齐法，对双目图像的每一个像素进行逐个对齐的技术方案而言，本申请的实施例在进行双目图像对齐时，先获取待对齐的双目图像的特征点对，即获取出待对齐的双目图像中同一特征在第一图像的特征点和在第二图像的特征点，再根据特征点对，确定用于对双目图像进行对齐的对齐映射关系，最后根据对齐映射关系，对待对齐的双目图像进行对齐，无需对双目图像中的每一个像素进行逐个对齐，显著缩短了双目图像对齐过程的耗时，提升了双目图像对齐的效率，同时，相较于使用中心像素对齐法，只对双目图像的主体部分进行对齐的技术方案而言，本申请的实施例根据图像的特征确定特征点来进行对齐，特征点可以表征双目图像的整体特征，而不是仅仅表征双目图像的主体部分，从而整个双目图像对齐的精度都可以得到提升，另外，采用特征匹配的方法进行双目图像对齐，可以在不知晓图像的深度信息的情况下，实现双目图像的高精度对齐，使得双目图像对齐的过程更加灵活。

另外，在所述根据所述特征点对，确定对齐映射关系之前，包括：获取所述特征点对中，所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息；根据所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息，对所述特征点对进行亚像素插值，得到亚像素级别的特征点对；所述根据所述特征点对，确定对齐映射关系，包括：根据所述亚像素级别的特征点对，确定对齐映射关系。本申请的实施例，在获取特征点对后，可以根据特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，对特征点对进行亚像素插值，得到亚像素级别的特征点对，可以显著提升确定的特征点对的准确度，从而进一步提升双目图像对齐的精度。

另外，所述获取待对齐的双目图像的特征点对，包括：计算所述同一特征在所述第一图像的特征点和在所述第二图像的特征点之间的匹配度；判断所述匹配度是否大于预设的匹配度阈值的；若所述匹配度大于预设的匹配度阈值，则根据所述同一特征在所述第一图像的特征点和在所述第二图像的特征点，获取特征点对，匹配度大于预设的匹配度阈值的特征点对是稳定可靠的特征点对，只根据匹配度大于预设的匹配度阈值的特征点对进行双目图像对齐，可以减少计算量，进一步缩短双目图像对齐的过程的耗时，同时进一步提升双目图像对齐的精度。

另外，所述获取待对齐的双目图像的特征点对，包括：根据预设的特征提取算法，获取待对齐的双目图像的特征点对；其中，所述特征提取算法包括微小尺度不变特征变换算法(tiny Scale-invariant feature transform，简称：tiny-SIFT)，所述根据预设的特征提取算法，获取待对齐的双目图像的特征点对，包括：根据所述tiny-SIFT算法，获取待对齐的双目图像中，经过尺度变换后不改变的点对和经过旋转变换后不改变的点对，将所述经过尺度变换后不改变的点对和所述经过旋转变换后不改变的点对，作为特征点对，相较于普通SIFT算法、莫拉维克算法(Moravec)、快速近似近邻算法(Fast ApproximateNearest Neighbor Search Library，简称：FLANN)、最小核值算法(Smallest UnivalueSegment Assimilating Nucleu，简称：SUSAN)而言，使用tiny-SIFT算法无需进行多尺度的高斯核函数来提取多层次的特征，只提取最底层最显著的特征即可，减少计算量，可以有效缩短双目图像对齐的过程的耗时。

另外，若所述双目图像中包含人脸，则所述获取待对齐的双目图像的特征点对，包括：获取待对齐的双目图像中人脸的五官对应的点对，将所述人脸的五官对应的点对，作为特征点对，当双目图像中包含人脸时，本申请的实施例可以将人脸的五官作为特征点对，一般情况下，双目图像中的人脸为双目图像中很重要的信息，将人脸五官作为特征点对，既可以保证对齐的双目图像中人脸部分的对齐精度，又无需对人脸的每一个像素进行对齐，可以减少计算量。

另外，在所述根据所述特征点对，确定对齐映射关系之前，还包括：获取双目图像对应的双目相机的内外参数；根据所述特征点对和所述内外参数，确定有效特征点对；所述根据所述特征点对，确定对齐映射关系，包括：根据所述有效特征点对，确定所述对齐映射关系，本申请的实施例可以在已知双目相机内外参数的情况下，结合双目相机的内外参数对双目图像进行对齐，由于双目相机的内外参数是准确的、可靠的，双目图像对齐过程更加准确、可靠。

另外，所述根据所述特征点对和所述内外参数，确定有效特征点对，包括：根据所述内外参数，确定双目视差范围，并计算所述双目视差范围的中值；根据所述中值，确定搜索范围；计算所述特征点对在所述第一图像的特征点和在所述第二图像的特征点之间的匹配度将所述匹配度在所述搜索范围内的特征点对，作为有效特征点对，可以进一步减少计算量，提升双目图像匹配的速度。

另外，所述对齐映射关系包括以下任意一种：平移和缩放关系，旋转和缩放关系，透视变换关系，使用透视变换关系进行双目图像对齐，对齐效果最准确，使用平移和缩放关系进行双目图像对齐，计算量最小，本申请的实施例可以确定多种对齐映射关系，在对齐的过程中使用其中一种，可以更好符合用户的实际使用需求，提升用户的使用体验。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本申请一个实施例的双目图像对齐方法的流程图一；

图2是根据本申请另一个实施例的双目图像对齐方法的流程图二；

图3是根据本申请一个实施例中，获取待对齐的双目图像的特征点对的流程图；

图4是根据本申请另一个实施例的双目图像对齐方法的流程图三；

图5是根据本申请一个实施例中，根据特征点对和内外参数，确定有效特征点对的流程图；

图6是根据本申请另一个实施例的双目图像对齐方法的流程图四；

图7是本申请另一个实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现例构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

相关的使用逐像素对齐法进行双目图像对齐的技术，是精度很高的双目图像对齐技术，以“红外光学感受器(Infrared Receptor，简称：IR)—颜色传感器(RGB传感器)—投射器(TX)”深度相机系统为例，IR与TX构成了单目结构光系统，能够恢复场景深度信息，但由于一般的IR和RGB传感器价格上的因素，IR的分辨率比RGB的分辨率低，同时IR和RGB接收到的场景的深度信息不同，这些都导致输出的双目图像的不对齐，使用逐像素对齐法，可以利用场景深度的信息，以及标定得到的相机内外参数，通过相机成像原理，将红外图的每个像素点逐一映射到彩色图上以实现双目图像对齐。

本申请的发明人发现，使用逐像素对齐法进行双目图像对齐，需要对双目图像中的每一个像素进行逐个对齐，对齐过程的计算量很大，耗时非常长，同时，使用逐像素对齐法进行双目图像的高精度，依赖于标定得到的精度和深度信息，如果双目相机标定不精准，或者经过碰撞、摔地等原因导致双目相机的结构发生改变，就无法进行高精度的对齐。

而相关的使用中心像素对齐法进行双目图像对齐的技术，主要关注双目图像的主体的内容，比如画面中的人脸等，只选择双目图像的主体部分进行对齐，放弃非主体部分的对齐精度，在一定程度上缩短了双目图像对齐的耗时。

本申请的发明人发现，使用中心像素对齐法进行双目图像对齐，只有双目图像的主体部分对齐精度较高，非主体部分的对齐精度很差，同时，使用中心像素对齐法进行双目图像的高精度，也依赖于标定得到的精度和深度信息，如果双目相机标定不精准，或者经过碰撞、摔地等原因导致双目相机的结构发生改变，也无法进行高精度的对齐。

为了解决上述的双目图像对齐过程耗时长、速度慢、效率低，对齐精度不高，对齐过程必须知晓双目图像的深度信息的问题，本申请的一个实施例涉及一种双目图像对齐方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中，电子设备以服务器为例进行说明。下面对本实施例的双目图像对齐方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的双目图像对齐方法的具体流程可以如图1所示，包括：

步骤101，获取待对齐的双目图像的特征点对。

具体而言，服务器在对双目图像进行双目图像对齐时，可以在待对齐的双目图像中，获取待对齐的双目图像的特征点对，其中，待对齐的双目图像包括第一图像和第二图像，特征点对包括同一特征在第一图像的特征点和在第二图像的特征点，特征点可以表征双目图像中的特征，能够很好地代表双目图像的内容以及图像中的一些信息。

在具体实现中，服务器可以根据预设的特征提取算法，获取待对齐的双目图像的特征点对，特征提取算法可以以特征提取模型的形式预存在服务器内部的存储器中，服务器在进行双目图像对齐时，将待对齐的双目图像输入至特征提取模型中，特征提取模型的输出即为待对齐的双目图像的特征点对。

在一个例子中，预设的特征提取算法包括以下任意一种：SIFT算法、Moravec算法FLANN算法和SUSAN算法。

在一个例子中，特征点对可以包括双目图像中的角点，边缘点，光线的明暗交界点等。

步骤102，根据特征点对，确定对齐映射关系。

在具体实现中，服务器在获取待对齐的双目图像的若干特征点对后，可以根据这些特征点对组成若干特征向量，并基于这些特征向量确定对齐映射关系。

在一个例子中，服务器在确定对齐映射关系后，可以根据对齐映射关系，对待对齐的双目图像进行对齐，双目图像的第一图像为红外图，第二图像为彩色图，双目图像对齐的目标为将红外图的视场对齐至彩色图的视场，服务器确定的对齐映射关系用于将将红外图的视场对齐至彩色图的视场。

步骤103，根据对齐映射关系，对待对齐的双目图像进行对齐。

在具体实现中，服务器确定的对齐映射关系包括以下任意一种：平移和缩放关系，旋转和缩放关系，透视变换关系，使用透视变换关系进行双目图像对齐，对齐效果最准确，使用平移和缩放关系进行双目图像对齐，计算量最小，使用旋转和缩放关系可以兼顾双目图像对齐的精度和速度，本申请的实施例可以确定多种对齐映射关系，在对齐的过程中使用其中一种对待对齐的双目图像进行对齐，可以更好符合用户的实际使用需求，提升用户的使用体验。

本实施例，在进行双目图像对齐时，先获取待对齐的双目图像的特征点对，即获取出待对齐的双目图像中同一特征在第一图像的特征点和在第二图像的特征点，再根据特征点对，确定用于对双目图像进行对齐的对齐映射关系，最后根据对齐映射关系，对待对齐的双目图像进行对齐，无需对双目图像中的每一个像素进行逐个对齐，显著缩短了双目图像对齐过程的耗时，提升了双目图像对齐的效率，同时，本申请的实施例根据图像的特征确定特征点来进行对齐，特征点可以表征双目图像的整体特征，而不是仅仅表征双目图像的主体部分，从而整个双目图像对齐的精度都可以得到提升，另外，采用特征匹配的方法进行双目图像对齐，可以在不知晓图像的深度信息的情况下，实现双目图像的高精度对齐，使得双目图像对齐的过程更加灵活。

本申请的另一个实施例涉及一种双目图像对齐方法，下面对本实施例的双目图像对齐方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的双目图像对齐方法的具体流程可以如图2所示，包括：

步骤201，获取待对齐的双目图像的特征点对。

其中，步骤201与步骤101大致相同，此处不再赘述。

步骤202，获取特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息。

具体而言，服务器在获取到待对齐的双目图像的特征点对后，可以获取特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，根据各种特征提取算法获取的特征点对为像素级别的特征点对，服务器可以获取特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，来对特征点对进行细化，使得特征点对包含更多的信息，更能代表双目图像。

在具体实现中，服务器在获取到待对齐的双目图像的特征点对后，可以计算特征点对中，第一图像的特征点在各个方向上的梯度和第二图像的特征点在各个方向上的梯度，以获得第一图像的特征点的梯度信息和第二图像的特征点的梯度信息。

步骤203，根据第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，对特征点对进行亚像素插值，得到亚像素级别的特征点对。

在具体实现中，服务器在获取到第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，可以根据第一图像的特征点的梯度信息，基于预设的亚像素插值算法，对第一图像的特征点进行亚像素插值，得到亚像素级别的第一图像的特征点，并根据第二图像的特征点的梯度信息，基于预设的亚像素插值算法，对第二图像的特征点进行亚像素插值，得到亚像素级别的第二图像的特征点，从而得到亚像素级别的特征点对，其中，预设的亚像素插值算法可以由本领域的技术人员根据实际需要进行设定，本申请的实施例对此不作具体限定。

步骤204，根据亚像素级别的特征点对，确定对齐映射关系。

在具体实现中，服务器得到亚像素级别的特征点对后，可以根据亚像素级别的特征点对，确定对齐映射关系，可以显著提升确定的特征点对的准确度，从而进一步提升双目图像对齐的精度。

步骤205，根据对齐映射关系，对待对齐的双目图像进行对齐。

其中，步骤205与步骤103大致相同，此处不再赘述。

本实施例，在所述根据所述特征点对，确定对齐映射关系之前，包括：获取所述特征点对中，所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息；根据所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息，对所述特征点对进行亚像素插值，得到亚像素级别的特征点对；所述根据所述特征点对，确定对齐映射关系，包括：根据所述亚像素级别的特征点对，确定对齐映射关系。本申请的实施例，在获取特征点对后，可以根据特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，对特征点对进行亚像素插值，得到亚像素级别的特征点对，可以显著提升确定的特征点对的准确度，从而进一步提升双目图像对齐的精度。

在一个实施例中，服务器可以通过如图3所示的各步骤，获取待对齐的双目图像的特征点对，具体包括：

步骤301，计算同一特征在第一图像的特征点和在第二图像的特征点之间的匹配度。

具体而言，服务器在获取待对齐的双目图像的特征点对时，可以先确定同一特征在第一图像的特征点和在第二图像的特征点，并根据预设的匹配算法，计算同一特征在第一图像的特征点和在第二图像的特征点之间的匹配度，其中，预设的匹配算法可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不做具体限定。

步骤302，判断匹配度是否大于预设的匹配度阈值，如果是，执行步骤303，否则，执行步骤304。

步骤303，根据该特征在第一图像的特征点和在第二图像的特征点，获取特征点对。

具体而言，服务器在计算得到同一特征在第一图像的特征点和在第二图像的特征点之间的匹配度后，可以判断匹配度是否大于预设的匹配度阈值，若匹配度大于预设的匹配度阈值，说明特征提取可靠、准确，服务器将该特征在第一图像的特征点和在第二图像的特征点，组成特征点对，这样的特征点对时稳定、准确的特征点对，可以用于双目图像的对齐。

步骤304，不保留该特征在第一图像的特征点和在第二图像的特征点。

具体而言，服务器在计算得到同一特征在第一图像的特征点和在第二图像的特征点之间的匹配度后，可以判断匹配度是否大于预设的匹配度阈值，若匹配度不大于预设的匹配度阈值，说明特征提取出现错误，或该特征在双目图像中并不稳定，不适合进行双目图像对齐，服务器不保留该特征在第一图像的特征点和在第二图像的特征点。

本实施例，所述获取待对齐的双目图像的特征点对，包括：计算所述同一特征在所述第一图像的特征点和在所述第二图像的特征点之间的匹配度；判断所述匹配度是否大于预设的匹配度阈值的；若所述匹配度大于预设的匹配度阈值，则根据所述同一特征在所述第一图像的特征点和在所述第二图像的特征点，获取特征点对，匹配度大于预设的匹配度阈值的特征点对是稳定可靠的特征点对，只根据匹配度大于预设的匹配度阈值的特征点对进行双目图像对齐，可以减少计算量，进一步缩短双目图像对齐的过程的耗时，同时进一步提升双目图像对齐的精度。

在一个实施例中，服务器可以根据预设的特征提取算法，获取待对齐的双目图像的特征点对，其中，特征提取算法为tiny-SIFT算法，服务器可以根据tiny-SIFT算法，获取待对齐的双目图像中，经过尺度变换后不改变的点对和经过旋转变换后不改变的点对，将经过尺度变换后不改变的点对和经过旋转变换后不改变的点对，作为特征点对。

在具体实现中，经过尺度变换后不改变的点和经过旋转变换后不改变的点是稳定、可靠的点，将尺度变换后不改变的点和经过旋转变换后不改变的点作为特征点对，可以使双目图像对齐过程更加稳定可靠，同时，相较于普通SIFT算法、Moravec算法、FLANN算法、Susan算法而言，使用tiny-SIFT算法无需进行多尺度的高斯核函数来提取多层次的特征，只提取最底层最显著的特征即可，减少计算量，可以有效缩短双目图像对齐的过程的耗时。

在一个实施例中，若双目图像中包含人脸，服务器可以获取待对齐的双目图像中人脸的五官对应的点对，将人脸的五官对应的点对，作为特征点对。

在具体实现中，服务器可以根据预设的人脸特征点提取算法，从待对齐的双目图像中确定出人脸的五官，将人脸的五官对应的点对，作为特征点对，一般情况下，双目图像中的人脸为双目图像中很重要的信息，将人脸五官作为特征点对，既可以保证对齐的双目图像中人脸部分的对齐精度，又无需对人脸的每一个像素进行对齐，可以减少计算量。

在一个例子中，服务器若检测到双目图像中包含人脸，则可以先根据tiny-SIFT算法，将双目图像中，经过尺度变换后不改变的点对和经过旋转变换后不改变的点对，作为特征点对，再根据人脸特征点提取算法，从待对齐的双目图像中确定出人脸的五官，将人脸的五官对应的点对，作为特征点对，从而获得更多的特征点对，进一步提升双目图像对齐的精度。

本申请的另一个实施例涉及一种双目图像对齐方法，下面对本实施例的双目图像对齐方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的双目图像对齐方法的具体流程可以如图4所示，包括：

步骤401，获取待对齐的双目图像的特征点对。

其中，步骤401与步骤101大致相同，此处不再赘述。

步骤402，获取双目图像对应的双目相机的内外参数。

具体而言，服务器在获取待对齐的双目图像的特征点对后，可以获取双目图像对应的双目相机的内外参数，双目相机的内参数可以包括相机的焦距、像素大小等，双目相机的外参数是双目相机在世界坐标系中的参数，比如相机的位置、旋转方向等。

步骤403，根据特征点对和内外参数，确定有效特征点对。

在具体实现中，服务器可以根据双目图像对应的双目相机的内外参数，在获取到待对齐的双目图像的特征点对中，确定有效特征点对，使得保留下来的特征点对更加稳定、可靠。

步骤404，根据有效特征点对，确定对齐映射关系。

步骤405，根据对齐映射关系，对待对齐的双目图像进行对齐。

其中，步骤404至步骤405与步骤102至步骤103大致相同，此处不再赘述。

本实施例，在所述根据所述特征点对，确定对齐映射关系之前，还包括：获取双目图像对应的双目相机的内外参数；根据所述特征点对和所述内外参数，确定有效特征点对；所述根据所述特征点对，确定对齐映射关系，包括：根据所述有效特征点对，确定所述对齐映射关系，本申请的实施例可以在已知双目相机内外参数的情况下，结合双目相机的内外参数对双目图像进行对齐，由于双目相机的内外参数是准确的、可靠的，双目图像对齐过程更加准确、可靠。

在一个实施例中，服务器根据特征点对和内外参数，确定有效特征点对，可以由如图5所示的各步骤实现，具体包括：

步骤501，根据内外参数，确定双目视差范围，并计算双目视差范围的中值。

具体而言，服务器在获取双目相机的内外参数后，可以根据内外参数，确定出双目相机的双目视差范围，并计算得到双目视差范围的中值，可以理解的是，距离双目相机越近的点，其在双目相机中的视差越大，距离双目相机越远的点，其在双目相机中的视差越小，因此双目视差范围的中值可以很好地表征双目相机成像出的双目图像的特征。

步骤502，根据双目视差范围中值，确定搜索范围。

具体而言，服务器在计算出双目视差范围的中值后，可以根据双目视差范围中值，确定搜索范围，这样确定出的搜索范围更符合实际情况，更具有普适性。

步骤503，计算特征点对在第一图像的特征点和在第二图像的特征点之间的匹配度。

在一个例子中，服务器获取待对齐的双目图像的特征点对时，可以计算同一特征在第一图像的特征点和在所述第二图像的特征点之间的匹配度，判断该匹配度是否大于预设的匹配度阈值，若该匹配度大于预设的匹配度阈值，则根据该同一特征在第一图像的特征点和在第二图像的特征点，获取特征点对，服务器可以将该匹配度保存在服务器内部的存储器中，服务器在根据双目视差范围中值，确定搜索范围后，可以直接从内部存储器中获取特征点对在第一图像的特征点和在第二图像的特征点之间的匹配度。

步骤504，将匹配度在搜索范围内的特征点对，作为有效特征点对。

具体而言，服务器只将第一图像的特征点和在第二图像的特征点之间的匹配度在搜索范围内的特征点对，作为有效特征点对，可以进一步减少计算量，提升双目图像匹配的速度。

本申请的另一个实施例涉及一种双目图像对齐方法，下面对本实施例的双目图像对齐方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的双目图像对齐方法的具体流程可以如图6所示，包括：

步骤601，根据预设的特征提取算法，确定同一特征在第一图像的特征点和在第二图像的特征点。

在具体实现中，预设的特征提取算法以特征提取模型的形式存储在服务器内部的存储器中，服务器将第一图像和第二图像输入至特征模型中，获得特征提取模型输出的同一特征在第一图像的特征点和在第二图像的特征点。

步骤602，计算同一特征在第一图像的特征点和在第二图像的特征点之间的匹配度。

步骤603，判断匹配度是否大于预设的匹配度阈值，如果是，执行步骤605，否则，执行步骤604。

步骤604，不保留该特征在第一图像的特征点和在第二图像的特征点。

步骤605，根据该特征在第一图像的特征点和在第二图像的特征点，获取特征点对。

步骤606，获取特征点对中，第一图像的特征点的梯度信息和第二图像的特征点的梯度信息。

步骤607，根据第一图像的特征点的梯度信息和第二图像的特征点的梯度信息，对特征点对进行亚像素插值，得到亚像素级别的特征点对。

步骤608，获取双目图像对应的双目相机的内外参数。

步骤609，根据亚像素级别的特征点对和内外参数，确定有效特征点对。

步骤610，根据有效特征点对，确定对齐映射关系。

步骤611，根据对齐映射关系，对待对齐的双目图像进行对齐。

本实施例对特征点对进行了两次筛选，可以使保留的特征点对更加稳定可靠，从而进一步提升双目图像对齐的精度。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请另一个实施例涉及一种电子设备，如图7所示，包括：至少一个处理器701；以及，与所述至少一个处理器701通信连接的存储器702；其中，所述存储器702存储有可被所述至少一个处理器701执行的指令，所述指令被所述至少一个处理器701执行，以使所述至少一个处理器701能够执行上述各实施方式中的双目图像对齐方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (8)

1.一种双目图像对齐方法，其特征在于，包括：

获取待对齐的双目图像的特征点对；其中，所述待对齐的双目图像包括第一图像和第二图像，所述特征点对包括同一特征在所述第一图像的特征点和在所述第二图像的特征点；

根据所述特征点对，确定对齐映射关系；

根据所述对齐映射关系，对所述待对齐的双目图像进行对齐；

在所述根据所述特征点对，确定对齐映射关系之前，还包括：

获取双目图像对应的双目相机的内外参数；

根据所述内外参数，确定双目视差范围，并计算所述双目视差范围的中值；

根据所述中值，确定搜索范围；

计算所述特征点对在所述第一图像的特征点和在所述第二图像的特征点之间的匹配度；

将所述匹配度在所述搜索范围内的特征点对，作为有效特征点对；

所述根据所述特征点对，确定对齐映射关系，包括：根据所述有效特征点对，确定所述对齐映射关系。

2.根据权利要求1所述的双目图像对齐方法，其特征在于，在所述根据所述特征点对，确定对齐映射关系之前，包括：

获取所述特征点对中，所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息；

根据所述第一图像的特征点的梯度信息和所述第二图像的特征点的梯度信息，对所述特征点对进行亚像素插值，得到亚像素级别的特征点对；

所述根据所述特征点对，确定对齐映射关系，包括：

根据所述亚像素级别的特征点对，确定对齐映射关系。

3.根据权利要求1中所述的双目图像对齐方法，其特征在于，所述获取待对齐的双目图像的特征点对，包括：

计算所述同一特征在所述第一图像的特征点和在所述第二图像的特征点之间的匹配度；

判断所述匹配度是否大于预设的匹配度阈值；

若所述匹配度大于预设的匹配度阈值，则根据所述同一特征在所述第一图像的特征点和在所述第二图像的特征点，获取特征点对。

4.根据权利要求1所述的双目图像对齐方法，其特征在于，所述获取待对齐的双目图像的特征点对，包括：

根据预设的特征提取算法，获取待对齐的双目图像的特征点对；

其中，所述特征提取算法包括微小尺度不变特征变换tiny-SIFT算法，所述根据预设的特征提取算法，获取待对齐的双目图像的特征点对，包括：

根据所述tiny-SIFT算法，获取待对齐的双目图像中，经过尺度变换后不改变的点对和经过旋转变换后不改变的点对，将所述经过尺度变换后不改变的点对和所述经过旋转变换后不改变的点对，作为特征点对。

5.根据权利要求1或4所述的双目图像对齐方法，其特征在于，若所述双目图像中包含人脸，则所述获取待对齐的双目图像的特征点对，包括：

获取待对齐的双目图像中人脸的五官对应的点对，将所述人脸的五官对应的点对，作为特征点对。

6.根据权利要求1-4中任一项所述的双目图像对齐方法，其特征在于，所述对齐映射关系包括以下任意一种：平移和缩放关系，旋转和缩放关系，透视变换关系。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的双目图像对齐方法。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的双目图像对齐方法。

Images