CN117058430B - 用于视场匹配的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及用于视场匹配的方法、装置、电子设备和存储介质。该方法包括基于当前时刻下第一视场中心点在第二视场中的位置以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的位置，确定第一参数；获取所述当前时刻与所述当前时刻的下一时刻之间与所述第一视场相关联的角度变化；基于所述第一参数和所述角度变化，确定所述当前时刻与所述当前时刻的下一时刻之间所述第一视场的预测信息；以及对所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场中的位置和所述预测信息松耦合，以得到所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场的目标位置。以此方式，能够将视场快速准确匹配。

Description

用于视场匹配的方法、装置、电子设备和存储介质

技术领域

本公开一般地涉及计算机视觉和计算机图形学领域，特别地涉及用于视场匹配的方法、装置、电子设备和存储介质。

背景技术

随着夜视装备技术的发展，观察扫描系统已成为用户在夜间及恶劣天气下获取信息、完成既定任务的重要辅助装备，而将头盔夜视镜的大视场画面和红外小视场画面进行实时图像配准，就能确定小视场图像在大视场图像中的位置，在头盔目镜中准确地显示目标位置和动向，使用户在迅速精准地定位目标的同时保持对周围其他事物的态势感知。在单用户等多种使用模式下，图像配准系统面临实时性、准确度、功耗和体积等诸多挑战，小型化、高数据吞吐量和并行处理的嵌入式图像处理系统的设计与实现成为当下的研究热点。同时，当前的视场匹配方法误差较大，系统精度和鲁棒地低。

因此，急需一种用于视场匹配的方案，以至少部分地解决现有技术中存在的技术问题。

发明内容

根据本公开的示例实施例，提供了一种用于视场匹配的方案。

在本公开的第一方面中，提供了一种用于视场匹配的方法。该方法包括：基于当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的上一时刻下第一视场中心点在第二视场中的位置，确定第一参数；获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化；基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息；以及对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息松耦合，以得到当前时刻的下一时刻下第一视场中心点在第二视场的目标位置。

在一些实施例中，基于当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的上一时刻下第一视场中心点在第二视场中的位置，确定第一参数可以包括：对当前时刻下与第一视场相对应的图像和与第二视场相对应的图像进行匹配，并且对当前时刻的下一时刻下与第一视场相对应的图像和与第二视场相对应的图像进行视觉匹配，以得到单应性矩阵；经由单应性矩阵变换得到当前时刻下第一视场中心点在第二视场中的第一位置坐标以及当前时刻的上一时刻下第一视场中心点在第二视场中的第二位置坐标；经由惯导预积分确定当前时刻与当前时刻的前一时刻之间与第一视场相关联的初始角度变化；以及基于初始角度变化、第一位置坐标以及第二位置坐标，确定第一参数。

在一些实施例中，获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化可以包括：利用惯导导航测量以获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化。

在一些实施例中，基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息可以包括：将第一参数与角度变化相乘，以得到预测信息。

在一些实施例中，对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息松耦合，以得到当前时刻的下一时刻下第一视场中心点在第二视场的目标位置可以包括：使用卡尔曼滤波、扩展卡尔曼滤波以及误差卡尔曼滤波中的一者或多者对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息进行融合。

在一些实施例中，方法还可以包括：基于当前时刻的下一时刻到其下一时刻之间与第一视场相关联的角度变化、当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的下一时刻下第一视场中心点在第二视场中的位置，更新第一参数。

在一些实施例中，第一参数包括尺度因子，并且预测信息包括第一视场中心点像素位移值。

在本公开的第二方面中，提供了一种用于视场匹配的装置。该装置包括：第一参数确定模块，被配置为基于当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的上一时刻下第一视场中心点在第二视场中的位置，确定第一参数；角度变化获取模块，被配置为获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化；预测信息确定模块，被配置为基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息；以及目标位置确定模块，被配置为对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息松耦合，以得到当前时刻的下一时刻下第一视场中心点在第二视场的目标位置。

在本公开的第三方面中，提供了一种电子设备。该设备包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质。该介质上存储有计算机程序，程序被处理器执行时实现根据本公开第一方面的方法。

在本公开的第五方面中，提供了一种计算机程序产品。该产品包括计算机程序/指令，计算机程序/指令被处理器执行时实现根据本公开第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素。附图用于更好地理解本方案，不构成对本公开的限定，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的用于视场匹配的方法的示意流程图；

图3示出了根据本公开的一些实施例的第一参数确定示意图；

图4示出了根据本公开的一些实施例的用于视场匹配的装置的示意性框图；以及

图5示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如前文所述，当前的图像配准系统面临实时性、准确度、功耗和体积、误差较大等诸多挑战。根据本公开的实施例提供了一种用于视场匹配的方案，利用视觉信息特征和角度信息特征搭配使用，将小视场和大视场进行匹配，确定相对位置。而且，由于视觉特征和角度特征均存在测量误差，在匹配后将两种信息特征进行松耦合级别融合，从而降低误差，将视场快速准确匹配。本公开的各个实施例充分结合了观测信息和预测两种类型信息，能够得到高精确度的后验值，具有实用价值。

下文将结合图1至图5更详细介绍根据本公开的示例性实施例。

先参见图1，其示例性地示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被应用到具有不同的结构和/或功能的环境中。

环境100总体上可以包括小视场101、大视场103和配准后视场105和计算设备107，小视场101经由计算设备107配准到大视场103中，从而得到配准后视场105。

在一个实施例中，小视场101例如可以由手持设备获取，并且大视场103可以由头戴设备获取。在该实施例中，手持设备例如可以搭配惯导导航，以采集惯导信息，并且头戴设备可以搭载摄像头，以采集视觉信息。这样一来，可以使用视觉信息和惯导信息共同视场匹配。

在一些实施例中，惯导导航是以惯性测量单元（IMU）为核心，利用加速度计和陀螺仪等传感器来实现导航的技术。相比于基于GPS等卫星定位系统的导航，惯性导航具有独立性强、适用于多种环境、定位精度高等优点，因此在无人驾驶、航空航天等领域中得到广泛应用。

然而，惯性导航也存在一些困难和挑战。由于加速度计和陀螺仪等传感器存在漂移和噪声等问题，长时间使用会导致累积误差的积累，导致导航精度下降。此外，惯性导航还需要进行初始对准和校正等复杂过程，而这些过程往往需要使用其他辅助设备和算法来实现。

为了克服这些困难和挑战，近年来研究人员提出了许多惯性导航相关的新方法和技术，如使用机器学习、视觉传感器和地磁传感器等来辅助惯性导航，或者利用卡尔曼滤波、扩展卡尔曼滤波等算法来减少误差和提高精度。

视觉惯导是一种将视觉传感器与惯性测量单元相结合的导航技术，能够用于实现室内定位、无人机自主飞行、机器人导航等任务。相比于单独使用惯性测量单元或者视觉传感器进行导航，视觉惯导可以有效地克服传感器自身误差和环境变化的干扰，提高导航精度和鲁棒性。

当需要对平面上的图像进行变换时，单应性矩阵可以将一个平面上的点映射到另一个平面上，这个映射可以是平移、旋转、缩放、错切等多种复杂变换的组合，因此在计算机视觉、计算机图形学等领域中有着广泛的应用。

在一个特定实施例中，结合图1，视觉信息可以通过单应性矩阵几何变换直接将小视场101变换到大视场103中，从而快速而精确地得到配准后视场105。惯导信息可以通过惯导中的陀螺仪收集到的角速度信息将通过积分得到的两次视觉匹配间隔时间内的角度变化信息乘以尺度因子得到视场中心点的像素值变化，从而在一段时间内接替视觉完成测量，同时借助于松耦合级别的融合，进而实现小视场101和大视场103的快速配准。下文将以该特定实施例对本公开的构思进行更详细介绍。需要说明，上述实施例仅仅是示例性的，并不构成对本公开的限制。

继续参考图1，计算设备107被配置为实现本公开的视场匹配的各个实施例。计算设备107可以设置在小视场101的硬件处，也可以设置在大视场103的硬件处，也可以单独设置在其他任意合适的位置。计算设备107可以是具有计算能力的任何设备。作为非限制性示例，计算设备107可以是任意类型的固定计算设备、移动计算设备或便携式计算设备，包括但不限于台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、多媒体计算机、移动电话等；计算设备107的全部组件或一部分组件可以分布在云端。计算设备107至少包含处理器、存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存储、通信、控制等功能。计算设备107可以执行根据本公开的各个实施例的所有操作或者部分操作，这将在下文进行详细介绍。

图2示出了根据本公开的一些实施例的用于视场匹配的方法200的示意流程图。在一些实施例中，方法200例如可以在图1所示的计算设备107来实现。以下将结合图1来详细描述方法200。在一些实施例中，以计算设备107实现方法200为例进行说明。

应当理解，方法200还可以包括未示出的框和/或可以省略所示出的框。本公开的范围在此方面不受限制。

在框201，基于当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的上一时刻下第一视场中心点在第二视场中的位置，确定第一参数。在框203，获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化，并且在框205，基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息。

其中，结合图1，第一视场可以是小视场101，第二视场可以是大视场103。

在一个实施例中，确定第一参数可以通过如下方式实现：对当前时刻下与第一视场相对应的图像和与第二视场相对应的图像进行匹配，并且对当前时刻的下一时刻下与第一视场相对应的图像和与第二视场相对应的图像进行视觉匹配，以得到单应性矩阵；经由单应性矩阵变换得到当前时刻下第一视场中心点在第二视场中的第一位置坐标以及当前时刻的上一时刻下第一视场中心点在第二视场中的第二位置坐标；经由惯导预积分确定当前时刻与当前时刻的前一时刻之间与第一视场相关联的初始角度变化；以及基于初始角度变化、第一位置坐标以及第二位置坐标，确定第一参数。其中第一参数可以是尺度因子scale，并且预测信息可以是第一视场中心点像素位移值。

在一个实施例中，可以利用惯导导航测量以获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化。在一个实施例中，基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息可以包括将第一参数与角度变化相乘，以得到预测信息。

具体地，在前文所述的特定实施例中，由于惯导用于确定角度变化量，为能和像素变化量对应起来，首先需要利用视觉信息为惯导确定尺度因子scale，从而可以在两次视觉测量中间短时间内用惯导代替视觉匹配视场。

在一个实施例中，尺度因子scale可以由两次视觉测量和间隔时间内的惯导角度变化确定得到。在该特定实施例中，将以最初两次视觉测量和间隔时间内的惯导角度变化确定得到初始尺度因子为例进行介绍。应当理解，尺度因子是随着视场匹配不断更新的，并且尺度因子也可以通过任意中间两次视觉测量和间隔时间内的惯导角度变化确定得到，本公开对此不作限制。例如，可以基于当前时刻的下一时刻到其下一时刻之间与第一视场相关联的角度变化、当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的下一时刻下第一视场中心点在第二视场中的位置，更新第一参数。

图3示出了根据本公开的一些实施例的第一参数（尺度因子）确定示意图。在前文提及的特定实施例中，可以分别对长焦镜头（对应小视场101）的前后两帧图像与广角镜头（对应大视场103）的图像进行匹配。具体地，可以分别对两张图片提取ORB特征点，进行NN+RANSAC匹配计算出两张图片的单应性矩阵，其中NN代表最近邻匹配算法，该算法首先计算ORB特征点描述符间的汉明距离，根据阈值剔除掉距离过大的匹配对。后用RANSAC算法进一步剔除异常点，RANSAC算法的目标是从一组数据中找出符合某种模型的最佳拟合。这通过随机采样一小部分数据子集（即内点）来估计模型，并将其它数据点与该模型进行比较。根据预定义的阈值，将与模型拟合程度超过阈值的数据点视为内点，而拟合程度较差的数据点则视为外点（即噪声或异常值）。进而将小视场投射到大视场上，但在快速移动时可能出现误匹配情况，在静止不动时窗口会出现抖动情况，且每帧图像都进行匹配会导致功耗过大。而惯导对快速移动敏感性能够有效克服以上问题，例如可以利用扩展卡尔曼滤波以及误差卡尔曼滤波中的一者或多者将二者松耦合起来，能够有效减小匹配误差，提高匹配速度，降低设备功耗，这将在下文进行更详细介绍。

在该实施例中，由两次视觉匹配得到单应性矩阵，通过单应性矩阵变换得到两次匹配的视场中心位置center1(x1,y1)和center2（x2,y2）。其中以图像左上角为原点，向右为x轴正方向，向下为y轴正方向，x1和x2分别为小视场中心点在大视场坐标系内的X轴坐标值，并且y1和y2分别为小视场中心点在大视场坐标系内的Y轴坐标值。

随后，通过惯导预积分以如下等式（1）得到两次匹配时间内的角度变化和，进而得到尺度因子：

（1）

其中为小视场在水平方向的角度变化，为小视场在垂直方向的角度变 化。

下一步可以根据尺度因子scale惯导测得的角度变化预测视场中心像素变化距离。

初始化后在下一次视觉测量到来之前，利用初始化以如下等式（2）得到的scale和惯导测量的在x和y方向的角度变化预测视场中心像素位移值：

（2）

其中代表由角度变化得出的小视场中心点像素坐标的x方向位移，/>代表小视场中心点像素坐标的y方向位移。

在框207，对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息松耦合，以得到当前时刻的下一时刻下第一视场中心点在第二视场的目标位置。

在一个实施例中，可以使用卡尔曼滤波、扩展卡尔曼滤波以及误差卡尔曼滤波中的一者或多者对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息进行融合。

在前文所述的特定实施例中，可以采用卡尔曼滤波来将两种传感器信息进行融合并且更新尺度因子scale。卡尔曼滤波的本质是，结合预测与观测，得到最“精确”的后验值。实际中，预测与观测均从传感器而来，观测是视觉信息，预测是惯导信息。视觉信息到来的那一刻视图中心位置坐标由视觉特征信息和惯导特征信息共同确定。

在一个实施例中，可以通过如下等式（3）至等式（8）完成卡尔曼滤波操作。

（3）

（4）

（5）

（6）

（7）

状态量对于惯导具体来说：

（8）

其中在等式（3）至等式（8）中，向上箭头代表后验估计，向下箭头代表预测 估计，k代表当前时刻，k-1代表前一时刻，x代表状态量即公式（8），y代表观测变量，即从视 觉观测（单应性矩阵解算）到的小视场在大视场的中心像素坐标位移；代表上一时刻的 状态量，代表当前时刻预测量，代表当前时刻的后验估计，F代表惯导的积分函数， 即下文中公式（9），代表IMU的误差，代表协方差，T代表矩阵转置，代表预测方差， 即惯导积分的方差，代表由预测量到观测量的方程，代表卡尔曼增益，代表观测 误差方差，代表当前时刻视觉测量值，即中心像素坐标位移值，代表由预测量到观 测量的方程，代表惯导积分得到的角度变量，代表陀螺仪的偏置量，代表加速 度计的偏置量，也就是待优化的变量。

在一个实施例中，等式（3）状态预测即根据惯导上一时刻的角度推算出当前时刻的角度，函数F是惯导的积分等式，具体为

（9）

其中代表惯导积分得到的角度变量，k代表时刻，代表角速度，t代表时间。

进一步，根据预测的状态得到预测的实际观测值，即从惯导计算的角度信息推算出当前视场的中心位置坐标：

（10）

（11）

其中G(x)函数为，和分别代表小视场中心像素坐标 在x方向上和y方向上的位移。

进一步，计算当前时刻协方差，由等式（4）得到，其中代表预测误差，由人为设定初始值，其中得到实际的观测值/>，即从视觉信息中直接得到视场的中心位置。

进一步，计算实际的观测值和预测的观测值之间的差，并且把“预测的状态”和“观测反馈的目标状态”做加权/>，由等式（7）得到，其中的/>叫做卡尔曼增益，即两种传感器在最终结果中各自所占权重，由等式（5）得到。其中的P_k代表系统协方差，人为设定初始值，后续由迭代计算，R_k是观测误差方差，即视觉测量的误差，由人为设定初始值。最后更新系统协方差，由等式（6）得到。

因此，在该特定实施例中，利用视觉特征与惯导搭配使用对头戴设备和手持设备两个视场进行匹配，确定二者相对位置，从而达到对手持设备视线方向的快速确定。头戴设备和手持设备分别搭载摄像头和惯导，分别采集视觉信息和惯导信息，由于两种测量仪器均存在测量误差，故使用卡尔曼滤波将两种传感器信息进行松耦合级别的融合，从而能够将视场快速准确匹配。

图4示出了根据本公开的一些实施例的用于视场匹配的装置400的示意性框图。如图4所示，装置400包括第一参数确定模块401、角度变化获取模块403、预测信息确定模块405、目标位置确定模块407。

第一参数确定模块401被配置为基于当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的上一时刻下第一视场中心点在第二视场中的位置，确定第一参数；

角度变化获取模块403被配置为获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化。

预测信息确定模块405被配置为基于第一参数和角度变化，确定当前时刻与当前时刻的下一时刻之间第一视场的预测信息。

目标位置确定模块407被配置为对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息松耦合，以得到当前时刻的下一时刻下第一视场中心点在第二视场的目标位置。

在一些实施例中，第一参数确定模块401还被配置为：对当前时刻下与第一视场相对应的图像和与第二视场相对应的图像进行匹配，并且对当前时刻的下一时刻下与第一视场相对应的图像和与第二视场相对应的图像进行视觉匹配，以得到单应性矩阵；经由单应性矩阵变换得到当前时刻下第一视场中心点在第二视场中的第一位置坐标以及当前时刻的上一时刻下第一视场中心点在第二视场中的第二位置坐标；经由惯导预积分确定当前时刻与当前时刻的前一时刻之间与第一视场相关联的初始角度变化；以及基于初始角度变化、第一位置坐标以及第二位置坐标，确定第一参数。

在一些实施例中，角度变化获取模块403还被配置为：利用惯导导航测量以获取当前时刻与当前时刻的下一时刻之间与第一视场相关联的角度变化。

在一些实施例中，预测信息确定模块405还被配置为：将第一参数与角度变化相乘，以得到预测信息。

在一些实施例中，目标位置确定模块407还被配置为：使用卡尔曼滤波、扩展卡尔曼滤波以及误差卡尔曼滤波中的一者或多者对当前时刻的下一时刻下第一视场中心点在第二视场中的位置和预测信息进行融合。

在一些实施例中，装置400还被配置为基于当前时刻的下一时刻到其下一时刻之间与第一视场相关联的角度变化、当前时刻下第一视场中心点在第二视场中的位置以及当前时刻的下一时刻下第一视场中心点在第二视场中的位置，更新第一参数。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备500例如可以用来实现图2所示的方法200中的操作或者用来至少部分地实现图1中所示的计算设备107。电子设备500旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括CPU 501（计算单元），其可以根据存储在ROM 502（只读存储器）中的计算机程序或者从存储单元508加载到随机访问RAM 503（存储器）中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。I/O接口505（输入/输出接口）也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

CPU 501可以是各种具有处理和计算能力的通用和/或专用处理组件。CPU 501的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。CPU 501执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，CPU 501可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法200。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称"VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (6)

1.一种用于视场匹配的方法，其特征在于，包括：

基于当前时刻下第一视场中心点在第二视场中的位置以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的位置，确定第一参数，所述第一参数包括尺度因子；

获取所述当前时刻与所述当前时刻的下一时刻之间与所述第一视场相关联的角度变化；

将所述第一参数与所述角度变化相乘，确定所述当前时刻与所述当前时刻的下一时刻之间所述第一视场的预测信息，所述预测信息包括所述第一视场中心点像素位移值；以及

对所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场中的位置和所述预测信息松耦合，以得到所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场的目标位置；

其中基于当前时刻下第一视场中心点在第二视场中的位置以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的位置，确定第一参数包括：

对所述当前时刻下与所述第一视场相对应的图像和与所述第二视场相对应的图像进行匹配，并且对所述当前时刻的下一时刻下与所述第一视场相对应的图像和与所述第二视场相对应的图像进行视觉匹配，以得到单应性矩阵；

经由单应性矩阵变换得到所述当前时刻下所述第一视场中心点在所述第二视场中的第一位置坐标以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的第二位置坐标；

经由惯性测量单元预积分确定所述当前时刻与所述当前时刻的前一时刻之间与所述第一视场相关联的初始角度变化；以及

基于所述初始角度变化、所述第一位置坐标以及所述第二位置坐标，确定所述第一参数。

2.根据权利要求1所述的方法，其特征在于，获取所述当前时刻与所述当前时刻的下一时刻之间与所述第一视场相关联的角度变化包括：

利用惯性测量单元以获取所述当前时刻与所述当前时刻的下一时刻之间与所述第一视场相关联的角度变化。

3.根据权利要求1所述的方法，其特征在于，对所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场中的位置和所述预测信息松耦合，以得到所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场的目标位置包括：

使用卡尔曼滤波、扩展卡尔曼滤波以及误差卡尔曼滤波中的一者或多者对所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场中的位置和所述预测信息进行融合。

4.一种用于视场匹配的装置，其特征在于，包括：

第一参数确定模块，被配置为基于当前时刻下第一视场中心点在第二视场中的位置以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的位置，确定第一参数，所述第一参数包括尺度因子；

角度变化获取模块，被配置为获取所述当前时刻与所述当前时刻的下一时刻之间与所述第一视场相关联的角度变化；

预测信息确定模块，被配置为基于所述第一参数和所述角度变化，确定所述当前时刻与所述当前时刻的下一时刻之间所述第一视场的预测信息，所述预测信息包括所述第一视场中心点像素位移值；以及

目标位置确定模块，被配置为对所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场中的位置和所述预测信息松耦合，以得到所述当前时刻的下一时刻下所述第一视场中心点在所述第二视场的目标位置；

其中所述第一参数确定模块还被配置为对所述当前时刻下与所述第一视场相对应的图像和与所述第二视场相对应的图像进行匹配，并且对所述当前时刻的下一时刻下与所述第一视场相对应的图像和与所述第二视场相对应的图像进行视觉匹配，以得到单应性矩阵；

经由单应性矩阵变换得到所述当前时刻下所述第一视场中心点在所述第二视场中的第一位置坐标以及所述当前时刻的上一时刻下所述第一视场中心点在所述第二视场中的第二位置坐标；

经由惯性测量单元预积分确定所述当前时刻与所述当前时刻的前一时刻之间与所述第一视场相关联的初始角度变化；以及

基于所述初始角度变化、所述第一位置坐标以及所述第二位置坐标，确定所述第一参数。

5. 一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至3中任一项所述的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至3中任一项所述的方法。