CN112118537B - 一种利用图片实现移动轨迹估算的方法及相关装置 - Google Patents

一种利用图片实现移动轨迹估算的方法及相关装置 Download PDF

Info

Publication number
CN112118537B
CN112118537B CN202011305856.1A CN202011305856A CN112118537B CN 112118537 B CN112118537 B CN 112118537B CN 202011305856 A CN202011305856 A CN 202011305856A CN 112118537 B CN112118537 B CN 112118537B
Authority
CN
China
Prior art keywords
frame
picture
sample
frames
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011305856.1A
Other languages
English (en)
Other versions
CN112118537A (zh
Inventor
李晓宵
单国航
贾双成
朱磊
李成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mushroom Car Union Information Technology Co Ltd
Original Assignee
Mushroom Car Union Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mushroom Car Union Information Technology Co Ltd filed Critical Mushroom Car Union Information Technology Co Ltd
Priority to CN202011305856.1A priority Critical patent/CN112118537B/zh
Publication of CN112118537A publication Critical patent/CN112118537A/zh
Application granted granted Critical
Publication of CN112118537B publication Critical patent/CN112118537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/20—Communication route or path selection, e.g. power-based or shortest path routing based on geographic position or location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种利用图片实现移动轨迹估算的方法及相关装置。该方法包括：获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵；获取拍摄第一帧图片时的位置坐标；根据拍摄第一帧图片时的位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄第二帧图片时的位置坐标；根据拍摄第一帧图片时的位置坐标和拍摄第二帧图片时的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。本申请提供的方案，能够提升车辆移动轨迹估计的准确率。

Description

一种利用图片实现移动轨迹估算的方法及相关装置
技术领域
本申请涉及导航技术领域，尤其涉及一种利用图片实现移动轨迹估算的方法及相关装置。
背景技术
定位系统例如GPS具有性能好、精度高、应用广的特点。但在某些场景下，例如桥下，涵洞，隧道，密集楼宇之间等定位信号不好的位置，相关技术的定位系统的定位偏差很大，甚至无法提供定位结果。
包含加速度计和陀螺仪的惯性测量单元（Inertial Measurement Unit，简称IMU）由于可以测量物体在惯性空间中的角速度和加速度，而被引入到定位应用中来。然而，IMU中的加速度计和陀螺仪受各种因素影响，使用一段时间后，其性能会发生变化，使得测量得到的数据会有所偏差，从而达不到预期的定位需求，继而无法得到准确的移动轨迹。因此，寻求一种准确度较高的轨迹估计方法很有必要。
发明内容
为克服相关技术中存在的问题，本申请提供一种利用图片实现移动轨迹估算的方法及相关装置，能够提升车辆移动轨迹估计的准确率。
本申请第一方面提供一种利用图片实现移动轨迹估算的方法，包括：
获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；
将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，其中，所述预设数据模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：两帧相邻的图片和所述两帧相邻的图片的特征信息；
获取拍摄所述第一帧图片时的位置坐标；
根据拍摄所述第一帧图片时的位置坐标以及所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第二帧图片时的位置坐标；
根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹。
优选的，所述获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片之后，所述方法还包括：
将所述第一帧图片和所述第二帧图片进行截图处理，得到截取后的所述第一帧图片和所述第二帧图片，其中，截取后的所述第一帧图片和所述第二帧图片的尺寸大小相同；
其中，所述将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，包括：
将截取后的所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵。
优选的，所述方法还包括：
获取车辆行驶过程中连续采集的多帧样本图片；
将所述多帧样本图片进行截图处理，得到截取后的所述多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
利用截取后的所述多帧样本图片构建样本图片集；
确定滑动窗口大小，所述滑动窗口内包含所述样本图片集中采集时间相邻的两帧样本图片；
利用卷积神经网络算法对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的特征信息；
对所述两帧样本图片的特征信息进行池化处理，并将池化后的所述两帧样本图片的特征信息进行拼接，得到拼接后的特征信息；
将所述拼接后的特征信息作为输入参数，输入到长短期记忆网络进行处理，得到第一输出特征参数；
将所述第一输出特征参数输入至少两个全连接层，得到所述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
将所述滑动窗口以预设步长在所述样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
获取所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
根据所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及所述每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第一样本误差；
根据所述第一样本误差进行模型优化，得到所述预设数据模型。
优选的，所述方法还包括：
获取车辆行驶过程中连续采集的多帧样本图片；
将所述多帧样本图片进行截图处理，得到截取后的所述多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
利用截取后的所述多帧样本图片构建样本图片集；
确定滑动窗口大小，所述滑动窗口内包含所述样本图片集中采集时间相邻的两帧样本图片；
利用长短期记忆网络对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的关键特征信息；
利用卷积神经网络算法对所述两帧样本图片的关键特征信息进行卷积和池化处理，得到第二输出特征参数；
将所述第二输出特征参数输入至少两个全连接层，得到所述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
将所述滑动窗口以预设步长在所述样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
获取所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
根据所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及所述每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第二样本误差；
根据所述第二样本误差进行模型优化，得到所述预设数据模型。
优选的，所述根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹之后，所述方法还包括：
获取与所述第二帧图片采集时间相邻的第三帧图片；
将所述第二帧图片与所述第三帧图片输入所述预设数据模型进行预测，获得所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵；
根据拍摄所述第二帧图片时的位置坐标以及所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第三帧图片时的位置坐标；
根据拍摄所述第二帧图片时的位置坐标和拍摄所述第三帧图片时的位置坐标，得到所述车辆在拍摄所述第二帧图片至所述第三帧图片时的移动轨迹。
本申请第二方面提供一种利用图片实现移动轨迹估算的装置，包括：
图片获取单元，用于获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；
模型预测单元，用于将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，其中，所述预设数据模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：两帧相邻的图片和所述两帧相邻的图片的特征信息；
位置获取单元，用于获取拍摄所述第一帧图片时的位置坐标；
位置确定单元，用于根据拍摄所述第一帧图片时的位置坐标以及所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第二帧图片时的位置坐标；
轨迹确定单元，用于根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹。
优选的，所述装置还包括：
截图单元，用于在所述图片获取单元获取到车辆在行驶过程中连续采集的第一帧图片和第二帧图片之后，将所述第一帧图片和所述第二帧图片进行截图处理，得到截取后的所述第一帧图片和所述第二帧图片，其中，截取后的所述第一帧图片和所述第二帧图片的尺寸大小相同；
所述模型预测单元具体用于将截取后的所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵。
优选的，所述图片获取单元，还用于在所述轨迹确定单元根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹之后，获取与所述第二帧图片采集时间相邻的第三帧图片；
所述模型预测单元，还用于将所述第二帧图片与所述第三帧图片输入所述预设数据模型进行预测，获得所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵；
所述位置确定单元，还用于根据拍摄所述第二帧图片时的位置坐标以及所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第三帧图片时的位置坐标；
所述轨迹确定单元，还用于根据拍摄所述第二帧图片时的位置坐标和拍摄所述第三帧图片时的位置坐标，得到所述车辆在拍摄所述第二帧图片至所述第三帧图片时的移动轨迹。
本申请第三方面提供一种利用图片实现移动轨迹估算的装置，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案，可以获取行车记录仪在车辆行驶过程中连续采集的第一帧图片和第二帧图片，并将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵；可以获取在拍摄第一帧图片时车辆的位置坐标，并根据该位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，来推算出拍摄第二帧图片时车辆的位置坐标；进而，根据拍摄第一帧图片时车辆的位置坐标和拍摄第二帧图片时车辆的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。本申请的技术方案，给定两张图片，输入预设数据模型中进行预测，能够得到两张图片之间的旋转矩阵和平移矩阵，再结合给定的车辆位置信息，即可得到拍摄这两张图片时车辆的移动轨迹，相对传统的仅采用定位系统或IMU推算出的轨迹，其估算出的轨迹准确性更高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的利用图片实现移动轨迹估算的方法的流程示意图；
图2是本申请实施例示出的利用图片实现移动轨迹估算的方法的另一流程示意图；
图3是本申请实施例示出的利用图片实现移动轨迹估算的装置的结构示意图；
图4是本申请实施例示出的利用图片实现移动轨迹估算的装置的另一结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以下结合附图详细描述本申请实施例的技术方案。
实施例一
请参阅图1，本申请实施例提供了一种利用图片实现移动轨迹估算的方法。如图1所示，该方法至少可以包括以下步骤：
110、获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片。
本申请实施例中，在车辆上可以设置有行车记录仪，可以用于采集车辆行驶过程中的视频数据。为了获得图片，需要对获取的视频数据进行抽帧。通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，从而获得多帧图片。这里的第一帧图片和第二帧图片为对视频数据进行抽帧时采集的时间相邻的两帧图片。
本申请实施例提供的利用图片实现移动轨迹估算的方法可以应用于车机。行车记录仪可以设置于车机内，也可以设置于车机外，且与车机之间建立有通信连接。
可以理解的是，本申请实施例是以车辆上的行车记录仪为例进行说明的，也可以是车辆上的其他拍摄设备，如摄像头、手机等可以采集视频的设备。另外，该拍摄设备可以设置于车辆的首部以采集其前方的视频，也可以设置于车辆的尾部以采集其后方的视频，这里不作唯一限定。
120、将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵。
本申请实施例中，可以事先存储好预设数据模型。将第一帧图片和第二帧图片作为输入参数，输入到预设数据模型中，以使预设数据模型对这两帧图片进行模型预测，得到这两帧图片之间的旋转矩阵和平移矩阵。其中，预设数据模型可以为使用多组数据通过机器学习训练得出的，上述多组数据中的每组数据均可以包括：两帧相邻的图片和上述两帧相邻的图片的特征信息。
其中，预设数据模型可以从是网络或服务器中直接下载的，也可以是自身进行样本训练得到的，这里不作限定。
在一可选的实施方式中，在执行步骤110之后，图1所描述的方法还可以包括以下步骤：
1）将第一帧图片和第二帧图片进行截图处理，得到截取后的第一帧图片和第二帧图片，其中，截取后的第一帧图片和第二帧图片的尺寸大小相同；
相应的，步骤120将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵的具体实施方式可以包括以下步骤：
2）将截取后的第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵。
由于拍摄的图片边缘一般会存在噪点，这些噪点对计算图片间的旋转矩阵和平移矩阵没有意义，反而会增加计算量。因此，可以对图片进行去噪处理。具体的，在对两帧图片进行模型预测之前，可以先进行截图处理，将两帧图片截取成尺寸大小相同的图片，即两帧图片的长度相同、宽度也相同。并将截取后的两帧图片输入到预设模型中进行预测，以得到两帧图片之间的旋转矩阵和平移矩阵。相对于未截图处理而直接进行模型预测，减少了计算量，提升了计算效率。
在一可选的实施方式，当预设数据模型为通过样本训练得到的时，在进行模型预测之前，图1所描述的方法还可以包括以下步骤：
3）获取车辆行驶过程中连续采集的多帧样本图片；
4）将上述多帧样本图片进行截图处理，得到截取后的多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
5）利用截取后的多帧样本图片构建样本图片集；
6）确定滑动窗口大小，该滑动窗口内可以包含样本图片集中采集时间相邻的两帧样本图片；
7）利用卷积神经网络算法对上述两帧样本图片进行特征提取，分别得到上述两帧样本图片的特征信息；
8）对上述两帧样本图片的特征信息进行池化处理，并将池化后的上述两帧样本图片的特征信息进行拼接，得到拼接后的特征信息；
9）将拼接后的特征信息作为输入参数，输入到长短期记忆网络进行处理，得到第一输出特征参数；
10）将第一输出特征参数输入至少两个全连接层，得到上述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
11）将该滑动窗口以预设步长在样本图片集中滑动，重复执行步骤6）至步骤10），分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
12）获取每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
13）根据每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第一样本误差；
14）根据第一样本误差进行模型优化，得到预设数据模型。
具体的，可以利用行车记录仪连续采集多帧样本图片，任意相邻两帧样本图片的时间间隔为抽帧时间间隔。将采集的多帧样本图片进行截图处理，以去除图片边缘噪点，可以减少后续操作的计算量。其中，经过截图处理后的每帧图片的尺寸大小均相同。将截图处理后的多帧样本图片组合成一个样本图片集，并对该样本图片集采用滑动窗口的方式每次提取相邻两帧样本图片进行处理。滑动窗口大小可以是指构建样本图片集中相邻两帧样本图片在时间维度上的时间间隔，即可以规定滑动窗口一次只可以包含两帧相邻的样本图片。可以理解的是，不同时间间隔的图片，可以得到不同数量的样本集，从而可以做到样本增强。
举例来说，首先确定滑动窗口的大小，假设滑动窗口大小为10ms，样本图片集中每相邻两帧样本图片之间的时间间隔也为10ms，则滑动窗口每次可以包含相邻的两帧样本图片。对滑动窗口内的两帧样本图片可以先使用两层或两层以上卷积神经网络算法对两帧样本图片进行特征提取，分别得到两帧样本图片的特征信息，用矩阵分别表示为M1nxn和M2nxn。将两帧样本图片的特征信息分别经过至少一次池化处理，分别得到池化后的矩阵M1mxm和M2mxm。由于经过池化处理后，特征信息的维度会减小，即m小于n，这里的池化处理可以是最大池化处理或平均池化处理。进一步地，将池化处理后得到的两个矩阵进行上下拼接处理，得到拼接后的特征信息M32mxm，可以将该矩阵看作是2m个长度为m的序列信息，输入到至少两层长短期记忆网络（Long Short Term Memory，简称LSTM）中进行处理，再经过至少两个全连接层，最后得到两帧样本图片之间的预测旋转矩阵R'和预测平移矩阵T'。可以理解的是，池化后的两个矩阵也可以采用左右拼接的方式得到拼接后的特征信息，这里不作限定。
将滑动窗口以预设步长1在样本图片集中滑动，获得新的相邻的两帧样本图片，例如，第一次滑动窗口内包含了图片1和图片2，第二次滑动窗口内包含了图片2和图片3，第三次滑动窗口内包含了图片3和图片4，……，依次往后，更新滑动窗口内的图片。每次滑动窗口内的两帧样本图片均采用上述方式进行处理，得到对应的预测旋转矩阵R'和预测平移矩阵T'，从而可以得到样本图片集中每一相邻的两帧样本图片之间的预测旋转矩阵R'和预测平移矩阵T'。另外，可以获取滑动窗口内两帧样本图片之间的实际旋转矩阵R和实际平移矩阵T，其中，R和T可以是默认已知的，也可以是计算得到的。具体的，可以根据滑动窗口内两帧样本图片中的特征点为依据，以五点法或八点法或对极约束构建最小二乘法来求得两帧之间的实际旋转矩阵R和实际平移矩阵T。通过移动滑动窗口，可以得到每一相邻的两帧样本图片之间的实际旋转矩阵R和实际平移矩阵T。其中，五点法、八点法和最小二乘法的具体实现过程可以参见现有相关技术，这里不作展开叙述。
进一步地，可以采用MSE（Mean Square Error，均方误差）损失拟合实际真实值R和T，不断优化模型，得到最优的预设数据模型。具体的，假设样本图片集包含有n+1帧样本图片，则能够形成n组相邻的两帧样本图片，从而能得到n组旋转矩阵和平移矩阵。假设任一相邻的两帧样本图片的R'、T'、R和T均为1x3的三维向量，则n组相邻的两帧样本图片的R'、T'、R和T分别进行组合，组合后的R'、T'、R和T均为nx3的三维矩阵。根据预测值和实际值，计算全部样本图片的误差MSE：
Figure 920463DEST_PATH_IMAGE001
当MSE值越大，表明模型的预测效果越差，此时可以通过调整模型中的一项或多项参数和/或调整模型的结构来不断优化模型，使得MSE值尽可能最小，即预测出的旋转矩阵R'和平移矩阵T'尽可能的趋近实际旋转矩阵R和平移矩阵T，从而得到最优的预设数据模型，使得后续对图片进行预测时得到的结果误差小。
在一可选的实施方式，当预设数据模型为通过样本训练得到的时，在进行模型预测之前，图1所描述的方法还可以包括以下步骤：
15）获取车辆行驶过程中连续采集的多帧样本图片；
16）将上述多帧样本图片进行截图处理，得到截取后的多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
17）利用截取后的多帧样本图片构建样本图片集；
18）确定滑动窗口大小，该滑动窗口内可以包含样本图片集中采集时间相邻的两帧样本图片；
19）利用长短期记忆网络对上述两帧样本图片进行特征提取，分别得到上述两帧样本图片的关键特征信息；
20）利用卷积神经网络算法对上述两帧样本图片的关键特征信息进行卷积和池化处理，得到第二输出特征参数；
21）将第二输出特征参数输入至少两个全连接层，得到上述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
22）将该滑动窗口以预设步长在样本图片集中滑动，重复执行步骤18）至步骤21），分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
23）获取每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
24）根据每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第二样本误差；
25）根据第二样本误差进行模型优化，得到预设数据模型。
该实施方式中，可以先对滑动窗口内的两帧样本图片分别使用两层或两层以上LSTM网络进行关键特征信息的提取，分别得到对应的特征矩阵。然后使用至少两层卷积神经网络对两个特征矩阵进行卷积处理和池化处理，再经过至少两个全连接层输出两帧样本图片的预测旋转矩阵R'和预测平移矩阵T'。通过移动滑动窗口，重复上述过程，可以得到每一相邻的两帧样本图片的预测旋转矩阵R'和预测平移矩阵T'，再结合每一相邻的两帧样本图片的实际旋转矩阵R和实际平移矩阵T，采用MSE算法拟合真实实际值，对模型进行优化，得到优化后的预设数据模型。
130、获取拍摄第一帧图片时的位置坐标。
本申请实施例中，拍摄第一帧图片时的位置坐标可以看作为拍摄第一帧图片时行车记录仪的位置坐标，也可以看作为拍摄第一帧图片时车辆的位置坐标。当第一帧图片为采集的首帧图片时，拍摄第一帧图片时的位置坐标可以是给定的，具体可以是由定位系统获取到的，该定位系统可以包括但不限于GPS（Global Positioning System，全球定位系统）、北斗卫星定位系统、RTK（RealTimeKinematic，实时动态）定位系统等中的至少一种。当第一帧图片为采集的非首帧图片时，拍摄第一帧图片时的位置坐标可以是由拍摄首帧图片时的位置坐标按照本申请技术方案推算得出的。
140、根据拍摄第一帧图片时的位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄第二帧图片时的位置坐标。
本申请实施例中，当使用模型预测得到第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵之后，再结合拍摄第一帧图片时的位置坐标，可以利用罗德里格斯公式进行矩阵变化，从而推导出拍摄第二帧图片时的位置坐标。其中，罗德里格斯公式的具体推导过程可以参见相关技术，这里不作展开叙述。
150、根据拍摄第一帧图片时的位置坐标和拍摄第二帧图片时的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。
本申请实施例中，当分别获得拍摄两帧图片时的位置坐标后，可以根据位置坐标的变化来确定出车辆在拍摄这两帧图片时的移动轨迹。
举例来说，采集相邻的两帧图片p0和p1，根据模型预测得出图片p1相对于图片p0的旋转矩阵R1和平移矩阵T1。给定拍摄图片p0时的位置坐标P0(x0、y0、z0)，利用罗德里格斯公式计算出拍摄图片p1的位置坐标P1(x1、y1、z1)，根据拍摄图片p0时的位置坐标P0(x0、y0、z0)和拍摄图片p1的位置坐标P1(x1、y1、z1)可以推算出车辆在拍摄图片p0和图片p1时的移动轨迹。
可以理解的是，本申请实施例虽然是以车辆为例进行说明的，但并不仅仅局限于此，本申请技术方案也可以应用于其他的移动设备，如安装有拍摄设备和定位系统的移动机器人中，这里不作限定。
综上，本申请实施例可以获取行车记录仪在车辆行驶过程中连续采集的第一帧图片和第二帧图片，并将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵；可以获取在拍摄第一帧图片时车辆的位置坐标，并根据该位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，来推算出拍摄第二帧图片时车辆的位置坐标；进而，根据拍摄第一帧图片时车辆的位置坐标和拍摄第二帧图片时车辆的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。本申请的技术方案，给定两张图片，输入预设数据模型中进行预测，能够得到两张图片之间的旋转矩阵和平移矩阵，再结合给定的车辆位置信息，即可得到拍摄这两张图片时车辆的移动轨迹，相对传统的仅采用定位系统或IMU推算出的轨迹，其估算出的轨迹准确性更高。
实施例二
请参阅图2，本申请实施例还提供了另一种利用图片实现移动轨迹估算的方法。如图2所示，该方法至少可以包括以下步骤：
210、获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片。
220、将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，其中，预设数据模型可以为使用多组数据通过机器学习训练得出的，上述多组数据中的每组数据均可以包括：两帧相邻的图片和上述两帧相邻的图片的特征信息。
230、获取拍摄第一帧图片时的位置坐标。
240、根据拍摄第一帧图片时的位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄第二帧图片时的位置坐标。
250、根据拍摄第一帧图片时的位置坐标和拍摄第二帧图片时的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。
其中，步骤210至步骤250的具体实施过程可以参考实施例一中对步骤110至步骤150的相关描述，这里不再赘述。
260、获取与第二帧图片采集时间相邻的第三帧图片。
270、将第二帧图片与第三帧图片输入预设数据模型进行预测，获得第二帧图片与第三帧图片之间的旋转矩阵和平移矩阵。
280、根据拍摄第二帧图片时的位置坐标以及第二帧图片与第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄第三帧图片时的位置坐标。
290、根据拍摄第二帧图片时的位置坐标和拍摄第三帧图片时的位置坐标，得到车辆在拍摄第二帧图片至第三帧图片时的移动轨迹。
本申请实施例中，可以继续获取第三帧图片（即与第二帧图片相邻的下一帧图片），将第三帧图片与第二帧图片作为输入参数，输入预设数据模型中进行预测，得到第三帧图片相对于第二帧图片的旋转矩阵和平移矩阵。可选的，在进行模型预测之前，可以先对第三帧图片进行截图处理，以使其尺寸大小与第二帧图片相同。
本申请实施例中，由于拍摄第二帧图片时的位置坐标已经在前面计算得出，结合第三帧图片与第二帧图片之间的旋转矩阵和平移矩阵，可以利用罗德里格斯公式进行矩阵变化，从而推导出拍摄第三帧图片时的位置坐标，进而根据拍摄第二帧图片和第三帧图片时的位置变化，得到拍摄这两帧图片时车辆的移动轨迹。
进一步地，可以获取与第三帧图片相邻的第四帧图片，将第三帧图片与第四帧图片作为输入参数，输入预设数据模型中进行预测，得到第四帧图片相对于第三帧图片的旋转矩阵和平移矩阵，结合拍摄第三帧图片时的位置坐标，可以推导出拍摄第四帧图片时的位置坐标，进而得到拍摄第三帧图片至第四帧图片时车辆的移动轨迹。按照上述步骤，依次往后类推，可以推测出拍摄各帧图片时车辆的位置，得到车辆在拍摄这些图片时的移动轨迹。
举例来说，给定相邻的四帧图片p0、p1、p2和p3，根据模型预测得出图片p1相对于图片p0的旋转矩阵R1和平移矩阵T1。给定拍摄图片p0时的位置坐标P0(x0、y0、z0)，利用罗德里格斯公式计算出拍摄图片p1的位置坐标P1(x1、y1、z1)。同理，根据模型预测得出图片p2相对于图片p1的旋转矩阵R2和平移矩阵T2，以及图片p3相对于图片p2的旋转矩阵R3和平移矩阵T3。根据拍摄图片p1的位置坐标P1(x1、y1、z1)，利用罗德里格斯公式计算出拍摄图片p2的位置坐标P2(x2、y2、z2)，以及根据拍摄图片p2的位置坐标P2(x2、y2、z2)，利用罗德里格斯公式计算出拍摄图片p3的位置坐标P3(x3、y3、z3)。结合位置坐标P0(x0、y0、z0)、位置坐标P1(x1、y1、z1)、位置坐标P2(x2、y2、z2)和位置坐标P3(x3、y3、z3)，可以推算出车辆在拍摄图片p0至图片p3时的移动轨迹。
本申请实施例中，通过给定多张图片，将任意相邻的两张图片分别输入预设数据模型中进行预测，能够得到相邻两张图片之间的旋转矩阵和平移矩阵，再结合给定的车辆初始位置，即可推导出拍摄各张图片时车辆的位置，从而可以根据位置变化得到车辆的移动轨迹，相对传统的仅采用定位系统或IMU推算出的轨迹，其估算出的轨迹准确性更高。
此外，只需知道车辆的初始位置，而其余位置均是通过图片之间的旋转平移推导得出的，这样能够降低因定位系统定位不准而造成位置偏差的发生概率，进而提升了车辆移动轨迹估计的准确率。
实施例三
请参阅图3，本申请还提供了一种利用图片实现移动轨迹估算的装置。该装置可以用于执行上述实施例一和实施例二提供的利用图片实现移动轨迹估算的方法。具体的，如图3所示，该装置可以包括：
图片获取单元31，用于获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；
模型预测单元32，用于将第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，其中，预设数据模型可以为使用多组数据通过机器学习训练得出的，上述多组数据中的每组数据均可以包括：两帧相邻的图片和上述两帧相邻的图片的特征信息；
位置获取单元33，用于获取拍摄第一帧图片时的位置坐标；
位置确定单元34，用于根据拍摄第一帧图片时的位置坐标以及第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄第二帧图片时的位置坐标；
轨迹确定单元35，用于根据拍摄第一帧图片时的位置坐标和拍摄第二帧图片时的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹。
可选的，图3中所示的装置还可以包括截图单元（图中未示出），其中：
截图单元，用于在图片获取单元31获取到车辆在行驶过程中连续采集的第一帧图片和第二帧图片之后，将第一帧图片和第二帧图片进行截图处理，得到截取后的第一帧图片和第二帧图片，其中，截取后的第一帧图片和第二帧图片的尺寸大小相同；
模型预测单元32具体可以用于将截取后的第一帧图片和第二帧图片输入预设数据模型进行预测，获得第一帧图片与第二帧图片之间的旋转矩阵和平移矩阵。
可选的，图3中所示的装置还可以包括：
第一样本获取单元，用于获取车辆行驶过程中连续采集的多帧样本图片；
第一图片截取单元，用于将上述多帧样本图片进行截图处理，得到截取后的多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
第一样本构建单元，用于利用截取后的多帧样本图片构建样本图片集；
第一窗口确定单元，用于确定滑动窗口大小，该滑动窗口内包含样本图片集中采集时间相邻的两帧样本图片；
第一特征提取单元，用于利用卷积神经网络算法对上述两帧样本图片进行特征提取，分别得到上述两帧样本图片的特征信息；
第一特征处理单元，用于对上述两帧样本图片的特征信息进行池化处理，并将池化后的上述两帧样本图片的特征信息进行拼接，得到拼接后的特征信息；将拼接后的特征信息作为输入参数，输入到长短期记忆网络进行处理，得到第一输出特征参数；
第一参数预测单元，将第一输出特征参数输入至少两个全连接层，得到上述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；将该滑动窗口以预设步长在所述样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
第一参数获取单元，用于获取每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
第一误差计算单元，用于根据每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第一样本误差；
第一模型优化单元，用于根据第一样本误差进行模型优化，得到预设数据模型。
可选的，图3中所示的装置还可以包括：
第二样本获取单元，用于获取车辆行驶过程中连续采集的多帧样本图片；
第二图片截取单元，用于将上述多帧样本图片进行截图处理，得到截取后的多帧样本图片，其中，截取后的每一帧样本图片的尺寸大小均相同；
第二样本构建单元，用于利用截取后的多帧样本图片构建样本图片集；
第二窗口确定单元，用于确定滑动窗口大小，该滑动窗口内包含样本图片集中采集时间相邻的两帧样本图片；
第二特征提取单元，用于利用长短期记忆网络对上述两帧样本图片进行特征提取，分别得到上述两帧样本图片的关键特征信息；
第二特征处理单元，用于利用卷积神经网络算法对上述两帧样本图片的关键特征信息进行卷积和池化处理，得到第二输出特征参数；
第二参数预测单元，用于将第二输出特征参数输入至少两个全连接层，得到上述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；将该滑动窗口以预设步长在样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
第二参数获取单元，用于获取每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
第二误差计算单元，用于根据每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到第二样本误差；
第二模型优化单元，用于根据第二样本误差进行模型优化，得到预设数据模型。
可选的，图片获取单元31，还可以用于在轨迹确定单元35根据拍摄第一帧图片时的位置坐标和拍摄第二帧图片时的位置坐标，得到车辆在拍摄第一帧图片至第二帧图片时的移动轨迹之后，获取与第二帧图片采集时间相邻的第三帧图片；
模型预测单元32，还可以用于将第二帧图片与第三帧图片输入预设数据模型进行预测，获得第二帧图片与第三帧图片之间的旋转矩阵和平移矩阵；
位置确定单元34，还可以用于根据拍摄第二帧图片时的位置坐标以及第二帧图片与第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄第三帧图片时的位置坐标；
轨迹确定单元35，还可以用于根据拍摄第二帧图片时的位置坐标和拍摄第三帧图片时的位置坐标，得到车辆在拍摄第二帧图片至第三帧图片时的移动轨迹。
实施图3所示的装置，通过给定多张图片，将任意相邻的两张图片分别输入预设数据模型中进行预测，能够得到相邻两张图片之间的旋转矩阵和平移矩阵，再结合给定的车辆初始位置，即可推导出拍摄各张图片时车辆的位置，从而可以根据位置变化得到车辆的移动轨迹，相对传统的仅采用定位系统或IMU推算出的轨迹，其估算出的轨迹准确性更高。
此外，只需知道车辆的初始位置，而其余位置均是通过图片之间的旋转平移推导得出的，这样能够降低因定位系统定位不准而造成位置偏差的发生概率，进而提升了车辆移动轨迹估计的准确率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
实施例四
请参阅图4，本申请实施例还提供了另一种利用图片实现移动轨迹估算的装置。该装置可以用于执行上述实施例一和实施例二提供的利用图片实现移动轨迹估算的方法。具体的，如图4所示，该装置400可以包括：至少一个处理器401、存储器402、至少一个通信接口403等组件。其中，这些组件可以通过一条或多条通信总线404进行通信连接。本领域技术人员可以理解，图4中示出的装置400的结构并不构成对本申请实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器401或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器402可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器402可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
通信接口403可以包括有线通信接口、无线通信接口等，可以用于与定位系统、行车记录仪或其他设备进行通信交互。
存储器402上存储有可执行代码，当可执行代码被处理器401处理时，可以使处理器401执行上文述及的利用图片实现移动轨迹估算的方法中的部分或全部步骤。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种利用图片实现移动轨迹估算的方法，其特征在于，包括：
获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；
将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵；
获取拍摄所述第一帧图片时的位置坐标；
根据拍摄所述第一帧图片时的位置坐标以及所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第二帧图片时的位置坐标；
根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹；
在进行模型预测之前，所述方法还包括：
获取样本图片集；
确定滑动窗口大小，所述滑动窗口内包含所述样本图片集中采集时间相邻的两帧样本图片；
利用卷积神经网络算法对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的特征信息；对所述两帧样本图片的特征信息进行池化处理，并将池化后的所述两帧样本图片的特征信息进行拼接，得到拼接后的特征信息；将所述拼接后的特征信息作为输入参数，输入到长短期记忆网络进行处理，得到输出特征参数；或者，利用长短期记忆网络对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的关键特征信息；利用卷积神经网络算法对所述两帧样本图片的关键特征信息进行卷积和池化处理，得到输出特征参数；
将所述输出特征参数输入至少两个全连接层，得到所述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
将所述滑动窗口以预设步长在所述样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
获取所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
根据所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及所述每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到样本误差；
根据所述样本误差进行模型优化，得到所述预设数据模型。
2.根据权利要求1所述的方法，其特征在于，所述获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片之后，所述方法还包括：
将所述第一帧图片和所述第二帧图片进行截图处理，得到截取后的所述第一帧图片和所述第二帧图片，其中，截取后的所述第一帧图片和所述第二帧图片的尺寸大小相同；
其中，所述将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，包括：
将截取后的所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵。
3.根据权利要求1或2所述的方法，其特征在于，所述根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹之后，所述方法还包括：
获取与所述第二帧图片采集时间相邻的第三帧图片；
将所述第二帧图片与所述第三帧图片输入所述预设数据模型进行预测，获得所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵；
根据拍摄所述第二帧图片时的位置坐标以及所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第三帧图片时的位置坐标；
根据拍摄所述第二帧图片时的位置坐标和拍摄所述第三帧图片时的位置坐标，得到所述车辆在拍摄所述第二帧图片至所述第三帧图片时的移动轨迹。
4.一种利用图片实现移动轨迹估算的装置，其特征在于，包括：
图片获取单元，用于获取车辆在行驶过程中连续采集的第一帧图片和第二帧图片；
模型预测单元，用于将所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵；
位置获取单元，用于获取拍摄所述第一帧图片时的位置坐标；
位置确定单元，用于根据拍摄所述第一帧图片时的位置坐标以及所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第二帧图片时的位置坐标；
轨迹确定单元，用于根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹；
所述装置还包括：
样本获取单元，用于在所述模型预测单元进行模型预测之前，获取样本图片集；
窗口确定单元，用于确定滑动窗口大小，所述滑动窗口内包含所述样本图片集中采集时间相邻的两帧样本图片；
特征处理单元，用于利用卷积神经网络算法对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的特征信息；对所述两帧样本图片的特征信息进行池化处理，并将池化后的所述两帧样本图片的特征信息进行拼接，得到拼接后的特征信息；将所述拼接后的特征信息作为输入参数，输入到长短期记忆网络进行处理，得到输出特征参数；或者，利用长短期记忆网络对所述两帧样本图片进行特征提取，分别得到所述两帧样本图片的关键特征信息；利用卷积神经网络算法对所述两帧样本图片的关键特征信息进行卷积和池化处理，得到输出特征参数；
参数预测单元，用于将所述输出特征参数输入至少两个全连接层，得到所述两帧样本图片之间的预测旋转矩阵和预测平移矩阵；将所述滑动窗口以预设步长在所述样本图片集中滑动，分别得到每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵；
参数获取单元，用于获取所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵；
误差计算单元，用于根据所述每一相邻的两帧样本图片之间的实际旋转矩阵和实际平移矩阵以及所述每一相邻的两帧样本图片之间的预测旋转矩阵和预测平移矩阵，采用均方误差MSE算法计算得到样本误差；
模型优化单元，用于根据所述样本误差进行模型优化，得到所述预设数据模型。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：
截图单元，用于在所述图片获取单元获取到车辆在行驶过程中连续采集的第一帧图片和第二帧图片之后，将所述第一帧图片和所述第二帧图片进行截图处理，得到截取后的所述第一帧图片和所述第二帧图片，其中，截取后的所述第一帧图片和所述第二帧图片的尺寸大小相同；
所述模型预测单元具体用于将截取后的所述第一帧图片和所述第二帧图片输入预设数据模型进行预测，获得所述第一帧图片与所述第二帧图片之间的旋转矩阵和平移矩阵。
6.根据权利要求4或5所述的装置，其特征在于，
所述图片获取单元，还用于在所述轨迹确定单元根据拍摄所述第一帧图片时的位置坐标和拍摄所述第二帧图片时的位置坐标，得到所述车辆在拍摄所述第一帧图片至所述第二帧图片时的移动轨迹之后，获取与所述第二帧图片采集时间相邻的第三帧图片；
所述模型预测单元，还用于将所述第二帧图片与所述第三帧图片输入所述预设数据模型进行预测，获得所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵；
所述位置确定单元，还用于根据拍摄所述第二帧图片时的位置坐标以及所述第二帧图片与所述第三帧图片之间的旋转矩阵和平移矩阵，确定拍摄所述第三帧图片时的位置坐标；
所述轨迹确定单元，还用于根据拍摄所述第二帧图片时的位置坐标和拍摄所述第三帧图片时的位置坐标，得到所述车辆在拍摄所述第二帧图片至所述第三帧图片时的移动轨迹。
7.一种利用图片实现移动轨迹估算的装置，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-3中任一项所述的方法。
8.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-3中任一项所述的方法。
CN202011305856.1A 2020-11-19 2020-11-19 一种利用图片实现移动轨迹估算的方法及相关装置 Active CN112118537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011305856.1A CN112118537B (zh) 2020-11-19 2020-11-19 一种利用图片实现移动轨迹估算的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011305856.1A CN112118537B (zh) 2020-11-19 2020-11-19 一种利用图片实现移动轨迹估算的方法及相关装置

Publications (2)

Publication Number Publication Date
CN112118537A CN112118537A (zh) 2020-12-22
CN112118537B true CN112118537B (zh) 2021-02-19

Family

ID=73794946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011305856.1A Active CN112118537B (zh) 2020-11-19 2020-11-19 一种利用图片实现移动轨迹估算的方法及相关装置

Country Status (1)

Country Link
CN (1) CN112118537B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598743B (zh) * 2021-02-08 2023-10-13 智道网联科技(北京)有限公司 一种单目视觉图像的位姿估算方法及相关装置
CN112668563B (zh) * 2021-03-16 2021-06-04 智道网联科技(北京)有限公司 一种基于视频图像实现移动轨迹推算的方法及相关装置
CN113112524B (zh) * 2021-04-21 2024-02-20 智道网联科技(北京)有限公司 自动驾驶中移动对象的轨迹预测方法、装置及计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101306A1 (en) * 2004-12-03 2009-09-16 NAV Canada Visual aircraft spacing system and method
CN105222789A (zh) * 2015-10-23 2016-01-06 哈尔滨工业大学 一种基于激光测距传感器的楼宇室内平面图建立方法
CN111783597A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111932627A (zh) * 2020-09-15 2020-11-13 蘑菇车联信息科技有限公司 一种标识物绘制方法及系统
CN111930877A (zh) * 2020-09-18 2020-11-13 蘑菇车联信息科技有限公司 地图路牌的生成方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2101306A1 (en) * 2004-12-03 2009-09-16 NAV Canada Visual aircraft spacing system and method
CN105222789A (zh) * 2015-10-23 2016-01-06 哈尔滨工业大学 一种基于激光测距传感器的楼宇室内平面图建立方法
CN111783597A (zh) * 2020-06-24 2020-10-16 中国第一汽车股份有限公司 行车轨迹线的标定方法、装置、计算机设备和存储介质
CN111932627A (zh) * 2020-09-15 2020-11-13 蘑菇车联信息科技有限公司 一种标识物绘制方法及系统
CN111930877A (zh) * 2020-09-18 2020-11-13 蘑菇车联信息科技有限公司 地图路牌的生成方法及电子设备

Also Published As

Publication number Publication date
CN112118537A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112118537B (zh) 一种利用图片实现移动轨迹估算的方法及相关装置
CN110246147B (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
US9709404B2 (en) Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation
CN107845114B (zh) 地图的构建方法、装置及电子设备
CN111928869B (zh) 车辆运动轨迹估计方法、装置及电子设备
CN111932616B (zh) 一种利用并行计算加速的双目视觉惯性里程计方法
CN111784784B (zh) Imu内参的标定方法、装置、电子设备仪及存储介质
CN112762933B (zh) 基于神经网络模型的车辆定位方法及装置
CN112197772B (zh) 一种确定车辆移动轨迹的方法及相关装置
CN111928847A (zh) 惯性测量单元位姿数据优化方法、装置及电子设备
CN111220155A (zh) 基于双目视觉惯性里程计估计位姿的方法、装置与处理器
CN111928842A (zh) 一种基于单目视觉实现slam定位的方法及相关装置
CN115135963A (zh) 用于在场景地图中生成3d参考点的方法
CN111882494B (zh) 位姿图处理方法、装置、计算机设备和存储介质
CN113252060A (zh) 基于神经网络模型的车辆轨迹推算方法及装置
CN113175936B (zh) 基于神经网络模型的车辆轨迹推算方法及装置
CN112762932B (zh) 基于神经网络模型的轨迹推算方法及装置
CN112348903B (zh) 行车记录仪外参数标定方法、装置及电子设备
CN112985463B (zh) 基于卷积神经网络模型的惯性测量单元标定方法及装置
US11525683B2 (en) Drift-free velocity estimation for multirotor systems and localization thereof
CN112556702A (zh) 一种车辆移动轨迹的高度修正方法及相关装置
CN113009533A (zh) 基于视觉slam的车辆定位方法、设备及云服务器
CN114543800A (zh) 一种用于车辆移动轨迹估计的处理方法及相关装置
CN114067458B (zh) Gps信息优化方法、装置、行车记录仪以及存储介质
CN113124884B (zh) 基于lstm神经网络模型的车辆定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant