CN105103089B - 用于基于视频输入生成准确传感器校正的系统和方法 - Google Patents

用于基于视频输入生成准确传感器校正的系统和方法 Download PDF

Info

Publication number
CN105103089B
CN105103089B CN201380074783.1A CN201380074783A CN105103089B CN 105103089 B CN105103089 B CN 105103089B CN 201380074783 A CN201380074783 A CN 201380074783A CN 105103089 B CN105103089 B CN 105103089B
Authority
CN
China
Prior art keywords
reference object
portable device
sensor
sensor data
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380074783.1A
Other languages
English (en)
Other versions
CN105103089A (zh
Inventor
潘伟斌
胡亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105103089A publication Critical patent/CN105103089A/zh
Application granted granted Critical
Publication of CN105103089B publication Critical patent/CN105103089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)

Abstract

便携式设备包括传感器、视频捕获模块、处理器、以及存储指令的计算机可读存储器。当在处理器上执行时，指令操作为使得传感器生成指示物理量的原始传感器数据；当便携式设备相对于参考对象移动时，使得视频捕获模块捕获参考对象的视频像同时传感器生成原始传感器数据；以及使得处理器基于捕获的参考对象的视频像和原始传感器数据来计算针对传感器的校正参数。

Description

用于基于视频输入生成准确传感器校正的系统和方法
技术领域
本公开总体上涉及配备有运动感测模块的设备，并且更具体地，涉及发展针对在这样的模块中使用的传感器的准确校正。
背景技术
本文中提供的背景描述是为了总体上呈现本公开的上下文的目的。到其被描述在这一背景部分中的程度，当前提名的发明人的工作，以及在提交申请时可能无法另外有资格作为现有技术的描述的各方面，既不明确也不隐含地承认作为抵触本公开的现有技术。
近年来，由于微机电系统(MEMS)领域的进步，诸如加速计、陀螺仪和磁力计之类的传感器的成本已经降低。这些便宜的传感器被广泛用于诸如智能电话、平板计算机等之类的移动设备中，以通过感测相对运动(上下、左右、滚动、俯仰(pitch)、偏转(yaw)等)来控制或触发软件应用。然而，与诸如无人机或制造机器人之类的商业或工业应用中使用的传感器相比，移动设备中使用的低成本的传感器具有低准确度。
诸如例如加速计、磁力计和陀螺仪之类的具有三维(3D)向量输出的传感器易于出现传感器偏置误差，其可以被看作为零的理想输出和实际非零输出之间的差、以及交叉轴干扰误差，它们由芯片布局的非正交和模拟电路干扰造成。一般地，运动感测模块所使用的传感器的误差可以被分类成“漂移”误差和“交叉轴”误差。漂移误差被定义为在真实数据或预期输出和原始传感器数据之间的恒定移位。加速计的传感器偏置误差是漂移误差的示例。交叉轴误差被定义为不可分离成与单独坐标相关联的分量的误差(即，误差耦合到多个坐标)。磁力计的交叉轴干扰是交叉轴误差的示例。
为了努力增加运动感测结果的准确性，具有多个传感器的某些运动感测模块使用传感器融合来优化结果。一般来说，传感器融合指的是组合来自多个传感器的数据，使得所产生的信息与从任何一个单独传感器所产生的信息相比具有更高的可靠度。由多个传感器产生的数据可能是冗余的，并且可能具有变化的可靠度，因此来自多个传感器的数据往往具有最佳组合。简单的传感器融合算法可以使用来自多个传感器的数据的加权平均，以考虑变化的可靠度，而更复杂的传感器融合算法可以随时间优化传感器数据的组合(例如，使用卡尔曼滤波器或线性二次估算)。
理论上，传感器融合技术提供准确的运动感测结果，即使当所采用的单独传感器具有低的可靠度时。然而，在实践中，对于传感器的某些组合而言，传感器融合具有某些缺点。例如，在可用传感器(即，“特征集”)的数目增加时，传感器融合算法的复杂性剧烈增加。从而，对于使用大量传感器和/或具有复杂误差源(例如，交叉轴误差)的传感器的运动感测模块而言，高的计算成本使得传感器融合棘手。另一方面，少量的传感器可能严重限制利用传感器融合的测量准确性的任何增加。因此，传感器的数目大大影响传感器融合技术的效用。实际上，在其中可用传感器是不同和不兼容类型的某些情景中，传感器融合技术甚至可能完全不实用。虽然某些便携式设备现在实现传感器融合，但是所实现的技术充其量补偿基本的漂移误差，而未补偿交叉轴误差。
发明内容
根据一个实施方式，便携式设备包括传感器、视频捕获模块、处理器、以及存储指令的计算机可读存储器。当在处理器上执行时，指令操作为使得传感器生成指示物理量的原始传感器数据；当便携式设备相对于参考对象移动时，使得视频捕获模块捕获参考对象的视频像(video imagery)同时传感器生成原始传感器数据；以及使得处理器基于捕获的参考对象的视频像和原始传感器数据来计算针对传感器的校正参数。
根据另一实施方式，用于高效地开发具有传感器和相机的便携式设备中的传感器误差校正的方法实现在一个或多个处理器上。方法包括当便携式设备相对于参考对象移动时，使得传感器生成指示物理量的原始传感器数据。进一步地，方法包括使得相机捕获参考对象的多个图像同时传感器生成原始传感器数据。再进一步地，方法包括基于多个图像和参考对象的几何性质，确定便携式设备的多个定位和定向；并且使用定位和定向以及原始传感器数据，计算针对传感器的校正参数。
根据又一实施方式，有形计算机可读介质存储指令。当由一个或多个处理器执行时，指令使得一个或多个处理器：接收由操作在便携式设备中的传感器生成的原始传感器数据；并且接收由操作在便携式设备中的视频捕获模块捕获的参考对象的视频像。在便携式设备相对于参考对象移动的同时，并发地捕获原始传感器数据和视频像。指令进一步使得一个或多个处理器使用捕获的参考对象的视频像和原始传感器数据，来计算针对传感器的校正参数。
附图说明
图1图示其中便携式设备基于捕获的参考对象的视频像来开发传感器校正的示例情景。
图2图示其中便携式设备经由传感器校正例程来开发传感器校正的示例系统。
图3是用于基于捕获的视频像来生成传感器校正的示例方法的流程图。
图4是用于生成定期传感器校正的示例方法的流程图。
图5是用于标识捕获的视频像中的对象并且匹配所标识的对象与参考对象的示例方法的流程图。
具体实施方式
可以利用本公开的技术以用于诸如智能电话、平板计算机、处理连续视频输入的专用设备等之类的便携式设备，基于捕获的参考对象的视频像来开发传感器校正。参考对象可以是标准真实世界对象，其中对象的对应表示作为数字数据(诸如，对象的三维(3D)重构)存储在数据库中。根据本公开的技术，便携式设备配备有一个或多个传感器、捕获参考对象的视频像、并且基于该视频像和参考对象数据库中的参考对象的表示来计算作为时间的函数的准确定位和/或定向(定位标识便携式设备的地理位置，并且定向标识便携式设备相对于便携式设备的质量中心的方向)。便携式设备还收集与捕获的视频像并发的原始传感器数据(加速计数据、陀螺仪数据等)。基于定位和/或定向以及原始传感器数据，传感器校正例程开发针对便携式设备中包含的传感器中的一个或多个传感器的校正参数。这些校正可以连续应用并且定期更新以改善感测，从而有效地校准传感器。
图1图示其中便携式设备10基于捕获的参考对象20的视频像来开发传感器校正的示例情景。除了别的之外，便携式设备10包含诸如运动传感器之类的多个传感器。这些传感器可以是便宜的MEMS传感器，诸如例如加速计、磁力计和陀螺仪。此外，一个或多个无线接口将便携式设备10通信耦合到移动网络和/或广域网。便携式设备10的示例实施方式将参照图2更详细地讨论。
示例参考对象20可以是诸如例如埃菲尔铁塔或帝国大厦之类的地标建筑。在一些情况下，对应于参考对象20的数字3D模型存储在参考对象数据库中。数字3D模型可以用3D网格上的点、简单形状(例如，多边形、圆柱体)的组合等表示参考对象的形状，并且用颜色、一个或多个静止图像等表示参考对象的外观。进一步地，参考对象数据库存储诸如几何比例、测量结果、地理位置等之类的参考对象的特定性质。参考对象数据库可以是通过例如因特网可访问的诸如谷歌3D
Figure BDA0000804240160000041
之类的3D模型的数据库。
如由路径25指示的，在便携式设备10移动通过3D空间时，便携式设备10捕获视频像。视频像由包括参考对象20的独特相继图像或帧组成。在便携式设备10沿着路径25移动时，便携式设备10相对于参考对象20的位置和/或方向改变，因此在沿着路径25的不同点处捕获的视频像帧示出从不同视点的参考对象20。
在一些实施方式中，便携式设备10从一个或多个捕获的二维(2D)视频像帧重构参考对象20的3D几何结构和外观(例如，通过从运动恢复结构或SFM技术)。进一步地，便携式设备10尝试匹配重构的参考对象20的3D几何结构和外观(下文中称为“3D对象重构”)与参考对象数据库中的3D模型。示例匹配过程参照图2并且进一步参照图5详细讨论。
在匹配重构的3D几何结构和/或外观与适当数字3D模型后，便携式设备10从参考对象数据库下载参考对象20的性质。例如，性质可以包括以适当单位(例如，米)的诸如参考对象20的高度、宽度和深度之类的测量结果。基于参考对象20的3D对象重构和性质，便携式设备10开发准确的定位和/或定向。视频像帧中的参考对象20的高度和测量的参考对象的高度可以指示例如便携式设备10相距参考对象20的距离。定位和/或定向对应于捕获一个或多个视频像帧的各个时间。
便携式设备10使用准确的定位和/或定向来生成传感器校正。一些传感器校正可以从定位和/或定向直接计算，而其它传感器校正的开发可以涉及定位和/或定向的进一步变换。例如，加速计校正的开发可以要求中间计算，其中该中间计算涉及例如基于多个定位来计算平均加速度。
在校正开发之后，诸如运动感测例程之类的感测例程应用传感器校正以改善原始传感器数据。例如，运动感测例程可以收集原始传感器数据，计算可观察量(加速度、方向等)，并且向可观察量应用传感器校正。通过捕获和分析先前分析的参考对象20或新参考对象的进一步视频像，传感器校正可以随时间更新。从而，便携式设备10的感测经由传感器校正得到改善，其中传感器校正基于捕获的参考对象的视频像。
图2图示其中便携式设备10基于诸如参考对象20之类的参考对象的视频像来开发针对一个或多个传感器40的传感器校正的示例系统。便携式设备10包含用于捕获参考对象的视频像的视频图像捕获模块50。例如，便携式设备10可以触发视频图像捕获模型50以在短时间(例如，5-10秒)内捕获视频像，并随后执行传感器校正例程60以基于捕获的视频像来开发传感器校正，如下面讨论的。
例如，视频图像捕获模块50可以包括CCD视频相机、互补金属氧化物半导体(CMOS)图像传感器、或者任何其它适当的2D视频图像捕获设备。在一些实施例中，便携式设备10包括诸如二次相机、光检测和测距(LIDAR)传感器、激光器、无线电检测和测距(RADAR)传感器等之类的3D图像捕获设备。附加地，图像捕获模块50可以包括诸如图像过滤器、偏振板等之类的模拟、光学或数字图像处理部件。
存储在计算机可读存储器55中的并且由CPU 65执行的传感器校正例程60使用视频像帧中的一个或多个视频像帧来生成参考对象的一个或多个3D对象重构(表示参考对象的形状和外观)。例如，传感器校正例程60可以选择视频像中的预定义数目的帧，并且基于所选择的帧使用3D重构技术来开发参考对象的一个或多个3D对象重构。
3D对象重构可以以本领域已知的任何适当3D模型格式来开发，并且3D对象重构可以将参考对象表示为实心体和/或表示为壳/边界。例如，3D对象重构可以以STereoLithography(STL)、OBJ、3DS、Polygon(PLY)、Google
Figure BDA0000804240160000061
或
Figure BDA0000804240160000062
文件格式。
通信模块70经由移动网络77和广域网78向参考对象服务器75发送3D对象重构中的一个或多个3D对象重构。随后，参考对象服务器75尝试匹配一个或多个3D对象重构和/或参考对象的其它表示与存储在计算机可读存储介质上的参考对象数据库80中的参考3D模型，计算机可读存储介质可以包括易失性和非易失性存储器部件两者。各种度量标准可被用于匹配3D对象重构与参考对象数据库80中的参考3D模型。例如，参考对象服务器75可以将3D对象重构和参考3D模型分解成部分或区别特征的集，其中匹配被定义为3D对象重构和3D模型拥有相似的部分集。备选地，例如，参考对象服务器75可以比较3D维度网格上的采样点对之间的距离的分布(称为形状分布)，其中匹配被定义为3D对象重构和3D模型具有相似的形状分布。
在一些实施例中，通信模块70向参考对象服务器75发送所有或部分的捕获的视频像。参考对象服务器75可以匹配视频像本身与参考对象数据库80中的参考3D模型。例如，参考对象服务器75可以分析从变化视点示出参考对象的视频像的多个帧。基于这些视点，参考对象服务器75可以向参考对象数据库中的3D模型中的至少一些3D模型指派得分，其中得分指示3D模型和视频像两者都表示相同对象的概率。例如，高得分可以定义3D模型和视频像之间的匹配。根据一个实施方式，便携式设备10向诸如参考对象服务器75之类的网络服务器提供捕获的视频像和原始传感器数据两者(连同传感器信息以标识传感器的类型)。
在匹配视频像与参考3D模型后，参考对象服务器75向便携式设备10发送匹配参考对象的性质的指示。便携式设备10的传感器校正例程60使用参考对象性质(诸如，参考对象的精确比例和测量结果)和参考对象的一个或多个3D对象重构来计算准确的定位和/或定向。定位和/或定向可以根据任何适当技术来计算，诸如3D重构和增强现实(AR)领域的已知技术。
传感器校正例程60根据准确定位和/或定向来开发传感器校正。在一些实施方式中，校正的开发涉及简单直接的操作，诸如例如在准确定位和由一个或多个传感器输出的原始数据定位之间的直接差分。在其它情况下，校正的开发涉及多个链操作，诸如坐标变换、矩阵求逆、数值导数等。例如，针对陀螺仪传感器的校正的开发可以涉及从笛卡尔坐标向体心坐标的定位/定向坐标变换、时间相关旋转矩阵(与多个定向相关联)的数值导数、用于导出准确欧拉角的线性独立方程的求解、以及用于计算适当陀螺仪校正参数(例如，针对三个欧拉角中的每个欧拉角的校正参数)的矩阵求逆。特定传感器校正的开发将参照图3更详细地讨论。
存储在存储器55中的并且由CPU 65执行的运动感测例程85应用通过传感器校正例程60开发的传感器校正，以改善感测。例如，运动感测例程85可以将传感器校正参数应用到从传感器40中的一个或多个传感器输出的原始传感器数据。运动感测例程可以进一步处理这一经校正的传感器数据，以开发和输出期望的可观察量(以某个单位的加速度、在某个时间的方向、导航预测等)。期望可观察量的开发可以涉及经校正的传感器数据对应于传感器40中的仅一个传感器，或者开发可以涉及经校正的传感器数据对应于传感器40中的多个传感器。
在一些实施例中，便携式设备10向参考对象数据库80上传对象的3D对象重构和计算的性质，以用于由其它设备用作参考对象。例如，如上面讨论的，便携式设备10可以基于初始参考对象的视频像来改善感测，并且便携式设备10可以使用经改善的感测来采集新的真实世界对象的诸如比例、地理位置等之类的性质，其中新的真实世界对象未由参考对象数据库80中的3D模型表示。此外，便携式设备10可以基于捕获的视频像生成新的真实世界对象的3D对象重构。然后可以向参考对象数据库80上传采集的新真实世界对象的性质以及3D对象重构，从而增加参考对象数据库80中的可用参考对象的数目。
而且，诸如便携式设备10之类的示例便携式设备可以将频繁遇到的参考对象的3D对象重构存储在本地存储器55中，其中存储器55可以是诸如只读存储器(ROM)和随机存取存储器(RAM)之类的易失性和/或非易失性存储器形式的。这些本地存储的3D对象重构可以是从诸如参考对象数据库80之类的参考对象数据库下载的3D模型，或者本地存储的3D对象重构可以是基于捕获的视频像生成的新真实世界对象的3D对象重构。便携式设备10可以首先尝试匹配3D对象重构与本地存储器55中的参考对象，并且然后，如果没有找到适当匹配，尝试匹配3D对象重构与远程数据库中的参考3D模型。通过这种方式，便携式设备10可以通过匹配当前生成的3D对象重构与本地存储器55中的参考对象的3D对象重构(而不是必定与远程服务器交换参考对象信息)，来增加定期传感器校正开发的效率。
其视频像以上面讨论的技术捕获的参考对象可以是地标建筑，但是参考对象不限于这样的地标或者甚至不限于通常的建筑。参考对象可以是具有对应参考信息的任何种类的对象，其中参考信息连同视频像一起用于开发传感器校正。例如，棋盘、快速响应(QR)码、条形码、或者具有已知尺寸的其它2D对象可以用作参考对象，以用于开发针对方向传感器、接近传感器、或其它类型传感器的传感器校正。
接下来，图3图示用于基于捕获的视频像来生成便携式设备传感器校正的示例方法110。方法110可以在例如图2所示的传感器校正例程60中实现。
在框115处，由便携式设备的图像捕获模块(诸如，便携式设备10的图像捕获模块50)在短时间T内捕获视频像。时间T可以是传感器校正开发所需要的预定义量的时间，或者时间T可以基于例如环境条件或传感器行为的最近历史动态确定。视频像由包括参考对象的一个或多个视频像帧组成，其中视频像帧是以帧速率1/dt捕获的(即，每个帧的捕获在时间上相隔dt)。包括参考对象的帧可以包括在视频像帧的界线内的参考对象的全部或只部分。视频像可以包括由2D视频图像捕获设备捕获的2D视频像和/或由3D视频捕获设备捕获的3D视频像。
在框120处，视频像中的参考对象与本地或远程参考对象数据库中的参考对象的表示匹配。参考对象数据库中的对象的表示可以包括3D模型、比例和测量数据、地理位置数据等。在一些实施例中，视频像与参考对象的匹配包括匹配3D模型和/或3D对象重构。在其它实施例中，视频像通过适当2D技术匹配，诸如例如分析对应于各种视点的多个2D图像。
接下来(框125)，基于匹配参考对象的性质以及视频像的进一步处理，计算准确位置和/或定向。例如，可以利用参考对象比例的知识来分析3D对象重构以推断定位和/或定向。可以针对对应于每个视频像帧的捕获的时间(0,dt,2dt,…,T)或者这些时间的子集来计算定位和/或定向。例如，可以计算预定义数目(M)的定位和/或定向，其中M定位和/或定向对应于捕获M帧的时间(M<T/dt)。对应于帧子集的这些时间可以在时间上相等或者不均匀地间隔开。
3D定位可以由三个笛卡尔坐标(x,y,z)来表示，并且定向可以由相对于便携式设备的质量中心的三个欧拉角(
Figure BDA0000804240160000101
θ,ψ)来表示。坐标(x,y,z)可以相对于例如参考对象位置处的原点x＝y＝z＝0来定义，并且欧拉角(
Figure BDA0000804240160000102
θ,ψ)可以相对于例如指向参考对象的水平方向处的原点φ＝θ＝ψ＝0来定义。
在框130处，针对便携式设备中的一个或多个传感器采集原始传感器数据。这些传感器可以输出原始位置数据(xraw,yraw,zraw)和原始方向数据(φraw,θraw,ψraw)、或者诸如例如加速度(ax,raw,ay,raw,az.raw)或地磁矢量(mx,raw,my,raw,mz.raw)之类的另一三分量输出。传感器还可以以任何格式输出具有任何数目的分量的其它信息。下文包括了其可以实现在便携式设备中的常见传感器的示例列表。该列表不旨在是穷举式的，并且应当理解，本公开的技术可以应用于其它类型的传感器。
类型： 原始传感器数据指示：
加速计 加速度
气压计 压力
陀螺仪 对象方向
湿度计 湿度
红外接近传感器 到附近对象的距离
红外/激光雷达传感器 速率
磁力计 磁场的强度和/或方向
光度计 光强度
定位传感器 地理位置
温度计 温度
超声波传感器 到附近对象的距离
在框135处，开发传感器校正参数。这些校正参数可以从原始传感器数据和在框125处生成的定位和/或定向来导出。为了说明传感器校正的开发，以下描述将原始传感器数据称为xraw＝(xraw,yraw,zraw)并将真实三分量性质(例如，便携式设备的实际位置)称为x＝(x,y,z)。应当理解，xraw和x可以指代诸如方向矢量、地磁矢量或其它三分量性质之类的任何三分量性质。此外，xraw和x可以指代诸如加速度、速度、角速度等之类的任何可导出三分量性质(即，从定位和/或定向可导出)。
原始数据输出的一般结构可以表示为xraw＝a+Cx，其中矢量a表示漂移误差，矩阵C表示(x,y,z)沿对角线的尺度比率和偏离对角线的交叉轴误差，以及矢量x表示真实三分量性质(例如实际位置、加速度等)。在扩展的矩阵表示中，原始数据输出是：
Figure BDA0000804240160000111
(方程1)
方程xraw＝a+Cx以真实/实际三分量性质表达了原始数据输出，但是方程可以求逆为以原始数据来表达真实三分量性质，x＝C-1(xraw–a)。从而，知道C-1和a将允许恰当地补偿漂移和交叉轴误差。因此，C-1和a中的12个未知分量可以是上面讨论的传感器校正参数的一个表示。
通过使用捕获的视频像，三分量性质x可以针对便携式设备的多个位置/方向准确地估算。例如，可以从在时间0、dt、2dt、…、T捕获的多个视频像帧计算多个定位x(0)、x(dt)、x(2dt)、…、x(T)。进一步地，可以从多个定位计算多个可导出三分量性质。例如，通过用时间步长dt取多个定位的数值导数(例如用有限差分方法)，可以计算多个加速度矢量a(0)、a(dt)、a(2dt)、…、a(T)。从而，通过使用捕获的视频像和采集的原始传感器数据，xraw的至少12个值与x的至少12个并发估算(基于捕获的视频像)组合，以估算C-1和a中的12个传感器校正参数。进一步地，如果多于12个(xraw,x)对可用于传感器校正例程，则针对C-1和a的估算可以关于补充数据进行细化或优化。例如，可以用最小二乘法或随机样本一致性(RANSAC)法来细化针对C-1和a的估算。
图4图示用于开发和定期更新传感器校正以改善便携式设备中的运动感测的示例方法160。方法160可以实现在例如图2所示的便携式设备10中。
在框165处，捕获视频像，其中视频像包括参考对象。在框170处，基于这一视频像，传感器校正例程开发传感器校正。然后在框175处，应用这些传感器校正以改善运动感测。例如，可以在导航、方向、测距、或其它基于运动的应用中利用改善的运动感测。
接下来(框180)，方法160确定便携式设备是否需要进一步使用运动感测或者运动感测是否应该结束。例如，可以终止导航应用，以触发改善的运动感测的结束。在这样的情况下，方法160结束，并且当便携式设备中的另一应用需要使用改善的运动感测时，方法160可以重新开始。然而，如果便携式设备上的应用需要进一步使用运动感测，则流程继续到框185。
在框185处，方法160确定自传感器校正的上一次开发以来的时间是否大于阈值。例如，便携式设备可以通过定期更新传感器校正(例如，每分钟、每十分钟，每天等更新传感器校正)来连续地改善感测，并且在这种情况下，阈值将等于所需/优选传感器校正更新的周期。如果自校正开发以来的时间小于阈值，则流程返回到框175，并且当前传感器校正用于改善进一步的运动感测。然而，如果自校正开发以来的时间大于阈值，则流程返回到框165，在那里基于新捕获的视频图像开发新的传感器校正。
在一些实施例中，在传感器校正开发之间的时间(即，阈值)被动态地确定。例如，在某些条件和/或地理位置下，传感器暴露于更多或更少的误差。在这样的情况下，可以基于定位(诸如，地理定位系统或GPS定位)来确定阈值。备选地，可以基于从一个或多个传感器的过去使用推断的一个或多个传感器的统计行为，来动态地确定阈值。
图5图示用于标识视频像中的3D对象并且匹配3D对象与参考对象数据库中的参考对象的方法220。方法220可以实现在例如图2所示的便携式设备10中。
在框225处，图像捕获模块捕获视频像，其中视频像可以包括一个或多个参考对象。视频像可以以任何视频像格式，诸如移动图片专家组(MPEG)4、音频视频交错(AVI)、Flash视频(FLV)等。进一步地，视频像可以具有任何适当的帧速率(24p、25p、30p等)和像素分辨率(1024x768、1920x1080等)。
在框230处，经由3D重构或任何其它适当的技术标识视频像中的对象。例如，诸如CCD相机之类的图像捕获设备可以用不同视点捕获多个图像，以推断对象的3D结构，或者多个图像捕获设备可以捕获立体图像对，并且使用重叠图像来推断3D结构。在一些实施例中，可以从视频像推断单个对象或多个对象的3D结构。
在框235处，进行尝试匹配标识对象的3D结构与参考对象数据库中的参考对象的诸如3D模型之类的表示。参考对象数据库可以是本地数据库(即，存储在便携式设备的本地存储器中)或者由便携式设备经由移动网络和/或广域网可访问的远程参考对象数据库。
如果标识对象的3D结构匹配参考对象的结构，则流程继续到框240，在那里便携式设备基于对象的视频像和关于参考对象的信息来计算准确的定位和/或定向。然而，如果标识对象的3D结构不匹配参考对象的结构，则流程继续到框245。
在一些实施例中，参考对象的地理位置(例如，勘测位置、GPS定位)存储在参考对象数据库中。便携式设备可以使用这一地理位置信息对参考对象进行排序，使得地理上近的参考对象在处于遥远地理位置的对象之前作为潜在匹配进行分析。例如，便携式设备可以经由GPS或其它定位传感器来生成近似定位，并且根据相距近似定位的距离对参考对象进行排名。在一些实施例中，数据库中的所有参考对象都被视为潜在匹配，并且在其它实施例中，仅预定义数目的邻近参考对象被视为潜在匹配。
在框245处，确定到目前为止标识和匹配对象已花费的时间是否大于阈值。如果目前为止花费的时间大于阈值，则方法220结束。否则，流程返回到框230，在那里新的或不同的对象可以被标识并且潜在地与参考对象匹配。
附加考虑
以下附加考虑适用于前述讨论。贯穿本说明书，多个实例可以实现描述为单个实例的部件、操作或结构。虽然一个或多个方法的单独操作被图示和描述为分立操作，但是单独操作中的一个或多个操作可以并发地执行，并且不要求操作以图示的顺序执行。呈现为示例配置中的分立部件的结构和功能可以被实现为组合的结构或部件。相似地，呈现为单个部件的结构和功能可以实现为分立部件。这些和其他变化、修改、添加和改进落在本公开的主题的范围内。
附加地，某些实施例在本文中描述为包括逻辑或若干部件、模块或机制。模块可以构成任一软件模块(例如，机器可读介质上存储的代码)或硬件模块。硬件模块是能够执行某些操作的有形单元，并且可以以某个方式来配置或布置。在示例实施例中，一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或者计算机系统的一个或多个硬件模块(例如，处理器或者处理器组)可以通过软件(例如，应用或应用部分)被配置为操作为执行如本文中描述的某些操作的硬件模块。
在各种实施例中，硬件模块可以机械地或电子地实现。例如，硬件模块可以包括专用电路或逻辑，其被永久配置(例如，作为专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))以执行某些操作。硬件模块还可以包括可编程逻辑或电路(例如，如通用处理器或其它可编程处理器内所包含的)，其由软件暂时配置以执行某些操作，应当理解，将硬件模块机械地实现在专用和永久配置的电路中或者在暂时配置的电路(例如，通过软件配置)中的决定可以受成本和时间考虑的驱动。
因此，术语硬件应该被理解为包含有形实体，作为如下实体，其被物理构造、永久配置(例如，通过硬接线)或者暂时配置(例如，通过编程)以便以某种方式操作或者执行本文中描述的某些操作。考虑其中硬件模块被暂时配置(例如，通过编程)的实施例，硬件模块中的每个硬件模块不需要在时间的任何一个示例时被配置或实例化。例如，在硬件模块包括使用软件配置的通用处理器的情况下，通用处理器可以在不同时间被配置为相应不同硬件模块。软件可以相应地配置处理器，例如用于在时间的一个实例时构成特定硬件模块，并且在时间的不同实例时构成不同硬件模块。
硬件和软件模块可以向其它硬件和/或软件模块提供信息并且接收来自其它硬件和/或软件模块的信息。据此，所描述的硬件模块可以被视为通信耦合。在这样的硬件或软件模块中的多个硬件或软件模块同时存在的情况下，通信可以通过连接硬件或软件模块的(例如，适当电路和总线之上的)信号传输来实现。在其中多个硬件模块或软件在不同时间被配置或实例化的实施例中，这样的硬件或软件模块之间的通信可以例如通过多个硬件或软件模块可以访问的存储器结构中的信息的存储和获取来实现。例如，一个硬件或软件模块可以执行操作，并且将该操作的输出存储在其通信耦合到的存储器设备中。然后在稍后的时间，其它硬件或软件模块可以访问存储器设备，以获得和处理存储的输出。硬件和软件模块还可以发起与输入或输出设备的通信，并且可以在资源上操作(例如，信息的收集)。
本文中描述的示例方法的各种操作可以至少部分地由一个或多个处理器来执行，该一个或多个处理器暂时配置(例如，通过软件)或永久配置为执行相关操作。无论暂时配置还是永久配置，这样的处理器可以构成其操作为执行一个或多个操作或功能的处理器实现的模块。在一些示例实施例中，本文中涉及的模块可以包括处理器实现的模块。
相似地，本文中描述的方法或例程可以是至少部分地处理器实现的。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的硬件模块来执行。某些操作的性能可以分布在一个或多个处理器之间，不仅驻留在单个机器内，而是跨若干机器部署。在一些示例实施例中，一个或多个处理器可以位于单个位置(例如，在家庭环境、办公室环境内或者作为服务器农场)，而在其它实施例中，处理器可以跨若干位置分布。
一个或多个处理器还可以操作为支持“云计算”环境中或作为SaaS的相关操作的性能。例如，如上面指示的，操作中的至少一些操作可以由计算机组(作为包括处理器的机器的示例)来执行，这些操作经由网络(例如，因特网)并且经由一个或多个适当接口(例如，API)可访问。
某些操作的性能可以分布在一个或多个处理器之间，不仅驻留在单个机器内，而是跨若干机器部署。在一些示例实施例中，一个或多个处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公室环境或者服务器农场内)。在其它示例实施例中，一个或多个处理器或处理器实现的模块可以跨若干地理位置分布。
本说明书的一些部分以针对数据的操作的算法或符号表示来呈现，数据在机器存储器(例如，计算机存储器)内存储作为比特或二进制数字信号。这些算法或符号表示是数据处理领域的普通技术人员用于向本领域其他技术人员传达他们的工作实质的技术的示例。如本文中使用的，“算法”或“例程”是操作的自洽序列或者导致期望结果的相似处理。在这一上下文中，算法、例程和操作涉及对物理量的物理操纵。通常，但非必定，这样的量可以采取电信号、磁信号或光学信号的形式，它们能够被存储、访问、传输、组合、比较、或以其他方式由机器操纵。主要出于习惯用语的原因，有时方便的是使用诸如“数据”、“内容”、“比特”、“值”、“元素”、“符号”、“字符”、“项”、“数”、“数字”等之类的词语来提及这样的信号。然而，这些词语仅仅是方便的标记，并且要与适当的物理量相关联。
除非另有具体说明，本文中使用诸如“处理”、“计算”、“确定”、“呈现”、“显示”等之类的词语的讨论可以指的是操纵或变换数据的机器(例如，计算机)的动作或处理，数据被表示为一个或多个存储器(例如，易失性存储器、非易失性存储器、或其组合)、寄存器、或者接收、存储、传输或显示信息的其它机器部件内的物理(例如，电子、磁、或光学的)量。
如本文中使用的，对“一个实施例”或“实施例”的任何提及意指结合实施例描述的特定元件、特征、结构或特性被包括在至少一个实施例中。短语“在一个实施例中”在说明书中各个地方的出现不一定全部指的是同一实施例。
一些实施例可以使用表达“耦合”和“连接”连同它们的衍生词进行描述。例如，一些实施例可以使用术语“耦合”来描述，以指示两个或更多元件处于直接物理或电接触。然而，术语“耦合”还可以意指两个或更多元件彼此不直接接触，但仍彼此协作或交互。实施例不限于这一上下文。
如本文中使用的，术语“包括”、“包含”、“具有”或其任何其它变体旨在涵盖非排他性包括。例如，包括元件列表的处理、方法、物品或装置不一定仅限于那些元件，而是可以包括未明确列出或这样的处理、方法、物品或装置固有的其它元件。进一步地，除非明确有相反的说明，“或”指的是包含性或，而不是排他性或。例如，以下项中的任何一项满足条件A或B：A为真(或存在)且B为假(或不存在)、A为假(或不存在)且B为真(或存在)、以及A和B两者都为真(或存在)。
此外，“一”或“一个”的使用被采用为描述本文中的实施例的元件和部件。这仅仅是为了方便并给出描述的一般含义而进行的。这一描述应该被解读为包括一个或至少一个，并且单数还包括复数，除非明显意指其它方面。
在阅读本公开后，本领域的技术人员将领会仍然有用于通过本文中公开的原理使用视频输入开发传感器的校正参数的附加替代结构和功能设计。从而，尽管特定实施例和应用已被图示和描述，但是应当理解，所公开的实施例不限于本文中公开的精确构造和部件。可以在本文中公开的方法和装置的布置、操作和细节方面做出各种修改、改变和变化(其对于本领域技术人员来说将是容易理解的)，而不脱离所附权利要求书中限定的精神和范围。

Claims (23)

1.一种便携式设备，包括：
传感器；
视频捕获模块；
处理器；以及
计算机可读存储器，在其上存储指令，其中所述指令当由所述处理器执行时操作为：
使得所述传感器生成指示物理量的原始传感器数据，
当所述便携式设备相对于参考对象移动时，使得所述视频捕获模块捕获所述参考对象的视频像同时所述传感器生成原始传感器数据，
使得所述处理器从所捕获的视频像推导所述参考对象的三维(3D)结构；
使得所述处理器至少部分地基于所述参考对象的3D结构来计算与所述便携式设备相关联的一个或多个定位或定向；以及
使得所述处理器至少部分地基于所述一个或多个定位或定向和所述原始传感器数据来计算针对所述传感器的校正参数。
2.根据权利要求1所述的便携式设备，其中所述指令当由所述处理器执行时进一步操作为将所述参考对象标识为具有已知几何性质的标准真实世界对象。
3.根据权利要求1所述的便携式设备，其中所述指令当由所述处理器执行时进一步操作为匹配捕获的所述视频像与所述参考对象的数字3D模型，其中：
所述数字3D模型被存储在数据库中，所述便携式设备经由通信网络耦合到所述数据库，并且
所述数字3D模型指定所述参考对象的几何性质。
4.根据权利要求3所述的便携式设备，其中为了匹配捕获的所述视频像与所述参考对象的所述数字3D模型，所述指令操作为向经由所述通信网络耦合到所述数据库的参考对象服务器传输捕获的所述视频像的至少一部分。
5.根据权利要求3所述的便携式设备，其中所述指令当由所述处理器执行时进一步操作为生成用于与所述数字3D模型的地理位置数据匹配的所述便携式设备的近似定位。
6.根据权利要求1所述的便携式设备，其中所述传感器是以下项之一：
(i)加速计，
(ii)陀螺仪，或者
(iii)磁力计。
7.根据权利要求1所述的便携式设备，其中所述指令当由所述处理器执行时进一步使得所述处理器将所述校正参数应用于所述传感器的后续原始传感器数据输出。
8.根据权利要求1所述的便携式设备，其中为了计算所述校正参数，所述指令操作为：
获得所述参考对象的几何性质，
使用所述参考对象的所述几何性质将3D重构技术应用于捕获的所述视频像，并且
基于捕获的所述视频像计算在相应时间的所述便携式设备的多个定位和定向。
9.根据权利要求8所述的便携式设备，其中为了计算所述校正参数，所述指令操作为确定xraw＝a+C x中的矢量a和矩阵C，其中：
矢量xraw表示原始传感器数据，
所述矢量a表示漂移误差，
所述矩阵C表示交叉轴误差，并且
x表示经校正的原始传感器数据；
其中所述指令操作为使用所述便携式设备的所述多个定位和定向来确定所述矢量a和所述矩阵C。
10.根据权利要求1所述的便携式设备，其中所述指令当由所述处理器执行时进一步操作为以规律间隔定期更新所述校正参数。
11.根据权利要求1所述的便携式设备，其中所述视频捕获模块被配置为在所述便携式设备操作的同时连续地捕获视频像。
12.一种在一个或多个处理器上实现的方法，用于高效地开发具有传感器和相机的便携式设备中的传感器误差校正，所述方法包括：
当所述便携式设备相对于参考对象移动时，使得所述传感器生成指示物理量的原始传感器数据；
使得所述相机捕获所述参考对象的多个图像同时所述传感器生成所述原始传感器数据；
从所述多个图像推导所述参考对象的三维(3D)结构；
至少部分地基于所述参考对象的3D结构，确定所述便携式设备的一个或多个定位和定向；并且
使用所述多个定位和定向以及所述原始传感器数据，计算针对所述传感器的校正参数。
13.根据权利要求12所述的方法，所述方法进一步包括经由通信网络向参考对象服务器传输所述多个图像，其中所述参考对象服务器匹配所述多个图像与所述参考对象。
14.根据权利要求13所述的方法，所述方法进一步包括向所述参考对象服务器传输所述原始传感器数据和传感器信息。
15.根据权利要求12所述的方法，进一步包括将所述参考对象标识为具有已知几何性质的标准真实世界对象。
16.根据权利要求12所述的方法，进一步包括匹配所述多个图像与所述参考对象的数字3D模型，其中所述数字3D模型被存储在数据库中。
17.根据权利要求16所述的方法，其中匹配所述多个图像与所述参考对象的数字3D模型包括：
生成所述便携式设备的一个或多个近似定位集，
经由通信网络向参考对象服务器传输所述一个或多个近似定位集，并且
从所述参考对象服务器接收所述参考对象的地理定位数字3D模型，其中所述地理定位数字3D模型指示所述参考对象的几何性质。
18.一种有形计算机可读介质，在其上存储指令，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器：
接收由操作在便携式设备中的传感器生成的原始传感器数据；
接收由操作在所述便携式设备中的视频捕获模块捕获的参考对象的视频像，其中在所述便携式设备相对于所述参考对象移动的同时并发地捕获所述原始传感器数据和所述视频像；
从所捕获的视频像推导所述参考对象的三维(3D)结构；
至少部分地基于所述参考对象的3D结构来计算与所述便携式设备相关联的一个或多个定位或定向；以及
至少部分地基于所述一个或多个定位或定向，计算针对所述传感器的校正参数。
19.根据权利要求18所述的计算机可读介质，其中为了计算所述校正参数，所述指令使得所述一个或多个处理器：
确定所述参考对象的几何性质，
基于所述参考对象的所述几何性质和所述视频像，确定与所述便携式设备相关联的一个或多个定位或定向，
基于确定的所述定位和定向，确定对应于所述原始传感器数据的正确传感器数据，并且
基于所述正确传感器数据和所述原始传感器数据之差，计算所述校正参数。
20.根据权利要求19所述的计算机可读介质，其中：
所述传感器是加速计，并且
为了计算所述校正参数，所述指令使得所述一个或多个处理器基于所述多个定位计算平均加速度。
21.根据权利要求19所述的计算机可读介质，其中：
所述传感器是陀螺仪，并且
为了计算所述校正参数，所述指令使得所述一个或多个处理器计算与所述多个定向相关联的时间相关旋转矩阵的数值导数。
22.根据权利要求19所述的计算机可读介质，其中为了确定所述便携式设备的所述定位和定向，所述指令使得所述一个或多个处理器应用3D重构。
23.根据权利要求18所述的计算机可读介质，其中所述便携式设备相对于所述参考对象的所述移动包括位置和方向中的至少一个相对于所述参考对象的改变。
CN201380074783.1A 2013-06-28 2013-06-28 用于基于视频输入生成准确传感器校正的系统和方法 Active CN105103089B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/078296 WO2014205757A1 (en) 2013-06-28 2013-06-28 Systems and methods for generating accurate sensor corrections based on video input

Publications (2)

Publication Number Publication Date
CN105103089A CN105103089A (zh) 2015-11-25
CN105103089B true CN105103089B (zh) 2021-11-09

Family

ID=52115222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074783.1A Active CN105103089B (zh) 2013-06-28 2013-06-28 用于基于视频输入生成准确传感器校正的系统和方法

Country Status (3)

Country Link
US (1) US20150002663A1 (zh)
CN (1) CN105103089B (zh)
WO (1) WO2014205757A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160284122A1 (en) * 2015-03-26 2016-09-29 Intel Corporation 3d model recognition apparatus and method
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
WO2018002910A1 (en) 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
US10732989B2 (en) * 2017-02-09 2020-08-04 Yanir NULMAN Method for managing data, imaging, and information computing in smart devices
JP2018185182A (ja) * 2017-04-25 2018-11-22 東京電力ホールディングス株式会社 位置特定装置
CN108958462A (zh) * 2017-05-25 2018-12-07 阿里巴巴集团控股有限公司 一种虚拟对象的展示方法及装置
WO2019094269A1 (en) * 2017-11-10 2019-05-16 General Electric Company Positioning system for an additive manufacturing machine
GB2574891B (en) * 2018-06-22 2021-05-12 Advanced Risc Mach Ltd Data processing
US10860845B2 (en) * 2018-10-22 2020-12-08 Robert Bosch Gmbh Method and system for automatic repetitive step and cycle detection for manual assembly line operations
CN111885296B (zh) * 2020-06-16 2023-06-16 联想企业解决方案(新加坡)有限公司 可视化数据的动态处理方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084398A (zh) * 2008-06-25 2011-06-01 微软公司 街道级图像到3d建筑物模型的对准
CN102472609A (zh) * 2009-07-28 2012-05-23 佳能株式会社 位置和姿势校准方法及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826477B2 (en) * 2001-04-23 2004-11-30 Ecole Polytechnique Federale De Lausanne (Epfl) Pedestrian navigation method and apparatus operative in a dead reckoning mode
JP4004899B2 (ja) * 2002-09-02 2007-11-07 ファナック株式会社 物品の位置姿勢検出装置及び物品取出し装置
US7251493B2 (en) * 2004-02-13 2007-07-31 Sony Ericsson Mobile Communications Ab Mobile terminals and methods for determining a location based on acceleration information
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
CN101246023A (zh) * 2008-03-21 2008-08-20 哈尔滨工程大学 微机械陀螺惯性测量组件的闭环标定方法
EP2140916B1 (en) * 2008-06-30 2018-10-31 Nintendo Co., Ltd. Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein
JP5328252B2 (ja) * 2008-07-30 2013-10-30 アルパイン株式会社 ナビゲーションシステムの位置検出装置および位置検出方法
US20100157061A1 (en) * 2008-12-24 2010-06-24 Igor Katsman Device and method for handheld device based vehicle monitoring and driver assistance
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
US9106879B2 (en) * 2011-10-04 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for automatic white balance with supplementary sensors
US10068157B2 (en) * 2012-05-10 2018-09-04 Apple Inc. Automatic detection of noteworthy locations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102084398A (zh) * 2008-06-25 2011-06-01 微软公司 街道级图像到3d建筑物模型的对准
CN102472609A (zh) * 2009-07-28 2012-05-23 佳能株式会社 位置和姿势校准方法及设备

Also Published As

Publication number Publication date
US20150002663A1 (en) 2015-01-01
WO2014205757A1 (en) 2014-12-31
CN105103089A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105103089B (zh) 用于基于视频输入生成准确传感器校正的系统和方法
US10636168B2 (en) Image processing apparatus, method, and program
US20200226782A1 (en) Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database
US10247556B2 (en) Method for processing feature measurements in vision-aided inertial navigation
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN108871311B (zh) 位姿确定方法和装置
CN109084732A (zh) 定位与导航方法、装置及处理设备
US10895458B2 (en) Method, apparatus, and system for determining a movement of a mobile platform
CN109903330B (zh) 一种处理数据的方法和装置
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
WO2022193508A1 (zh) 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品
WO2015068470A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP7114686B2 (ja) 拡張現実装置及び位置決め方法
US9451166B1 (en) System and method for imaging device motion compensation
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
CN108827341A (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
CN104848861A (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
JP2014186004A (ja) 計測装置、方法及びプログラム
CN111080682A (zh) 点云数据的配准方法及装置
Huttunen et al. A monocular camera gyroscope
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112907671B (zh) 点云数据生成方法、装置、电子设备及存储介质
CN113474819A (zh) 信息处理装置、信息处理方法和程序
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Applicant after: Pan Weibin

Applicant after: Hu Liang

Address before: American California

Applicant before: Google Inc.

Applicant before: Pan Weibin

Applicant before: Hu Liang

GR01 Patent grant
GR01 Patent grant