CN106462244A - 使用所辨识的对象校准传感器的方法和系统 - Google Patents

使用所辨识的对象校准传感器的方法和系统 Download PDF

Info

Publication number
CN106462244A
CN106462244A CN201580027150.4A CN201580027150A CN106462244A CN 106462244 A CN106462244 A CN 106462244A CN 201580027150 A CN201580027150 A CN 201580027150A CN 106462244 A CN106462244 A CN 106462244A
Authority
CN
China
Prior art keywords
data
image
sensor
mobile device
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580027150.4A
Other languages
English (en)
Inventor
乔尔·黑施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106462244A publication Critical patent/CN106462244A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/38—Testing, calibrating, or compensating of compasses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R35/00—Testing or calibrating of apparatus covered by the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

描述用于传感器校准的方法和系统。示例方法涉及接收来自第一传感器的图像数据以及与来自第二传感器的图像数据相关联的传感器数据。图像数据包括表示目标对象的数据。该方法进一步涉及基于所捕捉的图像数据确定对于目标对象的对象识别。此外，该方法包括基于对象识别检索对象数据，其中该对象数据包括与目标对象的三维表示有关的数据。此外，该方法包括基于对象数据和图像数据确定预测传感器值。此外，该方法包括基于所接收的传感器数据与预测传感器值之间的差异确定传感器校准值。此外，该方法包括基于传感器校准值调节第二传感器。

Description

使用所辨识的对象校准传感器的方法和系统
相关申请的交叉参考
本申请要求2014年6月12日提交的美国专利申请No.14/302,926的优先权，通过参考将其全部内容合并于此。
背景技术
很多现代移动装置除了具备先进的计算和连接能力来帮助高速数据通信之外，还包括各种传感器。例如，诸如智能电话、平板电脑以及可穿戴计算装置这样的移动装置经常配备用于成像和定位的传感器。除了其他类型的传感器之外，可以在移动装置中找到的传感器的几个示例还包括加速度计、陀螺仪、磁力计、气压计、全球定位系统(GPS)接收器、麦克风、相机、Wi-Fi传感器、蓝牙传感器、温度传感器、以及压力传感器。
各种可用的传感器使得移动装置能够进行各种功能并提供各种用户体验。作为一个示例，当用户将移动装置移动通过某个环境时，该移动装置可以使用成像和/或定位数据来确定该移动装置的轨迹。作为另一个示例，移动装置可以使用成像和/或定位数据来生成环境的2D或3D地图，或者确定移动装置在环境的2D或3D地图中的位置。作为再一个示例，移动装置可以使用成像和/或定位数据来帮助增强现实应用。还存在其他示例。
发明内容
在移动装置依靠来自传感器的数据来进行特定功能(例如轨迹确定、测程、地图生成等等)的示例中，能够校准从传感器接收的数据将是有利的。例如，在制造装置时可以在出厂设置中校准移动装置中的传感器。本文所述是用于校准传感器的方法和系统，包括在出厂设置之外校准传感器。例如，移动装置的终端用户可以捕捉光学数据作为图像数据或者作为视频数据，该光学数据可用于校准移动装置的各种传感器。
在一个示例性方案中，提供一种通过具有多个传感器的移动装置进行的方法。该方法涉及接收来自在移动装置中的多个传感器中的第一传感器的图像数据。该图像数据可包括表示目标对象的数据。该方法还包括接收使用多个传感器中的第二传感器确定的传感器数据。该方法进一步包括基于图像数据确定对于目标对象的对象识别。该方法还包括基于对象识别检索对象数据。该对象数据可包括与对象识别的三维表示有关的数据。此外，该方法包括将对象数据与在图像数据中表示目标对象的数据相比较，从而确定对应于输出图像数据的第一传感器的、要从第二传感器输出的预测传感器值。此外，该方法包括基于所接收的传感器数据与预测传感器值之间的差异确定传感器校准值。此外，该方法包括基于传感器校准值调节第二传感器。
在另一个示例方案中，提供一种移动装置。该移动装置包括被配置为捕捉图像数据的至少一个相机、至少一个传感器、以及处理器。该处理器被配置为接收来自至少一个相机的图像数据。该图像数据包括表示目标对象的数据。此外，处理器被配置为接收使用至少一个传感器确定的传感器数据。处理器被进一步配置为基于图像数据确定对于目标对象的对象识别。在确定对象识别之后，处理器被配置为基于对象识别检索对象数据。该对象数据包括与对象识别的三维表示有关的数据。此外，处理器被配置为将对象数据与在图像数据中表示目标对象的数据相比较，从而确定对应于输出图像数据的第一传感器的、要从第二传感器输出的预测传感器值。此外，处理器还被配置为基于所接收的传感器数据与预测传感器值之间的差异确定传感器校准值。然后，处理器被配置为基于传感器校准值调节至少一个传感器。
在另一个示例方案中，提供一种非暂时性计算机可读介质，其在通过一个或多个处理器执行时，使得一个或多个处理器进行功能。所述功能涉及接收来自在移动装置中的多个传感器中的第一传感器的图像数据。该图像数据可包括表示目标对象的数据。功能还包括接收使用多个传感器中的第二传感器确定的传感器数据。功能进一步包括基于图像数据确定对于目标对象的对象识别。功能还包括基于对象识别检索对象数据。该对象数据可包括与对象识别的三维表示有关的数据。此外，功能包括将对象数据与在图像数据中表示目标对象的数据相比较，从而确定对应于输出图像数据的第一传感器的、要从第二传感器输出的预测传感器值。此外，功能包括基于所接收的传感器数据与预测传感器值之间的差异确定传感器校准值。此外，功能包括基于传感器校准值调节第二传感器。
上述发明内容部分只是说明性的，并非要以任何方式来限制。除了上述的说明性方案、实施例和特征之外，通过参照附图和以下说明书，其他方案、实施例和特征将变得显而易见。
附图说明
图1图示出示例计算装置。
图2图示出另一个示例计算装置。
图3A-3B是示例计算装置的概念性图示。
图4是捕捉椅子的图像数据的示例移动装置的概念性图示。
图5表示用于椅子的三维对象数据的示例呈示。
图6是用于装置传感器校准的示例方法。
图7A是本文公开的方法的实施例的流程图。
图7B是本文公开的方法的实施例的流程图。
图8是图示出示例计算机程序产品的概念性局部视图的示意图，该计算机程序产品包括计算机程序，用于在计算装置上执行计算机处理。
具体实施方式
在以下说明书中，对构成说明书一部分的附图进行了参照。在附图中，相同的附图标记通常识别相同的组件，除非上下文另外规定。在说明书、附图和权利要求书中所述的说明性实施例并非要成为限制。在不脱离本文给出的主题内容范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解，可以以各种不同配置来布置、替换、组合、分离和设计如在本文中一般性地描述并且在附图中示出的本公开方案，本文明确考虑了所有的不同配置。
在示例中，移动装置能够捕捉图像并响应性地基于所捕捉的图像确定传感器校准。作为示例，移动装置可以捕捉至少一个图像，并且还可以连同每个图像一起捕捉传感器数据。移动装置可以根据图像辨识出至少一个对象。在一些示例中，移动装置可以查询数据库(或者在装置本地、或者在远程位置)，以获得关于该对象的信息。关于该对象的信息可包括三维对象数据。然后移动装置可以基于三维对象数据以及所捕捉的图像确定相关联的传感器值。可将相关联的传感器值与所捕捉的传感器数据相比较，以确定传感器校准。然后可将所确定的传感器校准应用于相关联的传感器。
下面描述可以从图像以及用于比较的传感器读数得出的信息类型的各种示例。在一些示例中，计算装置能够基于计算来确定移动装置的各种传感器的内在参数和/或外在参数的准确性。内在参数可以是处理来自单个传感器的输出的数据的那些参数。例如，在陀螺仪单元中的偏差可以是内在参数。外在参数可以是描述来自传感器集合全体输出的那些参数。例如，传感器对的相对位置和方位帮助描述在移动通过场景时它们的测量结果怎样达成一致。
在其他示例中，可将从其他移动装置得出的信息用于协助校准。作为一个示例，第一移动装置可以拍摄图片。这个图片可以被传递给服务器。当第二移动装置拍摄图片时，服务器能够确定在来自第一装置的第一图片以及来自第二装置的第二图片中都呈现一个对象。可以部分地基于与来自第一装置的图片相关联的信息，计算第二装置的传感器的校准。
下面参照附图描述附加的示例方法以及示例装置(例如移动装置或其他装置)。
下面参照附图，图1图示出示例计算装置100。在一些示例中，图1所示组件可以分布于多个计算装置。但是为了示例的目的，将组件示出并描述为一个示例计算装置100的一部分。计算装置100可以是移动装置(诸如移动电话)、台式电脑、膝上型电脑、电子邮件/消息装置、平板电脑、或者可以被配置为进行本文所述功能的类似装置，或者计算装置100也可以包括上述装置。一般而言，计算装置100可以是任何类型的计算装置或者被配置为根据本文所述方法和功能传送或接收数据的发射器。
计算装置100可包括接口102、无线通信组件104、蜂窝无线电通信组件106、全球定位系统(GPS)接收器108、传感器110、数据储存器112、以及处理器114。图1所示组件可通过通信链路116链接在一起。此外，计算装置100可包括在计算装置100内以及在计算装置100与其他计算装置(未示出)(诸如服务器实体)之间实现通信的硬件。硬件例如可包括发射器、接收器和天线。
可将接口102配置为允许计算装置100与其他计算装置(未示出)诸如服务器通信。因此，可将接口102配置为从一个或多个计算装置接收输入数据，并且也可将接口102配置为向一个或多个计算装置发送输出数据。可将接口102配置为根据有线或无线通信协议来工作。在一些示例中，接口102可包括按钮、键盘、触摸屏、扬声器118、麦克风120、和/或用于接收输入的任何其他元件、以及一个或多个显示器、和/或用于传递输出的任何其他元件。
无线通信组件104可以是被配置为根据一个或多个无线通信标准促进用于计算装置100的无线数据通信的通信接口。例如，无线通信组件104可包括被配置为根据一个或多个IEEE 802.11标准促进无线数据通信的Wi-Fi通信组件。作为另一个示例，无线通信组件104可包括被配置为根据一个或多个蓝牙标准促进无线数据通信的蓝牙通信组件。其他示例也可以。
蜂窝无线电通信组件106可以是被配置为促进与蜂窝无线基站的无线通信(语音和/或数据)，以提供与网络的移动连接的通信接口。蜂窝无线电通信组件106可以被配置为例如连接到计算装置100所在的小区的基站。
GPS接收器108可以被配置为通过精确地定时GPS卫星发送的信号来估计计算装置100的位置。
传感器110可包括一个或多个传感器，或者可表示计算装置100中包括的一个或多个传感器。示例传感器包括加速度计、陀螺仪、惯性测量单元(IMU)、计步器、光线传感器、麦克风、相机、红外闪光灯、气压计、磁力计、Wi-Fi、近场通信(NFC)、蓝牙、投影仪、深度传感器、温度传感器、或其他位置和/或场境感知传感器。
数据储存器112可以存储程序逻辑122，该程序逻辑122可通过处理器114来访问和执行。此外，数据储存器112可以存储通过传感器110收集的数据、或者通过无线通信组件104、蜂窝无线电通信组件106以及GPS接收器108中的任何一个收集的数据。
处理器114可以被配置为接收通过传感器110中的任何一个收集的数据并基于该数据进行任意数量的功能。作为示例，处理器114可以被配置为使用一个或多个位置确定组件(诸如无线通信组件104、蜂窝无线电通信组件106、或GPS接收器108)确定计算装置100的一个或多个地理位置估计。处理器114可以基于计算装置100的无线范围内一个或多个已知无线接入点的存在和/或位置，使用位置确定算法来确定计算装置100的位置。在一个示例中，无线位置组件104可以确定一个或多个无线接入点(例如MAC地址)的身份并测量从一个或多个无线接入点中的每个接入点接收的信号的强度(例如，接收信号强度指示)。来自每个独特的无线接入点的接收信号强度指示(RSSI)可用于确定距每个无线接入点的距离。然后，可将该距离与存储关于每个独特的无线接入点位于哪里的信息的数据库相比较。基于距每个无线接入点的距离，以及每个无线接入点的已知位置，可以确定计算装置100的位置估计。
在另一个实例中，处理器114可以基于附近的蜂窝基站，使用位置确定算法来确定计算装置100的位置。例如，蜂窝无线电通信组件106可以被配置为识别计算装置100正在从其接收来自蜂窝网络的信号或者最近从其接收来自蜂窝网络的信号的小区。此外，蜂窝无线电通信组件106可以被配置为测量到提供信号的基站的往返时间(RTT)，并将这个信息与所识别的小区组合，以确定位置估计。在另一个示例中，蜂窝通信组件106可以被配置为使用距三个或以上基站的观察到达时间差(OTDOA)来估计计算装置100的位置。
在一些实施方式中，计算装置100可包括装置平台(未示出)，该装置平台可以被配置为多层Linux平台。该装置平台可包括不同的应用和应用框架，以及各种内核、库、和运行时间实体。在其他示例中，其他格式或操作系统也可以操作计算装置100。
通信链路116被示出为有线连接；但是也可以使用无线连接。例如，通信链路116可以是有线串行总线，诸如通用串行总线或并行总线，或者例如是除了其他可能性之外，使用短距离无线无线电技术或者在IEEE 802.11(包括任何IEEE 802.11修订版本)中描述的通信协议的无线连接。
计算装置100可包括更多组件，也可包括更少组件。此外，本文所述示例方法可通过计算装置100的组件单独进行，也可通过计算装置100的组件的一个或全部组合进行。
图2图示出另一个示例计算装置200。图2中的计算装置200可以表示图1所示计算装置100的一部分。在图2中，计算装置200被示出为包括多个传感器，诸如包括陀螺仪204和加速度计206的惯性测量单元(IMU)202、全局快门(GS)相机208、卷帘快门(RS)相机210、前置摄像头212、红外(IR)闪光灯214、气压计216、磁力计218、GPS接收器220、Wi-Fi/NFC/蓝牙传感器222、投影仪224、以及温度传感器226，它们中的每一个都向协同处理器230输出。此外，计算装置200被示出为包括深度处理器228，该深度处理器228从协同处理器230接收输入，并且向协同处理器230输出。此外，协同处理器230从应用处理器232接收输入，并且向应用处理器232输出。此外，计算装置200可包括第二IMU 234，该第二IMU 234直接向应用处理器232输出。
IMU 202可以被配置为基于陀螺仪204和加速度计206的输出，确定计算装置200的速度、方位、以及重力。
GS相机208可以被配置在计算装置200上成为后置摄像头，从而背向计算装置200的正面。GS相机208可以被配置为同时读取相机208所有像素的输出。GS相机208可以被配置为具有大约120-170度的视场，诸如鱼眼传感器，用于广角观察。
RS相机210可以被配置为从像素显示器的顶部到像素显示器的底部读取像素的输出。作为一个示例，RS相机210可以是红/绿/蓝(RGB)红外(IR)4兆像素图像传感器，虽然其他传感器也可以。RS相机210可具有快速曝光，从而例如以大约5.5毫秒的最小读出时间运作。如同GS相机208，RS相机210可以是后置摄像头。
相机212可以是计算装置200中的附加相机，其被配置为前置摄像头，或者处于面对GS相机208和RS相机210相反的方向。相机212可以是广角相机，并且例如可以具有大约120-170度的视场，用于广角观察。
IR闪光灯214可以提供用于计算装置200的光源，并且例如可以被配置为在朝向计算装置200后面的方向上输出光线，从而为GS相机208和RS相机210提供光线。在一些示例中，IR闪光灯214可以被配置为以低占空比(诸如5Hz)闪光，或者按照如由协同处理器230或应用处理器232指导的非连续方式闪光。IR闪光灯214例如可包括被配置为在移动装置中使用的LED光源。
图3A至图3B是计算装置300的概念性图示，示出计算装置300上的一些传感器的配置。在图3A至图3B中，将计算装置300示出为移动电话。计算装置300可以类似于图1中的计算装置100或图2中的计算装置200中的任何一个。图3A图示出计算装置300的正面，其中连同前置摄像头304以及P/L传感器开口306(例如接近度传感器或光线传感器)一起提供显示器302。前置摄像头304可以是图2所述的相机212。
图3B图示出计算装置300的背面308，其中提供后置摄像头310和另一个后置摄像头314。后置摄像头310可以是RS相机210，而后置摄像头312可以是GS相机208，如图2中计算装置200所述。计算装置300的背面308还包括IR闪光灯314，该IR闪光灯314可以是IR闪光灯214或投影仪224，如图2中计算装置200所述。在一个示例中，IR闪光灯214和投影仪224可以是同一个。例如，单个IR闪光灯可用于进行IR闪光灯214和投影仪224的功能。在另一个示例中，计算装置300可包括位于后置摄像头310附近的第二闪光灯(未示出)(例如LED闪光灯)。传感器的配置和放置例如可以有助于提供计算装置300的期望功能，但是其他配置也可以。
再参照图2，气压计216可包括压力传感器，并且可以被配置为确定空气压力和高度变化。
磁力计218可以被配置为提供计算装置200的滚转、偏转和俯仰测量，并且可以被配置为例如作为内置罗盘操作。在一些示例中，磁力计218可以是IMU 202的组件(未示出)。
GPS接收器220可以类似于图1的计算装置100中所述的GPS接收器108。在其他示例中，GPS 220也可以输出从GPS卫星或其他网络实体接收的定时信号。这种定时信号可用于将从跨越多个装置(包括相同的卫星时间戳)的传感器收集的数据同步。
Wi-Fi/NFC/蓝牙传感器222可包括被配置为根据Wi-Fi和蓝牙标准(如上参照图1的计算装置100所述)以及根据NFC标准操作的无线通信组件，以经由接触或者进入与其他装置的很近接近度来建立与其他装置的无线通信。
投影仪224可以是结构化光线投影仪，或可以包括结构化光线投影仪，该投影仪具有激光器，该激光器具有图案生成器，以在环境中产生点图案。投影仪224可以被配置为结合RS相机210操作，以恢复关于环境中对象的深度的信息，诸如对象的三维(3D)特性。例如，RS相机210可以是RGB-IR相机，其被配置为捕捉点图案的一个或多个图像，并将图像数据提供给深度处理器228。然后，深度处理器228可以被配置为基于投射的点图案确定到对象的距离以及对象的形状。作为示例，深度处理器228可以被配置为使得投影仪224产生点图案并使得RS相机210捕捉点图案的图像。然后，深度处理器可以处理点图案的图像，使用各种算法进行三角测量并提取3D数据，以及将深度图像输出到协同处理器230。
温度传感器226例如可以被配置为测量计算装置200的外部环境的温度或温度梯度，诸如温度变化。
协同处理器230可以被配置为控制计算装置200上的所有传感器。在示例中，协同处理器230可以控制相机208、210和212中的任何一个的曝光时间，以匹配IR闪光灯214，控制投影仪224脉冲同步、持续时间和强度，并且一般性地，控制传感器的数据捕捉或收集时间。此外，协同处理器230可以被配置为将来自任何传感器的数据处理为用于应用处理器232的适当的格式。在一些示例中，协同处理器230将来自对应于相同时间戳或数据收集时间(或时间周期)的任何传感器的所有数据合并为要提供给应用处理器232的单个数据结构。此外，协同处理器230可以被配置为进行其他功能，如下所述。
应用处理器232可以被配置为控制计算装置200的其他功能，诸如控制计算装置200根据操作系统或者在计算装置200上存储的任意数量的软件应用来操作。应用处理器232可以使用通过传感器收集以及从协同处理器接收的数据进行任意数量类型的功能。应用处理器232可以接收协同处理器230的输出，并且在一些示例中，应用处理器232也可以接收来自其他传感器(包括GS相机208和RS相机210)的原始数据输出。此外，应用处理器232可以被配置为进行其他功能，如下所述。
第二IMU 234可将所收集的数据直接输出到应用处理器232，所收集的数据可以被应用处理器232接收并用于触发其他传感器以开始收集数据。作为示例，第二IMU 234的输出可以指示计算装置200的运动，并且当计算装置200在运动时，可能希望收集图像数据、GPS数据等等。因此，应用处理器232可通过公共总线上的通信信令触发其他传感器，从而在IMU 234的输出指示运动的时刻收集数据。
图2所示的计算装置200可包括在传感器与处理器中的每一个之间的多个通信总线。例如，协同处理器230可通过内部集成电路(I2C)总线与IMU 202、GS相机208、以及RS相机212中的每一个通信，该总线包括用于通信的多主机串行单端总线。协同处理器230可以接收通过相同的I2C总线或者独立的通信总线由IMU 202、GS相机208、以及RS相机212中的每一个收集、测量、或检测的原始数据。协同处理器230可通过多个通信总线与应用处理器232通信，所述多个通信总线包括串行外围接口(SPI)总线以及移动工业处理器接口(MIPI)，该SPI总线包括可以在全双工模式中操作的同步串行数据链路，该MIPI包括被配置为传递相机或像素信息的串行接口。例如可以基于数据通信的速度需要以及通过相应通信总线提供的带宽来确定各种总线的使用。
图4是场景400的概念性图示，其中移动装置402在捕捉椅子404的图像数据。在本文给出的实施例中，移动装置402可以捕捉一个以上图像，每个图像包含相同的对象，诸如图4的椅子404。移动装置402可以从各种角度以及在各种方位捕捉椅子的图像数据，如同移动装置402的表示402A-402E所示。在捕捉图像的每个位置，移动装置402的每个表示402A-402E可以具有关联的视场406A-406E。在每个视场406A-406E中，移动装置的相机能够看见目标对象404。
此外，当移动装置402捕捉图像数据时，它也可以存储关联的传感器数据。例如，移动装置402可以在捕捉照片的每个表示402A-402E的位置捕捉传感器数据。在其他实施例中，当捕捉与表示402A-402E的位置相对应的每个图像时，移动装置402可以连续地捕捉传感器数据。
图5表示用于椅子的三维对象数据500的呈示。可将三维对象数据存储在移动装置内。移动装置可将通过该移动装置捕捉的图像与三维对象数据相比较。例如，如果从不同的角度观察椅子，那么椅子会以不同的方式出现。因此，三维对象数据500被示出为按照椅子的多种不同视图呈示。如图5所示，视图502A-502D分别从不同的角度示出椅子。在一些其他示例中，椅子的三维对象数据500还可以包括关于椅子的颜色信息。
当移动装置捕捉包含椅子的图像时，该移动装置可以使用椅子的三维对象数据500来确定图片的参数。例如，基于椅子的尺寸和方位，移动装置能够计算关于移动装置相对于椅子的位置的一些位置信息。如果捕捉第二图片，则移动装置能够计算关于移动装置在它捕捉第二图片时的位置的一些位置信息。基于这两个图像，移动装置能够基于分析每个图片中的椅子，确定移动、方位、或其他传感器参数。移动装置可将这个确定的移动、方位、或其他传感器参数与所捕捉的传感器数据相比较。因此，可以基于所确定的移动、方位、或其他传感器参数与所捕捉的传感器数据之间的差异，计算校准值。
图6是用于装置传感器校准的示例方法600的框图。图6所示方法600例如给出可通过图1的计算装置100或者图2的计算装置200或者更一般地通过任何计算装置的一个或多个组件使用或实施的方法的实施例。方法600可包括通过框601至614中的一个或多个所示的一个或多个操作、功能、或动作。虽然是按照连续顺序示出这些框，但是也可以并行进行这些框，和/或按照与本文所述顺序不同的顺序进行这些框。此外，基于期望的实施方式，可将不同框组合为更少的框，分割为附加的框，和/或删除。
此外，对于方法600以及本文公开的其他过程和方法而言，方框图示出本实施例的一个可能实施方式的功能和操作。就此而言，每个框可以表示模块、片段、或程序代码的一部分，其包括可通过用于实施过程中的特定逻辑功能或步骤的处理器或计算装置执行的一个或多个指令。例如可将程序代码存储在任何类型的计算机可读介质上，诸如存储装置，包括磁盘或硬盘驱动。计算机可读介质例如可包括非暂时性计算机可读介质，诸如短时间周期内存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。此外，计算机可读介质可包括诸如次级或持续性长期存储这样的非暂时性介质，例如，如只读存储器(ROM)、光盘或磁盘、压缩盘只读存储器(CD-ROM)。此外，计算机可读介质可以是任何其他易失性存储系统或者非易失性存储系统。例如可将计算机可读介质视为计算机可读存储介质或有形存储装置。
此外，对于方法600以及本文公开的其他过程和方法而言，图6中的每个框可以表示被连线为进行过程中的特定逻辑功能的电路。
方法600的功能可通过一个计算装置完整地进行，或者可分布于多个计算装置和/或服务器。作为一个示例，方法600可通过具有被配置为基于操作系统工作的应用处理器以及被配置为从装置的多个传感器接收数据的协同处理器的装置来进行。传感器例如可包括上文在图1、图2、或图3A-3B的任何一个中所述的任何传感器，包括IMU、全局快门相机、卷帘快门相机、结构化光线投影仪、深度相机、红外闪光灯、气压计、磁力计、以及温度传感器。构思了传感器也可包括其他类型的传感器。此外，方法600包括图像捕捉，类似于针对图4所公开的图像捕捉。此外，方法600还可以合并三维对象数据，类似于针对图5所描述的三维对象数据。
在一些实施例中，可通过图2的应用处理器232来进行方法600的功能。在其他实施例中，可通过图2的协同处理器230来进行方法600的功能。在其他实施例中，可通过位于远离移动装置的计算装置来进行方法600的功能。在一些实施例中，远程计算装置可以在服务器中。
一开始，在框602，方法600包括接收来自在移动装置中的多个传感器中的第一传感器的图像数据。在一些示例中，图像数据可包括表示目标对象的数据。例如，图像数据可以是使用移动装置的相机或深度处理器捕捉的二维或三维图像数据。在示例中，可以接收来自移动装置的相机的图像数据，或可以接收来自移动装置的协同处理器的图像数据。此外，图像数据还包括来自多个所捕捉的图像和/或所捕捉的视频的数据。
图像数据可包括表示在操纵移动装置的位置和/或方位时移动装置可能已经捕捉的目标对象的数据。例如，当用户旋转移动装置或改变移动装置的位置时可能已经捕捉图像数据。但是在其他实施例中，在移动装置未移动的情况下，处于单一位置的移动装置可以捕捉图像数据。
在一个实施例中，图像数据可以是图像的序列，诸如依次捕捉的3个、5个、10个、或其他数量的图像。在另一个实施例中，图像数据可以作为视频被捕捉。
所捕捉的图像数据可包括在每个图像(或视频)中表示目标对象的数据。在一些示例中，构成图像数据的不同图像可包括相同的目标对象。例如，所捕捉的图像数据的不同图像可分别包括椅子。椅子可以从不同的位置和角度成像。因此，可以在每个图像中表示椅子并且它不一定完全一样地出现(由于移动装置从不同的位置并且以不同的方位捕捉图像)。在附加实施例中，在图像数据中可以捕捉一个以上目标对象。
在框604，方法600包括接收来自多个传感器中的第二传感器的传感器数据。传感器数据也可以对应于上述移动装置的相同运动。此外，在捕捉图像数据的一个或多个图像时可能已经使用移动装置的第二传感器确定传感器数据。在示例中，可以接收来自协同处理器的传感器数据，或可以接收来自移动装置的传感器的传感器数据。
在一个实例中，传感器数据可包括来自移动装置的陀螺仪、IMU、磁力计、或加速度计的加速度计读数。此外，传感器数据可包括基于GPS、航迹推算、或其他形式定位法的移动信息。在另一个实例中，传感器数据可包括表示使用移动装置的第二相机捕捉的、移动装置的运动的图像。在再一个实例中，传感器数据可包括使用移动装置的深度处理器确定的深度图像的序列。在又一个实例中，传感器数据可包括通过移动装置的光线传感器提供的环境光线测量。在其他实施例中，传感器数据可包括通过移动装置的相机提供的颜色数据。例如，在一些实施例中，第一传感器和第二传感器都可以是相机单元。在其他实施例中，相机传感器可以充当第一传感器和第二传感器两者。
可以在捕捉图像数据的图像的同时、在捕捉图像之前或之后不久、在图像捕捉发生时连续地、或者在不同的定时，捕捉传感器数据。在一个特定示例中，可以在捕捉第一图像时捕捉传感器数据，并且可以从传感器连续捕捉数据，直到第二图像被捕捉。在另一个实施例中，可以与每个图像捕捉同时地捕捉传感器数据。
在框606，方法600包括基于图像数据确定对于目标对象的对象识别。在各种实施例中，可以在本地进行框606，或可以通过远程计算装置进行框606。其中在本地进行框606的实施例中，移动装置可以具有对象数据库。移动装置可将表示目标对象的数据与数据库中的对象相比较，以确定对象识别。例如，可以分析图像来确定图像中呈现什么对象。一旦识别了对象，就可以基于各种标准来识别目标对象。在一些实施例中，通过对象在图像中的放置来识别目标对象。在其他实施例中，可以分析多个对象，并且任何辨识出的对象都可以是被识别的目标对象。
在其他实施例中，移动装置至少可将图像数据的子集传递给服务器。服务器能够基于图像数据识别目标对象。然后，服务器可以响应性地将对象识别传递给移动装置。在其他实施例中，移动装置可以尝试依靠自己来识别目标对象，如果它不能识别目标对象，那么它至少可将图像数据的一部分传递给服务器来进行识别。
在框608，方法600包括基于对象识别检索对象数据。对象数据可包括与对象识别的三维表示有关的数据。一旦对象已经被识别，移动装置就可以检索与所识别的对象有关的对象数据。在各种实施例中，框608的检索可通过本地检索移动装置的存储器来进行，或可通过查询远程计算装置来进行。在一些实施例中，移动装置可以首先在本地装置存储器中检查对象数据，如果本地存储器没有对象数据，移动装置就可以响应性地查询远程计算装置。
对象数据可包括与所识别的对象的三维表示有关的数据，类似于针对图5所讨论的三维表示。例如，对象数据可以是作为图像数据的一部分被捕捉的对象的3D模型。此外，对象数据可包括关于所识别的对象的颜色信息。可通过各种方式来获得对象数据。例如，数据库可包含用于对象的详细测量和尺寸数据。在识别对象时，可以查询数据库来检索对象数据。
在一个示例中，服务器可包含对象数据的库。服务器可以周期性地将对象数据传递给移动装置。传递给移动装置的对象数据可以基于很可能通过移动装置在图像中捕捉的对象。服务器可以通过各种方式确定很可能在图像中捕捉的对象。在一个示例中，可将用于常见家庭对象的对象数据传递给移动装置。在另一个示例中，可将用于已知移动装置的主人拥有的对象的对象数据传递给移动装置。在再一个示例中，可以基于通过不同的移动装置捕捉的图像将对象数据传递给移动装置。在本示例中，不同的移动装置可以捕捉图像或识别对象，并将图像或对象信息传递给服务器。服务器可以确定其他移动装置很可能遇到相同的对象，并将对象数据传递给移动装置。
在框610，方法600包括基于对象数据和图像数据确定预测传感器值。因为对象数据包含对象的三维表示，所以对象数据可以充当用于校准的参考。例如，可通过将对象数据与在图像数据中表示目标对象的数据相比较来确定预测传感器值。为了确定预测值，可以连同对象数据一起分析图像数据，以预测如果传感器正确操作传感器会输出什么。
在一个实施例中，可将图像数据的第一图像中目标对象的尺寸、形状和位置与对象数据相比较。基于这个比较，可以计算与移动装置有关的目标对象的距离、角度、方位、颜色、或其他属性。可以基于图像数据的第二图像重复该比较。因此，基于充当参考的对象数据的两个比较允许对于捕捉第一图像所在位置与捕捉第二图像所在位置之间的移动装置的移动计算预测传感器值。
此外，在一些实施例中，对象数据可包括颜色信息。在这些实施例中，颜色信息可以充当用于校准的参考。此外，光线水平传感器可以充当颜色信息实施例中的第二传感器。因此，在这些实施例中，传感器调节能够正确地调节移动装置的相机的颜色输出。
在框612，方法600包括基于所接收的传感器数据与预测传感器值之间的差异来确定传感器校准值。可通过移动装置、通过远程服务器、或者两者的组合来计算传感器校准值。
然后，可将预测传感器值与测量传感器值相比较，以确定传感器校准值的偏移。这个偏移以数学校正值表示测量值之间的差异，并且可以是校准值。例如，基于对两个所捕捉的图像的分析，可以确定在两个图片之间移动装置向右移动8英寸。传感器数据可以指示装置只移动6英寸。因此，2英寸的差异可用于计算传感器偏移。在一些实施例中，可将传感器偏移计算为传感器数据33％的增加(因为2英寸是传感器报告的6英寸的33％)。
在其他实施例中，可以对于移动装置的成像元件进行校准。在该实施例中，可将来自对象的颜色信息与对于目标对象捕捉的颜色相比较。可以只通过图像数据中的单个所捕捉的图像进行这个校准。但是在一些示例中，可以在各种照明条件下捕捉目标对象。可以跨越具有不同照明条件的各种图像进行校准。例如，图像可包括具有特定白色阴影的椅子。但是，对象数据可以指示，该椅子实际上是不同的白色阴影。可以确定传感器偏移，以将椅子的白颜色正确成像。
在再一个实施例中，可以基于通过第二移动装置捕捉的单个图像进行校准，其中第一移动装置捕捉目标装置的图像。第一移动装置捕捉目标对象的图像，并且还在捕捉图像时存储相关联的传感器数据。可将该图像和传感器数据传递给服务器，或者传递给其他移动装置。第二移动装置也可以捕捉目标对象的图像和相关联的传感器数据。然后可以在从两个不同装置捕捉的图像与从两个不同装置捕捉的传感器数据之间进行比较。这个比较仍然可用于为第二装置计算校准值，因为可以基于传感器信息计算两个图像之间的位置信息。例如，经校准的第一装置可以从已知位置拍摄椅子的图片。第二装置可能没有被校准，并且它也可以拍摄同一个椅子的图片。基于两个图像的计算，可以计算用于第二装置的传感器的移动、GPS位置、或其他参数。
对于其他示例，在图像数据包括二维图像的序列的示例中，对移动装置的运动的估计可包括对移动装置的旋转运动的估计。对移动装置这种旋转运动的估计可以基于传感器数据通过计算得出。可将对移动装置的旋转运动的估计与参考移动相比较，其中参考移动基于识别图像中的目标对象并在图像序列从头到尾的每个图像内跟踪目标对象的位置的移动。例如，基于对两个所捕捉的图像的分析，可以确定在两个图片之间移动装置旋转90度。传感器数据可以指示装置只移动85度。因此，5度的差异可用于计算传感器偏移。
在另一个示例中，移动装置的参考运动可包括移动装置的轨迹。例如，如果移动装置在已知的目标对象前面移动，那么可以基于对已知对象或目标的观察来确定移动装置随时间的轨迹。轨迹可包括在已知对象或目标的参考的帧内移动装置随时间的位置和方位估计的一个或任意组合。可将参考轨迹与基于传感器值确定的轨迹相比较，以确定传感器校准值。可将轨迹用于计算传感器偏移，类似于对于装置移动所述。
在框614，方法600包括基于传感器校准值调节第二传感器。可以基于传感器校准值调节第二传感器。取决于传感器类型或传感器偏移，可以按照多种不同方式进行调节。在一些实施例中，传感器可以具有固定偏移调节。在其他实施例中，传感器可以具有基于传感器的值调节的偏移。在其他实施例中，可以基于传感器值与期望值之间的数学关系来确定传感器校准值。在一些实施例中，可以重复框602-612若干次来产生传感器校准值。此外，可以重复框602-612来确认经调节的第二传感器值给出类似于基于对图像的分析计算的值的传感器值。
下面参照图7A和图7B，公开了用于本文所公开的方法的不同实施例的流程图。图7A公开用于单个移动装置进行方法600的实施例的流程图。图7B公开用于两个移动装置一起进行方法600的实施例的流程图。
在图7A中，传感器702群组连接到处理器704。传感器和处理器都可以位于移动装置中。服务器706可以位于远离移动装置但是与其通信。传感器702群组可以生成数据，用于传递给处理器704。处理器704可以接收来自传感器702群组的传感器数据和图像数据两者。
基于来自传感器702群组的所接收的数据，处理器可以确定对于目标对象的对象识别。可以基于来自传感器702群组的图像数据确定对于当时目标对象的对象识别。在一些实施例中(未示出)，处理器704可能不能够确定对于当时目标对象的对象识别。在这种情况下，可将来自传感器群组的图像数据传递给服务器706，以确定对象识别。
一旦通过处理器704确定对象识别，处理器704就可将对于对象数据的请求传递给服务器706。处理器704可以响应性地接收来自服务器706的对象数据。在服务器706确定对象识别的实施例中，处理器可能不将对于对象数据的请求传递给服务器706，而是处理器可以在服务器706确定对象识别之后接收来自服务器706的对象数据。
响应于处理器704接收来自服务器706的对象数据，处理器704可以确定传感器校准。处理器704可以按照与上述有关图6的讨论类似的方式确定传感器校准，包括框610和框612。类似地，处理器704可以基于上述针对图6先前讨论的传感器校准，调节传感器数据。
在图7B中，装置1 710与服务器706通信。服务器706也与装置2 720通信。在图7B所示实施例中，可以使用两个装置来帮助第二装置进行它的传感器校准。装置1 710可以捕捉诸如办公室内部这样的区域的图像数据。装置1 710可以响应性地将图像数据传送给服务器706。一旦服务器706接收来自装置1 710的图像数据，它将确定图像中的目标对象。此外，服务器706将用于所确定的对象的对象数据传送给装置2 720。因此，在装置2 720确定图像中呈现什么对象之前，它能够存储对象数据的本地副本。此外，在装置2 720存储对象数据的本地副本之后，它能够在不使用任何外部网络连接的情况下进行方法600。
然后，装置2 720可以从耦合到装置2中的处理器的传感器群组捕捉图像数据和传感器数据。所捕捉的图像可以是与装置1 710捕捉的办公室相同的办公室的图像。传感器和处理器都可以位于移动装置中。基于来自传感器群组的所接收的数据，装置2 720的处理器可以确定对于目标对象的对象识别。可以基于来自传感器群组的图像数据确定对于当时目标对象的对象识别。
一旦通过处理器确定对象识别，处理器就可以查找已经从服务器706提供给装置2720的对象数据。响应于处理器查找对象数据，处理器可以确定传感器校准。处理器可以按照与上述有关图6的讨论类似的方式确定传感器校准，包括框610和框612。类似地，处理器可以基于上述针对图6先前讨论的传感器校准，调节传感器数据。
在一些实施例中，可将所公开的方法实施为按照机器可读格式在非暂时性计算机可读存储介质上、或者在其他非暂时性介质或制品上编码的计算机程序指令。图8是图示出根据本文给出的至少一些实施例布置的示例计算机程序产品300的概念性局部视图的图示，该计算机程序产品300包括计算机程序，用于在计算装置上执行计算机处理。
在一个实施例中，使用信号承载介质801提供示例计算机程序产品800。信号承载介质801可包括一个或多个编程指令802，该编程指令802在由一个或多个处理器执行时，可以提供上述针对图1至图12所述的功能或功能的一部分。在一些示例中，信号承载介质801可以包含计算机可读介质803，诸如但不限于，硬盘驱动器、压缩盘(CD)、数字视频盘(DVD)、数字磁带、存储器等等。在一些实施方式中，信号承载介质801可以包含计算机可记录介质804，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD等等。在一些实施方式中，信号承载介质801可以包含通信介质806，诸如但不限于，数字和/或模拟通信介质(例如光纤电缆、波导、有线通信链路、无线通信链路等等)。因此，例如，可通过无线形式的通信介质806(例如符合IEEE 802.11标准或其他传送协议的无线通信介质)来表达信号承载介质801。
一个或多个编程指令802例如可以是计算机可执行和/或逻辑实现的指令。在一些示例中，可将计算装置(诸如图1的计算装置100)配置为响应于通过计算机可读介质803、计算机可记录介质804、和/或通信介质806中的一个或多个传达给计算装置100的编程指令802，提供各种操作、功能或动作。
应当理解，本文所述的布置只是为了示例。因此，本领域技术人员能够理解，可以替代性地使用其他布置和其他元素(例如机器、接口、功能、顺序、以及功能的群组等等)，并且根据期望的结果，可以完全省略一些元素。此外，所述的很多元素是可以按照任何适当的组合和位置实施为分立式或分布式组件或者与其他组件结合实施的功能实体。
虽然本文公开了各种方案和实施例，但是对于本领域技术人员而言其他方案和实施例显而易见。本文公开的各种方案和实施例的目的是为了说明，并非要成为限制，其中真实范围通过所附权利要求连同所附权利要求所赋予的等同物的全部范围一起来指定。此外应当理解，本文使用的术语只是为了描述特定实施例，而并非要成为限制。

Claims (20)

1.一种方法，包括：
接收来自在移动装置中的多个传感器中的第一传感器的图像数据，其中所述图像数据包括表示目标对象的数据；
接收使用所述多个传感器中的第二传感器确定的传感器数据；
基于所述图像数据，确定所述目标对象的对象识别；
基于所述对象识别来检索对象数据，其中所述对象数据包括与所述对象识别的三维表示有关的数据；
将所述对象数据与在所述图像数据中表示所述目标对象的数据相比较，从而确定要从所述第二传感器输出的预测传感器值，所述预测传感器值与输出所述图像数据的所述第一传感器相对应；
基于所接收的传感器数据与所述预测传感器值之间的差异，确定传感器校准值；以及
基于所述传感器校准值，调节所述第二传感器。
2.根据权利要求1所述的方法，其中：
所述图像数据包括二维图像的序列；
所述序列中的第一图像和所述序列中的第二图像都包含表示所述目标对象的数据；
所述第一图像的图像捕捉位置不同于所述第二图像的图像捕捉位置；以及
所接收的传感器数据包括与所述第一图像的所述图像捕捉位置和所述第二图像的所述图像捕捉位置之间的移动有关的数据。
3.根据权利要求1所述的方法，其中所述对象数据包括与所述对象识别相关联的颜色数据，并且其中所述传感器校准值是基于与所述对象识别相关联的所述颜色数据和表示所述目标对象的所述数据的颜色数据之间的差异。
4.根据权利要求1所述的方法，其中所述移动装置的处理器进行确定所述对象识别、将所述对象数据与表示所述目标对象的所述数据相比较、以及确定传感器校准值。
5.根据权利要求1所述的方法，其中确定所述对象识别包括：
至少将所述图像数据的子集传递给远程服务器；以及
从所述远程服务器接收指示所述对象识别的数据。
6.根据权利要求1所述的方法，其中基于从第二移动装置传递给服务器的图像数据而检索所述对象数据。
7.根据权利要求1所述的方法，进一步包括：
基于所述图像数据来确定第二目标对象的对象识别，其中所述图像数据包括表示所述第二目标对象的数据；
基于所述对象识别来检索第二对象数据；以及
基于所述对象数据、所述第二对象数据以及所述图像数据，来确定所述预测传感器值，其中所述预测传感器值通过比较以下中的两者来确定：
(i)所述对象数据与在所述图像数据中表示所述目标对象的数据，以及
(ii)所述第二对象数据与在所述图像数据中表示所述第二目标对象的数据。
8.一种移动装置，包括：
至少一个相机，所述至少一个相机被配置为捕捉图像数据；
至少一个传感器；以及
处理器，所述处理器被配置为：
接收来自所述至少一个相机的图像数据，其中所述图像数据包括表示目标对象的数据；
接收使用所述至少一个传感器确定的传感器数据；
基于所述图像数据，确定所述目标对象的对象识别；
基于所述对象识别来检索对象数据，其中所述对象数据包括与所述对象识别的三维表示有关的数据；
将所述对象数据与在所述图像数据中表示所述目标对象的数据相比较，从而确定要从所述第二传感器输出的预测传感器值，所述预测传感器值与输出所述图像数据的所述第一传感器相对应；
基于所接收的传感器数据与所述预测传感器值之间的差异，确定传感器校准值；以及
基于所述传感器校准值，调节所述至少一个传感器。
9.根据权利要求8所述的移动装置，其中：
所述图像数据包括二维图像的序列；
所述序列中的第一图像和所述序列中的第二图像都包含表示所述目标对象的数据；
所述第一图像的图像捕捉位置不同于所述第二图像的图像捕捉位置；以及
所接收的传感器数据包括与所述第一图像的所述图像捕捉位置和所述第二图像的所述图像捕捉位置之间的移动有关的数据。
10.根据权利要求8所述的移动装置，其中所述对象数据包括与所述对象识别相关联的颜色数据，并且其中所述传感器校准值是基于与所述对象识别相关联的所述颜色数据和表示所述目标对象的所述数据的颜色数据之间的差异。
11.根据权利要求8所述的移动装置，其中确定所述对象识别包括，所述处理器被进一步配置为：
至少将所述图像数据的子集传递给远程服务器；以及
从所述远程服务器接收指示所述对象识别的数据。
12.根据权利要求8所述的移动装置，其中基于从第二移动装置传递给服务器的图像数据而检索所述对象数据。
13.根据权利要求8所述的移动装置，进一步包括，所述处理器被进一步配置为：
基于所述图像数据来确定第二目标对象的对象识别，其中所述图像数据包括表示所述第二目标对象的数据；
基于所述对象识别来检索第二对象数据；以及
基于所述对象数据、所述第二对象数据以及所述图像数据，来确定所述预测传感器值，其中所述预测传感器值通过比较以下中的两者来确定：
(i)所述对象数据与在所述图像数据中表示所述目标对象的数据，以及
(ii)所述第二对象数据与在所述图像数据中表示所述第二目标对象的数据。
14.一种包括具有存储于其上的指令的非暂时性计算机可读介质的制品，所述指令在通过系统中的处理器执行时，使得所述系统进行以下操作，包括：
接收来自在移动装置中的多个传感器中的第一传感器的图像数据，其中所述图像数据包括表示目标对象的数据；
接收使用所述多个传感器中的第二传感器确定的传感器数据；
基于所述图像数据，确定所述目标对象的对象识别；
基于所述对象识别来检索对象数据，其中所述对象数据包括与所述对象识别的三维表示有关的数据；
将所述对象数据与在所述图像数据中表示所述目标对象的所述数据相比较，从而确定要从所述第二传感器输出的预测传感器值，所述预测传感器值与输出所述图像数据的所述第一传感器相对应；
基于所接收的传感器数据与所述预测传感器值之间的差异，确定传感器校准值；以及
基于所述传感器校准值，调节所述第二传感器。
15.根据权利要求14所述的制品，其中：
所述图像数据包括二维图像的序列；
所述序列中的第一图像和所述序列中的第二图像都包含表示所述目标对象的数据；
所述第一图像的图像捕捉位置不同于所述第二图像的图像捕捉位置；以及
所接收的传感器数据包括与所述第一图像的所述图像捕捉位置和所述第二图像的所述图像捕捉位置之间的移动有关的数据。
16.根据权利要求14所述的制品，其中所述对象数据包括与所述对象识别相关联的颜色数据，并且其中所述传感器校准值是基于与所述对象识别相关联的所述颜色数据与表示所述目标对象的所述数据的颜色数据之间的差异。
17.根据权利要求14所述的制品，其中所述移动装置的处理器进行确定所述对象识别、将所述对象数据与在所述图像数据中表示所述目标对象的数据相比较、以及确定传感器校准值。
18.根据权利要求14所述的制品，其中确定所述对象识别包括：
至少将所述图像数据的子集传递给远程服务器；以及
从所述远程服务器接收指示所述对象识别的数据。
19.根据权利要求14所述的制品，其中基于从第二移动装置传递给服务器的图像数据而检索所述对象数据。
20.根据权利要求14所述的制品，进一步包括：
基于所述图像数据确定第二目标对象的对象识别，其中所述图像数据包括表示所述第二目标对象的数据；
基于所述对象识别来检索第二对象数据；以及
基于所述对象数据、所述第二对象数据以及所述图像数据，来确定所述预测传感器值，其中所述预测传感器值通过比较以下中的两者来确定：
(i)所述对象数据与在所述图像数据中表示所述目标对象的数据，以及
(ii)所述第二对象数据与在所述图像数据中表示所述第二目标对象的数据。
CN201580027150.4A 2014-06-12 2015-05-12 使用所辨识的对象校准传感器的方法和系统 Pending CN106462244A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/302,926 US20150362579A1 (en) 2014-06-12 2014-06-12 Methods and Systems for Calibrating Sensors Using Recognized Objects
US14/302,926 2014-06-12
PCT/US2015/030307 WO2015191204A1 (en) 2014-06-12 2015-05-12 Methods and systems for calibrating sensors using recognized objects

Publications (1)

Publication Number Publication Date
CN106462244A true CN106462244A (zh) 2017-02-22

Family

ID=54834080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027150.4A Pending CN106462244A (zh) 2014-06-12 2015-05-12 使用所辨识的对象校准传感器的方法和系统

Country Status (7)

Country Link
US (1) US20150362579A1 (zh)
EP (1) EP3155503A4 (zh)
JP (1) JP6383439B2 (zh)
KR (1) KR101874926B1 (zh)
CN (1) CN106462244A (zh)
AU (1) AU2015275198B2 (zh)
WO (1) WO2015191204A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111557012A (zh) * 2018-12-03 2020-08-18 戴斯数字有限责任公司 跨传感器预测性推断
CN114152860A (zh) * 2021-11-05 2022-03-08 深圳橙子自动化有限公司 探针校准方法和装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187629B2 (en) * 2016-04-06 2019-01-22 Facebook, Inc. Camera calibration system
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US20180276842A1 (en) * 2017-03-27 2018-09-27 Blackberry Limited System and method for image based confirmation
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
US11002820B2 (en) * 2018-07-30 2021-05-11 7hugs Labs SAS System for object tracking in physical space with aligned reference frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1972893A1 (en) * 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
CN103620524A (zh) * 2011-03-17 2014-03-05 摩托罗拉解决方案公司 无触摸交互显示系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050222801A1 (en) * 2004-04-06 2005-10-06 Thomas Wulff System and method for monitoring a mobile computing product/arrangement
KR100560966B1 (ko) * 2004-10-12 2006-03-15 삼성광주전자 주식회사 로봇 청소기의 자이로 센서 보정방법
DE102004056669A1 (de) 2004-10-13 2006-04-20 Robert Bosch Gmbh Einrichtung für die Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
KR101557678B1 (ko) * 2009-04-22 2015-10-19 삼성전자주식회사 휴대 단말기의 캘리브레이션 방법 및 장치
US8694051B2 (en) 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
KR101207462B1 (ko) * 2011-05-31 2012-12-03 전자부품연구원 영상 정보와 거리-각도 정보를 이용한 센서 보정 시스템
EP2600109A3 (en) * 2011-11-30 2015-03-25 Sony Ericsson Mobile Communications AB Method for calibration of a sensor unit and accessory comprising the same
US20150172513A1 (en) * 2013-12-18 2015-06-18 Nokia Corporation Methods And Apparatus For Color Balance Correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1972893A1 (en) * 2007-03-21 2008-09-24 Universiteit Gent System and method for position determination
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
CN103620524A (zh) * 2011-03-17 2014-03-05 摩托罗拉解决方案公司 无触摸交互显示系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111557012A (zh) * 2018-12-03 2020-08-18 戴斯数字有限责任公司 跨传感器预测性推断
US11663533B2 (en) 2018-12-03 2023-05-30 DSi Digital, LLC Data interaction platforms utilizing dynamic relational awareness
CN111557012B (zh) * 2018-12-03 2023-09-15 戴斯数字有限责任公司 跨传感器预测性推断
CN114152860A (zh) * 2021-11-05 2022-03-08 深圳橙子自动化有限公司 探针校准方法和装置、电子设备及存储介质
CN114152860B (zh) * 2021-11-05 2023-11-10 深圳橙子自动化有限公司 探针校准方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20150362579A1 (en) 2015-12-17
AU2015275198A1 (en) 2016-10-06
AU2015275198B2 (en) 2017-08-03
KR20160149311A (ko) 2016-12-27
JP2017527145A (ja) 2017-09-14
WO2015191204A1 (en) 2015-12-17
EP3155503A1 (en) 2017-04-19
KR101874926B1 (ko) 2018-07-05
EP3155503A4 (en) 2017-12-20
JP6383439B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
CN106462244A (zh) 使用所辨识的对象校准传感器的方法和系统
CN105940390B (zh) 用于同步从设备的多个传感器接收的数据的方法和系统
US9596443B2 (en) Methods and systems for providing sensor data and image data to an application processor in a digital image format
EP3090407B1 (en) Methods and systems for determining estimation of motion of a device
US9631956B2 (en) Methods and systems for calibrating sensors of a computing device
WO2015103536A1 (en) Methods and systems for generating a map including sparse and dense mapping information
US9990547B2 (en) Odometry feature matching
CN108416285A (zh) 枪球联动监控方法、装置及计算机可读存储介质
CN107110949A (zh) 基于无线信号信息改变相机参数
US9752892B2 (en) Methods and systems for acquiring sensor data on a device using multiple acquisition modes
CN107560637B (zh) 头戴显示设备校准结果验证方法及头戴显示设备
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
KR20220066759A (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
CN107193820A (zh) 位置信息获取方法、装置及设备
CN114777772A (zh) 一种基于红外摄像头与高精度imu的室内定位系统
US9424619B2 (en) Methods and systems for detecting frame tears
CN109323691A (zh) 一种定位系统以及定位方法
KR20180012889A (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US20240096049A1 (en) Exposure control based on scene depth
KR20220066760A (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222