CN109588060A - 需求敏感型图像和位置捕获系统及方法 - Google Patents

需求敏感型图像和位置捕获系统及方法 Download PDF

Info

Publication number
CN109588060A
CN109588060A CN201780011028.7A CN201780011028A CN109588060A CN 109588060 A CN109588060 A CN 109588060A CN 201780011028 A CN201780011028 A CN 201780011028A CN 109588060 A CN109588060 A CN 109588060A
Authority
CN
China
Prior art keywords
capture
sensors
data
sensor
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780011028.7A
Other languages
English (en)
Other versions
CN109588060B (zh
Inventor
B.E.布鲁因顿
S.贝尔蒙
A.库伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109588060A publication Critical patent/CN109588060A/zh
Application granted granted Critical
Publication of CN109588060B publication Critical patent/CN109588060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了控制在移动车辆上的一个或多个传感器的方法，该方法可由一个或多个计算设备执行。一个或多个计算设备可以使用一个或多个传感器检测在第一位置处的第一表面和在第二位置处的第二表面。第二表面可以被分类为感兴趣目标。然后，一个或多个计算设备可以基于一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定一个或多个传感器的一个或多个定时特性。然后，一个或多个计算设备可以控制一个或多个传感器以根据所确定的一个或多个定时特性来捕获数据。

Description

需求敏感型图像和位置捕获系统及方法
背景技术
各种系统可以捕获不同位置的图像。例如，这些图像可以包括航空图像、卫星图像、街道级图像等。这些街道级图像中的一些可以提供位置的全景视图。因此，这些街道级图像可以为用户提供比航空图或卫星视图更高的街景分辨率。然而，这些街道级别的图像往往更容易具有被其他物体阻挡的物体的视图，例如，建筑物的视图可能被静止的和可移动的障碍物(诸如街道植被、停放的车辆、移动的车辆、行人、骑自行车者等)阻挡。
当图像被用于生成各种场景的3D模型时，这些障碍物可能会变得更加明显。例如，树木和车辆可能会阻止图像捕获这些障碍物相对于相机后的区域。因此，当图像用于生成3D模型时，这些障碍物后的区域不一定是可见的或被包括在3D模型中。这可能使模型对于观看模型的用户来说看起来不完整。
发明内容
本公开的各方面提供了控制移动车辆上的一个或多个传感器以确定与车辆的周围环境相关的信息的方法。该方法包括使用一个或多个计算设备来识别一个或多个感兴趣目标、使用一个或多个计算设备确定目标信息、确定用于捕获与一个或多个感兴趣目标相关的数据的一个或多个定时特性、以及控制一个或多个传感器以基于一个或多个所确定的定时特性来捕获与一个或多个感兴趣目标相关的数据。目标信息包括与识别的一个或多个感兴趣目标相关的信息，并且基于目标信息和与信息需求相关的预定规则集来确定一个或多个定时特性。
在一个示例中，识别一个或多个感兴趣目标包括识别第一感兴趣目标和第二感兴趣目标。而且在该示例中，确定一个或多个定时特性包括确定用于捕获与第一感兴趣目标相关的数据的第一捕获速率，以及确定用于捕获与第二感兴趣目标相关的数据的第二捕获速率。另外，基于一个或多个所确定的定时特性捕获与一个或多个感兴趣目标相关的数据包括以第一捕获速率捕获与第一感兴趣目标相关的第一数据集并以第二捕获速率捕获与第二感兴趣目标相关的第二数据集。
确定目标信息还可选择地包括确定从车辆位置到第一感兴趣目标的第一距离以及确定从车辆位置到第二感兴趣目标的第二距离。在该示例中，基于第一距离确定第一捕获速率，并且基于第二距离确定第二捕获速率。另外，控制一个或多个传感器以捕获与一个或多个感兴趣目标相关的数据包括控制第一传感器以捕获与第一感兴趣目标相关的第一数据集并且控制第二传感器以捕获与第二感兴趣目标相关的第二数据集。
确定第一捕获速率可选择地还包括确定用于捕获第一感兴趣目标的第一帧速率；确定第二捕获速率包括确定用于捕获第二感兴趣目标的第二帧速率，其中第二帧速率不同于第一帧速率。在该示例中，第一传感器包括第一视觉传感器，第二传感器包括第二视觉传感器。此外，控制第一传感器以捕获第一数据集包括控制第一视觉传感器以第一帧速率捕获与第一感兴趣目标相关的视觉数据，并且控制第二传感器以捕获第二数据集包括控制第二视觉传感器以第二帧速率捕获与第二感兴趣目标相关的视觉数据。
此外或作为替代，第一感兴趣目标和第二感兴趣目标分别包括相对放置的第一外立面和第二外立面。在另一示例中，确定目标信息包括确定遮挡物是否位于或将要位于车辆和感兴趣目标之间；确定用于捕获数据的一个或多个定时特性包括确定定时，在该定时应由传感器捕获数据，从而遮挡物的至少部分未被传感器捕获；并且控制一个或多个传感器以捕获数据包括控制传感器以根据所确定的定时捕获数据。还基于移动车辆的速度还可选择地确定一个或多个定时特性。在又一示例中，该方法还包括控制一个或多个计算设备以生成捕获的感兴趣目标的地图或3D模型，以及使用地图或3D模型来确定仍然需要被捕获的一个或多个感兴趣目标。附加地或可替换地，该方法还包括控制一个或多个计算设备以确定由一个或多个传感器捕获的数据是否与感兴趣目标相关，并且丢弃至少一些被确定为与感兴趣目标不相关的数据。
本公开的其他方面提供了被配置为执行前述权利要求中任一项的方法的装置。
本公开的进一步的方面提供了计算机可读指令，当该计算机可读指令由计算装置执行时，使得计算装置执行前述权利要求中任一项所述的方法。
本公开的其他方面还提供了车辆，该车辆包括用于确定与车辆的周围环境相关的信息的一个或多个传感器、一个或多个处理器，以及包括计算机可读指令的存储器。当由一个或多个处理器执行时，计算机可读指令使得一个或多个处理器获得与一个或多个感兴趣目标相关的目标信息，确定用于捕获与一个或多个目标相关的数据的一个或多个定时特性，控制一个或多个传感器以基于一个或多个所确定的定时特征来捕获与一个或多个感兴趣目标相关的数据。基于获得的目标信息和与信息需求相关的预定规则集来确定一个或多个定时特性。在一个示例中，一个或多个传感器包括诸如相机的图像传感器。附加地或可替换地，一个或多个传感器包括诸如LIDAR(Light Detection And Ranging，激光探测与测量)单元的位置传感器。
另外，本公开的各方面提供了控制移动车辆上的一个或多个传感器的另一方法。该方法包括使用一个或多个计算设备以使用一个或多个传感器来检测在第一位置处的第一表面和在第二位置处的第二表面；将第二表面分类为感兴趣目标；基于一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定一个或多个传感器的一个或多个定时特征，并控制一个或多个传感器以基于所确定的一个或多个定时特性来捕获数据。
在一个示例中，确定定时特性包括基于第一位置确定用于捕获第一表面的第一捕获速率，以及基于第二位置确定用于捕获第二表面的第二捕获速率。第二捕获速率高于第一捕获速率。在该示例中，控制一个或多个传感器以捕获数据包括控制一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，并且控制一个或多个传感器中的第二传感器来以第二捕获速率捕获与第二表面相关的第二数据集。
在另一示例中，该方法还包括当第一位置被确定在或将在一个或多个传感器的位置和第二位置之间时，控制一个或多个计算设备以将第一表面分类为遮挡物。在该示例中，确定用于捕获数据的一个或多个定时特性包括确定一个或多个触发位置，在该触发位置处数据应当由一个或多个传感器捕获从而遮挡物的至少部分不被一个或多个传感器捕获；并且在该示例中，控制一个或多个传感器捕获数据包括控制一个或多个传感器以根据所确定的一个或多个触发位置来捕获数据。
可选地，还基于移动车辆的速度确定一个或多个定时特性。在又一个示例中，一个或多个传感器包括图像传感器。附加地或可替换地，一个或多个传感器包括被配置来捕获三维位置数据的位置传感器。另外，该方法可以可选地包括控制一个或多个计算设备以确定是否在捕获的数据中将与感兴趣目标相关的数据捕获了指定的次数，并且发送指示需要更多与感兴趣目标相关的数据的消息。
本公开的其他方面提供了系统。该系统包括用于捕获视觉数据、位置数据或两者的一个或多个传感器，一个或多个计算设备以及包括计算机可读指令的存储器。当计算可读指令由一个或多个计算设备执行时，计算机可读指令使得一个或多个计算设备使用一个或多个传感器检测在第一位置处的第一表面和在第二位置处的第二表面、将第二表面分类为感兴趣目标、基于一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定一个或多个传感器的一个或多个定时特性以及控制一个或多个传感器以基于所确定的一个或多个定时特性来捕获数据。
在一个示例中，通过基于第一位置确定用于捕获第一表面的第一捕获速率以及基于第二位置确定用于捕获第二表面的第二捕获速率来确定定时特性。第二捕获速率高于第一捕获速率。在该示例中，控制一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，并且控制一个或多个传感器中的第二传感器来以第二捕获速率捕获与第二表面相关的第二数据集。
在另一示例中，当第一位置被确定为在或将在一个或多个传感器的位置与第二位置之间时，还使得一个或多个计算设备将第一表面分类为遮挡物。用于捕获数据的一个或多个定时特性是通过确定一个或多个触发位置来确定的，在该触发位置处数据应该被一个或多个传感器捕获，从而遮挡物的至少部分不被一个或多个传感器捕获。一个或多个传感器还被控制为通过控制一个或多个传感器根据所确定的一个或多个触发位置以捕获数据来捕获数据。在进一步的示例中，一个或多个传感器被安装在车辆上，并且还基于车辆的速度确定一个或多个定时特性。
一个或多个传感器可选地包括图像传感器。附加地或可替换地，一个或多个传感器包括被配置为捕获三维位置数据的位置传感器。在又一示例中，还使得一个或多个计算设备确定在捕获的数据中是否将与感兴趣目标相关的数据捕获了指定的次数，并且发送指示需要更多与感兴趣目标相关的数据的消息。该系统可选地还包括车辆，其中一个或多个传感器被安装在车辆上。
本公开的进一步的方面提供了非暂时性有形计算机可读存储介质，在该计算机可读存储介质上存储计算机可读程序指令。当由一个或多个计算设备执行该指令时，这些指令使得一个或多个计算设备执行方法。该方法包括使用一个或多个传感器检测在第一位置的第一表面和在第二位置的第二表面，将第二表面分类为感兴趣目标，基于一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定一个或多个传感器的一个或多个定时特性，以及控制一个或多个传感器以基于所确定的一个或多个定时特性来捕获数据。
在一个示例中，确定定时特性包括基于第一位置确定用于捕获第一表面的第一捕获速率，以及基于第二位置确定用于捕获第二表面的第二捕获速率。第二捕获速率高于第一捕获速率。在该示例中，控制一个或多个传感器以捕获数据包括控制一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，并且控制一个或多个传感器中的第二传感器来以第二捕获速率捕获与第二表面相关的第二数据集。
在另一示例中，该方法还包括当第一位置被确定为在或将在一个或多个传感器的位置与第二位置之间时，将第一表面分类为遮挡物。在该示例中，确定用于捕获数据的一个或多个定时特性包括确定一个或多个触发位置，在该触发位置处数据应该由一个或多个传感器捕获，使得遮挡物的至少一部分不被一个或多个传感器捕获，并且控制一个或多个传感器捕获数据包括控制一个或多个传感器以根据所确定的一个或多个触发位置来捕获数据。
一个或多个传感器被可选地安装在车辆上，并且还基于车辆的速度确定一个或多个定时特性。在又一示例中，该方法还包括确定在捕获的数据中是否将与感兴趣目标相关的数据捕获了指定的次数，并且发送指示需要更多与感兴趣目标相关的数据的消息。
附图说明
图1是根据本公开的各方面的图像捕获系统100的功能图。
图2是根据本公开的各方面的车辆200的功能图。
图3是根据本公开的各方面的系统300的示意图。
图4是根据本公开的各方面的系统300的功能图。
图5是根据本公开的各方面的地理区域500的俯瞰图。
图6是根据本公开的各方面的地理区域500的部分的街道级视图透视图。
图7是根据本公开的各方面的地理区域500的部分的俯瞰图。
图8是根据本公开的各方面的地理区域500的另一俯瞰图。
图9是根据本公开的各方面的地理区域500的进一步的俯瞰图。
图10是根据本公开的各方面的方法的流程图1000。
具体实施方式
概述
该技术涉及用于捕获感兴趣物体的图像的系统。作为示例，该系统可以改变车载图像传感器或视觉传感器捕获包括视觉数据的图像的速率，以及改变位置传感器基于车辆的速度和图像传感器与正被捕获的表面之间的距离以捕获物体的表面或外立面的三维(three-dimensional，3D)位置数据的速率。
该系统可以包括一个或多个传感器，包括由一个或多个计算设备控制的一个或多个图像传感器或位置传感器。图像传感器和位置传感器可以包括以玫瑰花图案布置的多个单独传感器或旋转传感器(例如，单一旋转相机或激光测距仪)。传感器可以被安装在车辆上。可替换地，图像传感器可以被布置在万向节上，使得它们可以在空间中沿x、y和z方向转向。
系统可以检测和分类由传感器捕获的物体的表面。例如，可以使用诸如神经网络或深度学习的机器学习技术将检测到的表面分类为感兴趣目标。例如，机器学习技术可以包括深度神经网络(例如，在美国专利第9594984号中公开的技术，其通过引用结合于此)，该深度神经网络确定表面是否显示或可能显示诸如店面或街道标志的文本。
表面也可以被分类为遮挡物。例如，如果位置传感器指示在图像传感器和感兴趣目标之间存在表面(例如，停靠的汽车或店面前的树木)，则表面可以被分类为遮挡物。还可以在检测之前基于先前收集的数据或用户输入来确定表面的分类类型。
系统可以确定图像传感器将捕获图像的时间的特性，或者位置传感器将捕获位置的时间的特性(下文称为“定时特性”)。在一些实施中，定时特性可以包括捕获速率(例如，帧速率或刷新速率)、平均捕获速率、捕获速率的相移和/或在其处捕获图像的一个或多个触发位置。可以基于图像传感器或位置传感器的姿势或运动、图像传感器或位置传感器相对于感兴趣目标的姿势或运动、感兴趣目标的存在或不存在以及遮挡物的存在或不存在来确定定时特性。由于一个传感器的性能可能不同于另一传感器，因此一个传感器的定时特性可能不同于另一传感器。
基于所确定的定时，系统可以实时地控制一个或多个图像传感器和位置传感器。系统可以以设定的间隔、连续地更新所确定的定时特性，或者当在传感器、感兴趣目标或遮挡物的姿势或运动的特性中检测到变化时更新所确定的定时特性。
另外，系统可以通知车辆或用户关于捕获的图像和/或位置的充足性。在一些示例中，车辆可以是自主车辆。当感兴趣目标的3D位置点在收集的图像和3D位置点中被捕获足够量时，(诸如两次或更多次)时，可以发送指示捕获的图像和位置是充足的消息。当感兴趣目标的3D位置点在收集的图像或3D位置点中被捕获的量不足时(诸如小于两次)时，可以发送指示需要感兴趣目标的另一运行的消息。在一些示例中，一个或多个处理器还可以注释未充足捕获的3D位置点。
示例系统
图1是图像捕获系统100的功能图。图像捕获系统100可以具有一个或多个计算设备。一个或多个计算设备110被配置为接受信息、基于该信息执行操作并且作为响应采取动作或提供附加信息。一个或多个计算设备110可以是，或包括，处理器，其能够接收表示以数值表达的信息的一个或多个电信号作为输入，根据指令基于输入来确定数值，并提供表示所确定的数值的一个或多个电信号作为输出。一个或多个计算设备110可以包括一个或多个处理器，其可以是商业上可用的中央处理单元(central processing unit，CPU)，专用集成电路(application-specific integrated circuit，ASIC)或现场可编程门阵列。例如，一个或多个计算设备110可以使得图像捕获系统100移动或捕获图像。一个或多个计算设备110还可以单独地控制图像捕获系统100的传感器组件，诸如一个或多个图像传感器120，或一个或多个位置传感器130。图像捕获系统的其他传感器组件可包括例如雷达、空气质量传感器和其他类型的传感器。
在一些示例中，图像捕获系统100可以包括存储数据和指令的存储器，该数据和指令可以由一个或多个处理器访问并由一个或多个处理器执行以操作系统，这类似于下面关于图2描述的那些。另外，图像捕获系统100的一个或多个计算设备110可以包括用于与其他计算设备通信的一个或多个组件。作为示例，一个或多个计算设备110可以包括将每个设备连接到通信网络的不同节点的电路(例如，网络接口)，这将在下面参考图3和图4更详细地描述。当一个或多个计算设备110向远程设备发送信息时，信息可以经由互联网(例如，根据传输控制协议(Transmission Control Protocol，TCP)和互联网协议(InternetProtocol，IP)经由核心互联网路由器)、蜂窝网络(例如，根据LTE(Long-Term Evolution，长期演进)标准)、本地网络(例如，以太网或Wi-Fi网络)或蓝牙连接中的一个或多个传送。设备可以经由其他设备向用户提供信息，例如设备110可以通过经由网络将信息发送到远程设备用于显示来向用户显示信息。计算设备还可以在不使用网络的情况下向另一计算设备提供信息。作为示例，一个计算设备可以用显示器输出信息，而另一计算设备可以用相机检测该信息。
图像捕获系统100的一个或多个图像传感器120可以被配置为捕获具有窄视场的照片(例如，由具有远摄镜头的固定式相机捕获的)或具有宽视场的全景图像(例如，由具有广角镜头的相机捕获的图像或者由旋转相机或沿着不同方向指向的多个固定式相机拍摄的多个图像拼接在一起的图像)。全景图像可以沿着水平和垂直方向捕获360°的场景，或者沿着一个或两个方向捕获小于360°的场景。进一步，一个或多个图像传感器120可以具有固定的焦距或者可以具有可变的焦距。在捕获给定图像的时刻一个或多个图像传感器120的地理位置可以与给定图像相关联，在一些情况下与诸如捕获时间的时间戳的其他数据一起相关联。
一个或多个位置传感器可以是有源的(诸如LiDAR传感器)，或者是无源的(诸如来自运动的结构)。LiDAR传感器可以包括用于生成3D几何数据的激光测距仪。使用激光测距仪，LiDAR传感器可以捕获激光数据，该激光数据包括在场景中各个点处到表面的深度的测量。使用关于LiDAR传感器的位置和方位的信息，这些深度测量可以被转换成3D位置的估计，并且被插值以估计在图像中可能可见的表面的位置，该图像是由图像传感器在或近似在与激光数据相同的地理位置处捕获的。在无源位置传感器的情况下，位置传感器可以利用先前的场景知识来确定位置数据。例如，无源位置传感器可以将从先前场景知识导出的地理区域的几何形状的最佳估计与由一个或多个图像传感器捕获的地理区域的视觉特征进行比较。
一个或多个图像传感器和位置传感器可以包括以玫瑰花图案布置的多个单独传感器，或者可以包括旋转传感器(诸如单一旋转相机或激光测距仪)。本领域中已知的其他配置和类型的图像传感器和位置传感器也可以或可替换地在图像捕获系统100中使用。
在一些示例中，一个或多个计算设备110可以包括机器学习组件，其被配置为执行诸如神经网络或深度学习技术的机器学习操作。在其他示例中，一个或多个计算设备110可以被配置为将数据发送到执行机器学习操作的远程系统。在任何情况下，一个或多个计算设备110还可以被配置为接收远程系统的机器学习操作的结果。
如图2所示，图像捕获系统100可以被结合到车辆200中。车辆可以能够自主地或半自主地操作。虽然本公开的某些方面结合特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，其包括但不限于汽车、卡车、摩托车、公共汽车、娱乐车辆等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器220、存储器230和通常存在于通用计算设备中的其他组件的一个或多个计算设备210。图像捕获系统100可以被连接到一个或多个计算设备210并且被安装到车辆200上。图像捕获系统100可以被安装在车辆200上的高度可以是任何高度，但是在一些情况下可以选择为低于标准车辆高度限制(例如，在美国，路面以上4.2-4.3米(13.5-14英尺))。当车辆沿着街道被驾驶时，图像捕获系统100的一个或多个图像传感器120和一个或多个位置传感器130可以捕获图像和位置信息。在这点上，捕获的图像中的所有或一些可以被认为是“街道级图像”。在一些示例中，图像传感器也可以被布置在万向节上使得它们可以在空间中沿x、y和z方向转向。可替换地，图像捕获系统100可以被结合在可以由人携带的附件(例如背包)中。使用附件捕获的图像也可以是街道级图像，诸如用户在人行道上捕获的建筑物的照片或者由站在小径上的徒步旅行者捕获的瀑布的照片。
一个或多个计算设备210被配置为接受信息、基于该信息执行操作并且作为响应采取动作或提供附加信息。一个或多个计算设备210的一个或多个处理器220可以能够接收表示以数值表达的信息的一个或多个电信号作为输入，根据指令基于输入来确定数值，并提供代表所确定的数值的一个或多个电信号作为输出。一个或多个处理器220可以是商业上可获得的中央处理单元(CPU)、专用集成电路(ASIC)或现场可编程门阵列。
存储器230存储可由一个或多个处理器220访问的信息，其包括可由处理器220执行或以其他方式使用的数据232和指令234。存储器230可以是能够在可由计算设备读取的非暂时性存储介质上存储信息的任何组件，例如，由一个或多个处理器220提供的寄存器、诸如RAM(random-access memory，随机访问存储器)的易失性存储器、诸如闪存(例如，安全数字(Secure Digital，SD)卡)的非易失性存储器、硬盘驱动器、固态驱动器、光存储器或磁带备份。配置一个或多个计算设备210、一个或多个处理器220和存储器230使得一个或多个计算设备210可以读取、修改、删除和添加存储在存储器230中的值。存储器230可以被配置为提供受限访问，例如存储器可以是只读的。
存储器230可以存储由一个或多个计算设备210执行的操作使用或由其产生的信息。作为示例，存储器230存储数据232，数据232包括由一个或多个处理器220根据指令234检索或存储的值，诸如当执行本文描述的一些操作时一个或多个计算设备110所需的或由一个或多个计算设备110确定的信息。存储在存储器230中的值可以根据一个或多个数据结构存储。例如，存储在存储器230中的值可以表示单一数值(例如，二进制数、整数、浮点数、表示文本的单一字符的Unicode值、数字或标点符号、或表示单机代码指令的值)，多个数值(例如，数字阵列、文本字符串、XML(Extensible Markup Language，可扩展标记语言)格式数据或文件)的集合，或者可以从其中获得根据指令234处理的值的信息(例如，对存储在远程位置的值的参照或者计算所需值的函数的参数)。系统和方法可以包括前述的不同组合，由此数据232和指令234的不同部分被存储在不同类型的介质上。
数据232可以包括感兴趣目标数据库，其识别被分类为感兴趣目标的物体的表面和每个识别的表面的地理位置以及可以与感兴趣目标相关联的特征。而且，数据232可以包括遮挡物数据库，该遮挡物数据库识别被熟知为从街道或其他路径阻挡在感兴趣目标数据库中被识别的感兴趣目标的物体表面以及每个识别的表面的地理位置。
由一个或多个计算设备210使用的指令234包括由一个或多个计算设备210访问和执行的一个或多个指令的任何集合。作为示例，一个或多个计算设备210存储表示指令234的值，并且一个或多个处理器220能够访问这些值并执行或使得一个或多个计算设备210、车辆200或图像捕获系统100的其他组件自动地执行与这些指令相关联的操作。可以以能够由一个或多个处理器220在有或没有附加处理的情况下执行的格式(例如，机器代码、目标代码、脚本或根据需要解释的独立源代码模块)存储指令234。以一种格式被表达为单一指令的操作可以对应于以另一格式的多个指令，例如以脚本执行单一命令可能需要执行多个机器代码指令。本文描述的一些操作可能涉及执行由操作系统提供的指令。
尽管图2功能性地将计算设备210的处理器、存储器和其他元件示出在同一块内，但是本领域普通技术人员将理解的是，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以被存储在同一物理外壳内，也可以不被存储在同一物理外壳内。例如，存储器可以是位于不同于计算设备210的外壳的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。
计算设备210还可以包括用于经由设备周围的物理环境提供信息以直接向用户提供输出的组件。例如，组件可包括定位系统240。当捕获图像或位置数据时，定位系统240可以确定车辆200、一个或多个图像传感器120和/或一个或多个位置传感器130在地图上或地球上的相对或绝对位置。例如，定位系统240可以包括分别确定车辆200的地理位置和方位数据的电路(诸如，位置组件和方位组件)。作为示例，位置组件可以包括全球导航卫星系统(global navigation satellite system，GNSS)，例如基于卫星信号输出经度坐标和纬度坐标(以及潜在地海拔)的GPS(Global Positioning System，全球定位系统)接收器。方位组件可以包括磁罗盘、加速度计或陀螺仪，其用于确定相对于地理(或磁)北的方向和重力的方向的俯仰、偏航或滚动方向(或其任意组合)。可替换地或此外，定位系统240可以由不主要用于确定地理位置或方位的组件组成。例如，一个或多个处理器220可以基于由安装在设备上的蜂窝电话天线或Wi-Fi天线检测到的蜂窝电话塔或WiFi路由器的已知的地理位置来确定车辆200的位置。定位系统240可以不被物理地连接到一个或多个处理器220。例如，当远程计算设备被连接到互联网时，一个或多个处理器220可以基于由远程计算设备(诸如，关于图3进一步描述的一个)使用的IP地址的全部或部分的已知地理位置来确定车辆200的位置。
在图像和位置数据被捕获并且被存储在存储器230、存储系统350、其他计算设备或前述的组合中时，所确定的位置和方位数据可以与图像和位置数据相关联。尽管图像捕获系统100和定位系统240被描述为车辆200内的独立组件，但是这些组件可以包括在同一物理外壳中，也可以不包括在同一物理外壳中。在这点上，定位系统240可以是与图像捕获系统100不同的设备使得两个组件都向计算设备210输出位置信息、方位信息和图像，该计算设备210使用一个或多个处理器220处理这些输出，以便将它们彼此相关联并将他们存储在存储器230、存储系统150、其他计算设备或前述的组合中。
一个或多个计算设备210还可以包括用于与其他计算设备(诸如，一个或多个无线网络连接250)通信的一个或多个组件。作为示例，一个或多个无线网络连接250包括将一个或多个计算设备210连接到通信网络360的不同节点的电路(例如，网络接口)，其在图3和图4中示出。网络360可以由使用不同通信协议的多个网络组成。例如，当一个或多个计算设备210向网络360中的远程设备发送信息时，可以通过互联网(例如，根据传输控制协议(TCP)和互联网协议(IP)经由核心互联网路由器)、蜂窝网络(例如，根据LTE(长期演进)标准)、本地网络(例如，以太网或Wi-Fi网络)或蓝牙连接中的一个或多个来传送信息。一个或多个计算设备210可以通过经由网络360向远程设备发送信息用以显示来向用户显示信息。一个或多个计算设备210还可以在不使用网络的情况下向另一计算设备提供信息。作为示例，一个计算设备可以用显示器输出信息，而另一计算设备可以用相机检测该信息。
除了图像捕获系统100之外，计算设备210还可以与车辆200的一个或多个车辆操作系统260通信。车辆操作系统260可以包括涉及车辆的操作(诸如减速、加速、转向、信令、导航、定位、检测等中的一个或多个)的系统。尽管一个或多个车辆操作系统260被显示为在计算设备210外部，但是实际上这些系统也可以被结合到计算设备210中。
图像捕获系统100还可以向其他计算设备传递诸如捕获的图像的信息以及从其他计算设备接收诸如捕获的图像的信息。图3和图4分别是示例系统300的示意图和功能图，示例系统300包括经由网络360连接的多个计算设备310、320、330、340和存储系统350。系统300还包括图像捕获系统100。尽管为简单起见仅描绘了少数计算设备，但典型系统可包括更多。附加地或可替换地，诸如车辆200的一个或多个车辆可以被包括在系统300中。
如图3中所示，设备310可以是服务器计算设备并且设备320、330、340可以是旨在由用户322、332、342的使用的客户端计算设备。例如，服务器计算设备310可以是web服务器，并且客户端计算设备320可以是具有触摸屏的无线电话，该触摸屏同时用作显示器324和用户输入组件326。客户端计算设备330可以是可佩戴计算系统，其被示为头戴式计算系统，其包括显示器334(诸如近眼显示器)和用户输入组件336(诸如在可佩戴计算系统上的小型键盘、小键盘、触摸屏、麦克风或照相机)。客户端计算设备340可以是台式计算机系统，其包括显示器344(诸如通过电缆被连接到个人计算机的外部监视器)以及用户输入组件346(诸如经由蓝牙与计算机通信的外部键盘)。
应当理解的是，在系统300中可以使用其他客户端设备、显示器和用户输入组件或其他这样的配置。作为示例，其他客户端设备可以包括膝上计算机、笔记本、上网本、平板、机顶盒(例如被连接到电视的有线电视机顶盒)和可穿戴设备(例如智能手表)。在这方面，计算设备可以包括通常存在于这样的设备或通用计算机中但本文没有明确地描述的其他类型的组件。
如图4所示，计算设备310、320、330、340中的每一个可能包括一个或多个处理器、存储器、数据和指令。可以类似于如上所述的计算设备210的一个或多个处理器220、存储器230、数据232和指令234来配置这样的处理器、存储器、数据和指令。
此外，客户端计算设备320和330还可以包括用于确定客户端计算设备320、330的地理位置和方位的地理姿势组件328和338。例如，这些组件可以包括位置组件和方位组件，诸如上面关于车辆200的定位系统240描述的那些组件。
存储系统350可以存储可以由诸如一个或多个服务器计算设备310的服务器计算设备检索或访问的各种类型的信息以便执行本文描述的一些或所有特征。如同存储器230一样，存储系统350可以是能够存储可由服务器计算设备310访问的信息的任何类型的计算机化存储器，诸如硬盘驱动器、存储卡、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随机存储器)、DVD(Digital Versatile Disc，数字多功能光盘)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、可写入式存储器和只读式存储器。此外，存储系统350可以包括分布式存储系统，其中数据被存储在物理上位于相同或不同地理位置处的多个不同存储设备上。如图3中所示，存储系统350可以经由网络360被连接到计算设备，和/或可以直接地被连接到或被结合到计算设备310、320、330、340、图像捕获系统100等中的任何一个中。
存储系统350可以存储由图像捕获系统100捕获的图像。与诸如位置信息和姿势信息的图像相关联的信息可以与图像相关联地被存储。地理位置可以相对于一个或多个本地或全球参照系进行存储或处理，诸如纬度/经度/海拔坐标、街道地址、街道交叉点、关于地图的边缘的x-y坐标(诸如像素位置)、勘测图上的批号和块编号、正北、磁北、或者可以从中导出地理位置或方位的信息(例如，具有已知位置的建筑物的名称)。地理位置可以是精确点(精确的纬度/经度/海拔坐标)或范围(例如，通过城市边界的纬度/经度位置的)。地理方位还可相对于一个或一个以上参考框架(相对于真北、磁北或重力)存储或处理，并且可以是精确方向(正北以西30°，地平线以上20°)或者范围(北纬45°至90°之间)。地理位置和方位可以是绝对的(例如，相对于地球上的固定点或方向，诸如相对于正北的纬度/经度/海拔坐标或罗盘方向)或是相对的(例如，距移动设备的距离或罗盘方向)。存储系统350可以将位置从一个参照系框架变换到另一参照系框架。例如，地理编码器例程可被用于将存储为街道地址的位置转换为纬度/经度坐标。在一些实施中，一个或多个计算设备110、210、310、320、330、330中的一个可以在发送地理位置用以存储在存储系统350中之前处理该地理位置。
存储系统350可以处理数据，该数据本身不是地理位置，但是与地理位置相关(下文称为“地理上位于”)。例如，存储系统350可以存储与一个或多个兴趣点(points-of-interest，POI)相关的数据，为了本文描述的技术目的，这意味着对于用户来说潜在的感兴趣的地方。作为示例，系统可以存储建筑物、企业(例如餐馆)、道路、人行道、纪念碑、湖泊、公园、邻里、城市或州的地理位置。存储系统350可以存储与POI相关的信息，诸如，一个或多个标识符(例如，诸如“John咖啡馆”的名字或唯一标识符(unique identifier，UID))、类别(如“餐馆”)、相关POI(例如，其位于的购物中心的POI标识符)、业主，或每周其开放的小时和天。
如上所讨论，网络360和中间节点可以包括各种配置和协议，协议包括短程通信协议，诸如互联网(例如，根据传输控制协议(TCP)和互联网协议(IP)经由核心互联网路由器)、蜂窝网络(例如，根据LTE(长期演进)标准)、局域网(例如，以太网或Wi-Fi网络)或蓝牙连接，以及前述的各种组合。这种通信可以由能够向其他计算设备(诸如调制解调器和无线接口)发送数据和从其他计算设备发送数据的任何设备来实现。
示例方法
在操作中，系统可以确定用于收集图像和/或位置数据的一个或多个定时特性，并相应地控制图像传感器和/或位置传感器，如下面所详细描述的。
如图5中所示，车辆200可以驾驶通过地理区域500。图5是地理区域500的鸟瞰图，其包括街道502的部分，该街道包括四个车道504、506、510和512。车道被双车道线508分成两段。出现在双车道线508上方的车道504和506是西行车道，而下面的车道510和512是东行车道。沿着街道502可以是建筑物530-538以及诸如树木540和树木542的其他物体。在该示例中，集合520的圆圈对应于捕获位置(x，y)，在该捕获位置当车辆200以恒定速度(诸如以25英里/小时或大约25英里/小时)行驶时，图像或位置数据可以被图像捕获系统100捕获，并且以诸如以1Hz或大约1Hz的给定速率设置捕获速率或刷新速率。因此，在该示例中，集合520中的每个捕获位置之间的距离可以是大约30-40英尺。这些图像或位置数据可以存储在存储器230或存储系统350中，并且根据需要由一个或多个计算设备(诸如，计算设备110)来检索。
图像捕获系统100的一个或多个计算设备110可以被配置为检测由一个或多个图像传感器或位置传感器捕获的物体的表面。在图5中所示的示例中，当车辆200到达位置522时，一个或多个图像传感器120的第一图像传感器可以捕获图像600，其在图6中描述。第一图像传感器的方位可以在汽车的右侧并且平行于街道，因此图像600捕获街道502的北侧的街道级视图。在图像600中，捕获树木542和建筑物532和534以及树木540的部分视图。一个或多个计算设备110和传感器可以检测建筑物532和534、树木540和542的表面，并针对每个检测到的表面确定估计的地理位置。例如，每个表面的位置可以基于与图像600相关联的地理位置和来自LIDAR传感器的信息。在一些情况下，可以基于与检测到的表面相关的信息(诸如通过光学字符识别检测到的地址)或者基于与检测到的物体和/或图像600相关联的位置数据来确定估计的地理位置。
在捕获的图像或位置数据中检测到的物体的表面可以被一个或多个计算设备110识别为一个或多个感兴趣目标。例如，在捕获的图像中检测到的物体可以具有与感兴趣目标相关联的特征。作为另一示例，由图像传感器捕获的检测到的物体的一个或多个视觉特性或由位置传感器捕获的检测到的物体的一个或多个位置特性，可以匹配存储在感兴趣目标数据库中的视觉特征或位置特征。感兴趣目标也可以在感兴趣目标数据库中被明确地识别。例如，特定地理位置处的物体可能先前已被确定为感兴趣目标。一个或多个计算设备110可以通过确定基于位置传感器和车辆200的位置计算的检测到的物体的地理位置是否对应于存储在感兴趣目标数据库中的感兴趣目标的地理位置来确定检测到的物体是感兴趣目标。
一个或多个计算设备110可以确定与表面与感兴趣目标的特征(“兴趣值”)相对应的程度相关的值。可以在感测到表面之前、期间或之后确定兴趣值。作为示例，用户可以请求位于某个地理位置的任何物体的模型，在这种情况下随后在该位置被感测的所有表面的视觉和位置信息可以被存储在数据库中，并与将该表面识别为感兴趣目标的标志相关联。作为另一示例，在感测到表面之后，一个或多个计算设备110可以使用感测到的视觉信息和形状信息以使用机器学习组件来计算与表面成为感兴趣目标的可能性相关的分数。例如，机器学习组件可以由用户训练以识别与店面或街道标志相对应的形状特征和视觉特征。该系统还可以实时地将表面分类为感兴趣目标，例如，安装在车辆200上的计算设备可以将任何平坦的垂直表面识别为感兴趣目标，因为该表面与人造物体相对应的可能性。还可以基于表面的视觉或基于位置的特征的组合(例如，基于其视觉外观、其形状和其与给定地理位置的接近度的组合)来确定兴趣值。可以基于其兴趣值(诸如兴趣值是否超过阈值)将表面分类为感兴趣目标。一个或多个计算设备110可以确定与表面与遮挡物的特性对应的程度相关的值(“遮挡物值”)。例如，如果图像传感器或位置传感器指示在图像传感器和感兴趣目标之间存在表面，则该表面可以在数据库中被标记为遮挡物。如图像600中所示，建筑物532的表面(其为了说明的目的已被系统识别为感兴趣目标)被树木540和树木542部分地阻挡或遮挡。一个或多个计算设备110可以基于在图像600中检测到的遮挡来确定树木540和树木542是识别的感兴趣目标的遮挡物。在其他示例中，位置传感器可以检测建筑物532和树木540和树木542的表面的位置，并且一个或多个计算设备110可以确定树木540和树木542的表面的位置位于建筑物532的表面、感兴趣目标和车辆200行驶的街道502之间。一个或多个计算设备110可以基于由位置传感器检测到的位置数据来确定树木540和树木542是遮挡物。在可替代的示例中，可以在数据库中先识别遮挡物，该数据库识别已知从街道或其他路径阻挡感兴趣目标数据库中识别的感兴趣目标的表面。当表面阻挡感兴趣目标的任何部分时，或者当其阻挡感兴趣目标的程度超过阈值时，表面可以被分类为遮挡物。
一个或多个计算设备110可以确定图像传感器或位置传感器已经捕获或可能捕获图像或位置数据的时间的特征(“定时特性”)。定时特性可以与捕获速率(例如，捕获一个图像或数据的集合与捕获下一图像或数据的集合之间的时间，或者在许多图像的平均捕获速率)或捕获速率的相移相关。定时特性可以对应于从该位置处捕获表面的触发位置，例如，如下面更详细解释的，一个或多个计算设备110可以确定预期移动车辆上的图像传感器对应于特定地理位置的时刻。
定时特性可以取决于各种因素。例如，安装在车辆上的图像传感器的典型捕获速率可以在1Hz的数量级上。然而，取决于安装图像传感器的汽车或运输工具的速度，以及离感兴趣目标的距离，捕获速率可以在更大或更小的数量级上，如下面进一步所讨论的。
一个或多个计算设备110可以基于图像捕获系统的图像传感器或位置传感器的姿势或运动来确定定时特性。当图像捕获系统100被安装在车辆200上时，可以基于车辆200的姿势或运动来确定图像传感器或位置传感器的姿势或运动。可以基于定位系统164确定车辆200的姿势或运动。还可以基于由一个或多个图像传感器120，一个或多个位置传感器130或车辆上或车外的其他组件提供的信息来确定车辆200的姿势或运动。在一些实施例中，一个或多个图像传感器和一个或多个位置传感器也可以(诸如在万向节上)独立地移动，在这种情况下，每个传感器的姿势或运动也可以基于每个传感器相对于车辆的姿势和运动来确定。
返回图5，在被安装在车辆200上的图像捕获系统100的示例中，第一图像传感器可以被配置为直接地指向车辆200的右侧，并且第二图像传感器可以被配置为直接地指向车辆200的左侧。如图5中所描绘的，车辆200可以在街道502的最北端的车道504上行驶。沿着街道502的北侧的物体平均比街道502的另一侧上的物体更靠近车辆200和一个或多个图像传感器或位置传感器，因此具有更大的角速度。这样，试图捕获建筑物532的表面的车辆200上的第一图像传感器的捕获速率可能比车道512中的车辆上的第二图像传感器的捕获速率快，以便捕获车辆200右侧更快速地变化的视图。第一图像传感器的捕获速率和第二图像传感器的捕获速率之间的比率可以是车辆的右侧上的物体距车辆200的平均距离和车辆左侧上的物体距车辆200的平均距离之间的比率的倒数。例如，如果平均距离的比率是1：2，那么捕获速率的比率可以是2：1。可以使用其他比率或计算来确定第一图像传感器和第二图像传感器之间的差异。
此外，给定图像传感器或位置传感器的捕获速率可以随着车辆的速度增加或减少而分别增加或减少。集合520的优选捕获位置可以保持大约30-40英尺的间距，而不管车辆的速度是增加还是降低。一个或多个计算设备110可以在车辆的速度增加时增加捕获速率，并且在车辆速度减小时减小捕获速率。
可以基于图像传感器或位置传感器相对于感兴趣目标的姿势或运动来确定定时特性。例如，可以基于车辆相对于感兴趣目标的位置或方位的位置、方位、速度或加速度中的一个或多个来确定定时特性。作为另一示例，图像捕获系统100可以确定图像捕获速率，使得感兴趣目标的两个连续图像之间的重叠量超过阈值。例如，基于一个或多个图像传感器120的第一图像传感器的视角和感兴趣目标距第一图像传感器的平均距离，可以确定允许感兴趣目标的图像之间至少50％重叠的一个或多个捕获位置。使用一个或多个捕获位置，可以根据车辆的速度确定车辆的捕获速率。
作为示例，物体离传感器越近或越远，图像捕获系统100可以更多地分别增加或减少传感器的捕获速率。如图7中所示，随着车辆200沿着行驶的路径越来越接近感兴趣目标建筑物532的表面，图像传感器或位置传感器的捕获速率可能会增加，如集合720的捕获位置在区域730中的建筑物532的前面比与建筑物532的前面成某角度更密集所证明的那样。
当感兴趣目标的部分被确定为出现在捕获的图像内时，图像传感器或位置传感器的捕获速率可能会增加，而当感兴趣目标的任何部分都没有出现在捕获的图像中时，捕获速率可能会降低。图像捕获系统100的一个或多个计算设备110可以通过首先创建或访问包括感兴趣目标的地理区域(诸如包括建筑物532的地理区域500)的3D模型以及车辆的当前位置，来确定在捕获的图像数据的视野内感兴趣目标的部分是否出现或者感兴趣目标预计何时或何处出现。一个或多个计算设备110然后可以基于图像传感器或位置传感器的视角从传感器的当前或未来位置沿传感器正面临或将要面临的方向来投影帧，并且确定传感器的位置，其中投影的帧与和感兴趣目标相关联的一个或多个3D点相交。例如，一个或多个图像传感器120中的第一图像传感器可以具有740的视角，并且因此可以从捕获位置722开始并在捕获位置724处结束捕获建筑物532的表面的至少部分。假设车辆200以恒定速度行驶，第一图像传感器的捕获速率可以从捕获位置722开始增加，在建筑物532前面达到其最高速率，并且缓慢降低直到位置724，之后捕获速率回到恒定速率。
图像捕获系统100的一个或多个计算设备110还可以基于图像传感器或位置传感器相对于遮挡物的姿态或运动来确定定时特性。例如，当收集感兴趣目标的图像或位置数据时，系统可以确定避免捕获感兴趣目标前面的遮挡物的触发位置。第一触发位置可以被确定为紧靠在遮挡物的一侧进入传感器的视野之前，而第二触发位置紧靠在遮挡物的另一侧离开传感器的视野之后。第一触发位置和第二触发位置可以是图像捕获系统100被配置为分别捕获第一图像和第二图像，或者分别捕获第一位置数据和第二位置数据的位置。当以这种方式被捕获时，可以组合第一图像和第二图像或第一位置数据和第二位置数据的部分，以形成感兴趣目标的重建图像。当可以在第一触发位置和第二触发位置之间观看到感兴趣目标的其他部分时，可以确定第一触发位置和第二触发位置之间的附加触发位置。可以基于给定传感器的视角和给定传感器的姿势来确定触发位置。因此，对于不同的传感器触发位置可以是不同的，并且可以允许以不同的角度捕获感兴趣目标。
例如，因为树木540在被识别为感兴趣目标的建筑物532的表面的前面，所以当图像传感器在建筑物532正前方的参照街道位置810时捕获的图像可能主要是遮挡的树木540，如图6的图像600所示。因此，第一触发位置822可以被确定为离参考街道位置810沿着街道502上方的距离(诸如在街道上方若干码)。当图像传感器在第一触发位置822时，第一图像可以由第一图像传感器捕获。第二触发位置824可被确定为离参照街道位置810沿着街道下方的距离(诸如沿着街道502下方的若干码)。当图像传感器到达第二触发位置824时，第二图像可以被第一图像传感器捕获。
除了第一触发位置822和第二触发位置824之外，集合820可以在第一触发位置之前和第二触发位置之后以规则的间隔包括其他捕获位置。在第一和第二触发位置之间的集合820中可以不包括中间捕捉位置，或者替换地，可以在集合820中包括一个或多个捕捉位置和/或其他触发位置。例如，可以确定中间触发位置以避免另一个遮挡物。如图8中所示，可以将中间触发位置826确定为集合820的部分，以便避免也部分地遮挡建筑物532的表面的树木542。中间捕获位置可以以与第一触发位置之前的捕获位置相同或相似的规则间隔被隔开。可替代的，由于遮挡树木540，将捕获较少的有用信息，因此所以中间捕获位置可能更分散。
在一些示例中，第一图像传感器的姿势可以(诸如使用万向节)从第一触发位置被调节到指向商业店面的第一姿势和从第二触发位置被调节到指向商业店面的第二姿势，如图9中所示。当第一图像传感器的姿势是可调节的时，一个或多个计算设备110可以基于可以在避开遮挡物的同时捕获感兴趣目标的最佳角度来确定第一触发位置。第一图像传感器可以具有从集合920中的第一触发位置922指向西北的第一姿势和从集合920的第二触发位置924指向东北的第二姿势，而不是被指向正北。在第一触发位置922和第二触发位置924之间的间隔中，第一图像传感器可以从第一姿势被移动到第二姿势。考虑到第一图像传感器的姿势不同，第一触发位置922被确定为在与第一触发位置822相比不同的位置。类似地，第二触发位置924也可以与第二触发位置824不同。
在一些实施例中，第一触发位置922可以被指定为用于第一图像传感器，并且第二触发位置924可以被指定为用于第二图像传感器。第一图像传感器可以可选地被固定在第一姿势处，并且第二图像传感器被固定在第二姿势处，或者一个或两个传感器姿势可以是可调节的。
确定定时特性可以附加地或可替换地包括延迟或提前图像捕获，从而改变捕获速率的相位，从而图像传感器或位置传感器在遮挡物的一侧进入传感器的视场之前立即收集感兴趣目标的第一图像或第一位置数据，并且在遮挡物的另一侧离开传感器的视场之后立即捕获感兴趣目标的第二图像。例如，在如上所述确定第一触发位置和第二触发位置后，最靠近第一触发位置的集合520的第一捕获位置可以被移动到第一触发位置，并且集合520的第二捕获位置被移动到第二触发位置。此外集合520的其他捕获位置可以保持在相同的位置。可替换地，第一捕获位置的相移可以导致所有后续捕获位置以与第一捕获位置相同的量移动，并且第二捕获位置的随后相移可以导致所有后续捕获位置再次以与第二捕获位置相同的量移动。为了以不同角度和不同时间捕获感兴趣目标，可以不同地移动不同传感器的捕获速率。
基于所确定的定时，图像捕获系统100的一个或多个计算设备110可以实时地控制一个或多个图像传感器120或位置传感器130。例如，当一个或多个计算设备110检测到图像捕获系统100在捕获位置或触发位置处时，一个或多个计算设备110可以控制一个或多个图像传感器120和一个或多个位置传感器130以收集图像和位置数据。一个或多个计算设备110可以以设定的间隔、连续地更新所确定的定时特性，或者当在传感器、感兴趣目标或遮挡物的姿势或运动的特征中检测到变化时，一个或多个计算设备110可以更新所确定的定时特性。
可替换地，代替实时地控制传感器的定时特性，一个或多个计算设备110可以在图像或位置数据被收集之后并且在进一步处理之前基于所确定的定时特性来识别要丢弃或丢掉的特定图像或位置数据。作为实例，一个或多个计算设备110可以确定第一图像传感器的定时特性以包括对应于多个捕获位置的多次捕获。来自由第一图像传感器捕获的图像的图像子集可包括在所确定的捕获位置处或最接近所确定的捕获位置处捕获的图像。不在子集中的剩余图像可以在它们被发送或存储在存储器中之前丢掉，或者可以在后处理中从存储器中丢弃。
图像捕获系统可以附加地通知车辆200的一个或多个计算设备210或用户关于捕获的图像和/或位置的充足性。当感兴趣目标的3D位置数据在收集的图像和3D位置数据中被捕获足够的量(诸如两次或更多次)时，可以发送指示捕获的图像和位置是充足的消息。当感兴趣目标的3D位置数据在收集的图像或3D位置数据中被捕获不足量(诸如少于两次)时，则可以发送指示需要感兴趣目标的另一运行的消息。对于自主车辆，一个或多个计算设备210可以自动地计划和执行经过感兴趣目标的另一运行，或者可以在接收到请求另一运行的用户输入之后这样做。在一些示例中，一个或多个计算设备110还可以注释被未充足地捕获的表面或区域，并且可以可选地将关于注释的表面或区域的消息发送到一个或多个计算设备210或者将注释存储在存储器230或存储系统350中的感兴趣目标数据库中。
而且，系统可以基于感兴趣目标的位置确定一个或多个图像传感器中的每一个的焦距。可以在给定实例处使用感兴趣目标距离给定图像传感器的平均距离来确定焦距。可以基于感兴趣目标距离给定图像传感器的平均距离随时间的变化而将焦距确定为随时间变化。
虽然上述示例与被配置为以捕获速率捕获图像的图像传感器相关，但是可以相对于被配置为收集位置数据的位置传感器做出关于定时特性的相同或相似的确定。此外，上述方法中的一些或所有可以由车辆200的一个或多个计算设备210而不是图像捕获系统100的一个或多个计算设备110来执行。
在图10中，示出了根据上述一些方面的流程图1000，这些方面可以由图像捕获系统100的一个或多个计算设备110和/或车辆200的一个或多个计算设备210执行。虽然图10以特殊的顺序显示了块，但是可以改变顺序并且可以同时地执行多个操作。而且，可以添加或省略操作。
在块1010处，一个或多个计算设备110或210可以识别一个或多个感兴趣目标。感兴趣目标可以是例如建筑物的正面、商业店面、广告牌等。在块1020处，可以确定与识别的一个或多个感兴趣目标相关的目标信息。目标信息可以包括目标和传感器之间的距离或可能出现在传感器和感兴趣目标之间的遮挡物的存在。在块1030处，可确定一个或多个定时特性用以捕获与一个或多个感兴趣目标相关的数据。可以基于目标信息和与信息需求相关的预定规则集来确定一个或多个定时特性。示例定时特性包括捕获速率、相移或触发位置。在块1040处，一个或多个计算设备110或210可以控制一个或多个传感器以基于一个或多个所确定的定时特性来捕获与的一个或多个感兴趣目标相关的数据。例如，一个或多个计算设备110或210可以设置一个或多个传感器中的每一个传感器的捕获速率，或者可以使得一个或多个传感器在所确定的触发位置处捕获数据。
图像捕获系统100还可以被配置为选择性地处理少于由图像传感器或位置传感器收集的所有数据。例如，安装在车辆200上的一个或多个计算设备110可以使用同步位置与建图(simultaneous localization and mapping，“SLAM”)以实时地生成感兴趣目标的地图或3D模型。地图或模型可用于确定已捕获的表面和仍需要被捕获的表面。作为示例，图像捕获系统100可以实时地向系统的操作者构建和显示感兴趣目标的简单模型，因此操作者可以确定是否已经捕获了所有的目标表面。如果在覆盖范围方面存在间隙，则可以将图像捕获系统100移动到不同位置，以便填充间隙并创建更完整的模型。当图像捕获系统被存储在高度可移动的车辆，诸如无人驾驶飞行器(unmanned aerial vehicle，“UAV”，例如四轴飞行器)或可穿戴设备(例如，街景徒步旅行者背包))上时，该特征可能是特别有利的。图像捕获系统还可以被配置为自主地定位其自身以使模型完整。作为示例，UAV可以被编程为围绕感兴趣目标飞行并收集图像数据直到模型完整。在感测数据被转移到比可由图像捕获系统访问的更多的具有更多存储器和处理资源的计算设备之后，可以从感测的数据中提取更详细的模型或附加信息。
图像捕获系统100还可以被配置为选择性地存储比由图像传感器或位置传感器收集的所有数据少的数据。例如，如果系统包括仅确定图像的小部分可能与感兴趣目标(例如，街道标志)相关联的机器学习组件，则一个或多个计算设备110可以存储感兴趣目标的图像数据(例如，与限速标志相对应的像素值)，并且丢弃在图像中捕获的其他图像数据。并且，系统可以存储较小的数据的表示(例如，限速标志的位置和在其上显示的数字)，而不是存储与感兴趣目标相关联的图像数据。可以通过在处理完数据之后不将数据存储在非易失性存储器中、将数据存储在非易失性存储器中并随后将其删除、在数据到达时忽略数据等来丢弃数据。
作为另一示例，如果图像包含重叠图像数据，则图像捕获系统100可以存储重叠数据的一个副本并丢弃其余数据。例如并且如上所述，当以相对高的速度经过相对接近的感兴趣目标时，系统可以增加捕获速率。图像数据不仅可以捕获感兴趣目标而且可以捕获远距离目标，并且由于视差图像之间的重叠量可以非常高。因此，一个或多个计算设备可以丢弃重叠的图像数据(例如，图像中的远距离物体的像素值)并保留剩余的图像数据。
图像捕获系统100可以通过将图像数据投影到3D模型上来确定是存储还是丢弃图像和位置数据。例如，如果图像数据不对应于上述的感兴趣目标的3D模型，则可以丢弃图像数据。如果稍后图像中的图像数据对应于已经采用来自先前图像的数据绘制的模型的表面，则也可以丢弃来自稍后图像的图像数据。在一些实施例中，一旦图像捕获系统100移动到模型化表面的视线外，系统可以保留模型的副本并丢弃被用于生成模型的图像数据。
还可以基于捕获感兴趣目标的图像的数量来存储或丢弃图像数据。作为示例，系统可以捕获并保留表面的给定数量的图像并丢弃相同表面的后续图像。系统还可以计算每个图像的质量值并保留具有(多个)最高质量值的给定数量的图像。例如，随着图像捕获系统100越来越接近表面，它倾向于收集更详细的图像和位置数据。结果，质量值可以基于被投影到模型上的图像数据的粒度，例如，相关表面的每平方厘米被捕获的像素的数量。由于捕获的图像数据随着图像传感器越来越接近表面倾向于越来越精细，因此质量值也可以基于从相关图像传感器到表面的感测到的地理距离。
基于特定于图像数据的因素，可以丢弃或保留表面的图像。例如，照明条件根据一天中的时间和一年中的一天而变化。如果在不同的照明条件下拍摄相同表面的两个图像，则可以保留两个图像。可替换地，如果两个图像中的一个(诸如清晨朝向西的表面的图像)可能在相对较差的照明条件下被拍摄，则可能丢弃具有较差照明条件的图像。
即使系统丢弃来自特殊图像的图像数据，它也可以基于该图像保留图像数据。例如，在感兴趣目标的图像到达用以处理时，系统可以将图像数据投影到感兴趣目标的模型的纹素上，并存储被投影到每个纹素上的颜色和亮度数据的运行平均值。
上述特征允许捕获更有效和清晰地捕获信息的图像和位置信息。以上述方式收集的图像和位置信息可以被用以提供地理区域的重建，该地理区域以最小量的数据捕获和存储更详细地呈现感兴趣的区域。如上述的收集的图像和位置信息的重叠的量可确保用户具有用以创建地理区域的重建的足够的信息。因为在仍然捕获用于地理区域的精确描绘的足够的信息的同时，数据捕获和存储可能更便宜，所以用户可以更容易地找到相关信息或者使用收集的信息查看感兴趣的区域。因为更相关的信息是可查看的，所以用户更可能返回以基于所收集的信息查看重建或查看其他重建。
除非另有说明，否则前述可替换的示例不是相互排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离由权利要求限定的主题范围的情况下利用以上讨论的特征的这些和其他变化和组合，因此实施例的前述描述应当被理解为作为说明的，而非限制权利要求所限定的主题。示例的规定(以及被措辞为“诸如”，“例如”，“包括”等的条款)不应被解释为将权利要求限制于特定示例；相反，这些示例仅用于说明许多可能方面中的一些。类似地，对“基于”等的引用意味着“至少部分地基于”。此外，不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (35)

1.一种控制移动车辆上的一个或多个传感器以确定与车辆的周围环境相关的信息的方法，包括：
由一个或多个计算设备识别一个或多个感兴趣目标；
使用所述一个或多个计算设备确定目标信息，所述目标信息包括与所识别的一个或多个感兴趣目标相关的信息；
由所述一个或多个计算设备确定用于捕获与所述一个或多个感兴趣目标相关的数据的一个或多个定时特性，基于所述目标信息和与信息需求相关的预定规则集确定所述一个或多个定时特性；和
由所述一个或多个计算设备控制所述一个或多个传感器，以基于所述一个或多个所确定的定时特性来捕获与所述一个或多个感兴趣目标相关的数据。
2.如权利要求1所述的方法，其中：
识别一个或多个感兴趣目标包括识别第一感兴趣目标和第二感兴趣目标；
确定一个或多个定时特性包括：
确定用于捕获与第一感兴趣目标相关的数据的第一捕获速率；和
确定用于捕获与第二感兴趣目标相关的数据的第二捕获速率，
和
基于所述一个或多个所确定的定时特征捕获与所述一个或多个感兴趣目标相关的数据包括：以第一捕获速率捕获与第一感兴趣目标相关的第一数据集，并以第二捕获速率捕获与第二感兴趣目标相关的第二数据集。
3.如权利要求2所述的方法，其中：
确定目标信息包括确定从车辆位置到第一感兴趣目标的第一距离，以及确定从车辆位置到第二感兴趣目标的第二距离，其中基于第一距离确定第一捕获速率，并且基于第二距离确定第二捕获速率。
4.如权利要求2或3所述的方法，其中控制所述一个或多个传感器以捕获与所述一个或多个感兴趣目标相关的数据包括控制第一传感器以捕获与第一感兴趣目标相关的第一数据集，以及控制第二传感器以捕获与第二感兴趣目标相关的第二数据集。
5.如权利要求4所述的方法，其中：
确定第一捕获速率包括确定用于捕获第一感兴趣目标的第一帧速率；
确定第二捕获速率包括确定用于捕获第二感兴趣目标的第二帧速率，第二帧速率与第一帧速率不同，
第一传感器包括第一视觉传感器，第二传感器包括第二视觉传感器，
控制第一传感器以捕获第一数据集包括控制第一视觉传感器来以第一帧速率捕获与第一感兴趣目标相关的视觉数据；
控制第二传感器以捕获第二数据集包括控制第二视觉传感器来以第二帧速率捕获与第二感兴趣目标相关的视觉数据。
6.如权利要求2到权利要求5中的任意一项所述的方法，其中，第一感兴趣目标和第二感兴趣目标分别包括相对放置的第一外立面和第二外立面。
7.如前述权利要求中的任意一项所述的方法，其中：
确定目标信息包括确定遮挡物是否位于或将位于所述车辆和感兴趣目标之间；
确定用于捕获数据的一个或多个定时特性包括确定定时，在该定时应由传感器捕获数据，从而所述遮挡物的至少部分不被所述传感器捕获；和
控制所述一个或多个传感器以捕获数据包括控制所述传感器以根据所确定的定时来捕获数据。
8.如前述权利要求中的任意一项所述的方法，其中还基于所述移动车辆的速度确定所述一个或多个定时特性。
9.如前述权利要求中的任意一项所述的方法，还包括生成捕获的感兴趣目标的地图或3D模型，并且使用所述地图或3D模型来确定仍然需要捕获的一个或多个感兴趣的目标。
10.如前述权利要求中的任意一项所述的方法，还包括确定由所述一个或多个传感器捕获的数据是否与感兴趣目标相关，并且丢弃至少一些被确定为不与感兴趣目标相关的数据。
11.装置，被配置为执行如前述权利要求中任一项所述的方法。
12.计算机可读指令，当所述计算机可读指令由计算装置执行时，所述计算机可读指令使得所述计算装置执行前述权利要求中任一项所述的方法。
13.一种车辆，包括：
一个或多个传感器，用于确定与所述车辆的周围环境相关的信息；
一个或多个处理器；和
存储器，包括计算机可读指令，当所述计算机可读指令由所述一个或多个处理器执行时，使得所述一个或多个处理器：
获得与一个或多个感兴趣目标相关的目标信息；和
确定用于捕获与所述一个或多个感兴趣目标相关的数据的一个或多个定时特性，基于所获得的目标信息和与信息需求相关的预定规则集来确定所述一个或多个定时特性；和
控制一个或多个传感器以基于一个或多个所确定的定时特性来捕获与所述一个或多个感兴趣目标相关的数据。
14.如权利要求13所述的车辆，其中，所述一个或多个传感器包括诸如相机的图像传感器。
15.如权利要求13或14所述的车辆，其中，所述一个或多个传感器包括诸如LIDAR单元的位置传感器。
16.一种控制在移动车辆上的一个或多个传感器的方法，包括：
由一个或多个计算设备使用所述一个或多个传感器检测第一位置处的第一表面和第二位置处的第二表面；
由一个或多个计算设备将第二表面分类为感兴趣目标；
由所述一个或多个计算设备基于所述一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定所述一个或多个传感器的一个或多个定时特性；和
由所述一个或多个计算设备控制所述一个或多个传感器以基于所确定的一个或多个定时特性来捕获数据。
17.如权利要求16所述的方法，其中，确定所述定时特性包括：
基于第一位置确定用于捕获第一表面的第一捕获速率；和
基于第二位置确定用于捕获第二表面的第二捕获速率，第二捕获速率高于第一捕获速率；和
其中控制所述一个或多个传感器以捕获数据包括控制所述一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，以及控制所述一个或多个传感器中的第二传感器来以第二捕获速率捕获与第二表面相关的第二数据集。
18.如权利要求16所述的方法，还包括：
当第一位置被确定为在或将在所述一个或多个传感器的位置与第二位置之间时，由所述一个或多个计算设备将第一表面分类为遮挡物；
其中确定用于捕获数据的一个或多个定时特性包括确定一个或多个触发位置，在所述触发位置处应该由所述一个或多个传感器捕获数据，从而所述遮挡物的至少部分不被所述一个或多个传感器捕获；和
其中控制所述一个或多个传感器以捕获数据包括控制所述一个或多个传感器以根据所确定的一个或多个触发位置来捕获数据。
19.如权利要求16所述的方法，其中，还基于所述移动车辆的速度确定所述一个或多个定时特性。
20.如权利要求16所述的方法，其中，所述一个或多个传感器包括图像传感器。
21.如权利要求16所述的方法，其中，所述一个或多个传感器包括被配置来捕获三维位置数据的位置传感器。
22.如权利要求16所述的方法，还包括：
由所述一个或多个计算设备确定在捕获的数据中是否将与所述感兴趣目标相关的数据捕获了指定的次数；和
由所述一个或多个计算设备传送指示需要更多与所述感兴趣目标相关的数据的消息。
23.一种系统，包括：
一个或多个传感器，用于捕获视觉数据、位置数据或两者；和
一个或多个计算设备；和
包括计算机可读指令的存储器，当所述计算机可读指令由所述一个或多个计算设备执行时，使得所述一个或多个计算设备：
使用所述一个或多个传感器检测在第一位置处的第一表面和在第二位置处的第二表面；
将第二表面分类为感兴趣目标；
基于所述一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动，确定所述一个或多个传感器的一个或多个定时特性；和
控制所述一个或多个传感器以基于所确定的一个或多个定时特性来捕获数据。
24.如权利要求23所述的系统，其中所述定时特性由以下确定：
基于第一位置确定用于捕获第一表面的第一捕获速率；和
基于第二位置确定用于捕获第二表面的第二捕获速率，第二捕获速率高于第一捕获速率；和
其中，控制所述一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，以及控制所述一个或多个传感器中的第二传感器来以第二次捕获速率捕获与第二表面相关的第二数据集。
25.如权利要求23所述的系统，其中，当执行所述计算机可读指令时，还使得所述一个或多个计算设备：
当第一位置被确定为在或将在所述一个或多个传感器的位置与第二位置之间时，将第一表面分类为遮挡物；
其中，用于捕获数据的一个或多个定时特性通过确定一个或多个触发位置来确定，在所述一个或多个触发位置处数据应该由所述一个或多个传感器捕获，从而所述遮挡物的至少部分不被所述一个或多个传感器捕获；和
其中，其中通过控制所述一个或多个传感器根据所确定的一个或多个触发位置以捕获数据来控制所述一个或多个传感器捕获数据。
26.如权利要求23所述的系统，其中，所述一个或多个传感器被安装在车辆上，并且还基于所述车辆的速度确定所述一个或多个定时特性。
27.如权利要求23所述的系统，其中，所述一个或多个传感器包括图像传感器。
28.如权利要求23所述的系统，其中，所述一个或多个传感器包括被配置来捕获三维位置数据的位置传感器。
29.如权利要求23所述的系统，其中，当执行所述计算机可读指令时，还使得所述一个或多个计算设备：
确定在捕获的数据中是否将与感兴趣目标相关的数据捕获了指定的次数；和
传送消息，所述消息指示需要更多与所述感兴趣目标相关的数据。
30.如权利要求23所述的系统，还包括车辆，其中所述一个或多个传感器安装在所述车辆上。
31.一种非暂时性有形计算机可读存储介质，在其上存储计算机可读程序指令，当所述指令由一个或多个计算设备执行时，使得所述一个或多个计算设备执行方法，所述方法包括：
使用一个或多个传感器检测在第一位置处的第一表面和在第二位置处的第二表面；
将第二表面分类为感兴趣目标；
基于所述一个或多个传感器相对于第一表面的第一位置和第二表面的第二位置的姿势或运动来确定所述一个或多个传感器的一个或多个定时特性；和
控制所述一个或多个传感器以基于所确定的一个或多个的定时特性来捕获数据。
32.如权利要求31所述的介质，其中确定所述定时特性包括：
基于第一位置确定用于捕获第一表面的第一捕获速率；和
基于第二位置确定用于捕获第二表面的第二捕获速率，第二捕获速率高于第一捕获速率；和
其中控制所述一个或多个传感器以捕获数据包括控制所述一个或多个传感器中的第一传感器来以第一捕获速率捕获与第一表面相关的第一数据集，并控制所述一个或多个传感器中的第二传感器来以第二捕获速率捕获与第二表面相关的第二数据集。
33.如权利要求31所述的介质，其中，所述方法还包括：
当第一位置被确定为在或将在所述一个或多个传感器的位置与第二位置之间时，由所述一个或多个计算设备将第一表面分类为遮挡物；
其中确定用于捕获数据的一个或多个定时特性包括确定一个或多个触发位置，在所述触发位置处数据应该由所述一个或多个传感器捕获，从而所述遮挡物的至少部分不被所述一个或多个传感器捕获；和
其中控制所述一个或多个传感器以捕获数据包括控制所述一个或多个传感器以根据所确定的一个或多个触发位置来捕获数据。
34.如权利要求31所述的介质，其中，所述一个或多个传感器被安装在车辆上，并且还基于所述车辆的速度确定所述一个或多个定时特性。
35.如权利要求31所述的介质，其中，所述方法还包括：
确定在捕获的数据中是否将与所述感兴趣目标相关的数据捕获了指定的次数；和
传送指示需要更多与所述感兴趣目标相关的数据的消息。
CN201780011028.7A 2017-07-28 2017-07-28 控制传感器的方法和相应装置、车辆、系统以及计算机可读存储介质 Active CN109588060B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/044450 WO2019022774A1 (en) 2017-07-28 2017-07-28 SYSTEM AND METHOD FOR IMAGE AND LOCATION CAPTURE BASED ON NEEDS

Publications (2)

Publication Number Publication Date
CN109588060A true CN109588060A (zh) 2019-04-05
CN109588060B CN109588060B (zh) 2021-05-11

Family

ID=59702805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780011028.7A Active CN109588060B (zh) 2017-07-28 2017-07-28 控制传感器的方法和相应装置、车辆、系统以及计算机可读存储介质

Country Status (5)

Country Link
US (2) US10817735B2 (zh)
EP (2) EP3459238B1 (zh)
KR (2) KR20190028359A (zh)
CN (1) CN109588060B (zh)
WO (1) WO2019022774A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112644818A (zh) * 2020-06-25 2021-04-13 谷歌有限责任公司 从oem包装到自动化友好容器的硬盘驱动器转变

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112784B2 (en) 2016-05-09 2021-09-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for communications in an industrial internet of things data collection environment with large data sets
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11327475B2 (en) 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US11237546B2 (en) 2016-06-15 2022-02-01 Strong Force loT Portfolio 2016, LLC Method and system of modifying a data collection trajectory for vehicles
US11442445B2 (en) 2017-08-02 2022-09-13 Strong Force Iot Portfolio 2016, Llc Data collection systems and methods with alternate routing of input channels
US20190339362A1 (en) * 2018-05-03 2019-11-07 Mediatek Inc. Signature-based object detection method and associated apparatus
US11354914B1 (en) * 2019-06-06 2022-06-07 Zoox, Inc. Optimizing data levels for processing, transmission, or storage based on location information
US11454976B1 (en) 2019-06-06 2022-09-27 Zoox, Inc. Optimizing data levels for processing,transmission, or storage
US11879979B2 (en) 2019-09-27 2024-01-23 Pointcloud Inc. Method and apparatus for dynamic reconfiguration of region of interest in integrated FMCW LIDAR
US12071030B2 (en) * 2019-12-23 2024-08-27 Lyft, Inc. Camera-sensor fusion module for surface detection and fleet vehicle control systems and methods
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
US11107244B1 (en) * 2020-04-17 2021-08-31 Applied Research Associates, Inc. Location determination in a GPS-denied environment with user annotation
EP4220228A1 (en) 2020-06-26 2023-08-02 X Development LLC Electrical power grid modeling
US11360310B2 (en) * 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US11512956B2 (en) 2020-07-09 2022-11-29 Trimble Inc. Construction layout using augmented reality
US20220124960A1 (en) * 2020-10-23 2022-04-28 James Canyon Commercial Farm Optimization Utilizing Simulation, Remote Sensing, and Farmer Inputs
WO2022221122A1 (en) 2021-04-16 2022-10-20 X Development Llc Filling gaps in electric grid models
US11628859B1 (en) * 2022-07-29 2023-04-18 Plusai, Inc. Vehicle placement on aerial views for vehicle control
US11634156B1 (en) 2022-07-29 2023-04-25 Plusai, Inc. Aerial view generation for vehicle control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager
CN103988227A (zh) * 2011-12-16 2014-08-13 诺基亚公司 用于图像捕获目标锁定的方法和装置
CN104575006A (zh) * 2014-12-25 2015-04-29 北京凌云光技术有限责任公司 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统
CN104778680A (zh) * 2014-01-15 2015-07-15 波音公司 检查目标的系统和方法
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
US20150321607A1 (en) * 2014-05-08 2015-11-12 Lg Electronics Inc. Vehicle and control method thereof
US20170168494A1 (en) * 2015-12-11 2017-06-15 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
EP1704710A4 (en) 2003-12-24 2007-09-19 Walker Digital Llc METHOD AND DEVICE FOR AUTOMATIC COLLECTION AND MANAGEMENT OF IMAGES
DE102004046360B4 (de) * 2004-09-24 2014-03-27 Daimler Ag Kraftfahrzeug mit einem präventiv wirkenden Schutzsystem
US8532419B2 (en) 2010-01-13 2013-09-10 iParse, LLC Automatic image capture
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
US9594984B2 (en) 2015-08-07 2017-03-14 Google Inc. Business discovery from imagery
KR102690404B1 (ko) * 2016-12-20 2024-08-01 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204974A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-Assisted Stero Imager
CN103988227A (zh) * 2011-12-16 2014-08-13 诺基亚公司 用于图像捕获目标锁定的方法和装置
CN104778680A (zh) * 2014-01-15 2015-07-15 波音公司 检查目标的系统和方法
CN105022397A (zh) * 2014-04-25 2015-11-04 谷歌公司 用于使用多个传感器进行物体检测的方法和系统
US20150321607A1 (en) * 2014-05-08 2015-11-12 Lg Electronics Inc. Vehicle and control method thereof
CN104575006A (zh) * 2014-12-25 2015-04-29 北京凌云光技术有限责任公司 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统
US20170168494A1 (en) * 2015-12-11 2017-06-15 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112644818A (zh) * 2020-06-25 2021-04-13 谷歌有限责任公司 从oem包装到自动化友好容器的硬盘驱动器转变

Also Published As

Publication number Publication date
EP3459238B1 (en) 2021-06-09
EP3459238A1 (en) 2019-03-27
CN109588060B (zh) 2021-05-11
US20200034638A1 (en) 2020-01-30
KR20200103885A (ko) 2020-09-02
WO2019022774A1 (en) 2019-01-31
KR20190028359A (ko) 2019-03-18
EP3893484B1 (en) 2023-05-10
US20210012122A1 (en) 2021-01-14
US10817735B2 (en) 2020-10-27
EP3893484A1 (en) 2021-10-13
US11386672B2 (en) 2022-07-12
KR102191445B1 (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
CN109588060A (zh) 需求敏感型图像和位置捕获系统及方法
US9811082B2 (en) Aerial image collection
CN106461402B (zh) 用于确定相对于数字地图的位置的方法及系统
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US8078396B2 (en) Methods for and apparatus for generating a continuum of three dimensional image data
US8666657B2 (en) Methods for and apparatus for generating a continuum of three-dimensional image data
US11415986B2 (en) Geocoding data for an automated vehicle
KR20190094405A (ko) 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
US20150153188A1 (en) System and method of determining map coordinates from images
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
Zang et al. Accurate vehicle self-localization in high definition map dataset
JP2008065087A (ja) 静止物地図生成装置
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
US11947354B2 (en) Geocoding data for an automated vehicle
Chiang et al. Mobile mapping technologies
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
Javed et al. PanoVILD: a challenging panoramic vision, inertial and LiDAR dataset for simultaneous localization and mapping
Bao et al. Vehicle self-localization using 3D building map and stereo camera
Lee et al. Distant object localization with a single image obtained from a smartphone in an urban environment
Holland et al. The topographic data deluge–collecting and maintaining data in a 21st century mapping agency
Wang et al. Pedestrian positioning in urban city with the aid of Google maps street view
Li et al. Terrestrial mobile mapping towards real-time geospatial data collection
Chang et al. Augmented reality services of photos and videos from filming sites using their shooting locations and attitudes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant