CN112240777A - 传感器同步离线实验室验证系统 - Google Patents

传感器同步离线实验室验证系统 Download PDF

Info

Publication number
CN112240777A
CN112240777A CN202010668088.XA CN202010668088A CN112240777A CN 112240777 A CN112240777 A CN 112240777A CN 202010668088 A CN202010668088 A CN 202010668088A CN 112240777 A CN112240777 A CN 112240777A
Authority
CN
China
Prior art keywords
sensor
synchronization
passive
passive sensor
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010668088.XA
Other languages
English (en)
Inventor
张满江
吴官锡
张妍嫣
申耀明
柳政澔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN112240777A publication Critical patent/CN112240777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Abstract

本公开描述了验证有源传感器和无源传感器之间的数据同步的各种实施例。根据验证有源传感器和无源传感器之间的传感器同步的示例性方法，同步设备从有源传感器接收第一信号，第一信号指示有源传感器已经向测量板发送激光点。响应于第一信号，同步设备向无源传感器发送第二信号以触发无源传感器捕获测量板的图像。同步验证应用可以根据第一信号和第二信号的定时执行测量板的图像的分析，以确定无源传感器和有源传感器是否彼此同步。

Description

传感器同步离线实验室验证系统
技术领域
本公开的实施例一般涉及操作自主车辆。更具体地，本公开的实施例涉及传感器数据同步验证。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当在自主模式下操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
机载传感器可包括有源传感器和无源传感器。有源传感器，例如光检测和测距(LiDAR)设备，可以提供其自己的能量源用于照明；而无源传感器，例如相机，只能检测自然可用的能量。为了增加目标对象的估计的确定性和精度，来自有源传感器和无源传感器的数据需要被同步到目标对象的单个描述中。
传感器数据同步需要软件应用和硬件组件的支持，在它们可以实时地用在自主驾驶车辆(ADV)上之前需要对其进行验证。
尽管软件应用和硬件组件可以在ADV中实时在线验证，但是这种在线验证需要大量的努力以设置传感器，并且可能缺乏由离线验证设备提供的验证准确性和长期稳定性测试的水平。
发明内容
在第一方面中，本公开的实施例提供一种验证传感器数据同步的计算机实现的方法，包括：
在同步设备处从有源传感器接收指示所述有源传感器已经向测量板发送激光点的第一信号；
响应于所述第一信号，通过所述同步设备向无源传感器发送第二信号以触发所述无源传感器捕获所述测量板的图像；以及
通过同步验证应用根据所述第一信号和所述第二信号的定时执行对所述测量板的所述图像的分析，以确定所述无源传感器和所述有源传感器是否彼此同步。
在第二方面中，本公开的实施例提供一种非暂时性机器可读介质，其中存储有指令，所述指令在由处理器执行时使得所述处理器执行如上所述的方法的操作。
在第三方面中，本公开的实施例提供一种数据处理系统，包括：处理器；以及耦合到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器执行如上所述方法的操作。
在第四方面中，本公开的实施例提供一种验证传感器数据同步的系统，包括：
有源传感器；
无源传感器；
测量板，放置在有源传感器和无源传感器的前面；以及
同步设备，与有源传感器和无源触感器耦合，并且包括同步验证应用，
其中，
所述有源传感器用于向测量板发送激光点，并且向同步设备发送指示所述有源传感器已经向测量板发送激光点的第一信号；
所述同步设备用于响应于所述第一信号，向所述无源传感器发送第二信号以触发所述无源传感器捕获所述测量板的图像；
所述同步设备还用于通过同步验证应用根据所述第一信号和所述第二信号的定时执行对所述测量板的所述图像的分析，以确定所述无源传感器和所述有源传感器是否彼此同步。
本公开的实施例可以提供离线实验室同步验证，具有从物理传感器到同步硬件和软件的端到端覆盖。一旦被验证，同步设备中的软件组件和硬件组件就可以被部署在ADV中用于实时驱动。
与在线实时传感器同步验证相比，本文所述的实施例可以提供更高水平的验证准确度；更短的周转时间；以及更长的稳定性测试(例如，数周或数月)以对物理传感器、同步硬件和同步软件施加压力。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1示出根据一个实施例的用于验证有源传感器和无源传感器之间的传感器数据同步的示例系统。
图2进一步示出根据一个实施例的用于验证有源传感器和无源传感器之间的传感器数据同步的示例系统。
图3示出根据一个实施例的验证有源传感器和无源传感器之间的传感器数据同步的示例过程。
图4A、图4B和图4C示出根据一个实施例的示例验证场景。
图5示出根据一个实施例的验证有源传感器和无源传感器之间的传感器数据同步的示例过程。
具体实施方式
将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特别特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
本公开描述了用于验证有源传感器和无源传感器之间的数据同步的各种实施例。为了说明的目的，本公开使用LiDAR设备和相机。本文所述的一些特征也可用于验证另一类型的有源传感器与另一类型的无源传感器之间的传感器同步。
根据验证有源传感器和无源传感器之间的传感器同步的示例性方法，同步设备从有源传感器接收第一信号，第一信号指示有源传感器已经向测量板发送激光点。响应于第一信号，同步设备向无源传感器发送第二信号以触发无源传感器捕获测量板的图像。同步验证应用可以根据第一信号和第二信号的定时执行测量板的图像的分析，以确定无源传感器和有源传感器是否彼此同步。
在一个实施例中，同步设备包括一个或多个电路以及一个或多个软件模块，用于同步来自有源传感器和无源传感器的传感器数据。经同步的设备包括多个同步设置，其中同步设置的每一个指定用于无源传感器的触发延迟和测量板上的有源传感器的对应的目标区域。同步设置包括正触发延迟、零触发和负触发延迟。触发延迟使得有源传感器和无源传感器之间的同步点能够落在对应的目标区域中。
在一个实施例中，当执行测量板的图像的分析时，同步验证应用可以执行以下操作：确定图像捕获测量板上的激光点的至少一部分；确定有源传感器与无源传感器之间的同步点位于由同步设置中的一个定义的位置处；以及生成有源传感器和无源传感器同步的指示。
在另一实施例中，当执行测量板的图像的分析时，同步验证应用可执行以下操作：确定图像没有捕捉测量板上的任何激光点；以及生成有源传感器和无源传感器不同步的指示。
在一个实施例中，验证系统可包括测量板、同步设备和同步验证应用。同步设备包括一个或多个硬件组件(例如，电路)和一个或多个软件组件，用于同步来自有源传感器和无源传感器的数据。同步设备还包括用于指定有源传感器与无源传感器之间的不同的同步点的一个或多个传感器同步设置。同步设备可以导致有源传感器向测量板发送激光信号。响应于激光信号的传输，同步设备可以触发无源传感器以捕获测量板的图像。同步验证应用可以分析图像以基于一个或多个预设同步设置确定来自有源传感器和无源传感器的传感器数据是否彼此同步。
本公开的实施例可以提供离线实验室同步验证，具有从物理传感器到同步硬件和软件的端到端覆盖。一旦被验证，同步设备中的软件组件和硬件组件就可以被部署在ADV中用于实时驱动。
与在线实时传感器同步验证相比，本文所述的实施例可以提供更高水平的验证准确度；更短的周转时间；以及更长的稳定性测试(例如，数周或数月)以对物理传感器、同步硬件和同步软件施加压力。
在一个实施例中，测量板可以是平面板，并且可以由多种材料制成，包括木材、纸板、玻璃和金属。相机可以是具有修改的光学透镜和滤波器以捕获激光信号的滚动快门相机。例如，可以移除无源传感器的红外滤光器，并且可以添加一个或多个光学透镜。此外，可以修改无源传感器的配置，使得无源传感器可以由同步设备控制和管理。
在一个实施例中，验证有源传感器和无源传感器之间的数据同步的示例性过程包括以下操作：从有源传感器向测量板发送激光信号，有源传感器耦合到同步设备；响应于激光信号的传输，通过同步设备触发无源传感器以捕获测量板的图像；以及通过同步验证应用执行对由无源传感器捕获的测量板的图像的分析，以确定无源传感器和有源传感器是否彼此同步。
图1示出根据一个实施例的用于验证有源传感器和无源传感器之间的传感器数据同步的示例系统100。
如图1所示，测量板113可以放置在有源传感器109和无源传感器111的前面。测量板113可以是由各种材料制成的平面板。例如，测量板可以是白色钢板。有源传感器109和无源传感器111两者都连接到同步设备102，同步设备102包括一个或多个传感器同步硬件组件105、一个或多个传感器同步软件组件107、以及一个或多个传感器同步设置108。
在一个实施例中，传感器同步硬件组件105可以是执行多个同步功能的集成电路，包括提供数字定时信号。传感器同步软件组件107可以基于数字定时信号和测量的获取时间，向来自包括有源传感器109和无源传感器111的不同传感器的测量添加时间戳；并且可以将经时间戳的测量同步到相同的时钟。
传感器同步软件组件107还可包括用于控制和管理无源传感器111的功能，无源传感器111可以是滚动快门相机，滚动快门相机不在单个时刻拍摄整个测量板113的快照，而是通过垂直或水平地快速地扫描测量板113拍摄整个测量板113的快照。
可以修改无源传感器111使得无源传感器可以捕获快速移动的激光点。例如，可以去除无源传感器111的红外滤光器，并且可以添加一个或多个光学透镜。此外，可以修改和调整无源传感器111的设置和配置，使得无源传感器111可以由传感器同步软件组件107中的管理和控制功能来控制和管理。无源传感器111的设置和配置也可被修改以将无源传感器111的图像中心与有源传感器109的视场(FOV)对准。
在一个实施例中，传感器同步设置108中的每一个可定义验证场景。例如，同步设置可包括在测量板113上用于有源传感器109的不同目标区域和用于无源传感器111的对应的触发延迟。触发延迟将使得无源传感器111和有源传感器109之间的同步点能够落入同步设置中指定的目标区域中。同步点是无源传感器111在测量板113上捕获有源传感器109的垂直扫描线的地方，并且是有源传感器109的垂直扫描线和无源传感器111的水平帧行具有相同的捕获时间戳的地方。
作为滚动快门相机，无源传感器111可以逐行曝光测量板113的图像帧。曝光的次数等于图像帧中的行数。每个帧行表示图像帧中的一行像素。帧行可以是等间隔的平行线，其间具有固定的(例如，3毫秒)偏移。无源传感器还可以具有触发延迟参数，其指示给定触发信号与图像捕获之间的延迟。触发延迟可以是正的、零或负的。如果触发延迟为零，则无源传感器111在触发信号之后立即开始拍摄测量板的图像的第一帧行。如果触发延迟是负的，则无源传感器111可以在触发信号之前开始捕获测量板的图像的第一帧行。如果触发延迟是正的，则无源传感器111可以在由触发延迟指定的时间延迟之后开始捕获测量板的图像的第一帧行。
通过调整无源传感器111的触发延迟和/或帧行之间的时间偏移，同步设备102可以导致有源传感器109和无源传感器111之间的同步点落入特定的目标区域中。
在实时驾驶中，有源传感器109将安装在车辆的顶部，其中有源传感器109的FOV与无源传感器111的图像中心对准。当有源传感器109用于检测交通灯时，有源传感器109的目标区域可以在无源传感器111的图像中心上方。当有源传感器用于检测另一车辆时，有源传感器109的目标区域可以在无源传感器111的图像中心处。有源传感器109的不同目标区域和与目标区域对应的无源传感器111的触发延迟可以存储在传感器同步设置108中。
如图1中进一步所示，同步验证应用103可以在计算机101上运行，以执行对无源传感器111捕获的测量板113的图像的分析。同步验证应用103可以检查图像以根据传感器同步设置108确定有源传感器109和无源传感器111是否彼此同步。
在可替换的实施例中，用户可以检查由无源传感器111捕获的图像，并且基于用户的知识或训练做出有源传感器109和无源传感器111是否彼此同步的判断。
图2进一步示出根据一个实施例的用于验证有源传感器和无源传感器之间的传感器数据同步的示例系统200。
如图2所示，同步验证应用103可包括训练的神经网络203，其获取由无源传感器111捕获的测量板113的图像201作为输入，并且识别图案207。经识别的图案207可以与基于传感器同步设置108中的同步设置的期望的图案205进行比较。基于比较，同步验证应用103可以生成验证结果209用于显示在图形用户界面211上。
在一个实施例中，测量板113可以被定位在位置处，使得无源传感器111可以使其图像中心位于测量板113上的预定点上。无源传感器111的图像中心可以例如使用色带被可视地标记。期望的图案205和经识别的图案207可以描述有源传感器和无源传感器之间的同步点相对于测量板113上的标记的图像中心的位置。
在一个实施例中，当有源传感器109的FOV与无源传感器111的图像中心对准时，测量板112上的有源传感器和无源传感器之间的同步点可以在图像中心处、图像中心的正下方或图像中心的正上方。同步点是无源传感器111捕获激光点的地方。当传感器同步特征被禁用时，无源传感器将不能捕获任何激光点。当传感器同步特征被启用时，在给定的特定触发延迟的情况下，期望无源传感器111在固定的位置(即，同步点)处一致地捕获测量板113上的激光点。
在一个实施例中，传感器同步设置108可包括与不同验证场景对应的多个同步设置，并且可使用新的同步设置被更新。示例系统200可以在几周或甚至几个月的时段内根据传感器同步设置108运行几百次或几千次验证。长稳定性测试可以以更高的准确度水平验证有源传感器108、无源传感器111、同步硬件组件105和同步软件组件107。
图3示出根据一个实施例的验证有源传感器和无源传感器之间的传感器数据同步的示例过程300。过程300可由可包括软件、硬件或其组合的处理逻辑执行。例如，过程300可以由同步验证应用103、同步设备102或其组合执行。
参照图3，在操作301中，在同步设备上启用同步特征。当同步特征被禁用时，来自有源传感器和无源传感器的数据将不被同步。
在操作303中，响应于同步特征的启用，同步设备选择同步设置用于验证。同步设备可包括多个同步设置，每个同步设置指定验证场景。例如，验证场景可包括测量板上的有源传感器的目标区域和用于无源传感器的对应的触发延迟，这将导致无源传感器与有源传感器之间的同步点匹配同步设置中指定的目标区域。可基于从道路的特定区段和道路区段的高清晰度地图收集的历史驾驶统计创建同步设置。
在操作305中，同步设备提示有源传感器向测量板发送激光点。
在操作307中，响应于激光点的传输，同步设备触发无源传感器以在先前选择的同步设置中指定的预配置的触发延迟之后拍摄测量板的图像。有源传感器和无源传感器都耦合到同步设备，同步设备包括用于来自不同传感器的同步数据的硬件组件和软件组件。
在操作309中，经训练的神经网络模型可以执行对捕获到的图像的分析以识别图案。
在操作311中，基于经识别的图案，处理逻辑可以确定图像是否示出任何激光点。
在操作315中，处理逻辑确定无源传感器没有捕获任何激光点，并且生成有源传感器和无源传感器不同步的指示。
在操作317中，如果无源传感器捕获激光点的至少部分，处理逻辑可以确定捕获到的激光点是否在图像上在期望的位置处可见，例如，由先前选择的同步设置指定的目标区域。
在操作319中，响应于确定无源传感器捕获测量板上的预期位置处的激光点，处理逻辑可以确定有源传感器和无源传感器是同步的。处理逻辑随后可以选择另一同步设置用于验证。
图4A、图4B和图4C示出根据一个实施例的示例验证场景。
在这些图中，测量板113可以被定位在有源传感器109和无源传感器111的前面。由于有源传感器109、无源传感器111和测量板113的位置是固定的，因此无源传感器111的图像中心403位于测量板113上的固定的位置403处。有源传感器109的FOV和无源传感器111的图像中心被对准，使得当无源传感器的触发延迟被设置为零时，无源传感器和有源传感器之间的同步点将落在无源传感器111的图像中心403上。
图4A示出其中有源传感器109和无源传感器111是不同步的示例验证场景。因此，当从有源传感器109发送的激光点到达测量板113时，无源传感器将不能捕获它们。
图4B示出另一示例验证场景，其中有源传感器109和无源传感器111被同步并且无源传感器111的触发延迟被设置为零。因此，无源传感器111可以在固定的位置处捕获激光点405。在该示例中，固定的位置是无源传感器111的图像中心并且也是有源传感器109和无源传感器111之间的同步点。
图4C示出又一示例验证场景，其中有源传感器109和无源传感器111被同步，并且其中对应的同步设置指定图像中心403上方的目标区域。在这种情况下，同步设置还指定使得无源传感器111能够在同步点406处捕获激光点的负触发延迟。
例如，同步点406可以是图像中心403上方的N个帧行。如果两个相邻的帧行之间的时间偏移是M毫秒，则用于无源传感器的触发延迟将需要被设置为-N/M毫秒。
图5示出根据一个实施例的验证有源传感器和无源传感器之间的传感器数据同步的示例过程500。过程500可以由可包括软件、硬件或其组合的处理逻辑执行。例如，过程500可以由同步验证应用103、同步设备102或其组合执行。
返回参考图5，在操作501中，处理逻辑从有源传感器接收指示有源传感器已经向测量板发送激光点的第一信号。在操作502中，响应于第一信号，处理逻辑向无源传感器发送第二信号以触发无源传感器捕获测量板的图像。在操作503中，处理逻辑根据第一信号和第二信号的定时执行测量板的图像的分析，以确定无源传感器和有源传感器是否彼此同步。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，其可经由对应的驱动器和/或操作系统从应用访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为软件组件经由一个或多个特定指令可访问的指令集的一部分。
已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (18)

1.一种验证传感器数据同步的计算机实现的方法，包括：
在同步设备处从有源传感器接收指示所述有源传感器已经向测量板发送激光点的第一信号；
响应于所述第一信号，通过所述同步设备向无源传感器发送第二信号以触发所述无源传感器捕获所述测量板的图像；以及
通过同步验证应用根据所述第一信号和所述第二信号的定时执行对所述测量板的所述图像的分析，以确定所述无源传感器和所述有源传感器是否彼此同步。
2.根据权利要求1所述的方法，其中所述同步设备包括一个或多个电路板和一个或多个软件模块，以同步来自所述有源传感器和所述无源传感器的传感器数据。
3.如权利要求1所述的方法，
其中所述同步设备包括多个同步设置；
其中每个同步设置指定用于无源传感器的触发延迟，以及所述测量板上的所述有源传感器的对应的目标区域；
以及
其中触发延迟使得所述有源传感器和所述无源传感器之间的同步点能够落入所述对应的目标区域中。
4.根据权利要求3所述的方法，其中所述多个同步设置包括正触发延迟、零触发和负触发延迟。
5.根据权利要求3所述的方法，其中执行所述测量板的所述图像的所述分析进一步包括：
确定所述图像捕获所述测量板上的所述激光点的至少部分；
确定所述有源传感器与所述无源传感器之间的同步点位于由所述多个同步设置中的一个定义的位置处；以及
生成所述有源传感器和所述无源传感器同步的指示。
6.根据权利要求1所述的方法，其中执行所述测量板的所述图像的所述分析进一步包括：
确定所述图像没有捕获所述测量板上的任何激光点；以及
生成所述有源传感器和所述无源传感器不同步的指示。
7.根据权利要求1所述的方法，其中所述无源传感器是滚动快门相机，以及其中所述无源传感器是光检测和测距(LiDAR)设备。
8.根据权利要求1所述的方法，其中所述同步验证应用包括用于执行所述测量板的所述图像的所述分析的经训练的神经网络。
9.一种非暂时性机器可读介质，其中存储有指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8中任一项所述方法的操作。
10.一种数据处理系统，包括：
处理器；以及
耦合到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器执行如权利要求1至8中任一项所述方法的操作。
11.一种验证传感器数据同步的系统，包括：
有源传感器；
无源传感器；
测量板，放置在有源传感器和无源传感器的前面；以及
同步设备，与有源传感器和无源触感器耦合，并且包括同步验证应用，
其中，
所述有源传感器用于向测量板发送激光点，并且向同步设备发送指示所述有源传感器已经向测量板发送激光点的第一信号；
所述同步设备用于响应于所述第一信号，向所述无源传感器发送第二信号以触发所述无源传感器捕获所述测量板的图像；
所述同步设备还用于通过同步验证应用根据所述第一信号和所述第二信号的定时执行对所述测量板的所述图像的分析，以确定所述无源传感器和所述有源传感器是否彼此同步。
12.根据权利要求11所述的系统，其中所述同步设备包括一个或多个电路板和一个或多个软件模块，以同步来自所述有源传感器和所述无源传感器的传感器数据。
13.根据权利要求11所述的系统，
其中所述同步设备包括多个同步设置；
其中每个同步设置指定用于无源传感器的触发延迟，以及所述测量板上的所述有源传感器的对应的目标区域；
以及
其中触发延迟使得所述有源传感器和所述无源传感器之间的同步点能够落入所述对应的目标区域中。
14.根据权利要求13所述的系统，其中所述多个同步设置包括正触发延迟、零触发和负触发延迟。
15.根据权利要求13所述的系统，其中所述同步设备用于：
确定所述图像捕获所述测量板上的所述激光点的至少部分；
确定所述有源传感器与所述无源传感器之间的同步点位于由所述多个同步设置中的一个定义的位置处；以及
生成所述有源传感器和所述无源传感器同步的指示。
16.根据权利要求11所述的系统，其中所述同步设备用于：
确定所述图像没有捕获所述测量板上的任何激光点；以及
生成所述有源传感器和所述无源传感器不同步的指示。
17.根据权利要求11所述的系统，其中所述无源传感器是滚动快门相机，以及其中所述无源传感器是光检测和测距(LiDAR)设备。
18.根据权利要求11所述的系统，其中所述同步验证应用包括用于执行所述测量板的所述图像的所述分析的经训练的神经网络。
CN202010668088.XA 2019-07-16 2020-07-13 传感器同步离线实验室验证系统 Pending CN112240777A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/513,660 2019-07-16
US16/513,660 US11227194B2 (en) 2019-07-16 2019-07-16 Sensor synchronization offline lab validation system

Publications (1)

Publication Number Publication Date
CN112240777A true CN112240777A (zh) 2021-01-19

Family

ID=74170521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010668088.XA Pending CN112240777A (zh) 2019-07-16 2020-07-13 传感器同步离线实验室验证系统

Country Status (2)

Country Link
US (1) US11227194B2 (zh)
CN (1) CN112240777A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241260A (zh) * 1997-09-26 2000-01-12 北方数字股份有限公司 用于确定目标的空间位置的系统
CN105940390A (zh) * 2013-12-30 2016-09-14 谷歌技术控股有限责任公司 用于同步从设备的多个传感器接收的数据的方法和系统
CN106043169A (zh) * 2016-07-01 2016-10-26 百度在线网络技术（北京）有限公司 环境感知设备和应用于环境感知设备的信息获取方法
CN107991662A (zh) * 2017-12-06 2018-05-04 江苏中天引控智能系统有限公司 一种3d激光和2d成像同步扫描装置及其扫描方法
CN109104259A (zh) * 2017-08-25 2018-12-28 杭州德泽机器人科技有限公司 一种多传感器对时同步系统和方法
US20190098233A1 (en) * 2017-09-28 2019-03-28 Waymo Llc Synchronized Spinning LIDAR and Rolling Shutter Camera System
CN109983414A (zh) * 2016-12-07 2019-07-05 深圳市大疆创新科技有限公司 用于支持在可移动平台中进行同步的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL224130A (en) * 2013-01-07 2017-01-31 Brightway Vision Ltd Identify objects using a confusion system
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US10044922B1 (en) * 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10796403B2 (en) * 2017-09-14 2020-10-06 The Regents Of The University Of Colorado, A Body Corporate Thermal-depth fusion imaging
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10482003B1 (en) * 2018-11-09 2019-11-19 Aimotive Kft. Method and system for modifying a control unit of an autonomous car

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241260A (zh) * 1997-09-26 2000-01-12 北方数字股份有限公司 用于确定目标的空间位置的系统
CN105940390A (zh) * 2013-12-30 2016-09-14 谷歌技术控股有限责任公司 用于同步从设备的多个传感器接收的数据的方法和系统
CN106043169A (zh) * 2016-07-01 2016-10-26 百度在线网络技术（北京）有限公司 环境感知设备和应用于环境感知设备的信息获取方法
CN109983414A (zh) * 2016-12-07 2019-07-05 深圳市大疆创新科技有限公司 用于支持在可移动平台中进行同步的系统和方法
CN109104259A (zh) * 2017-08-25 2018-12-28 杭州德泽机器人科技有限公司 一种多传感器对时同步系统和方法
US20190098233A1 (en) * 2017-09-28 2019-03-28 Waymo Llc Synchronized Spinning LIDAR and Rolling Shutter Camera System
CN107991662A (zh) * 2017-12-06 2018-05-04 江苏中天引控智能系统有限公司 一种3d激光和2d成像同步扫描装置及其扫描方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSHUA VEITCH-MICHAELIS: "Fusion of LIDAR with stereo camera data – an assessment", DOCTORAL THESIS, pages 88 - 90 *
SEBASTIAN SCHNEIDER等: "Fusing Vision and LIDAR – Synchronization, Correction and Occlusion Reasoning", 2010 IEEE INTELLIGENT VEHICLES SYMPOSIUM, pages 388 - 393 *

Also Published As

Publication number Publication date
US20210019578A1 (en) 2021-01-21
US11227194B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN110309033B (zh) 故障监控方法、装置和系统
CN110657948B (zh) 用于测试电子设备的屏幕的方法、装置、测试设备和介质
CN100373423C (zh) 用于评价显示器的运动图像质量的系统和方法
CN110399831B (zh) 一种巡检方法及装置
CN109559519A (zh) 监控设备及其违章停车检测方法、装置、可读存储介质
JP2020027058A (ja) 配筋出来形管理システム及び配筋出来形管理方法
CN113115027B (zh) 校准摄像头的方法和系统
CN104575006B (zh) 图像拍摄时刻确定方法及系统、车辆速度检测方法及系统
US20170300971A1 (en) Information Processing System, Information Processing Apparatus, and Information Processing Method
US10852436B2 (en) Imaging system and method for monitoring a field of view
CN105554414A (zh) 强光抑制方法及装置
TW201342261A (zh) 產品品質自動化控管系統及方法
CN112240777A (zh) 传感器同步离线实验室验证系统
CN113329223A (zh) 一种测试防抖效果的方法、装置、电子设备及介质
CN111241325B (zh) 车辆检测数据的匹配方法、装置、系统及存储介质
KR101144829B1 (ko) 매연차량 검출장치
US20230228691A1 (en) Smart synchronization method of a web inspection system
CN113840137A (zh) 一种网络摄像机移动侦测灵敏度的验证方法及系统
JPH09264856A (ja) 物品外観検査装置
TW201404120A (zh) 測試系統、成像裝置以及測試方法
KR101248834B1 (ko) 영상매칭방법과 이를 이용한 무인교통단속 시스템
KR101703300B1 (ko) 차량 하부 검사 장치 및 방법
CN113673503B (zh) 一种图像检测的方法及装置
CN105336181B (zh) 一种基于车速的动态稽查匹配装置、系统与方法
KR101671936B1 (ko) 다면 영상 자동 생성 및 투사 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination