CN111856435A - 使用传感器输出来对载具上的传感器进行对准 - Google Patents

使用传感器输出来对载具上的传感器进行对准 Download PDF

Info

Publication number
CN111856435A
CN111856435A CN202010321991.9A CN202010321991A CN111856435A CN 111856435 A CN111856435 A CN 111856435A CN 202010321991 A CN202010321991 A CN 202010321991A CN 111856435 A CN111856435 A CN 111856435A
Authority
CN
China
Prior art keywords
sensor
removable
representation
sensor output
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010321991.9A
Other languages
English (en)
Inventor
K·S·卡拉汉
N·S·埃文斯
E·R·姆伊尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/393,376 external-priority patent/US11639234B2/en
Priority claimed from US16/393,388 external-priority patent/US20200341128A1/en
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN111856435A publication Critical patent/CN111856435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/027—Constructional details of housings, e.g. form, type, material or ruggedness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G01S13/934—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft on airport surfaces, e.g. while taxiing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本公开涉及使用传感器输出来对载具上的传感器进行对准。具体地，描述了基于在载具上安装的可去除传感器的传感器输出来对该传感器进行对准的系统和方法。从可去除传感器(如数字摄像机)收集传感器输出，并且生成该传感器输出的表示(如数字图像)。将传感器输出的表示与空间模板进行比较，以确定该表示中的外部参考是否与空间模板中的对应参考指示符对准。当需要对准时，通过下面的(i)和(ii)中的一者或两者来对准可去除传感器，直到更新后的当前位置处的传感器数据的表示中的外部参考与该空间模板中的对应参考指示符对准为止：(i)调节载具上的该可去除传感器的方位；或者(ii)调节传感器输出的表示以模拟这种重新定位。

Description

使用传感器输出来对载具上的传感器进行对准
技术领域
本公开涉及对载具(vehicle)上的可去除传感器进行对准(aligning)的系统和方法。
背景技术
载具上采用计算机视觉系统，以使用各种传感器来监测载具的周围环境，并且在一些情况下，使用来自数字摄像机、光检测和测距(LIDAR:Light Detection and Ranging)单元以及类似传感器的传感器数据来控制载具的运行。尽管计算机视觉技术提供了很多好处，但是它们对传感器的位置(location)或取向(orientation)的变化敏感。为了充分利用计算机视觉系统，运行期间的传感器方位(position)必须与训练(或其它先前使用)或模型生成中所使用的传感器方位相当。因为有时会在载具的运行寿命内去除或更换传感器，所以每当在载具上安装或重新安装传感器时，都必须进行传感器重新对准。另外，传感器位置在相似的载具之间应当是一致的，以便易于生成和使用可以在多个相似地配置的载具上使用的计算机视觉系统。
虽然传感器方位对于计算机视觉系统很重要，但是传感器对准存在特殊的困难。虽然载具的总体区域中的初始传感器放置很容易进行，但是载具的近似区域中的这种放置不足以获得最佳计算机视觉系统所需的高准确度。因此，需要对传感器进一步对准以确保数据准确度。
发明内容
示例包括一种对在载具上安装的可去除传感器进行对准的方法，所述方法包括以下步骤：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；通过一个或更多个处理器来生成在所述多个时间中的各个时间处的所述传感器输出的表示；和/或(i)进行如下调节操作：基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节所述可去除传感器的当前方位，以将所述可去除传感器定位在所述载具上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准；和/或(ii)基于所述空间模板调节所述可去除传感器的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器定位在所述载具上的所述期望方位。
另一示例包括一种对在载具上安装的可去除传感器进行对准的计算机系统，所述计算机系统包括：一个或更多个处理器，所述一个或更多个处理器以通信方式连接至所述可去除传感器；以及程序存储器，所述程序存储器以通信方式连接至所述一个或更多个处理器并且存储可执行指令，当通过所述一个或更多个处理器执行时，所述可执行指令使所述计算机系统进行如下操作：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；生成在所述多个时间中的各个时间的所述传感器输出的表示；和/或进行如下调节操作：(i)基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节所述可去除传感器的当前方位，以将所述可去除传感器定位在所述载具上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准，和/或(ii)基于所述空间模板来调节所述可去除传感器的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器定位在所述载具上的所述期望方位。
又一示例包括存储可执行指令的有形非暂时性计算机可读介质，所述可执行指令用于对载具上安装的可去除传感器进行对准，当通过计算机系统的一个或更多个处理器执行时，所述可执行指令使所述计算机系统进行如下操作：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；生成在所述多个时间中的各个时间的所述传感器输出的表示；和/或通过比较空间模板的一部分与在所述多个时间中的某一时间的所述传感器输出的表示的对应一部分，基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来确定所述可去除传感器是否与所述载具上的期望方位对准，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准。
已经讨论的特征、功能以及优点可以在不同实施方式中独立实现，或者可以在其它实施方式中组合，这些特征、功能以及优点的进一步细节可以参照下面的描述和附图而得以了解。
附图说明
图1是具有多个可去除传感器的载具的俯视图；
图2是对可去除传感器进行对准的计算机系统的框图；
图3是载具上安装的示例性可去除传感器的立体图；
图4是覆盖在未对准的可去除传感器的传感器输出的表示上的空间模板的表示；
图5是覆盖在正确对准(properly aligned)的可去除传感器的传感器输出的表示上的空间模板的表示；以及
图6是示例性传感器对准方法的流程图。
具体实施方式
本文公开了对载具上的一个或更多个可去除传感器(诸如飞行器(aircraft)上的数字摄像机或LIDAR单元)进行对准的系统、方法以及存储用于进行所述对准的指令的非暂时性计算机可读介质。本文所公开的可去除传感器将传感器输出生成为关于这种可去除传感器周围的物理局部环境的电子数据，诸如可去除传感器可观察到的环境中的物体或表面的数字视频馈送或三维空间图。下面的公开总体上涉及使用传感器输出来将载具中或载具上的这种可去除传感器进行对准，以获得对准方面的高准确度。诸如当在维护之后重新安装可去除传感器时，或者当安装新的可去除传感器以替换先前的可去除传感器时(例如，在传感器失效之后)，可以将可去除传感器与相同或相似的可去除传感器的先前方位对准。同样可以将可去除传感器在多个载具上的对应方位对准，以确保类似地配置有可去除传感器的多个载具之间的传感器方位的一致性(并由此确保传感器数据的一致性)。下面描述关于这种可去除传感器对准的进一步细节。
图1例示了安装有可去除传感器14的载具10的示例的俯视图。尽管将载具10例示为飞行器18(具体地，例示为固定翼飞行器)，但是本文所描述的技术适用于对其它类型的载具(例如，汽车、火车、其它类型的飞行器、轮船、卡车或工业设备)上的电子传感器进行对准。将载具10例示为位于滑行道20上以供参考。滑行道20具有中心线22，以用于载具10在沿着滑行道20行进时使载具10居中。滑行道20的各侧还具有边缘线24，该边缘线24标记滑行道20的可用部分的边缘。载具10包括机翼12，该机翼12可以包括左机翼和右机翼。将多个可去除传感器14安装在载具10上，以在各可去除传感器14的相应视野内捕获滑行道20的部分16的传感器数据。
各可去除传感器14是电子成像传感器，该电子成像传感器在传感器运行期间的多个时间中的各个时间，生成传感器输出作为电子数据，根据该传感器输出，可以生成载具10的局部环境的对应部分16的二维或三维图形表示。在各种实施方式中，贯穿本文档所讨论的可去除传感器14包括一个或更多个数字摄像机、LIDAR单元、雷达单元、超声传感器单元、或者被配置成生成局部环境的多个部分的电子图像的其它电子装置。在另一些实施方式中，贯穿本文档所讨论的可去除传感器14包括前述类型的可去除传感器14中的两种或更多种的组合，这些组合通过使用多种类型的图像数据来提高系统的稳健性。尽管例示为具有两个可去除传感器14，但是载具10可以代替地具有采用其它配置的一个可去除传感器14，并且载具10可以具有采用更进一步的其它配置中的两个以上的可去除传感器14。如图所示，一些实施方式包括安装在载具10的各侧(例如，在各个机翼12上)的一个或更多个可去除传感器14，以捕获局部环境的不同部分或部分重叠的部分16的传感器数据。
图2作为框图例示了供在执行下面描述的传感器对准方法600的一部分或全部方面使用的计算机系统200。在一些示例性实施方式中，将计算机系统200安装在载具10内，而在其它示例性实施方式中，将计算机系统200以通信方式连接至载具10。将计算机系统配置成从安装在载具10上的所述一个或更多个可去除传感器14接收或收集传感器输出，并且生成传感器输出的表示，以供在对准所述一个或更多个可去除传感器14方面使用，如本文其它地方所描述的。计算系统200包括：控制器210、数据库220以及通信单元230。
该控制器包括以下项中的各项的一个或更多个：程序存储器212、处理器214以及随机存取存储器(RAM)216。各程序存储器212是被配置成存储电子数据(诸如用于实现处理、例程以及软件程序的可执行指令)的非暂时性有形存储器装置。各处理器214适于并且被配置成，执行诸如软件程序、应用程序以及例程这样的计算机可执行指令。将各RAM 216配置为存储使用时的电子数据的易失性存储器。
程序存储器212、处理器214以及RAM 216中的各个皆连接至输入/输出(I/O)电路218，该I/O电路218还将控制器210连接至计算机系统200的其它组件(即，数据库220、通信单元230以及任何显示器240)。将数据库220配置成在非暂时性有形存储器装置中存储电子数据，以供软件应用使用。在一些实施方式中，可以将数据库220和程序存储器212组合成单个存储器。通信单元230是计算机系统200的组件，该组件被配置成管理控制器210与以通信方式连接至计算机系统200的外部装置之间的通信，该外部装置诸如有可去除传感器14以及与可去除传感器14相关联的任何机动安装架250。
尽管例示为连接至可去除传感器14，但是在一些实施方式中，计算机系统200包括可去除传感器14，以便改善对来自可去除传感器14的电子数据的控制。在附加或另选实施方式中，计算机系统200同样包括一个或更多个机动安装架250，这些机动安装架250被配置成调节可去除传感器14的方位和/或取向，如下面进一步描述的。在另一附加或另选实施方式中，计算机系统200包括显示器240，该显示器240被配置成向用户呈现来自可去除传感器14的传感器输出的可视表示，以供在对准载具10的可去除传感器14方面进行验证或进一步使用。计算机系统200的附加或另选实施方式可以包括更少、附加或另选的组件，以及图2中所示的组件的任何组合。
图3是经由机动安装架250安装在载具10上的可去除传感器14的示例的立体图。在所示示例中，可去除传感器14是安装在飞行器的机翼下侧的数字摄像机。在所示示例中，将机动安装架250固定地安装至载具10，并且该机动安装架250包括由计算机系统200以电方式控制的机动平移床251和机动万向节(motorized gimbal)252。机动平移床251相对于载具10的固定有机动安装架250的局部表面对可去除传感器14的横向方位进行平移，从而使得能够相对于载具的中心调节可去除传感器14的方位。机动万向节252在三维空间中旋转可去除传感器14，从而使得能够在对准期间调节可去除传感器14的取向。尽管所示的机动安装架250包括机动平移床251和机动万向节252两者，但是在各种实施方式中，可以独立地安装和使用机动平移床251或者机动万向节252(即，没有其它组件)。在另一些实施方式中，可以利用不包括任何机动组件的安装架将可去除传感器14安装在载具10上，在这种情况下，可去除传感器14是手动调节的。
图4和图5例示了使用空间模板和传感器输出的表示来对安装在载具10上的可去除传感器14进行对准。图4是覆盖在可去除传感器14的传感器输出的未对准的可视表示400上的空间模板的表示。图5是覆盖在适当对准的可去除传感器14的传感器输出的对准后的可视表示500上的相同空间模板的表示。尽管将图4例示的未对准的可视表示400和图5例示的对准后的可视表示500作为二维图像以图形方式来呈现以帮助描述，但是应当理解，这样的表示可以是二维图像或三维图像(例如，像素阵列或体素点云)，并且不需要进行实际显示。在一些实施方式中，可以将诸如未对准的可视表示400和对准的可视表示500的表示经由显示器240可视地呈现给用户，以促进可去除传感器14的对准。在其它实施方式中，计算机系统200可以在内部处理对应的数据表示而无需可视地呈现这样的表示。
图4例示了可去除传感器14的示例传感器输出的未对准的可视表示400，其中，可去除传感器14是未对准的。未对准的可视表示400是载具10的局部环境的图像，该载具10在这种情况下是飞行器18，该飞行器18具有安装在飞行器18的机翼(未示出)上的摄像机。未对准的可视表示400中的飞行器18的局部环境包括：地面和背景建筑物的一部分，以及载具部分404。可以直接在该表示中确定地平线402，或者根据建筑物或其它特征的对准来间接地确定地平线。如本文其它地方进一步描述的，可以将诸如地平线402和载具部分404这样的特征用作用于传感器对准的外部参考特征。空间模板覆盖未对准的可视表示400，并且可视地描绘为具有阴影区域的掩模，这些阴影区域表示参考指示符，包括地平线参考指示符412和载具参考指示符414。如可以在图4中看出，地平线参考指示符412与地平线402未对准(指示摄像机相对于期望方位进行旋转)，并且载具参考指示符414与载具部分404未对准(指示摄像机相对于期望方位进行旋转或平移)。
图5例示了可去除传感器14的示例传感器输出的对准的可视表示500，其中，可去除传感器14是正确对准的。图5例示的载具10的局部环境与图4例示的局部环境大致相似，但是已经正确对准了可去除传感器14。因此，地平线参考指示符512与地平线502对准，并且载具参考指示符514与载具部分504对准。
图6是对安装在载具10上的一个或更多个可去除传感器14进行对准的传感器对准方法600的流程图。在一些实施方式中，计算机系统200的处理器214执行存储在程序存储器212中的计算机可执行指令，以实现传感器对准方法600的一部分或全部。将传感器对准方法600实现成使用来自所述一个或更多个可去除传感器14的传感器输出来对准一个或更多个可去除传感器14。在一些实施方式中，可以针对一个或更多个载具10的多个可去除传感器14中的各可去除传感器来分别实现传感器对准方法600。可以在另选的相似方法中包括附加的、另选的或更少的方面。尽管为清楚起见在本文中参照计算机系统200描述了传感器对准方法600，但是本领域普通技术人员容易显见的是，可以使用其它类似的计算系统。
在框602处，在一些实施方式中，将一个或更多个可去除传感器14安装在载具10上。例如，将可去除传感器14经由机动安装架250或者经由非机动安装架安装在载具10上。这样的可去除传感器14在首次安装时通常不会被正确对准，因此，传感器对准方法600将可去除传感器14对准至期望方位和取向，以生成有用的传感器输出。
在框604处，计算机系统200从安装在载具10上的所述一个或更多个可去除传感器14收集传感器输出。对于各可去除传感器14，计算机系统200在一个或更多个时间收集由可去除传感器14生成的传感器输出。由可去除传感器14将该传感器输出生成为电子数据，并且经由有线或无线通信，通过通信单元来发送至计算机系统200。传感器输出指示与载具10的环境的一部分有关的所感测数据，如从可去除传感器14的当前方位观察到的。在一些实施方式中，将可去除传感器14配置成持续地(例如，以恒定间隔周期性地)生成传感器输出，在这种情况下，计算机系统200可以收集单个时间的传感器输出或者多个时间的传感器输出。例如，传感器输出可以是视频馈送，该视频馈送包括表示在多个时间的静态图像的多个电子数据。因为传感器输出与可去除传感器14的当前方位相关联，所以随着调节可去除传感器14的方位(例如，位置和/或取向)，传感器输出同样随之改变。
在框606处，计算机系统200生成从所述一个或更多个可去除传感器14收集到的传感器输出的一个或更多个表示，以促进传感器对准。传感器输出的各个表示表示在特定时间从可去除传感器14的当前方位观察到的、载具10当前局部环境的一部分。这样的表示可以包括程序存储器212中的计算机可读数据(未向用户显示的表示)，或者可以另选地包括经由显示器240向用户呈现的传感器数据的可视表示。在一些实施方式中，将传感器输出的表示生成为包括载具10的一部分和载具10的环境的一部分的数字图像，以便提供外部参考特征，根据该外部参考特征，使用对应数字掩模来将可去除传感器14对准，如下所讨论的。例如，可以由计算机系统200根据传感器输出来生成诸如上面讨论的未对准的可视表示400和对准的可视表示500的表示。在一些实施方式中，计算机系统200在各个时间生成各可去除传感器14的传感器输出的表示，以便促进在调节可去除传感器14时实时进行传感器对准。
在框608处，计算机系统200将传感器输出的表示中的至少一个表示与一个或更多个空间模板进行比较。所述一个或更多个空间模板被配置成覆盖传感器输出的表示，以便指示是否在期望方位对所述一个或更多个可去除传感器14进行正确对准。各空间模板包括至少一个参考指示符，所述至少一个参考指示符与载具10的被观察的环境有关的传感器输出的表示中的外部参考特征进行对准。当可去除传感器14处于期望方位时(即，当正确对准可去除传感器14时)，各这样的参考指示符表示传感器输出的表示中的外部参考特征的预期方位。这样的外部参考特征可以是载具10的局部物理环境中的实物的一部分(包括载具10本身的部分或者放置在载具10的环境内的暂时静态对准物)，或者可以是载具10的局部物理环境的、能根据传感器输出得出的可观察方面(诸如定向表面或线)。在一些实施方式中，所述一个或更多个空间模板的所述一个或更多个参考指示符包括与以下外部参考特征中的一个或更多个外部参考特征相对应的预期空间方位：载具10的一个或更多个部分、载具10的表面上的一个或更多个对准标记、放置在载具10的环境内的一个或更多个暂时静态对准物、或者从可去除传感器14的方位观察到的地平线(horizon)。这样的外部参考的使用使得能够在许多环境中稳健地执行传感器对准方法600。在一些实施方式中，空间模板包括数字掩模，该数字掩模包括所述一个或更多个参考指示符，作为数字掩模内的一个或更多个形状。这样的数字掩模可以包括与载具10的一部分或载具10的局部环境的其它可观察到的方面有关的参考指示符，诸如上面参照图4和图5描述的地平线参考指示符412、512以及载具参考指示符414、514。在附加或另选实施方式中，数字掩模可以包括与放置在载具10的局部内的暂时静态对准物有关的一个或更多个参考指示符，这些暂时静态对准物用于进行传感器对准。例如，可以将暂时静态对准物(例如，交通锥桶、标志或目标)暂时放置在与载具10相对的特定方位处(例如，与沿着滑行道20的中心线22的载具10相距预定距离处)，以便于对准一个或更多个可去除传感器14。这样的数字掩模可以简化由计算机系统200或者用户经由显示器240进行的比较。在各种实施方式中，可以使用附加的或另选的二维数字掩模或三维数字掩模。
正如传感器输出的所述一个或更多个表示那样，所述一个或更多个空间模板可以包括程序存储器212中的计算机可读数据(诸如未显示给用户的数据模板)，或者可以另选地包括可视空间模板(诸如显示给用户的可视掩模)。因此，可以由计算机系统200的控制器210自动执行，或者可以由计算机系统200的用户手动执行将传感器输出的表示与空间模板进行比较。为了将传感器输出的表示与空间模板进行比较，控制器210可以执行空间模板的对应于参考指示符的一个或更多个部分与传感器输出的表示的对应一个或更多个部分的逐像素或逐比特比较。另选地，控制器210可以执行物体确定，以从传感器输出的表示中提取相关特征(例如，载具10的部分、标记、其它物体或地平线)，并且对空间模板的和参考指示符相对应的所述一个或更多个部分与这种提取的相关特征进行比较。为了将传感器输出的表示与空间模板进行比较，计算机系统200的用户可以查看作为在显示器240处显示的传感器输出的表示上的覆盖的空间模板，以识别空间模板中的参考指示符与传感器输出的表示中的外部特征之间的重叠区域。用户同样可以识别期望重叠而没有重叠区域，以指示传感器未对准。
因为可以对未对准的传感器执行传感器对准方法600，以便对准这种未对准的传感器，以及对已对准的传感器执行传感器对准方法600，以确认适当的对准，所以将所述一个或更多个空间模板与传感器输出的所述一个或更多个表示进行比较可能发生在执行传感器对准(即，调节可去除传感器14的当前方位或调节传感器输出的表示)之前，或者发生在执行传感器对准之后，如下进一步描述的。如可以通过参照图6看出的，在一些情况下，将所述一个或更多个空间模板与传感器输出的所述一个或更多个表示进行比较既可以发生在执行传感器对准之前，又可以发生在通过这种比较的多次迭代来执行这种传感器对准之后，直到足够对准所述一个或更多个可去除传感器14为止。因此，使传感器对准方法600更灵活，并且更广泛地应用于各种条件下的传感器对准。
在框610处，确定传感器输出的至少一个表示与对应一个或更多个空间模板之间的差异水平(difference level)。在一些情况下，传感器输出的表示与同该表示进行比较的空间模板之间可能没有差异，在这种情况下，将差异水平确定为零差异。差异水平表示空间模板的(对应于参考指示符的)一个或更多个部分与传感器输出的表示的(对应于载具10的环境中的外部参考的)对应一个或更多个部分之间的偏差水平。尽管在本文中描述为基于差异水平来进行评估，但是在另选实施方式中，传感器输出的表示与空间模板的比较可以代替为使用传感器输出的表示与空间模板之间的差异或者匹配的对应水平、匹配水平或者其它度量来进行评估。
如上参照框608所述的，可以由计算机系统200的控制器210自动确定差异水平，或者可以由计算机系统200的用户手动确定差异水平。当自动确定时，控制器210可以跨多个比特或像素，来聚合传感器输出的表示与空间模板之间的差异。当手动确定时，用户可以估计传感器输出的表示与空间模板之间的重叠或匹配的程度。
在框612处，计算机系统200或计算机系统200的用户基于根据传感器输出的至少一个表示与所述一个或更多个空间模板的比较而确定的差异水平，来确定是否对所述一个或更多个可去除传感器14进行了正确对准。在一些实施方式中，将计算机系统200配置成，通过确定在框610处确定的差异水平未超出容差阈值(该容差阈值指示可去除传感器14处于被正确对准至期望方位的当前方位)来确定足够正确地对准所述一个或更多个可去除传感器14；和/或将该计算机系统配置成，通过确定在框610处确定的差异水平确实超出容差阈值(该容差阈值指示可去除传感器14处于未被正确对准至期望方位的当前方位)来确定未足够正确地对准所述一个或更多个可去除传感器14。在另一些实施方式中，计算机系统200的用户通过评估在框610处确定的差异水平，来确定是否足够正确地对准所述一个或更多个可去除传感器14。如图6所示，传感器对准方法600可以在多个时间执行多次迭代，包括传感器对准之前的时间(即，当差异水平超出容差阈值时)和传感器对准之后的时间(即，当差异水平未超出容差阈值时)。当确定要正确对准所述一个或更多个可去除传感器14时，传感器对准方法600继续至框620或者终止。当确定未正确对准所述一个或更多个可去除传感器14时，传感器对准方法600继续至框614，或者继续至框616或618中的一个框。
在框614处，在一些实施方式中，计算机系统200经由显示器240向用户呈现至少一个可去除传感器14的未对准的指示。这种未对准的指示可以包括差异水平的指示，以指示未对准的程度。在一些实施方式中，未对准的指示可以包括对用户的校正指令，诸如将一个或更多个可去除传感器14的方位进行平移或旋转的指令。在另一些实施方式中，未对准的指示可以包括经由显示器240呈现给用户的多个选项，诸如自动对准可去除传感器14的选项，或者手动对准这种可去除传感器14的选项。在一些这样的实施方式中，这些选项可以包括对可去除传感器的当前方位进行调节的选项，或者对传感器输出的表示进行调节以执行对准的选项。对这种选项中的一个选项的使用选择可以确定传感器对准方法600是进行至框616还是进行至框618，或者传感器对准方法600是进行至手动对准还是进行至自动对准。在其中传感器对准方法600同时运行于多个可去除传感器14上的实施方式中，未对准的指示可以指示可去除传感器14中的一个或更多个可去除传感器需要对准，以便协助用户执行这种对准。
传感器对准方法600可以实现对载具10上的可去除传感器14的当前方位的调节(框616)或者对传感器输出的表示的调节(框618)。在一些情况下，传感器对准方法600可以重复地进行这种调节，直到通过多次迭代来正确对准可去除传感器14，并且不需要在每次迭代时都进行相同类型的调节。例如，传感器对准方法600可以在第一次迭代期间首先调节可去除传感器14的当前方位，然后在第二次迭代期间在已调节的当前方位调节来自可去除传感器14的传感器输出的表示。
在框616处，对安装在载具10上的所述一个或更多个可去除传感器14的一个或更多个当前方位进行调节，以改善所述一个或更多个可去除传感器14的对准。调节可去除传感器14的当前方位可以包括以下调节项中的任一者或两者：调节可去除传感器14在载具10上的位置，或者调节可去除传感器14的取向(例如，通过可去除传感器14的旋转)。基于传感器输出的表示和空间模板，对各可去除传感器14的当前方位进行调节，以将可去除传感器14定位在载具10上的期望方位，使得处于调节后的当前方位的可去除传感器14的传感器输出的表示中的一个或更多个外部参考特征与空间模板中的所述一个或更多个参考指示符对准。在一些实施方式中，调节可去除传感器14的当前方位包括：调节可去除传感器14的取向，以将数字图像中的一个或更多个外部参考特征与用作空间模板的数字掩模内的一个或更多个形状对准。
可以手动或自动执行对所述一个或更多个可去除传感器14的当前方位进行调节。当手动执行时，用户可以物理地调节需要调节的各可去除传感器14的方位，或者用户可以控制机动安装架250来调节可去除传感器14的方位。当自动执行时，计算机系统200的控制器210控制机动安装架250，以调节需要调节的各可去除传感器14的方位。控制机动安装架250包括：生成电信号，并将该电信号从计算机系统200传送至机动安装架250，以致动机动安装架250的机动平移床251或机动万向节252中的至少一者，从而对所述一个或更多个可去除传感器14的当前方位进行调节。可以使用这样的机动安装架250，以方便用户、提高效率或准确度，或者促进可去除传感器14的自动对准。
在框618处，计算机系统200调节所述一个或更多个可去除传感器14的传感器输出的表示，以模拟将可去除传感器14定位在期望方位。因此，在一些实施方式中，传感器输出的表示是在不需要物理地调节可去除传感器14的方位的情况下进行对准的，从而减少错误和成本。这样的对准可以单独地或者以任何组合地包括以下项中的任何项：将传感器输出的表示进行旋转，将传感器输出的表示进行平移，或者将传感器输出的表示进行缩放。在一些实施方式中，调节可去除传感器14的当前方位处的传感器输出的表示包括：应用传感器输出的表示的平移或旋转中的一者或更多者，以将数字图像中的一个或更多个外部参考特征与用作空间模板的数字掩模内的一个或更多个形状对准。在各种实施方式中，可以由计算机系统的控制器210自动确定(通过识别传感器输出的调节后的表示与空间模板之间的最佳匹配)所述一个或更多个可去除传感器14的传感器输出的表示的调节，或者由用户手动确定(通过用户向计算机系统200输入调节指令来获得传感器输出的调节后的表示与空间模板之间的对准)所述一个或更多个可去除传感器14的传感器输出的表示的调节。
在通过调节这种可去除传感器14的当前方位或者调节这种可去除传感器14的传感器输出的表示来对准所述一个或更多个可去除传感器14之后，在框604处，传感器对准方法600返回，以收集来自所述一个或更多个可去除传感器14的传感器输出。然后，如上所述，传感器对准方法600在框606至612处执行进一步的分析。可能需要进一步的调节以对准所述一个或更多个可去除传感器14，或者在框612处，可以确定足够正确对准了可去除传感器14。
当在框612处，计算机系统200确定正确地对准了所述一个或更多个可去除传感器14时，在一些实施方式中，传感器对准方法进行至框620。在框620处，在一些实施方式中，计算机系统200经由显示器240向用户呈现至少一个可去除传感器14的对准的指示，以通知用户正确对准了所述一个或更多个可去除传感器14。例如，计算机系统200可以确定已经正确对准可去除传感器14，并且向用户呈现对准的指示来作为这种对准的确认。在一些这样的实施方式中，可以将传感器对准的记录存储在数据库220中，以供将来验证。然后，传感器对准方法600终止。
而且，本公开包括根据下列条款的示例：
条款1.一种对在载具上安装的可去除传感器进行对准的方法，所述方法包括以下步骤：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；通过一个或更多个处理器来生成在所述多个时间中的各个时间的所述传感器输出的表示；以及进行如下调节操作：(i)基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节所述可去除传感器的当前方位，以将所述可去除传感器定位在所述载具上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准；或者(ii)基于所述空间模板来调节所述可去除传感器的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器定位在所述载具上的所述期望方位。
条款2.根据条款1所述的方法，其中：生成在所述多个时间中的各个时间处的所述传感器输出的表示的步骤包括：生成包括所述载具的环境的一部分的数字图像；并且所述空间模板包括数字掩模，所述数字掩模包括所述一个或更多个参考指示符，作为所述数字掩模内的一个或更多个形状。
条款3.根据条款2所述的方法，所述方法包括以下步骤：调节所述可去除传感器的当前方位，其中，基于所述传感器输出的表示和所述空间模板来调节所述可去除传感器的当前方位的步骤包括：调节所述可去除传感器的取向，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
条款4.根据条款2所述的方法，所述方法包括以下步骤：调节所述可去除传感器的当前方位处的所述传感器输出的表示，其中，调节所述可去除传感器的当前方位处的所述传感器输出的表示的步骤包括：应用所述传感器输出的表示的平移或旋转中的一者或更多者，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
条款5.根据条款1所述的方法，其中，所述一个或更多个外部参考特征包括地平线。
条款6.根据条款1所述的方法，其中，所述一个或更多个外部参考特征包括以下项中的一项或更多项：所述载具的一部分，或者所述载具的表面上的对准标记(alignmentmarking)。
条款7.根据条款1所述的方法，其中，所述一个或更多个外部参考特征包括放置在所述载具的环境内的一个或更多个暂时静态对准物(temporary static alignmentobject)。
条款8.根据条款1所述的方法，所述方法还包括以下步骤：通过所述一个或更多个处理器比较所述空间模板的一部分与在所述多个时间中的某一时间处的所述传感器输出的表示的对应一部分，其中，该时间发生在调节所述可去除传感器的当前方位或者所述传感器输出的表示之前；通过所述一个或更多个处理器来确定所述空间模板的所述一部分与所述传感器输出的表示的所述对应一部分之间的差异水平；以及通过所述一个或更多个处理器确定所述差异水平超出容差阈值(tolerance threshold)。
条款9.根据条款1所述的方法，所述方法还包括以下步骤：通过所述一个或更多个处理器来比较所述空间模板的一部分与在所述多个时间中的某一时间的所述传感器输出的表示的对应一部分，其中，该时间发生在调节所述可去除传感器的当前方位或者所述传感器输出的表示之后；通过所述一个或更多个处理器确定所述空间模板的所述一部分与所述传感器输出的表示的所述对应一部分之间的差异水平；以及通过所述一个或更多个处理器来确定所述差异水平未超出容差阈值。
条款10.根据条款1所述的方法，其中，调节所述可去除传感器的方位的步骤包括：控制机动万向节以调节所述可去除传感器的方位。
条款11.一种对在载具上安装的可去除传感器进行对准的计算机系统，所述计算机系统包括：一个或更多个处理器，所述一个或更多个处理器以通信方式连接至所述可去除传感器；以及程序存储器，所述程序存储器以通信方式连接至所述一个或更多个处理器并且存储可执行指令，当通过所述一个或更多个处理器执行时，所述可执行指令使所述计算机系统进行如下操作：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；生成在所述多个时间中的各个时间处的所述传感器输出的表示；以及进行如下调节操作：(i)基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节所述可去除传感器的当前方位，以将所述可去除传感器定位在所述载具上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准；或者(ii)基于所述空间模板来调节所述可去除传感器的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器定位在所述载具上的所述期望方位。
条款12.根据条款11所述的计算机系统，其中：使所述计算机系统生成在所述多个时间中的各个时间的所述传感器输出的表示的所述可执行指令：使所述计算机系统生成数字图像，该数字图像包括所述载具的一部分和所述载具的环境的一部分；并且所述空间模板包括数字掩模，所述数字掩模包括所述一个或更多个参考指示符，作为所述数字掩模内的一个或更多个形状。
条款13.根据条款12所述的计算机系统，其中，所述可执行指令使所述计算机系统通过如下方式来调节所述可去除传感器的当前方位：调节所述可去除传感器的取向，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
条款14.根据条款12所述的计算机系统，所述可执行指令使所述计算机系统如下方式来调节所述可去除传感器的当前方位处的所述传感器输出的表示：通过应用所述传感器输出的表示的平移或旋转中的一者或更多者，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
条款15.根据条款11所述的计算机系统，所述计算机系统还包括：机动万向节或机动平移床中的一者或更多者，其中，使所述计算机系统调节所述可去除传感器的当前方位的所述可执行指令进行如下操作：使所述机动万向节或所述机动平移床中的至少一者调节所述可去除传感器的当前方位。
条款16.根据条款11所述的计算机系统，其中，所述载具是飞行器。
条款17.一种存储可执行指令的有形非暂时性计算机可读介质，所述可执行指令用于对在载具上安装的可去除传感器进行对准，当通过计算机系统的一个或更多个处理器执行时，所述可执行指令使所述计算机系统进行如下操作：在多个时间中的各个时间处，从所述可去除传感器收集传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具上的所述可去除传感器的当前方位相关联；生成在所述多个时间中的各个时间处的所述传感器输出的表示；以及通过比较空间模板的一部分与在所述多个时间中的某一时间的所述传感器输出的表示的对应一部分，基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来确定所述可去除传感器是否与所述载具上的期望方位对准，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准。
条款18.根据条款17所述的有形非暂时性计算机可读介质，其中，使所述计算机系统确定所述可去除传感器是否与所述载具上的期望方位对准的所述可执行指令还使所述计算机系统进行如下操作：确定所述空间模板的所述一部分与所述传感器输出的表示的所述对应一部分之间的差异水平；以及确定所述差异水平是否超出容差阈值。
条款19.根据条款18所述的有形非暂时性计算机可读介质，其中，所述可执行指令还使所述计算机系统在所述差异水平超出所述容差阈值时进行如下操作：通过调节所述可去除传感器的取向，以将所述传感器输出的表示中的所述一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准，来调节所述可去除传感器的当前方位，从而将所述可去除传感器定位在期望方位。
条款20.根据条款18所述的有形非暂时性计算机可读介质，其中，所述可执行指令还使所述计算机系统在所述差异水平超出所述容差阈值时进行如下操作：通过应用所述传感器输出的表示的平移或旋转中的一者或更多者，以将所述传感器输出的表示中的所述一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准，来基于所述空间模板调节所述可去除传感器的当前方位处的所述传感器输出的表示，从而模拟将所述可去除传感器定位在所述载具上的期望方位。
条款21.根据条款18所述的有形非暂时性计算机可读介质，其中，所述可执行指令还使所述计算机系统在所述差异水平未超出所述容差阈值时：经由显示器向所述计算机系统的用户呈现对准的指示。
虽然上面已经描述了各种实施方式，但是并非旨在将本公开限制于此。可以对所公开的实施方式进行仍处于所附权利要求的范围内的改变。

Claims (15)

1.一种对在载具(10)上安装的可去除传感器(14)进行对准的方法，所述方法包括以下步骤：
在多个时间中的各个时间处，从所述可去除传感器(14)收集(604)传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具(10)上的所述可去除传感器(14)的当前方位相关联；
通过一个或更多个处理器(214)来生成(606)在所述多个时间中的各个时间处的所述传感器输出的表示；以及
进行如下调节(616、618)操作：(i)基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节(616)所述可去除传感器(14)的当前方位，以将所述可去除传感器(14)定位在所述载具(10)上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准；或者(ii)基于所述空间模板来调节(618)所述可去除传感器(14)的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器(14)定位在所述载具(10)上的所述期望方位。
2.根据权利要求1所述的方法，其中：
生成(606)在所述多个时间中的各个时间处的所述传感器输出的表示的步骤包括：生成包括所述载具(10)的环境的一部分的数字图像(400、500)；并且
所述空间模板包括数字掩模，所述数字掩模包括所述一个或更多个参考指示符(412、414、512、514)，作为所述数字掩模内的一个或更多个形状。
3.根据权利要求2所述的方法，所述方法包括以下步骤：调节(616)所述可去除传感器(14)的当前方位，
其中，基于所述传感器输出的表示和所述空间模板来调节所述可去除传感器(14)的当前方位的步骤包括：调节所述可去除传感器(14)的取向，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
4.根据权利要求2所述的方法，所述方法包括以下步骤：调节(618)所述可去除传感器(14)的当前方位处的所述传感器输出的表示，
其中，调节所述可去除传感器(14)的当前方位处的所述传感器输出的表示的步骤包括：应用所述传感器输出的表示的平移或旋转中的一者或更多者，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
5.根据权利要求1所述的方法，其中，所述一个或更多个外部参考特征包括地平线(402、502)。
6.根据权利要求1所述的方法，其中，所述一个或更多个外部参考特征包括以下项中的一项或更多项：所述载具(10)的一部分(404、504)，或者所述载具(10)的表面上的对准标记。
7.根据权利要求1所述的方法，其中，所述一个或更多个外部参考特征包括：放置在所述载具(10)的环境内的一个或更多个暂时静态对准物。
8.根据权利要求1所述的方法，所述方法还包括以下步骤：
通过所述一个或更多个处理器(214)来比较(608)所述空间模板的一部分与在所述多个时间中的某一时间处的所述传感器输出的表示的对应一部分，其中，该时间发生在调节所述可去除传感器(14)的当前方位或者所述传感器输出的表示之前；
通过所述一个或更多个处理器(214)来确定(610)所述空间模板的所述一部分与所述传感器输出的表示的所述对应一部分之间的差异水平；以及
通过所述一个或更多个处理器(214)来确定(612)所述差异水平超出容差阈值。
9.根据权利要求1所述的方法，所述方法还包括以下步骤：
通过所述一个或更多个处理器(214)来比较(608)所述空间模板的一部分与在所述多个时间中的某一时间处的所述传感器输出的表示的对应一部分，其中，该时间发生在调节所述可去除传感器(14)的当前方位或者所述传感器输出的表示之后；
通过所述一个或更多个处理器(214)来确定(610)所述空间模板的所述一部分与所述传感器输出的表示的所述对应一部分之间的差异水平；以及
通过所述一个或更多个处理器(214)来确定(612)所述差异水平未超出容差阈值。
10.根据权利要求1所述的方法，其中，调节(616)所述可去除传感器(14)的方位的步骤包括：控制机动万向节(252)，以调节所述可去除传感器(14)的方位。
11.一种对在载具(10)上安装的可去除传感器(14)进行对准的计算机系统(200)，所述计算机系统(200)包括：
一个或更多个处理器(214)，所述一个或更多个处理器(214)以通信方式连接至所述可去除传感器(14)；以及
程序存储器(212)，所述程序存储器(212)以通信方式连接至所述一个或更多个处理器(214)并且存储可执行指令，当通过所述一个或更多个处理器(214)执行时，所述可执行指令使所述计算机系统(200)进行如下操作：
在多个时间中的各个时间处，从所述可去除传感器(14)收集(604)传感器输出，其中，在所述多个时间中的各个时间处的所述传感器输出与所述载具(10)上的所述可去除传感器(14)的当前方位相关联；
生成(606)在所述多个时间中的各个时间处的所述传感器输出的表示；以及
进行如下调节(616、618)操作：(i)基于所述传感器输出的表示和包括一个或更多个参考指示符的空间模板，来调节(616)所述可去除传感器(14)的当前方位，以将所述可去除传感器(14)定位在所述载具(10)上的期望方位，在该期望方位中，所述传感器输出的表示中的一个或更多个外部参考特征与所述空间模板中的所述一个或更多个参考指示符对准；或者(ii)基于所述空间模板来调节(618)所述可去除传感器(14)的当前方位处的所述传感器输出的表示，以模拟将所述可去除传感器(14)定位在所述载具(10)上的所述期望方位。
12.根据权利要求11所述的计算机系统(200)，其中：
使所述计算机系统(200)生成(606)在所述多个时间中的各个时间处的所述传感器输出的表示的所述可执行指令进行如下操作：使所述计算机系统(200)生成数字图像(400、500)，所述数字图像(400、500)包括所述载具(10)的一部分和所述载具(10)的环境的一部分；并且
所述空间模板包括数字掩模，所述数字掩模包括所述一个或更多个参考指示符(412、414、512、514)，作为所述数字掩模内的一个或更多个形状。
13.根据权利要求12所述的计算机系统(200)，其中，所述可执行指令进行以下项中的至少一项：
使所述计算机系统(200)通过如下方式来调节(616)所述可去除传感器(14)的当前方位：调节所述可去除传感器(14)的取向，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准；以及
使所述计算机系统(200)通过如下方式来调节(618)所述可去除传感器(14)的当前方位处的所述传感器输出的表示：应用所述传感器输出的表示的平移或旋转中的一者或更多者，以将所述数字图像中的所述一个或更多个外部参考特征与所述数字掩模内的所述一个或更多个形状对准。
14.根据权利要求11所述的计算机系统(200)，所述计算机系统还包括：
机动万向节(252)或机动平移床(251)中的一者或更多者，其中，使所述计算机系统(200)调节所述可去除传感器(14)的当前方位的所述可执行指令进行如下操作：使所述机动万向节(252)或所述机动平移床(251)中的至少一者调节所述可去除传感器(14)的当前方位。
15.根据权利要求11所述的计算机系统(200)，其中，所述载具(10)是飞行器(18)。
CN202010321991.9A 2019-04-24 2020-04-22 使用传感器输出来对载具上的传感器进行对准 Pending CN111856435A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/393,388 2019-04-24
US16/393,376 2019-04-24
US16/393,376 US11639234B2 (en) 2019-04-24 2019-04-24 Method, system and apparatus for aligning a removable sensor on a vehicle
US16/393,388 US20200341128A1 (en) 2019-04-24 2019-04-24 Aligning sensors on vehicles using sensor output

Publications (1)

Publication Number Publication Date
CN111856435A true CN111856435A (zh) 2020-10-30

Family

ID=72266046

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010316047.4A Pending CN111856427A (zh) 2019-04-24 2020-04-21 用于对准交通工具上的可去除传感器的方法、系统和设备
CN202010321991.9A Pending CN111856435A (zh) 2019-04-24 2020-04-22 使用传感器输出来对载具上的传感器进行对准

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010316047.4A Pending CN111856427A (zh) 2019-04-24 2020-04-21 用于对准交通工具上的可去除传感器的方法、系统和设备

Country Status (3)

Country Link
EP (2) EP3730969A1 (zh)
CN (2) CN111856427A (zh)
CA (2) CA3076342A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019129600B4 (de) * 2019-11-04 2023-11-02 Evitado Technologies GmbH Portables Sensorsystem

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266955A (en) * 1991-07-08 1993-11-30 Kansei Corporation Laser-radar type distance measuring equipment
JP3462740B2 (ja) * 1998-01-06 2003-11-05 株式会社日立製作所 車載レーダの軸調整方法
DE19852101C2 (de) * 1998-11-12 2001-05-23 Mannesmann Vdo Ag Verfahren und Vorrichtung zur Justierung eines Strahlenganges eines strahlaussendenden Sensors
DE19907592A1 (de) * 1999-02-22 2000-08-24 Volkswagen Ag Vorrichtung und Verfahren zur Justierung eines Abstandsmeßgeräts
DE19957186A1 (de) * 1999-11-27 2001-05-31 Volkswagen Ag Verfahren zum Justieren eines Abstands- und Richtungssensors eines Fahrzeuges
EP1340998A1 (en) * 2002-02-28 2003-09-03 Alignment International Limited Apparatus and method for identifying the orientation of an object
JP5124147B2 (ja) * 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
EP2113787B1 (de) * 2008-05-02 2014-06-25 Harro Koch Anlage zur Prüfung der Ausrichtung von Radarsensoren
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
ES2529604B1 (es) * 2013-07-22 2015-12-02 Universitat Politècnica De Catalunya Sistema de estabilización para la compensación del movimiento angular en plataformas lidar móviles
DE102013021616A1 (de) * 2013-12-19 2015-06-25 Audi Ag Kraftfahrzeug und Verfahren zur Überprüfung einer Kalibrierung einer Kamera
JP6260424B2 (ja) * 2014-04-16 2018-01-17 株式会社デンソー 車載カメラの取り付け誤差検出装置
DE202015106939U1 (de) * 2015-07-29 2016-04-06 Hella Gutmann Solutions GmbH Vorrichtung zur Kalibrierung wenigstens eines Radarsensors
JP6228680B1 (ja) * 2015-08-14 2017-11-08 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドＳＺ ＤＪＩ Ｏｓｍｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． ジンバル機構
DE102016206516A1 (de) * 2016-04-19 2017-10-19 Robert Bosch Gmbh Justagesystem zum Ausrichten eines Objektdetektionssensors an einem Fahrzeug
US10909721B2 (en) * 2016-06-29 2021-02-02 Seeing Machines Limited Systems and methods for identifying pose of cameras in a scene
US10304210B2 (en) * 2017-05-25 2019-05-28 GM Global Technology Operations LLC Method and apparatus for camera calibration

Also Published As

Publication number Publication date
CN111856427A (zh) 2020-10-30
CA3077438A1 (en) 2020-10-24
CA3076342A1 (en) 2020-10-24
EP3731188A1 (en) 2020-10-28
EP3730969A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
CN205024577U (zh) 自行式建筑机械
EP3607272B1 (en) Automated image labeling for vehicle based on maps
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
US10774505B2 (en) Work machine control system, work machine, and work machine control method
CN1788188B (zh) 拍摄图像显示方法及拍摄图像显示装置
US10191470B2 (en) Welding machine and control method therefor
EP3355241B1 (en) Determining a position of a vehicle on a track
CN110392892B (zh) 生成分割的车辆图像数据的方法、对应的系统和车辆
KR101023275B1 (ko) 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
US20160275683A1 (en) Camera Calibration Device
JP6440539B2 (ja) 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
US20130033580A1 (en) Three-dimensional vision sensor
WO2019126950A1 (zh) 一种定位方法、云端服务器、终端、系统、电子设备及计算机程序产品
JP7275280B2 (ja) 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法
CN205024576U (zh) 自行式建筑机械
CN107150953A (zh) 一种基于机器视觉的起重机大车方向精确定位系统及方法
JP2021512242A (ja) 鉄道介入車両に取り付けられた１つまたは複数の介入ツールのセットに命令するための方法
JP2007322170A (ja) 空中写真測量方法
JP2016133857A (ja) 鉄道保守作業支援用情報処理装置および情報処理方法、ならびにプログラム
CN102446355A (zh) 一种基于双视场的无标定平面突起目标检测方法
CN111210386A (zh) 图像拍摄拼接方法及系统
CN111508020B (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
CN110706286A (zh) 一种基于地面标识格的车辆定位方法、定位系统及车辆
JP5122693B1 (ja) 車載測量システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination