CN114025153B - LiDAR辅助的轮编码器到相机的校准 - Google Patents

LiDAR辅助的轮编码器到相机的校准 Download PDF

Info

Publication number
CN114025153B
CN114025153B CN202111295147.4A CN202111295147A CN114025153B CN 114025153 B CN114025153 B CN 114025153B CN 202111295147 A CN202111295147 A CN 202111295147A CN 114025153 B CN114025153 B CN 114025153B
Authority
CN
China
Prior art keywords
signal
wheel encoder
camera
calibration
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111295147.4A
Other languages
English (en)
Other versions
CN114025153A (zh
Inventor
黄浴
邸瑞辉
齐峥
单记章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Co ltd
Original Assignee
Black Sesame Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Co ltd filed Critical Black Sesame Intelligent Technology Co ltd
Publication of CN114025153A publication Critical patent/CN114025153A/zh
Application granted granted Critical
Publication of CN114025153B publication Critical patent/CN114025153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种轮编码器到相机的校准的方法包括：接收LiDAR(光检测和测距)信号；接收相机信号；接收轮编码器信号；将相机信号校准到LiDAR信号；将轮编码器信号校准到LiDAR信号；以及基于相机信号到LiDAR信号的校准和轮编码器信号到LiDAR信号的校准，将相机信号校准到轮编码器信号。

Description

LiDAR辅助的轮编码器到相机的校准
技术领域
本公开涉及轮编码器(wheel encoder)到相机的校准，更具体地涉及LiDAR(光检测和测距)辅助的轮编码器到相机的校准。
背景技术
目前，用以将轮编码器校准到相机的方法要么很麻烦，要么缺乏解决手眼校准的鲁棒估计。
发明内容
一种轮编码器到相机的校准的示例方法包括：接收LiDAR(Light Detection andRanging，光检测和测距)信号；接收相机信号；接收轮编码器信号；将相机信号校准到LiDAR信号；将轮编码器信号校准到LiDAR信号；以及基于相机信号到LiDAR信号和轮编码器信号到LiDAR信号的校准，将相机信号校准到轮编码器信号。
一种轮编码器到相机的校准的另一示例方法包括：接收LiDAR信号；接收相机信号；接收轮编码器信号；确定相机信号到轮编码器信号的比例因子(scaling factor)；确定LiDAR信号到轮编码器信号的比例因子；基于相机信号到轮编码器信号的比例因子和LiDAR信号到轮编码器信号的比例因子，估计指示在没有绕Z轴的旋转的情况下在X方向上的旋转的轮编码器信号；确定在没有绕Z轴的旋转的情况下在X方向上的轮编码器平移；以及基于相机信号到LiDAR信号的校准和轮编码器信号到LiDAR信号的校准来将相机信号校准到轮编码器信号。
附图说明
在附图中：
图1是根据本公开的一个实施例的第一示例系统图；
图2是根据本公开的一个实施例的第二示例系统图；
图3是根据本公开的一个实施例的示例性轮编码器到相机的校准；
图4是根据本公开的一个实施例的示例性相机到LiDAR的校准和轮编码器到LiDAR的校准；
图5是根据本公开的一个实施例的示例性手眼校准；
图6是根据本公开的一个实施例的第一示例性方法；以及
图7是根据本公开的一个实施例的第二示例性方法。
具体实施方式
以下列出的实施例仅是为了说明对本设备和方法的应用而进行的撰写，并不限制其范围。对这种设备和方法的等同的修改形式应归入权利要求的范围内。
在整个以下描述和权利要求书中，使用某些术语来指代特定系统部件。如本领域技术人员将领会的，不同的团体可用不同的名称来指代部件和/或方法。本文档不意在区分名称不同但功能相同的部件和/或方法。
在以下的论述和权利要求书中，术语“包括”和“包含”以开放式方式使用，因此可被解释为表示“包括但不限于……”。此外，术语“耦合”或“耦接”意在表示间接或直接的连接。因此，如果第一装置连接到第二装置，则该连接可以是直接的连接或经由其他装置和连接的间接的连接。
图1描绘了示例性混合计算系统100，该混合计算系统100可用于实现与图6和图7中描述的过程的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(Field Programmable Gate Array，FPGA)122、图形处理器单元(Graphical Processor Unit，GPU)120、和中央处理器(CentralProcessing Unit，CPU)118。
CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是可执行许多不同功能的通用处理器，CPU的通用性导致了用以执行多种不同任务的能力。然而，CPU对多个数据流的处理受到限制，并且CPU相对于神经网络的功能受到限制。GPU是图形处理器，具有能够按顺序处理并行任务的许多小型处理核心。FPGA是一种现场可编程装置，FPGA具有被重新配置并且以硬连线电路的方式执行可被编程到CPU或GPU中的任意功能的能力。由于以电路形式对FPGA进行编程，因此其速度比CPU快许多倍，并且明显快于GPU。
系统还可包含其他类型的处理器，诸如加速处理单元(Accelerated ProcessingUnit，APU)和数字信号处理器(Digital Signal Processor，DSP)，APU包括具有片上GPU元件的CPU，DSP被设计为用于执行高速数字数据处理。专用集成电路(Application SpecificIntegrated Circuit，ASIC)也可执行FPGA的硬连线功能。然而，用以设计和生产ASIC的交付周期大约为三个月，而不是在对FPGA进行编程中可用的快速周转实施方案。
图形处理器单元120、中央处理器118和现场可编程门阵列122彼此连接，并且图形处理器单元120、中央处理器118和现场可编程门阵列122连接到存储器接口控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口控制器112。利用该额外的装置是因为FPGA在非常大的带宽下运行并且为了使FPGA用以执行存储任务所利用的电路最小化。存储器接口控制器112另外地连接到永久性存储器盘110、系统存储器114和只读存储器(ROM)116。
图1的系统可用于对FPGA进行编程和训练。GPU与非结构化数据一起很好地运行，并且可用于训练，一旦训练了数据，就可找到确定性的推理模型，并且CPU可利用由GPU确定的模型数据对FPGA进行编程。
存储器接口控制器112连接到中央互连124，中央互连另外连接到GPU 120、CPU118和FPGA 122。中央互连124另外连接到输入和输出接口128和网络接口126。
图2描绘了第二示例性混合计算系统200，该混合计算系统200可用于实现与过程600和700的一个或多个部分或步骤的操作相关的神经网络。在该示例中，与混合系统相关的处理器包括现场可编程门阵列(FPGA)210和中央处理器(CPU)220。
FPGA电连接到FPGA控制器212，FPGA控制器212与直接存储器存取(Direct MemoryAccess，DMA)218接口连接。DMA连接到输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216耦合到FPGA以分别将数据缓冲到FPGA中以及将数据从FPGA缓冲出。DMA 218包括两个先进先出(First In First Out，FIFO)缓冲器，一个用于主CPU，另一个用于FPGA。DMA允许数据被写入适当的缓冲器以及从适当的缓冲器读取数据。
在DMA的CPU侧的是主交换机228，主交换机228将数据和命令往返传送到DMA。DMA还连接到SDRAM控制器224，该SDRAM控制器224允许将数据从CPU 220传送到FPGA并且允许数据从FPGA传送到CPU 220。SDRAM控制器还连接到外部SDRAM 226和CPU 220。主交换机228连接到外围设备接口230。闪存控制器222控制持久性存储器，并连接到CPU 220。
轮编码器到相机的校准可以是基于模型的或无模型的。基于模型的校准包括具有地面实况(ground truth)的控制区域。在基于模型的方法中，控制区域可利用先前设计的要由相机查看的对象。无模型校准不使用控制区域，但是，它们使用在线初始化，可能会增加复杂性。可在不使用控制区域的情况下获得轮编码器数据。
对于大型传感器平台，控制区域可能比用于小型机器人的控制区域大。滚动板可用于旋转车辆，减轻相机对控制区域的视野占用。
一种可能的解决方案可利用LiDAR(光检测和测距)将轮编码器到相机的校准分为两部分：相机到LiDAR的校准和轮编码器到的LiDAR的校准。可使用静态捕获的数据来执行相机到LiDAR的校准过程，而无需移动传感器，因此利用了相对较小的控制区域。轮编码器到LiDAR的校准利用传感器平台的移动，其将捕获轮编码器的数据以解决手眼校准问题。
本公开描述了利用LiDAR作为桥接器进行轮编码器到相机的校准的可能解决方案，从而控制区域可用于基于模型的校准，并且可估计LiDAR运动以用于手眼校准。
多传感器平台可用于机器人和自动驾驶系统。为了更准确地融合来自不同传感器的信息，可利用校准来确定传感器之间的坐标系变换关系，所述传感器包括不同模式的传感器，诸如全球定位系统(GPS)、惯性测量单元(IMU)、轮编码器、相机、LiDAR、雷达等。
轮编码器可用作用于车辆和机器人进行定位的传感器。通过集成编码器测量，可确定机器人平台和/或车辆的姿态之间的旋转和平移。与IMU和相机相比，轮编码器数据可在短时间内表现出高精度。
轮编码器到相机的校准可使数据融合可用，以允许进行手眼校准。LiDAR可以是用以捕获感测环境的3-D点云的另一个传感器。LiDAR可能会受到成本、距离和不反射的暗材料的限制。相机到LiDAR的校准也可用于传感器融合，以用于感知或用于定位映射。
本公开提出了一种利用LiDAR将轮编码器分开成如下两部分进行校准的方法：相机到LiDAR校准以及轮编码器到LiDAR的校准。
图3描绘了传感器平台中轮编码器312与相机310之间的坐标关系300，包括控制区域314和校准后的参数316，如果C是相机坐标系并且E是轮编码器坐标系，则轮编码器(WE)到相机的校准318的结果可称为TE-C，则
C＝TE-C·E 320。
图4描绘了添加到该系统400的LiDAR 410，D是LiDAR坐标系。包括控制区域412和校准后的参数414的相机310到LiDAR 410的校准416将被称为TD-C，轮编码器到LiDAR的校准结果可被称为TE-D，则
D＝TE-D·E 424，(WE 312到LiDAR 410的校准418)
C＝TD-C·D 422，(相机310到LiDAR 410的校准416)
C＝TD-C·TE-D·E 426，
TE-C＝TD-C·TE-D 428。
图5描绘了可安装在机器人510的机器人手512上的传感器514，传感器与手之间的关系被称为手眼校准。在该示例中，传感器眼可以是相机514。
在图5中，Ak和Bk是机器人手在时间段k期间的运动，X可以是机器人手与传感器眼之间的关系。检测板(checker board)516可表示控制区域以估计传感器眼的局部运动。相机的运动受限于传感器眼能够看到控制区域的姿态。
手眼校准方程可表述为AX＝BX，由此推导出：
其中A、B、X分解为旋转R分量和平移t分量。
如果有以不同旋转轴的至少两组运动测量值，这个问题是可以解决的。如果运动被限制在X-Y平面上，则Z分量的移动可假定为零。
对于轮编码器，运动方程可描述为
其中v可以是速度矢量(沿x轴的正面分量vx，假设横向分量vy＝0)，θ可以是偏航角，ω可以是偏航率，则
ω＝(ωLrL+ωRrR)/2
ω＝(ωRrR-ωLrL)/b
其中rL、rR和b是轮编码器的内在参数：左轮半径、右轮半径和两个轮的质心之间的距离。
为了校准轮编码器，其积分可利用欧拉法、二阶龙格-库塔法和/或李群闭式法(LiGroup closed form method)等进行。
轮编码器到相机的校准可利用手眼校准来实现。可确定给定的控制区域、预定义的检查板和/或比例因子。由于平面运动，可在没有绕Z轴的旋转分量的情况下估计X的旋转部分，然后也可在没有Z分量的情况下同样利用轮编码器的固有参数来确定平移向量。
利用LiDAR运动估计代替相机运动估计，可利用相同的手眼校准程序来完成LiDAR轮编码器校准。
多台相机的校准利用从不同相机查看并被匹配的图像特征。为了将相机校准到LiDAR，LiDAR的点云与来自同一场景点的图像像素匹配。
可使用LiDAR里程计或SLAM(Simultaneous localization and mapping)来估计LiDAR运动。LiDAR可捕获3D点云，然后可通过3D到3D的映射来解决其SLAM。
已经描述了使用LiDAR作为桥接器进行相机到轮编码器的校准的可能解决方案。这可允许用于基于模型的校准的受控区域，并且可估计LiDAR运动以解决手眼校准问题。
图6描绘了轮编码器到相机的校准的示例方法，该方法包括接收610LiDAR信号、接收612相机信号和接收614轮编码器信号。该方法包括将相机信号校准616到LiDAR信号、将轮编码器信号校准618到LiDAR信号以及基于相机信号到LiDAR信号的校准和轮编码器信号到LiDAR信号的校准，将相机信号校准620到轮编码器信号。
该方法还可包括：将LiDAR信号的LiDAR信号点云与用于场景点的相机信号的图像像素进行匹配；确定用于相机信号到轮编码器信号的校准的比例因子；以及针对仅在一个平面中的平面运动平移，估计轮编码器信号到相机信号的旋转。
该方法还可包括：经由滚动板对接收LiDAR信号、相机信号和轮编码器信号的传输器进行旋转；确定相机信号到轮编码器信号的比例因子；估计轮编码器信号，该轮编码器信号指示在没有绕Z轴的旋转的情况下在X方向上的旋转；以及确定在没有绕Z轴的旋转的情况下在X方向上的轮编码器平移。
该方法可包括：确定LiDAR信号到轮编码器信号的比例因子；估计指示在没有绕Z轴的旋转的情况下在X方向上的旋转的轮编码器信号；以及确定在没有绕Z轴的旋转的情况下在X方向上的平移。相机信号到轮编码器信号的校准和/或轮编码器信号到LiDAR信号的校准可以是手眼校准方法。相机信号到LiDAR信号的校准可被静态地执行，轮编码器信号到LiDAR信号的校准可被动态地执行。
图7描绘了轮编码器到相机的校准的另一示例方法，该方法包括接收710LiDAR信号、接收712相机信号和接收714轮编码器信号。该方法包括：确定716相机信号到轮编码器信号的比例因子；确定718LiDAR信号到轮编码器信号的比例因子；以及基于相机信号到轮编码器信号的比例因子和LiDAR信号到轮编码器信号的比例因子，估计720轮编码器信号，该轮编码器信号指示在没有绕Z轴的旋转的情况下在X方向上的旋转。该方法还包括确定722在没有绕Z轴的旋转的情况下在X方向上的轮编码器平移；以及基于相机信号到LiDAR信号的校准和轮编码器信号到LiDAR信号的校准来将相机信号校准724到轮编码器信号。
该方法可包括：将LiDAR信号的LiDAR信号点云与用于场景点的相机信号的图像像素进行匹配；以及经由滚动板对接收LiDAR信号、相机信号和轮编码器信号的传输器进行旋转。相机信号到LiDAR信号的校准可被静态地执行，轮编码器信号到LiDAR信号的校准可被动态地执行。
本领域技术人员将领会的是，本文所描述的各种说明性块、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，以上已经根据其功能大体上描述了各种说明性的块、模块、元件、组件、方法和算法。将这样的功能实现为硬件还是软件取决于具体的应用和施加在系统上的设计约束条件。技术人员可针对每个具体的应用以不同方式来实现所描述的功能。在均不背离本主题技术的范围的情况下，各种部件和块可被不同地布置(例如，以不同的顺序布置或以不同的方式划分)。
应理解的是，所公开的过程中步骤的特定顺序或层级是对示例方法的说明。基于设计偏好，应理解的是，可重新排列过程中步骤的特定顺序或层级。一些步骤可被同时执行。随附的方法权利要求以示例顺序呈现了各个步骤的要素，并不意味着受限于所呈现的特定顺序或层级。
提供先前的描述以使得本领域的任意技术人员能够实践本文所描述的各个方面。先前的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对这些方面的各种修改对于本领域技术人员而言将是明显的，并且本文中定义的一般原理可应用于其他方面。因此，不意在将权利要求受限于本文中所示出的各方面，而是意在使全部范围与权利要求的语言表述相一致，其中以单数形式所提及的元素并不意在表示“一个且仅一个”，除非明确如此阐明，而是表示“一个或多个”。除非另有明确阐明，否则术语“一些”是指一个或多个。男性代词(例如，他的)包括女性和中性性别(例如，她及它)，反之亦然。标题和副标题，如果有的话，仅是为了方便起见，并不限制本发明。谓语词“被配置以”、“可操作以”和“被编程以”并不意味着对对象进行任意具体的有形或无形修改，而是意在将其互换使用。例如，被配置以监测和控制操作或部件的处理器也可意味着处理器被编程以监测和控制操作或处理器可被操作以监测和控制操作。同样地，被配置以执行代码的处理器可被解释为被编程以执行代码或可被操作以执行代码的处理器。
诸如“方面”的短语并不意味着这样的方面对于本主题技术是必不可少的，也不意味着这样的方面适用于本主题技术的配置。与一方面有关的公开内容可应用于配置，或者一个或多个配置。一个方面可提供一个或多个示例。诸如方面的短语可指一个或多个方面，反之亦然。诸如“实施例”的短语并不意味着这样的实施例对于本主题技术是必不可少的，也不意味着这样的实施例适用于本主题技术的配置。与一实施例有关的公开内容可适用于实施例，或者一个或多个实施例。一实施例可提供一个或多个示例。诸如“实施例”的短语可指一个或多个实施例，反之亦然。诸如“配置”的短语并不意味着这样的配置对于本主题技术是必不可少的，也不意味着这样的配置适用于本主题技术的配置。与一个配置有关的公开内容可适用于配置，或者一个或多个配置。一个配置可提供一个或多个示例。诸如“配置”的短语可指一个或多个配置，反之亦然。
词语“示例”在本文中用来表示“用作示例或说明”。本文中被描述为“示例”的任意方面或设计不必然被解释为比其他方面或设计更优选或更有利。
对于本领域普通技术人员而言是已知或以后将知道的是，在整个本公开中所描述的各个方面的元件的结构和功能等同物均通过引用明确地并入本文，并且意在被权利要求书所涵盖。此外，无论在权利要求书中是否明确叙述了本文所描述的公开内容，都不意在将这样的公开内容捐献于公众。除非使用短语“用于……的手段”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于……的步骤”来叙述该元素，否则任何权利要求的要素均不得根据美国专利法35U.S.C.、§112、第六段的规定进行解释。此外，针对说明书或权利要求书中使用术语“包括(include)”、“具有(have)”等的程度，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”等的引用指示具体的要素或特征被包括在本发明的至少一个实施例中。虽然这些短语可出现在各个地方，但是这些短语不一定指的是同一实施例。结合本公开，本领域技术人员将能够设计和结合适用于实现上述功能的各种机构中的任意一者。
应理解的是，本公开仅教导了说明性实施例的一个示例，并且本领域技术人员在阅读了本公开之后可容易地设计出本发明的许多变型，并且本发明的范围将由以下权利要求所确定。

Claims (14)

1.一种轮编码器到相机的校准的方法，包括：
接收LiDAR信号；
接收相机信号；
接收轮编码器信号；
将所述相机信号校准到所述LiDAR信号，其中确定所述相机信号到所述轮编码器信号的比例因子；
将所述轮编码器信号校准到所述LiDAR信号，其中估计轮编码器信号，所述轮编码器信号指示在没有绕Z轴的旋转的情况下所述轮编码器在X方向上的旋转，并且确定在没有绕Z轴的旋转的情况下所述轮编码器在X方向上的平移；以及
基于所述相机信号到所述LiDAR信号的校准和所述轮编码器信号到所述LiDAR信号的校准，将所述相机信号校准到所述轮编码器信号。
2.根据权利要求1所述的轮编码器到相机的校准的方法，还包括：将所述LiDAR信号的LiDAR信号点云与用于场景点的所述相机信号的图像像素进行匹配。
3.根据权利要求1所述的轮编码器到相机的校准的方法，其中，所述相机信号到所述轮编码器信号的校准是手眼校准方法。
4.根据权利要求1所述的轮编码器到相机的校准的方法，还包括：
确定用于所述相机信号到所述轮编码器信号的校准的比例因子；以及
针对仅在一个平面中的平面运动平移，估计所述轮编码器信号到所述相机信号的旋转。
5.根据权利要求1所述的轮编码器到相机的校准的方法，其中，所述相机信号到所述LiDAR信号的校准被静态地执行。
6.根据权利要求1所述的轮编码器到相机的校准的方法，其中，所述轮编码器信号到所述LiDAR信号的校准被动态地执行。
7.根据权利要求1所述的轮编码器到相机的校准的方法，其中，所述轮编码器信号到所述LiDAR信号的校准是手眼校准方法。
8.根据权利要求1所述的轮编码器到相机的校准的方法，还包括：经由滚动板对接收所述LiDAR信号、所述相机信号和所述轮编码器信号的传输器进行旋转。
9.根据权利要求1所述的轮编码器到相机的校准的方法，还包括：
确定LiDAR信号到轮编码器信号的比例因子。
10.一种轮编码器到相机的校准的方法，包括：
接收LiDAR信号；
接收相机信号；
接收轮编码器信号；
确定所述相机信号到所述轮编码器信号的比例因子；
确定所述LiDAR信号到所述轮编码器信号的比例因子；
基于所述相机信号到所述轮编码器信号的比例因子和所述LiDAR信号到所述轮编码器信号的比例因子，估计指示在没有绕Z轴的旋转的情况下所述轮编码器在X方向上的旋转的轮编码器信号；
确定在没有绕Z轴的旋转的情况下所述轮编码器在X方向上的平移；以及
基于所述相机信号到所述LiDAR信号的校准和所述轮编码器信号到所述LiDAR信号的校准来将所述相机信号校准到所述轮编码器信号。
11.根据权利要求10所述的轮编码器到相机的校准的方法，还包括：将所述LiDAR信号的LiDAR信号点云与用于场景点的所述相机信号的图像像素进行匹配。
12.根据权利要求10所述的轮编码器到相机的校准的方法，其中，所述相机信号到所述LiDAR信号的校准被静态地执行。
13.根据权利要求10所述的轮编码器到相机的校准的方法，其中，所述轮编码器信号到所述LiDAR信号的校准被动态地执行。
14.根据权利要求10所述的轮编码器到相机的校准的方法，其中，还包括：
经由滚动板对接收所述LiDAR信号、所述相机信号和所述轮编码器信号的传输器进行旋转。
CN202111295147.4A 2021-03-05 2021-11-03 LiDAR辅助的轮编码器到相机的校准 Active CN114025153B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/193,852 US11508089B2 (en) 2021-03-05 2021-03-05 LiDAR assisted wheel encoder to camera calibration
US17/193,852 2021-03-05

Publications (2)

Publication Number Publication Date
CN114025153A CN114025153A (zh) 2022-02-08
CN114025153B true CN114025153B (zh) 2023-11-21

Family

ID=80060403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111295147.4A Active CN114025153B (zh) 2021-03-05 2021-11-03 LiDAR辅助的轮编码器到相机的校准

Country Status (2)

Country Link
US (1) US11508089B2 (zh)
CN (1) CN114025153B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101690882B1 (ko) * 2015-07-16 2016-12-28 한국과학기술원 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
CN107576667A (zh) * 2017-10-13 2018-01-12 成都精工华耀机械制造有限公司 一种基于线阵红外摄像机的铁轨扣件异常检测系统
CN107871328A (zh) * 2016-09-28 2018-04-03 康耐视公司 机器视觉系统和机器视觉系统实现的校准方法
WO2018195999A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
CN108733039A (zh) * 2017-04-18 2018-11-02 广东工业大学 一种机器人室内导航定位的方法与装置
CN109118543A (zh) * 2013-02-25 2019-01-01 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
WO2019032588A1 (en) * 2017-08-11 2019-02-14 Zoox, Inc. CALIBRATION AND LOCATION OF VEHICLE SENSOR
CN109671120A (zh) * 2018-11-08 2019-04-23 南京华捷艾米软件科技有限公司 一种基于轮式编码器的单目slam初始化方法及系统
CN110455275A (zh) * 2019-08-07 2019-11-15 天津理工大学 一种大型球形储罐爬壁机器人定位导航系统及方法
JP2020058596A (ja) * 2018-10-10 2020-04-16 パナソニックＩｐマネジメント株式会社 ロボット
CN111902731A (zh) * 2018-03-21 2020-11-06 祖克斯有限公司 自动检测传感器校准误差
CN112313133A (zh) * 2018-04-11 2021-02-02 欧若拉创新公司 基于附加车辆的所确定的横摆参数控制自动驾驶车辆
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI408037B (zh) * 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10038895B2 (en) * 2013-01-15 2018-07-31 Disney Enterprises, Inc. Image capture device calibration
WO2014170895A1 (en) * 2013-04-15 2014-10-23 Xsight Systems Ltd. Contaminant detection and bird risk management at airports
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10126412B2 (en) * 2013-08-19 2018-11-13 Quanergy Systems, Inc. Optical phased array lidar system and method of using same
JP6309637B2 (ja) * 2014-01-10 2018-04-11 アイロボット コーポレイション 自律式移動ロボット
CN105934216B (zh) * 2014-01-24 2019-09-17 皇家飞利浦有限公司 机器人引导系统、控制单元和装置
JP6572205B2 (ja) * 2014-04-03 2019-09-04 株式会社日立製作所 自律移動体
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9989969B2 (en) * 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US10285760B2 (en) * 2015-02-04 2019-05-14 Queen's University At Kingston Methods and apparatus for improved electromagnetic tracking and localization
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US10334240B2 (en) * 2016-10-28 2019-06-25 Daqri, Llc Efficient augmented reality display calibration
US11083537B2 (en) * 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US11175132B2 (en) * 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US10365364B1 (en) * 2018-05-18 2019-07-30 Zendar Inc. Systems and methods for detecting objects
US10371797B1 (en) * 2018-05-23 2019-08-06 Zendar Inc. Systems and methods for enhancing target detection
US10609360B2 (en) 2018-06-28 2020-03-31 Black Sesame International Holding Limited Dual camera calibration
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
KR102220564B1 (ko) * 2019-05-30 2021-02-25 엘지전자 주식회사 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를구현하는 로봇
US11127430B1 (en) * 2020-03-18 2021-09-21 International Business Machines Corporation Robotic confirmation of column straightness
US11230294B2 (en) * 2020-03-19 2022-01-25 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle speed estimation system
US11558024B2 (en) * 2020-04-09 2023-01-17 Toyota Motor Engineering & Manufacturing North America, Inc. Adjustable electrical noise filter for a vehicle
US20210082149A1 (en) * 2020-11-24 2021-03-18 Intel Corporation Real-time calibration of wide-baseline outside-in multi-camera systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118543A (zh) * 2013-02-25 2019-01-01 康耐视公司 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
KR101690882B1 (ko) * 2015-07-16 2016-12-28 한국과학기술원 데이터의 시간 정확도를 향상시키는 마이크로 컨트롤러, 이를 이용한 3차원 맵핑 시스템 및 방법
CN107871328A (zh) * 2016-09-28 2018-04-03 康耐视公司 机器视觉系统和机器视觉系统实现的校准方法
CN108733039A (zh) * 2017-04-18 2018-11-02 广东工业大学 一种机器人室内导航定位的方法与装置
WO2018195999A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
WO2019032588A1 (en) * 2017-08-11 2019-02-14 Zoox, Inc. CALIBRATION AND LOCATION OF VEHICLE SENSOR
CN107576667A (zh) * 2017-10-13 2018-01-12 成都精工华耀机械制造有限公司 一种基于线阵红外摄像机的铁轨扣件异常检测系统
CN111902731A (zh) * 2018-03-21 2020-11-06 祖克斯有限公司 自动检测传感器校准误差
CN112313133A (zh) * 2018-04-11 2021-02-02 欧若拉创新公司 基于附加车辆的所确定的横摆参数控制自动驾驶车辆
JP2020058596A (ja) * 2018-10-10 2020-04-16 パナソニックＩｐマネジメント株式会社 ロボット
CN109671120A (zh) * 2018-11-08 2019-04-23 南京华捷艾米软件科技有限公司 一种基于轮式编码器的单目slam初始化方法及系统
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps
CN110455275A (zh) * 2019-08-07 2019-11-15 天津理工大学 一种大型球形储罐爬壁机器人定位导航系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Wheel Odometry and IMU Errors for Localization;Martin BROSSARD等;《2019 International Conference on Robotics and Automation (ICRA)，Montreal, QC, Canada》;全文 *
智能AGV多目视觉导引与惯性测量的复合导航技术研究;李林慧;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;全文 *

Also Published As

Publication number Publication date
US11508089B2 (en) 2022-11-22
US20220284626A1 (en) 2022-09-08
CN114025153A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN109887057B (zh) 生成高精度地图的方法和装置
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN108932737B (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
WO2020140431A1 (zh) 相机位姿确定方法、装置、电子设备及存储介质
JP2019528501A (ja) マルチカメラシステムにおけるカメラ位置合わせ
WO2022088973A1 (zh) 展示车辆的行驶状态的方法以及电子设备
US20180316906A1 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN112379352B (zh) 一种激光雷达标定方法、装置、设备及存储介质
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
KR20190001668A (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
CN109978954A (zh) 基于箱体的雷达和相机联合标定的方法和装置
CN115855022A (zh) 使用深度神经网络执行自主路径导航
CN112388635B (zh) 机器人多传感器融合感知与空间定位的方法、系统及装置
CN111340851A (zh) 基于双目视觉与imu融合的slam方法
CN110030995B (zh) 融合图像传感器和惯性传感器的智能小车控制方法及系统
CN114025153B (zh) LiDAR辅助的轮编码器到相机的校准
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
CN108961337B (zh) 车载相机航向角标定方法和装置、电子设备以及车辆
CN116721166A (zh) 双目相机和imu旋转外参在线标定方法、装置及存储介质
US11977150B2 (en) Vehicle localization precision enhancement via multi-sensor fusion
WO2022037370A1 (zh) 一种运动估计方法及装置
Lee et al. Three degree-of-freedom orientation measurement for spherical wheel motion platform using optical sensors
WO2022033139A1 (zh) 一种自运动估计方法及相关装置
Cui et al. A real-time embedded drive-by-wire control module for self-driving cars with ROS2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant