CN112013891B - 用于使用人工神经网络校准多传感器系统的方法 - Google Patents
用于使用人工神经网络校准多传感器系统的方法 Download PDFInfo
- Publication number
- CN112013891B CN112013891B CN202010460093.1A CN202010460093A CN112013891B CN 112013891 B CN112013891 B CN 112013891B CN 202010460093 A CN202010460093 A CN 202010460093A CN 112013891 B CN112013891 B CN 112013891B
- Authority
- CN
- China
- Prior art keywords
- sensor
- decoder
- encoder
- function
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Manufacturing & Machinery (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
- Transmission And Conversion Of Sensor Element Output (AREA)
- Feedback Control In General (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
用于使用人工神经网络校准多传感器系统的方法。使用具有编码器函数和连续解码器函数的编码器/解码器神经网络相对于指示多个及时的连续数据值的参考轨迹校准传感器的方法包括步骤：‑在第一训练阶段中相对于至少一个参考轨迹来训练编码器/解码器神经网络的编码器函数和解码器函数，使得在编码器函数的输入处的参考轨迹和在解码器函数的输出处的重建参考轨迹的重建误差被最小化，‑在第二训练阶段中相对于传感器轨迹来训练校准向量，使得输出传感器轨迹与对应参考轨迹之间的重建误差被最小化，其中通过将校准向量应用在传感器轨迹上并且通过将编码器函数和解码器函数应用在经校准的传感器轨迹上来获得输出传感器轨迹；‑应用校准向量校准传感器。
Description
技术领域
本发明涉及具有用于感测相关测量的多个传感器的多传感器系统。本发明特别地涉及用于校准多传感器系统中的传感器的方法。
背景技术
对于诸如定位、测绘、跟踪等之类的许多任务，应用多传感器系统。在技术系统中，经常使用多个传感器，所述多个传感器彼此偏移布置，以提供至少部分冗余和/或相关的传感器读数。例如，可以在机器人上的不同位置上使用多个位置和惯性传感器，当机器人移动时，所述多个位置和惯性传感器提供相关的传感器读数。
使用这些多个传感器的传感器读数施行特定任务的质量对用于该任务的传感器的校准极其敏感。对于对相同或相关测量进行测量的传感器，特别地，传感器定向和位置以及它们的准确性强烈地影响测量结果，并在本质上确定技术系统的性能。如果多个传感器之间的确切关系、诸如它们的相对定向和位置初始是未知的，则需要传感器校准来改进技术系统的功能性。
照惯例，用于校准技术系统的传感器的一个方案包括手动适配传感器的校准参数。手动校准具有不准确性和长持续时间的已知缺点。
一种用于自动校准的方法例如从N.Schneider等人的“RegNet：MultimodalSensor Registration Using Deep Neural Networks”(https://arxiv.org/pdf/1707.03167.pdf)已知，其中借助于第一深度卷积神经网络(CNN)，施行在多模态传感器之间的6自由度(DOF)外部校准，其中在单个具有实时能力的CNN中执行常规校准步骤(特征提取、特征匹配和全局回归)。
此外，从文档G.Iyer等人的“CalibNet:Self-Supervised ExtrinsicCalibration using 3DSpatial Transformer Networks”(https://arxiv.org/pdf/1803.08181.pdf)，已知能够自动估计在3DLiDAR与2D相机之间的6-DoF刚体变换的自监督式深度网络。该网络被训练以预测使输入图像和点云的几何和光度一致性最大化的校准参数。
发明内容
根据本发明，提供了根据权利要求1的用于校准多传感器系统的一个或多个传感器的方法、根据另外的独立权利要求的校准系统和多传感器系统。
在从属权利要求中指示了另外的实施例。
根据第一方面，提供了一种用于使用具有编码器函数和连续解码器函数的编码器/解码器神经网络相对于指示多个及时的连续数据值的参考轨迹来校准传感器的方法，其包括如下步骤：
-在第一训练阶段中相对于至少一个参考轨迹来训练编码器/解码器神经网络的编码器函数和解码器函数，使得在编码器函数的输入处的参考轨迹和在解码器函数的输出处的重建参考轨迹的重建误差被最小化，
-在第二训练阶段中相对于传感器轨迹来训练校准向量、并且特别是编码器/解码器神经网络的编码器函数和解码器函数，使得输出传感器轨迹与对应参考轨迹之间的重建误差被最小化，其中通过将校准向量应用在传感器轨迹上并且通过将编码器和解码器函数应用在经校准的传感器轨迹上，来获得输出传感器轨迹；以及
-应用校准向量校准传感器。
在具有带有相关传感器读数的多个传感器(诸如用于感测可移动系统的位置或移动的多个分布式传感器)的传感器系统中，传感器偏移、噪声、传感器不准确性、外部干预等使得用于校准多传感器系统的多个传感器的常规方案复杂，或甚至对于高精度校准而言不可能。
一般地，对于校准，使用待校准传感器的传感器轨迹，并使其与参考轨迹产生关系，该参考轨迹指示在相同时间帧期间的地面实况(ground true)系统行为。对于使用传感器读数的传感器轨迹校准传感器的一般问题是未知的局部关系(诸如传感器的位置上的偏移和不同的时域或传感器读数)，即每个单个传感器读数可能具有一定的关闭时间延迟，使得来自不同传感器的传感器读数可能在特定的时间步长上不确切地匹配。
当将要校准多传感器系统时，与传感器噪声、未知的局部传感器分布和传感器不准确性相结合的具有不同关闭时间延迟的匹配轨迹是常见的约束。
以上方法提出了一种使用人工神经网络的方案，该方案可以处理多传感器系统的不确定性和噪声的复杂环境动态。
假设每个传感器的校准可以由配置有一个或多个维度的校准向量来表达。可以将校准向量应用在传感器轨迹上，以将传感器读数、即经校准的传感器之一的传感器轨迹变换为参考轨迹(诸如在相同时间帧内获得的多传感器系统的参考传感器的传感器轨迹)，通过适配相应的校准向量来自动校准传感器系统的传感器是一项任务。因此，每个待校准的传感器的每个传感器轨迹可以与相应的校准向量一起被应用，并因此借助于校准向量而使其与例如参考传感器的参考轨迹一致。
以上方法应用递归神经网络作为LSTM(长短期记忆)编码器/解码器神经网络。LSTM编码器/解码器神经网络包括编码器LSTM单元，以压缩待校准的特定传感器的传感器读数的经校准的轨迹，并获得表示较低维度流形的中间向量。经校准的轨迹是借助于候选校准向量或所应用的校准向量对待校准传感器的传感器轨迹的校准结果。作为编码器LSTM单元的结果的中间向量表示压缩信息，并且表示对应的传感器行为的特性。
继编码器LSTM单元之后，应用解码器LSTM单元来接收中间向量并根据中间向量重建传感器轨迹，使得重建轨迹可以与给定的参考轨迹匹配。
参考轨迹可以用于进一步计算注意力图，以确定应当将注意力赋予什么时间步长的输入传感器轨迹的可能性。这固有地给出了传感器的时间延迟偏移估计。
通过求解优化问题来对于每个传感器进行校准，以通过适配校准向量来减少重建误差，从而使重建的传感器轨迹与参考轨迹相匹配。此外，在优化期间，编码器LSTM单元的编码器参数、解码器LSTM单元的解码器参数和注意力图也被优化，以获得相应传感器的参数化。
注意力图具有表示权重的元素，该权重指示输出轨迹(解码器LSTM单元的输出)的每个时间步长到传感器轨迹(输入轨迹)的时间步长之间的关系，从而使用回顾注意力来估计关闭时间延迟。
对于每个待校准的传感器，必须通过特定传感器的多个传感器轨迹和与该多个传感器轨迹相关联的多个对应参考轨迹来训练该系统，即传感器轨迹和参考轨迹二者是在系统的动作的相同时间帧期间获得的。在训练期间，可以优化LSTM编码器/解码器神经网络、并且特别是校准向量。
上述方法允许相对于参考轨迹对于多个传感器执行自动校准过程。通过使用人工神经网络的以上配置，自动校准针对噪声、传感器不准确性和关闭时间延迟是高度稳健的。
此外，第一和第二训练阶段可以各自在多个训练周期内被交替地应用，特别是直到满足收敛标准为止。
可以规定：在第二训练阶段中，考虑被应用在解码器函数的输出传感器轨迹上的注意力图，并且其中训练被配置为最小化在对其应用了注意力图的输出传感器轨迹与对应参考轨迹之间的重建误差。
此外，编码器函数和解码器函数分别对应于编码器LSTM函数和解码器LSTM函数。
根据实施例，编码器函数可以被配置为生成对应于较低维度流形的中间向量，并且解码器函数被配置为扩展具有与解码器LSTM函数的输入轨迹相同维度的输出轨迹。
可以规定：待校准的传感器的传感器轨迹和对应参考轨迹与相同的时间帧相关。
此外，参考轨迹可以由参考传感器获得，其中参考传感器和待校准的传感器属于相同的多传感器系统。
附图说明
结合附图更详细地描述实施例，其中：
图1示出了具有带有多传感器布置以检测位置轨迹的机器人的系统，作为其中可以应用自动校准过程的系统的示例；
图2a、2b示意性地示出了常规的LSTM神经网络；
图3示意性地示出了LSTM编码器/解码器神经网络，其用于通过确定校准向量来将传感器自动校准到参考传感器；
图4是指示用于自动校准多传感器系统的传感器的过程的流程图。
具体实施方式
图1示例性地示出了可移动机器人1、诸如机器人真空清洁器，其具有相对于机器人1的外壳刚性安装的多个传感器2。传感器2可以是位置传感器，其用于提供指示每时刻的位置数据的传感器读数。对于连续的时间步长，位置数据定义了针对传感器2中每一个的传感器轨迹。一般地，机器人1具有控制机器人1的操作的控制单元3。该操作取决于传感器2的传感器读数来被控制以执行预定义的任务，例如在真空清洁器的情况下在一区域之内移动机器人1来清洁该区域的表面。
进一步通过标记a、b、c、d来参考传感器2，其中传感器2a用作参考传感器，该参考传感器是其他传感器2b、2c、2d朝向其校准的目标传感器。参考传感器2a提供在特定时间帧内形成参考轨迹Tref的传感器读数。
为了校准由{(rb，tb)，(rc，tc)，...}标示的其他传感器2b、2c、2d的相对位置和定向，其中r和t表示用于(由索引定义的)相应传感器的校准的旋转和平移向量，使得在将旋转和平移向量应用在对应传感器的检测到的传感器轨迹Tb、Tc、…(在相同的时间帧期间获得)上之后，它们将匹配由参考传感器2a提供的参考轨迹。
传感器轨迹Tb、Tc、…由针对连续时间步长的位置数据指示，其中时间步长不一定对应于由参考传感器2a提供的参考轨迹Tref的时间步长。此外，传感器各自具有它们自己的传感器特性、提供噪声并且具有个体的不准确性。因此，将基于时间步长的轨迹朝向彼此匹配而同时附加地考虑固有的不准确性和环境噪声是一项任务。
根据所提出的方法的本文描述的实施例，该任务借助于编码器/解码器神经网络来完成。编码器/解码器神经网络可以基本上形成为LSTM编码器/解码器神经网络(LSTM：长短期记忆)，但是也可以使用不同种类的神经网络来实现。
大体上，编码器/解码器神经网络包括编码器单元、继之以解码器单元。其中编码器单元将轨迹数据压缩至中间向量，并且解码器网络对轨迹解压缩以重建输入轨迹。此外，注意力图用于校正在输入传感器轨迹与对应参考轨迹之间的时间相关的失配。
优选实施例使用基本上结合图2a和图2b描述的LSTM神经网络。
图2a和图2b示意性地示出了LSTM节点和在本领域中公知的及时的相继数据s1…T的递归处理的图示。基本上，LSTM节点5包括用于生成内部节点状态ht和输出yt的输入门6、遗忘门7和输出门8。如在图2b中所示，通过将多个LSTM节点与其内部节点状态ht和输出yt一起级联到后续LSTM节点的相应输入，可以形成LSTM网络的一层。
来自第一层或任何接下来的层的隐藏输出ht＝1…T可以被馈送到后续层作为输入，以形成深度多层网络。原则上，该多个层一般允许对输入的更有表达力的内部表示进行学习。
已经发现，对于基于时间步长的轨迹匹配，具有注意力图的LSTM编码器/解码器神经网络是非常适合的。这样的LSTM编码器/解码器神经网络在图3中示出，并且用于相对于例如由参考传感器2a提供的参考轨迹Tref校准待校准的传感器2b、2c、2d之一。此外，参考轨迹Tref可以由机器人等的运动驱动器的控制数据提供。换言之，如果从牵引控制或从外部观察知道机器人在其上进行移动的轨迹，则该数据可以用作参考轨迹。
图3的配置示出了具有LSTM编码器单元11的LSTM编码器/解码器神经网络10，待校准的传感器的经校准的轨迹被馈送到该LSTM编码器单元11。LSTM编码器单元11具有多个LSTM编码器小单元12，如上所述，所述多个LSTM编码器小单元12中的每一个被形成为LSTM小单元。LSTM编码器小单元12依次耦合并且被布置在多个相继的层中。
经校准的轨迹由多个及时的后续传感器读数s1…T形成，并且通过将候选校准向量(rcand，tand)(用于训练)或先前确定的校准向量(r，t)(用于经训练的系统)应用到在相应校准单元13中的不同时间实例t＝1…T的每个传感器读数值s1…T上来被获得。如上所述，在连续时间步长处的经校准的传感器读数值s'1…T的数据项被馈送到由T数目个LSTM小单元12形成的第一层。
通过LSTM小单元12的多个层传播轨迹数据，而编码器LSTM单元11的LSTM小单元的最后层的输出数据被压缩至较低维度的流形，诸如中间向量z。中间向量z由编码器LSTM单元11的最后层的最后LSTM小单元12生成。最后LSTM小单元12已经实现了函数映射输入，该函数映射输入通过将具有大小n*m的矩阵相乘而映射到较低维度的中间向量z，其中维度n是hT/yT的大小，并且其中维度m比n(原始输入维度)小得多。
最后LSTM小单元12的输出yT通过给定的非线性变换进行变换，以获得中间向量z。中间向量z被串行传送到解码器单元的第一LSTM小单元12的输入。例如，非线性变换可以是
z＝σ(wyT+b)
其使用最后LSTM小单元的输出yT，其中σ(·)是非线性的激活函数，例如sigmoid。
以上提及的投影全部通过误差反向传播而被自动计算，这是因为LSTM小单元12的权重通过计算z向量以恢复轨迹作为基础帧而被优化。
中间向量z以压缩的方式包括经校准的轨迹的数据，使得中间向量z的数据表示传感器轨迹。
中间向量z此后被供应到解码器LSTM单元14，该解码器LSTM单元14具有依次布置的T数目个LSTM小单元15的多个层。解码器LSTM单元14具有与编码器LSTM单元11相同的时间步长维度T，使得可以从中间向量z重建编码器LSTM单元11的输入处的经校准的轨迹。
在注意力图单元16中，将重建轨迹应用于注意力图，以补偿在参考轨迹Tref的时基与待校准的轨迹Tb、Tc、Td之间的时间失配。非正式地，注意力图使神经网络装备有用于聚焦于其输入的子集、即聚焦于时间步长的子集的能力。
将结果得到的重建轨迹与参考轨迹进行比较导致一误差，该误差可以用于训练校准向量、编码器和解码器函数以及注意力图。优化问题可以写为：
其中st a指示参考传感器2a的时间步长t的传感器读数值，η(r，t)指示校准向量，WT t指示注意力图，并且gencoder指示编码器函数并且fdecoder指示解码器函数。
编码器LSTM单元11和解码器LSTM单元14可以在训练阶段中通过馈送包括传感器轨迹和参考轨迹的数据批次并通过训练以上参数来被训练。特别地，第一训练阶段包括在不使用校准单元13(或者通过将它们切换到不呈现相应的参考轨迹数据)的情况下对参考轨迹的应用，以通过最小化在解码器LSTM单元14的输出处的重建误差来训练编码器和解码器函数。注意力图单元16可以在第一训练阶段中被去激活或者被激活并相对于参考轨迹没有时间偏移地被应用，并且在第二训练阶段中被激活，因为注意力图针对每对传感器轨迹和对应参考轨迹而言是输入相关的。然而，由于在第一训练阶段中，仅应用相对于其自身没有时间偏移的参考轨迹，因此注意力图可以被去激活。
在第二训练阶段中，将待校准的传感器轨迹应用在校准单元的输入上，并且编码器LSTM单元和解码器LSTM单元14以及注意力图被训练以减少重建误差。重建误差由重建轨迹(其通过使用校准单元、编码器LSTM单元、解码器LSTM单元和注意力图单元而获得)与对应参考轨迹之间的距离来确定。
两个训练阶段可以各自在多个训练周期内被交替地施行。
在图4的流程图中，描述了前面提及的机器人1的传感器系统的传感器2的校准过程。
在步骤S1中，在传感器系统的传感器2之中，选择参考传感器2a。所有其他的传感器2b、2c、2d将相对于所选的参考传感器2a被校准。
在步骤S2中，例如通过沿着随机或预定的路径移动机器人，来针对传感器2中的每一个记录轨迹。由此，可以从参考传感器2a的传感器读数获得参考轨迹Tref，并且可以从其他的传感器2b、2c、2d获得另外的传感器轨迹。可替换地，可以从沿着对应于相应参考轨迹的一个或多个已知运动路径而移动机器人1来获得传感器轨迹。选择训练轨迹的数目，使得训练轨迹数据集足以训练如上所述的LSTM编码器/解码器神经网络10。
在步骤S3中，执行第一训练阶段。其中，根据以上公式，通过最小化通过编码器LSTM单元11和解码器LSTM单元14传播每个参考轨迹的重建误差，来使用各种参考轨迹训练LSTM编码器/解码器网络10。重建误差可以例如被定义为解码器LSTM单元14的输出轨迹处的重建轨迹与参考轨迹之间的距离。由此，用于编码器函数fencoder和解码器函数gdecoder的参数可以应用常规方法、诸如通过反向传播来被训练。
在与参考轨迹相关的训练之后，在步骤S4中选择待校准的传感器2b、2c、2d之一，并且初始假设候选校准向量(r，t)(作为初始校准向量)。借助于校准单元，在将待校准的传感器2b、2c、2d的传感器轨迹的传感器读数值供应到编码器LSTM单元11的输入之前，在所述传感器读数值上应用候选校准向量。
通过经由LSTM编码器/解码器神经网络10传播经校准的传感器轨迹来施行第二训练阶段，并且在注意力图单元的输出处相应地获得重建轨迹。属于相同时间帧的重建轨迹与参考轨迹之间的重建误差用于优化针对相应的传感器2b、2c、2d的校准向量、编码器函数、解码器函数和注意力矩阵W。
在步骤S5中，检查用于相应传感器的各种传感器轨迹的训练过程是否已经完成。这可以通过应用相应的收敛标准、通过达到一迭代数目等来完成。如果训练过程尚未完成(可替换：是)，则其返回到步骤S3。否则(可替换：否)，该过程以步骤S6继续。针对各种运动路径(时间帧)、即各种传感器轨迹来重复优化的以上步骤S3、S4，对于所述各种传感器轨迹，相应(所选)传感器的传感器轨迹和相关联的参考轨迹是可用的。
在步骤S6中，检查传感器系统的接下来的传感器2是否将要被校准。如果存在待校准的接下来的传感器(可替换：是)，则该方法通过使用对应接下来的传感器的各种传感器轨迹T的步骤S3继续。否则(可替换：否)，该过程停止。
如此获得的校准向量WT t可以通过对于传感器2b、2c、2d的WT tst b，o，d的乘积而被应用在与相应校准向量WT t相关联的相应传感器的传感器读数上。
Claims (11)
1.一种用于使用编码器/解码器神经网络(10)相对于参考轨迹(Tref)来校准传感器(2)的方法，所述参考轨迹(Tref)指示多个及时的连续数据值，所述编码器/解码器神经网络(10)具有编码器函数(gencoder)和连续解码器函数(fdecoder)，所述方法包括如下步骤：
-在第一训练阶段中相对于至少一个参考轨迹(Tref)来训练编码器/解码器神经网络(10)的编码器函数(gencoder)和解码器函数(fdecoder)，使得在编码器函数(gencoder)的输入处的参考轨迹(Tref)和在解码器函数(fdecoder)的输出处的重建参考轨迹(Tref)的重建误差被最小化，
-在第二训练阶段中相对于传感器轨迹(T)来训练校准向量(WT t)，使得输出传感器轨迹(T)与对应参考轨迹(Tref)之间的重建误差被最小化，其中通过将校准向量(WT t)应用在传感器轨迹(T)上并且通过将编码器函数(gencoder)和解码器函数(fdecoder)应用在经校准的传感器轨迹上来获得输出传感器轨迹(T)；
-应用校准向量(WT t)校准传感器。
2.根据权利要求1所述的方法，其中第一和第二训练阶段各自在多个训练周期内被交替地应用，直到满足收敛标准为止。
3.根据权利要求1或2所述的方法，其中在第二训练阶段中的训练步骤包括对校准向量(WT t)、编码器/解码器神经网络(10)的编码器函数(gencoder)和解码器函数(fdecoder)的训练。
4.根据权利要求1或2所述的方法，其中在第二训练阶段中，考虑被应用在解码器函数(fdecoder)的输出传感器轨迹(T)上的注意力图，并且其中训练被配置为最小化在对其应用了注意力图的输出传感器轨迹(T)与对应参考轨迹(Tref)之间的重建误差。
5.根据权利要求1或2所述的方法，其中编码器函数(gencoder)和解码器函数(fdecoder)分别对应于编码器LSTM函数和解码器LSTM函数。
6.根据权利要求1或2所述的方法，其中编码器函数(gencoder)被配置为生成对应于较低维度流形的中间向量，并且解码器函数(fdecoder)被配置为扩展具有与解码器LSTM函数的输入轨迹相同维度的输出轨迹。
7.根据权利要求1或2所述的方法，其中待校准的传感器(2)的传感器轨迹和对应参考轨迹(Tref)与相同的时间帧相关。
8.根据权利要求1或2所述的方法，其中参考轨迹(Tref)由参考传感器(2a)获得，其中参考传感器(2a)和待校准的传感器(2)属于相同的多传感器系统。
9.一种传感器系统，包括：
-用于获得传感器轨迹(T)的多个传感器(2)；
-具有编码器函数(gencoder)和连续解码器函数(fdecoder)的编码器/解码器神经网络(10)，
-控制单元(3)，其被配置为通过以下方式相对于参考轨迹(Tref)校准所述多个传感器中的至少一个：
○在第一训练阶段中相对于至少一个参考轨迹(Tref)来训练编码器/解码器神经网络(10)的编码器函数(gencoder)和解码器函数(fdecoder)，使得在编码器函数(gencoder)的输入处的参考轨迹(Tref)和在解码器函数(fdecoder)的输出处的重建参考轨迹(Tref)的重建误差被最小化，
○在第二训练阶段中相对于传感器轨迹(T)来训练校准向量(WT t)，使得输出传感器轨迹与对应参考轨迹(Tref)之间的重建误差被最小化，其中通过将校准向量(WT t)应用在传感器轨迹(T)上并且通过将编码器函数(gencoder)和解码器函数(fdecoder)应用在经校准的传感器轨迹上来获得输出传感器轨迹(T)；以及
○应用校准向量(WT t)校准传感器(2)。
10.一种其上存储有计算机指令的计算机程序产品，当所述计算机指令被执行时，使计算机执行根据权利要求1至8中任一项的方法。
11.一种其上记录有程序的机器可读介质，其中所述程序被配置为使计算机执行根据权利要求1至8中任一项的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19176913.2 | 2019-05-28 | ||
| EP19176913.2A EP3745310A1 (en) | 2019-05-28 | 2019-05-28 | Method for calibrating a multi-sensor system using an artificial neural network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112013891A CN112013891A (zh) | 2020-12-01 |
| CN112013891B true CN112013891B (zh) | 2024-03-22 |
Family
ID=66668783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010460093.1A Active CN112013891B (zh) | 2019-05-28 | 2020-05-27 | 用于使用人工神经网络校准多传感器系统的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11415433B2 (zh) |
| EP (1) | EP3745310A1 (zh) |
| CN (1) | CN112013891B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11960294B2 (en) * | 2020-07-13 | 2024-04-16 | Naver Corporation | Self-supervised attention learning for depth and motion estimation |
| CN112985463B (zh) * | 2021-04-21 | 2021-08-03 | 智道网联科技(北京)有限公司 | 基于卷积神经网络模型的惯性测量单元标定方法及装置 |
| CN113538506A (zh) * | 2021-07-23 | 2021-10-22 | 陕西师范大学 | 基于全局动态场景信息深度建模的行人轨迹预测方法 |
| US11821754B2 (en) * | 2022-02-18 | 2023-11-21 | Qualcomm Incorporated | Sensor calibration |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100031992A (ko) * | 2008-09-17 | 2010-03-25 | 포항공과대학교 산학협력단 | 신경망과 진화연산을 이용한 로봇의 환경 지도 작성 방법 |
| CN105043433A (zh) * | 2015-08-28 | 2015-11-11 | 北京理工大学 | 一种基于神经网络的光电编码器快速补偿方法 |
| CN106461383A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 机器人臂/传感器/工作区系统的自动现场配准和校准 |
| CN107209874A (zh) * | 2014-12-16 | 2017-09-26 | 巴鲁夫公司 | 具有人工神经网络的非接触式位置/距离传感器及其操作方法 |
| CN107506333A (zh) * | 2017-08-11 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于自运动估计的视觉测距算法 |
| DE102017007765A1 (de) * | 2017-08-16 | 2018-01-25 | Daimler Ag | Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs |
| CN109142171A (zh) * | 2018-06-15 | 2019-01-04 | 上海师范大学 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
| JP2019039704A (ja) * | 2017-08-23 | 2019-03-14 | Dmg森精機株式会社 | エンコーダの校正値生成方法、エンコーダの校正値生成システム及びエンコーダ |
| CN109697476A (zh) * | 2019-02-01 | 2019-04-30 | 重庆大学 | 一种基于深度学习的x射线光子计数探测器一致性校准方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4852018A (en) * | 1987-01-07 | 1989-07-25 | Trustees Of Boston University | Massively parellel real-time network architectures for robots capable of self-calibrating their operating parameters through associative learning |
| US5428710A (en) * | 1992-06-29 | 1995-06-27 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Fast temporal neural learning using teacher forcing |
| US5930781A (en) * | 1992-10-27 | 1999-07-27 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Neural network training by integration of adjoint systems of equations forward in time |
| CN100511273C (zh) * | 2000-09-27 | 2009-07-08 | 大卫·N·雷文 | 用于建立不随传感器状态的系统性变换而变化的激励表示的自参照方法和装置 |
| US20090259609A1 (en) * | 2008-04-15 | 2009-10-15 | Honeywell International Inc. | Method and system for providing a linear signal from a magnetoresistive position sensor |
| US9754204B2 (en) * | 2013-08-05 | 2017-09-05 | Board Of Trustees Of The University Of Alabama | Systems, methods and devices for vector control of permanent magnet synchronous machines using artificial neural networks |
| US10595037B2 (en) * | 2016-10-28 | 2020-03-17 | Nec Corporation | Dynamic scene prediction with multiple interacting agents |
| US9989964B2 (en) * | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
| US10251709B2 (en) * | 2017-03-05 | 2019-04-09 | Samuel Cho | Architecture, system, and method for developing and robotically performing a medical procedure activity |
| JP6707485B2 (ja) * | 2017-03-22 | 2020-06-10 | 株式会社東芝 | 物体ハンドリング装置およびその較正方法 |
| EP3638542B1 (en) * | 2017-06-16 | 2022-01-26 | Nauto, Inc. | System and method for contextualized vehicle operation determination |
| US20200174490A1 (en) * | 2017-07-27 | 2020-06-04 | Waymo Llc | Neural networks for vehicle trajectory planning |
| US11256983B2 (en) * | 2017-07-27 | 2022-02-22 | Waymo Llc | Neural networks for vehicle trajectory planning |
| US10883844B2 (en) * | 2017-07-27 | 2021-01-05 | Waymo Llc | Neural networks for vehicle trajectory planning |
| US11143789B2 (en) * | 2017-10-11 | 2021-10-12 | Beyond Limits, Inc. | Static engine and neural network for a cognitive reservoir system |
| US11106975B2 (en) * | 2017-10-20 | 2021-08-31 | Asapp, Inc. | Fast neural network implementations by increasing parallelism of cell computations |
| JP7346401B2 (ja) * | 2017-11-10 | 2023-09-19 | エヌビディア コーポレーション | 安全で信頼できる自動運転車両のためのシステム及び方法 |
| US20190184561A1 (en) * | 2017-12-15 | 2019-06-20 | The Regents Of The University Of California | Machine Learning based Fixed-Time Optimal Path Generation |
| US10699407B2 (en) * | 2018-04-11 | 2020-06-30 | Pie Medical Imaging B.V. | Method and system for assessing vessel obstruction based on machine learning |
| US10816992B2 (en) * | 2018-04-17 | 2020-10-27 | Baidu Usa Llc | Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs) |
| WO2020069533A1 (en) * | 2018-09-29 | 2020-04-02 | Brainworks | Method, machine-readable medium and system to parameterize semantic concepts in a multi-dimensional vector space and to perform classification, predictive, and other machine learning and ai algorithms thereon |
| US11940790B2 (en) * | 2018-12-12 | 2024-03-26 | Allstate Insurance Company | Safe hand-off between human driver and autonomous driving system |
| US10919543B2 (en) * | 2019-01-30 | 2021-02-16 | StradVision, Inc. | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route |
| US20200301021A1 (en) * | 2019-03-19 | 2020-09-24 | Adva Optical Networking Se | Method and apparatus for automatic detection of antenna site conditions |
-
2019
- 2019-05-28 EP EP19176913.2A patent/EP3745310A1/en active Pending
-
2020
- 2020-05-20 US US16/879,335 patent/US11415433B2/en active Active
- 2020-05-27 CN CN202010460093.1A patent/CN112013891B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100031992A (ko) * | 2008-09-17 | 2010-03-25 | 포항공과대학교 산학협력단 | 신경망과 진화연산을 이용한 로봇의 환경 지도 작성 방법 |
| CN106461383A (zh) * | 2014-06-25 | 2017-02-22 | 微软技术许可有限责任公司 | 机器人臂/传感器/工作区系统的自动现场配准和校准 |
| CN107209874A (zh) * | 2014-12-16 | 2017-09-26 | 巴鲁夫公司 | 具有人工神经网络的非接触式位置/距离传感器及其操作方法 |
| CN105043433A (zh) * | 2015-08-28 | 2015-11-11 | 北京理工大学 | 一种基于神经网络的光电编码器快速补偿方法 |
| CN107506333A (zh) * | 2017-08-11 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于自运动估计的视觉测距算法 |
| DE102017007765A1 (de) * | 2017-08-16 | 2018-01-25 | Daimler Ag | Verfahren zur Kalibrierung von Sensoren eines Fahrzeugs |
| JP2019039704A (ja) * | 2017-08-23 | 2019-03-14 | Dmg森精機株式会社 | エンコーダの校正値生成方法、エンコーダの校正値生成システム及びエンコーダ |
| CN109142171A (zh) * | 2018-06-15 | 2019-01-04 | 上海师范大学 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
| CN109697476A (zh) * | 2019-02-01 | 2019-04-30 | 重庆大学 | 一种基于深度学习的x射线光子计数探测器一致性校准方法 |
Non-Patent Citations (1)
| Title |
|---|
| CalibNet: Geometrically Supervised Extrinsic Calibration using 3D Spatial Transformer Networks;Ganesh Iyer et al;《2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;第1110-1117页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112013891A (zh) | 2020-12-01 |
| US11415433B2 (en) | 2022-08-16 |
| US20200378793A1 (en) | 2020-12-03 |
| EP3745310A1 (en) | 2020-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112013891B (zh) | 用于使用人工神经网络校准多传感器系统的方法 | |
| CN108896047B (zh) | 分布式传感器网络协同融合与传感器位置修正方法 | |
| CN109153125A (zh) | 用于定向工业机器人的方法和工业机器人 | |
| CN111983620B (zh) | 一种面向水下机器人搜寻探摸的目标定位方法 | |
| JP2016538717A (ja) | プロセス誘起による歪みの予測、ならびにオーバーレイ誤差のフィードフォワード及びフィードバック修正 | |
| AU2018209336A1 (en) | Determining the location of a mobile device | |
| Sushchenko et al. | Processing of redundant information in airborne electronic systems by means of neural networks | |
| CN112183171A (zh) | 一种基于视觉信标建立信标地图方法、装置 | |
| CN101546433A (zh) | 跟踪处理装置、跟踪处理方法和计算机程序 | |
| CN109493389B (zh) | 一种基于深度学习的相机标定方法及系统 | |
| CN116401794B (zh) | 基于注意力引导的深度点云配准的叶片三维精确重建方法 | |
| Njima et al. | Deep learning based data recovery for localization | |
| CN111665747A (zh) | 基于推断状态对物理系统的控制 | |
| CN107403440B (zh) | 用于确定对象的姿态的方法和装置 | |
| CN112388628A (zh) | 用于训练高斯过程回归模型的设备和方法 | |
| EP3571665B1 (en) | Determining the location of a mobile device | |
| CN113160330B (zh) | 基于端到端的相机与激光雷达标定方法、系统及介质 | |
| Zhou et al. | Uncalibrated visual servoing based on Kalman filter and mixed-kernel online sequential extreme learning machine for robot manipulator | |
| KR102238472B1 (ko) | 오차 보정 방법 및 센서 시스템 | |
| CN113310505A (zh) | 传感器系统的外参标定方法、装置及电子设备 | |
| Li et al. | Performance analysis of deep learning supported Kalman filter | |
| CN116029205A (zh) | 基于本征正交分解和深度学习融合的流场重建方法 | |
| CN112991445B (zh) | 模型训练方法、姿态预测方法、装置、设备及存储介质 | |
| JPWO2018084164A1 (ja) | 動作転移装置、動作転移方法及び動作転移プログラムが格納された非一時的なコンピュータ可読媒体 | |
| CN109684771B (zh) | 基于交互式多模型的机动目标状态预测优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |