CN116558545A - 一种传感器数据的标定方法及装置 - Google Patents
一种传感器数据的标定方法及装置 Download PDFInfo
- Publication number
- CN116558545A CN116558545A CN202210112012.8A CN202210112012A CN116558545A CN 116558545 A CN116558545 A CN 116558545A CN 202210112012 A CN202210112012 A CN 202210112012A CN 116558545 A CN116558545 A CN 116558545A
- Authority
- CN
- China
- Prior art keywords
- reference system
- image
- determining
- data
- test equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000012360 testing method Methods 0.000 claims abstract description 229
- 230000033001 locomotion Effects 0.000 claims abstract description 111
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000001133 acceleration Effects 0.000 claims description 45
- 239000003550 marker Substances 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Manufacturing & Machinery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本说明书公开了一种传感器数据的标定方法及装置，获取测试设备移动过程中多个时刻的图像数据、雷达数据和惯性数据，根据惯性数据和图像数据，确定所述测试设备的运动轨迹，根据运动轨迹，确定测试设备在图像参考系下的移动速度，再根据雷达数据，确定测试设备移动过程中的多普勒速度，并将所述多普勒速度和测试设备在图像参考系下的移动速度进行配准，以对传感器数据进行标定。本方案在雷达传感器和图像传感器的采集范围不重叠时也可应用，且不需要在重叠视野范围内移动的标定物，标定过程更加方便，提高了确定传感器数据的标定效率。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种传感器数据的标定方法及装置。
背景技术
目前，随着无人驾驶技术领域的发展，无人驾驶设备的行驶安全愈发重要。而基于图像数据和雷达数据融合的障碍物检测、分类的方法，由于其检测结果、分类结果等较为准确的特点，被广泛应用于障碍物检测、分类等场景中。而图像数据和雷达数据融合的前提的对雷达传感器和图像传感器的标定。
发明内容
本说明书提供一种传感器数据的标定方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供一种传感器数据的标定方法，包括：
获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据；
根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度；
根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在所述图像参考系下的移动速度进行配准，以对所述传感器数据进行标定。
可选的，根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，具体包括：
根据所述惯性数据和所述图像数据，确定所述测试设备在惯性参考系下所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置；
根据所述各时刻分别对应的角速度、加速度和图像标记物的位置，对所述测试设备在世界参考系下的运动轨迹进行求解。
可选的，根据所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置，对所述测试设备在世界参考系下的运动轨迹进行求解，具体包括：
根据所述测试设备在世界参考系下待解的运动轨迹，确定所述多个时刻分别对应的待解的第一参数，所述第一参数用于求解所述运动轨迹；
针对所述多个时刻中的每个时刻，根据该时刻对应的待解的第一参数，确定所述世界参考系和惯性参考系之间的转换关系，以及确定所述测试设备在所述惯性参考系下的预估角速度、预估加速度和图像标记物的预估位置；
以该时刻分别对应的所述角速度和所述预估角速度、所述加速度和所述预估加速度，所述图像标记物的观测位置和预估位置相同，构建约束条件，对所述运动轨迹进行求解。
可选的，根据该时刻对应的待解的第一参数，确定世界参考系和惯性参考系之间的转换关系，以及确定所述测试设备在惯性参考系下的预估角速度、预估加速度和图像标记物的预估位置，具体包括：
根据该时刻对应的待解的第一参数中的所述测试设备的位姿，确定该时刻待解的所述世界参考系和惯性参考系之间的转换关系，其中，所述第一参数包括所述测试设备的位姿、加速度偏置、角速度偏置以及图像标记物的观测位置；
根据所述待解的转换关系、所述第一参数中待解的角速度偏置、待解的加速度偏置、待解的所述图像标记物的观测位置，分别确定所述测试设备的预估加速度、预估角速度以及图像标记物的预估位置。
可选的，根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度，具体包括：
根据所述运动轨迹，确定所述测试设备在世界参考系下所述多个时刻分别对应的速度；
根据所述多个时刻所述测试设备的位姿，确定所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系；
根据所述测试设备在世界参考系下所述多个时刻的速度、所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系以及预设的所述惯性参考系到图像参考系之间的转换关系，确定所述测试设备在所述图像参考系下所述多个时刻的移动速度。
可选的，将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，以对所述传感器数据进行标定，具体包括：
针对所述多个时刻中的每个时刻，根据获取到的雷达数据和预设的各方向分量，确定该时刻各方向分量上的多普勒速度；
根据该时刻所述测试设备在图像参考系下的移动速度、雷达参考系和所述图像参考系待解的标定关系、预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度；
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述标定关系，以对所述传感器数据进行标定。
可选的，根据该时刻所述测试设备在图像参考系下的移动速度、雷达参考系和所述图像参考系待解的标定关系、预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度，具体包括：
根据所述测试设备上设置的雷达传感器和图像传感器的内部时钟之间的待解时间差，确定该时刻所述测试设备在图像参考系下的待解的移动速度，所述待解的移动速度包含所述待解时间差；
根据该时刻所述测试设备在图像参考系下待解的移动速度、雷达参考系和所述图像参考系之间待解的转换关系，确定所述测试设备在雷达参考系下待解的移动速度；
根据预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度；
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述标定关系，具体包括：
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述转换关系和所述时间差，作为所述标定关系。
可选的，所述方法还包括：
根据确定出的所述标定关系以及采集到的传感器数据，确定各时刻分别对应的所述测试设备在所述图像参考系和所述雷达参考系中的位姿差距，并判断所述位姿差距是否大于预设的误差阈值；
若是，则确定传感器数据需要校准，并将所述传感器数据进行存储；
若否，则确定传感器数据无需校准。
本说明书提供一种传感器数据的标定装置，包括：
获取模块，用于获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据；
轨迹确定模块，用于根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度；
标定模块，用于根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，以对所述传感器数据进行标定。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述传感器数据的标定方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的传感器数据的标定方法中，获取测试设备移动过程中多个时刻的图像数据、雷达数据和惯性数据，根据惯性数据和图像数据，确定所述测试设备的运动轨迹，根据运动轨迹，确定测试设备在图像参考系下的移动速度，再根据雷达数据，确定测试设备移动过程中的多普勒速度，并将所述多普勒速度和测试设备在图像参考系下的移动速度进行配准，以对传感器数据进行标定。
从上述方法中可以看出，本方法本方案在雷达传感器和图像传感器的采集范围不重叠时，也可应用，且不需要在重叠视野范围内移动的标定物，标定过程更加方便，提高了确定传感器数据的标定效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的传感器数据的标定方法的流程示意图；
图2为本说明书提供的传感器标定的场景示意图；
图3为本说明书提供的传感器数据的标定装置的示意图；
图4为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
在传感器数据校正领域，常用的传感器数据标定方法是基于图像传感器和雷达传感器的采集范围存在重合区域实现的。
具体的，可首先控制雷达传感器和图像传感器静止，并控制标定物进行移动。然后，根据标定物移动过程中采集到的雷达数据，确定标定物在各时刻的第一位置，以及根据采集到的图像数据，确定标定物在各时刻的第二位置。最后，针对每个时刻，根据第一位置和第二位置相同的约束条件，确定雷达传感器和图像传感器的标定参数。
但是，现有技术是基于图像传感器和雷达传感器的采集范围存在重合区域实现的，若若图像传感器和雷达传感器的采集范围之间不存在重合区域时，将无法对无人驾驶设备中的图像传感器和雷达传感器的标定参数进行确定，使得现有技术的标定效率较差。
基于此，亟需一种新的传感器数据的标定方法。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的传感器数据的标定方法的流程示意图，具体包括以下步骤：
S100：获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据。
区别于现有技术中基于图像传感器和雷达传感器的采集范围存在重合区域，在重合区域内设置移动的标定物来对图像传感器和雷达传感器进行标定的方法。本说明书提供一种新的传感器数据标定方法，使得不需要设置图像传感器和雷达传感器存在重合区域，而是将雷达传感器和图像传感器设置在测试设备中，移动测试设备来确定多个时刻分别对应的图像数据、雷达数据和惯性数据。以基于多个时刻分别对应的传感器数据对各传感器数据之间的标定关系进行确定。
基于此，可首先获取测试设备移动过程中多个时刻的传感器数据，其中，该传感器数据包括：图像数据、雷达数据和惯性数据。
在本说明书提供的一个或多个实施例中，在无人驾驶设备行驶过程中，该无人驾驶设备可按照预设的频率获取传感器数据，该传感器数据为用于对传感器数据标定关系所需的数据，至少包括：图像数据、惯性数据和雷达数据。当然。该测试设备也可将采集到的校准数据发送至服务器，由服务器执行后续步骤，确定雷达传感器和图像传感器之间的标定关系。为了方便描述，后续以该测试设备执行该传感器数据的标定过程为例进行说明。
具体的，该测试设备可获取自身采集到的图像数据、惯性数据以及雷达数据。其中，该测试设备可为无人驾驶设备，也可为有人驾驶设备，还可为手持设备，则可控制测试设备移动，或手持该测试设备移动，并现在测试设备移动过程中，采集传感器数据。
另外，在本说明书中，该传感器数据的标定方法应用于在地面放置标定物，控制测试设备移动过程中，由图像传感器采集标定物的位置，由惯性传感器确定多个时刻的惯性数据以及由雷达传感器确定多个时刻的多普勒速度的场景。如图2所示。
图2为本说明书提供的传感器标定的场景示意图。图中，白色立方体为测试设备，设置在白色立方体上的三个灰色立方体分别为雷达传感器、惯性传感器和图像传感器，地面上固定有图像标记物，图像传感器可采集包含标记物的图像数据，雷达传感器可通过墙面的多普勒效应采集各个方向分量上的多普勒速度，惯性传感器可采集多个时刻对应的惯性数据。其中，图像标记物可为二维码、棋盘格等，测试设备、雷达传感器、图像传感器以及惯性传感器等都为简化形式，具体的形式以及固定方式可根据需要进行设置，本说明书对此不做限制。
需要说明的是，本说明书中的上述镀铬时刻，为连续的多个时刻，以保证可根据获取到的惯性数据和图像数据等，确定出测试设备的运动轨迹即可，不需获取测试设备移动过程中每个时刻的传感器数据。
S102：根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度。
在本说明书提供的一个或多个实施例中，在测试设备移动过程中，其在图像参考系下的运动轨迹与在雷达参考系下的运动轨迹实际上为相同轨迹，因此，若将测试设备在图像参考系下的运动轨迹和在雷达参考系下的运动轨迹进行配准，即可确定出图像参考系和雷达参考系之间的标定关系。
基于此，该测试设备可根据获取到的惯性数据和图像数据，确定自身的运动轨迹。
其中，获取到的惯性数据和图像数据为多个时刻分别对应的。其目的是基于多个时刻分别对应的惯性数据和图像数据，确定该测试设备在世界参考系下的运动轨迹。其中，该运动轨迹为测试设备移动过程中多个时刻分别对应的惯性数据和图像数据对应的，也就是说，确定出的运动轨迹不是该测试设备移动过程对应的整个轨迹，而是测试设备移动过程中获取到的多个时刻分别对应的传感器数据确定出的连续轨迹。
进一步的，由于根据雷达数据确定测试设备在雷达参考系下的轨迹所需的计算量与计算难度较大，但根据获取到的雷达数据的多普勒效应，确定测试设备的多普勒速度的计算量与计算难度都较小，因此，该测试设备可确定自身移动过程中的多普勒速度，以及自身在图像参考系下的移动速度，并将多普勒速度和移动速度配准，即可得到较为准确的标定关系。
基于此，该测试设备可根据确定出的运动轨迹，确定该测试设备在图像参考系下的移动速度。
具体的，该测试设备可根据确定出的运动轨迹，确定该测试设备多个时刻中的每个相邻时刻之间分别对应的位移，再根据该位移，确定该测试设备多个时刻分别对应的速度。
更进一步的，上述确定测试设备的运动轨迹的步骤，可如下述方法所示：
具体的，该测试设备可根据获取到的惯性数据和图像数据，确定该测试设备在惯性参考系下多个时刻分别对应的角速度、加速度和图像标记物的观测位置。
然后，该测试设备可根据多个时刻分别对应的角速度、加速度和图像标记物的观测位置，对测试设备在世界参考系下的运动轨迹进行求解。
最后，根据解算得到的运动轨迹，该测试设备可确定自身在世界参考系下的运动轨迹。
另外，由于物体的运动轨迹可由物体在多个时刻分别对应的位姿确定，因此，该测试设备可基于多个时刻分别对应的位姿，确定测试设备自身的运动轨迹。
具体的，首先，由于测试设备在多个时刻分别对应的位姿为未知量，因此，该测试设备可基于自身在多个时刻分别对应的位姿，以及自身在世界参考系下待解的运动轨迹，确定用于确定该运动轨迹的多个时刻分别对应的待解的第一参数。
然后，该测试设备可针对多个时刻中的每个时刻，根据该时刻对应的待解的第一参数，确定世界参考系和惯性参考系之间的转换关系，以及该测试设备在惯性参考系的角速度、加速度等，确定该测试设备在惯性参考系下的预估角速度、预估加速度以及图像标记物的预估位置。
最后，该服务器可以该时刻分别对应的角速度和预估角速度、加速度和预估加速度，图像标记物的观测位置和预估位置相同，构建约束条件，对该测试设备的运动轨迹进行求解。
进一步的，由于预估角速度、预估加速度以及图像标记物的预估位置都在惯性参考系中，则该测试设备需基于世界参考系和惯性参考系之间的转换关系，确定多个时刻分别对应的预估角速度、预估加速度以及图像标记物的预估位置。
具体的，该测试设备可根据该时刻对应的待解的第一参数中的该测试设备的位置和姿态，确定该时刻待解的世界参考系和惯性参考系之间的转换关系。则基于该待解的转换关系、该第一参数中待解的角速度偏置、待解的加速度偏置、待解的图像标记物的观测位置等，分别确定测试设备在惯性参考系中的预估加速度、预估角速度以及图像标记物的预估位置。
另外，上述对测试设备的运动轨迹进行解算的步骤，具体可由下述方式进行确定：
以上述构建测试设备的运动轨迹由B-样条算法建模为例，可首先构建第一参数：x＝[xq T,xp T,ba T,bw T,lT]。其中，针对多个时刻中的每个时刻，xq为该时刻测试设备在世界参考系中的姿态，xq为该时刻测试设备在世界参考系中的位置，ba为该时刻对应的加速度偏置，bw为该时刻对应的角速度偏置，l为该时刻图像标记物的观测位置，其中，图像标记物的观测位置可用图像标记物中各图像特征点的位置来表征，如，图像标记物的中心点的位置，图像标记物的边缘点的位置等。该图像标记物可为棋盘格、二维码等多种类型，且标记物的形状可为三角形、矩形、圆形、多边形等多种形状，具体的图像标记物的形状和类型可根据需要进行设置。
于是，可确定预估加速度为其中，p为预估，k为第k个时刻，/>为k时刻对应的预估加速度，/>为k时刻世界参考系到惯性参考系的旋转矩阵，/>为k时刻世界参考系到惯性参考值的平移矩阵的两次求导，即，k时刻世界参考系中测试设备的加速度，gw为当前时刻的重力加速度，由于其方向向下，因此用负号表示其方向的影响，ba为加速度的偏置。
同样的，可确定预估角速度其中，/>为k时刻对应的预估角速度，/>为k时刻世界参考系到惯性参考值的旋转矩阵的一次导数，该预估角速度具体可根据旋转矩阵导数的推导公式：/> 确定，通过反对称矩阵的特点，可确定上述预估角速度的确定公式。同样的，该测试设备还可确定图像标记物的预估位置 其中，j为图像传感器采集图像的时刻，pj代表第j时刻采集到的图像，针对每个图像采集的时刻，/>为该时刻世界参考系到图像参考系之间的平移矩阵，/>为该时刻世界参考系到图像参考系之间的平移矩阵，l为该时刻世界参考系中图像标记物的观测位置，∏()表示将括号内的内容进行归一化，w(,ζ)表示将图像参考系中的图像标记物的观测位置转换到像素参考系中，确定图像标记物所在像素的位置。其中，图像参考系为图像传感器(如，相机)对应的参考系，像素参考系为图像标记物对应的参考系，如，图像标记物的各图像特征点所在的像素的坐标等。
于是，根据上述确定出的多个时刻分别对应的预估加速度、预估角速度、图像标记物的预估位置，以及惯性参考系中的多个时刻分别对应的加速度角速度/>和图像标记物的观测位置/>可构建约束条件/> 其中，/>
即，该测试设备可基于多个时刻分别对应的预估加速度和加速度、预估角速度和角速度以及图像标记物的观测位置和预估位置之间的差异最小为约束条件，对该测试设备的第一参数进行解算，确定该测试设备的运动轨迹。
需要说明的是，上述惯性参考系到图像参考系之间的转换关系为预先确定好的。世界参考系到惯性参考系之间的旋转矩阵和平移矩阵可根据多个时刻测试设备在世界参考系中的位姿确定，具体的根据位姿确定世界参考系到惯性参考系之间的旋转矩阵和平移矩阵的方式已经是较为成熟的现有技术了，本说明书对此不再赘述。
另外，本说明书建模运动轨迹的方式还可采用贝塞尔曲线等多种建模方式，具体采用何种运动轨迹构建方式，根据多个时刻对应的惯性数据和图像数据对运动轨迹进行解算，可根据需要进行设置，本说明书对此不做限制。
S104：根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，以对所述传感器数据进行标定。
在本说明书提供的一个或多个实施例中，如前所述的，该测试设备可基于该多普勒速度和移动速度，对图像参考系和雷达参考系的转换关系进行求解。因此，该测试设备可确定各方向分量上的多普勒速度。
具体的，该测试设备可针对多个时刻中的每个时刻，根据获取到的雷达数据和预设的雷达的各方向分量，确定该测试设备在各方向分量上的多普勒速度。
其中，针对每个方向分量，该方向分量由俯仰角和方位角构成，则该方向分量上的多普勒速度为该俯仰角和方位角对应的多普勒速度。如，假设方向分量为俯仰角为30°，方位角为60°组成的，则该方向分量上的多普勒速度为俯仰角为30°，方位角为60°对应的速度分量。
需要说明的是，上述多普勒速度为雷达传感器根据多普勒效应确定出的，也就是说，针对每个方向分量，该方向分量上的多普勒速度可测量得到。
进一步的，由于多普勒速度为静止物体相对于测试设备的移动速度，则该多普勒速度与测试设备的移动速度为方向相反、大小相等的速度，因此，在确定出多普勒速度的情况下，该服务器可将多普勒速度和测试设备在图像参考系下的移动速度进行配准，确定雷达参考系和图像参考系之间的标定关系。
具体的，该测试设备可根据多个时刻移动速度的方向，将各方向分量上的多普勒速度确定为该测试设备与移动速度方向相同的多普勒速度，进而将该多普勒速度和移动速度配准，确定该雷达参考系和所述图像参考系之间的标定关系。
于是，在确定出图像传感器和雷达传感器之间的标定关系后，该测试设备可根据确定出的标定关系，对获取到的传感器数据进行标定。如，根据标定关系，将获取到的传感器数据中的雷达数据，转换到图像参考系中，执行目标物识别等步骤，再根据识别结果等，确定测试设备的运动策略等。
当然，在确定出标定关系之后，还可将该标定关系用于障碍物检测、障碍物分类等多种场景，该标定关系的具体应用可根据需要进行设置，本说明书对此不做限制。
其中，该标定的传感器数据，可为测试设备该次移动过程中采集到的传感器数据，也可为测试设备后续移动时候采集到的传感器数据。当然，还可为与测试设备结构类似的无人设备在执行配送任务等过程中采集到的传感器数据。具体对何种传感器数据进行标定可根据需要进行设置，本说明书对此不做限制。
更进一步的，由于雷达参考系和所述图像参考系之间的标定关系是待解的，因此，根据测试设备在图像参考系下的移动速度的方向，确定出的测试设备在雷达参考系下的移动速度的方向可能存在误差。
基于此，该服务器可以多普勒速度的各方向分量为准，根据预设的各方向分量，确定测试设备在各移动方向分量上的移动速度，再以各方向分量上的移动速度和各方向分量上的多普勒速度之间的差距最小，对标定关系进行求解。
具体的，该测试设备可根据步骤S102中确定出的测试设备在世界参考系中的运动轨迹，确定多个时刻图像参考系下该测试设备的移动速度。
然后，针对多个时刻中的每个时刻，该测试设备可基于该图像参考系与雷达参考系之间待解的标定关系以及图像参考系下该测试设备的移动速度，确定雷达参考系下各方向分量上待解的移动速度。其中，该待解的移动速度中包含有待解的标定关系。该标定关系至少包括图像参考系与雷达参考系之间的旋转矩阵和平移矩阵。
最后，该测试设备可对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，以解算该标定关系。其中，配准方法可为以各方向分量上的待解的移动速度和多普勒速度差距最小为优化目标，对优化目标进行解算。
另外，上述对测试设备待解的移动速度和多普勒速度进行解算的步骤，具体可由下述方式进行确定：
具体的，通过可确定测试设备在图像参考下下的移动速度。其中，/>为i时刻测试设备在图像参考系下的移动速度，/>为i时刻世界参考系到图像参考系之间的旋转矩阵，vw(ti)为i时刻世界参考系下测试设备的移动速度，可通过该时刻的测试设备的位移变化量的一阶导数确定。/>可根据i时刻的世界参考系到惯性参考系的转换关系，以及预先确定的惯性参考系到图像参考系之间的转换关系确定。
则根据待解的图像参考系与雷达参考系之间的标定关系，可确定该时刻雷达参考系下待解的移动速度其中，vr(ti)为i时刻雷达参考系下测试设备的移动速度，/>为i时刻雷达参考系到图像参考系之间的旋转矩阵，wc(ti)标识i时刻测试设备在图像参考系中的角速度，/>代表反对称矩阵，/>为i时刻图像参考系到雷达参考系之间的平移矩阵。
然后，该测试设备可根据预设的各方向分量，确定雷达参考系下各方向分量上待解的移动速度则根据步骤S104确定的多普勒速度，可确定下述代价函数：/>其中，/>为俯仰角，θ为方位角。
则使代价函数最小为目标，即对雷达参考系到图像参考系之间的转换关系进行求解。
进一步的，由于雷达传感器到图像传感器其内部有自身的时钟系统，因此，在确定标定关系时，还可确定雷达传感器内部时钟系统和图像传感器内部时钟系统之间的时间差。
具体的，针对该测试设备在雷达参考系下的多个时刻中的每个时刻ts，根据测试设备上设置的雷达传感器的内部时钟和图像传感器的内部时钟之间待解的时间差td，确定该时刻该测试设备在图像参考系下的移动速度，即，ti＝ts-td时刻的移动速度。
其次，该测试设备可根据该时刻该测试设备在图像参考系下的移动速度、雷达参考系和该图像参考系待解的转换关系，确定该测试设备在雷达参考系下待解的移动速度
然后，该测试设备可根据预设的各方向分量，确定该测试设备在各方向分量上待解的移动速度。
最后，对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算该转换关系和该时间差，并将解算得到的该转换关系和该时间差作为该标定关系。其中，td为雷达传感器内部时钟系统和图像传感器内部时钟系统之间的时间差。
其中，图像参考系下测试设备待解的移动速度包含有待解的时间差，在有时间差的情况下，雷达参考系下测试设备待解的移动速度中包含待解的时间差，以及待解的图像参考系和雷达参考系之间的待解的旋转矩阵的平移矩阵。
基于图1提供的传感器数据的标定方法，获取测试设备移动过程中多个时刻的图像数据、雷达数据和惯性数据，根据惯性数据和图像数据，确定所述测试设备的运动轨迹，根据运动轨迹，确定测试设备在图像参考系下的移动速度，再根据雷达数据，确定测试设备移动过程中的多普勒速度，并将所述多普勒速度和测试设备在图像参考系下的移动速度进行配准，以对传感器数据进行标定。本方案在雷达传感器和图像传感器的采集范围不重叠时也可应用，且不需要在重叠视野范围内移动的标定物，标定过程更加方便，提高了确定传感器数据的标定效率。
另外，由于测试设备抖动等因素的影响，可能出现图像传感器和雷达传感器之间的位置关系发生变化的情况，因此，该测试设备在移动过程中，还可判断是否需要重新确定标定关系。
具体的，该测试设备可根据确定出的标定关系以及采集到的传感器数据，确定多个时刻分别对应的测试设备在图像参考系和雷达参考系中的位姿差距，并判断该位姿差距是否大于预设的误差阈值。若是，则该测试设备可确定传感器数据需要校准，并将所述传感器数据进行存储。若否，则该测试设备可确定传感器数据无需校准。
当然，为了避免出现较大差距时仍需采集一段时间的传感器数据才能进行标定，使得标定效率较低的情况，该测试设备还可将预设时长内的传感器数据进行存储，并在位姿差距大于预设的误差阈值时，根据预存的预设时长的传感器数据确定标定关系。具体的预设时长可根据需要进行设置，本说明书对此不做限制。
进一步的，在测试设备移动过程中，还可能出现测试设备抖动等情况导致确定出位姿差异较大的情况。而通常测试设备抖动的情况会在较短时间内消失。因此，为了提高判断结果的准确性，该测试设备还可将位姿差异大于误差阈值的次数进行记录。并当位姿差异小于误差阈值时，认为该标定关系仍然正确。则当该位姿差异大于误差阈值的次数到达预设的次数阈值时，认为确定出的该标定关系不再可靠。
另外，在确定出标定关系后，该测试设备可根据获取到的传感器数据和标定关系，确定点云数据以及点云数据在在所述图像参考系下的投影，进而将该投影和所述传感器数据中的图像数据进行融合，确定融合结果，并对融合结果进行障碍物检测，确定障碍物的位置。
当然，上述融合图像数据和点云数据确定障碍物位置的方式，仅为标定关系的用途之一，在确定出标定关系之后，还可将该标定关系用于障碍物检测、障碍物分类等多种场景，该标定关系的具体应用可根据需要进行设置，本说明书对此不做限制。
以上为本说明书的一个或多个实施例提供的传感器数据的标定方法，基于同样的思路，本说明书还提供了相应的传感器数据的标定装置，如图3所示。
图3为本说明书提供的传感器数据的标定装置，包括：
获取模块200，用于获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据。
轨迹确定模块202，用于根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度。
标定模块204，用于根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，确定雷达参考系和所述图像参考系之间的标定关系，以对所述传感器数据进行标定。
可选地，所述轨迹确定模块202，用于根据所述惯性数据和所述图像数据，确定所述测试设备在惯性参考系下所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置，根据所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置，对所述测试设备在世界参考系下的运动轨迹进行求解。
可选地，所述轨迹确定模块202，用于根据所述测试设备在世界参考系下待解的运动轨迹，确定所述多个时刻分别对应的待解的第一参数，所述第一参数用于求解所述运动轨迹，针对所述多个时刻中的每个时刻，根据该时刻对应的待解的第一参数，确定所述世界参考系和惯性参考系之间的转换关系，以及确定所述测试设备在所述惯性参考系下的预估角速度、预估加速度和图像标记物的预估位置，以该时刻分别对应的所述角速度和所述预估角速度、所述加速度和所述预估加速度，所述图像标记物的观测位置和预估位置相同，构建约束条件，对所述运动轨迹进行求解。
可选地，所述轨迹确定模块202，用于根据所述运动轨迹，确定所述测试设备在世界参考系下所述多个时刻分别对应的速度，根据所述多个时刻所述测试设备的位姿，确定所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系，根据所述测试设备在世界参考系下所述多个时刻的速度、所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系以及预设的所述惯性参考系到图像参考系之间的转换关系，确定所述测试设备在所述图像参考系下所述多个时刻的移动速度。
可选地，所述轨迹确定模块202，用于针对所述多个时刻中的每个时刻，根据获取到的雷达数据和预设的各方向分量，确定该时刻各方向分量上的多普勒速度，根据该时刻所述测试设备在图像参考系下的移动速度、雷达参考系和所述图像参考系待解的标定关系、预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度，对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述标定关系，以对所述传感器数据进行标定。
可选地，所述标定模块204，用于根据所述测试设备上设置的雷达传感器和图像传感器的内部时钟之间的待解时间差，确定该时刻所述测试设备在图像参考系下的待解的移动速度，所述待解的移动速度包含所述待解时间差，根据该时刻所述测试设备在图像参考系下待解的移动速度、雷达参考系和所述图像参考系之间待解的转换关系，确定所述测试设备在雷达参考系下待解的移动速度，根据预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度，对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述转换关系和所述时间差，作为所述标定关系。
可选地，所述标定模块204，用于根据确定出的所述标定关系以及采集到的传感器数据，确定各时刻分别对应的所述测试设备在所述图像参考系和所述雷达参考系中的位姿差距，并判断所述位姿差距是否大于预设的误差阈值，若是，则确定传感器数据需要校准，并将所述传感器数据进行存储，若否，则确定传感器数据无需校准。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的传感器数据的标定方法。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的传感器数据的标定方法。
本说明书还提供了图4所示的电子设备的示意结构图。如图4所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的传感器数据的标定方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (11)
1.一种传感器数据的标定方法，其特征在于，所述方法包括：
获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据；
根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度；
根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在所述图像参考系下的移动速度进行配准，以对所述传感器数据进行标定。
2.如权利要求1所述的方法，其特征在于，根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，具体包括：
根据所述惯性数据和所述图像数据，确定所述测试设备在惯性参考系下所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置；
根据所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置，对所述测试设备在世界参考系下的运动轨迹进行求解。
3.如权利要求2所述的方法，其特征在于，根据所述多个时刻分别对应的角速度、加速度和图像标记物的观测位置，对所述测试设备在世界参考系下的运动轨迹进行求解，具体包括：
根据所述测试设备在世界参考系下待解的运动轨迹，确定所述多个时刻分别对应的待解的第一参数，所述第一参数用于求解所述运动轨迹；
针对所述多个时刻中的每个时刻，根据该时刻对应的待解的第一参数，确定所述世界参考系和惯性参考系之间的转换关系，以及确定所述测试设备在所述惯性参考系下的预估角速度、预估加速度和图像标记物的预估位置；
以该时刻分别对应的所述角速度和所述预估角速度、所述加速度和所述预估加速度，所述图像标记物的观测位置和预估位置相同，构建约束条件，对所述运动轨迹进行求解。
4.如权利要求3所述的方法，其特征在于，根据该时刻对应的待解的第一参数，确定世界参考系和惯性参考系之间的转换关系，以及确定所述测试设备在惯性参考系下的预估角速度、预估加速度和图像标记物的预估位置，具体包括：
根据该时刻对应的待解的第一参数中的所述测试设备的位姿，确定该时刻待解的所述世界参考系和惯性参考系之间的转换关系，其中，所述第一参数包括所述测试设备的位姿、加速度偏置、角速度偏置以及图像标记物的观测位置；
根据所述待解的转换关系、所述第一参数中待解的角速度偏置、待解的加速度偏置、待解的所述图像标记物的观测位置，分别确定所述测试设备的预估加速度、预估角速度以及图像标记物的预估位置。
5.如权利要求2所述的方法，其特征在于，根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度，具体包括：
根据所述运动轨迹，确定所述测试设备在世界参考系下所述多个时刻分别对应的速度；
根据所述多个时刻所述测试设备的位姿，确定所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系；
根据所述测试设备在世界参考系下所述多个时刻的速度、所述多个时刻分别对应的所述世界参考系和所述惯性参考系的转换关系以及预设的所述惯性参考系到图像参考系之间的转换关系，确定所述测试设备在所述图像参考系下所述多个时刻的移动速度。
6.如权利要求1所述的方法，其特征在于，将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，以对所述传感器数据进行标定，具体包括：
针对所述多个时刻中的每个时刻，根据获取到的雷达数据和预设的各方向分量，确定该时刻各方向分量上的多普勒速度；
根据该时刻所述测试设备在图像参考系下的移动速度、雷达参考系和所述图像参考系待解的标定关系、预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度；
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述标定关系，以对所述传感器数据进行标定。
7.如权利要求6所述的方法，其特征在于，根据该时刻所述测试设备在图像参考系下的移动速度、雷达参考系和所述图像参考系待解的标定关系、预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度，具体包括：
根据所述测试设备上设置的雷达传感器和图像传感器的内部时钟之间的待解时间差，确定该时刻所述测试设备在图像参考系下的待解的移动速度，所述待解的移动速度包含所述待解时间差；
根据该时刻所述测试设备在图像参考系下待解的移动速度、雷达参考系和所述图像参考系之间待解的转换关系，确定所述测试设备在雷达参考系下待解的移动速度；
根据预设的各方向分量，确定所述测试设备在各方向分量上待解的移动速度；
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述标定关系，具体包括：
对各方向分量上待解的移动速度和各方向分量上的多普勒速度进行配准，解算所述转换关系和所述时间差，作为所述标定关系。
8.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据确定出的所述标定关系以及采集到的传感器数据，确定各时刻分别对应的所述测试设备在所述图像参考系和所述雷达参考系中的位姿差距，并判断所述位姿差距是否大于预设的误差阈值；
若是，则确定传感器数据需要校准，并将所述传感器数据进行存储；
若否，则确定传感器数据无需校准。
9.一种传感器数据的标定装置，其特征在于，所述装置包括：
获取模块，用于获取测试设备移动过程中多个时刻的传感器数据，所述传感器数据至少包括图像数据、雷达数据和惯性数据；
轨迹确定模块，用于根据所述惯性数据和所述图像数据，确定所述测试设备的运动轨迹，并根据所述运动轨迹，确定所述测试设备在图像参考系下的移动速度；
标定模块，用于根据所述雷达数据，确定所述测试设备移动过程中的多普勒速度，并将所述多普勒速度和所述测试设备在图像参考系下的移动速度进行配准，以对所述传感器数据进行标定。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～8任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～8任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210112012.8A CN116558545A (zh) | 2022-01-29 | 2022-01-29 | 一种传感器数据的标定方法及装置 |
| PCT/CN2023/072107 WO2023143132A1 (zh) | 2022-01-29 | 2023-01-13 | 传感器数据的标定 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210112012.8A CN116558545A (zh) | 2022-01-29 | 2022-01-29 | 一种传感器数据的标定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116558545A true CN116558545A (zh) | 2023-08-08 |
Family
ID=87470484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210112012.8A Pending CN116558545A (zh) | 2022-01-29 | 2022-01-29 | 一种传感器数据的标定方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116558545A (zh) |
| WO (1) | WO2023143132A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200178A1 (en) * | 2018-04-12 | 2019-10-17 | FLIR Belgium BVBA | Adaptive doppler radar systems and methods |
| CN110782496B (zh) * | 2019-09-06 | 2022-09-09 | 深圳市道通智能航空技术股份有限公司 | 标定方法、装置、航拍设备和存储介质 |
| CN112815939B (zh) * | 2021-01-04 | 2024-02-23 | 清华大学深圳国际研究生院 | 移动机器人的位姿估计方法及计算机可读存储介质 |
| CN113091771B (zh) * | 2021-04-13 | 2022-09-23 | 清华大学 | 一种激光雷达-相机-惯导联合标定方法及系统 |
| CN113643321A (zh) * | 2021-07-30 | 2021-11-12 | 北京三快在线科技有限公司 | 一种无人驾驶设备的传感器数据采集方法及装置 |
| CN113655453B (zh) * | 2021-08-27 | 2023-11-21 | 阿波罗智能技术(北京)有限公司 | 用于传感器标定的数据处理方法、装置及自动驾驶车辆 |
| CN113933818A (zh) * | 2021-11-11 | 2022-01-14 | 阿波罗智能技术(北京)有限公司 | 激光雷达外参的标定的方法、设备、存储介质及程序产品 |
-
2022
- 2022-01-29 CN CN202210112012.8A patent/CN116558545A/zh active Pending
-
2023
- 2023-01-13 WO PCT/CN2023/072107 patent/WO2023143132A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023143132A1 (zh) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111522026B (zh) | 一种数据融合的方法及装置 | |
| CN111238450B (zh) | 视觉定位方法及装置 | |
| CN111288971B (zh) | 一种视觉定位方法及装置 | |
| CN111062372B (zh) | 一种预测障碍物轨迹的方法及装置 | |
| CN111192303B (zh) | 一种点云数据处理方法及装置 | |
| CN113674424B (zh) | 一种电子地图绘制的方法及装置 | |
| CN116740361A (zh) | 一种点云分割方法、装置、存储介质及电子设备 | |
| CN112907745B (zh) | 一种数字正射影像图生成方法及装置 | |
| CN112861831A (zh) | 一种目标物的识别方法、装置、存储介质及电子设备 | |
| CN112362084A (zh) | 一种数据标定方法、装置及数据标定系统 | |
| CN111798489B (zh) | 一种特征点跟踪方法、设备、介质及无人设备 | |
| CN116176603A (zh) | 一种车辆航向角的确定方法、装置及设备 | |
| CN116558545A (zh) | 一种传感器数据的标定方法及装置 | |
| CN116385999A (zh) | 一种停车位的识别方法、装置及设备 | |
| CN116300842A (zh) | 一种无人设备控制方法、装置、存储介质及电子设备 | |
| CN113643321A (zh) | 一种无人驾驶设备的传感器数据采集方法及装置 | |
| CN116740197B (zh) | 一种外参的标定方法、装置、存储介质及电子设备 | |
| CN114322987B (zh) | 一种构建高精地图的方法及装置 | |
| CN115690231A (zh) | 一种基于多目视觉的定位方法 | |
| CN114706048A (zh) | 雷达和摄像头联合标定的校准方法及装置 | |
| CN113888624B (zh) | 一种构建地图的方法及装置 | |
| CN117333508A (zh) | 一种目标跟踪方法、装置、设备及介质 | |
| CN117994351A (zh) | 一种相机外参标定方法、装置、设备和可读介质 | |
| CN116977446A (zh) | 一种多相机小目标识别、联合定位方法和系统 | |
| CN117333552A (zh) | 一种图像采集设备的标定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |