CN109712189A - 一种传感器联合标定的方法和装置 - Google Patents
一种传感器联合标定的方法和装置 Download PDFInfo
- Publication number
- CN109712189A CN109712189A CN201910232800.9A CN201910232800A CN109712189A CN 109712189 A CN109712189 A CN 109712189A CN 201910232800 A CN201910232800 A CN 201910232800A CN 109712189 A CN109712189 A CN 109712189A
- Authority
- CN
- China
- Prior art keywords
- sensor
- coordinate conversion
- conversion matrix
- posture information
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 672
- 239000011159 matrix material Substances 0.000 claims abstract description 632
- 238000004422 calculation algorithm Methods 0.000 claims description 135
- 230000007704 transition Effects 0.000 claims description 111
- 238000004364 calculation method Methods 0.000 claims description 72
- 238000013136 deep learning model Methods 0.000 claims description 68
- 238000013135 deep learning Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 abstract description 5
- 230000036544 posture Effects 0.000 description 305
- 238000010586 diagram Methods 0.000 description 11
- 230000002068 genetic effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本发明公开了一种传感器联合标定的方法和装置，用以解决现有技术中存在异构传感器联合标定精度差的问题。具体实施中，在根据多个不同类型的传感器采集的位姿信息确定出每两个传感器之间的坐标转换矩阵之后，还将依据确定的多个传感器之间的坐标转换矩阵之间的位姿一致性进行验证，只有验证通过的坐标转换矩阵才确定为最终确定的坐标转换矩阵，基于此，本发明实施例在进行传感器联合标定时，由于对确定出的各个传感器之间的坐标转换矩阵进行了联合验证，进而提高传感器联合标定精度。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种传感器联合标定的方法和装置。
背景技术
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
目前传感器标定是一种常见的应用于计算机视觉领域的物体标定技术，通常先采用传感器获取包含目标物体的位姿信息，再根据采集的位姿信息对目标物体进行标定。一般分为单传感器自标定和多传感器联合标定两种，多传感器联合标定又分为同构传感器联合标定和异构传感器联合标定两种，单传感器自标定的目的是为了确保传感器的实际参数与标称参数相符合，进而确保感知数据的准确性，多传感器联合标定的目的是为了计算不同传感器间的相对位置和姿态，进而确保感知目标匹配的正确性。异构传感器由于在采集原理、采集方式、采集频率、数据属性等方面都可能存在较大差异，导致数据不具有可比性，因此在多传感器联合标定中，异构传感器联合标定的难度更大。
异构传感器联合标定是智能驾驶车辆正确感知外界的先决条件，目前的异构传感器联合标定主要依靠直接测量，没有统一的标定方法；且现有的少数几种传感器间的联合标定也普遍存在标定精度差、适用范围窄等问题。
综上所述，现有技术中存在异构传感器联合标定精度差的问题。
发明内容
本发明提供一种传感器联合标定的方法和装置，用以解决现有技术中存在异构传感器联合标定精度差的问题。
第一方面，本发明实施例提供一种传感器联合标定的方法，该方法包括：
获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
上述方法，获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。如此，在根据多个不同类型的传感器采集的位姿信息确定出每两个传感器之间的坐标转换矩阵之后，还将依据确定的任意三个传感器之间的坐标转换矩阵之间的位姿一致性进行验证，只有验证通过的坐标转换矩阵才确定为最终确定的坐标转换矩阵，基于此，本发明实施例在进行传感器联合标定时，由于对确定出的各个传感器之间的坐标转换矩阵进行了联合验证，进而提高传感器联合标定精度。
在一种可能的实施方式中，在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵。
上述方法，在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵； 在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵。如此，在进行多传感器进行联合标定时，根据多个不同类型的传感器采集的位姿信息确定出每两个传感器之间的坐标转换矩阵之后，依据确定的任意三个传感器之间的坐标转换矩阵之间的位姿一致性进行联合验证，且没有通过验证后，将对进行联合验证的传感器之间的坐标转换矩阵中的转换参数进行调整，直至验证通过，因此在验证不通过的情况下，本发明实施例还提供了进一步优化的方法，可以使得传感器联合标定精度得到提高。
在一种可能的实施方式中，所述第一坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵；
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
上述方法，在确定第一坐标转换矩阵时，首先需要利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵，随后再利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。如此，在根据第一传感器和第二传感器采集的针对同一目标物体的位姿信息确定出第一传感器与第二传感器之间的初步第一坐标转换矩阵后，还将利用深度学习算法对确定出的初步第一坐标转换矩阵进行优化，提高第一传感器和第二传感器之间的第一坐标转换矩阵的精度。
在一种可能的实施方式中，所述利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵，包括：
在所述第一传感器采集的多组位姿信息中选取第一位姿信息，在所述第二传感器采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第一坐标转换矩阵，将所述第一位姿信息转换到目标坐标系下，并确定转换后的第一位姿信息与所述第二位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
上述方法，给出了利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵的具体实现方式。
在一种可能的实施方式中，所述第二坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵；
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
上述方法，在确定第二坐标转换矩阵时，首先需要利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵，随后再利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。如此，在根据第一传感器和第三传感器采集的针对同一目标物体的位姿信息确定出第一传感器与第三传感器之间的初步第二坐标转换矩阵后，还将利用深度学习算法对确定出的初步第二坐标转换矩阵进行优化，提高第一传感器和第三传感器之间的第二坐标转换矩阵的精度。
在一种可能的实施方式中，所述利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵，包括：
在所述第一传感器采集的多组位姿信息中选取第三位姿信息，在所述第三传感器采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第二坐标转换矩阵，将所述第三位姿信息转换到目标坐标系下，并确定转换后的第三位姿信息与所述第四位姿信息之间的位姿误差，其中，所述目标坐标系为所述第三传感器对应的坐标系；
以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
上述方法，给出了利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵的具体实现方式。
在一种可能的实施方式中，所述方法还包括：所述第三坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵；
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
上述方法，在确定第三坐标转换矩阵时，首先需要利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵，随后再利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。如此，在根据第三传感器和第二传感器采集的针对同一目标物体的位姿信息确定出第三传感器与第二传感器之间的初步第三坐标转换矩阵后，还将利用深度学习算法对确定出的初步第三坐标转换矩阵进行优化，提高第三传感器和第二传感器之间的第三坐标转换矩阵的精度。
在一种可能的实施方式中，所述利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵，包括：
在所述第三传感器采集的多组位姿信息中选取第五位姿信息，在所述第二传感器采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第三坐标转换矩阵，将所述第五位姿信息转换到目标坐标系下，并确定转换后的第五位姿信息与所述第六位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
上述方法，给出了利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵的具体实现方式。
在一种可能的实施方式中，所述方法还包括：
根据当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定当前时刻的所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述当前时刻的演算转换矩阵与当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵不一致时，调整当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵、当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵和调整后的当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵一致时，将调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的当前时刻的所述第三传感器和所述第二传感器之间坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
上述方法，在利用深度学习算法和图优化的方式得到准确的进行传感器联合标定的各个传感器之间的坐标转换矩阵后，将得到的进行传感器联合标定的各个传感器之间的坐标转换矩阵运用到实际的作业领域中。此时，在具体使用过程中，各个传感器的位置均可能发生移动，故在使用过程中还需要在线检测修正，基于此，本发明实施例还提出了一种传感器联合标定的在线修正方案。
第二方面，本发明实施例还提供一种传感器联合标定的装置，该装置包括：
至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：
获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
在一种可能的实施方式中，所述处理单元还用于：
在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
在一种可能的实施方式中，所述处理单元还用于：
所述第一坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵；
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
在一种可能的实施方式中，所述处理单元具体用于：
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第一位姿信息，在所述第二传感器采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第一坐标转换矩阵，将所述第一位姿信息转换到目标坐标系下，并确定转换后的第一位姿信息与所述第二位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
在一种可能的实施方式中，所述处理单元还用于：
所述第二坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵；
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
在一种可能的实施方式中，所述处理单元具体用于：
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第三位姿信息，在所述第三传感器采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第二坐标转换矩阵，将所述第三位姿信息转换到目标坐标系下，并确定转换后的第三位姿信息与所述第四位姿信息之间的位姿误差，其中，所述目标坐标系为所述第三传感器对应的坐标系；
以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
在一种可能的实施方式中，所述处理单元还用于：
所述第三坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵；
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
在一种可能的实施方式中，所述处理单元具体用于：
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵时，在所述第三传感器采集的多组位姿信息中选取第五位姿信息，在所述第二传感器采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第三坐标转换矩阵，将所述第五位姿信息转换到目标坐标系下，并确定转换后的第五位姿信息与所述第六位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
在一种可能的实施方式中，所述处理单元还用于：
根据当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定当前时刻的所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述当前时刻的演算转换矩阵与当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵不一致时，调整当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵、当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵和调整后的当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵一致时，将调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的当前时刻的所述第三传感器和所述第二传感器之间坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
第三方面，本发明实施例还提供一种传感器联合标定的装置，该装置包括：
获取模块、第一坐标转换矩阵确定模块、演算转换矩阵确定模块以及第二坐标转换矩阵确定模块，该装置具有实现上述第一方面的各实施例的功能。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供一种传感器联合标定的方法的流程示意图；
图2为本发明实施例提供利用深度学习算法优化初步坐标转换矩阵的流程示意图；
图3为本发明实施例提供同时标定并优化的一种传感器联合标定的方法的离线部分的流程示意图；
图4为本发明实施例提供第一种传感器联合标定的装置的结构示意图；
图5为本发明实施例提供第二种传感器联合标定的装置的结构示意图。
具体实施方式
人类正在进入信息时代，计算机将越来越广泛地进入几乎所有领域。一方面是更多未经计算机专业训练的人也需要应用计算机，而另一方面是计算机的功能越来越强，使用方法越来越复杂。这就使人在进行交谈和通讯时的灵活性与在使用计算机时所要求的严格和死板之间产生了尖锐的矛盾。人可通过视觉和听觉，语言与外界交换信息，并且可用不同的方式表示相同的含义，而计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。为使更多的人能使用复杂的计算机，必须改变过去的那种让人来适应计算机，来死记硬背计算机的使用规则的情况。而是反过来让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这时计算机必须具有逻辑推理和决策的能力。具有上述能力的计算机就是智能计算机。
智能计算机不但使计算机更便于为人们所使用，同时如果用这样的计算机来控制各种自动化装置特别是智能机器人，就可以使这些自动化系统和智能机器人具有适应环境，和自主做出决策的能力。这就可以在各种场合取代人的繁重工作，或代替人到各种危险和恶劣环境中完成任务。
计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
目前传感器标定是一种常见的应用于计算机视觉领域的物体标定技术，通常先采用传感器获取包含目标物体的位姿信息，再根据采集的位姿信息对目标物体进行标定。一般分为单传感器自标定和多传感器联合标定两种，多传感器联合标定又分为同构传感器联合标定和异构传感器联合标定两种，单传感器自标定的目的是为了确保传感器的实际参数与标称参数相符合，进而确保感知数据的准确性，多传感器联合标定的目的是为了计算不同传感器间的相对位置和姿态，进而确保感知目标匹配的正确性。异构传感器由于在采集原理、采集方式、采集频率、数据属性等方面都可能存在较大差异，导致数据不具有可比性，因此在多传感器联合标定中，异构传感器联合标定的难度更大。
为了提高异构传感器联合标定的精度，本申请中提供一种传感器联合标定的方法，通过对多个传感器中各个传感器之间的坐标转换矩阵进行联合优化，以提高传感器联合标定精度。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种传感器联合标定的方法，该方法包括：
步骤100，获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
步骤101，利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
步骤102，根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
步骤103，在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
具体实施中，获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。如此，在根据多个不同类型的传感器采集的位姿信息确定出每两个传感器之间的坐标转换矩阵之后，还将依据确定的任意三个传感器之间的坐标转换矩阵之间的位姿一致性进行验证，只有验证通过的坐标转换矩阵才确定为最终确定的坐标转换矩阵，基于此，本发明实施例在进行传感器联合标定时，由于对确定出的各个传感器之间的坐标转换矩阵进行了联合验证，进而提高传感器联合标定精度。
其中，第一传感器、第二传感器以及第三传感器分别指代不同类型的传感器，如相机、激光雷达、毫米波雷达等等，且第一传感器、第二传感器以及第三传感器只是为了表述清楚本发明的方案而使用的代词，不对传感器数目或者种类进行限定。
在本发明实施例中涉及到的传感器联合标定的方案中涉及到至少有三种类型的传感器，且具体实施时进行传感器联合标定的传感器种类和数目可以依据具体需求而定。
本发明实施例中仅以常见的三种类型传感器，且每个传感器仅有一个为例进行说明，假设进行传感器联合标定的三种类型的传感器为相机、激光雷达以及毫米波雷达。
在具体实施中，首先需要分别采用相机、激光雷达以及毫米波雷达采集大量物体位姿信息，以确定相机-激光雷达之间的坐标转换矩阵、激光雷达-毫米波雷达之间的坐标转换矩阵以及相机-毫米波雷达之间的坐标转换矩阵。
假设以激光雷达为第一传感器、以相机为第二传感器，并以毫米波雷达为第三传感器为例进行说明。
具体实施中，首先需要获取用于确定进行传感器联合标定的针对目标物体的位姿信息。
步骤一，获取相机、激光雷达以及毫米波雷达针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述相机、激光雷达以及毫米波雷达针对所述目标物体的每一姿态采集至少一组位姿信息。
如此，才能依据传感器采集的目标物体的位姿信息进行传感器联合标定，并对确定出的传感器间的坐标转换关系进行优化。
例如，在通过相机、激光雷达以及毫米波雷达对物体标定时，首先在相机、激光雷达以及毫米波雷达的共同感知范围内以一个位姿放置需要采集位姿信息的目标物体（如棋盘标定板），随后分别用相机、激光雷达以及毫米波雷达采集针对该目标物体当前位姿的至少一组的位姿信息；
随后改变目标物体的位姿，再次利用相机、激光雷达以及毫米波雷达采集针对该目标物体当前位姿的至少一组位姿信息，如此循环多次，以获取到足够多的目标物体的位姿信息。
其中，相机、激光雷达以及毫米波雷达的共同感知范围内应避免存在与目标物体（如棋盘标定板）相似的其他物体，以保证数据的准确性。
此外，对应于目标物体取一个固定位姿，采集激光雷达数据，毫米波雷达数据，图像数据时，三种数据与该标定板位姿进行关联，比如该位姿的编号为1，则三种数据的命名都取为1，然后标定板取位姿2，则采集的三种数据命名都为2，以此确保数据中标定板目标的唯一性，这样以便于后续处理。
在确定出足够多的用于确定进行传感器联合标定的针对目标物体的位姿信息后，将根据得到的针对目标物体的位姿信息进行传感器联合标定。
步骤二、利用预设算法，根据相机、激光雷达以及毫米波雷达采集的位姿信息，确定激光雷达和相机之间的第一坐标转换矩阵、激光雷达和毫米波雷达之间的第二坐标转换矩阵以及相机和毫米波雷达之间的第三坐标转换矩阵。
具体实施中，此步骤中得到激光雷达和相机之间的第一坐标转换矩阵、激光雷达和毫米波雷达之间的第二坐标转换矩阵以及相机和毫米波雷达之间的第三坐标转换矩阵是分别进行的。
同时，在确定任意一个坐标转换矩阵时，都需要分成两个步骤进行，其中第一步是利用现有算法确定传感器间的初步坐标转换矩阵，第二步是利用深度学习算法对初步坐标转换矩阵进行优化，下面将分别针对第一坐标转换矩阵、第二坐标转换矩阵、第三坐标转换矩阵分别进行说明。
一、确定激光雷达和相机之间的第一坐标转换矩阵。
首先，利用预设算法，根据激光雷达和相机采集的位姿信息，确定激光雷达和相机之间的初步第一坐标转换矩阵。
此步骤中，利用现有算法确定激光雷达和相机之间的初步第一坐标转换矩阵。且具体实施中，可以先利用第一预设算法初步确定激光雷达和相机之间的初步第一坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，当然也可以是其它算法，本发明实施例对此不做限定。
进一步的，为了提高确定出的初步第一坐标转换矩阵的准确性，基于第一预设算法确定激光雷达和相机之间的初步第一坐标转换矩阵后，再基于激光雷达和相机之间采集的物体位姿信息，利用第二预设算法对初步第一坐标转换矩阵进行修正，得到修正后激光雷达和相机之间的初步第一坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，第二预设算法可以是ICP（Iterative Closest Point，迭代最近点）算法，或者ICP算法的变种算法，当然也可以是其它算法，本发明实施例对此不做限定。
其中，在上述确定激光雷达和相机之间的初步第一坐标转换矩阵时，需要人工将目标物体的位姿信息简单标定出来。
当确定激光雷达和相机之间的初步第一坐标转换矩阵时，需要对相机进行自标定，确定相机的内参和外参，进而确定出相机采集的数据对应的坐标系。
其次，当确定激光雷达和相机之间的初步第一坐标转换矩阵时，需要将图像数据转换为点云数据，并确定图像数据对应的点云数据与雷达设备采集的点云数据之间的坐标转换关系。
具体实施时，将图像数据转换为点云数据时，可以利用预设算法对图像数据进行转换，得到图像数据对应的点云数据。
需要说明的是，预设算法可以是单目或双目SLAM（simultaneous localizationand mapping，即时定位与地图构建）算法，当然也可以是其它算法，本发明实施例对此不做限定。
随后，利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
具体实现过程中，将以激光雷达和相机采集的目标物体位姿信息为基础，利用深度学习算法对初步第一坐标转换矩阵进行优化，得到激光雷达和相机之间的第一坐标转换矩阵，具体实现步骤如下：
（1）、在激光雷达采集的多组位姿信息中选取第一位姿信息，在相机采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的。
具体实施时，首先需要在激光雷达已经采集的位姿信息中选定出用于进行深度学习使用的第一位姿信息，以及在相机已经采集的位姿信息中选定出用于进行深度学习使用的第二位姿信息，此时第一位姿信息与第二位姿信息是针对所述目标物体的同一位姿采集的位姿信息。
（2）、进一步地，根据所述初步坐标转换矩阵，将所述激光雷达的位姿信息转换到目标坐标系下，并确定转换后的激光雷达采集的位姿信息与相机采集的位姿信息之间的位姿误差，其中，所述目标坐标系为相机对应的坐标系。
此步骤中，将根据确定的初步第一坐标转换矩阵，将激光雷达采集的位姿信息转换到相机对应的坐标系下，随后确定转换后的激光雷达采集的位姿信息与相机采集的位姿信息之间的位姿误差，确定出多组相机对应的坐标系下位姿信息对应的位姿误差数据。
其中，在利用深度学习算法对初步第一坐标转换矩阵进行优化时，可以将转换坐标系后的雷达数据投影到相机采集的图像上去，以两者的不重叠度作为位姿误差。
（3）、在确定出位姿误差后，以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型。
（4）、调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差。
（5）、将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
具体实施中，将先依据第一位姿信息和第二位姿信息作为输入，以位姿误差为输出训练生成深度学习的模型，随后将对应于目标物体不同位姿下采集的第一位姿信息和第二位姿信息依次输入到训练生成深度学习模型中，得到深度学习模型的输出的位姿误差；并将得到的位姿误差与设定的位姿误差阈值相比较，如果位姿误差不小于设定位姿误差阈值，则将调整深度学习模型中的转换参数，并再次输入对应于目标物体不同位姿下采集的第一位姿信息和第二位姿信息，继续得到深度学习模型的输出的位姿误差；如果位姿误差小于设定位姿误差阈值，将该目标位姿误差对应的转换参数，确定为第一传感器和第二传感器之间的第一坐标转换矩阵。
其中，第一传感器和所述第二传感器之间的第一坐标转换矩阵包括位移矩阵和旋转矩阵，调整深度学习模型中的转换参数即为调整位移矩阵和旋转矩阵中的元素。
二、确定激光雷达和毫米波雷达之间的第二坐标转换矩阵。
首先，利用预设算法，根据激光雷达和毫米波雷达采集的位姿信息，确定激光雷达和毫米波之间的初步第二坐标转换矩阵。
此步骤中，利用现有算法确定激光雷达和毫米波雷达之间的初步第二坐标转换矩阵。且具体实施中，可以先利用第一预设算法初步确定激光雷达和毫米波雷达之间的初步第二坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，当然也可以是其它算法，本发明实施例对此不做限定。
进一步的，为了提高确定出的初步第二坐标转换矩阵的准确性，基于第一预设算法确定激光雷达和毫米波雷达之间的初步第二坐标转换矩阵后，再基于激光雷达和毫米波雷达之间采集的物体位姿信息，利用第二预设算法对初步第二坐标转换矩阵进行修正，得到修正后激光雷达和毫米波雷达之间的初步第二坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，第二预设算法可以是ICP算法，或者ICP算法的变种算法，当然也可以是其它算法，本发明实施例对此不做限定。
其中，在上述确定激光雷达和毫米波雷达之间的初步第二坐标转换矩阵时，需要人工将目标物体的位姿信息简单标定出来。
随后，利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
具体实现过程中，将以激光雷达和毫米波雷达采集的目标物体位姿信息为基础，利用深度学习算法对初步第二坐标转换矩阵进行优化，得到激光雷达和毫米波雷达之间的第二坐标转换矩阵，具体实现步骤如下：
（1）、在所述激光雷达采集的多组位姿信息中选取第三位姿信息，在所述毫米波雷达采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的。
具体实施时，首先需要在激光雷达已经采集的位姿信息中选定出用于进行深度学习使用的第三位姿信息，以及在毫米波雷达已经采集的位姿信息中选定出用于进行深度学习使用的第四位姿信息，此时第三位姿信息与第四位姿信息是针对所述目标物体的同一位姿采集的位姿信息。
（2）、进一步地，根据所述初步坐标转换矩阵，将所述激光雷达的位姿信息转换到目标坐标系下，并确定转换后的激光雷达采集的位姿信息与毫米波雷达采集的位姿信息之间的位姿误差，其中，所述目标坐标系为毫米波雷达对应的坐标系。
此步骤中，将根据确定的初步第二坐标转换矩阵，将激光雷达采集的位姿信息转换到毫米波雷达对应的坐标系下，随后确定转换后的激光雷达采集的位姿信息与毫米波雷达采集的位姿信息之间的位姿误差，确定出多组毫米波雷达对应的坐标系下位姿信息对应的位姿误差数据。
其中，在利用深度学习算法对初步第二坐标转换矩阵进行优化时，可以将转换坐标系后的雷达数据投影到毫米波雷达采集的雷达数据上去，以两者的不重叠度作为位姿误差。
（3）、在确定出位姿误差后，以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型。
（4）、调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差。
（5）、将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
具体实施中，将先依据第三位姿信息和第四位姿信息作为输入，以位姿误差为输出训练生成深度学习的模型，随后将对应于目标物体不同位姿下采集的第三位姿信息和第四位姿信息依次输入到训练生成深度学习模型中，得到深度学习模型的输出的位姿误差；并将得到的位姿误差与设定的位姿误差阈值相比较，如果位姿误差不小于设定位姿误差阈值，则将调整深度学习模型中的转换参数，并再次输入对应于目标物体不同位姿下采集的第三位姿信息和第四位姿信息，继续得到深度学习模型的输出的位姿误差；如果位姿误差小于设定位姿误差阈值，将该目标位姿误差对应的转换参数，确定为第一传感器和第三传感器之间的第二坐标转换矩阵。
其中，第一传感器和所述第三传感器之间的第二坐标转换矩阵包括位移矩阵和旋转矩阵，调整深度学习模型中的转换参数即为调整位移矩阵和旋转矩阵中的元素。
三、确定毫米波雷达和相机之间的第三坐标转换矩阵。
首先，利用预设算法，根据毫米波雷达和相机采集的位姿信息，确定毫米波雷达和相机之间的初步第三坐标转换矩阵。
此步骤中，利用现有算法确定毫米波雷达和相机之间的初步第三坐标转换矩阵。且具体实施中，可以先利用第一预设算法初步确定毫米波雷达和相机之间的初步第三坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，当然也可以是其它算法，本发明实施例对此不做限定。
进一步的，为了提高确定出的初步第三坐标转换矩阵的准确性，基于第一预设算法确定毫米波雷达和相机之间的初步第三坐标转换矩阵后，再基于毫米波雷达和相机之间采集的物体位姿信息，利用第二预设算法对初步第三坐标转换矩阵进行修正，得到修正后毫米波雷达和相机之间的初步第三坐标转换矩阵。
需要说明的是，第一预设算法可以是遗传算法，第二预设算法可以是ICP算法，或者ICP算法的变种算法，当然也可以是其它算法，本发明实施例对此不做限定。
其中，在上述确定毫米波雷达和相机之间的初步第三坐标转换矩阵时，需要人工将目标物体的位姿信息简单标定出来。
当确定毫米波雷达和相机之间的初步第三坐标转换矩阵时，需要对相机进行自标定，确定相机的内参和外参，进而确定出相机采集的数据对应的坐标系。
其次，当确定毫米波雷达和相机之间的初步第三坐标转换矩阵时，需要将图像数据转换为点云数据，并确定图像数据对应的点云数据与雷达设备采集的点云数据之间的坐标转换关系。
具体实施时，将图像数据转换为点云数据时，可以利用预设算法对图像数据进行转换，得到图像数据对应的点云数据。
需要说明的是，预设算法可以是单目或双目SLAM算法，当然也可以是其它算法，本发明实施例对此不做限定。
随后，利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
具体实现过程中，将以毫米波雷达和相机采集的目标物体位姿信息为基础，利用深度学习算法对初步第三坐标转换矩阵进行优化，得到毫米波雷达和相机之间的第三坐标转换矩阵，具体实现步骤如下：
（1）、在毫米波雷达采集的多组位姿信息中选取第五位姿信息，在相机采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的。
具体实施时，首先需要在毫米波雷达已经采集的位姿信息中选定出用于进行深度学习使用的第五位姿信息，以及在相机已经采集的位姿信息中选定出用于进行深度学习使用的第六位姿信息，此时第五位姿信息与第六位姿信息是针对所述目标物体的同一位姿采集的位姿信息。
（2）、进一步地，根据所述初步坐标转换矩阵，将所述毫米波雷达的位姿信息转换到目标坐标系下，并确定转换后的毫米波雷达采集的位姿信息与相机采集的位姿信息之间的位姿误差，其中，所述目标坐标系为相机对应的坐标系。
此步骤中，将根据确定的初步第三坐标转换矩阵，将毫米波雷达采集的位姿信息转换到相机对应的坐标系下，随后确定转换后的毫米波雷达采集的位姿信息与相机采集的位姿信息之间的位姿误差，确定出多组相机对应的坐标系下位姿信息对应的位姿误差数据。
其中，在利用深度学习算法对初步第三坐标转换矩阵进行优化时，可以将转换坐标系后的毫米波雷达点云数据投影到相机采集的图像上去，以两者的不重叠度作为位姿误差。
（3）、在确定出位姿误差后，以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型。
（4）、调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差。
（5）、将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
具体实施中，将先依据第五位姿信息和第六位姿信息作为输入，以位姿误差为输出训练生成深度学习的模型，随后将对应于目标物体不同位姿下采集的第五位姿信息和第六位姿信息依次输入到训练生成深度学习模型中，得到深度学习模型的输出的位姿误差；并将得到的位姿误差与设定的位姿误差阈值相比较，如果位姿误差不小于设定位姿误差阈值，则将调整深度学习模型中的转换参数，并再次输入对应于目标物体不同位姿下采集的第五位姿信息和第六位姿信息，继续得到深度学习模型的输出的位姿误差；如果位姿误差小于设定位姿误差阈值，将该目标位姿误差对应的转换参数，确定为第三传感器和所述第二传感器之间的第三坐标转换矩阵。
其中，第三传感器和所述第二传感器之间的第三坐标转换矩阵包括位移矩阵和旋转矩阵，调整深度学习模型中的转换参数即为调整位移矩阵和旋转矩阵中的元素。
在通过上述方法确定出激光雷达和相机之间的坐标转换矩阵，激光雷达和毫米波雷达之间的坐标转换矩阵，以及毫米波雷达和相机之间的坐标转换矩阵之后，还将通过利用图优化，或者非线性函数对确定出的激光雷达和相机之间的坐标转换矩阵，激光雷达和毫米波雷达之间的坐标转换矩阵，以及毫米波雷达和相机之间的坐标转换矩阵进行联合优化，以使得激光雷达、相机以及毫米波雷达之间进行传感器联合标定时能够有更高的精度。
具体实施中，首先根据激光雷达和毫米波雷达之间的第二坐标转换矩阵以及毫米波雷达和相机之间的第三坐标转换矩阵，确定激光雷达和相机之间的演算转换矩阵；
随后将确定的激光雷达和相机之间的演算转换矩阵与深度学习后得到的激光雷达和相机之间的第一坐标转换矩阵进行比对；
在确定所述演算转换矩阵与第一坐标转换矩阵一致时，将该第一坐标转换矩阵作为的激光雷达和相机之间的坐标转换矩阵，将第二坐标转换矩阵作为激光雷达和毫米波雷达之间的坐标转换矩阵，以及将第三坐标转换矩阵作为毫米波雷达和相机之间的坐标转换矩阵。
此时，若确定演算转换矩阵与第一坐标转换矩阵不一致时，本发明实施例还提供了对应的优化方案。
具体的，在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为激光雷达和相机之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为激光雷达和毫米波雷达之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为毫米波雷达和相机之间的坐标转换矩阵。
在利用深度学习算法和图优化的方式得到准确的进行传感器联合标定的各个传感器之间的坐标转换矩阵后，将得到的进行传感器联合标定的各个传感器之间的坐标转换矩阵运用到实际的作业领域中。在具体使用过程中，各个传感器的位置均可能发生移动，故在使用过程中还需要在线检测修正。
具体的，首先根据当前时刻的激光雷达和毫米波雷达之间的坐标转换矩阵以及当前时刻的毫米波雷达和相机之间的第三坐标转换矩阵，重新确定当前时刻的所述激光雷达和相机之间的演算转换矩阵；
在确定当前时刻的演算转换矩阵与当前时刻的激光雷达和相机之间的坐标转换矩阵不一致时，调整当前时刻的激光雷达和相机之间的坐标转换矩阵、当前时刻的激光雷达和毫米波雷达之间的坐标转换矩阵以及当前时刻的毫米波雷达和相机之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的激光雷达和毫米波雷达之间的坐标转换矩阵和调整后的当前时刻的毫米波雷达和相机之间的坐标转换矩阵，重新确定激光雷达和相机之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的激光雷达和相机之间的坐标转换矩阵一致时，将调整后的当前时刻的激光雷达和相机之间的坐标转换矩阵作为激光雷达和相机之间的第一坐标转换矩阵，将调整后的当前时刻的激光雷达和毫米波雷达之间的坐标转换矩阵作为激光雷达和毫米波雷达之间的第二坐标转换矩阵，以及将调整后的当前时刻的毫米波雷达和相机坐标转换矩阵作为毫米波雷达和相机之间的坐标转换矩阵。
如图2所示，本发明实施例提供的利用深度学习算法对第一传感器与第二传感器之间的初步坐标转换矩阵进行优化的流程示意图，以相机和激光雷达为例。
步骤200，获取相机、激光雷达采集针对同一目标物体的不同姿态采集的多组位姿信息，其中，相机与激光雷达针对所述目标物体的每一姿态采集至少一组位姿信息；
步骤201，利用预设算法，根据相机和激光雷达采集的位姿信息，确定相机和激光雷达之间的初步坐标转换矩阵；
步骤202，根据初步坐标转换矩阵，将激光雷达采集的位姿信息转换到相机对应的坐标系下，并确定转换后的激光雷达采集的位姿信息与相机采集的位姿信息之间的位姿误差；
步骤203，以激光雷达和相机采集的位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
步骤204，调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
步骤205，判断转换参数对应的位姿误差是否大于设定位姿误差阈值；如果大于，则执行步骤206；否则执行步骤207；
步骤206，调整所述深度学习模型中的转换参数，并将激光雷达和相机采集的位姿信息输入到深度学习模型中，确定所述转换参数对应的位姿误差，执行步骤204；
步骤207，将目标位姿误差对应的转换参数，确定为激光雷达和相机之间的第一坐标转换矩阵。
如图3所示，本发明实施例提供的一种传感器联合标定的方法的离线部分的完整流程示意图，以相机、激光雷达以及毫米波雷达为例。
步骤300，获取激光雷达、相机以及毫米波雷达针对同一目标物体的不同姿态采集的多组位姿信息；
步骤301，分别利用预设算法，根据激光雷达、相机以及毫米波雷达采集的位姿信息，确定激光雷达与相机之间初步第一坐标转换矩阵、激光雷达和毫米波雷达之间的初步第二坐标转换矩阵以及毫米波雷达和相机之间的初步第三坐标转换矩阵；
步骤302，分别利用深度学习算法对初步第一坐标转换矩阵、初步第二坐标转换矩阵以及初步第三坐标转换矩阵进行优化，得到激光雷达与相机之间的第一坐标转换矩阵、激光雷达和毫米波雷达之间的第二坐标转换矩阵以及毫米波雷达和相机之间的第三坐标转换矩阵；
步骤303，根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
步骤304，判断演算转换矩阵与所述第一坐标转换矩阵是否一致，如果一致，则执行步骤305；否则执行步骤306；
步骤305，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵；
步骤306，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
步骤307，判断重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵是否一致；如果一致，执行步骤308，否则执行步骤306；
步骤308，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
基于同一发明构思，本申请实施例中还提供了一种传感器联合标定的装置，由于该装置执行本申请实施例中的方法，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图4所示，本申请实施例提供一种传感器联合标定的装置，该装置包括：
至少一个处理单元400以及至少一个存储单元401，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：
获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
可选的，所述处理单元400还用于：
在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
可选的，所述处理单元还用于：
所述第一坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵；
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
可选的，所述处理单元具体用于：
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第一位姿信息，在所述第二传感器采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第一坐标转换矩阵，将所述第一位姿信息转换到目标坐标系下，并确定转换后的第一位姿信息与所述第二位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述处理单元还用于：
所述第二坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵；
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
可选的，所述处理单元具体用于：
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第三位姿信息，在所述第三传感器采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第二坐标转换矩阵，将所述第三位姿信息转换到目标坐标系下，并确定转换后的第三位姿信息与所述第四位姿信息之间的位姿误差，其中，所述目标坐标系为所述第三传感器对应的坐标系；
以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述处理单元还用于：
所述第三坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵；
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
可选的，所述处理单元具体用于：
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵时，在所述第三传感器采集的多组位姿信息中选取第五位姿信息，在所述第二传感器采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第三坐标转换矩阵，将所述第五位姿信息转换到目标坐标系下，并确定转换后的第五位姿信息与所述第六位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述处理单元还用于：
根据当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定当前时刻的所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述当前时刻的演算转换矩阵与当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵不一致时，调整当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵、当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵和调整后的当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵一致时，将调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的当前时刻的所述第三传感器和所述第二传感器之间坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
如图5所示，本申请实施例提供一种传感器联合标定的装置，该装置包括：
获取模块500，用于获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
第一坐标转换矩阵确定模块501，用于利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
演算转换矩阵确定模块502，用于根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
第二坐标转换矩阵确定模块503，用于在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
可选的，所述演算转换矩阵确定模块502还用于：
在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
第二坐标转换矩阵确定模块503还用于：
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
可选的，所述第一坐标转换矩阵确定模块501还用于：
所述第一坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵；
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
可选的，所述第一坐标转换矩阵确定模块501具体用于：
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第一位姿信息，在所述第二传感器采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第一坐标转换矩阵，将所述第一位姿信息转换到目标坐标系下，并确定转换后的第一位姿信息与所述第二位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述第一坐标转换矩阵确定模块501还用于：
所述第二坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵；
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
可选的，所述第一坐标转换矩阵确定模块501具体用于：
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵时，在所述第一传感器采集的多组位姿信息中选取第三位姿信息，在所述第三传感器采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第二坐标转换矩阵，将所述第三位姿信息转换到目标坐标系下，并确定转换后的第三位姿信息与所述第四位姿信息之间的位姿误差，其中，所述目标坐标系为所述第三传感器对应的坐标系；
以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述第一坐标转换矩阵确定模块501还用于：
所述第三坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵；
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
可选的，所述第一坐标转换矩阵确定模块501具体用于：
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵时，在所述第三传感器采集的多组位姿信息中选取第五位姿信息，在所述第二传感器采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第三坐标转换矩阵，将所述第五位姿信息转换到目标坐标系下，并确定转换后的第五位姿信息与所述第六位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
可选的，所述第二坐标转换矩阵确定模块503还用于：
根据当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定当前时刻的所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述当前时刻的演算转换矩阵与当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵不一致时，调整当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵、当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵和调整后的当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵一致时，将调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的当前时刻的所述第三传感器和所述第二传感器之间坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
本申请实施例针对传感器联合标定的方法还提供一种计算设备可读存储介质，即断电后内容不丢失。该存储介质中存储软件程序，包括程序代码，当程序代码在计算设备上运行时，该软件程序在被一个或多个处理器读取并执行时可实现本申请实施例上面任何一种传感器联合标定时的方案。
以上参照示出根据本申请实施例的方法、装置（系统）和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件（包括固件、驻留软件、微码等）来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种传感器联合标定的方法，其特征在于，该方法包括：
获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
在确定所述演算转换矩阵与所述第一坐标转换矩阵不一致时，调整所述第一坐标转换矩阵、所述第二坐标转换矩阵以及所述第三坐标转换矩阵的转换参数，并基于调整后的第二坐标转换矩阵和调整后的第三坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的演算转换矩阵与调整后的第一坐标转换矩阵一致时，将调整后的第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第一坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第二传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的初步第一坐标转换矩阵；
利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵。
4.如权利要求3所述的方法，其特征在于，所述利用深度学习算法对所述初步第一坐标转换矩阵进行优化，得到所述第一坐标转换矩阵，包括：
在所述第一传感器采集的多组位姿信息中选取第一位姿信息，在所述第二传感器采集的多组位姿信息选取第二位姿信息，其中，所述第一位姿信息与所述第二位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第一坐标转换矩阵，将所述第一位姿信息转换到目标坐标系下，并确定转换后的第一位姿信息与所述第二位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第一位姿信息和所述第二位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第二传感器之间的第一坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第二坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第一传感器和所述第三传感器采集的位姿信息，确定所述第一传感器和所述第三传感器之间的初步第二坐标转换矩阵；
利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵。
6.如权利要求5所述的方法，其特征在于，所述利用深度学习算法对所述初步第二坐标转换矩阵进行优化，得到所述第二坐标转换矩阵，包括：
在所述第一传感器采集的多组位姿信息中选取第三位姿信息，在所述第三传感器采集的多组位姿信息选取第四位姿信息，其中，所述第三位姿信息与所述第四位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第二坐标转换矩阵，将所述第三位姿信息转换到目标坐标系下，并确定转换后的第三位姿信息与所述第四位姿信息之间的位姿误差，其中，所述目标坐标系为所述第三传感器对应的坐标系；
以所述第三位姿信息和所述第四位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第一传感器和所述第三传感器之间的第二坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第三坐标转换矩阵，通过如下步骤确定：
利用预设算法，根据所述第三传感器和所述第二传感器采集的位姿信息，确定所述第三传感器和所述第二传感器之间的初步第三坐标转换矩阵；
利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵。
8.如权利要求7所述的方法，其特征在于，所述利用深度学习算法对所述初步第三坐标转换矩阵进行优化，得到所述第三坐标转换矩阵，包括：
在所述第三传感器采集的多组位姿信息中选取第五位姿信息，在所述第二传感器采集的多组位姿信息选取第六位姿信息，其中，所述第五位姿信息与所述第六位姿信息是针对所述目标物体的同一位姿采集的；
根据所述初步第三坐标转换矩阵，将所述第五位姿信息转换到目标坐标系下，并确定转换后的第五位姿信息与所述第六位姿信息之间的位姿误差，其中，所述目标坐标系为所述第二传感器对应的坐标系；
以所述第五位姿信息和所述第六位姿信息为输入，以所述位姿误差为输出，训练生成深度学习模型；
调整所述深度学习模型中的转换参数，并基于所述转换参数下深度学习模型的输出，确定所述转换参数对应的位姿误差；
将目标位姿误差对应的转换参数，确定为所述第三传感器和所述第二传感器之间的第三坐标转换矩阵，其中，所述目标位姿误差为小于预设误差阈值的位姿误差。
9.如权利要求2所述的方法，其特征在于，所述方法还包括：
根据当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定当前时刻的所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述当前时刻的演算转换矩阵与当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵不一致时，调整当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵、当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵以及当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵的转换参数，并基于调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵和调整后的当前时刻的所述第三传感器和所述第二传感器之间的坐标转换矩阵，重新确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定重新确定出的当前时刻的演算转换矩阵与调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵一致时，将调整后的当前时刻的所述第一传感器和所述第二传感器之间的坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将调整后的当前时刻的所述第一传感器和所述第三传感器之间的坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将调整后的当前时刻的所述第三传感器和所述第二传感器之间坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
10.一种传感器联合标定的装置，其特征在于，该装置包括：
至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：
获取第一传感器、第二传感器以及第三传感器针对同一目标物体的不同姿态采集的多组位姿信息，其中，所述第一传感器、所述第二传感器以及所述第三传感器针对所述目标物体的每一姿态采集至少一组位姿信息；
利用预设算法，根据所述第一传感器、所述第二传感器以及所述第三传感器采集的位姿信息，确定所述第一传感器和所述第二传感器之间的第一坐标转换矩阵、所述第一传感器和所述第三传感器之间的第二坐标转换矩阵以及所述第三传感器和所述第二传感器之间的第三坐标转换矩阵；
根据所述第二坐标转换矩阵以及所述第三坐标转换矩阵，确定所述第一传感器与所述第二传感器之间的演算转换矩阵；
在确定所述演算转换矩阵与所述第一坐标转换矩阵一致时，将所述第一坐标转换矩阵作为所述第一传感器和所述第二传感器之间的坐标转换矩阵，将所述第二坐标转换矩阵作为所述第一传感器和所述第三传感器之间的坐标转换矩阵，以及将所述第三坐标转换矩阵作为所述第三传感器和所述第二传感器之间的坐标转换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910232800.9A CN109712189B (zh) | 2019-03-26 | 2019-03-26 | 一种传感器联合标定的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910232800.9A CN109712189B (zh) | 2019-03-26 | 2019-03-26 | 一种传感器联合标定的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109712189A true CN109712189A (zh) | 2019-05-03 |
| CN109712189B CN109712189B (zh) | 2019-06-18 |
Family
ID=66266981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910232800.9A Active CN109712189B (zh) | 2019-03-26 | 2019-03-26 | 一种传感器联合标定的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712189B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
| JP2020060553A (ja) * | 2018-10-12 | 2020-04-16 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 自動運転のための事前収集の静的反射図に基づく自動ｌｉｄａｒキャリブレーション |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN111815717A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN112051575A (zh) * | 2020-08-31 | 2020-12-08 | 广州文远知行科技有限公司 | 一种毫米波雷达与激光雷达的调整方法及相关装置 |
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定系统 |
| CN112612016A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 传感器联合标定方法、装置、电子设备及存储介质 |
| CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100020201A1 (en) * | 2008-07-23 | 2010-01-28 | Pixart Imaging Inc. | Sensor array module with wide angle, and image calibration method, operation method and application for the same |
| CN101995231A (zh) * | 2010-09-20 | 2011-03-30 | 深圳大学 | 一种大型薄壳物体表面的三维检测系统及其检测方法 |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| CN109211298A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 一种传感器标定方法和装置 |
| CN109345596A (zh) * | 2018-09-19 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 多传感器标定方法、装置、计算机设备、介质和车辆 |
-
2019
- 2019-03-26 CN CN201910232800.9A patent/CN109712189B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100020201A1 (en) * | 2008-07-23 | 2010-01-28 | Pixart Imaging Inc. | Sensor array module with wide angle, and image calibration method, operation method and application for the same |
| CN101995231A (zh) * | 2010-09-20 | 2011-03-30 | 深圳大学 | 一种大型薄壳物体表面的三维检测系统及其检测方法 |
| CN109211298A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 一种传感器标定方法和装置 |
| CN108226906A (zh) * | 2017-11-29 | 2018-06-29 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| CN109345596A (zh) * | 2018-09-19 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 多传感器标定方法、装置、计算机设备、介质和车辆 |
Non-Patent Citations (1)
| Title |
|---|
| 马玉栋等: "基于多传感器融合的吊装过程监测系统联合标定方法研究", 《制造业自动化》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020060553A (ja) * | 2018-10-12 | 2020-04-16 | バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ | 自動運転のための事前収集の静的反射図に基づく自動ｌｉｄａｒキャリブレーション |
| US11841437B2 (en) | 2018-10-12 | 2023-12-12 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
| CN111413983A (zh) * | 2020-04-08 | 2020-07-14 | 江苏盛海智能科技有限公司 | 一种无人驾驶车辆的环境感知方法及控制端 |
| CN111815717A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN111735479B (zh) * | 2020-08-28 | 2021-03-23 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN112051575B (zh) * | 2020-08-31 | 2021-12-17 | 广州文远知行科技有限公司 | 一种毫米波雷达与激光雷达的调整方法及相关装置 |
| CN112051575A (zh) * | 2020-08-31 | 2020-12-08 | 广州文远知行科技有限公司 | 一种毫米波雷达与激光雷达的调整方法及相关装置 |
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定系统 |
| CN112612016A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 传感器联合标定方法、装置、电子设备及存储介质 |
| CN113034439B (zh) * | 2021-03-03 | 2021-11-23 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
| CN113034439A (zh) * | 2021-03-03 | 2021-06-25 | 北京交通大学 | 一种高速铁路声屏障缺损检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109712189B (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712189B (zh) | 一种传感器联合标定的方法和装置 | |
| CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
| Ballard et al. | Principles of animate vision | |
| CN106066696B (zh) | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 | |
| US8879801B2 (en) | Image-based head position tracking method and system | |
| CN104808795B (zh) | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 | |
| CN107358607A (zh) | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 | |
| EP4364902A1 (en) | Hand-eye calibration method and system for robot, and storage medium | |
| CN105818167A (zh) | 采用远距数字摄像头校准铰接的末端执行器的方法 | |
| JP6487493B2 (ja) | 画像処理システム | |
| CN108805987B (zh) | 基于深度学习的混合跟踪方法及装置 | |
| Pedram et al. | Autonomous suturing framework and quantification using a cable-driven surgical robot | |
| CN106133649A (zh) | 使用双目注视约束的眼睛凝视跟踪 | |
| CN113992907B (zh) | 眼球参数校验方法、系统、计算机及可读存储介质 | |
| CN110264527A (zh) | 基于zynq的实时双目立体视觉输出方法 | |
| Gratal et al. | Visual servoing on unknown objects | |
| CN110293552A (zh) | 机械臂控制方法、装置、控制设备及存储介质 | |
| CN115179294A (zh) | 机器人控制方法、系统、计算机设备、存储介质 | |
| CN115576426A (zh) | 一种针对混合现实飞行模拟器的手部交互方法 | |
| CN113505694A (zh) | 一种基于视线追踪的人机交互方法、装置及计算机设备 | |
| CN107993227B (zh) | 一种获取3d腹腔镜手眼矩阵的方法和装置 | |
| CN113601510A (zh) | 基于双目视觉的机器人移动控制方法、装置、系统及设备 | |
| Fomena et al. | Towards practical visual servoing in robotics | |
| CN116531094A (zh) | 一种角膜移植手术机器人视触觉融合导航方法及系统 | |
| CN116269763A (zh) | 坐标转换关系的标定方法、装置、手术导航系统和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240511 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 213611 room 103, building 4, chuangyangang, Changzhou science and Education City, No. 18, changwuzhong Road, Wujin District, Changzhou City, Jiangsu Province Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd. Country or region before: China |