CN115546305A - 一种相机的标定方法及装置 - Google Patents
一种相机的标定方法及装置 Download PDFInfo
- Publication number
- CN115546305A CN115546305A CN202110745441.4A CN202110745441A CN115546305A CN 115546305 A CN115546305 A CN 115546305A CN 202110745441 A CN202110745441 A CN 202110745441A CN 115546305 A CN115546305 A CN 115546305A
- Authority
- CN
- China
- Prior art keywords
- camera
- determining
- image
- coordinate system
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 239000011159 matrix material Substances 0.000 claims description 90
- 239000013598 vector Substances 0.000 claims description 80
- 230000001133 acceleration Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 14
- 239000010432 diamond Substances 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 6
- 229910003460 diamond Inorganic materials 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例公开了一种相机的标定方法及装置，该方法包括：获取预设图形的图像信息；获取该图像信息中的该预设图形的特征点；根据该特征点确定相机的第一参数，该第一参数为该相机的俯仰角、翻滚角或偏航角中的一项或多项。通过本申请提供的标定方法和装置，可以提升相机的拍摄效果，当该方法或者装置应用于终端时，可以提高终端的感知能力。
Description
技术领域
本申请涉及传感器技术领域，尤其涉及一种相机的标定方法及装置。
背景技术
随着智能驾驶的不断发展，越来越多的车辆上配置有相机，可以通过相机对车辆周围的环境进行观测，进而辅助驾驶系统做出各种驾驶决策。为了使得相机确定出的目标物体在世界坐标系中的位置更加准确，提升相机的测量精度，通常会对相机进行标定。
相机标定的目的是为了确定物体的位置(或者称为坐标)在世界坐标系(worldcoordinate system)与像素坐标系(image coordinate system)之间的转换关系。该转换关系可以用投影矩阵来描述，投影矩阵包括相机的内参矩阵和外参矩阵。通常，相机的内参矩阵由相机的镜片设计以及制作工艺确定，是已知量；因此相机标定的目的主要是确定出相机的外参矩阵。外参矩阵表明了相机坐标系和世界坐标系(或者称为车体坐标系)的转换关系。外参矩阵包括相机的位置和姿态；位置可以表示为相机坐标系与世界坐标系的位置关系，姿态可以包括相机的俯仰角(pitch)、翻滚角(roll)以及偏航角(yaw)这三个旋转角。
现阶段，相机的标定方法主要是基于车道线，通过拟合出多条空间中的平行线在图像投影上的交点(或称为消失点)，基于透视几何原理，估计车辆行驶过程中的相机的俯仰角、翻滚角以及偏航角。但这种方式基于平行约束，车辆本身的翻滚角对求解结果的影响比较大，另外，在相机的俯仰角，偏航角，翻滚角的大概角度范围未知的情况下，直接求解可能存在多个可能的解，得出的外参矩阵并不准确，会影响相机的测量精度。
发明内容
本申请提供一种相机的标定方法及装置，可以应用于终端，如车辆，可以提升相机的拍摄效果，提高测量精度，从而提升终端的感知能力。
第一方面，本申请提供一种相机的标定方法，该方法包括：获取预设图形的图像信息；获取该图像信息中的该预设图形的特征点；根据该特征点确定相机的第一参数，该第一参数为该相机的俯仰角、翻滚角或偏航角中的一项或多项。通过本方案，可以提升相机的测量精度。
示例地，该图像信息可以为图片，照片或者视频，流媒体等。
结合第一方面，在一种可能的实现方式中，获取该图像信息中的该预设图形的特征点，包括：获取该图像信息中的该预设图形的特征点在像素坐标系中的第一坐标信息；该根据该特征点确定相机的第一参数，包括：根据该第一坐标信息和空间信息确定该第一参数，该空间信息为该特征点在世界坐标系中的第二坐标信息或者第一平面在世界坐标系中的第一法向量。
结合第一方面，在一种可能的实现方式中，该空间信息为该第一平面在世界坐标系中的第一法向量，该根据该第一坐标信息和空间信息确定该第一参数，包括：根据该第一坐标信息确定在该相机坐标系中该第一平面对应的第二法向量；根据该第二法向量以及该第一法向量确定该第一参数。
结合第一方面，在一种可能的实现方式中，该预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；该第一坐标信息包括该第一图像对应的第二坐标信息和该第二图像对应的第三坐标信息；该根据该第一坐标信息确定在该相机坐标系中该第一平面对应的第二法向量，包括：根据该第二坐标信息和该第三坐标信息确定，在该相机坐标系中该第一平面对应的第二法向量。
结合第一方面，在一种可能的实现方式中，获取该预设图形的相机位于移动台上，在获取预设图形的图像信息之前，该方法还包括：确定该移动台满足预设条件，该预设条件包括以下一项或者多项：该移动台处于平直的行驶路线、该移动台的角速度小于第一预设值、该移动台的加速度小于第二预设值，或者该移动台的速度小于第三预设值。通过这种方式，可以在标定模块检测到移动台当前所处的行驶状态不会对第一参数的结果造成不可忽略的影响时，再对图像信息进行获取，提升相机标定的准确性。
结合第一方面，在一种可能的实现方式中，该根据该第二法向量以及该第一法向量确定该相机的第一参数，包括：根据旋转矩阵确定该第一参数，该旋转矩阵中各元素值是基于该第一法向量和该第二法向量确定的。
结合第一方面，在一种可能的实现方式中，该第一参数为该相机的俯仰角、翻滚角和偏航角，该方法还包括：获取一组平行线的第三图像；基于该第三图像确定该平行线在像素坐标系中的第一直线方程；根据该第一直线方程和第二直线方程确定投影矩阵，该投影矩阵用于指示该像素坐标系中的该平行线和在世界坐标系中的该平行线的投影关系，该第二直线方程为该平行线在该世界坐标系中的直线方程；根据该投影矩阵和该第一参数更新该相机的偏航角。通过这种方式，可以更加准确地测量出相机的偏航角。
结合第一方面，在一种可能的实现方式中，获取该预设图形的相机位于移动台上，在该根据该第一直线方程和该第二直线方程确定投影矩阵之前，该方法还包括：根据该第一直线方程确定该平行线与该移动台的行驶方向的偏离率；在该偏离率小于第四预设值的情况下，执行该根据该第一直线方程和该第二直线方程确定投影矩阵的步骤。通过这种方式，可以避免移动台的偏航角对相机的偏航角的影响。
结合第一方面，在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数包括该相机的俯仰角，该方法还包括：获取在第一时刻包含参考点的第四图像，以及在第二时刻包含该参考点的第五图像；基于该第四图像确定该参考点在该像素坐标系中的第四坐标信息，基于该第五图像确定该参考点在该像素坐标系中的第五坐标信息；根据该第四坐标信息、该第五坐标信息、该俯仰角以及该相机从该第一时刻至该第二时刻的移动距离，确定该相机的高度。通过这种方式，可以进一步地确定相机的高度。
结合第一方面，在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数为该相机的俯仰角、翻滚角和偏航角，该方法还包括：获取包含参考点的第六图像；基于该第六图像确定该参考点在像素坐标系中的第六坐标信息；根据该第六坐标信息，该参考点在世界坐标系中的第七坐标信息和该第一参数，确定该相机的高度。通过这种方式，可以进一步地确定相机的高度。
结合第一方面，在一种可能的实现方式中，该确定该特征点在像素坐标系中的第一坐标信息，包括：根据所述图像信息确定所述预设图形的边界框；处理所述边界框中的图像得到所述预设图形对应的拟合形状；根据所述拟合形状和所述特征点相对于所述预设图形的位置信息确定所述特征点在所述像素坐标系中的所述第一坐标信息。
本申请所述的第一图像，第三图像，第四图像，第六图像可以为同一图像，或者也可以为不同的图像。再如，本申请所述的第二图像，第三图像，第五图像，第六图像可以为同一图像，或者也可以为不同的图像。
第二方面，本申请提供了一种标定装置，该标定装置包括获取单元和确定单元：该获取单元，用于获取预设图形的图像信息；该获取单元，还用于获取该图像信息中的该预设图形的特征点；该确定单元，用于根据该特征点确定相机的第一参数，该第一参数为该相机的俯仰角、翻滚角或偏航角中的一项或多项。
结合第二方面，在一种可能的实现方式中，该获取单元具体用于：获取该图像信息中的该预设图形的特征点在像素坐标系中的第一坐标信息；该确定单元具体用于：根据该第一坐标信息和空间信息确定该第一参数，该空间信息为该特征点在世界坐标系中的第二坐标信息或者第一平面在世界坐标系中的第一法向量。
结合第二方面，在一种可能的实现方式中，该空间信息为该第一平面在世界坐标系中的第一法向量，该确定单元具体用于：根据该第一坐标信息确定在该相机坐标系中该第一平面对应的第二法向量；根据该第二法向量以及该第一法向量确定该第一参数。
结合第二方面，在一种可能的实现方式中，该预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；该第一坐标信息包括该第一图像对应的第二坐标信息和该第二图像对应的第三坐标信息；该确定单元具体用于：根据该第二坐标信息和该第三坐标信息确定，在该相机坐标系中该第一平面对应的第二法向量。
结合第二方面，在一种可能的实现方式中，获取该预设图形的相机位于移动台上，在获取预设图形的图像信息之前，该确定单元还用于：确定该移动台满足预设条件，该预设条件包括以下一项或者多项：该移动台处于平直的行驶路线、该移动台的角速度小于第一预设值、该移动台的加速度小于第二预设值，或者该移动台的速度小于第三预设值。
结合第二方面，在一种可能的实现方式中，该确定单元具体用于：根据旋转矩阵确定该相机的第一参数，该旋转矩阵中各元素值是基于该第一法向量和该第二法向量确定的。
结合第二方面，在一种可能的实现方式中，该获取单元还用于：获取一组平行线的第三图像；该确定单元还用于执行以下操作：基于该第三图像确定该平行线在像素坐标系中的第一直线方程；根据该第一直线方程和第二直线方程确定投影矩阵，该投影矩阵用于指示该像素坐标系中的该平行线和在世界坐标系中的该平行线的投影关系，该第二直线方程为该平行线在该世界坐标系中的直线方程；根据该投影矩阵和该第一参数更新该相机的偏航角。
结合第二方面，在一种可能的实现方式中，获取该预设图形的相机位于移动台上，该确定单元还用于：根据该第一直线方程确定该平行线与该移动台的行驶方向的偏离率；在该偏离率小于第四预设值的情况下，执行该根据该第一直线方程和该第二直线方程确定投影矩阵的步骤。
结合第二方面，在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数包括该相机的俯仰角，该获取单元还用于：获取在第一时刻的包含参考点的第四图像，以及在第二时刻的包含该参考点的第五图像；该确定单元还用于执行以下操作：基于该第四图像确定该参考点在像素坐标系中的第四坐标信息，基于该第五图像确定该参考点在该像素坐标系中的第五坐标信息；根据该第四坐标信息、该第五坐标信息、该俯仰角以及该相机从该第一时刻至该第二时刻的移动距离，确定该相机的高度。
结合第二方面，在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数为该相机的俯仰角、翻滚角和偏航角，该获取单元还用于：获取包含参考点的第六图像；该确定单元还用于：基于该第六图像确定该参考点在像素坐标系中的第六坐标信息；根据该第六坐标信息，该参考点在世界坐标系中的第七坐标信息和该第一参数，确定该相机的高度。
结合第二方面，在一种可能的实现方式中，该获取单元具体用于：根据所述图像信息确定所述预设图形的边界框；处理所述边界框中的图像得到所述预设图形对应的拟合形状；根据所述拟合形状和所述特征点相对于所述预设图形的位置信息确定所述特征点在所述像素坐标系中的所述第一坐标信息。
第三方面，本申请提供了一种标定装置，包括处理器和存储器；该存储器，用于存储程序代码；该处理器，用于从该存储器中调用该程序代码执行如上述第一方面或者第一方面的任一可能的实现方式所描述的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质用于存储指令，当该指令被执行时，使得如上述第一方面或者第一方面的任一可能的实现方式所描述的方法被实现。
通过本申请的方案，可以根据图像信息中的预设图形的特征点确定出相机的第一参数(包括相机的俯仰角、翻滚角以及偏航角中的一项或者多项)。本方案在该预设图形中存在遮挡或者未存储有预设图形的真实尺寸数据的情况下，均可以较准确地对相机进行标定，可以提升相机的测量精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种移动台的系统的结构示意图；
图2是本申请实施例提供的一种俯仰角和翻滚角以及偏航角这三个旋转角的示意图；
图3是本申请实施例提供的一种世界坐标系、相机坐标系、像素坐标系和图像坐标系的示意图；
图4是本申请实施例提供的一种相机的标定方法的流程图；
图5是本申请实施例提供的一种网络模型的网络结构的示意图；
图6是本申请实施例提供的一种预设图形的边界框的示意图；
图7是本申请实施例提供的一种预设图形的拟合结果的示意图；
图8是本申请实施例提供的一种预设图形的特征点的示意图；
图9是本申请实施例提供的一种第一法向量和第二法向量的示意图；
图10是本申请实施例提供的一种预设图形的图像的示意图；
图11是本申请实施例提供的又一种相机的标定方法；
图12是本申请实施例提供的又一种相机的标定方法；
图13是本申请实施例提供的一种包含参考点的图像的示意图；
图14是本申请实施例提供的又一种相机的标定方法；
图15是本申请实施例提供的一种标定装置的示意图；
图16是本申请实施例提供的一种标定装置的示意图；
图17是本申请实施例提供的一种芯片的结构示意图。
具体实施方式
下面对本申请实施例中的技术方案进行更详细地描述。
参见图1，是本申请实施例提供的一种移动台的系统的结构示意图。该移动台可以是汽车、机器人、无人机，等等。该系统包括输入模块、传感器、标定模块和调整模块。需要说明的是，图1中所示的各个模块仅为示例，在实际应用场景中，移动台可以包括更多或者更少的模块或者器件，本申请实施例不作限制。以下对各个模块或器件进行进一步的介绍。
其中，输入模块，用于接收对移动台的控制信息。示例性的，该控制信息包括：方向盘转角信息、驾驶档位信息、驱动和制动信息等。
传感器，用于采集移动台的行驶(或者称为运行、飞行)状态信息。示例性的，该移动台的行驶状态信息可以包括：移动台的行驶速度、加速度(示例性的，可以包括纵向加速度、侧向加速度)、横摆角速度、车轮的轮速等信息。例如，传感器可以为相机、速度传感器、轴转速传感器、加速度传感器、侧倾角传感器、转角传感器、转矩传感器，等等。另外，移动台中还可以存在一些传感器来采集更多有关于该移动台运行相关的信息，例如，发动机运转工况、各个模块或器件的运行温度、进气压力、进气温度，等等。
具体的，相机(或者称为摄像头)作为一种传感器，用于采集移动台所处的环境相关的信息。示例性的，相机用于采集移动台在行驶过程中环境中存在的障碍物信息(例如，障碍物信息包括与移动台的距离信息，障碍体的尺寸信息、移动速度信息，等等)，交通指示标识的信息(例如，交通指示牌信息、交通指示灯信息，车道线信息，等等)，倒车影像，等等。可选的，该相机可以是单目摄像头、双目摄像头、多目摄像头、或环视摄像头等。
调整模块，用于对移动台的行驶状态进行控制/调整。示例性的，调整模块可以是先进驾驶辅助系统(advanced driver assistant system，ADAS)，整车控制器(vehiclecontrol unit，VCU)，车身电子稳定系统(electronic stability program，ESP)，等等。举例而言，ADAS可以采用摄像头、雷达、激光和超声波等传感器收集的车内外的环境数据，辨识静、动态物体，利用侦测与追踪等技术上的处理，对车辆的驾驶意图进行感知。VCU是实现整车控制决策的控制单元，通过采集油门踏板、挡位、刹车踏板、方向盘转角等信号来判断驾驶员的驾驶意图；通过监测车辆状态(车速、温度等)信息，由VCU判断处理后，向动力系统、动力电池系统发送车辆的运行状态控制指令，同时控制车载附件电力系统的工作模式；具有整车系统故障诊断保护与存储功能。ESP，可以通过从车辆传感器发送的车辆行驶状态信息进行分析，然后向防抱死刹车系统(anti-lock brake system，ABS)，电子刹车分配力系统(electrical brake distribution，EBD)等发出纠偏指令，来帮助车辆维持动态平衡。
在本申请实施例中，调整模块可以获取各类传感器以及相机采集的信息，进行分析后，输出对移动台的控制指令或者输出给用户一些操作建议，用以辅助用户对移动台进行控制。因此，相机采集的信息的准确性会对调整模块输出的控制决策造成影响。
标定模块，用于确定相机的外参，使得相机的外参更加适用于相机配置在移动台上的实际使用场景，提升相机的测量精度。其中，外参表明了相机坐标系和世界坐标系(或者称为车体坐标系)的转换关系。示例性的，外参可以包括相机的位置和姿态；位置可以表示为相机坐标系与世界坐标系的位置关系，姿态可以包括相机的俯仰(pitch)角和翻滚(roll)角以及偏航(yaw)角这三个旋转角。需要说明的是，这三个旋转角的大小是以世界坐标系为标准来确定的。参见图2，是本申请实施例提供的一种俯仰角和翻滚角以及偏航角这三个旋转角的示意图。
可选的，该标定模块可以是一个独立的模块，还可以集成在调整模块中的一个部件，本申请实施例对此不作限制。
在另一些可能的实现方式中，本申请实施例还可以应用到分布式传感器网络，或非可移动平台，例如路灯、红绿灯等，相关的领域包括智慧路口、智慧城市等。示例性的，路灯和红绿灯上配置的相机可以对交通区域的障碍物进行检测，本申请实施例也可以对这些非可移动平台上配置的相机进行标定。
接下来，对相机标定相关的一些概念进行介绍。
相机标定的目的是为了确定物体的位置(或者称为坐标)在世界坐标系(worldcoordinate system)与像素坐标系(image coordinate system)之间的转换关系。示例性的，物体的位置从世界坐标系转换为相机坐标系(camera coordinate system)，再由相机坐标系转换为像素坐标系。
参见图3，是本申请实施例提供的一种世界坐标系、相机坐标系、像素坐标系和图像坐标系的示意图。在图3中，Ow-XwYwZw为世界坐标系，Oc-XcYcZc为相机坐标系，uv为像素坐标系，o-xy为图像坐标系。其中，点P(Xw，Yw，Zw)为世界坐标系中的一点。点P在图像中的成像点p在像素坐标系中的坐标为(u，v)，在图像坐标系中的坐标为(x，y)。
世界坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体(示例性的，待测物体可以为点P)的空间位置，它可以反映现实世界中的物体的位置。世界坐标系的原点可以根据实际情况来确定。可选的，在本申请实施例中，世界坐标系可以基于移动台来构建，示例性的，该世界坐标系的原点可以为移动台后侧的中心、移动台的重心或者其他预定义的点。可选的，基于移动台来构建的世界坐标系也可以称为移动台坐标系，在移动台是车辆的情况下，也可以称为车体坐标系，本申请实施例对世界坐标系的命名不作限制。
相机坐标系，是一个三维直角坐标系，原点位于相机的镜头光心处，x、y轴分别与像面的两边平行，z轴为镜头光轴，与像平面垂直。其中，像面为相机成像的平面。
像素坐标系(pixel coordinate)，是一个二维直角坐标系，反映了相机电荷耦合元件(charge-coupled device，CCD)/互补金属氧化物半导体(complementary metal-oxide–semiconductor，CMOS)芯片中像素的排列情况。像素坐标系的原点位于图像的左上角，u轴、v轴分别与像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。
图像坐标系，是一个二维直角坐标系。由于像素坐标系不利于坐标变换，因此建立了图像坐标系，其坐标轴的单位与世界坐标系、相机坐标系中坐标轴的单位可以简单变换。图像坐标系的原点是相机光轴与像面的交点(或称为主点)，即图像的中心点，x轴、y轴分别与u轴、v轴平行。因此，像素坐标系和图像坐标系可以视为是平移关系，即可以通过平移就可得到，不同之处在于像素坐标系和图像坐标系的坐标轴的单位不同。图3中示意的f，为相机的焦距，也即是相机坐标系的原点Oc与图像坐标系的原点o的距离。
点P在世界坐标系(world coordinate system)中的坐标(Xw，Yw，Zw)与点P的成像点p在像素坐标系中的坐标(u，v)之间的转换关系可以用投影矩阵M来表示。示例性的，该转换过程可以参照公式1-1所示。
其中，投影矩阵M为
具体的，该投影矩阵由相机的内参矩阵
和外参矩阵
组成。相机的内参矩阵表明了像素坐标系和相机坐标系的转换关系。相机的内参矩阵包括镜片的光心(又称主点principle point)的坐标(u0，v0)，x方向的等效焦距f/du(单位是像素)与y方向的等效焦距f/dv(单位是像素)组成。其中，f为焦距，单位是米，du为u方向上像素点密度(单位是像素/米)，dv为v方向上像素点密度(单位是像素/米)。相机的外参矩阵表明了相机坐标系和世界坐标系的转换关系。相机的外参矩阵包括旋转矩阵R(由相机的俯仰角、翻滚角以及偏航角组成)与位移矩阵T(由相机在世界坐标系中的x0，y0和高度组成)。可以看出，相机的内参矩阵主要由相机的镜片设计及制作工艺确定。因此想要提升投影矩阵的准确性，需要提升相机的外参矩阵的精确度，也即是说，需要更加准确地确定出旋转矩阵和位移矩阵。又由于相机针对世界坐标系的x0，y0的位置基本不会发生变化，相机标定的主要目的是，确定出较准确的相机的俯仰角、翻滚角、偏航角以及相机的高度。
通过本申请提供的标定方法和装置，可以提升相机的拍摄效果，当该方法或者装置应用于终端时，可以提高终端的感知能力。
参见图4，是本申请实施例提供的一种相机的标定方法的流程图，该方法可以基于图1所示的系统来实现，下面描述的标定模块可以是一个独立的模块，还可以为集成在调整模块中的一个部件。该方法包括但不限于如下步骤。
S101、标定模块获取预设图形的图像信息。
可选的，预设图形可以是一些交通标志，示例性的，可以是行驶地面上的交通标识，或者道路边的交通指示牌，交通指示灯，等等。需要说明的是，预设图形还可以是一些其他的预设形状，例如，正方形、圆形、三角形、菱形、多边形，线段等等；或者，还可以是一些文字、数字、符号，或者文字、数字、符号中的两种或者两种以上组合所构成的图形，等等。
在一种可能的实现方式中，标定模块可以通过移动台的相机获取预设图形的图像信息。示例性的，安装在移动台上的相机可以拍摄移动台所处环境的图像，并向标定模块发送这些图像。标定模块对接收的图像进行处理，以识别出包含有预设图形的图像信息。示例地，该图像信息可以为图片，照片或者视频，流媒体等。
可选的，标定模块中部署有可以检测预设图形的检测网络模型(或者称为算法系统)。接下来对一种可能的检测网络模型的生成方式进行介绍。首先，开发者获取训练数据。示例性的，可以通过移动台的相机在典型交通场景中拍摄包含各种预设图形(例如，交通标识、井盖等)的若干张图片，对拍摄的图像中出现的各种预设图形标注其边界框，以获取训练数据集。该训练数据集中包括了原始图片和预设图形对应的边界框真值。之后，设计检测网络模型的网络结构，进行模型训练。
可选的，该检测网络模型可以采用YOLO V3网络结构。示例性的，该检测网络模型的网络结构可参照图5所示的示意图。其中，图5为YOLO V3中被称为Darknet-53(含有53个卷积层)的骨干网络结构。这个网络主要是由一系列的1x1和3x3的卷积层组成(每个卷积层后都会跟一个批量归一化(batch normalization，BN)层和一个LeakyReLU层)。图5中示意出的卷积排列表明了网络模型的网络结构，以及网络各层所对应的参数配置。
在本申请实施例中，通过输入训练数据集训练检测网络，可以得到训练出的检测网络模型。该检测网络模型可以识别出包含有预设图形的图像信息。可选的，该检测网络模型还可以输出该预设图形的边界框，以及该预设图形对应的边界尺寸信息。
可选的，在获取预设图形的图像信息之前，标定模块可以检测移动台当前所处的行驶状态是否适合进行相机标定。可以理解的是，若移动台自身正处于拐弯、加速、上下坡等行驶场景中，移动台本身的俯仰角、翻滚角、偏航角等会对相机的俯仰角、翻滚角、偏航角造成较大的影响，降低相机标定的准确性。因此，可以在标定模块检测到移动台当前所处的行驶状态适合进行相机标定后，再对图像信息进行获取。
在一种可能的实现方式中，在获取预设图形的图像信息之前，标定模块确定该移动台满足预设条件，该预设条件包括以下一项或者多项：该移动台处于平直的行驶路线、该移动台的角速度小于第一预设值、该移动台的加速度小于第二预设值，或者该移动台的速度小于第三预设值。示例性的，标定模块可以通过惯性传感器(inertial measurementunit，IMU)、全球导航卫星系统(global navigation satellite system，GNSS)以及论速计(WSS)来判断移动台是否处于平直的行驶路线。示例性的，标定模块可以通过速度传感器、轴转速传感器、加速度传感器、侧倾角传感器、转角传感器、转矩传感器，等等来获取移动台的角速度、加速度、速度等数据。需要说明是的，第一预设值、第二预设值、第三预设值的取值可以预先确定，本申请实施例对这些值的取值不做限定。
S102、标定模块获取该图像信息中的该预设图形的特征点。
其中，该预设图形的特征点，是在预设图形中容易查找到的点，具有特殊的相对于预设图形的位置关系。示例性的，可以是图形的顶点、中心点、构成图形的边的中点，等等。
可选的，标定模块获取该图像信息中的该预设图形的特征点的方式可以为：标定模块获取该图像信息中的该预设图形的特征点在像素坐标系中的第一坐标信息。
以下对一种可能的第一坐标信息的确定方式进行介绍。
步骤a1、标定模块根据该图像信息确定该预设图形的边界框。
可选的，标定模块可以通过检测网络模型对图像信息进行处理，以确定预设图形的边界框。示例性的，可以参照图6，图6是本申请实施例提供的一种预设图形的边界框的示意图。在该示例中，预设图形是一个交通标识。
步骤a2、标定模块处理该边界框中的图像得到该预设图形对应的拟合形状。
示例性的，标定模块可以根据边界框中的图像的每个像素的亮度值，对该边界框中的图像进行处理，可选的，保留亮度值大于第五预设值的像素，标记为1，其余的像素标记为0。之后，使用滤波的方法，去除边界框中的噪点。接下来，使用膨胀腐蚀等形态学操作，获得均匀的交通标识。示例性的，使用canny边缘检测提取交通标识边缘，然后使用RANSAC算法对边缘进行形状拟合。参见图7，是本申请实施例提供的一种预设图形的拟合结果的示意图，该预设图形拟合出了两个三角形和两个四边形。
步骤a3、标定模块根据该拟合形状和该特征点相对于预设图形的位置信息确定该特征点在像素坐标系中的第一坐标信息。
在一种可能的实现方式中，标定模块预存有该特征点相对于预设图形的位置信息。示例性的，若预设图形是矩形，该特征点相对于预设图形的位置信息可以是矩形的顶点，或者矩形的边的中点，等等。参见图8，是本申请实施例提供的一种预设图形的特征点的示意图。在该示例中，预设图形为两个菱形所构成的图形，该预设图形的特征点相对于该预设图形的位置为两个菱形的顶点，即图8中的特征点1-8。示例性的，图8中还示意出了该预设图形的边界框。
标定模块可以根据拟合形状判定预设图形的轮廓，根据特征点相对于预设图形的位置信息在该图像信息中确定出，特征点在像素坐标系中的第一坐标信息。需要说明的是，通过这种方式，即使图像信息中某些特征点被遮挡或者有污损，也可以通过特征点相对于预设图形的位置信息确定出特征点在像素坐标系中的第一坐标信息。示例性的，如果图8中的特征点1被遮挡，可以结合其他特征点(例如，特征点2-4)的位置对菱形的边界线进行确定，根据特征点相对于预设图形的位置信息(即是菱形的顶点)，来对该预设点1的坐标信息进行确定。
S103、标定模块根据该特征点确定相机的第一参数，该第一参数为该相机的俯仰角、翻滚角或偏航角中的一项或多项。
可选的，标定模块根据该特征点确定相机的第一参数的方式可以为：根据所述第一坐标信息和空间信息确定该第一参数。其中，该空间信息为该特征点在世界坐标系中的第二坐标信息或者第一平面(示例性的，可以为地面，或者预设的一个平面)在世界坐标系中的第一法向量。
在一些实施例中，该空间信息为该特征点在世界坐标系中的第二坐标信息。以下对在这种情况下，标定模块根据第一坐标信息和空间信息确定相机的第一参数的方法进行介绍。
需要说明的是，该特征点在世界坐标系中的第二坐标信息可以理解为预设图形在现实世界中实际的坐标信息，该第二坐标信息由预设图形真实的尺寸信息决定。在一种可能的实现方式中，标定模块中可以预存有特征点的第二坐标信息，可以理解的是，不同的预设图形对应有不同的第二坐标信息。示例性的，参见图8，标定模块中可以存储8个特征点的坐标信息。另外需要说明的是，对应于该坐标信息的坐标原点的选取不做限制，该坐标原点可以为图8所示的两个菱形的中心，或者两个菱形的任一顶点，也可以为其他的点。
在又一种可能的实现方式中，该标定模块还可以预存有特征点相对于预设图形的位置信息。标定模块根据检测网络模型输出的边界尺寸信息以及该特征点相对于预设图形的位置信息确定特征点的第二坐标信息。例如，标定模块可以通过检测网络模型对图像信息进行处理，以确定预设图形的边界尺寸信息。示例性的，参见图8，该预设图形可以是由两个菱形组成的图形，该预设性图形的边界尺寸信息可以为两个菱形的边长。标定模块可以根据检测网络模型输出的边界尺寸信息以及该特征点相对于预设图形的位置信息(即是菱形的顶点)，确定出该特征点在世界坐标系中的第二坐标信息。
以图8为例，标定模块可以基于公式1-1所示的投影关系建立如下函数(参见公式1-2)：
其中，n＝8，即n为特征点的个数，Pi为特征点i的在像素坐标系的坐标，K为相机的内参矩阵，[R,T]为需要求解的外参矩阵，PW为特征点在世界坐标系中的坐标。
通过列文伯格-马夸尔特(Levenberg-Marquard，LM)算法或者其他优化方法可以求解上述公式1-2，进而求解出旋转矩阵R。该旋转矩阵R包括该相机的第一参数。
在另一些实施例中，该空间信息为该第一平面在世界坐标系中的第一法向量，以下对在这种情况下，标定模块根据第一坐标信息和空间信息确定相机的第一参数的方法进行介绍。
示例性的，参见图9，是本申请实施例提供的一种第一法向量和第二法向量的示意图。在该示例中，该第一平面为地面，车体坐标系的原点是车辆后轴投影到地面的点(图9中Xw、Yw、Zw代表车体坐标系的三个轴)，相机坐标系的原点建立在镜片的光心处(图9中Xc、Yc、Zc代表相机坐标系的三个轴)，向量nw为车体坐标系中地面对应的第一法向量，向量nc为相机坐标系下的地面对应的第二法向量。
需要说明的是，基于世界坐标系的建立方式可以确定出地面在世界坐标系中的第一法向量，也即是说，标定模块已知该第一法向量。示例性的，若世界坐标系中的Xw轴和Yw轴所构成的XwOwYw平面与地面平行，那么，地面在世界坐标系中的第一法向量可以为(0,0,1)。
以下介绍一种可能的在相机坐标系中第一平面(示例为地面)对应的第二法向量的确定方式。
步骤b1、标定模块根据第一坐标信息确定在相机坐标系中地面对应的第二法向量。
在一种可能的实现方式中，该预设图形为非圆形的图形，示例性的，为三角形，菱形，矩阵等多边形。该标定模块可以基于拍摄不同时刻的包含有同一预设图形的图像，根据不同图像中的预设图形对应的坐标信息确定出相机坐标系中地面对应的第二法向量。
示例性的，该预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；该第一坐标信息包括该第一图像对应的第二坐标信息和该第二图像对应的第三坐标信息。可选的，第一时刻和第二时刻为临近的拍摄时刻，示例性的，可以为拍摄前后两帧图像的时刻，第一时刻和第二时刻还可以选取其他临近的拍摄时刻，本申请实施例不作限制。
在这种方式中，标定模块可以根据该第二坐标信息和该第三坐标信息确定，在该相机坐标系中该地面对应的第二法向量。
示例性的，以图8所示的特征点为例。假设观测到8个特征点(即特征点1-8)，在第一图像的像素坐标系中的坐标为p1，其对应的相机坐标系中的坐标为P1；8个特征点在第二图像的像素坐标系中的坐标为p2，其对应的相机坐标系中的坐标为P2。该相机对应的旋转矩阵为R，平移矩阵为T。可选的，此处计算所利用的旋转矩阵为R，平移矩阵为T可以基于现有技术的求解方式得出，作为待优化的量。
由于，在第一图像和第二图像中的特征点所对应的预设图形中的特征点均位于一个平面(在该示例中为地面)上，P1和P2存在如下关系，可参照公式1-3所示：
p2～KP2＝K(RP1+T) 公式1-3
平面可以表示为公式1-4：
其中，d为相机距离平面的距离，nT为要求解的法向量。
结合公式1-3和公式1-4，可以得到如公式1-5所示的关系：
其中，
称为单应矩阵。单应矩阵用于描述物体在世界坐标系和像素坐标系之间的位置映射关系。
对于自由运动模型，假设单应矩阵H如公式1-6所示：
结合公式1-6和公式1-5，可以得到如公式1-7所示的关系：
则可以得出如公式1-8所示的解：
其中，约束h33＝1，每对匹配点(同一个世界坐标系中的点分别在第一图像和第二图像中的成像点称为一对匹配点)提供2个约束，可参照公式1-9所示：
分析可知，1对匹配点可以提供2个约束，图8示例出的4对匹配点可以提供所需要的8个约束，要求是任意三点不共线。对于多对点的情况，可以直接进行最小二乘，也可以配合随机抽样一致算法(Random sample consensus，RANSAC)降低对离群值(outlier)的影响。
根据H矩阵的定义(即
)可知，此时已知R，T，可以求解出法向量nT。
在又一种可能的实现方式中，该预设图形为圆形的图形。示例性的，可以参见图10所示的示意图。将预设图形E反投影到相机坐标系下，与光心相连形成一个椭圆锥。根据约束条件，与这个椭圆锥面相交的是一个半径为R的圆，求出平面。即在相机坐标系下求解求出与椭圆锥相交的两个平面，使得交线是半径为R的圆。由于圆形的特殊性，可以求解出两个可能的解，这两个圆有一个是正确解，包含了正确的法向量信息。由于已知圆在车辆前方，因此可以通过连续两帧或多帧判断法向量得到正确的解。
由于圆锥的空间特性，存在如公式1-10所示的关系：
其中，[x′0，y′0，z′0]、[n′x，n′y，n′z]分别为空间圆特征的圆心坐标与过圆法向量在标准坐标系下的表示，R为圆的半径，λ1、λ2、λ3为标准坐标系下椭圆锥的系数。已知在车辆前进过程中法向量方向应指向相机的方向，因此我们可选择出正确的法向量。
步骤b2、根据该第二法向量以及该第一法向量确定该相机的第一参数。
在一种可能的实现方式中，标定模块可以根据旋转矩阵确定该相机的第一参数，该旋转矩阵(即矩阵R)中各元素值(或者称为各元素的取值或大小)基于第一法向量和第二法向量确定。
示例性的，第一法向量nw和第二法向量nC满足公式1-11所示的关系。
nw＝RnC 公式1-11
其中，R为旋转矩阵。由于第一法向量和第二法向量的值已知，则根据公式1-11可以求解出旋转矩阵的值。
旋转矩阵R与相机的俯仰角θC、偏航角φC和翻滚角
的对应关系，可参照公式1-12所示：
将旋转矩阵的值代入公式1-12，可以求解出相机的俯仰角θC、偏航角φC和翻滚角
通过上述内容中介绍的相机的标定方法，标定模块可以根据图像信息中的预设图形的特征点在像素坐标系中的第一坐标信息和该特征点在世界坐标系中的第二坐标信息，或者可以根据该第一坐标信息和第一平面在世界坐标系中的第一法向量确定出相机的旋转矩阵(由相机的俯仰角、翻滚角以及偏航角组成)。本方案在该预设图形中存在遮挡或者标定模块中未存储有预设图形的真实尺寸数据的情况下，均可以求解出较准确的旋转矩阵，可以提升相机的测量精度。该方法可以应用于终端，如车辆，可以通过提升相机的测量精度，从而提升终端的感知能力。
结合上述介绍的相机的标定方法，在另一些实施例中，还可以对求解出的偏航角进行更加精确的估计。以下对这种更新偏航角的方法进行进一步的介绍。
参见图11，是本申请实施例提供的又一种相机的标定方法。该方法可以基于图1所示的架构来实现，下面描述的标定模块可以是一个独立的模块，还可以为组成调整模块的一个部件。其中，该第一参数可以为基于图4所介绍的方法求解出的第一参数。该第一参数为相机的俯仰角、翻滚角和偏航角。该方法包括以下步骤。
S201、标定模块获取一组平行线的第三图像。
在一种可能的实现方式中，标定模块可以通过移动台的相机获取包含有一组平行线的第三图像。示例性的，安装在移动台上的相机可以拍摄移动台所处环境的图像，并向标定装置发送这些图像。标定模块对接收的图像进行处理，以识别出包含有一组平行线的第三图像。需要说明的是，可以参照上述步骤S101对应的实施例内容的介绍，标定模块中部署的检测网络模型还具备识别包含有一组平行线的第三图像的功能。
示例性的，该一组平行线可以是车道线、道路边界线，或者是预设图形中的平行线。该一组平行线包括至少一对平行线，以下将以一对平行线进行介绍。
S202、基于第三图像确定平行线在像素坐标系中的第一直线方程。
在平行线为一对平行线的情况下，第一直线方程包括两条直线对应的两个直线方程。示例性的，第一直线方程包括直线方程1：A1X+B1Y+C1＝0和直线方程2：A2X+B2Y+C2＝0。
可选的，在步骤S202执行之后，步骤S203执行之前，标定模块可以检测移动台当前所处的行驶状态是否适合进行偏航角的更新。可以理解的是，若移动台自身的偏航角较大，那么会对计算出的相机的偏航角造成较大的影响，降低偏航角的准确性。因此，可以在标定模块检测到移动台当前所处的行驶状态适合进行偏航角的更新后，再执行后续步骤。
在一种可能的实现方式中，步骤S203执行之前，标定模块根据第一直线方程确定该平行线与移动台的行驶方向的偏离率；在该偏离率小于第四预设值的情况下，再执行根据第一直线方程和第二直线方程确定投影矩阵的步骤。其中，该平行线与移动台的行驶方向的偏离率的计算方式可以为平行线的两条直线的斜率的比值。
示例性的，标定模块可以获取在第一时刻的包含有平行线的第三图像，以及在第二时刻的包含有同一平行线的另一第三图像。可选的，第一时刻和第二时刻为临近的拍摄时刻，示例性的，可以为拍摄前后两帧图像的时刻。标定模块分别计算出该第一时刻的平行线对应的偏离率和该第二时刻的平行线对应的偏离率，计算两者的差值。若该差值小于第四预设值，则标定模块可认为该平行线与移动台的行驶方向几乎平行，在这种情况下，车辆的偏航角对相机的偏航角的影响可以忽略，适合进行偏航角的更新；也即是说，可以执行后续步骤。若该差值不小于第四预设值，则平行线与移动台的行驶方向存在夹角，在这种情况下，车辆的偏航角对相机的偏航角的影响较大，不适合进行偏航角的更新；那么，标定模块可以继续对检测到的平行线的偏离率进行监测，在满足平行线的偏离率小于第四预设值的条件下，再执行后续操作。
S203、根据该第一直线方程和第二直线方程确定投影矩阵，该投影矩阵用于指示像素坐标系中的该平行线和在世界坐标系中的该平行线的投影关系。
其中，第二直线方程为该平行线在世界坐标系中的直线方程。需要说明的是，基于世界坐标系的建立方式可以确定出第二直线方程。示例性的，若世界坐标系中的Xw轴和Yw轴所构成的XwOwYw平面与地面平行，Xw轴的方向与车辆的行驶方向平行；那么，该平行线在世界坐标系中的直线方程的方向向量与Xw轴平行，示例性的，该第二直线方程的方向向量可以为(1,0,0)。基于该方向向量的要求，可以得出第二直线方程。需要说明的是，本申请实施例对于该第二直线方式的位置不作限制，可以理解为，该第二直线方程所对应的直线与第一直线方程所对应的现实世界中的直线可以不相同。可选的，标定模块可以预存有该第二直线方程。
在平行线为一对平行线的情况下，第二直线方程包括两条直线对应的两个直线方程。示例性的，第二直线方程包括直线方程3：A3X+B3Y+C3＝0和直线方程4：A4X+B4Y+C4＝0。
S204、根据投影矩阵和第一参数更新该相机的偏航角。
按照上述的介绍，第一直线方程中的点，与该点对应的第二直线方程中的点满足公式1-1所示的关系，则可以推导出如公式1-13所示的关系。
Iw＝Ii*M 公式1-13
其中，Iw为第二直线方程，Ii为第一直线方式，M为投影矩阵。投影矩阵M中包括的旋转矩阵R可以基于该第一参数确定。需要说明的是，该投影矩阵和上述图4所对应的实施例中指示像素坐标系中的特征点和在世界坐标系中的特征点的投影关系的投影矩阵是相同的。
又由于平行线的平行特性，可以得到如公式1-14或者公式1-15所示的损失函数。其中，该损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，可以通过最小化损失函数求解和评估模型。
f＝A1B2-A2B1 公式1-14
可选的，还可以存在其他形式的损失函数，示例性的，损失函数还可以为f＝|A1B2-A2B1|+|A1|+|A2|，或者还可以为f＝A1 2+A2 2，等等，本申请实施例不作限制。在优化偏航角的过程中，初始的投影矩阵M的取值可以基于第一参数确定，之后，不断调整偏航角的取值，使得损失函数的绝对值得到最小，或者在一个预设的取值范围内。标定模块可以将最终确定出的偏航角作为更新后的偏航角。可选的，将更新后的偏航角和图4对应的方法实施例中求解出的俯仰角、翻滚角组合为更新后的第一参数。通过这种方法，可以对相机的偏航角作出进一步的优化，得到更加准确的相机的第一参数，作为相机标定的结果，提升相机检测的精确性。之后，可以根据更新后的第一参数对目标物体的速度和位置等进行测量，或者用于世界坐标和传感器坐标之间的坐标的转换。
结合上述介绍的相机的标定方法，在另一些实施例中，还可以对相机的高度进行进一步的估计。以下介绍一些估计相机高度的方法。
参见图12，是本申请实施例提供的又一种相机的标定方法。该方法可以基于图1所示的系统来实现，下面描述的标定模块可以是一个独立的模块，还可以为组成调整模块的一个部件。其中，该第一参数可以为基于图4所介绍的方法求解出的第一参数，还可以为基于图11所介绍的方法求解出的更新后的第一参数；该第一参数包括相机的俯仰角。该方法可以包括以下步骤。
S301、标定模块获取在第一时刻的包含参考点的第四图像，以及在第二时刻的包含该参考点的第五图像。
在一种可能的实现方式中，标定模块可以通过移动台的相机获取该第四图像和第五图像。示例性的，安装在移动台上的相机可以拍摄移动台所处环境的图像，并向标定装置发送这些图像。标定模块对接收的图像进行处理，以识别出包含有参考点的图像。需要说明的是，可以参照上述步骤S10l对应的实施例内容的介绍，标定模块中部署的检测网络模型还具备识别包含有参考点的图像的功能。
示例性的，该参考点可以为预定图形中的一个点，标定模块中存储有该参考点相对于该预定图形的位置。可选的，该参考点可以为预设图形的特征点中的一个(可以为特征点中的任意一个)，还可以为预设图形的中心，等等。示例性的，参考点也可以不在预设图形中，标定模块中存储有该参考点对应的特征信息。
可选的，第一时刻和第二时刻为临近的拍摄时刻，示例性的，可以为拍摄前后两帧图像的时刻，第一时刻和第二时刻还可以选取其他临近的拍摄时刻，本申请实施例不作限制。
S302、标定模块基于第四图像确定该参考点在该像素坐标系中的第四坐标信息，基于该第五图像确定该参考点在该像素坐标系中的第五坐标信息。
参见图13，是本申请实施例提供的一种包含参考点的图像的示意图。在图13中，世界坐标系xyz与相机坐标系的原点重合，相机的高度为h，地面上的点p在拍摄第四图像时的位置记作p(1)，在拍摄第五图像时的位置记作p(2)。这两个坐标位置在像素平面(imageplane，或者称为图像平面)的位置分别为x(1)(即对应第四坐标信息，示例性的，可以为坐标(u1，v1))和x(2)(即对应第五坐标信息，示例性的，可以为坐标(u2，v2))。
S303、标定模块根据第四坐标信息、第五坐标信息、俯仰角以及相机从该第一时刻至该第二时刻的移动距离，确定相机的高度。
示例性的，用f(u，v)表示像素点(u，v)对应的地面上的三维点与相机光心的距离。f(u，v)可参见公式1-16所示：
其中，M为投影矩阵，相机高度为h。f(u，v)还可以表示为公式1-17：
其中，v0为相机的光心的v轴的坐标值，fy为相机的焦距，α为相机的俯仰角。
具体的，x(1)(即坐标(u1，v1))对应的地面上的三维点与相机光心的距离为f(u1，v1)，x(1)(即坐标(u2，v2))对应的地面上的三维点与相机光心的距离为f(u2，v2)。令s为相机从该第一时刻至该第二时刻的移动距离，可以理解的是，相机随着移动台移动，可以根据移动台的速度、第一时刻和第二时刻的时间差计算出相机的移动距离。s与h之间的关系可以参照公式1-18所示：
结合公式1-17和公式1-18，代入第四坐标信息(即坐标(u1，v1))、第五坐标信息(即坐标(u2，v2))、俯仰角(即α)以及相机从该第一时刻至该第二时刻的移动距离(即s)和相机的焦距(即fy)等已知量，可以求解出相机的高度h。通过这种方式，在标定模块中未存储有预设图形的真实尺寸数据的情况下，也可以求解出较准确的相机高度，可以提升相机的测量精度。
在另一种实现方式中，标定模块还可以利用第一参数、参考点在像素坐标系中的坐标以及该参考点对应的在世界坐标系中的坐标求解相机的高度。以下对这种方式进行进一步的介绍。
参见图14，是本申请实施例提供的又一种相机的标定方法。该方法可以基于图1所示的架构来实现，下面描述的标定模块可以是一个独立的模块，还可以为组成调整模块的一个部件。其中，该第一参数可以为基于图4所介绍的方法求解出的第一参数，还可以为基于图11所介绍的方法求解出的更新后的第一参数；该第一参数为相机的俯仰角、翻滚角和偏航角。该方法可以包括以下步骤。
S401、标定模块获取包含参考点的第六图像。
参照上述步骤S301中的介绍，标定模块可以通过移动台的相机获取包含参考点的第六图像。
S402、标定模块基于第六图像确定该参考点在像素坐标系中的第六坐标信息。
该步骤的实施方式可以参照上述步骤S302中的介绍，此处不再赘述。
S403、标定模块根据该第六坐标信息，参考点在世界坐标系中的第七坐标信息和第一参数，确定相机的高度。
需要说明的是，该参考点在世界坐标系中的第七坐标信息可以理解为参考点在现实世界中实际的坐标信息，由该参考点相对于现实物体的真实的尺寸信息决定。在一种可能的实现方式中，标定模块中可以预存有参考点的第七坐标信息。
参考点在世界坐标系中的坐标(由第七坐标信息确定)与参考点的成像参考点在像素坐标系中的坐标(由第六坐标信息确定)之间的转换关系参见公式1-1所示。其中，旋转矩阵R可以由第一参数确定出，再代入第七坐标信息、第六坐标信息、相机的焦距f、相机在世界坐标系中的x0，y0等已知量，可以求解出相机的高度h。通过这种方式，标定模块根据第一参数、参考点在像素坐标系中的坐标以及该参考点对应的在世界坐标系中的坐标，可以求解出较准确的相机高度，可以提升相机的测量精度。
为了实现上述本申请实施例提供的方法中的各功能，接入网设备、第一终端和第二终端可以包括硬件结构、软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能可以以硬件结构、软件模块、或者硬件结构加软件模块的方式来执行。
参见图15，图15是本申请实施例提供的一种标定装置的结构示意图。该标定装置150可以是移动台中的装置。标定装置150包括获取单元1501和确定单元1502。以下对这两个单元作进一步的介绍。
所述获取单元，用于获取预设图形的图像信息。该获取单元1501所执行的操作可以参照上述图4的步骤S101的内容的介绍。
获取单元1501，还用于获取所述图像信息中的所述预设图形的特征点。该获取单元1501所执行的操作可以参照上述图4的步骤S102的内容的介绍。
确定单元1502，用于根据所述特征点确定相机的第一参数，所述第一参数为俯仰角、翻滚角或偏航角中的一项或多项。该确定单元1502所执行的操作可以参照上述图4的步骤S103的内容的介绍。
在一种可能的实现方式中，该获取单元1501具体用于：获取该图像信息中的该预设图形的特征点在像素坐标系中的第一坐标信息；该确定单元1502具体用于：根据该第一坐标信息和空间信息确定该第一参数，该空间信息为该特征点在世界坐标系中的第二坐标信息或者第一平面在世界坐标系中的第一法向量。
在一种可能的实现方式中，该空间信息为该第一平面在世界坐标系中的第一法向量，该确定单元1502具体用于：根据该第一坐标信息确定在该相机坐标系中该第一平面对应的第二法向量；根据该第二法向量以及该第一法向量确定该第一参数。
在一种可能的实现方式中，该预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；该第一坐标信息包括该第一图像对应的第二坐标信息和该第二图像对应的第三坐标信息；该确定单元1502具体用于：根据该第二坐标信息和该第三坐标信息确定，在该相机坐标系中该第一平面对应的第二法向量。
在一种可能的实现方式中，获取该预设图形的相机位于移动台上，在获取预设图形的图像信息之前，该确定单元1502还用于：确定该移动台满足预设条件，该预设条件包括以下一项或者多项：该移动台处于平直的行驶路线、该移动台的角速度小于第一预设值、该移动台的加速度小于第二预设值，或者该移动台的速度小于第三预设值。
在一种可能的实现方式中，该确定单元1502具体用于：根据旋转矩阵确定该相机的第一参数，该旋转矩阵中各元素值是基于该第一法向量和该第二法向量确定的。
在一种可能的实现方式中，该获取单元1501还用于：获取一组平行线的第三图像；该确定单元1502还用于执行以下操作：基于该第三图像确定该平行线在像素坐标系中的第一直线方程；根据该第一直线方程和第二直线方程确定投影矩阵，该投影矩阵用于指示该像素坐标系中的该平行线和在世界坐标系中的该平行线的投影关系，该第二直线方程为该平行线在该世界坐标系中的直线方程；根据该投影矩阵和该第一参数更新该相机的偏航角。
在一种可能的实现方式中，获取该预设图形的相机位于移动台上，该确定单元1502还用于：根据该第一直线方程确定该平行线与该移动台的行驶方向的偏离率；在该偏离率小于第四预设值的情况下，执行该根据该第一直线方程和该第二直线方程确定投影矩阵的步骤。
在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数包括该相机的俯仰角，该获取单元1501还用于：获取在第一时刻的包含参考点的第四图像，以及在第二时刻的包含该参考点的第五图像；该确定单元1502还用于执行以下操作：基于该第四图像确定该参考点在像素坐标系中的第四坐标信息，基于该第五图像确定该参考点在该像素坐标系中的第五坐标信息；根据该第四坐标信息、该第五坐标信息、该俯仰角以及该相机从该第一时刻至该第二时刻的移动距离，确定该相机的高度。
在一种可能的实现方式中，该预设图形的图像由相机获取，该第一参数为该相机的俯仰角、翻滚角和偏航角，该获取单元1501还用于：获取包含参考点的第六图像；该确定单元1502还用于：基于该第六图像确定该参考点在像素坐标系中的第六坐标信息；根据该第六坐标信息，该参考点在世界坐标系中的第七坐标信息和该第一参数，确定该相机的高度。
在一种可能的实现方式中，该获取单元1501具体用于：根据所述图像信息确定所述预设图形的边界框；处理所述边界框中的图像得到所述预设图形对应的拟合形状；根据所述拟合形状和所述特征点相对于所述预设图形的位置信息确定所述特征点在所述像素坐标系中的所述第一坐标信息。
具体的，图15所示的标定装置的各个单元执行的操作可以参照上述图4、图11、图12、以及图14对应的方法实施例中有关于标定模块的相关内容，此处不再详述。上述各个单元可以以硬件，软件或者软硬件结合的方式来实现。在一个实施例中，上述内容中的获取单元1501以及确定单元1502的功能可以由通信装置150中的一个或多个处理器来实现。
参见图16，是本申请实施例提供的又一种标定装置的结构示意图。该标定装置160可用于实现上述方法实施例中描述的方法，具体可以参见上述方法实施例中的说明。
标定装置160可以包括一个或多个处理器1601。所述处理器1601可以是通用处理器或者专用处理器等。所述处理器1601可以用于对标定装置进行控制，执行软件程序，处理软件程序的数据。
可选的，所述标定装置160中可以包括一个或多个存储器1602，其上可以存有程序代码1604，所述程序代码可在所述处理器1601上被运行，使得所述标定装置160执行上述方法实施例中描述的方法。可选的，所述存储器1602中还可以存储有数据。所述处理器1601和存储器1602可以单独设置，也可以集成在一起。
可选的，所述标定装置160还可以包括收发器1605、天线1606。所述收发器1605可以称为收发单元、收发机、或收发电路等，用于实现收发功能。收发器1605可以包括接收器和发送器，接收器可以称为接收机或接收电路等，用于实现接收功能；发送器可以称为发送机或发送电路等，用于实现发送功能。
处理器1601，用于通过收发器1605获取预设图形的图像信息；该处理器1601还用于获取该图像信息中的该预设图形的特征点；以及根据该特征点确定相机的第一参数，该第一参数为该相机的俯仰角、翻滚角或偏航角中的一项或多项。
需要说明的是，在上述实施例中，标定装置160可以是移动台中的装置，也可以是支持移动台中的装置中实现上述方法的芯片、芯片系统、或处理器等。
具体的，标定装置160执行的操作可以参照上述图4、图11、图12、以及图14对应的方法实施例中有关于标定模块的相关内容，此处不再详述。
在另一种可能的设计中，该收发器1605可以是收发电路，或者是接口，或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路可以是分开的，也可以集成在一起。上述收发电路、接口或接口电路可以用于代码/数据的读写，或者，上述收发电路、接口或接口电路可以用于信号的传输或传递。
在又一种可能的设计中，可选的，处理器1601可以存有程序代码1603，程序代码1603在处理器1601上运行，可使得所述标定装置160执行上述方法实施例中描述的方法。程序代码1603可能固化在处理器1601中，该种情况下，处理器1601可能由硬件实现。
在又一种可能的设计中，标定装置160可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。
本申请中描述的处理器和收发器可实现在集成电路(integrated circuit，IC)、模拟IC、射频集成电路RFIC、混合信号IC、专用集成电路(application specificintegrated circuit，ASIC)、印刷电路板(printed circuit board，PCB)、电子设备等上。
以上实施例描述中的标定装置可以是网络设备或者终端设备，但本申请中描述的标定装置的范围并不限于此，而且标定装置的结构可以不受图16的限制。标定装置可以是独立的设备或者可以是较大设备的一部分。例如所述标定装置可以是：
(1)独立的集成电路IC，或芯片，或，芯片系统或子系统；
(2)具有一个或多个IC的集合，可选的，该IC集合也可以包括用于存储数据，程序代码的存储部件；
(3)ASIC，例如调制解调器(Modem)；
(4)可嵌入在其他设备内的模块；
(5)接收机、智能终端、无线设备、手持机、移动单元、车载设备、云设备、人工智能设备等等。
对于通信装置可以是芯片或芯片系统的情况，可参见图17所示的芯片的结构示意图。图17所示的芯片170包括逻辑电路1701和输入输出接口1702。其中，逻辑电路1701的数量可以是一个或多个，输入输出接口1702的数量可以是多个。
逻辑电路1701，可以用于通过输入输出接口1702获取预设图形的图像信息。
逻辑电路1701，还可以用于获取该图像信息中的该预设图形的特征点；以及用于根据该特征点确定相机的第一参数，该第一参数为俯仰角、翻滚角或偏航角中的一项或多项。
具体的，在这种情况中，逻辑电路1701所执行的操作可以参照上述图4、图11、图12、以及图14对应的方法实施例中有关于标定模块的相关内容，此处不再详述。
本领域技术人员还可以了解到本申请实施例列出的各种说明性逻辑块(illustrative logical block)和步骤(step)可以通过电子硬件、电脑软件，或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本申请实施例保护的范围。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机可读存储介质被计算机执行时实现上述任一方法实施例的功能。
本申请还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围，先后顺序。例如，本申请所述的第一图像，第三图像，第四图像，第六图像可以为同一图像，或者也可以为不同的图像。再如，本申请所述的第二图像，第三图像，第五图像，第六图像可以为同一图像，或者也可以为不同的图像。本申请中各表所示的对应关系可以被配置，也可以是预定义的。各表中的信息的取值仅仅是举例，可以配置为其他值，本申请并不限定。在配置信息与各参数的对应关系时，并不一定要求必须配置各表中示意出的所有对应关系。例如，本申请中的表格中，某些行示出的对应关系也可以不配置。又例如，可以基于上述表格做适当的变形调整，例如，拆分，合并等等。上述各表中标题示出参数的名称也可以采用通信装置可理解的其他名称，其参数的取值或表示方式也可以通信装置可理解的其他取值或表示方式。上述各表在实现时，也可以采用其他的数据结构，例如可以采用数组、队列、容器、栈、线性表、指针、链表、树、图、结构体、类、堆、散列表或哈希表等。
本申请中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
Claims (24)
1.一种相机的标定方法，其特征在于，包括：
获取预设图形的图像信息；
获取所述图像信息中的所述预设图形的特征点；
根据所述特征点确定相机的第一参数，所述第一参数为所述相机的俯仰角、翻滚角或偏航角中的一项或多项。
2.根据权利要求1所述的方法，其特征在于，所述获取所述图像信息中的所述预设图形的特征点，包括：
获取所述图像信息中的所述预设图形的特征点在像素坐标系中的第一坐标信息；
所述根据所述特征点确定相机的第一参数，包括：
根据所述第一坐标信息和空间信息确定所述第一参数，所述空间信息为所述特征点在世界坐标系中的第二坐标信息或者第一平面在世界坐标系中的第一法向量。
3.根据权利要求2所述的方法，所述空间信息为所述第一平面在世界坐标系中的第一法向量，所述根据所述第一坐标信息和空间信息确定所述第一参数，包括：
根据所述第一坐标信息确定在所述相机坐标系中所述第一平面对应的第二法向量；
根据所述第二法向量以及所述第一法向量确定所述第一参数。
4.根据权利要求3所述的方法，其特征在于，所述预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；所述第一坐标信息包括所述第一图像对应的第二坐标信息和所述第二图像对应的第三坐标信息；
所述根据所述第一坐标信息确定在所述相机坐标系中所述第一平面对应的第二法向量，包括：
根据所述第二坐标信息和所述第三坐标信息确定，在所述相机坐标系中所述第一平面对应的第二法向量。
5.根据权利要求1-4任一项所述的方法，其特征在于，获取所述预设图形的相机位于移动台上，在获取预设图形的图像信息之前，所述方法还包括：
确定所述移动台满足预设条件，所述预设条件包括以下一项或者多项：
所述移动台处于平直的行驶路线、所述移动台的角速度小于第一预设值、所述移动台的加速度小于第二预设值，或者所述移动台的速度小于第三预设值。
6.根据权利要求3所述的方法，其特征在于，所述根据所述第二法向量以及所述第一法向量确定所述第一参数，包括：
根据旋转矩阵确定所述第一参数，所述旋转矩阵中各元素值是基于所述第一法向量和所述第二法向量确定的。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一参数为所述相机的俯仰角、翻滚角和偏航角，所述方法还包括：
获取一组平行线的第三图像；
基于所述第三图像确定所述平行线在像素坐标系中的第一直线方程；
根据所述第一直线方程和第二直线方程确定投影矩阵，所述投影矩阵用于指示所述像素坐标系中的所述平行线和在世界坐标系中的所述平行线的投影关系，所述第二直线方程为所述平行线在所述世界坐标系中的直线方程；
根据所述投影矩阵和所述第一参数更新所述相机的偏航角。
8.根据权利要求7所述的方法，其特征在于，获取所述预设图形的相机位于移动台上，在所述根据所述第一直线方程和所述第二直线方程确定投影矩阵之前，所述方法还包括：
根据所述第一直线方程确定所述平行线与所述移动台的行驶方向的偏离率；
在所述偏离率小于第四预设值的情况下，执行所述根据所述第一直线方程和所述第二直线方程确定投影矩阵的步骤。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述预设图形的图像由相机获取，所述第一参数包括所述相机的俯仰角，所述方法还包括：
获取在第一时刻的包含参考点的第四图像，以及在第二时刻的包含所述参考点的第五图像；
基于所述第四图像确定所述参考点在像素坐标系中的第四坐标信息，基于所述第五图像确定所述参考点在所述像素坐标系中的第五坐标信息；
根据所述第四坐标信息、所述第五坐标信息、所述俯仰角以及所述相机从所述第一时刻至所述第二时刻的移动距离，确定所述相机的高度。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述预设图形的图像由相机获取，所述第一参数为所述相机的俯仰角、翻滚角和偏航角，所述方法还包括：
获取包含参考点的第六图像；
基于所述第六图像确定所述参考点在像素坐标系中的第六坐标信息；
根据所述第六坐标信息，所述参考点在世界坐标系中的第七坐标信息和所述第一参数，确定所述相机的高度。
11.根据权利要求2-4任一项所述的方法，其特征在于，所述确定所述特征点在像素坐标系中的第一坐标信息，包括：
根据所述图像信息确定所述预设图形的边界框；
处理所述边界框中的图像得到所述预设图形对应的拟合形状；
根据所述拟合形状和所述特征点相对于所述预设图形的位置信息确定所述特征点在所述像素坐标系中的所述第一坐标信息。
12.一种标定装置，其特征在于，所述标定装置包括获取单元和确定单元：
所述获取单元，用于获取预设图形的图像信息；
所述获取单元，还用于获取所述图像信息中的所述预设图形的特征点；
所述确定单元，用于根据所述特征点确定相机的第一参数，所述第一参数为所述相机的俯仰角、翻滚角或偏航角中的一项或多项。
13.根据权利要求12所述的标定装置，所述获取单元具体用于：
获取所述图像信息中的所述预设图形的特征点在像素坐标系中的第一坐标信息；
所述确定单元具体用于：
根据所述第一坐标信息和空间信息确定所述第一参数，所述空间信息为所述特征点在世界坐标系中的第二坐标信息或者第一平面在世界坐标系中的第一法向量。
14.根据权利要求13所述的标定装置，所述空间信息为所述第一平面在世界坐标系中的第一法向量，所述确定单元具体用于：
根据所述第一坐标信息确定在所述相机坐标系中所述第一平面对应的第二法向量；
根据所述第二法向量以及所述第一法向量确定所述第一参数。
15.根据权利要求14所述的标定装置，其特征在于，所述预设图形的图像信息包括在第一时刻的第一图像，以及在第二时刻的第二图像；所述第一坐标信息包括所述第一图像对应的第二坐标信息和所述第二图像对应的第三坐标信息；
所述确定单元具体用于：
根据所述第二坐标信息和所述第三坐标信息确定，在所述相机坐标系中所述第一平面对应的第二法向量。
16.根据权利要求12-15任一项所述的标定装置，其特征在于，获取所述预设图形的相机位于移动台上，在获取预设图形的图像信息之前，所述确定单元还用于：
确定所述移动台满足预设条件，所述预设条件包括以下一项或者多项：
所述移动台处于平直的行驶路线、所述移动台的角速度小于第一预设值、所述移动台的加速度小于第二预设值，或者所述移动台的速度小于第三预设值。
17.根据权利要求14所述的标定装置，其特征在于，所述确定单元具体用于：
根据旋转矩阵确定所述相机的第一参数，所述旋转矩阵中各元素值是基于所述第一法向量和所述第二法向量确定的。
18.根据权利要求12-17任一项所述的标定装置，其特征在于，所述获取单元还用于：
获取一组平行线的第三图像；
所述确定单元还用于执行以下操作：
基于所述第三图像确定所述平行线在像素坐标系中的第一直线方程；
根据所述第一直线方程和第二直线方程确定投影矩阵，所述投影矩阵用于指示所述像素坐标系中的所述平行线和在世界坐标系中的所述平行线的投影关系，所述第二直线方程为所述平行线在所述世界坐标系中的直线方程；
根据所述投影矩阵和所述第一参数更新所述相机的偏航角。
19.根据权利要求18所述的标定装置，其特征在于，获取所述预设图形的相机位于移动台上，所述确定单元还用于：
根据所述第一直线方程确定所述平行线与所述移动台的行驶方向的偏离率；
在所述偏离率小于第四预设值的情况下，执行所述根据所述第一直线方程和所述第二直线方程确定投影矩阵的步骤。
20.根据权利要求12-19任一项所述的标定装置，其特征在于，所述预设图形的图像由相机获取，所述第一参数包括所述相机的俯仰角，所述获取单元还用于：
获取在第一时刻的包含参考点的第四图像，以及在第二时刻的包含所述参考点的第五图像；
所述确定单元还用于执行以下操作：
基于所述第四图像确定所述参考点在像素坐标系中的第四坐标信息，基于所述第五图像确定所述参考点在所述像素坐标系中的第五坐标信息；
根据所述第四坐标信息、所述第五坐标信息、所述俯仰角以及所述相机从所述第一时刻至所述第二时刻的移动距离，确定所述相机的高度。
21.根据权利要求12-19任一项所述的标定装置，其特征在于，所述预设图形的图像由相机获取，所述第一参数为所述相机的俯仰角、翻滚角和偏航角，所述获取单元还用于：
获取包含参考点的第六图像；
所述确定单元还用于：
基于所述第六图像确定所述参考点在像素坐标系中的第六坐标信息；
根据所述第六坐标信息，所述参考点在世界坐标系中的第七坐标信息和所述第一参数，确定所述相机的高度。
22.根据权利要求13-15任一项所述的标定装置，其特征在于，所述获取单元具体用于：
根据所述图像信息确定所述预设图形的边界框；
处理所述边界框中的图像得到所述预设图形对应的拟合形状；
根据所述拟合形状和所述特征点相对于所述预设图形的位置信息确定所述特征点在所述像素坐标系中的所述第一坐标信息。
23.一种标定装置，其特征在于，包括处理器和存储器；
所述存储器，用于存储程序代码；
所述处理器，用于从所述存储器中调用所述程序代码执行如权利要求1-11任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令，当所述指令被执行时，使得如权利要求1-11任一项所述的方法被实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745441.4A CN115546305A (zh) | 2021-06-30 | 2021-06-30 | 一种相机的标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110745441.4A CN115546305A (zh) | 2021-06-30 | 2021-06-30 | 一种相机的标定方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115546305A true CN115546305A (zh) | 2022-12-30 |
Family
ID=84723015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110745441.4A Pending CN115546305A (zh) | 2021-06-30 | 2021-06-30 | 一种相机的标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546305A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117135437A (zh) * | 2023-10-26 | 2023-11-28 | 立臻精密智造(昆山)有限公司 | 一种移动纠偏模组和摄像头安装纠偏方法、装置及介质 |
-
2021
- 2021-06-30 CN CN202110745441.4A patent/CN115546305A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117135437A (zh) * | 2023-10-26 | 2023-11-28 | 立臻精密智造(昆山)有限公司 | 一种移动纠偏模组和摄像头安装纠偏方法、装置及介质 |
| CN117135437B (zh) * | 2023-10-26 | 2024-02-02 | 立臻精密智造(昆山)有限公司 | 一种移动纠偏模组和摄像头安装纠偏方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6821712B2 (ja) | 自然光景中での統合センサの較正 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| WO2021227645A1 (zh) | 目标检测方法和装置 | |
| CN113544756A (zh) | Hd地图中危险道路对象的众包检测、标识和共享 | |
| CN109215083A (zh) | 车载传感器的外部参数标定的方法和设备 | |
| CN110411457B (zh) | 基于行程感知与视觉融合的定位方法、系统、终端和存储介质 | |
| CN110147382A (zh) | 车道线更新方法、装置、设备、系统及可读存储介质 | |
| CN110458885B (zh) | 基于行程感知与视觉融合的定位系统和移动终端 | |
| CN114111775B (zh) | 一种多传感器融合定位方法、装置、存储介质及电子设备 | |
| CN112136021A (zh) | 用于构建基于地标的高清地图的系统和方法 | |
| CN114782548B (zh) | 基于全局图像的雷视数据标定方法、装置、设备及介质 | |
| CN115546305A (zh) | 一种相机的标定方法及装置 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| CN108195359B (zh) | 空间数据的采集方法及系统 | |
| CN113658262B (zh) | 相机外参标定方法、装置、系统及存储介质 | |
| US11631197B2 (en) | Traffic camera calibration | |
| CN112424568A (zh) | 构建高清地图的系统和方法 | |
| JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN112639864B (zh) | 用于测距的方法和装置 | |
| CN114187365A (zh) | 路侧感知系统的相机与毫米波雷达联合标定方法及系统 | |
| JP2018194417A (ja) | 位置推定装置、移動装置 | |
| WO2020223868A1 (zh) | 地面信息处理方法、装置和无人驾驶车辆 | |
| US20240037781A1 (en) | Electronic device for identifying position of external object associated with image by using information of camera and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |