CN112598750A - 路侧相机标定方法、装置、电子设备和存储介质 - Google Patents
路侧相机标定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112598750A CN112598750A CN202011529652.6A CN202011529652A CN112598750A CN 112598750 A CN112598750 A CN 112598750A CN 202011529652 A CN202011529652 A CN 202011529652A CN 112598750 A CN112598750 A CN 112598750A
- Authority
- CN
- China
- Prior art keywords
- dimensional coordinates
- image
- target camera
- determining
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 239000003550 marker Substances 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
本公开提供了路侧相机标定方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉及计算机视觉领域和智能交通领域。具体实现方案为：获取目标相机采集的第一图像，确定至少两个第一标志点在第一图像中的二维坐标；根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参；其中，预设模型用于表征基于目标相机的内参和外参确定的目标映射关系，目标映射关系为二维坐标和三维坐标之间的映射关系。根据本公开的技术方案，可以降低相机标定的成本。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及计算机视觉领域和智能交通领域。
背景技术
在智能交通领域，新型基建设备例如支持V2X(Vehicle to Everything，车联网)的路灯、电警相机、交通信号灯等感知设备，可以为车辆提供超出视野范围的感知信息。其中，电警相机为智能交通感知系统中最主要的传感器之一，其参数的准确性对于感知系统的精度和鲁棒性起到至关重要的作用。相关技术中，电警相机的内参标定过程和外参标定过程是互相独立的。
发明内容
本公开提供了一种路侧相机标定方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种路侧相机标定方法，包括：
获取目标相机采集的第一图像，确定至少两个第一标志点在第一图像中的二维坐标；
根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参；
其中，预设模型用于表征基于目标相机的内参和外参确定的目标映射关系，目标映射关系为二维坐标和三维坐标之间的映射关系。
根据本公开的另一方面，提供了一种路侧相机标定装置，包括：
图像获取模块，用于获取目标相机采集的第一图像，确定至少两个第一标志点在第一图像中的二维坐标；
参数确定模块，用于根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参；
其中，预设模型用于表征基于目标相机的内参和外参确定的目标映射关系，目标映射关系为二维坐标和三维坐标之间的映射关系。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种路侧设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的技术方案，可以利用预设模型，对目标相机的内参和外参进行联合标定，因此，能够降低相机标定的成本。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开一个实施例提供的路侧相机标定方法的示意图；
图2是本公开另一个实施例提供的路侧相机标定方法的示意图；
图3是本公开实施例中确定外参初始值的示意图；
图4是本公开一个实施例提供的路侧相机标定装置的示意图；
图5是本公开另一个实施例提供的路侧相机标定装置的示意图；
图6是用来实现本公开实施例的路侧相机标定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在计算机视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，这些几何模型的参数就是相机参数。确定相机参数的过程可以称为相机标定或摄像机标定。相机参数包括内参和外参。其中，内参与相机自身特性相关；外参体现相机坐标系和世界坐标系之间的相对位置关系，与相机的位置、旋转方向等相关，例如外参可以包括相机坐标系和世界坐标系之间的旋转参数、平移参数等。
一般来说，设置在道路中的电警相机的内参标定过程需要在道路上设置标定板，并花费人力物力对电警相机进行拆卸和重装，以获得电警相机采集的多个不同的标定板图像，再基于多个不同的标定板图像采用张正友标定法解算出电警相机的内参。电警相机的外参标定过程需要使用RTK (Real-time Kinematic，实时动态定位)设备到路面上获得标志点在真实世界中的三维坐标，需要的人力成本较高，且在道路上打点也存在安全风险。
本公开实施例提供的方案，主要用于解决上述问题中的至少一个。
图1示出了本公开实施例提供的路侧相机标定方法的示意图。示例性地，该方法的执行主体可以是各种路侧设备。
在智能交通车路协同的一种系统架构中，路侧设备包括路侧感知设备和路侧计算设备。其中，路侧感知设备(例如用于获取道路图像的电警相机)连接到路侧计算设备(例如路侧计算单元(Road Side Computing Unit， RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信。在智能交通车路协同的另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器设备。以上连接可以是有线或是无线；本公开中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
本公开实施例中，执行方法的路侧设备可以包括例如具有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，也可以包括与路侧计算设备连接的服务器设备，或与路侧感知设备直接相连的服务器设备等。
如图1所示，本公开实施例提供的路侧相机标定方法包括：
步骤S11，获取目标相机采集的第一图像，确定至少两个第一标志点在第一图像中的二维坐标；
步骤S12，根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参；
其中，预设模型用于表征基于目标相机的内参和外参确定的目标映射关系，目标映射关系为二维坐标和三维坐标之间的映射关系。
示例性地，目标相机可以包括设置在道路上的电警相机例如枪式相机 (或者称为枪机)、鱼眼相机、球机中的一种或多种。
第一标志点可以包括人工在道路上设置的标志点，相应的，第一标志点在真实世界中的三维坐标可以利用RTK设备得到。第一标志点也可以包括能够在高精地图中获取三维坐标的标志点，例如道路中某个车道线的端点、车道线和路口停止线的交点、基建设备所在的定位点等。
示例性地，第一标志点在目标相机采集的第一图像中的二维坐标，可以是第一标志点所在的像素点在第一图像的像素坐标系中的坐标。第一标志点在第一图像中的二维坐标可以基于人工标注的第一标志点位置确定，也可以基于图像识别确定。
本公开实施例中，预设模型可以包括内外参紧耦合模型。以枪机为例，假设第一标志点在第一图像中的二维坐标为(u,v)，在真实世界中的三维坐标为(XW,YW,ZW)，则枪机内外参紧耦合模型可以基于以下公式表示：
其中，K为目标相机的内参，K可以基于矩阵表示。
示例性地，
在一些应用示例中，fx＝fy＝f，f为目标相机的焦距。cx与cy为枪机采集的图像中分辨率的宽度和高度的一半，即(cx,cy)为图像的中心坐标。
R和t属于目标相机的外参。其中，R为目标相机的旋转参数，也可以基于矩阵表示，称为旋转矩阵。t为目标相机的平移参数，可以基于向量表示。
DIST()表示在括号中的变量的归一化坐标上加畸变，例如，假设：
则
为
的归一化坐标
的畸变函数。
根据
可以计算得到
其中，
xc_d＝xc1(1+k1*r2)； 公式(5)
yc_d＝yc1(1+k1*r2)； 公式(6)
这里，k1为畸变参数，
基于上述公式，可以得到：
联立上述公式(2)至(8)，可以得到公式(1)表示的枪机内外参紧耦合模型。可见，枪机内外参紧耦合模型为基于内参矩阵K中的f、畸变参数k1和外参R和t确定的二维坐标(u,v)和三维坐标为(XW,YW,ZW)的映射关系。
基于预设模型，可以同时标定目标相机的内参K和外参R、t。一方面，无需花费人力物力拆卸电警相机进行内参标定，另一方面，也无需另外进行复杂的外参标定。因此，可以降低相机标定的成本，同时减少在道路中作业的安全风险。将上述方法应用于车路协同的路侧感知系统，可以优化升级现有的电警相机资源，实现最大化兼容利旧，极大地缩减了智慧交通道路设施建设的资金投入和时间投入，加快智慧交通行业的发展普及。
如图2所示，实际应用中，将多个第一标志点在第一图像中的二维坐标和多个第一标志点在真实世界中的三维坐标代入内外参紧耦合模型，利用优化方式或者说拟合方式，可以获得目标相机的内参和外参。
示例性地，上述步骤S12中，根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参，包括：
采用最小二乘法，根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标，对预设模型进行参数优化，得到目标相机的内参和外参。
由于上述模型中的参数包含6自由度的外参，因此，使用最小二乘法进行优化求解是较为准确、高效的计算方式。基于最小二乘法，可以提高标定的准确性。
示例性地，上述最小二乘法可以包括高斯牛顿下降法或LM (Levenberg-Marquard)算法。
以上述公式(1)的枪机内外参紧耦合模型为例，在采用最小二乘法对预设模型进行参数优化的过程中，当损失函数达到最小时，认为预设模型的参数达到最优，将损失函数达到最小时模型中的内参和外参确定为目标相机的内参和外参。
其中，可以根据如下公式计算损失函数loss：
其中，m为第一标志点的数量。(ui,vi)为多个标志点中的第i个第一标志点在第一图像中的二维坐标，
为第i个第一标志点在真实世界中的三维坐标。K为目标相机的内参矩阵，R为目标相机的旋转矩阵， t为目标相机的平移向量。
实际应用中，在采用最小二乘法对模型进行参数优化时，可以将畸变参数k1的初始值设为0，表示目标相机采集的图像无畸变。
示例性地，可以基于目标相机的固有参数设置最小二乘法中内参矩阵 K中的焦距f的初始值。具体的，路侧相机标定方法还可以包括：
根据目标相机的焦距、图像传感器的尺寸参数、图像传感器的尺寸尺度参数以及目标相机采集的第一图像的分辨率，确定最小二乘法中的内参初始值。
其中，内参初始值为采用最小二乘法对模型进行参数优化时模型中的内参的初始值。
例如，根据以下公式计算内参初始值f0：
f0＝lens/(lenth/sensor_size_scale)*(w2+h2)0.5； 公式(10)
其中，lens为目标相机的实际焦距，lenth为目标相机的图像传感器的尺寸参数，sensor_size_scale为目标相机的尺寸尺度参数；w为目标相机采集的图像的分辨率宽度，h为目标相机采集的图像的分辨率高度。
根据目标相机的固有参数设置最小二乘法中的内参初始值，可以使内参初始值更接近准确的内参，因此，可以提高最小二乘法求最优解的效率以及准确性。
示例性地，可以根据目标相机的安装位置参数确定最小二乘法中外参的初始值。例如，根据目标相机的三维坐标确定平移参数t。
作为一种示例性的实施方式，可以通过微调目标相机的角度，获取到与上述内参初始值、畸变参数的初始值最为匹配的外参。具体的，路侧相机标定方法还可以包括：
基于第n次调整目标相机得到的朝向角度，确定对应的候选外参；其中， n为大于等于0的整数；
基于候选外参、最小二乘法中的内参初始值、第二标志点在真实世界中的三维坐标以及预设模型，计算得到第二标志点的理论二维坐标；
根据目标相机基于朝向角度采集的第二图像，确定第二标志点在第二图像中的二维坐标；
在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标匹配的情况下，将候选外参确定为最小二乘法中的外参初始值。
其中，第0次调整目标相机得到的朝向角度，可以是目标相机在安装时的朝向角度。在上述实施方式中，每次调整均调整目标相机的朝向角度，由于旋转参数R由目标相机的朝向角度确定，因此，基于对目标相机的朝向角度的测量，可以估算得到与朝向角度对应的候选旋转参数，则上述候选外参可以包括候选旋转参数。
实际应用中，每次调整目标相机时，可以保持相机的位置不变，则外参中的t不变，上述候选外参可以不包括平移参数t。或者，每次调整目标相机时，可以调整相机的位置，则外参中的t发生变化，上述候选外参可以包括平移参数t。
示例性地，将候选外参、上述内参初始值例如f0、畸变参数的初始值、第二标志点在真实世界中的三维坐标代入预设模型，可以计算得到第二标志点的理论二维坐标。
其中，第二标志点可以包括人工在道路上设置的标志点，相应的，第二标志点在真实世界中的三维坐标可以利用RTK设备得到。第二标志点也可以包括能够在高精地图中获取三维坐标的标志点，例如道路中某个车道线的端点、车道线和路口停止线的交点、基建设备所在的定位点等，因此，其在真实世界中的三维坐标可以利用高精地图得到，可以减少人工打点的成本和安全风险。
参见图3，第二标志点31为车道线的端点，实际应用中，第二标志点 31的数量可以是多个，图中以四个第二标志点31为例进行示意。每次调整目标相机的朝向角度后，目标相机基于当前朝向角度拍摄图像，得到多个第二标志点31在图像中的二维坐标。并基于朝向角度对应的候选旋转参数R计算出多个第二标志点的理论二维坐标，根据该理论二维坐标将第二标志点投影到目标相机基于当前朝向角度拍摄的图像中，可以得到投影点32。对第二标志点31的位置和投影点32的位置进行对比，可以确定两者是否匹配。例如通过确定两者的位置是否重合确定两者是否匹配，或者通过确定两者之间的距离是否小于预设阈值，确定两者是否匹配。当两者匹配时，认为此时的候选旋转参数可以作为最小二乘法的旋转参数初始值。
上述实施方式通过调整目标相机的朝向角度，根据对应的候选外参计算第二标志点的理论二维坐标，在理论二维坐标与第二标志点在图像中的实际二维坐标匹配的情况下，将候选外参确定为最小二乘法的外参初始值，可以使外参初始值更接近准确的外参，因此，可以提高最小二乘法求最优解的效率以及准确性。
示例性地，上述方法还可以包括：
在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标之间的距离小于预设阈值的情况下，确定第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标匹配。
根据上述实施方式，以二维坐标之间的距离量化二维坐标之间的匹配程度，可以提高外参初始值的准确性，从而提高最小二乘法求最优解的效率以及准确性。
示例性地，上述方法还可以包括：
在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标不匹配的情况下，确定对目标相机进行第(n+1)次调整。
根据上述实施方式，在理论坐标与实际坐标不匹配的情况下，继续对目标相机进行调整，有利于遍历得到最优的候选外参，提高最小二乘法求最优解的效率以及准确性。
综上，根据本公开实施例提供的方法，可以利用预设模型，同时标定目标相机的内参和外参，从而降低相机标定的成本。进一步地，可以在一定程度上提升相机标定的准确度。
作为上述各方法的实现，本公开还提供一种路侧相机标定装置，参见图4，该装置包括：
图像获取模块410，用于获取目标相机采集的第一图像，确定至少两个第一标志点在第一图像中的二维坐标；
参数确定模块420，用于根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定目标相机的内参和外参；
其中，预设模型用于表征基于目标相机的内参和外参确定的目标映射关系，目标映射关系为二维坐标和三维坐标之间的映射关系。
示例性地，参数确定模块420用于：
采用最小二乘法，根据至少两个第一标志点在第一图像中的二维坐标、至少两个第一标志点在真实世界中的三维坐标，对预设模型进行参数优化，得到目标相机的内参和外参。
示例性地，如图5所示，路侧相机标定装置还包括：
外参调整模块510，用于基于第n次调整目标相机得到的朝向角度，确定对应的候选外参；其中，n为大于等于0的整数；
坐标计算模块520，用于基于候选外参、最小二乘法中的内参初始值、第二标志点在真实世界中的三维坐标以及预设模型，计算得到第二标志点的理论二维坐标；
坐标确定模块530，用于根据目标相机基于朝向角度采集的第二图像，确定第二标志点在第二图像中的二维坐标；
第一初始值确定模块540，用于在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标匹配的情况下，将候选外参确定为最小二乘法中的外参初始值。
示例性地，如图5所示，路侧相机标定装置还包括：
匹配确定模块550，用于在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标之间的距离小于预设阈值的情况下，确定第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标匹配。
示例性地，如图5所示，路侧相机标定装置还包括：
相机调整模块560，用于在第二标志点的理论二维坐标与第二标志点在第二图像中的二维坐标不匹配的情况下，确定对目标相机进行第(n+1)次调整。
示例性地，如图5所示，路侧相机标定装置还包括：
第二初始值确定模块570，用于根据目标相机的焦距、图像传感器的尺寸参数、图像传感器的尺寸尺度参数以及目标相机采集的第一图像的分辨率，确定最小二乘法中的内参初始值。
本公开实施例提供的路侧相机标定装置，可以用于实现本公开实施例提供的路侧相机标定方法，具备相应的有益效果。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
示例性地，电子设备600可以是路侧设备。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、 ROM 602以及RAM 603通过总线604彼此相连。输入输出(I/O)接口 605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如路侧相机标定方法。例如，在一些实施例中，路侧相机标定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由 ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的路侧相机标定方法的一个或多个步骤。备选地，在其他实施例中，计算单元 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行路侧相机标定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种路侧相机标定方法，包括：
获取目标相机采集的第一图像，确定至少两个第一标志点在所述第一图像中的二维坐标；
根据所述至少两个第一标志点在所述第一图像中的二维坐标、所述至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定所述目标相机的内参和外参；
其中，所述预设模型用于表征基于所述目标相机的内参和外参确定的目标映射关系，所述目标映射关系为所述二维坐标和所述三维坐标之间的映射关系。
2.根据权利要求1所述的方法，其中，所述根据所述至少两个第一标志点在所述第一图像中的二维坐标、所述至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定所述目标相机的内参和外参，包括：
采用最小二乘法，根据所述至少两个第一标志点在所述第一图像中的二维坐标、所述至少两个第一标志点在真实世界中的三维坐标，对所述预设模型进行参数优化，得到所述目标相机的内参和外参。
3.根据权利要求2所述的方法，还包括：
基于第n次调整所述目标相机得到的朝向角度，确定对应的候选外参；其中，n为大于等于0的整数；
基于所述候选外参、所述最小二乘法中的内参初始值、第二标志点在真实世界中的三维坐标以及所述预设模型，计算得到所述第二标志点的理论二维坐标；
根据所述目标相机基于所述朝向角度采集的第二图像，确定所述第二标志点在所述第二图像中的二维坐标；
在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标匹配的情况下，将所述候选外参确定为所述最小二乘法中的外参初始值。
4.根据权利要求3所述的方法，还包括：
在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标之间的距离小于预设阈值的情况下，确定所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标匹配。
5.根据权利要求3或4所述的方法，还包括：
在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标不匹配的情况下，确定对所述目标相机进行第(n+1)次调整。
6.根据权利要求2-4中任一项所述的方法，还包括：
根据所述目标相机的焦距、图像传感器的尺寸参数、所述图像传感器的尺寸尺度参数以及所述目标相机采集的所述第一图像的分辨率，确定所述最小二乘法中的内参初始值。
7.一种路侧相机标定装置，包括：
图像获取模块，用于获取目标相机采集的第一图像，确定至少两个第一标志点在所述第一图像中的二维坐标；
参数确定模块，用于根据所述至少两个第一标志点在所述第一图像中的二维坐标、所述至少两个第一标志点在真实世界中的三维坐标以及预设模型，确定所述目标相机的内参和外参；
其中，所述预设模型用于表征基于所述目标相机的内参和外参确定的目标映射关系，所述目标映射关系为所述二维坐标和所述三维坐标之间的映射关系。
8.根据权利要求7所述的装置，其中，所述参数确定模块用于：
采用最小二乘法，根据所述至少两个第一标志点在所述第一图像中的二维坐标、所述至少两个第一标志点在真实世界中的三维坐标，对所述预设模型进行参数优化，得到所述目标相机的内参和外参。
9.根据权利要求8所述的装置，还包括：
外参调整模块，用于基于第n次调整所述目标相机得到的朝向角度，确定对应的候选外参；其中，n为大于等于0的整数；
坐标计算模块，用于基于所述候选外参、所述最小二乘法中的内参初始值、第二标志点在真实世界中的三维坐标以及所述预设模型，计算得到所述第二标志点的理论二维坐标；
坐标确定模块，用于根据所述目标相机基于所述朝向角度采集的第二图像，确定所述第二标志点在所述第二图像中的二维坐标；
第一初始值确定模块，用于在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标匹配的情况下，将所述候选外参确定为所述最小二乘法中的外参初始值。
10.根据权利要求9所述的装置，还包括：
匹配确定模块，用于在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标之间的距离小于预设阈值的情况下，确定所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标匹配。
11.根据权利要求9或10所述的装置，还包括：
相机调整模块，用于在所述第二标志点的理论二维坐标与所述第二标志点在所述第二图像中的二维坐标不匹配的情况下，确定对所述目标相机进行第(n+1)次调整。
12.根据权利要求8-10中任一项所述的装置，还包括：
第二初始值确定模块，用于根据所述目标相机的焦距、图像传感器的尺寸参数、所述图像传感器的尺寸尺度参数以及所述目标相机采集的所述第一图像的分辨率，确定所述最小二乘法中的内参初始值。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
16.一种路侧设备，所述设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529652.6A CN112598750B (zh) | 2020-12-22 | 2020-12-22 | 路侧相机标定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529652.6A CN112598750B (zh) | 2020-12-22 | 2020-12-22 | 路侧相机标定方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598750A true CN112598750A (zh) | 2021-04-02 |
| CN112598750B CN112598750B (zh) | 2024-05-10 |
Family
ID=75200741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529652.6A Active CN112598750B (zh) | 2020-12-22 | 2020-12-22 | 路侧相机标定方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598750B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991463A (zh) * | 2021-03-17 | 2021-06-18 | 北京百度网讯科技有限公司 | 相机标定方法、装置、设备、存储介质和程序产品 |
| CN113298883A (zh) * | 2021-06-08 | 2021-08-24 | 清德智体（北京）科技有限公司 | 用于对多个相机进行标定的方法、电子设备和存储介质 |
| CN113538593A (zh) * | 2021-06-22 | 2021-10-22 | 北京大学 | 一种基于车载移动靶标的无人机遥感时间分辨率定标方法 |
| CN113592951A (zh) * | 2021-07-14 | 2021-11-02 | 阿波罗智联(北京)科技有限公司 | 车路协同中路侧相机外参标定的方法、装置、电子设备 |
| CN114565681A (zh) * | 2022-03-01 | 2022-05-31 | 禾多科技（北京）有限公司 | 一种相机标定方法、装置、设备、介质及产品 |
| CN115272490A (zh) * | 2022-08-12 | 2022-11-01 | 上海几何伙伴智能驾驶有限公司 | 一种路端交通检测设备摄像头标定方法 |
| CN115565134A (zh) * | 2022-10-13 | 2023-01-03 | 广州国交润万交通信息有限公司 | 球机监控盲区诊断方法、系统、设备及存储介质 |
| CN116701501A (zh) * | 2022-11-21 | 2023-09-05 | 荣耀终端有限公司 | 相机标定数据的加载方法、装置及终端设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329764A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 采用两个任意共面圆进行摄像机标定的方法 |
| CN102663763A (zh) * | 2012-04-25 | 2012-09-12 | 南京航空航天大学 | 一种面向大视场高精度视觉测量的摄像机标定方法 |
| CN105096317A (zh) * | 2015-07-03 | 2015-11-25 | 吴晓军 | 一种复杂背景中的高性能相机全自动标定方法 |
| US20170287166A1 (en) * | 2016-03-29 | 2017-10-05 | Institut National D'optique | Camera calibration method using a calibration target |
| CN109118545A (zh) * | 2018-07-26 | 2019-01-01 | 深圳市易尚展示股份有限公司 | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 |
| CN110009687A (zh) * | 2019-03-14 | 2019-07-12 | 深圳市易尚展示股份有限公司 | 基于三相机的彩色三维成像系统及其标定方法 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| CN111612853A (zh) * | 2020-05-25 | 2020-09-01 | 追创科技(苏州)有限公司 | 相机参数标定方法及装置 |
-
2020
- 2020-12-22 CN CN202011529652.6A patent/CN112598750B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329764A (zh) * | 2008-07-31 | 2008-12-24 | 上海交通大学 | 采用两个任意共面圆进行摄像机标定的方法 |
| CN102663763A (zh) * | 2012-04-25 | 2012-09-12 | 南京航空航天大学 | 一种面向大视场高精度视觉测量的摄像机标定方法 |
| CN105096317A (zh) * | 2015-07-03 | 2015-11-25 | 吴晓军 | 一种复杂背景中的高性能相机全自动标定方法 |
| US20170287166A1 (en) * | 2016-03-29 | 2017-10-05 | Institut National D'optique | Camera calibration method using a calibration target |
| CN109118545A (zh) * | 2018-07-26 | 2019-01-01 | 深圳市易尚展示股份有限公司 | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 |
| CN110009687A (zh) * | 2019-03-14 | 2019-07-12 | 深圳市易尚展示股份有限公司 | 基于三相机的彩色三维成像系统及其标定方法 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| CN111612853A (zh) * | 2020-05-25 | 2020-09-01 | 追创科技(苏州)有限公司 | 相机参数标定方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 谭启蒙 等: "空间机械臂视觉相机内参标定技术研究", 《航天返回与遥感》, vol. 34, no. 06, pages 74 - 80 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991463A (zh) * | 2021-03-17 | 2021-06-18 | 北京百度网讯科技有限公司 | 相机标定方法、装置、设备、存储介质和程序产品 |
| CN113298883A (zh) * | 2021-06-08 | 2021-08-24 | 清德智体（北京）科技有限公司 | 用于对多个相机进行标定的方法、电子设备和存储介质 |
| CN113538593A (zh) * | 2021-06-22 | 2021-10-22 | 北京大学 | 一种基于车载移动靶标的无人机遥感时间分辨率定标方法 |
| CN113592951A (zh) * | 2021-07-14 | 2021-11-02 | 阿波罗智联(北京)科技有限公司 | 车路协同中路侧相机外参标定的方法、装置、电子设备 |
| CN114565681A (zh) * | 2022-03-01 | 2022-05-31 | 禾多科技（北京）有限公司 | 一种相机标定方法、装置、设备、介质及产品 |
| CN115272490A (zh) * | 2022-08-12 | 2022-11-01 | 上海几何伙伴智能驾驶有限公司 | 一种路端交通检测设备摄像头标定方法 |
| CN115272490B (zh) * | 2022-08-12 | 2023-08-08 | 上海几何伙伴智能驾驶有限公司 | 一种路端交通检测设备摄像头标定方法 |
| CN115565134A (zh) * | 2022-10-13 | 2023-01-03 | 广州国交润万交通信息有限公司 | 球机监控盲区诊断方法、系统、设备及存储介质 |
| CN115565134B (zh) * | 2022-10-13 | 2024-03-15 | 广州国交润万交通信息有限公司 | 球机监控盲区诊断方法、系统、设备及存储介质 |
| CN116701501A (zh) * | 2022-11-21 | 2023-09-05 | 荣耀终端有限公司 | 相机标定数据的加载方法、装置及终端设备 |
| CN116701501B (zh) * | 2022-11-21 | 2024-04-12 | 荣耀终端有限公司 | 相机标定数据的加载方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598750B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598750B (zh) | 路侧相机标定方法、装置、电子设备和存储介质 | |
| CN109901139B (zh) | 激光雷达标定方法、装置、设备和存储介质 | |
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| KR102399630B1 (ko) | 굴착기의 버킷의 포즈 결정 방법 및 장치 | |
| CN110119698B (zh) | 用于确定对象状态的方法、装置、设备和存储介质 | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
| CN112288825B (zh) | 相机标定方法、装置、电子设备、存储介质和路侧设备 | |
| JP2004334819A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| CN111750804B (zh) | 一种物体测量的方法及设备 | |
| CN112967345A (zh) | 鱼眼相机的外参标定方法、装置以及系统 | |
| KR20160070874A (ko) | 모바일 기기를 이용한 위치기반 시설물 관리 시스템 | |
| CN115880296B (zh) | 基于机器视觉的预制构件质量检测方法及装置 | |
| US20230206500A1 (en) | Method and apparatus for calibrating extrinsic parameter of a camera | |
| CN110705433A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN112991459A (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
| CN113436233A (zh) | 自动驾驶车辆的配准方法、装置、电子设备和车辆 | |
| CN114565510A (zh) | 一种车道线距离检测方法、装置、设备及介质 | |
| CN113554712B (zh) | 自动驾驶车辆的配准方法、装置、电子设备和车辆 | |
| CN113592951A (zh) | 车路协同中路侧相机外参标定的方法、装置、电子设备 | |
| CA3089200A1 (en) | Systems and methods for rapid alignment of digital imagery datasets to models of structures | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
| CN114565683B (zh) | 一种精度确定方法、装置、设备、介质及产品 | |
| CN116091567A (zh) | 自动驾驶车辆的配准方法、装置、电子设备和车辆 | |
| CN115861438A (zh) | 用于雷达与相机组合系统的相机标定、使用方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211013 Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |