CN111340890B - 相机外参标定方法、装置、设备和可读存储介质 - Google Patents
相机外参标定方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN111340890B CN111340890B CN202010104992.8A CN202010104992A CN111340890B CN 111340890 B CN111340890 B CN 111340890B CN 202010104992 A CN202010104992 A CN 202010104992A CN 111340890 B CN111340890 B CN 111340890B
- Authority
- CN
- China
- Prior art keywords
- feature points
- type
- image
- camera
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000003550 marker Substances 0.000 claims description 47
- 238000012795 verification Methods 0.000 claims description 46
- 230000015654 memory Effects 0.000 claims description 19
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 12
- 230000003068 static effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 241000283070 Equus zebra Species 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了相机外参标定方法、装置、设备和可读存储介质，涉及相机标定领域。具体实现方案为：获取利用相机拍摄的第一图像，在第一图像中确定目标标识物；在高精地图中搜索目标标识物；确定高精地图中的目标标识物的多个第一类特征点；根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点，其中，多个第一类特征点与多个第二类特征点相互对应；根据多个第一类特征点的世界坐标和多个第二类特征点的像素坐标，对相机进行外参标定。本申请所提供的方案有利于提高相机外参标定的便捷性和准确度。
Description
技术领域
本申请涉及相机标定，尤其涉及一种相机外参标定方法、装置、设备和可读存储介质。
背景技术
在车路协同场景中，通常使用相机作为路测感知设备，感知车辆、行人和其他物体的位置等信息。然而，相机在工作过程中，可能由于刮风、外部撞击或者人为移动等因素而产生位置变动，此时需要对相机外参进行校正。相机外参决定了相机坐标系和世界坐标系之间的相对位置关系。
然而，现有的相机在世界坐标系中的姿态较难获得，因此标定难度大,标定精度低，现有的标定方式已不能满足实际使用需求。
发明内容
有鉴于此，本申请实施例提供一种相机外参标定方法、装置、设备和可读存储介质。
第一方面，本申请实施例提供一种相机外参标定方法，包括：
获取利用相机拍摄的第一图像，在第一图像中确定目标标识物；
在高精地图中搜索目标标识物；
确定高精地图中的目标标识物的多个第一类特征点；
根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点，其中，多个第一类特征点与多个第二类特征点相互对应；
根据多个第一类特征点的世界坐标和多个第二类特征点的像素坐标，对相机进行外参标定。
本申请实施例先在高精地图中确定目标标识物的第一类特征点，再通过第一类特征点来确定在第一图像中目标标识物的第二类特征点，可以更加快捷地定位目标标识物特征点。由于高精地图的高精度特性，借由高精地图得到第一类特征点的世界坐标，可提高第一类特征点的世界坐标的精度，进而提高由此所计算的相机外参的精度。因此，本申请实施例运用于相机外参的标定过程中，可以提高相机外参标定的便捷性和准确度。
根据本申请实施例的方法，在根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点之后，方法还包括：
如果确定的多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
这样处理的好处是，将不符合预设特征点条件的第二类特征点进行删除，可以有效减少在选取第二类特征点过程中出现的误差。
根据本申请实施例的方法，确定高精地图中的目标标识物的多个第一类特征点，包括：
根据目标标识物的外形特征，确定高精地图中的目标标识物的多个第一类特征点。
这样处理的好处是，由目标标识物的外形来确定特征点，可以减少人工处理的工作量，而且基于外形来确定特征点，具有特征性，便于确定特征点的坐标信息。
根据本申请实施例的方法，确定高精地图中的目标标识物的多个第一类特征点，包括：
根据接收到的特征点选取指令，确定高精地图中的目标标识物的多个第一类特征点；
其中，特征点选取指令用于指示在高精地图中的目标标识物上的被选中的多个第一类特征点。
这样处理的好处是，通过特征点选取指令来确定第一类特征点，从而提供用户自主确定的特征点的功能，提高了第一类特征点的选取的灵活性，而且由用户进行确定第一类特征点，可以减少计算机的计算量，提高相机外参确定的效率。
根据本申请实施例的方法，所述第一类特征点包括所述目标标识物的角点。
这样处理的好处是，大多数物体存在角点，容易选取为特征点；而且由于角点存在特殊性，容易定位坐标信息，误差小，进而有利于提高外参标定工作效率和结果精确度。
根据本申请实施例的方法，在对相机进行外参标定之后，方法还包括：
获取利用相机拍摄的第二图像，在第二图像中确定验证标识物；
在高精地图中搜索验证标识物；
根据已获得的相机外参标定的结果，将第二图像投影至高精地图；
确定第二图像中的验证标识物的投影与高精地图中的验证标识物的重合程度；
根据重合程度，确定相机外参标定的误差。
这样处理的好处是，在相机外参标定后，获取第二图像的验证标识物的投影与高精地图中的验证标识物的重合程度，从而确定相机外参标定的误差，以便检验相机外参标定出现的问题。
根据本申请实施例的方法，相机为设置于道路交叉口的相机；
和/或，
目标标识物为设于道路交叉口的标识物。
这样处理的好处是，路口通常为至少两条路的交叉位置，一般有对应的路口名称，则容易迅速在高精地图中定位该路口的位置，那么也就容易迅速定位该路口的标识物；而且路口的静态标识物的数量多，相机拍摄的图像中包含的标识物越多，则越容易选取精确度高的特征点进行相机外参的计算。
根据本申请实施例的方法，目标标识物包括以下各项中的至少一项：地面标识、护栏设施、信号灯、路灯、交通标识。
这样处理的好处是，地面标识、护栏设施、信号灯、路灯、交通标识等标识物在图像中较为醒目，并且长时间保持静态状态，便于迅速定位和特征点的选取。
第二方面，本申请实施例提供一种相机外参标定装置，包括：
第一图像模块，用于获取利用相机拍摄的第一图像，在第一图像中确定目标标识物；
高精地图模块，用于在高精地图中搜索目标标识物；
第一类特征点确定模块，用于确定高精地图中的目标标识物的多个第一类特征点；
第二类特征点确定模块，用于根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点，其中，多个第一类特征点与多个第二类特征点相互对应；
外参标定模块，用于根据多个第一类特征点的世界坐标和多个第二类特征点的像素坐标，对相机进行外参标定。
根据本申请实施例的装置，装置还包括：
预设特征点条件检验模块，用于如果确定的多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
根据本申请实施例的装置，装置还包括：
验证标识物确定模块，用于获取利用相机拍摄的第二图像，在第二图像中确定验证标识物；
验证标识物搜索模块，用于在高精地图中搜索验证标识物；
投影模块，用于根据已获得的相机外参标定的结果，将第二图像投影至高精地图；
重合程度确定模块，用于确定第二图像中的验证标识物的投影与高精地图中的验证标识物的重合程度；
误差确定模块，用于根据重合程度，确定相机外参标定的误差。
第三方面，本申请实施例还提供一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的相机外参标定方法。
第四方面，本申请实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上的相机外参标定方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例的相机外参标定方法的流程框图；
图2是本申请实施例确定相机外参标定误差的流程框图；
图3是本申请实施例的标定过程中相机拍摄图像与高精地图的并列展示效果示意图；
图4是本申请一实施例的相机外参标定装置的示意图；
图5是本申请另一实施例的相机外参标定装置的示意图；
图6是本申请又一实施例的相机外参标定装置的示意图；
图7是用来实现本申请实施例的相机外参标定方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出根据本申请实施例的相机外参标定方法的流程图。参考图1，相机外参标定方法包括如下步骤：
S101，获取利用相机拍摄的第一图像，在第一图像中确定目标标识物；
S102，在高精地图中搜索目标标识物；
S103，确定高精地图中的目标标识物的多个第一类特征点；
S104，根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点，其中，多个第一类特征点与多个第二类特征点相互对应；
S105，根据多个第一类特征点的世界坐标和多个第二类特征点的像素坐标，对相机进行外参标定。
本申请实施例利用高精地图来获取相机所拍摄的图像中的各个特征点对应在世界坐标系中的世界坐标，首先，通过高精地图确定目标标识物上的多个第一类特征点；然后在第一图像中确定与第一类特征点相互对应的第二类特征点；其中，相互对应的第一类特征点和第二类特征点表示同一真实特征点在高精地图中的点位和在第一图像中的点位；接着，获取在高精地图上的第一类特征点的世界坐标，获取在第一图像上的第二类特征点的像素坐标，基于特征点的像素坐标和世界坐标之间的转换关系，进行必要的计算，即可求解得到相机外参。
本申请的实施例利用高精地图的视觉定位功能以及高精地图的高精度特性，一方面，先在高精地图中确定目标标识物的第一类特征点,再通过第一类特征点来确定在第一图像中目标标识物的第二类特征点，可以更加快捷地定位目标标识物特征点；另一方面，借由高精地图得到第一类特征点的世界坐标，提高了第一类特征点的世界坐标的精度，进而提高由此所计算的相机外参的精度。因此，申请实施例运用于相机外参的标定过程中，可以提高相机外参标定的便捷性和准确度。
本实施例所采用的高精地图，可以来源于为车辆驾驶设计的高精地图，尤其是为无人驾驶车辆设计的高精地图。高精地图可以包含道路信息、交叉路口信息、交通信号信息和车道规则信息等用于车辆导航的元素信息。
本申请实施例直接运用来源于为车辆驾驶设计的高精地图来获取特征点的世界坐标，减少相机外参标定中关于世界坐标的计算需求，扩展了高精地图的使用范围。
在本申请的一种实施例中，在步骤S104之后，本申请实施例的方法还包括步骤：如果确定的多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
其中，预设特征点条件可以以第一类特征点的选取条件为依据进行设定。举例说明，第一类特征点为选取目标标识物的特殊点(例如角点、中心点、圆点等)，那么预设特征点条件为特征点属于目标标识物上的特殊点。假设第一类特征点为地面箭头标识的第一角点，而由于第一图像中的地面箭头的第一角点被遮挡，此时在第一图像中所确定的第二类特征点并不属于角点，应对该第二类特征点进行删除操作。
本实施例将不符合预设特征点条件的第二类特征点进行删除，可以有效减少在选取第二类特征点过程中出现的误差。另外，在删除不符合预设特征点条件的第二类特征点后，重新选取至少一个第一类特征点和至少一个第二类特征点，以满足用于确定相机外参的特征点的数量需求。
进一步的，若确定的多个第二类特征点均符合预设特征点条件，则继续执行步骤S105。
在本申请的一实施例中，步骤S103，包括：根据目标标识物的外形特征，确定高精地图中的目标标识物的多个第一类特征点。
在本申请的另一实施例中，步骤S103，包括：根据接收到的特征点选取指令，确定高精地图中的目标标识物的多个第一类特征点。其中，特征点选取指令用于指示在高精地图中的目标标识物上的被选中的多个第一类特征点。
通过特征点选取指令来确定第一类特征点，从而提供用户自主确定的特征点的功能，提高了第一类特征点的选取的灵活性，而且由用户进行确定第一类特征点，可以减少计算机的计算量，提高相机外参确定的效率。
进一步的，特征点选取指令的接收过程：在步骤S102搜索出高精地图中的目标标识物后，生成包含该目标标识物的高精地图图像，在屏幕上显示第一图像和高精地图图像。用户通过触控或者鼠标点击等方式在屏幕上所显示的高精地图图像上选取第一类特征点。检测用户的触控或者点击操作，将其作为特征点选取指令进行接收。
在本申请的一实施例中，第一类特征点包括目标标识物的角点。示例，目标标识物为斑马线，斑马线的外形为四边形，那么可以选取四边形的四个角点作为第一类特征点。
这样处理的好处是，大多数物体存在角点，容易选取；而且由于角点存在特殊性，容易定位坐标信息，误差小，进而有利于提高外参标定工作效率和结果精确度。
在另一实施例中，若目标标识物包括圆形图案，那么第一类特征点可以包括圆形图案的圆心。示例，目标标识物为红绿信号灯，那么可以选取红绿信号灯的圆心作为第一类特征点。
这样处理的好处是，可以避免部分物体的外形为圆形，无法找到角点；而且圆心也具备特殊性，便于确定其坐标信息。
上述两种方案仅为示例，在其它实施方式中，也可以根据实际情况进行调整，例如也可以选定矩形的中心点作为第一类特征点。
在本申请的实施例中，参见图2，在步骤S105获得相机外参后，相机外参标定方法还可以包括如何确定相机外参误差的步骤：
S201，获取利用相机拍摄的第二图像，在第二图像中确定验证标识物；
S202，在高精地图中搜索验证标识物；
S203，根据获得的相机外参标定的结果，将第二图像投影至高精地图；
S204，确定第二图像中的验证标识物的投影与高精地图中的验证标识物的重合程度；
S205，根据重合程度，确定相机外参标定的误差。
在标定相机外参后，可以基于该获知相机所拍摄的第二图像中的验证标识物对应在世界坐标系中的位置。在此基础上，将第二图像中的验证标识物投影至高精地图中，如果投影与高精地图中的验证标识物的重合程度越高，说明相机外参标定的结果误差越小。从而检验相机外参标定的误差。进一步的，若误差大于预设阈值，则重新启动相机外标定。
进一步的，在步骤S202之后，还可以包括：在高精地图中选取验证标识物的至少一个第三类特征点；根据第三类特征点，在第二图像中确定验证标识物的第四类特征点，第四类特征点和第三类特征点相互对应。
对应的，步骤S204可以包括：确定第四类特征点的投影点与第四类特征点相对应的第三类特征点的距离，作为第二图像中的验证标识物的投影与高精地图中的验证标识物的重合程度。
这样处理的好处是，通过计算多个投影点与高精地图中的特征点的距离，以作为第二图像的验证标识物的投影与高精地图中的验证标识物的重合程度，可以简化计算，提高验证效率。
在本申请的实施例中，相机为设置于道路交叉口的相机；和/或，目标标识物为设于道路交叉口的标识物。
本实施例选取位于道路交叉口的标识物，原因在于，一方面，相比于道路上的非路口区域，较难定位该非路口区域位于该道路的具体位置，而路口通常为至少两条路的交叉位置，一般有对应的路口名称，则容易迅速在高精地图中定位该路口的位置，那么也就容易迅速定位该路口的标识物；另一方面，路口的静态标识物的数量(如地面标识、信号灯、交通标识)多，相机拍摄的图像中包含的标识物越多，则越容易选取精确度高的特征点进行相机外参的计算。
在本申请的实施例中，目标标识物为静态标识物，目标标识物包括以下各项中的至少一项：地面标识、护栏设施、信号灯、路灯、交通标识。上述几种标识物在图像中较为醒目，并且长时间保持静态状态，便于迅速定位和特征点的选取。
进一步的，除了选定的标识物为静态的，选定的多个第一类特征点也均为静态特征点。例如，信号灯虽然为静态标识物，但信号灯上的信号图案为动态变化的，不适宜选取信号图案上的特征点作为第一类特征点。
进一步的，在步骤S101的第一图像中所确定的目标标识物可以包括多个。例如，在第一图像中确定地面标识、信号灯、栏杆等多个标识物作为目标标识物。
确定多个目标标识物，一方面有利于选取非共面的多个特征点，而非共面的多个特征点有利于提高所计算的外参的精度；另一方面，有利于确定多个特征点以满足用于计算相机外参的特征点的数量要求。例如只选取了地面标识作为唯一标识物，那么得到的多个特征点都在同一平面上，并且在地面标识上能够确定的特征点的数量十分有限。
在一种示例中，选取的多个第一类特征点为非共面的多个特征点。例如可以选取同一目标标识物上不同面上的多个特征点，或者通过选取不同的目标标识物上的特征点，从而实现选取非共面的多个特征点。
在一种示例中，为了提高计算出来的相机外参的精确度，可以适当提高选取的特征点的数量，例如在第一图像中选取第二类特征点的数量为5个、8个、10个、17个、更多或更少。
在一种示例中，步骤S101获取利用相机拍摄的第一图像可以包括：获取相机拍摄的多帧图像，根据图像清晰度、图像中包含的静态标识物的数量和图像中包含的动态标识物的数量，对多帧图像进行筛选，得到第一图像。较佳地，选取清晰度高、静态标识物多、动态标识物少的图像为第一图像。比如图像中出现过多的车辆，则该图像不宜被选为第一图像。因为车辆为动态标识物，不适宜作为目标标识物，并且可能会遮挡静态标识物(如地面标识)，从而不利于从图像中选定特征点。
本申请的实施例通过前期的图像筛选，选取合适的第一图像，从而有利于后续提高特征点的坐标的精确度，进而有利于提高相机外参的精确度。
在一种示例中，步骤S105中的相机外参的计算过程包括：
对于每一组相互对应的第一类特征点和第二类特征点，将第一类特征点的世界坐标和第二类特征点的像素坐标代入函数式:
从而得到一方程式；
其中，ZC表示相机的光轴，fx＝f/dx，fy＝f/dy，dx表示每个像素在图像坐标系的横轴X的物理尺寸，dy表示每个像素在图像坐标系的纵轴Y的物理尺寸，f表示相机的焦距，(u0，v0)表示相机拍摄的图像的中心点坐标，(R，T)表示相机的外参，R表示旋转矩阵，T表示平移向量；
根据多个方程式，构建方程组，并根据方程组确定相机外参。
为更好地理解本申请的实施例如何基于第一图像和高精地图进行相机外参，下述以图3作为示例进行说明。
参见图3，图3中位于左边的图像B01表示第一图像，位于右边的图像B02表示高精地图；假设将一路面箭头标识作为目标标识物，为便于区分，将作为目标标识物的该路面箭头标识在第一图像中标记为A，在高精地图中标记为A’。具体的外参标定过程包括：
第一步，获取利用相机拍摄的第一图像，在第一图像中选择具有多个角点的路面箭头标识A为目标标识物，该路面箭头标识A位于一道路交叉口。
第二步，根据该道路交叉口所涉及的多条道路，在高精地图中定位该道路交叉口，在高精地图中的该道路交叉口中搜索与第一图像中的路面箭头标识A对应的路面箭头标识A’。参考图3中的图像B02，图像B02表示包含该路面箭头标识A’的高精地图的图像。
第三步，在高精地图中确定路面箭头标识A’的多个第一类特征点，例如，选取路面箭头标识A’上的角点A’1、A’2和A’3。这里选取的特征点仅为示例，在实际运用中，通常选取更多的特征点，例如还可以选取路灯、斑马线等标识上的多个第一类特征点以保证外参标定的精确度。
第四步，根据上述A’1、A’2和A’3，确定第一图像的路面箭头标识A的多个第二类特征点，即A1、A2和A3。其中，A’1和A1相互对应、A’2和A2相互对应，A’3和A3相互对应。
第五步，判断多个第二类特征点A1、A2和A3是否均为第一图像中的路面箭头标识的角点，若都为角点，则A1、A2和A3符合预设特征点条件，继续执行第六步，若存在不为角点，则需重新确定至少一个第一类特征点和至少一个第二类特征点；
从图3中可以看出A1、A2和A3均为角点，因此A1、A2和A3符合预设特征点条件，继续第六步。
第六步，获取A’1、A’2和A’3分别在高精地图中的世界坐标，以及A1、A2和A3分别在第一图像中的像素坐标；将每组相互对应的对应的第一类特征点和第二类特征点，例如A’1的世界坐标和A1的像素坐标，代入图像像素坐标系、世界坐标系和相机外参三者之间的函数关系式，可以得到多组方程式，具体的函数关系式可以参考上述实施例，此处不再示例。联立多个方程式构建方程组，求解方程组从而得到相机外参。
第七步，再获取相机拍摄的第二图像，在第二图像中选取验证标识物，例如可以选取图3中位于路面标识物A右边的直行指示箭头，在高精地图中搜索该验证标识物，然后根据已获得的相机外参标定结果，将第二图像投影至高精地图中，然后判断验证标识物的投影与高精地图中的验证标识物的重合程度，以确定相机外参标定的误差。
与以上内容相对应地，本申请实施例还提供一种相机外参标定装置，参见图4，该相机外参标定装置100包括：
第一图像模块102，用于获取利用相机拍摄的第一图像，在第一图像中确定目标标识物；
高精地图模块104，用于在高精地图中搜索目标标识物；
第一类特征点确定模块106，用于确定高精地图中的目标标识物的多个第一类特征点；
第二类特征点确定模块108，用于根据多个第一类特征点，确定第一图像中的目标标识物的多个第二类特征点，其中，多个第一类特征点与多个第二类特征点相互对应；
外参标定模块110，用于根据多个第一类特征点的世界坐标和多个第二类特征点的像素坐标，对相机进行外参标定。
在本申请的实施例中，参见图5，相机外参标定装置200还包括：
预设特征点条件检验模块202，用于如果确定的多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
在本申请的实施例中，参见图6，相机外参标定装置300还包括：
验证标识物确定模块302，用于获取利用相机拍摄的第二图像，在第二图像中确定验证标识物；
验证标识物搜索模块304，用于在高精地图中搜索验证标识物；
投影模块306，用于根据已获得的相机外参标定的结果，将第二图像投影至高精地图；
重合程度确定模块308，用于确定第二图像中的验证标识物的投影与高精地图中的验证标识物的重合程度；
误差确定模块310，用于根据重合程度，确定相机外参标定的误差。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的相机外参标定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的相机外参标定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的相机外参标定方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的相机外参标定方法对应的程序指令/模块(例如，附图4所示的第一图像模块102、高精地图模块104、第一类特征点确定模块106、第二类特征点确定模块108和外参标定模块110)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的相机外参标定方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据相机外参标定方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至上述电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与上述电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode RayTube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide AreaNetwork，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，先在高精地图中确定目标标识物的第一类特征点,再通过第一类特征点来确定在第一图像中目标标识物的第二类特征点，可以更加快捷地定位目标标识物特征点。由于高精地图的高精度特性，借由高精地图得到第一类特征点的世界坐标，提高了第一类特征点的世界坐标的精度，进而提高由此所计算的相机外参的精度。因此，申请实施例运用于相机外参的标定过程中，可以提高相机外参标定的便捷性和准确度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (13)
1.一种相机外参标定方法，其特征在于，包括：
获取利用相机拍摄的第一图像，在所述第一图像中确定目标标识物；
在高精地图中搜索所述目标标识物；
确定所述高精地图中的所述目标标识物的多个第一类特征点；
根据所述多个第一类特征点，确定所述第一图像中的所述目标标识物的多个第二类特征点，其中，所述多个第一类特征点与所述多个第二类特征点相互对应；
根据多个第一类特征点的世界坐标和所述多个第二类特征点的像素坐标，对所述相机进行外参标定。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述多个第一类特征点，确定所述第一图像中的所述目标标识物的多个第二类特征点之后，所述方法还包括：
如果确定的所述多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合所述预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
3.根据权利要求1所述的方法，其特征在于，所述确定所述高精地图中的所述目标标识物的多个第一类特征点，包括：
根据所述目标标识物的外形特征，确定所述高精地图中的所述目标标识物的多个第一类特征点。
4.根据权利要求1所述的方法，其特征在于，所述确定所述高精地图中的所述目标标识物的多个第一类特征点，包括：
根据接收到的特征点选取指令，确定所述高精地图中的所述目标标识物的多个第一类特征点；
其中，所述特征点选取指令用于指示在所述高精地图中的所述目标标识物上的被选中的多个第一类特征点。
5.根据权利要求1所述的方法，其特征在于，其中，所述第一类特征点包括所述目标标识物的角点。
6.根据权利要求1所述的方法，其特征在于，在对所述相机进行外参标定之后，所述方法还包括：
获取利用所述相机拍摄的第二图像，在所述第二图像中确定验证标识物；
在所述高精地图中搜索所述验证标识物；
根据已获得的所述相机外参标定的结果，将所述第二图像投影至所述高精地图；
确定所述第二图像中的所述验证标识物的投影与所述高精地图中的所述验证标识物的重合程度；
根据所述重合程度，确定所述相机外参标定的误差。
7.根据权利要求1-6任一项所述的方法，其特征在于，其中，
所述相机为设置于道路交叉口的相机；
和/或，
所述目标标识物为设于道路交叉口的标识物。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述目标标识物包括以下各项中的至少一项：地面标识、护栏设施、信号灯、路灯、交通标识。
9.一种相机外参标定装置，其特征在于，包括：
第一图像模块，用于获取利用相机拍摄的第一图像，在所述第一图像中确定目标标识物；
高精地图模块，用于在高精地图中搜索所述目标标识物；
第一类特征点确定模块，用于确定所述高精地图中的所述目标标识物的多个第一类特征点；
第二类特征点确定模块，用于根据所述多个第一类特征点，确定所述第一图像中的所述目标标识物的多个第二类特征点，其中，所述多个第一类特征点与所述多个第二类特征点相互对应；
外参标定模块，用于根据多个第一类特征点的世界坐标和所述多个第二类特征点的像素坐标，对所述相机进行外参标定。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
预设特征点条件检验模块，用于如果确定的所述多个第二类特征点中的至少一个第二类特征点不符合预设特征点条件，则删除不符合所述预设特征点条件的第二类特征点，并且重新确定至少一个第一类特征点和至少一个第二类特征点。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
验证标识物确定模块，用于获取利用所述相机拍摄的第二图像，在所述第二图像中确定验证标识物；
验证标识物搜索模块，用于在所述高精地图中搜索所述验证标识物；
投影模块，用于根据已获得的所述相机外参标定的结果，将所述第二图像投影至所述高精地图；
重合程度确定模块，用于确定所述第二图像中的所述验证标识物的投影与所述高精地图中的所述验证标识物的重合程度；
误差确定模块，用于根据所述重合程度，确定所述相机外参标定的误差。
12.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104992.8A CN111340890B (zh) | 2020-02-20 | 2020-02-20 | 相机外参标定方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104992.8A CN111340890B (zh) | 2020-02-20 | 2020-02-20 | 相机外参标定方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340890A CN111340890A (zh) | 2020-06-26 |
| CN111340890B true CN111340890B (zh) | 2023-08-04 |
Family
ID=71181696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010104992.8A Active CN111340890B (zh) | 2020-02-20 | 2020-02-20 | 相机外参标定方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340890B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511640A (zh) * | 2020-11-17 | 2022-05-17 | 北京四维图新科技股份有限公司 | 一种利用地图进行相机标定的方法、装置及存储介质 |
| CN112381889B (zh) * | 2020-11-19 | 2024-05-07 | 阿波罗智联(北京)科技有限公司 | 相机检验方法、装置、设备及存储介质 |
| CN112767496B (zh) * | 2021-01-22 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 标定方法、设备及系统 |
| CN113284193B (zh) * | 2021-06-22 | 2024-02-02 | 智道网联科技(北京)有限公司 | Rs设备的标定方法、装置及设备 |
| CN113838151B (zh) * | 2021-10-15 | 2023-11-17 | 西安维沃软件技术有限公司 | 相机标定方法、装置、设备及介质 |
| CN114565683B (zh) * | 2022-03-02 | 2022-09-27 | 禾多科技（北京）有限公司 | 一种精度确定方法、装置、设备、介质及产品 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010086A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市赢世体育科技有限公司 | 基于网球场标志线交点的摄像机标定方法、装置和介质 |
| CN108694882A (zh) * | 2017-04-11 | 2018-10-23 | 百度在线网络技术（北京）有限公司 | 用于标注地图的方法、装置和设备 |
| WO2018201835A1 (zh) * | 2017-05-03 | 2018-11-08 | 腾讯科技（深圳）有限公司 | 信号灯状态识别方法、装置、车载控制终端及机动车 |
| CN108805936A (zh) * | 2018-05-24 | 2018-11-13 | 北京地平线机器人技术研发有限公司 | 摄像机外参标定方法、装置和电子设备 |
| CN109215083A (zh) * | 2017-07-06 | 2019-01-15 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
| CN109712194A (zh) * | 2018-12-10 | 2019-05-03 | 深圳开阳电子股份有限公司 | 车载环视系统及其立体标定方法和计算机可读存储介质 |
| CN110163845A (zh) * | 2019-04-18 | 2019-08-23 | 武汉市云觅智绘科技有限公司 | 一种基于机载相机雷达桥梁裂缝检测系统 |
| CN110232716A (zh) * | 2019-05-31 | 2019-09-13 | 深圳市道通智能航空技术有限公司 | 一种相机标定方法、装置和电子设备 |
| WO2019184885A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
| CN110738703A (zh) * | 2019-09-27 | 2020-01-31 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
| CN110751693A (zh) * | 2019-10-21 | 2020-02-04 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
| CN110793544A (zh) * | 2019-10-29 | 2020-02-14 | 北京百度网讯科技有限公司 | 感知传感器参数标定方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109141226A (zh) * | 2018-06-06 | 2019-01-04 | 华南农业大学 | 单相机多角度的空间点坐标测量方法 |
| CN109146932B (zh) * | 2018-07-17 | 2021-08-24 | 北京旷视科技有限公司 | 确定图像中目标点的世界坐标的方法、装置和系统 |
| CN110378966B (zh) * | 2019-06-11 | 2023-01-06 | 北京百度网讯科技有限公司 | 车路协同相机外参标定方法、装置、设备及存储介质 |
| CN110595494B (zh) * | 2019-09-17 | 2021-06-22 | 百度在线网络技术（北京）有限公司 | 地图误差确定方法和装置 |
| CN110595459B (zh) * | 2019-09-18 | 2021-08-17 | 百度在线网络技术（北京）有限公司 | 车辆定位方法、装置、设备和介质 |
-
2020
- 2020-02-20 CN CN202010104992.8A patent/CN111340890B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108694882A (zh) * | 2017-04-11 | 2018-10-23 | 百度在线网络技术（北京）有限公司 | 用于标注地图的方法、装置和设备 |
| WO2018201835A1 (zh) * | 2017-05-03 | 2018-11-08 | 腾讯科技（深圳）有限公司 | 信号灯状态识别方法、装置、车载控制终端及机动车 |
| CN109215083A (zh) * | 2017-07-06 | 2019-01-15 | 华为技术有限公司 | 车载传感器的外部参数标定的方法和设备 |
| CN108010086A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市赢世体育科技有限公司 | 基于网球场标志线交点的摄像机标定方法、装置和介质 |
| WO2019184885A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
| CN108805936A (zh) * | 2018-05-24 | 2018-11-13 | 北京地平线机器人技术研发有限公司 | 摄像机外参标定方法、装置和电子设备 |
| CN109712194A (zh) * | 2018-12-10 | 2019-05-03 | 深圳开阳电子股份有限公司 | 车载环视系统及其立体标定方法和计算机可读存储介质 |
| CN110163845A (zh) * | 2019-04-18 | 2019-08-23 | 武汉市云觅智绘科技有限公司 | 一种基于机载相机雷达桥梁裂缝检测系统 |
| CN110232716A (zh) * | 2019-05-31 | 2019-09-13 | 深圳市道通智能航空技术有限公司 | 一种相机标定方法、装置和电子设备 |
| CN110738703A (zh) * | 2019-09-27 | 2020-01-31 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
| CN110751693A (zh) * | 2019-10-21 | 2020-02-04 | 北京百度网讯科技有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
| CN110793544A (zh) * | 2019-10-29 | 2020-02-14 | 北京百度网讯科技有限公司 | 感知传感器参数标定方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| A novel camera calibration technique based on differential evolution particle swarm optimization algorithm;Deng L等;《 Neurocomputing》;第174卷;456-465 * |
| Analysis of camera calibration with respect to measurement accuracy;Semeniuta O;《Procedia Cirp》;第41卷;765-770 * |
| 点云下地平面检测的RGB-D相机外参自动标定;孙士杰等;《中国图象图形学报》;第23卷(第6期);866-875 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340890A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340890B (zh) | 相机外参标定方法、装置、设备和可读存储介质 | |
| US11615605B2 (en) | Vehicle information detection method, electronic device and storage medium | |
| CN110595494B (zh) | 地图误差确定方法和装置 | |
| US11586218B2 (en) | Method and apparatus for positioning vehicle, electronic device and storage medium | |
| US11361005B2 (en) | Method for processing map data, device, and storage medium | |
| EP3828720A2 (en) | Method and apparatus for merging data of building blocks, device and storage medium | |
| CN111220154A (zh) | 车辆定位方法、装置、设备和介质 | |
| CN111324115B (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
| CN111612852B (zh) | 用于验证相机参数的方法和装置 | |
| CN111626206A (zh) | 高精地图构建方法、装置、电子设备及计算机存储介质 | |
| CN105844631B (zh) | 一种目标定位方法及装置 | |
| CN110595459B (zh) | 车辆定位方法、装置、设备和介质 | |
| CN111553844B (zh) | 用于更新点云的方法及装置 | |
| CN112288825B (zh) | 相机标定方法、装置、电子设备、存储介质和路侧设备 | |
| KR20210074245A (ko) | 지도 품질의 검출 처리 방법, 장치, 전자기기 및 저장매체 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| CN112123343B (zh) | 点云匹配方法、设备及存储介质 | |
| CN111079079B (zh) | 数据修正方法、装置、电子设备及计算机可读存储介质 | |
| EP3904829B1 (en) | Method and apparatus for generating information, device, medium and computer program product | |
| CN111949816B (zh) | 定位处理方法、装置、电子设备和存储介质 | |
| CN113971723B (zh) | 高精地图中三维地图的构建方法、装置、设备和存储介质 | |
| CN111932611B (zh) | 物体位置获取方法和装置 | |
| US11423650B2 (en) | Visual positioning method and apparatus, and computer-readable storage medium | |
| CN111597987B (zh) | 用于生成信息的方法、装置、设备和存储介质 | |
| CN112083846A (zh) | 地图显示标记点击区域的检测方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211015 Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |