CN112381889A - 相机检验方法、装置、设备及存储介质 - Google Patents
相机检验方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112381889A CN112381889A CN202011304140.XA CN202011304140A CN112381889A CN 112381889 A CN112381889 A CN 112381889A CN 202011304140 A CN202011304140 A CN 202011304140A CN 112381889 A CN112381889 A CN 112381889A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- error
- calibration
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000007689 inspection Methods 0.000 title claims abstract description 56
- 230000008447 perception Effects 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 230000015654 memory Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了相机检验方法、装置、设备及存储介质，涉及智能驾驶领域、智能交通领域、计算机视觉技术领域。具体实现方案为：获取相机拍摄的标定图像；在标定图像上确定至少一个图像区域对，图像区域对包括两个形状相同且面积大小一致的局部区域；针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差；如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则确定相机适用于路侧感知。其中，路侧感知条件包括相机的镜头平面与相机的成像平面相互平行。因此，依据标定图像上至少一个图像区域对的重投影误差，提高检验相机是否满足路侧感知条件的准确性。
Description
技术领域
本申请涉及计算机技术领域中的智能驾驶领域、智能交通领域、计算机视觉技术领域，尤其涉及一种相机检验方法、装置、设备及存储介质。
背景技术
智能交通系统中通过无线通信和互联网等技术，实现了车与车之间、以及车与道路之间实时信息的动态交换，也即实现车路协同。路侧感知系统为车路协同的实现提供了超视距的感知信息。
相机作为路侧感知系统中最主要的传感器之一，其硬件结构决定了相机对道路上的障碍物的感知精度。路侧感知系统中采用的相机为网络相机，网络相机又被称为IP相机。IP相机通常由镜头和成像传感器组装得到，受组装影响，IP相机的精度得不到保证，可能不适用于路侧感知。
因此，如何有效检验相机是否适用于路侧感知是亟需解决的问题。
发明内容
本申请提供了一种相机检验方法、装置、设备及存储介质。
根据本申请的第一方面，提供了一种相机检验方法，包括：
获取相机拍摄的标定图像；
在所述标定图像上确定至少一个图像区域对，所述图像区域对包括两个形状相同且面积大小一致的局部区域；
针对各所述图像区域对，根据相机内参和所述图像区域对的角点，对所述相机进行标定，得到所述图像区域对的第一重投影误差；
如果根据各所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知；
其中，路侧感知条件包括相机的镜头平面与相机的成像平面相互平行。
根据本申请的第二方面，提供了一种相机检验装置，包括：
图像获取单元，用于获取相机拍摄的标定图像；
区域确定单元，用于在所述标定图像上确定至少一个图像区域对，所述图像区域对包括两个形状相同且面积大小一致的局部区域；
第一标定单元，用于针对各所述图像区域对，根据相机内参和所述图像区域对的角点，对所述相机进行标定，得到所述图像区域对的第一重投影误差；
检验单元，用于如果根据各所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知；
其中，所述路侧感知条件包括相机的镜头平面与相机的成像平面相互平行。
根据本申请的第三方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述第一方面所述的方法。
根据本申请的第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上述第一方面所述的方法。
根据本申请的第五方面，本申请提供了一种包含指令的程序产品，所述程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
根据本申请的第六方面，本申请提供了一种路侧设备，所述路侧设备包括如上述第三方面所述的电子设备。
本申请提供的相机检验方法、装置、设备及存储介质，获取相机拍摄的标定图像上至少一个图像区域对的角点，对相机进行标定，得到各图像区域对的第一重投影误差，如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则确定相机适用于路侧感知，其中，图像区域对包括两个形状相同且面积大小一致的局部区域。因此，本申请通过一个或多个图像区域对中的角点对相机进行标定，有效提高对相机是否满足相机的镜头平面与相机的成像平面平行进行检验的准确性，也即提高对相机是否适用于路侧感知进行检验的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例适用的一种针孔相机投影模型的示意图；
图2为本申请实施例适用的一种应用场景的示意图；
图3为本申请的一实施例提供的相机检验方法的流程示意图；
图4为本申请的另一实施例提供的相机检验方法的流程示意图；
图5为本申请的另一实施例提供的相机检验方法的流程示意图；
图6为本申请的另一实施例提供的相机检验方法的流程示意图；
图7为本申请的另一实施例提供的相机检验方法的流程示意图；
图8为本申请的另一实施例提供的相机检验方法的结构示意图；
图9为本申请的另一实施例提供的相机检验方法的结构示意图；
图10为本申请的一实施例提供的相机检验装置的结构示意图；
图11为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了提高交通系统的安全性和智能化，智能交通系统的概念被提出且在逐步实现中。智能交通系统借助车和车之间、车与路侧基础设施之间、车与路人之间的无线通信，实时感知车辆周围的环境信息并及时预警。其中，车周围环境信息的感知离不开路侧感知系统，路侧感知系统为智能交通系统中的车辆提供了超视距的感知信息。
在路侧感知系统中，相机是主要的传感器之一。相机的硬件构造决定了相机对障碍物的感知精度。在路侧感知系统中的相机通常采用的是网络相机，网络相机又被称为IP(Internet Protocol，网络协议)相机，只需要连接电源和网线即可工作。然而，IP相机通常由镜头和成像传感器组装得到，成像传感器例如为电耦合器件(Charge Coupled Device，CCD)成像传感器，受组装效果影响，IP相机的精度得不到保证。因此，IP相机可能出现精度较低而无法适用于路侧感知系统的情况。
具体的，由镜头和成像传感器组装得到的IP相机，可能出现主点(PrincipalPoint)偏移图像中心较大的现象，换句话说，出现光轴与成像平面不垂直的现象，也即出现镜头平面与成像平面不平行的现象。导致相机不满足针孔相机投影模型，影响相机的感知精度。其中，相机的主点是相机的光轴与相机的成像平面的交点。
图1为针孔相机投影模型的示例图。如图1所示，经过镜头平面对光线的折射，在成像平面上形成物体的倒像。其中，u为物距，v为像距。在理想情况下，光轴经过镜头的中心和图像的中心、且垂直与镜头平面和成像平面。如果组装导致镜头平面与成像平面不平行，则光轴与成像平面不垂直，光轴与成像平面的交点与图像中心发生偏离。
主点偏移图像中心较大将导致IP相机采集到的图像发生畸变，基于畸变图像得到的障碍物位置、大小等信息也不准确。相关技术中，通过图像畸变矫正算法来解决相机精度不高导致的图像畸变。由于路侧感知系统中需要相机实时进行图像采集，采用畸变矫正算法来对每张图像进行矫正的方式并不适用于路侧感知系统。
因此，为避免精度不高的相机应用于路侧感知系统，给智能交通系统带来安全隐患，本申请实施例提供一种相机检验方法、装置、设备及存储介质，在相机应用于路侧感知系统之前，对相机是否适用于路侧感知系统进行检验。本申请实施例中，在相机拍摄的标定图像上确定至少一个图像区域对，针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到各图像区域对的第一重投影误差。以第一重投影误差作为评估指标，对相机是否满足路侧感知条件进行判断。其中，图像区域对包括两个大小一致的局部区域，路侧感知条件包括相机的镜头平面与相机的成像平面相互平行。因此，本申请实施例利用至少一个图像区域对来对相机进行标定，换句话说，利用标定图像上至少两个局部区域对相机进行标定，提高对相机的镜头平面与相机的成像平面是否相互平行进行检测的准确性，也即提高了对相机是否满足路侧感知条件进行检测的准确性。
图2为本申请实施例适用的一种应用场景的示意图。如图2所示，该应用场景包括标定板201、至少一个相机202和至少一个电子设备203，相机202和电子设备203之间建立有通信连接。相机202采集标定板201的图像，得到标定图像，将标定图像发送给电子设备203，由电子设备203根据相机202拍摄的标定图像，确定相机202是否适用于路侧感知。
其中，标定板201上带有图案，该图案是多个子图案按照固定间距形成的图案阵列，其中，子图案例如为正方形图案、圆形图案。例如，标定板201可以为棋盘格标定板，也可以为实心圆阵列标定板。图2中以标定板201为棋盘格标定板为例。
其中，标定板201上包括多个角点，本申请中的角点是指除标定板边缘上的角点以外的内角点。例如，在图2中，标定板201上有8*8个角点。
其中，电子设备203可以是具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer，简称PC))、车载设备、可穿戴设备(例如智能手表、智能手环)、智能家居设备(例如智能音箱、智能显示设备)、服务器等。图2中以计算机为例。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请的各实施例的执行主体可以是电子设备，电子设备例如路侧设备、终端设备、或者服务器、或者是相机的检测装置或设备、或者是其他可以执行本实施例方法的装置或设备。
在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器设备，服务器设备可以通过各种方式与自动驾驶或辅助驾驶车辆通信；在另一种系统架构中，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到所述服务器设备。以上连接可以是有线或是无线；本申请中服务器设备例如是云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等。
图3为本申请的一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图3所示，该方法包括：
S301、获取相机拍摄的标定图像。
其中，标定图像为相机拍摄的标定板的图像，标定板例如为棋盘格标定板、实心圆阵列标定板。例如，在实际的相机检验过程中，用户可以通过将棋盘格图像打印在纸张上，得到标定板，将标定板放在固定位置(比如贴在墙上)，通过相机采集该标定板的图像，得到标定图像。
本实施例中，电子设备可与相机保持通信连接，实时获取相机拍摄的标定图像。或者，电子设备与相机可以分别与同一服务器或者同一终端设备连接，相机将拍摄的标定图像发送给该服务器或者终端设备，该服务器或者终端设备对相机拍摄的标定图像进行保存，在进行相机检验时，电子设备从该服务器或者终端设备上获取相机拍摄的标定图像。其中，该服务器例如为云服务器，终端设备例如为用户的手机、平板电脑等。
可选的，标定图像的数量为多个，多个标定图像中可以包括相机从不同角度拍摄的标定板的图像。例如，相机与标定板位置平行时拍摄得到的标定板的图像、相机的位置与标定板的位置不在同一水平线时拍摄得到的标定板的图像。因此，可以通过多个不同的标定图像提高后续相机标定过程的全面性，进而提高相机检验的准确性。
S302、在标定图像上确定至少一个图像区域对。
其中，图像区域对中包括两个形状相同且面积大小一致的局部区域，各个局部区域中包括多个角点。局部区域的形状为四边形，例如为长方形或者正方形。不同的图像区域对中的局部区域的形状可以相同也可以不同，不同图像区域对中的局部区域的面积大小可以相同也可以不同。
其中。同一图像区域对中的两个局部区域为不同的两个局部区域。
因此，标定图像上的局部区域的面积可以通过角点进行表示，例如，如果局部区域的长和宽上都分布有3个角点，则局部区域的面积可以表示为3*3，也可以理解为局部区域内共有9个角点；如果局部区域的长和宽上都分布有2个角点，则局部区域的面积可以表示为2*2，也可以理解为局部区域内共有4个角点。
一方面，可获取预先设定的或者用户输入的标定板的参数，标定板的参数包括标定板的面积和角点之间的间距，标定板的面积通过标定板上角点的数量来表示，例如图2中标定板的规格为8*8。在得到标定板的面积和角点之间的间距后，可以得到各个角点在标定板上的坐标，也即各个角点在世界坐标系中的坐标，由于世界坐标系为三维直角坐标系，可将各个角点在世界坐标系上的Z轴坐标默认为零。
另一方面，可对标定图像进行角点检测，得到各个角点在标定图像上的坐标，也即各个角点在相机的图像坐标系中的坐标。
本实施例中，用户可以标定板作为参考，预先确定标定板上的至少一个标定板区域对，各标定板区域对包括两个形状相同且面积大小一致的局部区域。根据得到的各个角点在标定板上的位置和在标定图像上的位置，可以确定各标定板区域对中各角点在标定图像上的位置，进而得到各标定板区域在标定图像上对应的图像区域对。
可选的，用户在预先确定标定板上至少一个标定板区域时，可以预先设置标定板区域中各局部区域包含的多个角点，或者，可以预先设置标定板区域中各局部区域的面积和至少一个顶点。根据标定板区域中各局部区域包含的多个角点或者标定板区域中各局部区域的面积和至少一个顶点，可确定标定板区域对中各局部区域中所有角点在标定图像上的位置，进而确定了各个标定板区域对应的图像区域对。
S303、针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差。
其中，相机内参又为相机内参矩阵，通常包括相机在成像平面上X轴的焦距和Y轴的焦距、相机的成像平面的坐标轴倾斜参数等。相机内参可以是预先对相机进行内参标定得到的，例如，利用任一标定图像上所有角点或者局部的角点对相机进行内参标定，得到相机内参。例如，可利用开源的计算机视觉库(Open Source Computer Vision Library，简称OpenCV)、开发图形库(Open Graphics Library，简称OpenGL)或者其他工具对标定图像上的对相机进行内参标定，或者在此对相机内参标定过程不进行详细描述。
其中，相机外参又为相机外参矩阵。在成像过程中，涉及的坐标系依次包括世界坐标系、相机坐标系、图像坐标系。世界坐标系和相机坐标系为三维直角坐标系，图像坐标系为二维直角坐标系。相机外参用于图像坐标系与世界坐标系中的坐标系转换，因此相机外参包括旋转矩阵和平移矩阵，用于描述如何将被拍摄物体上的点从世界坐标系转换至图像坐标系。
其中，重投影误差是指经过投影得到的角点的坐标与图像上检测得到的角点的坐标之间的误差。其中，投影得到的角点的坐标是基于相机内参和相机外参，将角点在世界坐标系中的坐标投影至图像坐标系得到的。
本实施例中，在确定各图像区域对后，针对各图像区域对，可获取图像区域对的各角点在世界坐标系中的坐标和图像区域对的各角点在相机的图像坐标系中的坐标，根据图像区域对的各角点在世界坐标系中的坐标和在图像坐标系中的坐标，对相机进行外参标定，得到相机外参。
本实施例中，可根据相机外参、相机内参、以及图像区域对的各角点在世界坐标系中的坐标，将各角点在世界坐标系中的坐标投影至图像坐标系，得到各角点的投影坐标。在图像区域对中，根据检测到的各角点在图像坐标系的坐标和各角点在图像坐标系中的投影坐标，确定图像区域对的重投影误差。为与后续标定图像全局区域的重投影误差进行区别，将各图像区域对的重投影误差称为各图像区域对的第一重投影误差。
因此，借助图像区域对两个局部区域内的角点进行重投影误差的确定，相较于依赖标定板上所有角点进行重投影误差确定，能够提高重投影误差的计算效率，且得到的重投影误差更能够反映出相机的镜头平面与相机的成像平面是否平行。
可选的，除了依赖用户指定的标定板区域对来确定图像区域对，还可以随机在标定图像上确定至少一个图像区域对，提高相机标定的灵活性。
S304、如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则确定相机适用于路侧感知。
其中，路侧感知条件包括相机的镜头平面与相机的成像平面相互平行，也即相机的光轴与成像平面垂直，也即相机的主点与图像中心重合。相机满足路侧感知条件说明相机组装后的精度较高，能够用于路侧感知。
本实施例中，可根据各图像区域对的第一重投影误差和预设的误差阈值，确定相机是否满足路侧感知条件，若满足，则确定相机适用于路侧感知，否则确定相机不适用于路侧感知。针对不适用于路侧感知的相机，可将这些相机返回给工厂或者生产厂商，或者安排技术人员对这些相机进行调整，以避免精度不足的相机用于路侧感知，带来交通安全隐患。
本申请实施例中，在相机拍摄的标定图像上确定至少一个图像区域对，针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差，以第一重投影误差为评估指标确定相机是否满足路侧感知条件。因此，通过对包括两个形状相同且面积大小一致的局部区域对相机进行标定得到第一重投影误差，相较于依赖标定板全局的角点对相机进行标定，能够有效地提高相机检验的准确度。
在一些实施例中，图像区域对为多个，不同的图像区域对可以位于同一标定图像上，也可以位于同一标定图像上。例如，可以根据用户指定的标定板区域对在不同的标定图像上进行相同的图像区域对确定操作。
基于图像区域对为多个，图4为本申请的另一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图4所示，该方法包括：
S401、获取相机拍摄的标定图像。
S402、在标定图像上确定多个图像区域对。
S403、针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差。
其中，S401～S403可参照前述实施例的相关内容，不再赘述。
S404、如果各图像区域对的第一重投影误差均小于预设的误差阈值，则确定相机满足路侧感知条件。
本实施例中，在图像区域对为多个时，可分别确定各图像区域对的第一重投影误差是否小于预设的误差阈值，如果各图像区域对的第一重投影误差均小于该误差阈值，则确定相机满足路侧感知条件，也即确定相机适用于路侧感知，否则确定相机不满足路侧感知条件。
本申请实施例中，在相机拍摄的标定图像上确定多个，针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差，如果各第一重投影误差均小于预设的误差阈值，则确定相机满足路侧感知条件，从而有效地提高相机检验的准确度。
基于图像区域对为多个，图5为本申请的另一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图5所示，该方法包括：
S501、获取相机拍摄的标定图像。
S502、在标定图像上确定多个图像区域对。
S503、针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差。
其中，S501～S503可参照前述实施例的相关内容，不再赘述。
S504、计算各图像区域对的第一重投影误差的误差均值。
S505、如果各图像区域对的第一重投影误差的误差均值小于预设的误差阈值，则确定相机满足路侧感知条件。
本实施例中，在图像区域对为多个、且得到各个图像区域对的第一重投影误差后，可计算各图像区域对的第一重投影误差的误差均值，将计算得到的误差均值与误差阈值进行比较，如果误差均值小于误差阈值，则确定相机满足路侧感知条件。
可选的，在标定图像包括多个的情况下，可针对各标定图像，计算标定图像上多个图像区域对的第一重投影误差的误差均值，得到各个标定图像对应的误差均值，将各个标定图像对应的误差均值与误差阈值进行比较，如果各个标定图像的误差均值都小于误差阈值，则确定相机满足路侧杆子条件，从而利用多个标定图像和多个图像区域对进行相机检验，提高相机检验的准确性。
本申请实施例中，在相机拍摄的标定图像上确定多个，针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差，如果各第一重投影误差的误差均值小于误差阈值，则确定相机满足路侧感知条件，从而有效地提高相机检验的准确度。
图6为本申请的另一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图6所示，该方法包括：
S601、获取相机拍摄的标定图像。
S602、在标定图像上确定多个图像区域对，图像区域对包括形状相同且面积大小一致的第一局部区域和第二局部区域。
其中，为对图像区域对中两个局部区域进行区分，将图像区域对中的一个局部区域称为第一局部区域、另一局部区域称为第二局部区域。不同图像区域对包括不同的第一局部区域和/或不同的第二局部区域。
可选的，针对各图像区域对，第一局部区域在标定图像上的位置和第二局部区域在标定图像上位置相互对称，因此通过相互对称的第一局部区域和第二局部区域内的角点对相机进行标定，得到的第一重投影误差更能够反映出相机的镜头平面与相机的成像平面是否平行，有利于提高相机检验的准确性。
进一步可选的，针对各图像区域对，第一局部区域在标定图像上的位置和第二局部区域在标定图像上的位置可关于标定图像的图像中心相互对称。或者，针对各图像区域对，第一局部区域在标定图像上的位置和第二局部区域在标定图像上的位置可关于标定图像的图像坐标系的X轴或Y轴对称。
其中，S601中获取相机拍摄的标定图像的具体实现和技术效果、以及S602中在标定图像上确定多个图像区域对的具体实现和技术效果，可参照前述实施例的相关内容，不再赘述。
S603、针对各图像区域对，根据第一局部区域的角点，对相机进行外参标定，得到第一相机外参，并根据相机内参、第一相机外参和第二局部区域的角点，确定图像区域对的第一重投影误差。
本实施例中，在确定各图像区域对的第一重投影误差时，针对各图像区域对，可先依据第一局部区域的角点，对相机进行外参标定，得到第一相机外参，再根据相机内参和第一相机外参，对第二局部区域的角点进行投影，得到第二局部区域的重投影误差，将第二局部区域的重投影误差确定为图像区域对的第一重投影误差。
因此，在确定图像区域对的第一重投影误差时，利用图像区域对中一个局部区域的角点，确定相机外参，通过确定的相机外参，利用另一局部区域的角点，确定重投影误差。如果相机的镜头平面与相机的成像平面相互倾斜的程度越高，图像区域对中两个局部区域之间的成像效果差别越大，基于与图像区域对中一个局部区域相关的相机外参，计算得到的另一局部区域的重投影误差越大，从而通过将与一个局部区域关联的相机外参应用于另一局部区域的重投影误差的确定，能够有效地提高对相机的镜头平面与相机的成像平面是否平行进行检验的准确性。
可选的，在依据第一局部区域的角点，对相机进行外参标定，得到第一相机外参的过程中，可获取第一局部区域的角点在世界坐标系中的坐标和第一局部区域的角点在标定图像的图像坐标系中的坐标，根据第一局部区域的角点在世界坐标系中的坐标和在图像坐标系中的坐标，对相机进行外参标定，得到第一相机外参。例如，可以将第一局部区域的角点在世界坐标系中的坐标和在图像坐标系中的坐标输入OpenGL中相应的外参标定函数中，得到第一相机外参。
可选的，在根据相机内参和第一相机外参，对第二局部区域的角点进行投影，得到第二局部区域的重投影误差的过长中，可获取第二局部区域的角点在世界坐标系中的坐标和第二局部区域的角点在标定图像的图像坐标系中的坐标，根据相机内参、第一相机外参和第二局部区域的角点在世界坐标系的坐标，确定第二局部区域的角点在图像坐标系中的投影坐标，根据第二局部区域的角点在图像坐标系中的投影坐标，确定图像区域对的第一重投影误差。在确定第二局部区域的角点在图像坐标系中的投影坐标时，可通过相机内参和第一相机外参，将第二局部区域的角点在世界坐标系的坐标反向投影至图像坐标系中，得到相应的投影坐标。在图像区域对的第一重投影误差的过程中，例如，可以将第二局部区域的角点在世界坐标系中的坐标、第二局部区域的角点在图像坐标系中的投影坐标输入OpenGL中相应的重投影误差计算函数中，得到第一重投影误差。
其中，可从标定板上各个角点在世界坐标系中的坐标中，获取第一局部区域的角点在世界坐标系中的坐标和第二局部区域的角点在世界坐标系中的坐标，可从检测到的标定图像上各个角点在图像坐标系中的坐标中，获取第一局部区域的角点在图像坐标系中的坐标和第二局部区域的角点在图像坐标系中的坐标。
S604、如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则确定相机适用于路侧感知。
其中，S604可参照前述实施例的相关内容，不再赘述。
本申请实施例中，在相机拍摄的标定图像上确定至少一个图像区域对，针对各图像区域对，根据第一局部区域的角点，对相机进行外参标定，得到第一相机外参，根据相机内存、第一相机外参和第二局部区域的角点，得到图像区域对的第一重投影误差。因此，通过将基于图像局部区域中的一个局部区域确定的相机外参应用于计算另一局部区域的重投影误差，使得重投影误差更能够反映相机的镜头平面与相机的成像平面是否平行，进而能够有效地提高相机检验的准确度。
图7为本申请的另一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图7所示，该方法包括：
S701、获取相机拍摄的标定图像。
S702、在标定图像上确定多个图像区域对，图像区域对包括两个形状相同且面积大小一致的局部区域。
S703、针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差。
其中，S701～S703可参照前述实施例的相关描述，不再赘述。
S704、根据相机内参和标定图像上的所有角点，对相机进行标定，得到第二重投影误差。
本实施例中，通过对标定图像进行角点检测，可得到标定板上的各角点在标定图像的图像坐标系中的坐标，根据预先设定或输入的标定板的参数，可得到标定板上的各角点在世界坐标系中的坐标。根据所有角点在图像坐标系中的坐标和在世界坐标系中的坐标，可得到相机的第二相机外参。根据相机内存、第二相机外参和标定板上各角点在世界坐标系中的坐标，可以将标定板上各角点在世界坐标系中的坐标投影至图像坐标系，得到各角点在图像坐标系中的投影坐标，根据各角点在图像坐标系中的投影坐标和经角点检测得到的各角点在图像坐标系中的坐标，可得到基于标定板所有角点进行相机标定得到的第二重投影误差。
S705、确定第二重投影误差是否满足误差阈值。
本实施例中，如果标定图像为多个，可将各标定图像的第二重投影误差与预设的误差阈值进行比较，如果各标定图像的第二重投影误差均小于误差阈值，则确定第二重投影误差满足误差阈值。或者，可计算各标定图像的第二重投影误差的误差均值，如果该误差均值小于误差阈值，则确定第二投影误差满足误差阈值。如果第二重投影误差满足误差阈值，则执行S706，否则执行S708。
S706、根据第一重投影误差确定相机是否满足路侧感知条件。
本实施例中，如果第二重投影误差满足误差阈值，则根据第一重投影误差确定相机是否满足路侧感知条件。其中，根据第一重投影误差确定相机是否满足路侧感知条件的具体实现和技术效果可以参照前述实施例的相关内容，不再赘述。
如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则执行S707，否则执行S708。
S707、确定相机适用于路侧感知。
S708、确定相机不适用于路侧感知。
本申请实施例中，依据相机拍摄的标定图像上的至少一个图像区域对的角点对相机进行标定，得到第一重投影误差，依据标定图像上的所有角点对相机进行标定，得到第二重投影误差，结合第一重投影误差和第二重投影误差对相机是否满足路侧感知条件进行检验，有效地提高相机检验的准确度。
图8为本申请的另一实施例提供的相机检验方法的流程示意图，本实施例以执行主体为电子设备为例。如图8所示，该方法包括：
S801、获取相机拍摄的标定图像。
S802、在标定图像上确定多个图像区域对，图像区域对包括两个形状相同且面积大小一致的局部区域。
S803、针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差。
其中，S801～S803可参照前述实施例的相关描述，不再赘述。
S804、确定各图像区域对的第一重投影误差是否满足预设误差。
本实施例中，在得到各图像区域对的第一重投影误差后，可将各个图像区域对的第一重投影误差与预设的误差阈值进行比较，如果各个图像区域对的第一重投影误差均小于误差阈值，则确定各图像区域对的第一重投影误差满足误差阈值。或者，在得到各图像区域对的第一重投影误差后，可计算所有图像区域对的第一重投影误差的误差均值，如果该误差均值小于误差阈值，则确定各图像区域对的第一重投影误差满足误差阈值。
如果各图像区域对的第一重投影误差满足预设误差，则执行S805，否则执行S808。
S805、根据相机内参和标定图像上的所有角点，对相机进行标定，得到第二重投影误差。
其中，如何根据相机内参和标定图像上的所有角点，对相机进行标定，得到第二重投影误差的过长可以参照前述实施例的相关内容，不再赘述。
S806、确定第二重投影误差是否满足误差阈值。
其中，S806可参照前述实施例的相关内容，不再赘述。
如果第二重投影误差满足误差阈值，则执行S807，否则执行S808。
S807、确定相机适用于路侧感知。
S808、确定相机不适用于路侧感知。
本申请实施例中，依据相机拍摄的标定图像上的至少一个图像区域对的角点对相机进行标定，得到第一重投影误差，依据标定图像上的所有角点对相机进行标定，得到第二重投影误差，结合第一重投影误差和第二重投影误差对相机是否满足路侧感知条件进行检验，有效地提高相机检验的准确度。
图9为本申请的一实施例提供的相机检验装置的结构示意图。如图9所示，该装置包括：
图像获取单元901，用于获取相机拍摄的标定图像；
区域确定单元902，用于在标定图像上确定至少一个图像区域对，图像区域对包括两个形状相同且面积大小一致的局部区域；
第一标定单元903，用于针对各图像区域对，根据相机内参和图像区域对的角点，对相机进行标定，得到图像区域对的第一重投影误差；
检验单元904，用于如果根据各图像区域对的第一重投影误差确定相机满足预设的路侧感知条件，则确定相机适用于路侧感知；
其中，路侧感知条件包括相机的镜头平面与相机的成像平面相互平行。
在一种可能的实现方式中，图像区域对包括在标定图像上位置相互对称的第一局部区域和第二局部区域。
在一种可能的实现方式中，第一标定单元903包括：
外参标定模块，用于根据第一局部区域的角点，对相机进行外参标定，得到第一相机外参；
误差确定模块，用于根据相机内参、第一相机外参和第二局部区域的角点，确定图像区域对的第一重投影误差。
在一种可能的实现方式中，第一标定单元903包括：
外参标定模块，用于根据第一局部区域的角点，对相机进行外参标定，得到第一相机外参；
误差确定模块，用于根据相机内参、第一相机外参和第二局部区域的角点，确定图像区域对的第一重投影误差。
在一种可能的实现方式中，误差确定模块包括：
第二坐标获取模块，用于获取第二局部区域的角点在世界坐标系的坐标和第二局部区域的角点在标定图像的图像坐标系中的坐标；
投影模块，用于根据相机内参、第一相机外参和第二局部区域的角点在世界坐标系的坐标，确定第二局部区域的角点在图像坐标系中的投影坐标；
误差确定子模块，用于根据第二局部区域的角点在图像坐标系中的坐标和投影坐标，确定图像区域对的第一重投影误差。
在一种可能的实现方式中，检验单元904包括：
比较模块，用于如果图像区域对为多个，则分别确定各图像区域对的第一重投影误差是否小于预设的误差阈值；
第一检验子模块，用于如果各图像区域对的第一重投影误差小于误差阈值，则确定相机满足路侧感知条件。
在一种可能的实现方式中，检验单元904包括：
均值计算模块，用于如果图像区域对为多个，则计算各图像区域对的第一重投影误差的误差均值；
第二检验子模块，用于如果误差均值小于预设的误差阈值，则确定相机满足路侧感知条件。
在一种可能的实现方式中，如图10所示，装置还包括：
第二标定单元905，用于根据相机内参和标定图像上的所有角点，对相机进行标定，得到第二重投影误差；
比较单元906，用于如果第二重投影误差满足预设的误差阈值，则根据第一重投影误差确定相机是否满足路侧感知条件。
在一种可能的实现方式中，检验单元包括：
第三标定模块，用于如果各图像区域对的第一重投影误差满足预设的误差阈值，则根据相机内参和标定图像上的所有角点，对相机进行标定，得到第二重投影误差；
第三检验子模块，用于如果第二重投影误差满足误差阈值，则确定相机满足路侧感知条件。
图9和图10提供的相机检验装置，可以执行上述相应方法实施例，其实现原理和技术效果类似，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图11所示，是根据本申请实施例的相机检验方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1101为例。
存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的相机检验方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的相机检验方法。
存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的相机检验方法对应的程序指令/单元(例如，附图10所示的图像获取单元1001、区域确定单元1002、第一标定单元1003和检验单元1004)。处理器1101通过运行存储在存储器1102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的相机检验方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本申请实施例的相机检验方法的电子设备的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网络连接至根据本申请实施例的相机检验方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
根据本申请实施例的相机检验方法的电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。
输入装置1103可接收输入的数字或字符信息，以及产生与相机检验方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本申请一实施例提供的一种芯片。该芯片可以包括：至少一个处理器和与至少一个处理器通信连接的存储器。存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现如上述任一实施例的方法。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。上述存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
本申请一实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质中读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述任一实施例的方法。
在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。
应该理解，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (20)
1.一种相机检验方法，所述方法包括：
获取相机拍摄的标定图像；
在所述标定图像上确定至少一个图像区域对，所述图像区域对包括两个形状相同且面积大小一致的局部区域；
针对各所述图像区域对，根据相机内参和所述图像区域对的角点，对所述相机进行标定，得到所述图像区域对的第一重投影误差；
如果根据各所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知；
其中，所述路侧感知条件包括所述相机的镜头平面与所述相机的成像平面相互平行。
2.根据权利要求1所述的方法，所述图像区域对包括在所述标定图像上位置相互对称的第一局部区域和第二局部区域。
3.根据权利要求2所述的方法，所述根据相机内参和所述图像区域对，对所述相机进行标定，得到所述图像区域对的第一重投影误差，包括：
根据所述第一局部区域的角点，对所述相机进行外参标定，得到第一相机外参；
根据所述相机内参、所述第一相机外参和所述第二局部区域的角点，确定所述图像区域对的第一重投影误差。
4.根据权利要求3所述的方法，所述根据所述第一局部区域的角点，对所述相机进行外参标定，得到第一相机外参，包括：
获取所述第一局部区域的角点在世界坐标系中的坐标和所述第一局部区域的角点在所述标定图像的图像坐标系中的坐标；
根据所述第一局部区域的角点在世界坐标系中的坐标和所述第一局部区域的角点在所述图像坐标系中的坐标，对所述相机进行外参标定，得到所述第一相机外参。
5.根据权利要求3所述的方法，所述根据所述相机内参、所述第一相机外参和所述第二局部区域的角点，确定所述图像区域对的第一重投影误差，包括：
获取所述第二局部区域的角点在世界坐标系的坐标和所述第二局部区域的角点在所述标定图像的图像坐标系中的坐标；
根据所述相机内参、所述第一相机外参和所述第二局部区域的角点在世界坐标系的坐标，确定所述第二局部区域的角点在所述图像坐标系中的投影坐标；
根据所述第二局部区域的角点在所述图像坐标系中的坐标和投影坐标，确定所述图像区域对的第一重投影误差。
6.根据权利要求1-5任一项所述的方法，所述如果根据所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知，包括：
如果所述图像区域对为多个，则分别确定各所述图像区域对的第一重投影误差是否小于预设的误差阈值；
如果各所述图像区域对的第一重投影误差小于所述误差阈值，则确定所述相机满足所述路侧感知条件。
7.根据权利要求1-5任一项所述的方法，所述如果根据所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知，包括：
如果所述图像区域对为多个，则计算各所述图像区域对的第一重投影误差的误差均值；
如果所述误差均值小于预设的误差阈值，则确定所述相机满足所述路侧感知条件。
8.根据权利要求1-5任一项所述的方法，确定所述相机适用于路侧感知之前，所述方法还包括：
根据所述相机内参和所述标定图像上的所有角点，对所述相机进行标定，得到第二重投影误差；
如果所述第二重投影误差满足预设的误差阈值，则根据所述第一重投影误差确定所述相机是否满足所述路侧感知条件。
9.根据权利要求1-5任一项所述的方法，所述如果根据各所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知，包括：
如果各所述图像区域对的第一重投影误差满足预设的误差阈值，则根据所述相机内参和所述标定图像上的所有角点，对所述相机进行标定，得到第二重投影误差；
如果所述第二重投影误差满足所述误差阈值，则确定所述相机满足所述路侧感知条件。
10.一种相机检验装置，所述装置包括：
图像获取单元，用于获取相机拍摄的标定图像；
区域确定单元，用于在所述标定图像上确定至少一个图像区域对，所述图像区域对包括两个形状相同且面积大小一致的局部区域；
第一标定单元，用于针对各所述图像区域对，根据相机内参和所述图像区域对的角点，对所述相机进行标定，得到所述图像区域对的第一重投影误差；
检验单元，用于如果根据各所述图像区域对的第一重投影误差确定所述相机满足预设的路侧感知条件，则确定所述相机适用于路侧感知；
其中，所述路侧感知条件包括所述相机的镜头平面与所述相机的成像平面相互平行。
11.根据权利要求10所述的装置，所述图像区域对包括在所述标定图像上位置相互对称的第一局部区域和第二局部区域。
12.根据权利要求11所述的装置，所述第一标定单元包括：
外参标定模块，用于根据所述第一局部区域的角点，对所述相机进行外参标定，得到第一相机外参；
误差确定模块，用于根据所述相机内参、所述第一相机外参和所述第二局部区域的角点，确定所述图像区域对的第一重投影误差。
13.根据权利要求12所述的装置，所述外参标定模块包括：
第一坐标获取模块，用于获取所述第一局部区域的角点在世界坐标系中的坐标和所述第一局部区域的角点在所述标定图像的图像坐标系中的坐标；
外参标定子模块，用于根据所述第一局部区域的角点在世界坐标系中的坐标和所述第一局部区域的角点在所述图像坐标系中的坐标，对所述相机进行外参标定，得到所述第一相机外参。
14.根据权利要求12所述的装置，所述误差确定模块包括：
第二坐标获取模块，用于获取所述第二局部区域的角点在世界坐标系的坐标和所述第二局部区域的角点在所述标定图像的图像坐标系中的坐标；
投影模块，用于根据所述相机内参、所述第一相机外参和所述第二局部区域的角点在世界坐标系的坐标，确定所述第二局部区域的角点在所述图像坐标系中的投影坐标；
误差确定子模块，用于根据所述第二局部区域的角点在所述图像坐标系中的坐标和投影坐标，确定所述图像区域对的第一重投影误差。
15.根据权利要求10-14任一项所述的装置，所述检验单元包括：
比较模块，用于如果所述图像区域对为多个，则分别确定各所述图像区域对的第一重投影误差是否小于预设的误差阈值；
第一检验子模块，用于如果各所述图像区域对的第一重投影误差小于所述误差阈值，则确定所述相机满足所述路侧感知条件。
16.根据权利要求10-14任一项所述的装置，所述检验单元包括：
均值计算模块，用于如果所述图像区域对为多个，则计算各所述图像区域对的第一重投影误差的误差均值；
第二检验子模块，用于如果所述误差均值小于预设的误差阈值，则确定所述相机满足所述路侧感知条件。
17.根据权利要求10-14任一项所述的装置，所述装置还包括：
第二标定单元，用于根据所述相机内参和所述标定图像上的所有角点，对所述相机进行标定，得到第二重投影误差；
比较单元，用于如果所述第二重投影误差满足预设的误差阈值，则根据所述第一重投影误差确定所述相机是否满足所述路侧感知条件。
18.根据权利要求10-14任一项所述的装置，所述检验单元包括：
第三标定单元，用于如果各所述图像区域对的第一重投影误差满足预设的误差阈值，则根据所述相机内参和所述标定图像上的所有角点，对所述相机进行标定，得到第二重投影误差；
第三检验子单元，用于如果所述第二重投影误差满足所述误差阈值，则确定所述相机满足所述路侧感知条件。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011304140.XA CN112381889B (zh) | 2020-11-19 | 2020-11-19 | 相机检验方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011304140.XA CN112381889B (zh) | 2020-11-19 | 2020-11-19 | 相机检验方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381889A true CN112381889A (zh) | 2021-02-19 |
| CN112381889B CN112381889B (zh) | 2024-05-07 |
Family
ID=74585904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011304140.XA Active CN112381889B (zh) | 2020-11-19 | 2020-11-19 | 相机检验方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381889B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991459A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种相机标定方法、装置、设备以及存储介质 |
| CN113096195A (zh) * | 2021-05-14 | 2021-07-09 | 北京云迹科技有限公司 | 一种摄像头标定方法及装置 |
| CN113112551A (zh) * | 2021-04-21 | 2021-07-13 | 阿波罗智联(北京)科技有限公司 | 相机参数的确定方法、装置、路侧设备和云控平台 |
| CN113658268A (zh) * | 2021-08-04 | 2021-11-16 | 智道网联科技(北京)有限公司 | 摄像头标定结果的验证方法、装置及电子设备、存储介质 |
| CN113838149A (zh) * | 2021-10-09 | 2021-12-24 | 智道网联科技(北京)有限公司 | 自动驾驶车辆的相机内参标定方法、服务器及系统 |
| CN115243038A (zh) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | 监测路侧相机的方法、服务端与自动驾驶系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110157373A1 (en) * | 2009-12-24 | 2011-06-30 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
| EP2983131A1 (en) * | 2014-08-06 | 2016-02-10 | Thomson Licensing | Method and device for camera calibration |
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
| CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
| US20190086340A1 (en) * | 2017-09-18 | 2019-03-21 | Elite Semiconductor Inc. | Smart defect calibration system and the method thereof |
| CN109919144A (zh) * | 2019-05-15 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备 |
| CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
| CN110689585A (zh) * | 2019-10-09 | 2020-01-14 | 北京百度网讯科技有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
| CN111340890A (zh) * | 2020-02-20 | 2020-06-26 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
| CN111445537A (zh) * | 2020-06-18 | 2020-07-24 | 浙江中控技术股份有限公司 | 一种摄像机的标定方法及系统 |
| CN111612852A (zh) * | 2020-05-20 | 2020-09-01 | 北京百度网讯科技有限公司 | 用于验证相机参数的方法和装置 |
| US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
-
2020
- 2020-11-19 CN CN202011304140.XA patent/CN112381889B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110157373A1 (en) * | 2009-12-24 | 2011-06-30 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
| EP2983131A1 (en) * | 2014-08-06 | 2016-02-10 | Thomson Licensing | Method and device for camera calibration |
| CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
| US20190086340A1 (en) * | 2017-09-18 | 2019-03-21 | Elite Semiconductor Inc. | Smart defect calibration system and the method thereof |
| CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
| CN109919144A (zh) * | 2019-05-15 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 可行驶区域检测方法、装置、计算机存储介质及路测视觉设备 |
| CN110378966A (zh) * | 2019-06-11 | 2019-10-25 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、计算机设备及存储介质 |
| US10841483B1 (en) * | 2019-07-11 | 2020-11-17 | Denso International America, Inc. | System and method for calibrating at least one camera and a light detection and ranging sensor |
| CN110689585A (zh) * | 2019-10-09 | 2020-01-14 | 北京百度网讯科技有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
| CN111340890A (zh) * | 2020-02-20 | 2020-06-26 | 北京百度网讯科技有限公司 | 相机外参标定方法、装置、设备和可读存储介质 |
| CN111612852A (zh) * | 2020-05-20 | 2020-09-01 | 北京百度网讯科技有限公司 | 用于验证相机参数的方法和装置 |
| CN111445537A (zh) * | 2020-06-18 | 2020-07-24 | 浙江中控技术股份有限公司 | 一种摄像机的标定方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| TUOPU WEN ET AL.: "High Precision Target Positoning Method for RSU in Cooperative for RSU in Cooperative Perception", 《2019 IEEE 21ST INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING(MMSP)》, pages 1 - 6 * |
| 赫美琳;高明慧;李爽;杨开伟;: "一种单目相机标定算法研究", 数字通信世界, no. 05, pages 19 - 22 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991459A (zh) * | 2021-03-09 | 2021-06-18 | 北京百度网讯科技有限公司 | 一种相机标定方法、装置、设备以及存储介质 |
| CN112991459B (zh) * | 2021-03-09 | 2023-12-12 | 阿波罗智联(北京)科技有限公司 | 一种相机标定方法、装置、设备以及存储介质 |
| CN113112551A (zh) * | 2021-04-21 | 2021-07-13 | 阿波罗智联(北京)科技有限公司 | 相机参数的确定方法、装置、路侧设备和云控平台 |
| CN113112551B (zh) * | 2021-04-21 | 2023-12-19 | 阿波罗智联(北京)科技有限公司 | 相机参数的确定方法、装置、路侧设备和云控平台 |
| CN113096195A (zh) * | 2021-05-14 | 2021-07-09 | 北京云迹科技有限公司 | 一种摄像头标定方法及装置 |
| CN113658268A (zh) * | 2021-08-04 | 2021-11-16 | 智道网联科技(北京)有限公司 | 摄像头标定结果的验证方法、装置及电子设备、存储介质 |
| CN113838149A (zh) * | 2021-10-09 | 2021-12-24 | 智道网联科技(北京)有限公司 | 自动驾驶车辆的相机内参标定方法、服务器及系统 |
| CN113838149B (zh) * | 2021-10-09 | 2023-08-18 | 智道网联科技(北京)有限公司 | 自动驾驶车辆的相机内参标定方法、服务器及系统 |
| CN115243038A (zh) * | 2022-09-23 | 2022-10-25 | 北京小马易行科技有限公司 | 监测路侧相机的方法、服务端与自动驾驶系统 |
| CN115243038B (zh) * | 2022-09-23 | 2023-01-24 | 北京小马易行科技有限公司 | 监测路侧相机的方法、服务端与自动驾驶系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381889B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112381889B (zh) | 相机检验方法、装置、设备及存储介质 | |
| CN110689585B (zh) | 多相机外参的联合标定方法、装置、设备和介质 | |
| EP3848901A2 (en) | Method and apparatus for calibrating external parameters of image acquisition device, device and storage medium | |
| JP2021144677A (ja) | 障害物検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN111324115A (zh) | 障碍物位置检测融合方法、装置、电子设备和存储介质 | |
| CN111578839B (zh) | 障碍物坐标处理方法、装置、电子设备及可读存储介质 | |
| EP3879494A2 (en) | Method, apparatus, electronic device, computer readable medium and program for calibrating external parameter of camera | |
| CN112991459B (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
| WO2022222291A1 (zh) | 光轴检测系统的光轴标定方法、装置、终端、系统和介质 | |
| CN111612852A (zh) | 用于验证相机参数的方法和装置 | |
| CN111340890A (zh) | 相机外参标定方法、装置、设备和可读存储介质 | |
| CN109982038A (zh) | 显示声源位置的方法、装置及计算机设备 | |
| JP2019215811A (ja) | 投影システム、画像処理装置および投影方法 | |
| CN112967344A (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN112184914A (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
| CN110705433A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN111311671B (zh) | 一种工件测量方法、装置、电子设备及存储介质 | |
| CN104807405A (zh) | 一种基于光线角度标定的三维坐标测量方法 | |
| CN111998959A (zh) | 基于实时测温系统的温度校准方法、装置及存储介质 | |
| CN112509058B (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
| CN112560769B (zh) | 用于检测障碍物的方法、电子设备、路侧设备和云控平台 | |
| CN111612851B (zh) | 用于标定相机的方法、装置、设备以及存储介质 | |
| CN111044039A (zh) | 基于imu的单目目标区域自适应高精度测距装置和方法 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211019 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |