CN116152355A - 一种路侧相机标定方法与装置、目标检测方法与装置 - Google Patents

Abstract

本申请公开了一种路侧相机标定方法与装置、目标检测方法与装置。所述标定方法包括：获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。本申请的技术方案能够在一定程度上克服光照环境对标定精度的影响，提高路侧相机的标定精度。

Description

一种路侧相机标定方法与装置、目标检测方法与装置

技术领域

本申请涉及智慧交通技术领域，尤其涉及一种路侧相机标定方法与装置、目标检测方法与装置。

背景技术

在智能交通系统(Intelligent Transportation System，ITS)中，城市交通的各个路口都部署了路侧相机用于路口的实时监控，为了对交通路口的交通状态进行监测和分析，例如，对交通路口车辆的运行速度、车辆的排队长度等进行监测，都需要对路侧相机进行标定。且随着计算机视觉技术的发展，基于路侧相机的新型业务发展的非常迅速，例如，基于高精地图的数字路口静态要素还原，车路协同中车辆的动态轨迹获取等，新型业务对路侧相机的标定精度提出了更高要求。

现有技术中通常是对相机的内外参数进行标定，在相机标定完成后，基于固定不变的标定参数进行目标检测。其中相机内参包括相机焦距，在实际应用中，相机的焦距是受到光照环境影响的，当光照环境发生变化时，相机会自动调焦，在此情况下，若基于标定的内外参数进行目标检测，则目标物体的像素点位置会发生像素偏移，导致检测结果不准确。

发明内容

基于现有技术中存在的上述问题，本申请实施例提供了一种路侧相机标定方法与装置、目标检测方法与装置，以在一定程度上克服光照环境对路侧相机的标定精度的影响，提高路侧相机的标定精度。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种路侧相机标定方法，所述方法包括：

获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

可选地，所述获取路侧相机在不同预设光照环境下拍摄的标定图像，包括：

获取当前环境的光照度信息；

根据当前环境的光照度信息确定当前环境是否属于预设光照环境；

若当前环境属于预设光照环境，则通过所述路侧相机拍摄路面交通标志获取该预设光照环境下的标定图像。

可选地，所述方法还包括：

对标定图像进行区域划分，得到远景区域和近景区域；

所述在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标，包括：

在每种预设光照环境下拍摄到的标定图像的远景区域中选取多个第一特征点，并获取所述多个第一特征点的像素坐标和世界坐标；以及在任一种预设光照环境下拍摄到的标定图像的近景区域中选取多个第二特征点，并获取所述多个第二特征点的像素坐标和世界坐标；

所述根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型，包括：

根据所述多个第一特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机的远景标定参数，根据所述多个第二特征点的像素坐标和世界坐标获取所述路侧相机的近景标定参数；

根据所述路侧相机的近景标定参数和每种预设光照环境下所述路侧相机的远景标定参数，获取每种预设光照环境下所述路侧相机对应的标定模型。

可选地，所述路侧相机在每种预设光照条件下对路面标志物进行拍摄，所述路面标志物与所述路侧相机具有预设距离，所述对标定图像进行区域划分，得到远景区域和近景区域，包括：

确定所述标定图像中所述路面标志物的像素坐标；

根据所述路面标志物的像素坐标将所述标定图像划分为两个区域，将所述路面标志物与所述路侧相机之间的拍摄范围对应的区域作为近景区域，另一区域作为远景区域。

可选地，所述多个特征点为N个特征点，所述根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型，包括：

从所述N个特征点中选取K个特征点，得到C_N ^K种不同的特征点组合，K为小于N的正整数；

对每种特征点组合进行透视变换处理，得到每种特征点组合对应的透视变换矩阵；

获取每个透视变换矩阵对应的投影总误差，将投影总误差最小的透视变换矩阵确定为每种预设光照环境下所述路侧相机对应的标定模型。

可选地，通过下述步骤获取所述多个特征点的世界坐标：

根据路侧相机的位置信息获取局部高精地图；

根据接收到的特征点选取指令，从所述局部高精地图中获取N个特征点的世界坐标。

第二方面，本申请实施例还提供一种目标检测方法，所述方法包括：

获取路侧相机拍摄的目标图像以及当前的光照环境，所述路侧相机是通过上述实施例中的路侧相机标定方法进行标定；

根据当前的光照环境确定所述路侧相机的标定模型；

根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

可选地，通过下述步骤获取当前的光照环境：

获取当前环境的光照度信息；

所述根据当前的光照环境确定所述路侧相机的标定模型，包括：

根据当前环境的光照度信息确定当前环境所属的预设光照环境，根据当前环境所属的预设光照环境，确定所述路侧相机的标定模型。

第三方面，本申请实施例还提供一种路侧相机标定装置，所述装置包括：

标定图像获取单元，用于获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

特征点处理单元，用于在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

相机标定单元，用于根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

第四方面，本申请实施例还提供一种目标检测装置，所述装置包括：

获取单元，用于获取路侧相机拍摄的目标图像以及当前的光照环境，所述路侧相机是通过上述实施例中的路侧相机标定方法进行标定；

模型确定单元，用于根据当前的光照环境确定所述路侧相机的标定模型；

目标检测单元，用于根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

第五方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行路侧相机标定方法或目标检测方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行路侧相机标定方法或目标检测方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例在相机标定阶段，获取路侧相机在不同预设光照环境下的标定图像，并在标定图像中获取多个特征点以及多个特征点的像素坐标和世界坐标，再根据多个特征点的像素坐标和世界坐标计算出每种预设光照环境下路侧相机对应的标定模型，由此能够在一定程度上减弱光照环境对标定精度的影响，提高标定精度。且本申请实施例是根据特征点的像素坐标和世界坐标计算标定模型，计算过程不需要使用路侧相机的畸变系数、相机焦距等性能参数，能够避免性能参数对标定精度的影响。

此外本申请实施例在目标检测阶段，在获取路侧相机拍的目标图像时，还获取当前的光照环境，根据当前的光照环境确定出路侧相机当前的标定模型，以根据确定出的标定模型检测目标图像中目标物体的位置信息，避免目标物体的位置检测结果受光照环境的影响，提高检测精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中示出的一种路侧相机标定方法流程图；

图2为本申请实施例中示出的一种标定图像示意图；

图3为本申请实施例中示出的一种局部高精地图的可视化点云示意图；

图4为本申请实施例中示出的一种目标检测方法流程图；

图5为本申请实施例中示出的一种路侧相机标定装置的结构示意图；

图6为本申请实施例中示出的一种目标检测装置的结构示意图；

图7为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供的路侧相机标定方法的执行主体可以是路侧设备(例如路侧相机或路侧计算设备)、服务器或者云控平台；或者，本申请实施例的方法的执行主体可以是软件或硬件。请参考图1，图1以执行主体为路侧设备为例，对本申请实施例提供的一种路侧相机标定方法进行介绍。如图1所示，本申请实施例提供的一种路侧相机标定方法可以包括以下步骤S110与步骤S130：

步骤S110，获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境。

如前所述，光照环境将会影响相机焦距，当光照环境变化导致相机焦距发生变化时，同一静态物体的像素点位置会发生像素偏移。由于图像中远景区域内的像素点对应的物理距离远大于近景区域内的像素点对应的物理距离，例如当远景目标物体相距路侧相机约为150米时，该远景目标物体的一个像素点对应的物理距离约为1.2米，而当近景目标物体相距路侧相机约为10米时，该近景目标物体的一个像素点对应的物理距离为几个厘米。因此像素点偏移程度与目标物体与路侧相机之间的相对距离有关，当目标物体与路侧相机之间的相对距离越远时，该目标物体的像素点位置偏移程度越大，光照环境的影响越大，当目标物体与路侧相机之间的相对距离越近时，该目标物体的像素点位置偏移程度越小，光照环境的影响越小。

基于此，本申请当路侧相机架设到路侧杆上后，利用路侧相机在不同预设光照环境下进行标定图像采集。研究发现，在极端光照环境下，即在强光照环境下与在弱光照环境下，像素点位置约偏移3～4个像素点。可见，两种极端光照环境使相机焦距发生了微量变化，偏移的像素点数量较少，因此预设这两种光照环境就能够在一定程度上克服相机焦距变化对标定精度的影响。当然，本领域技术人员也可以将光照环境预设更多等级，以进一步提高标定精度。

需要说明的是，本申请中的路侧相机可以是枪式相机，获取到的标定图像是枪机视角图像，枪机视角图像指可以等效为某个枪式相机沿一固定朝向角度采集的图像，如图2所示，枪机视角图像可以具有近大远小的特点，但不存在明显的桶形畸变，枪机视角图像中的车道线较为笔直，不会存在明显的弯曲形变，便于获取枪机视角图像中特征点的像素坐标对应的世界坐标。

步骤S120，在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标。

像素坐标是图像中特征点所在位置的像素点的坐标，像素点的坐标是二维的，本申请中的世界坐标是地理区域中每一个点的三维坐标，可以理解，物理世界中，不同坐标系下同一个点可以有不同的坐标值。

本申请中特征点的世界坐标可以是任意坐标系下的坐标值，例如，本申请中特征点的世界坐标可以是特征点对应的经度、纬度和海拔组成的三维坐标，也可以是特征点对应的自然坐标系下的X坐标、Y坐标和Z坐标组成的三维坐标，也可以是其它形式的坐标，只要该坐标可以唯一确定特征点在地理区域中的位置，本申请对具体选用何种形式的坐标不作限定。可选地，本申请中采用的世界坐标是高精地图点云数据提供的世界坐标，例如，WGS84坐标。

步骤S130，根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

如图1所示的路侧相机标定方法可知，本实施例获取路侧相机在不同预设光照环境下的标定图像，并在标定图像中获取多个特征点以及多个特征点的像素坐标和世界坐标，再根据多个特征点的像素坐标和世界坐标计算出每种预设光照环境下路侧相机对应的标定模型，由此能够在一定程度上减弱光照环境对标定精度的影响，提高标定精度。且本实施例是根据特征点的像素坐标和世界坐标计算标定模型，计算过程不需要使用路侧相机的畸变系数、相机焦距等性能参数，能够避免性能参数对标定精度的影响。

在本申请的一些实施例中，所述获取路侧相机在不同预设光照环境下拍摄的标定图像，包括：

获取当前环境的光照度信息；

根据当前环境的光照度信息确定当前环境是否属于预设光照环境；

若当前环境属于预设光照环境，则通过所述路侧相机拍摄路面交通标志获取该预设光照环境下的标定图像。

需要说明的是，由于光照环境的变化对相机焦距的影响是较为微弱的，现阶段的焦距策略精度还无法度量出受光照环境影响的焦距变化量，因此本实施例通过光照度对预设光照环境进行量化表示，例如设置强光照环境对应的光照度范围为[lx1,lx2)，弱光照环境对应的光照度范围为[lx2,lx3)，由此可以通过获取当前环境的光照度信息确定当前环境是否属于预设光照环境。其中，本实施例可以根据时间段信息与气候信息获取当前环境的光照度信息，气候信息包括季节信息与天气信息。例如将夏季晴朗天气的上午10点到下午3点的时间段对应为强光照环境，将多云天气的上午11点到下午1点的时间段对应为强光照环境，将多云天气对应为弱光照环境等。此外，本实施例也可以通过光照度测量设备获取当前环境的光照度信息。例如，当路侧设备集成光照度测量设备时，可以通过路侧设备集成的光照度测量设备获取光照度信息，路侧设备也可以通过互联网获取当前环境的光照度信息。

需要说明的是，实际应用中可以在每种预设光照环境下采集多帧图像，根据图像清晰度、图像中路面交通标志的遮挡情况对多帧图像进行筛选。较佳地，选取清晰度高、路面交通标志无遮挡的图像作为标定图像。通过前期的图像筛选，选取合适的标定图像，有利于提高特征点像素坐标的精确度，进而有利于提高路侧相机的标定精度。

如前所述，像素点偏移程度与目标物体与路侧相机之间的相对距离有关，当目标物体与路侧相机之间的相对距离越远时，该目标物体的像素点位置偏移程度越大，受光照环境的影响越大，当目标物体与路侧相机之间的相对距离越近时，该目标物体的像素点位置偏移程度越小，受光照环境的影响越小。

可知，光照环境对远景目标物体的像素偏移程度产生显著影响，对近景目标物体的像素偏移程度的影响可以忽略。基于该情况，本申请的一些实施例可以对标定图像进行分区处理，在不同预设光照环境下，近景区域可以采用同一标定参数，远景区域需要采用单独的标定参数，由此提高标定效率。

具体来说，在本申请的一些实施例中，上述图1所述的路侧相机标定方法还包括：

对所述标定图像进行区域划分，得到远景区域和近景区域；

在每种预设光照环境下拍摄到的标定图像的远景区域中选取多个第一特征点，并获取所述多个第一特征点的像素坐标和世界坐标；以及在任一种预设光照环境下拍摄到的标定图像的近景区域中选取多个第二特征点，并获取所述多个第二特征点的像素坐标和世界坐标；即在强光照环境下和弱光照环境下拍摄到标定图像的远景区域中分别选取多个第一特征点，在强光照环境下或弱光照环境下拍摄到标定图像的近景区域中选取多个第二特征点；

根据所述多个第一特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机的远景标定参数，根据所述多个第二特征点的像素坐标和世界坐标获取所述路侧相机的近景标定参数；

根据所述路侧相机的近景标定参数和每种预设光照环境下所述路侧相机的远景标定参数，获取每种预设光照环境下所述路侧相机对应的标定模型。即将近景标定参数和每种预设光照环境下的远景标定参数组合为该预设光照环境下的标定模型，使得近景目标共用一套标定参数，远景目标根据光照条件使用相应的标定参数。

需要说明的，本实施例中的远景标定参数和近景标定参数的计算方法可以参考后续实施例介绍的基于投影矩阵P获得标定模型的方法，在此不再赘述。

本实施例的标定图像分区方法可以有多种实现方案，若路侧相机在拍摄标定图像时，在每种预设光照条件下对路面标志物进行拍摄，所述路面标志物需要事先放置到指定位置，即路面标志物与路侧相机具有预设距离，当目标物体与路侧相机之间的距离大于路面标志物与路侧相机之间的预设距离时，光照环境对目标物体的像素偏移程度产生显著影响，当目标物体与路侧相机之间的距离小于路面标志物与路侧相机之间的预设距离时，光照环境对目标物体的像素偏移程度的影响可以忽略。其中，路面标志物与路侧相机之间的预设距离与路侧相机的视场角、视野范围、安装姿态等因素相关，可选地，预设距离为80米，当然本领域技术人员也可以根据实验设置路面标志物的位置。

此时标定图像的分区实现方案是：

确定所述标定图像中所述路面标志物的像素坐标；

根据所述路面标志物的像素坐标将所述标定图像划分为两个区域；

将所述路面标志物与所述路侧相机之间的拍摄范围对应的区域作为近景区域，另一区域作为远景区域。

本实施例需要人为设置路面标志物，通过标定图像中路面标志物的像素坐标确定近景区域与远景区域的分界线，基于分界线划分出近景区域与远景区域。在其他实现方案中，可以不设置路面标志物，结合高精地图确定出标定图像中的上述分界线。

在本申请的一些实施例中，标定图像包括路面交通标志，即路侧相机在不同预设光照环境下，通过拍摄路面交通标志获得所述标定图像。标定图像中的路面交通标志可以包括多个，多个路面交通标志一方面有利于选取非共线的多个特征点，非共线的多个特征点有利于提高标定模型的精度；另一方面有利于确定足够数量的特征点以满足用于计算标定模型的特征点的数量要求。

本实施例的路面交通标志主要用于管制和引导交通，通常由标划于路面上的各种线条(停止线、人行横道线、车道分界虚线等虚线或实线)、箭头线(向左转、向右转、左转且直行、右转且直行等)、文字、轮廓标等构成。

在本申请的一些实施例中，通过下述步骤在所述标定图像中选取N个特征点：

获取所述标定图像中所述路面交通标志包括的线段；

将所述路面交通标志包括的每条线段的中心点选取为所述特征点。

标定模型的精度与特征点的数量有关，为提高标定模型的精度，可以适当提高选取特征点的数量，例如N∈[15，40]，当然在不考虑计算资源和计算效率的情况下，也可以选取更多的特征点。

由于本申请是通过高精地图的点云数据获取特征点的世界坐标，而点云数据是由无序的点簇组成，在图像中容易选取的诸如角点、交点、圆心等特征点，在高精地图的点云数据中则不容易获取。在高精地图的点云数据中容易选取线段的中心点，基于此，本实施例将标定图像中路面交通标志拆分为多个线段，将每条线段的中心点选取为特征点。例如在图2所示的车道分界虚线中，选取构成虚线的每个线段的短边中心点为特征点。

需要说明的是，当标定图像中的路面交通标志为实线车道线，则可以将实线车道线等距离划分成多段，选取划分出的每条线段的短边中心点为特征点。当标定图像中的路面交通标志为转弯箭头，可以将构成箭头的两个斜边的中心点作为特征点，以及对转弯实线进行等间距划分，选取划分出的每段线段的短边中心点为特征点。等间距划分便于在高精地图的点云数据中查找相应的位置点。

在标定图像中选取N个特征点之后，可以根据接收到的特征点选取指令，获取特征点的像素坐标。例如通过画图工具或像素提取软件打开标定图像，根据用户的触摸操作或点击操作生成特征点选取指令，实现用户自主选取特征点的功能，提高特征点选取的灵活性，而且由用户选取特征点，可以减少计算机的计算量，提高路侧相机的标定效率。

发明人在研究过程中发现，特征点的选取对标定精度有比较大的影响，为了提高路侧相机的标定精度，特征点最好不全部位于同一条直线上，因为在同一条直线上会丧失一部分维度上坐标的畸变信息，降低标定模型的准确度。在本申请的优选实施方式中，由于标定图像是枪机视角图像，图像中心区域的畸变较小，较佳地，在标定图像的中心区域内选取特征点。因此，特征点最好位于标定图像的中心区域，并且呈面分布。

在本申请的一些实施例中，通过下述步骤获取N个特征点的世界坐标：

根据路侧相机的位置信息获取局部高精地图；

根据接收到的特征点选取指令，从所述局部高精地图中获取N个特征点的世界坐标。

本实施例所采用的高精地图(high definition map，HD Map)，可以来源于为车辆驾驶设计的高精地图，尤其是为无人驾驶车辆设计的高精地图。高精地图可以包含道路信息、交叉路口信息、交通信号信息和车道规则信息等用于车辆导航的元素信息。

通过将点云数据导入到可视化软件，例如QGIS软件，可以得到如图3所示的可视化的高精地图，在如图3所示的高精地图中，当高精地图被放大到一定程度后，图3中所示的线条、箭头等元素表现为无序排列的点云。

当根据高精地图获取特征点的世界坐标时，本实施例可以根据路侧相机的位置信息得到局部高精地图，根据用户的触摸操作或点击操作生成特征点选取指令，减少计算量，提高相机标定的效率。

本实施例在根据特征点选取指令获取N个特征点的世界坐标时，确定所述局部高精地图上是否存在与所述特征点选取指令对应的点云；若存在，则根据所述点云的位置信息获取所述特征点的世界坐标；若不存在，则获取与所述特征点选取指令对应的特征点云，根据所述特征点云的位置信息获取所述特征点的世界坐标。

即根据用户对一段点云的中心位置进行触摸操作或点击操作生成特征点选取指令，将可视化后的高精地图进行放大处理，可以看到该中心位置是否存在点云，若存在点云，则可以根据该点云的经纬度信息确定出该特征点的世界坐标，若不存在点云，则可以将该中心位置附近点云的经纬度信息进行插值计算，根据插值计算出的经纬度信息确定出该特征点的世界坐标。

在实际应用中，当得到N个特征点在每个标定图像中的像素坐标及相应的世界坐标，可以以N个特征点的序号为索引将像素坐标保存为第一文件，同样的，将N个特征点的世界坐标保存为第二文件，将第一文件和第二文件中相对应的特征点的序号进行整合，使得第一文件和第二文件中像素坐标与世界坐标基于特征点的序号一一对应，得到N个特征点对。

接下来，从所述N个特征点中选取K个特征点，得到

种不同的特征点组合，K为小于N且大于3的正整数；

对每种特征点组合进行透视变换处理，得到每种特征点组合对应的透视变换矩阵；

获取每个透视变换矩阵对应的投影总误差，将投影总误差最小的透视变换矩阵确定为每种预设光照环境下所述路侧相机对应的标定模型。

在本实施例的一些可能实现方案中，获取每个透视变换矩阵对应的投影总误差，包括：

采用K点透视成像算法对每种特征点组合进行透视变换处理，得到每种特征点组合对应的透视变换矩阵；

获取每种特征点组合对应的剩余特征点；

根据每种特征点组合对应的透视变换矩阵和每个剩余特征点的像素坐标，获取每个剩余特征点的世界坐标计算值；

根据所有剩余特征点的世界坐标计算值和世界坐标的差值的和值，获取每个透视变换矩阵对应的投影总误差。

举例来说，从上述N个特征点对中选出任意四个特征点对，可以得到

种点对组合，对每种点对组合：

分别计算相应的3×3透视变换矩阵P，此时能够计算出

个透视变换矩阵；然后利用计算出的透视变换矩阵P计算剩余其他N-4个特征点的世界坐标计算值，具体可以根据公式longtitude_latitude＝P×pixel^T计算世界坐标齐次值，在将计算出的世界坐标齐次值进行归一化，例如用将3×1形式的经纬度坐标同时除以第3维坐标，进行归一化，得到最终的世界坐标计算值。其中，pixel＝[u,v,1]^T为像素坐标的齐次形式，longtitude_latitude＝[x,y,z]^T为世界坐标系。将剩余其他N-4个特征点的世界坐标计算值与其世界坐标作差，得到剩余其他N-4个特征点的投影误差，并相加得到投影总误差error，将error值最小的透视变换矩阵P作为标定模型。

基于本申请实施例的上述标定方法对路侧相机进行标定，能够使标定范围由65～200米提升至65～450米，在65米～220米以内标定精度提升至1米左右，220米～280米标定精度提升至1.5米以内，280米～450米标定精度在3米以内，能够满足智能交通系统的标定精度需求。

本申请实施例还提供了一种目标检测方法。本申请实施例提供的目标检测方法的执行主体可以是路侧设备(例如路侧相机或路侧计算设备)、服务器或者云控平台；或者，本申请实施例的方法的执行主体可以是软件或硬件。请参考图4，图4以执行主体为路侧设备为例，对本申请实施例提供的一种目标检测方法进行介绍。如图4所示，本申请实施例提供的一种目标检测方法可以包括以下步骤S410与步骤S430：

S410，获取路侧相机拍摄的目标图像以及当前的光照环境。

本实施例的所述路侧相机是通过上述实施例描述的路侧相机标定方法进行标定，标定过程在此不再赘述。

在路侧相机拍摄目标图像时，还获取当前的光照环境，若当前的光照环境属于强光照环境，则将强光照环境对应的标定模型作为路侧相机当前的标定模型；如当前的光照环境属于弱光照环境，则将弱光照环境对应的标定模型作为路侧相机当前的标定模型。

S420，根据当前的光照环境确定所述路侧相机的标定模型。

S430，根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

本实施例在获取路侧相机拍的目标图像时，还获取当前的光照环境，根据当前的光照环境确定出路侧相机当前的标定模型，以根据确定出的标定模型检测目标图像中目标物体的位置信息，避免目标物体的位置检测结果受光照环境的影响，提高检测精度。

在本申请的一些实施例中，通过下述步骤获取当前的光照环境：

获取当前环境的光照度信息，其中当前环境的光照度信息的获取方法可以参考前文相关实施例的描述，在此不再赘述。

相应的，根据当前的光照环境确定所述路侧相机的标定模型，包括：

根据当前环境的光照度信息确定当前环境所属的预设光照环境，根据当前环境所属的预设光照环境，确定所述路侧相机的标定模型。

本申请实施例还提供了一种路侧相机标定装置500，如图5所示，提供了本申请实施例中一种路侧相机标定装置的结构示意图，所述装置500应用于路侧设备，包括：标定图像获取单元510、特征点处理单元520和相机标定单元530，其中：

标定图像获取单元510，用于获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

特征点处理单元520，用于在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

相机标定单元530，用于根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

在本申请的一个实施例中，标定图像获取单元510，用于获取当前环境的光照度信息；根据当前环境的光照度信息确定当前环境是否属于预设光照环境；若当前环境属于预设光照环境，则通过所述路侧相机拍摄路面交通标志获取该预设光照环境下的标定图像。

在本申请的一个实施例中，所述装置500还包括区域划分单元；

区域划分单元，用于对所述标定图像进行区域划分，得到远景区域和近景区域；

特征点处理单元520，用于在每种预设光照环境下拍摄到的标定图像的远景区域中选取多个第一特征点，并获取所述多个第一特征点的像素坐标和世界坐标；以及在任一种预设光照环境下拍摄到的标定图像的近景区域中选取多个第二特征点，并获取所述多个第二特征点的像素坐标和世界坐标；

相机标定单元530，用于根据所述多个第一特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机的远景标定参数，根据所述多个第二特征点的像素坐标和世界坐标获取所述路侧相机的近景标定参数；根据所述路侧相机的近景标定参数和每种预设光照环境下所述路侧相机的远景标定参数，获取每种预设光照环境下所述路侧相机对应的标定模型。

在本申请的一个实施例中，所述路侧相机在每种预设光照条件下对路面标志物进行拍摄，所述路面标志物与所述路侧相机具有预设距离，区域划分单元，具体用于确定所述标定图像中所述路面标志物的像素坐标；根据所述路面标志物的像素坐标将所述标定图像划分为两个区域，将所述路面标志物与所述路侧相机之间的拍摄范围对应的区域作为近景区域，另一区域作为远景区域。

在本申请的一个实施例中，所述多个特征点为N个特征点，相机标定单元530，用于从所述N个特征点中选取K个特征点，得到

种不同的特征点组合，K为小于N的正整数；对每种特征点组合进行透视变换处理，得到每种特征点组合对应的透视变换矩阵；获取每个透视变换矩阵对应的投影总误差，将投影总误差最小的透视变换矩阵确定为每种预设光照环境下所述路侧相机对应的标定模型。

在本申请的一个实施例中，特征点处理单元520，还用于根据路侧相机的位置信息获取局部高精地图；根据接收到的特征点选取指令，从所述局部高精地图中获取N个特征点的世界坐标。

能够理解，上述路侧相机标定装置，能够实现前述实施例中提供的路侧相机标定方法的各个步骤，关于路侧相机标定方法的相关阐释均适用于路侧相机标定装置，此处不再赘述。

本申请实施例还提供了一种目标检测装置600，如图6所示，提供了本申请实施例中一种目标检测装置的结构示意图，所述装置600应用于路侧设备，包括：获取单元610、模型确定单元620和目标检测单元630，其中：

获取单元610，用于获取路侧相机拍摄的目标图像以及当前的光照环境；

本实施例的所述路侧相机是通过上述实施例描述的路侧相机标定方法进行标定，标定过程在此不再赘述。

模型确定单元620，用于根据当前的光照环境确定所述路侧相机的标定模型；

目标检测单元630，用于根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

可选地，获取单元610，用于获取当前环境的光照度信息；

模型确定单元620，用于根据当前环境的光照度信息确定当前环境所属的预设光照环境，根据当前环境所属的预设光照环境，确定所述路侧相机的标定模型。

能够理解，上述目标检测装置，能够实现前述实施例中提供的目标检测方法的各个步骤，关于目标检测方法的相关阐释均适用于目标检测装置，此处不再赘述。

图7是本申请的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成路侧相机标定装置或目标检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

或者，处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取路侧相机拍摄的目标图像以及当前的光照环境；

根据当前的光照环境确定所述路侧相机的标定模型；

根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

上述如本申请图1所示实施例揭示的路侧相机标定装置执行的方法或图4所示实施例揭示的目标检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述路侧相机标定方法或目标检测方法的步骤。

该电子设备还可执行图1中路侧相机标定装置执行的方法，并实现路侧相机标定装置在1所示实施例的功能，或者，该电子设备还可执行图4中目标检测装置执行的方法，并实现目标检测装置在4所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中路侧相机标定装置执行的方法，或者执行图4所示实施例中目标检测装置执行的方法，本申请实施例在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种路侧相机标定方法，其特征在于，所述方法包括：

获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

2.如权利要求1所述的路侧相机标定方法，其特征在于，所述获取路侧相机在不同预设光照环境下拍摄的标定图像，包括：

获取当前环境的光照度信息；

根据当前环境的光照度信息确定当前环境是否属于预设光照环境；

若当前环境属于预设光照环境，则通过所述路侧相机拍摄路面交通标志获取该预设光照环境下的标定图像。

3.如权利要求1所述的路侧相机标定方法，其特征在于，所述方法还包括：

对所述标定图像进行区域划分，得到远景区域和近景区域；

所述在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标，包括：

在每种预设光照环境下拍摄到的标定图像的远景区域中选取多个第一特征点，并获取所述多个第一特征点的像素坐标和世界坐标；以及在任一种预设光照环境下拍摄到的标定图像的近景区域中选取多个第二特征点，并获取所述多个第二特征点的像素坐标和世界坐标；

所述根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型，包括：

根据所述多个第一特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机的远景标定参数，根据所述多个第二特征点的像素坐标和世界坐标获取所述路侧相机的近景标定参数；

根据所述路侧相机的近景标定参数和每种预设光照环境下所述路侧相机的远景标定参数，获取每种预设光照环境下所述路侧相机对应的标定模型。

4.如权利要求3所述的路侧相机标定方法，其特征在于，所述路侧相机在每种预设光照条件下对路面标志物进行拍摄，所述路面标志物与所述路侧相机具有预设距离，所述对所述标定图像进行区域划分，得到远景区域和近景区域，包括：

确定所述标定图像中所述路面标志物的像素坐标；

根据所述路面标志物的像素坐标将所述标定图像划分为两个区域；

将所述路面标志物与所述路侧相机之间的拍摄范围对应的区域作为近景区域，另一区域作为远景区域。

5.如权利要求1所述的路侧相机标定方法，其特征在于，所述多个特征点为N个特征点，所述根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型，包括：

从所述N个特征点中选取K个特征点，得到C_NK种不同的特征点组合，K为小于N的正整数；

对每种特征点组合进行透视变换处理，得到每种特征点组合对应的透视变换矩阵；

获取每个透视变换矩阵对应的投影总误差，将投影总误差最小的透视变换矩阵确定为每种预设光照环境下所述路侧相机对应的标定模型。

6.如权利要求1所述的路侧相机标定方法，其特征在于，通过下述步骤获取所述多个特征点的世界坐标：

根据路侧相机的位置信息获取局部高精地图；

根据接收到的特征点选取指令，从所述局部高精地图中获取N个特征点的世界坐标。

7.一种目标检测方法，其特征在于，所述方法包括：

获取路侧相机拍摄的目标图像以及当前的光照环境，所述路侧相机是通过如权利要求1～6任一项所述的路侧相机标定方法进行标定；

根据当前的光照环境确定所述路侧相机的标定模型；

根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

8.如权利要求7所述的目标检测方法，其特征在于，通过下述步骤获取当前的光照环境：

获取当前环境的光照度信息；

所述根据当前的光照环境确定所述路侧相机的标定模型，包括：

根据当前环境的光照度信息确定当前环境所属的预设光照环境，根据当前环境所属的预设光照环境，确定所述路侧相机的标定模型。

9.一种路侧相机标定装置，其特征在于，所述装置包括：

标定图像获取单元，用于获取路侧相机在不同预设光照环境下拍摄的标定图像，所述预设光照环境至少包括强光照环境和弱光照环境；

特征点处理单元，用于在所述标定图像中选取多个特征点，获取所述多个特征点的像素坐标和世界坐标；

相机标定单元，用于根据所述多个特征点的像素坐标和世界坐标获取每种预设光照环境下所述路侧相机对应的标定模型。

10.一种目标检测装置，其特征在于，所述装置包括：

获取单元，用于获取路侧相机拍摄的目标图像以及当前的光照环境，所述路侧相机是通过如权利要求1～6任一项所述的路侧相机标定方法进行标定；

模型确定单元，用于根据当前的光照环境确定所述路侧相机的标定模型；

目标检测单元，用于根据所述路侧相机的标定模型检测所述目标图像中目标物体的位置信息。

11.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1～6任一项所述的路侧相机标定方法或如权利要求7～8任一项所述的目标检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1～6任一项所述的路侧相机标定方法或如权利要求7～8任一项所述的目标检测方法。

Images