CN109712196B - 摄像头标定处理方法、装置、车辆控制设备及存储介质 - Google Patents

摄像头标定处理方法、装置、车辆控制设备及存储介质 Download PDF

Info

Publication number
CN109712196B
CN109712196B CN201811543203.XA CN201811543203A CN109712196B CN 109712196 B CN109712196 B CN 109712196B CN 201811543203 A CN201811543203 A CN 201811543203A CN 109712196 B CN109712196 B CN 109712196B
Authority
CN
China
Prior art keywords
image data
camera
vehicle
pair
installation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811543203.XA
Other languages
English (en)
Other versions
CN109712196A (zh
Inventor
吴彤
李盖凡
周珣
李诗锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811543203.XA priority Critical patent/CN109712196B/zh
Publication of CN109712196A publication Critical patent/CN109712196A/zh
Priority to US16/716,353 priority patent/US11151392B2/en
Application granted granted Critical
Publication of CN109712196B publication Critical patent/CN109712196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种摄像头标定处理方法、装置、车辆控制设备及存储介质。本发明实施例的方法，通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点；根据所述至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，计算所述摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过判断摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。

Description

摄像头标定处理方法、装置、车辆控制设备及存储介质
技术领域
本发明实施例涉及无人驾驶技术领域，尤其涉及一种摄像头标定处理方法、装置、车辆控制设备及存储介质。
背景技术
随着无人驾驶车辆运行时间的增长，由于各种外界原因，无人驾驶车辆上安装的摄像头必然会存在不同程度的角度偏移。若摄像头的角度偏移量超出容忍范围将会严重影响无人驾驶系统的感知准确性，导致严重的功能故障或安全事故。因此，亟需一种对无人驾驶车辆上摄像头的安装角度进行高效地有效性检查的技术方案。
发明内容
本发明实施例提供一种摄像头标定处理方法、装置、车辆控制设备及存储介质，用以解决现有无人驾驶车辆因摄像头的角度偏移量超出容忍范围，严重影响无人驾驶系统的感知准确性，导致严重的功能故障或安全事故的问题。
本发明实施例的一个方面是提供一种摄像头标定处理方法，包括：
在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点；
根据所述至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，计算所述摄像头的当前安装角度；
判断所述摄像头的安装角度误差是否在预设误差范围内；
若所述摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施。
本发明实施例的另一个方面是提供一种摄像头标定处理装置，包括：
数据获取模块，用于在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点；
标定计算模块，用于根据所述至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，计算所述摄像头的当前安装角度；
标定处理模块，用于：
判断所述摄像头的安装角度误差是否在预设误差范围内；
若所述摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施。
本发明实施例的另一个方面是提供一种车辆控制设备，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现上述所述的摄像头标定处理方法。
本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，
所述计算机程序被处理器执行时实现上述所述的摄像头标定处理方法。
本发明实施例提供的摄像头标定处理方法、装置、车辆控制设备及存储介质，通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点；根据所述至少一对图像数据，以及每个所述图像数据的采集时刻的车辆位置，计算所述摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过判断摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
附图说明
图1为本发明实施例一提供的摄像头标定处理方法流程图；
图2为本发明实施例二提供的摄像头标定处理方法流程图；
图3为本发明实施例三提供的摄像头标定处理装置的结构示意图；
图4为本发明实施例五提供的车辆控制设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明实施例构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
本发明实施例所涉及的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图1为本发明实施例一提供的摄像头标定处理方法流程图。本发明实施例针对现有无人驾驶车辆因摄像头的角度偏移量超出容忍范围，严重影响无人驾驶系统的感知准确性，导致严重的功能故障或安全事故的问题，提供了摄像头标定处理方法。
本实施例中的方法应用于无人驾驶车辆的控制设备，该控制设备可以是无人驾驶车辆的车载终端等，在其他实施例中，该方法还可应用于其他设备，本实施例以车载终端为例进行示意性说明。
如图1所示，该方法具体步骤如下：
步骤S101、在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点。
车载终端控制车辆在预设速度范围内直线行驶，并在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置。其中，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点。
在车辆行驶过程中，如果车辆的行驶速度太快，摄像头拍摄的图像本身的质量较差，存在较高误差；如果车辆的行驶速度太慢，那么在一个较短时段内摄像头拍摄的图像的差异太小，不利于摄像头安装角度的计算。因此，可以限定车辆的行驶速度在预设速度范围内，预设速度范围用于限定车辆的一个较慢的速度，可以是5-15km/h等等，预设速度范围可以由技术人员根据实际场景和经验进行设定，本实施例此处不做具体限定。
具体的，在车辆直线行驶过程中，车载终端实时地获取摄像头采集的原始数据，以及定位装置采集的车辆定位数据。在获取到摄像头采集的原始数据和定位装置采集的车辆定位数据之后，车载终端可以对摄像头采集的原始数据进行抽样，得到至少一对图像数据；并根据每个图像数据的采集时刻(例如，图像数据的时间戳)，以及车辆定位数据，确定每个图像数据的采集时刻的车辆位置。
由于车辆沿直线行驶，不同采集时刻对应的车辆位置不同。对应任意一对图像数据，只要两张图像数据的采集时刻不同，那么两张图像数据的采集时刻的摄像头的位置不同，也就是这两种图像数据是摄像头在两个不同位置拍摄的图像数据。
另外，为了使得每对图像数据包括共同的静态特征点，在抽样得到每对图像数据时，可以控制抽样频率，使得每对图像数据的抽样时刻之间的时间间隔小于预设时间阈值，也就是每对图像数据的采集时刻之间的时间间隔小于预设时间阈值。
其中，预设时间间隔可以由技术人员根据实际场景，车辆速度和经验值进行设定，以使车辆行驶过程中，摄像头在间隔预设时间间隔拍摄的两张图像数据具有重叠区域，也即是摄像头在间隔预设时间间隔拍摄的两张图像数据具有共同的静态特征点。本实施例对于预设时间间隔不做具体限定。
步骤S102、根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度。
在获取到摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置之后，根据每对图像数据及其采集时刻的车辆位置，都可以计算得到摄像头的安装角度，从而可以得到摄像头的至少一个安装角度，综合至少一个安装角度可以得到摄像头的一个置信度较高的安装角度。
另外，本实施例中，摄像头的安装角度可以包括摄像头的横摆角、俯仰角、横滚角中的一个或者多个，或者摄像头的安装角度可以是相对于车辆的相对角度，本实施例此处不做具体限定。
步骤S103、判断当前安装角度的误差是否在预设误差范围内。
在得到摄像头的安装角度误差之后，判断当前安装角度的误差是否在预设误差范围内。
若当前安装角度的误差在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差不大，在可接受的范围内，不会对无人驾驶车辆的感知准确性造成很大的影响，可以不做处理。
若当前安装角度的误差不在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差较大，已经超出了可接受的范围，会对无人驾驶车辆的感知准确性造成很大的影响，执行步骤S205，采取预设处理措施。
其中，预设误差范围可以由技术人员根据实际应用场景和经验进行设定或者调整，本实施例此处不做具体限定。
步骤S104、若当前安装角度的误差不在预设误差范围内，则采取预设处理措施。
若当前安装角度的误差不在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差较大，已经超出了可接受的范围，会对无人驾驶车辆的感知准确性造成很大的影响。该步骤中，车载终端采取预设处理措施，以避免因摄像头的角度偏移量超出容忍范围导致的无人驾驶车辆严重的功能故障和安全事故。
另外，预设的处理措施可以由技术人员根据实际应用场景和经验进行设定，本实施例此处不做具体限定。
本实施例中，无人驾驶车辆可以为投入运营的车辆，通常任何一个运营场地均有大量的静态障碍物，在需要对摄像头的安装角度是否有大角度偏差进行检测时，车载终端控制无人驾驶车辆以预设范围内的速度直行行驶一段距离，根据在此过程中摄像头采集的图像数据和定位装置的车辆定位数据，即可计算得到摄像头的安装角度，通过将得到的安装角度与标定安装角度做简单比较，就可以确定摄像头的安装角度是否在误差范围内，来确定摄像头的安装的有效性。
本发明实施例通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点；根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过将得到的安装角度与标定安装角度做简单比较，确定摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
实施例二
图2为本发明实施例二提供的摄像头标定处理方法流程图。在上述实施例一的基础上，本实施例中，如图2所示，该方法具体步骤如下：
步骤S201、在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点。
本实施例中，在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，具体可以采用如下方式实现：
在车辆直线行驶过程中，获取摄像头采集的原始数据；按照预设抽样频率对原始数据抽样，得到至少一对图像数据，每对图像数据包括两个不同的抽样时刻抽样得到的图像数据，每对图像数据包括共同的静态特征点。
可选的，按照预设抽样频率对原始数据抽样得到至少一对图像数据，一种可行的实施方式为：
按照预设抽样频率对原始数据抽样，得到2N个图像数据，将2N个图像数据分为N对，得到N对图像数据，每对图像数据包括两个相邻抽样时刻抽样得到的图像数据，每对图像数据包括共同的静态特征点。
其中，2N个图像数据的采集时刻的先后顺序与抽样时刻的先后顺序一致。由于采集时刻之间的时间间隔越短，则两个图像数据之间共同的静态特征点越多，因此，将两个相邻抽样时刻抽样得到的图像数据作为一对图像数据，可以使得每对图像数据具有较多共同的静态特征点。
例如，按照抽样频率，依次从原始数据中抽样出100个图像数据：P1，P2，…，P100，这100个图像数据的时间戳的先后顺序与抽样顺序一致。将这100个图像数据分为50对：P1和P2，P3和P4，…，P99和P100，得到了50对图像数据。
另外，为了使得每对图像数据包括共同的静态特征点，在抽样得到每对图像数据时，可以控制抽样频率，使得每对图像数据的抽样时刻之间的时间间隔小于预设时间阈值，也就是每对图像数据的采集时刻之间的时间间隔小于预设时间阈值。
可选的，按照预设抽样频率对原始数据抽样得到至少一对图像数据，一种可行的实施方式为：
对原始数据重复进行N次以下抽样处理，得到N对图像数据，N为正整数：从原始数据中抽样出的一对图像数据，该对图像数据的采集时刻之的时间间隔小于预设时间阈值，以使每对图像数据包括共同的静态特征点。
其中，抽样频率和预设时间阈值可以由技术人员根据实际场景，车辆速度和经验值进行设定，以使车辆行驶过程中，摄像头在间隔预设时间阈值拍摄的两张图像数据具有重叠区域，也即是摄像头在间隔预设时间阈值拍摄的两张图像数据具有共同的静态特征点。本实施例对于预设时间阈值不做具体限定。
本实施例中，在车辆直线行驶过程中，获取每个图像数据的采集时刻的车辆位置，具体可以采用如下方式实现：
在车辆直线行驶过程中，获取定位装置实时采集的车辆定位数据；根据每个图像数据的采集时刻，以及定位装置实时采集的车辆定位数据，确定在每个图像数据的采集时刻的车辆位置。
在车辆行驶过程中，如果车辆的行驶速度太快，摄像头拍摄的图像本身的质量较差，存在较高误差；如果车辆的行驶速度太慢，那么在一个较短时段内摄像头拍摄的图像的差异太小，不利于摄像头安装角度的计算。因此，可以限定车辆的行驶速度在预设速度范围内，预设速度范围用于限定车辆的一个较慢的速度，可以是5-15km/h等等，预设速度范围可以由技术人员根据实际场景和经验进行设定，本实施例此处不做具体限定。
由于车辆沿直线行驶，不同采集时刻对应的车辆位置不同。对应任意一对图像数据，只要两张图像数据的采集时刻不同，那么两张图像数据的采集时刻的摄像头的位置不同，也就是这两种图像数据是摄像头在两个不同位置拍摄的图像数据。
可选的，车载终端还用于在接收到摄像头的标定处理指令时，控制摄像头所在车辆以预设速度范围内的速度直线行驶。
步骤S202、根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度。
在获取到摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置之后，根据每对图像数据及其采集时刻的车辆位置，都可以计算得到摄像头的安装角度，从而可以得到摄像头的至少一个安装角度，综合至少一个安装角度可以得到摄像头的一个置信度较高的安装角度。
其中，图像数据对的数量越多，计算摄像头的当前安装角度的置信度越高。
具体的，该步骤具体可以采用如下方式实现：
分别根据每对图像数据及其采集时刻的车辆位置，计算摄像头的安装角度，得到摄像头的至少一个安装角度；计算至少一个安装角度的均值，得到摄像头的当前安装角度。
本实施例中，每对图像数据为摄像头在两个不同位置拍摄的、具有共同的静态特征点的两个图像，由于车辆沿直线行驶，因此摄像头在拍摄这两个图像时的光轴相互平行，且摄像头的内参完全一致；根据每对图像数据及其采集时刻的车辆位置，采用现有类似的摄像头外参的标定方法，能够标定出摄像头的外参，根据摄像头的外参可以计算得到摄像头相对于车辆的安装角度。
另外，根据每对图像数据及其采集时刻的车辆位置，计算摄像头的安装角度，得到摄像头的至少一个安装角度，可以采用其他方法实现，本实施例此处不做具体限定。
本实施例中，无人驾驶车辆可以为投入运营的车辆，通常任何一个运营场地均有大量的静态障碍物，在需要对摄像头的安装角度是否有大角度偏差进行检测时，车载终端控制无人驾驶车辆以预设范围内的速度直行行驶一段距离，根据在此过程中摄像头采集的图像数据和定位装置的车辆定位数据，即可计算得到摄像头的安装角度，后续通过将得到的安装角度与出厂标定安装角度做简单比较，就可以确定摄像头的安装角度是否在误差范围内，来确定摄像头的安装的有效性。
步骤S203、根据摄像头的标定安装角度，计算摄像头的安装角度误差。
在计算得到摄像头的当前安装角度之后，根据摄像头的标定安装角度，计算出摄像头当前的安装角度的误差，得到摄像头的安装角度误差。
可选的，摄像头的安装角度误差可以是计算得到摄像头的当前安装角度与标定安装角度的差值；或者，摄像头的安装角度误差还可以是，采用预设误差算法，根据计算得到摄像头的当前安装角度和标定安装角度，计算得到的误差；预设误差算法可以由技术人员根据实际场景和经验进行设定，本实施例此处不做具体限定。
步骤S204、判断当前安装角度的误差是否在预设误差范围内。
在得到摄像头的安装角度误差之后，判断当前安装角度的误差是否在预设误差范围内。
若当前安装角度的误差在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差不大，在可接受的范围内，不会对无人驾驶车辆的感知准确性造成很大的影响，可以不做处理。
若当前安装角度的误差不在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差较大，已经超出了可接受的范围，会对无人驾驶车辆的感知准确性造成很大的影响，执行步骤S205，采取预设处理措施。
其中，预设误差范围可以由技术人员根据实际应用场景和经验进行设定或者调整，本实施例此处不做具体限定。
步骤S205、若当前安装角度的误差不在预设误差范围内，则采取预设处理措施。
若当前安装角度的误差不在预设误差范围内，则说明摄像头当前安装角度与标定安装角度的偏差较大，已经超出了可接受的范围，会对无人驾驶车辆的感知准确性造成很大的影响。该步骤中，车载终端采取预设处理措施，以避免因摄像头的角度偏移量超出容忍范围导致的无人驾驶车辆严重的功能故障和安全事故。
另外，预设的处理措施可以由技术人员根据实际应用场景和经验进行设定，本实施例此处不做具体限定。
可选的，若当前安装角度的误差不在预设误差范围内，车载终端可以控制车辆向指定用户终端设备、或者远程控制中发出警示信息，以提示相关人员对该车辆的摄像头进行重新标定。
可选的，若当前安装角度的误差不在预设误差范围内，车载终端还可以则控制车辆自动对摄像头的安装角度或外参进行重新标定。
本发明实施例通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点；根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过将得到的安装角度与标定安装角度做简单比较，确定摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
实施例三
图3为本发明实施例三提供的摄像头标定处理装置的结构示意图。本发明实施例提供的摄像头标定处理装置可以执行摄像头标定处理方法实施例提供的处理流程。如图3所示，该摄像头标定处理装置30包括：数据获取模块301，标定计算模块302和标定处理模块303。
具体地，数据获取模块301，用于在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点。
标定计算模块302，用于根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度。
标定处理模块303，用于根据摄像头的标定安装角度，计算摄像头的安装角度误差；判断摄像头的安装角度误差是否在预设误差范围内；若摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施。
本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点；根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过将得到的安装角度与标定安装角度做简单比较，确定摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
实施例四
在上述实施例三的基础上，本实施例中，标定处理模块还用于：
若摄像头的安装角度误差不在预设误差范围内，则控制车辆发出警示信息。
可选的，数据获取模块还用于：
在车辆直线行驶过程中，获取摄像头采集的原始数据；按照预设抽样频率对原始数据抽样，得到至少一对图像数据，每对图像数据包括两个不同的抽样时刻抽样得到的图像数据，每对图像数据包括共同的静态特征点。
可选的，数据获取模块还用于：
按照预设抽样频率对原始数据抽样，得到2N个图像数据，其中N为正整数；将2N个图像数据分为N对，得到N对图像数据，每对图像数据包括两个相邻抽样时刻抽样得到的图像数据，每对图像数据包括共同的静态特征点。
可选的，数据获取模块还用于：
对原始数据重复进行N次以下抽样处理，得到N对图像数据，N为正整数：从原始数据中抽样出的一对图像数据，该对图像数据的采集时刻之的时间间隔小于预设时间阈值，以使每对图像数据包括共同的静态特征点。
可选的，数据获取模块还用于：
在车辆直线行驶过程中，获取定位装置实时采集的车辆定位数据；根据每个图像数据的采集时刻，以及定位装置实时采集的车辆定位数据，确定在每个图像数据的采集时刻的车辆位置。
可选的，标定计算模块还用于：
分别根据每对图像数据及其采集时刻的车辆位置，计算摄像头的安装角度，得到摄像头的至少一个安装角度；计算至少一个安装角度的均值，得到摄像头的当前安装角度。
本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。
本发明实施例通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点；根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过将得到的安装角度与标定安装角度做简单比较，确定摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
实施例五
图4为本发明实施例五提供的车辆控制设备的结构示意图。如图4所示，该车辆控制设备50包括：处理器501，存储器502，以及存储在存储器502上并可由处理器501执行的计算机程序。
处理器501在执行存储在存储器502上的计算机程序时实现上述任一方法实施例提供的摄像头标定处理方法。
本发明实施例通过在车辆直线行驶过程中，获取摄像头采集的至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，每对图像数据包括摄像头在两个不同位置拍摄的图像数据，每对图像数据包括共同的静态特征点；根据至少一对图像数据，以及每个图像数据的采集时刻的车辆位置，计算摄像头的当前安装角度，通过对运营的无人驾驶车辆实时地进行摄像头的标定处理，来实时地检测摄像头的安装角度，进一步通过将得到的安装角度与标定安装角度做简单比较，确定摄像头的安装角度是否在误差范围内，来及时地检验摄像头的安装的有效性，能够提高无人驾驶车辆的安全性。
另外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例提供的摄像头标定处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种摄像头标定处理方法，其特征在于，包括：
在车辆直线行驶过程中，获取摄像头采集的多对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点，所述静态特征点为两张图像数据中的重叠区域的特征点；
根据所述多对图像数据，以及每个所述图像数据的采集时刻的车辆位置，采用摄像头外参标定法计算所述摄像头的当前安装角度；
判断所述摄像头的安装角度误差是否在预设误差范围内；
若所述摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施。
2.根据权利要求1所述的方法，其特征在于，所述若所述摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施，包括：
若所述摄像头的安装角度误差不在预设误差范围内，则控制车辆发出警示信息。
3.根据权利要求1所述的方法，其特征在于，在车辆直线行驶过程中，获取摄像头采集的多对图像数据，包括：
在车辆直线行驶过程中，获取所述摄像头采集的原始数据；
按照预设抽样频率对所述原始数据抽样，得到所述多对图像数据，每对所述图像数据包括两个不同的抽样时刻抽样得到的图像数据，每对所述图像数据包括共同的静态特征点。
4.根据权利要求3所述的方法，其特征在于，所述按照预设抽样频率对所述原始数据抽样，得到所述多对图像数据，包括：
按照预设抽样频率对所述原始数据抽样，得到2N个图像数据，其中N为正整数；
将所述2N个图像数据分为N对，得到N对图像数据，每对图像数据包括两个相邻抽样时刻抽样得到的图像数据，每对图像数据包括共同的静态特征点。
5.根据权利要求3所述的方法，其特征在于，所述按照预设抽样频率对所述原始数据抽样，得到所述多对图像数据，包括：
对所述原始数据重复进行N次抽样处理，得到N对图像数据，N为正整数，所述处理方式为：从所述原始数据中抽样出的一对图像数据，该对图像数据的采集时刻之间的时间间隔小于预设时间阈值，以使每对图像数据包括共同的静态特征点。
6.根据权利要求1所述的方法，其特征在于，在车辆直线行驶过程中，获取每个所述图像数据的采集时刻的车辆位置，包括：
在车辆直线行驶过程中，获取定位装置实时采集的车辆定位数据；
根据每个所述图像数据的采集时刻，以及所述定位装置实时采集的车辆定位数据，确定在每个所述图像数据的采集时刻的车辆位置。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述多对图像数据，以及每个所述图像数据的采集时刻的车辆位置，计算所述摄像头的当前安装角度，包括：
分别根据每对所述图像数据及其采集时刻的车辆位置，计算摄像头的安装角度，得到摄像头的多个安装角度；
计算所述多个安装角度的均值，得到所述摄像头的当前安装角度。
8.一种摄像头标定处理装置，其特征在于，包括：
数据获取模块，用于在车辆直线行驶过程中，获取摄像头采集的多对图像数据，以及每个所述图像数据的采集时刻的车辆位置，每对所述图像数据包括所述摄像头在两个不同位置拍摄的图像数据，每对所述图像数据包括共同的静态特征点，所述静态特征点为两张图像数据中的重叠区域的特征点；
标定计算模块，用于根据所述多对图像数据，以及每个所述图像数据的采集时刻的车辆位置，采用摄像头外参标定法计算所述摄像头的当前安装角度；
标定处理模块，用于：
判断所述摄像头的安装角度误差是否在预设误差范围内；
若所述摄像头的安装角度误差不在预设误差范围内，则采取预设处理措施。
9.根据权利要求8所述的装置，其特征在于，所述数据获取模块还用于：
在车辆直线行驶过程中，获取所述摄像头采集的原始数据；
按照预设抽样频率对所述原始数据抽样，得到所述多对图像数据，每对所述图像数据包括两个不同的抽样时刻抽样得到的图像数据，每对所述图像数据包括共同的静态特征点。
10.根据权利要求8所述的装置，其特征在于，所述数据获取模块还用于：
在车辆直线行驶过程中，获取定位装置实时采集的车辆定位数据；
根据每个所述图像数据的采集时刻，以及所述定位装置实时采集的车辆定位数据，确定在每个所述图像数据的采集时刻的车辆位置。
11.根据权利要求8-10任一项所述的装置，其特征在于，所述标定计算模块还用于：
分别根据每对所述图像数据及其采集时刻的车辆位置，计算摄像头的安装角度，得到摄像头的多个安装角度；
计算所述多个安装角度的均值，得到所述摄像头的当前安装角度。
12.一种车辆控制设备，其特征在于，包括：
存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，
所述处理器运行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，存储有计算机程序，
所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN201811543203.XA 2018-12-17 2018-12-17 摄像头标定处理方法、装置、车辆控制设备及存储介质 Active CN109712196B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811543203.XA CN109712196B (zh) 2018-12-17 2018-12-17 摄像头标定处理方法、装置、车辆控制设备及存储介质
US16/716,353 US11151392B2 (en) 2018-12-17 2019-12-16 Method and apparatus for camera calibration processing, device for vehicle control and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811543203.XA CN109712196B (zh) 2018-12-17 2018-12-17 摄像头标定处理方法、装置、车辆控制设备及存储介质

Publications (2)

Publication Number Publication Date
CN109712196A CN109712196A (zh) 2019-05-03
CN109712196B true CN109712196B (zh) 2021-03-30

Family

ID=66256783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811543203.XA Active CN109712196B (zh) 2018-12-17 2018-12-17 摄像头标定处理方法、装置、车辆控制设备及存储介质

Country Status (2)

Country Link
US (1) US11151392B2 (zh)
CN (1) CN109712196B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264520B (zh) * 2019-06-14 2021-06-08 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN112132902B (zh) * 2019-06-24 2024-01-16 上海安亭地平线智能交通技术有限公司 车载摄像头外参调整方法、装置、电子设备以及介质
CN112414400B (zh) * 2019-08-21 2022-07-22 浙江商汤科技开发有限公司 一种信息处理方法、装置、电子设备和存储介质
CN110706282B (zh) * 2019-10-31 2020-09-15 镁佳(北京)科技有限公司 全景系统自动标定方法、装置、可读存储介质及电子设备
CN112835029A (zh) * 2019-11-07 2021-05-25 上海海拉电子有限公司 面向无人驾驶的多传感器障碍物探测数据融合方法及系统
CN113218361B (zh) * 2020-01-21 2023-02-17 上海汽车集团股份有限公司 摄像机测距方法及装置
CN111953936A (zh) * 2020-07-21 2020-11-17 福建升腾资讯有限公司 一种用于自助服务设备的可调摄像头系统及方法
CN115214694B (zh) * 2021-09-13 2023-09-08 广州汽车集团股份有限公司 摄像头标定触发控制方法、车载控制器和智能驾驶系统
CN115018935B (zh) * 2022-08-09 2022-10-18 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103148832A (zh) * 2013-01-30 2013-06-12 天津市亚安科技股份有限公司 摄像机安装倾角的检测方法
CN103646403A (zh) * 2013-12-26 2014-03-19 北京经纬恒润科技有限公司 一种车载多摄像头标定方法、系统及图像处理装置
CN106651963A (zh) * 2016-12-29 2017-05-10 清华大学苏州汽车研究院（吴江） 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
CN107481292A (zh) * 2017-09-05 2017-12-15 百度在线网络技术（北京）有限公司 车载摄像头的姿态误差估计方法和装置
CN107728646A (zh) * 2017-09-05 2018-02-23 百度在线网络技术（北京）有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统
CN107878325A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定泊车系统重新标定时机的方法、装置及自动标定系统
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
EP3122034B1 (en) * 2012-03-29 2020-03-18 Axis AB Method for calibrating a camera
JP6195444B2 (ja) * 2013-01-18 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ ソース機器、通信システム、ソース機器の制御方法およびシンク機器の制御方法
KR102227850B1 (ko) * 2014-10-29 2021-03-15 현대모비스 주식회사 차량용 후방 카메라의 영상 보정 방법
US10373338B2 (en) * 2015-05-27 2019-08-06 Kyocera Corporation Calculation device, camera device, vehicle, and calibration method
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량
CN105511616B (zh) * 2015-12-07 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
WO2019127408A1 (zh) * 2017-12-29 2019-07-04 深圳市锐明技术股份有限公司 一种adas摄像头的标定方法、装置、存储介质及终端设备
CN108876857B (zh) * 2018-07-02 2020-09-29 上海西井信息科技有限公司 无人驾驶车辆的定位方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103148832A (zh) * 2013-01-30 2013-06-12 天津市亚安科技股份有限公司 摄像机安装倾角的检测方法
CN103646403A (zh) * 2013-12-26 2014-03-19 北京经纬恒润科技有限公司 一种车载多摄像头标定方法、系统及图像处理装置
CN107878325A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定泊车系统重新标定时机的方法、装置及自动标定系统
CN106651963A (zh) * 2016-12-29 2017-05-10 清华大学苏州汽车研究院（吴江） 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
CN107481292A (zh) * 2017-09-05 2017-12-15 百度在线网络技术（北京）有限公司 车载摄像头的姿态误差估计方法和装置
CN107728646A (zh) * 2017-09-05 2018-02-23 百度在线网络技术（北京）有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109712196A (zh) 2019-05-03
US11151392B2 (en) 2021-10-19
US20200193171A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
CN109712196B (zh) 摄像头标定处理方法、装置、车辆控制设备及存储介质
CN109781163B (zh) 标定参数有效性检验方法、装置、设备及存储介质
CN108513674B (zh) 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN110490172B (zh) 信息融合泊车的停车位位置补偿方法、系统、装置、介质
EP3040254B1 (en) Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system
CN110632582B (zh) 声源定位方法、装置及存储介质
CN108292469B (zh) 位置信息确定方法、装置以及计算机存储介质
CN102980517A (zh) 一种监控测量方法
EP2985624A1 (de) Verfahren und Vorrichtungen zum Bestimmen der Orientierung einer beweglichen Kommunikationseinrichtung
CN111612378A (zh) 潜在碰撞风险预测方法、装置及计算机设备
CN111553956A (zh) 拍摄装置的标定方法、装置、电子设备和存储介质
CN112330754A (zh) 双目视觉校正方法及装置、电子设备、存储介质
CN108603752B (zh) 终端的相机模组的偏角检测方法、抖动补偿方法及装置
KR20160128077A (ko) 차량 센서의 자동 보정 장치 및 그 방법
EP2936061B1 (de) Verfahren zum bestimmen von initialdaten für die bestimmung von lagedaten eines fahrzeuges
CN109116869B (zh) 一种绕点飞行控制方法及装置
WO2019015876A1 (de) Verfahren und vorrichtung zum bereitstellen von umgebungsinformationen
DE102018220793A1 (de) Erkennung von fehlerhaften Positionsbestimmungen
CN112652018B (zh) 外参确定方法、外参确定装置及电子设备
CN115235526A (zh) 用于传感器的自动校准的方法和系统
EP3348961A1 (en) In-vehicle stereo camera device and method for correcting same
CN115371719B (zh) 探测设备的参数标定方法和装置、存储介质及电子装置
CN109791037B (zh) 位置信息确定方法、位置信息确定装置、以及，记忆媒体
CN107966701B (zh) 一种雷达倾角测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211018

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right