CN112653889A - 摄像头自标定的方法、装置、摄像设备及车辆 - Google Patents

摄像头自标定的方法、装置、摄像设备及车辆 Download PDF

Info

Publication number
CN112653889A
CN112653889A CN202011539693.3A CN202011539693A CN112653889A CN 112653889 A CN112653889 A CN 112653889A CN 202011539693 A CN202011539693 A CN 202011539693A CN 112653889 A CN112653889 A CN 112653889A
Authority
CN
China
Prior art keywords
camera
external parameters
offset
semaphore
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011539693.3A
Other languages
English (en)
Inventor
伍昀
陈凯
周晓颖
丁锐博
钱国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beiqi Foton Motor Co Ltd
Original Assignee
Beiqi Foton Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beiqi Foton Motor Co Ltd filed Critical Beiqi Foton Motor Co Ltd
Priority to CN202011539693.3A priority Critical patent/CN112653889A/zh
Publication of CN112653889A publication Critical patent/CN112653889A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种摄像头自标定的方法、装置、摄像设备及车辆。解决了现有摄像头自标定过程中因大量的计算导致的标定效率低，受环境影响导致的通用性低等问题。该方法包括：获取摄像头上的重力传感器输出的偏移信号量；根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。本公开无需对标定靶或车道线图像进行复杂运算，可广泛使用，简单快速的完成摄像头的自标定，标定精度高，成本低。

Description

摄像头自标定的方法、装置、摄像设备及车辆
技术领域
本公开涉及自动辅助驾驶技术领域，具体地，涉及一种摄像头自标定的方法、装置、摄像设备及车辆。
背景技术
随着智能汽车的发展，自动辅助驾驶技术也越来越被重视，其中，车载摄像头为自动辅助驾驶领域非常重要的一部分，而车载摄像头的标定在所获取的二维图像中恢复物体的三维信息至关重要，在摄像头的成像模型中的空间点与图像平面上的像点之间存在一一对应关系，而这个对应关系通常由摄像头的参数所决定，包括内参与外参，内参为摄像头的自身参数一般无需标定，而外参主要包括摄像头的俯仰角、旋转角和偏航角。
相关技术中对于摄像头外参的标定方法包括标定靶标定法和摄像头自标定法，标定靶标定法是在车辆处于静止环境下，摄像头捕捉并利用标定靶在图像平面的成像位置，计算出摄像头的内外参数，实现拍摄图片/视频的纠偏；摄像头自标定法是在车辆停放在左右车道线清晰的道路中央，利用车辆与车道平行线的距离与车道线交叉点(灭点)进行标定的方法。
发明内容
本公开的目的是提供一种摄像头自标定的方法、装置、摄像设备及车辆，解决了相关技术中对摄像头外参进行标定需要基于标定靶及附属设备以及车道线来实现。
为了实现上述目的，第一方面，本公开提供一种摄像头自标定的方法，应用于主控制器，所述方法包括：
获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
可选地，所述方法还包括：
在接收到的标定指令的情况下；
根据所述标定指令获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器。
可选的，所述方法还包括：
在所述主控制器的时间钟计时达到预设时长的情况下；
获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器。
可选的，所述偏移信号量包括所述摄像头在空间坐标系中xyz三个坐标轴的加速度值；
所述根据所述偏移信号量确定所述摄像头的外参，包括：
根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值；
根据弧角制对所述xyz三个坐标轴的弧度值进行换算，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向的夹角。
可选的，所述根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值，包括：
根据所述xyz三个坐标轴的加速度值，通过角度互余分别计算所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正弦弧度值；
根据所述xyz三个坐标轴的加速度值和所述xyz三个坐标轴与水平方向夹角的正弦弧度值，通过勾股定理分别计算所述摄像头在空间坐标系中xyz三个坐标轴与水平方向夹角的余弦弧度值；
根据所述xyz三个坐标轴与水平方向夹角的正弦弧度值和所述xyz三个坐标轴与水平方向夹角的余弦弧度值，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正切弧度值。
可选的，所述重力传感器集成在所述摄像头上。
第二方面，本公开提供一种摄像头自标定的装置，所述装置包括：
获取模块，被配置成获取摄像头上的重力传感器输出的偏移信号量；
处理模块，被配置成根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
执行模块，被配置成将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
第三方面，本公开提供一种摄像设备，所述设备包括摄像头、设置在所述摄像头上的重力传感器、主控制器以及图像处理器，其中，
所述视觉传感器用于感知摄像头获取图像，并将所述图像发送给所述图像处理器；
所述重力传感器用于获取摄像头的偏移信号量，并输出给所述主控制器；
所述主控制器用于接收所述重力传感器获取输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角，将所述外参发送给图像处理器；
所述图像处理器用于接收主控制器发送的摄像头的外参，所述外参用于所述图像处理器在获取所述和所述视觉传感器发送的摄像头拍摄的获取的图像时，根据所述外参对所述图像进行倾斜校正。
可选的，所述设备还包括区域网络控制器，所述区域网络控制器所述主控制器还用于向所述图像处理器主控制器发送标定指令，所述标定指令用于触发所述图像处理器根据所述外参对所述摄像头获取的图像信息进行倾斜校正主控制器接收所述重力传感器输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参。
第四方面，本公开提供一种车辆，所述车辆包括上述第三方面的摄像设备。
第五方面，本公开提供一种计算机可读存储介质，其存储有计算机程序指令，该程序指令被处理器执行时实现上述第一方面的所述摄像头自标定的方法的步骤。
通过上述技术方案，本公开通过在摄像头上的重力传感器获取摄像头在各方向上的加速度值，根据摄像头在各方向上的加速度值计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定。无需对标定靶或车道线图像进行复杂运算，可扩大摄像头外参标定的使用场景，简单快速的完成摄像头的自标定，提高了标定精度，降低了成本低。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种摄像头自标定的方法的流程图。
图2是根据一示例性实施例示出的步骤S120的流程图。
图3是根据一示例性实施例示出的步骤S1201的流程图。
图4是根据一示例性实施例示出的一种摄像头自标定的方法的外参示意图。
图5是根据一示例性实施例示出的一种摄像头自标定的装置的框图。
图6是根据一示例性实施例示出的一种摄像设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“S110”、“S120”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。
在介绍本公开提供的摄像头自标定的方法、装置、摄像设备及车辆之前，首先对本公开的应用场景进行介绍。本公开提供的摄像头自标定的方法可以应用于车辆，所述车辆包括摄像头。
有效地实现摄像头的自标定可以提高用户在驾驶过程中的体验感，相关技术中，通过标定靶标定法和摄像头自标定法实现摄像头外参的标定。
但发明人发现，标定靶标定法是在车辆处于静止环境下，摄像头捕捉并利用标定靶在图像平面的成像位置，计算出摄像头的内外参数，实现拍摄图片/视频的纠偏；但标定靶标定法只能用于车辆和摄像头相对静止的环境，需要在车辆生产线中或售后维修点设置专门的工位，以设置工装设备，如标定靶、标定靶的行走机构、车辆的对中装置(如摆正器)和标定设备等，且对地面的平整度和灯光的光照度也有一定的要求。
摄像头自标定法是在车辆停放在左右车道线清晰的道路中央，利用车辆与车道平行线的距离与车道线交叉点(灭点)进行标定的方法；该方法虽然无需标定靶工位，也没有复杂的工装设备，但只能用于特定道路进行标定，通用性较低。
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
为解决上述技术问题，本公开提供的一种摄像头自标定的方法。此处以该方法可以应用于车辆为例，图1是根据一示例性实施例示出的一种摄像头自标定的方法的流程图，如图1所示，包括以下步骤。
在步骤S110中，获取摄像头上的重力传感器输出的偏移信号量；
在步骤S120中，根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
在步骤S130中，将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
本公开提供的一种摄像头自标定的方法通过摄像头上的重力传感器获取摄像头在空间坐标系中三个轴的加速度值，根据加速度值计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定，不需要基于标定靶及附属设备以及无需车道线即可实现摄像头外参的自标定，提高了标定精确，扩大了摄像头自标定的应用场景，降低了生产成本。
可选的，重力传感器集成在摄像头上。
将重力传感器集成在摄像头上，使重力传感器与摄像头构成一个整体，可实时获取重力传感器输出的摄像头的偏移信号量。
可选的，如图2所示，在步骤S120中，根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角，可以包括：
在步骤S1201中，根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值；
在步骤S1202中，根据弧角制对所述xyz三个坐标轴的弧度值进行换算，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向的夹角。
可选的，如图3所示，在步骤S1201中，根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值，可以包括：
在步骤S12011中，根据所述xyz三个坐标轴的加速度值，通过角度互余分别计算所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正弦弧度值；
在步骤S12012中，根据所述xyz三个坐标轴的加速度值和所述xyz三个坐标轴与水平方向夹角的正弦弧度值，通过勾股定理分别计算所述摄像头在空间坐标系中xyz三个坐标轴与水平方向夹角的余弦弧度值；
在步骤S12013中，根据所述xyz三个坐标轴与水平方向夹角的正弦弧度值和所述xyz三个坐标轴与水平方向夹角的余弦弧度值，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正切弧度值。
举例说明，图4是根据一示例性实施例示出的一种摄像头自标定的方法的外参示意图，如图4所示；
X轴方向的加速度大小为Ax，其与水平线的夹角为α1，与重力加速度的夹角α；
Y轴方向的加速度为Ay，与水平线的加速度为β1，与重力加速度g的夹角为β；
Z轴方向的加速度为Az，与水平线的加速度为γ1，与重力加速度g的夹角为γ。
获取摄像头的在X、Y、Z个轴方向上的加速度分别为：Ax＝gcosα，Ay＝gcosβ，Az＝gcosγ；
根据角度互余关系：α＝90度-α1，β＝90度-β1，γ＝90度-γ1，得到：
Ax＝gcosα＝gcos(90度-α1)＝gsinα1；
Ay＝gcosβ＝gcos(90度-β1)＝gsinβ1；
Az＝gcosγ＝gcos(90度-γ1)＝gsinγ1；
则摄像头的X、Y、Z轴与水平线的夹角的正弦值分别为：sinα1＝Ax/g，sinβ1＝Ay/g，sinγ1＝Az/g。
如图4所示，根据三角形中勾股定理，确定X轴垂直虚线的大小为：g*g＝Ax*Ax+gcosα1*gcosα1；
则摄像头的X轴与水平线的夹角的余弦值：cosα1＝squr(g*g-Ax*Ax)/g；
同理得到，摄像头的Y轴与水平线的夹角的余弦值：cosβ1＝squr(g*g-Ay*Ay)/g；
摄像头的Z轴与水平线的夹角的余弦值：cosγ1＝squr(g*g-Az*Az)/g；
在立体几何中，重力加速度g相当于立方体的对角线，Ax、Ay、Az相当于三条边，所以根据勾股定理得知Ax*Ax+Ay*Ay+Az*Az＝g*g。
根据三角函数中的商数关系tanx＝sinx/cosx和Ax*Ax+Ay*Ay+Az*Az＝g*g；
得到摄像头的X轴与水平线的夹角的正切值：tanα1＝sinα1/cosα1＝(Ax/g)/[squr(g*g-Ax*Ax)/g]＝Ax/squr(g*g-Ax*Ax)＝Ax/qur(Ay*Ay+Az*Az)；
同理可得，摄像头的Y轴与水平线的夹角的正切值：tanβ1＝Ay/squr(Ax*Ax+Az*Az)；
摄像头的Z轴与水平线的夹角的正切值：tanγ1＝Az/squr(Ax*Ax+Ay*Ay)。
因为其中α1、β1、γ1分别是摄像头的X、Y、Z轴和水平线的弧度值(反三角函数计算的值是弧度)，Ax、Ay、Az是三个轴上的加速度值，所以对正切值进行反函数求解，即：
α1＝arctan(Ax/squr(Ay*Ay+Az*Az))；
β1＝arctan(Ay/squr(Ax*Ax+Az*Az))；
γ1＝arctan(Az/squr(Ax*Ax+Ay*Ay))；
然后根据弧度制将得到的弧度值转换为角度值，得到摄像头的X、Y、Z轴和水平线的夹角，即：
θx＝α1*180/π＝[arctan(Ax/squr(Ay*Ay+Az*Az))]*180/π；
θy＝β1*180/π＝[arctan(Ay/squr(Ax*Ax+Az*Az))]*180/π；
θz＝γ1*180/π＝[arctan(Az/squr(Ax*Ax+Ay*Ay))]*180/π；
θx、θy、θz为摄像头的偏航角、俯仰角和旋转角。
本实施例公开的摄像头自标定的方法仅通过摄像头的重力加速度便可计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定，既不需要标定靶及附属设备，也无需车道线即可实现摄像头外参的自标定，且标定精确高，适用性广，有效降低了对标定工装设备和道路的需求，提高了生产节拍，降低了生产成本。
可选的，所述方法还可以包括：
在接收到的标定指令的情况下；
根据所述标定指令获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器将所述标定指令发送给所述图像处理器，所述标定指令用于触发所述图像处理器根据所述外参对所述摄像头获取的图像信息进行倾斜校正。
举例说明，在车辆的区域网络控制器(Controller Area Network，CAN)向主控制器发送标定指令的情况下，主控制器接收车辆的CAN发送的标定指令，根据标定指令获取摄像头上的重力传感器输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参，将标定指令发送给图像处理器，图像处理器根据外参对摄像头获取的图像信息进行倾斜校正。
可选的，所述方法还可以包括：
在所述主控制器的时间钟计时达到预设时长的情况下；
获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器向所述图像处理器发送标定指令，所述标定指令用于触发所述图像处理器根据所述外参对所述摄像头获取的图像信息进行倾斜校正。
其中，预设时长可根据摄像头在车辆驾驶过程中实际情况进行预设，本公开对此不作具体限定。
举例说明，在主控制器中的时间钟计时达到预设时常的情况下，主控制器获取摄像头上的重力传感器输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参，将标定指令发送给图像处理器，图像处理器根据外参对摄像头获取的图像信息进行倾斜校正。
图5是根据一示例性实施例示出的一种摄像头自标定的装置的框图，该装置可以用在车辆上，在车辆驾驶过程中辅助自动驾驶。如图5所示，摄像头自标定的装置500包括：获取模块501、处理模块502，执行模块503；
获取模块501被配置成获取摄像头上的重力传感器输出的偏移信号量；
处理模块502被配置成根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
执行模块503被配置成将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
此外，在实施例中，其所涉及的部分并不一定是本公开所限定的，例如，获取模块和处理模块，在具体实施时可以是相互独立的装置也可以是同一个装置，本公开对此不作限定。
本实施例公开的摄像头自标定的装置通过摄像头上的重力传感器获取摄像头在空间坐标系中三个轴的加速度值，根据加速度值计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定，不需要基于标定靶及附属设备以及无需车道线即可实现摄像头外参的自标定，提高了标定精确，扩大了摄像头自标定的应用场景，降低了生产成本。
可选的，获取模块501被配置成获取集成在摄像头上的重力传感器输出的偏移信号量。
可选的，处理模块502被配置成根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值；
根据弧角制对所述xyz三个坐标轴的弧度值进行换算，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向的夹角。
可选的，处理模块502具体被配置成根据所述xyz三个坐标轴的加速度值，通过角度互余分别计算所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正弦弧度值；
根据所述xyz三个坐标轴的加速度值和所述xyz三个坐标轴与水平方向夹角的正弦弧度值，通过勾股定理分别计算所述摄像头在空间坐标系中xyz三个坐标轴与水平方向夹角的余弦弧度值；
根据所述xyz三个坐标轴与水平方向夹角的正弦弧度值和所述xyz三个坐标轴与水平方向夹角的余弦弧度值，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正切弧度值。
可选的，摄像头自标定的装置500在接收到的标定指令的情况下；获取模块501根据所述标定指令获取摄像头上的重力传感器输出的偏移信号量；处理模块502根据所述偏移信号量确定所述摄像头的外参，执行模块503将所述外参发送给图像处理器。
可选的，摄像头自标定的装置500还包括时间钟，在时间钟计时达到预设时长的情况下；获取模块501获取摄像头上的重力传感器输出的偏移信号量；处理模块502根据所述偏移信号量确定所述摄像头的外参，执行模块503将所述外参发送给图像处理器。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的摄像头自标定的方法的步骤。
具体的，该计算机可读存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器等等。
关于上述实施例中的计算机可读存储介质，其上存储的计算机程序被执行时的方法步骤已将在有关该方法的实施例中进行了详细描述，此处不做详细阐述。
图6是根据一示例性实施例示出的一种摄像设备的框图，该摄像设备可以用于车辆，该摄像设备包括：摄像头、设置在所述摄像头上的重力传感器、主控制器以及图像处理器，其中，
所述重力传感器用于获取摄像头的偏移信号量，并输出给所述主控制器；
所述主控制器用于接收所述重力传感器获取输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角，将所述外参发送给图像处理器；
所述图像处理器用于接收主控制器发送的摄像头的外参，所述外参用于所述图像处理器在获取所述摄像头拍摄的图像时，根据所述外参对所述图像进行倾斜校正。
举例说明，在车辆静止在水平路面上时，处于摄像头获取图像或视频，摄像头上的重力传感器(G Sensor)获取摄像头的在空间轴中X、Y、Z三个方向的加速度值，将加速度值输出给主控制器(MCU)，将图像或视频传输给图像处理器(SoC)，主控制器根据摄像头的在空间轴中X、Y、Z三个方向的加速度值计算出摄像头的偏航角、俯仰角和旋转角，并将摄像头的偏航角、俯仰角和旋转角通过核间通讯SPI传输到图像处理器，图像处理器根据摄像头的偏航角、俯仰角和旋转角对图像或视频进行倾斜校正。
本实施例公开的摄像设备通过摄像头上的重力传感器获取摄像头在空间坐标系中三个轴的加速度值，根据加速度值计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定，既不需要标定靶及附属设备，不需要基于标定靶及附属设备以及无需车道线即可实现摄像头外参的自标定，提高了标定精确，扩大了摄像头自标定的应用场景，降低了生产成本。
可选的，所述摄像头上设有视觉传感器，所述视觉传感器用于在所述摄像头拍摄图像时，将所述图像发送给所述图像处理器。
可选的，所述摄像设备还包括区域网络控制器，所述区域网络控制器用于向所述主控制器发送标定指令，所述标定指令用于触发所述主控制器接收所述重力传感器输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参。
可选的，重力传感器集成在摄像头上。
举例说明，在整车区域网络控制器(整车CAN)通过区域网络控制器(CAN)向主控制器发送标定指令的情况下，主控制器接收标定指令，根据标定指令获取摄像头上的重力传感器输出的偏移信号量；根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器；图像处理器根据摄像头的偏航角、俯仰角和旋转角对图像或视频进行倾斜校正。可通过整车区域网络控制器随时控制摄像设备进行摄像头自标定，方便、快捷且标定精度高，保证了在车辆驾驶或静止状态，都能实现摄像头外参的自标定。
在主控制器的时间钟计时达到预设时长的情况下；获取摄像头上的重力传感器输出的偏移信号量；根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器；图像处理器根据摄像头的偏航角、俯仰角和旋转角对图像或视频进行倾斜校正。根据预设时长触发摄像头外参的自标定，可以在车辆运行过程中不断优化摄像头的外参，提高了摄像头在车辆运行过程中对图像解析的准确率。
可选的，摄像设备还包括外围电路，所述外围电流与外部或者内部电源连接，为摄像设备提供电源。
其中，图像处理器包含存储器，存储器用于存储各种类型的数据以支持在该摄像设备的操作，这些数据例如可以包括用于在摄像设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如标定指令、图片、视频等等。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
其中，摄像设备中的图像处理器、主控制器、区域网络控制器等可进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G或5G，NB-IOT(Narrow Band Internet of Things，窄带物联网)，或者它们中一种或者多种的组合，因此相应的通信方式可以通过Wi-Fi模块，蓝牙模块，NFC模块等实现。
关于上述实施例中的设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的摄像头自标定的方法的代码部分。
本实施例提供一种车辆，该车辆包括上述的摄像设备，该车辆中的摄像设备通过摄像头上的重力传感器获取摄像头在空间坐标系中三个轴的加速度值，根据加速度值计算出摄像头的外参，在摄像头装配或工作过程中根据外参对摄像头获取的图像进行倾斜校正，完成摄像头的自标定，不需要基于标定靶及附属设备以及无需车道线即可实现摄像头外参的自标定，提高了标定精确，扩大了摄像头自标定的应用场景，降低了生产成本。
关于上述实施例车辆中的摄像设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种摄像头自标定的方法，应用于主控制器，其特征在于，所述方法包括：
获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收到的标定指令的情况下；
根据所述标定指令获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述主控制器的时间钟计时达到预设时长的情况下；
获取摄像头上的重力传感器输出的偏移信号量；
根据所述偏移信号量确定所述摄像头的外参，将所述外参发送给图像处理器。
4.根据权利要求1所述的方法，其特征在于，所述偏移信号量包括所述摄像头在空间坐标系中xyz三个坐标轴的加速度值；
所述根据所述偏移信号量确定所述摄像头的外参，包括：
根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值；
根据弧角制对所述xyz三个坐标轴的弧度值进行换算，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向的夹角。
5.根据权利要求4所述的方法，其特征在于，所述根据所述xyz三个坐标轴的加速度值，通过角度互余和勾股定理，得到所述摄像头在所述空间坐标系中xyz三个坐标轴的弧度值，包括：
根据所述xyz三个坐标轴的加速度值，通过角度互余分别计算所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正弦弧度值；
根据所述xyz三个坐标轴的加速度值和所述xyz三个坐标轴与水平方向夹角的正弦弧度值，通过勾股定理分别计算所述摄像头在空间坐标系中xyz三个坐标轴与水平方向夹角的余弦弧度值；
根据所述xyz三个坐标轴与水平方向夹角的正弦弧度值和所述xyz三个坐标轴与水平方向夹角的余弦弧度值，得到所述摄像头在所述空间坐标系中xyz三个坐标轴与水平方向夹角的正切弧度值。
6.根据权利要求1所述的方法，其特征在于，所述重力传感器集成在所述摄像头上。
7.一种摄像头自标定的装置，其特征在于，所述装置包括：
获取模块，被配置成获取摄像头上的重力传感器输出的偏移信号量；
处理模块，被配置成根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角；
执行模块，被配置成将所述外参发送给图像处理器，所述外参用于所述图像处理器根据所述外参对所述摄像头获取的图像进行倾斜校正。
8.一种摄像设备，其特征在于，所述设备包括摄像头、设置在所述摄像头上的重力传感器、主控制器以及图像处理器，其中，
所述重力传感器用于获取摄像头的偏移信号量，并输出给所述主控制器；
所述主控制器用于接收所述重力传感器获取输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参，所述外参包括摄像头的偏航角、俯仰角和旋转角，将所述外参发送给图像处理器；
所述图像处理器用于接收主控制器发送的摄像头的外参，所述外参用于所述图像处理器在获取所述摄像头拍摄的图像时，根据所述外参对所述图像进行倾斜校正。
9.根据权利要求8所述的设备，其特征在于，所述设备还包括区域网络控制器，所述区域网络控制器用于向所述主控制器发送标定指令，所述标定指令用于触发所述主控制器接收所述重力传感器获取输出的偏移信号量，根据所述偏移信号量确定所述摄像头的外参。
10.一种车辆，其特征在于，所述车辆包括权利要求8-9所述的摄像设备。
CN202011539693.3A 2020-12-23 2020-12-23 摄像头自标定的方法、装置、摄像设备及车辆 Withdrawn CN112653889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011539693.3A CN112653889A (zh) 2020-12-23 2020-12-23 摄像头自标定的方法、装置、摄像设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011539693.3A CN112653889A (zh) 2020-12-23 2020-12-23 摄像头自标定的方法、装置、摄像设备及车辆

Publications (1)

Publication Number Publication Date
CN112653889A true CN112653889A (zh) 2021-04-13

Family

ID=75359716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011539693.3A Withdrawn CN112653889A (zh) 2020-12-23 2020-12-23 摄像头自标定的方法、装置、摄像设备及车辆

Country Status (1)

Country Link
CN (1) CN112653889A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340266A (zh) * 2021-06-02 2021-09-03 江苏豪杰测绘科技有限公司 一种室内空间测绘系统及方法
CN113538594A (zh) * 2021-06-30 2021-10-22 东风汽车集团股份有限公司 基于方向传感器的车载摄像头标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287074A (ja) * 2009-06-12 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
CN106815868A (zh) * 2015-11-30 2017-06-09 深圳佑驾创新科技有限公司 摄像头实时标定方法、系统和装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109598764A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287074A (ja) * 2009-06-12 2010-12-24 Nippon Telegr & Teleph Corp <Ntt> カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
CN106815868A (zh) * 2015-11-30 2017-06-09 深圳佑驾创新科技有限公司 摄像头实时标定方法、系统和装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109598764A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
假如明天没有太阳: "三轴加速度传感器角度值转换原理", 《URL:HTTPS://BLOG.CSDN.NET/ZHAOYUAIWEIDE/ARTICLE/DETAILS/70756387》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340266A (zh) * 2021-06-02 2021-09-03 江苏豪杰测绘科技有限公司 一种室内空间测绘系统及方法
CN113538594A (zh) * 2021-06-30 2021-10-22 东风汽车集团股份有限公司 基于方向传感器的车载摄像头标定方法

Similar Documents

Publication Publication Date Title
CN110057352B (zh) 一种相机姿态角确定方法及装置
CN110264520B (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
KR20200125667A (ko) 차재 카메라 자기 교정 방법과 장치 및 차량 운전 방법과 장치
WO2017177542A1 (zh) 目标跟踪方法、装置和系统
CN110207714B (zh) 一种确定车辆位姿的方法、车载系统及车辆
JP4690476B2 (ja) 車載カメラの校正装置
US20190385322A1 (en) Three-dimensional shape identification method, aerial vehicle, program and recording medium
US20150254853A1 (en) Calibration method and calibration device
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
JP6988197B2 (ja) 制御装置、飛行体、および制御プログラム
JP2009288152A (ja) 車載カメラのキャリブレーション方法
CN112653889A (zh) 摄像头自标定的方法、装置、摄像设备及车辆
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
US11199614B1 (en) Lidar and image calibration for autonomous vehicles
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
JP2011155687A (ja) 車載カメラの校正装置
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112529968A (zh) 摄像设备标定方法、装置、电子设备及存储介质
CN115439531A (zh) 一种获取目标对象的目标空间位置信息的方法与设备
CN109725340B (zh) 直接地理定位方法及装置
WO2020237422A1 (zh) 航测方法、飞行器及存储介质
CN111429529B (zh) 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN113256728B (zh) Imu设备参数的标定方法及装置、存储介质、电子装置
CN113252066A (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置
KR20200027877A (ko) 차량용 카메라 캘리브레이션 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210413

WW01 Invention patent application withdrawn after publication