CN117376547A - 一种车载相机参数矫正方法及装置 - Google Patents

一种车载相机参数矫正方法及装置 Download PDF

Info

Publication number
CN117376547A
CN117376547A CN202311274727.4A CN202311274727A CN117376547A CN 117376547 A CN117376547 A CN 117376547A CN 202311274727 A CN202311274727 A CN 202311274727A CN 117376547 A CN117376547 A CN 117376547A
Authority
CN
China
Prior art keywords
vehicle
image
camera
load
mounted camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311274727.4A
Other languages
English (en)
Inventor
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zero Beam Technology Co ltd
Original Assignee
Zero Beam Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zero Beam Technology Co ltd filed Critical Zero Beam Technology Co ltd
Priority to CN202311274727.4A priority Critical patent/CN117376547A/zh
Publication of CN117376547A publication Critical patent/CN117376547A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车载相机参数矫正方法及装置，其方法包括：当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像；将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值；将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。本发明获取车辆承载前后的相机拍摄的第一图像与第二图像，根据第一图像与第二图像之间的识别结果输出获取车辆载重前后的车载相机外参数的变化值，然后基于该变化值对车厢相机的外参数进行矫正，从而提升感知模块的精度，进一步提升智驾方案的可靠性。

Description

一种车载相机参数矫正方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种车载相机参数矫正方法及装置。
背景技术
目前在自动驾驶领域，感知模块作为车机和现实世界交互的窗口，感知模块作用体现的尤为重要。感知领域的视觉感知部分作为最接近人类感知的方案被行业排在众多感知模块的第一位置。基于视觉感知提供的量产方案和预研方案不断推陈出新，也不断推动自动驾驶领域的迭代。
相机作为视觉感知最重要的硬件模块，其特性被不断挖掘发挥，进一步推动视觉方案的进步。为了更好的将世界中的图像反馈到计算机中，将平面化的资料通过相机位置进行3D化，进一步提升平面视觉到3D视觉转换，从而提升机器识别的精度。
相机位置对坐标系建模有着决定性作用，行业内部都希望通过各种方案进一步提升相机位置的定位，类似于离线标定，在线标定等方案。现有计算中的相机位置标定是在理想环境下进行的，计算过程没有考虑到实际的应用场景，比如：车上有司机，后排上人，不同车型减震上下幅度不一致等情况会导致的相机位置产生偏差，从而导致感知精度的下降。即车辆空载和非空载状态下相机的位置相对于地面、其他车辆的坐标系会发生改变。
发明内容
针对上述技术问题，本发明提供了一种车载相机参数矫正方法及装置，可对车辆载重导致的相机外参偏移进行修正。
本发明的第一方面，提供一种车载相机参数矫正方法，包括：
当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像；
将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值；
将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
在一可选实施方式中，车辆载重变化包括以下场景：
车辆上电时，或车辆开门时，或车辆关门时，或胎压变化时，或座椅占用状态变化时，或安全带使用状态变化时。
在一可选实施方式中，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
分别对所述第一图像与所述第二图像进行特征提取，获得第一图像的第一图像特征及所述第二图像的第二图像特征；
根据所述第一图像特征与所述第二图像特征计算所述第一图像与所述第二图像的相似度；
根据所述第一图像与所述第二图像的相似度确定获取车辆载重前后的车载相机外参数的变化值。
在一可选实施方式中，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
将所述第一图像与所述第二图像输入一浅层神经网络模型，获得第一图像的第一图像特征及所述第二图像的第二图像特征；
将所述第一图像特征及所述第二图像的第二图像特征输入卷积神经网络模型，获得基于后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
在一可选实施方式中，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
基于所述第一图像拟合出对应所述第一图像的第一车载相机坐标系；
基于所述第二图像拟合出对应所述第二图像的第二车载相机坐标系；
比较所述第一车载坐标系与所述第二车载坐标系获得车辆载重前后的车载相机外参数的变化值。
在一可选实施方式中，所述将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系，包括：
基于车载相机坐标的x，y，z方向的偏移角度更新车载相机的相机坐标系；
利用单应性变换矩阵基于更新后的车载相机的相机坐标系更新基于所述车载相机外参数更新世界坐标系。
在一可选实施方式中，当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像之前，还包括：
判断车辆周围环境是否满足获取所述第一图像、所述第二图像的条件；
若车辆周围环境不满足获取所述第一图像或所述第二图像则基于车载相机动态采集车辆周围的视频，直至根据所述车辆周围的视频判断车辆周围环境满足获取所述第一图像、所述第二图像的条件。
本发明的第二方面，提供一种车载相机参数矫正装置，包括：
动态获取模块，用于当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像；
识别获取模块，用于将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值；
更新模块，用于将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
本发明的第三方面，提供一种车辆，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本发明实施例的第一方面所述的方法。
本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明实施例的第一方面所述的方法。
本发明获取车辆承载前后的相机拍摄的第一图像与第二图像，根据第一图像与第二图像之间的识别结果输出获取车辆载重前后的车载相机外参数的变化值，然后基于该变化值对车厢相机的外参数进行矫正，从而提升感知模块的精度，进一步提升智驾方案的可靠性。
附图说明
图1为本发明实施例中一种车载相机参数矫正方法的流程示意图。
图2为本发明实施例中一种获取车辆载重前后的车载相机外参数的变化值的示意图。
图3为本发明实施例中另一种获取车辆载重前后的车载相机外参数的变化值的示意图。
图4为本发明实施例中车载相机参数矫正方法的应用场景的流程示意图。
图5为本发明实施例中一种车载相机参数矫正装置的模块示意图。
图6为根据本发明的一个实施例的车辆中电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。本披露的权利要求、说明书及附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
自动驾驶的视觉感知中，涉及世界坐标系、相机坐标系、图像坐标系、像素坐标系。其中世界坐标系为车辆自动驾驶的感知基础，而基于相机坐标系采集的视觉信息通过投影变换矩阵可以转换为世界坐标系下的视觉信息。因此，为提高视觉精度，相机坐标系的准确定调整尤为重要。考虑到车辆载重对相机的影响，本发明通过车辆载重前后相机坐标变化来矫正相机外参，从而可以优化自动驾驶的视觉精度。
请参阅图1，本发明提供的一种车载相机参数矫正方法，包括如下步骤：
步骤11：当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像。
具体的，可通过车辆的其他功能或传感器感知车辆是否载重变化。车辆视觉感知通常包括鸟瞰图，例如由四个鱼眼相机采集的图像拼接而成的鸟瞰图。因此所述第一图像、第二图像可以为两张鸟瞰图。当然在其他的实施例中，也可以采用其他图像类型，如车辆上的前视摄像头、后视摄像头等。
其中车辆载重变化之前的第一图像可以是车辆载重之前的任一视频图像的图像帧，当然该第一图像在时间维度上应与第二图像相临近，以便更好地识别两张图像。
在该步骤中的一些实施例中，可以通过以下至少一种判断车辆是否载重变化：
车辆上电时，或车辆开门时，或车辆关门时，或胎压变化时，或座椅占用状态变化时，或安全带使用状态变化时。
例如，在车辆开关或关门时，通常是有人上车或下车的，必然会引起车辆整体高度的变化；然而车辆开关或关门时并不必然是有人上车或下车的，有可能是开、关门无效动作。因此可以基于多个状态变化拍判断车辆是否载重。如车门开关后，结合座椅被占用、或安全带被使用、或胎压变化判断车辆是否载重。另外车辆上电时通常表示用户需要使用车辆，用户乘坐在车辆内会引起车辆载重变化。
步骤12：将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值。
在该步骤中，通过预设识别模型提取所述第一图像与所述第二图像的图像特征，该图像特征包含图像底层语义特征，因此可以基于所述第一图像与所述第二图像的图像特征完成识别，通过特征筛选、特征拟合的方式获得基于后轮中心的车载相机参数变化值。
在一些实施例中，可以通过识别所述第一图像、所述第二图像的相似度判断车载相机外参数是否变化，并基于上述第一图像与第二图像进行特征提取，拟合出相机位置变化的参数变化值。
在一些实施例中，可以通过所述第一图像、第二图像分别拟合出车辆载重前后的车载相机坐标，然后比较车辆载重前后的车载相机坐标之间的差异确定车载相机参数的变化值。
在本发明中，车载相机参数的变化值即基于后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
车载相机的外参由旋转矩阵R和平移向量T组成，旋转矩阵R可由3个控制参数推出(Rodrigues旋转公式)、平移矩阵T有3个参数，组合在一起RT形成外参矩阵，共6个参数。因此，可以获取这6个参数值来确定车载相机参数的变化值。
步骤13：将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
应理解的是，感知系统的输入为多种传感器数据和高精地图，对周边的Background（环境背景）信息进行输出。其中车载相机也是传感器的一种，对车载相机进行标定时，是将车载相机的坐标系转换到世界坐标系，通过真实的3D环境来计算车载相机与GPS/IMU（惯性传感单元）的相对位置关系，可以得到当前的焦距控制参数下的相机内参数的标定值。车载相机的内参与外参同样重要，坐标转换方式一致，因此当车载相机的外参改变时，将车载相机外参的参数的变化值反馈值感知系统，感知系统可更新世界坐标系中对应车载相机采集的图像或视频的信息，使得对车辆、行人、障碍物的识别更精确。
示例地，可基于车载相机坐标的x，y，z方向的偏移角度更新车载相机的相机坐标系。然后利用单应性变换矩阵基于更新后的车载相机的相机坐标系更新基于所述车载相机外参数更新世界坐标系。
具体可以通过以下公式实现坐标系的变换：
；
其中，(Xw，Yw，Zw)为世界坐标，xc、yc、zc为相机坐标；
为机外参矩阵，/>表示世界坐标至相机坐标的变换。
因此，在该步骤中，可以利用xc、yc、zc的参数值更新世界坐标系，进而更新基于世界坐标系进行的信息识别。
本发明获取车辆承载前后的相机拍摄的第一图像与第二图像，根据第一图像与第二图像之间的识别结果输出获取车辆载重前后的车载相机外参数的变化值，然后基于该变化值对车厢相机的外参数进行矫正，从而提升感知模块的精度，进一步提升智驾方案的可靠性。
进一步地，如图2所示，上述步骤12中，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
步骤121：分别对所述第一图像与所述第二图像进行特征提取，获得第一图像的第一图像特征及所述第二图像的第二图像特征。
步骤122：根据所述第一图像特征与所述第二图像特征计算所述第一图像与所述第二图像的相似度。
步骤123：根据所述第一图像与所述第二图像的相似度确定获取车辆载重前后的车载相机外参数的变化值。
具体的，使用图像识别模型对第一图像、第二图像进行特征提取，例如可以识别出的图像信息可以为行人、车辆、车道线、障碍物、交通标识牌等，利用特征表征识别信息。
在本实施例中，通过确定图像中的某一实物作为目标，通过该目标判断所述第一图像特征与所述第二图像特征的相似度。
示例地，将第一图像、第二图像分别构建坐标系，在坐标变换中分别引入矫正视差，利用校正函数计算公式计算满足预设条件下的矫正视差；然后利用矫正视差确定获取车辆载重前后的车载相机外参数的变化值。
在一些实施例中，还可以将所述第一图像、第二图像中识别到的目标的兴趣点作为矫正过程中的静态关键点，以便利用兴趣点的特征值在图像之间进行匹配定位。由于兴趣点具有的唯一性、旋转不变形等特点，可以通过像素点匹配的方式，可以将第一图像与第二图像中的兴趣点进行配对比较。
使用深度学习模型识别第一图像、第二图像中包含的图像信息，并进一步获取两张图像中的感兴趣区域，基于该感兴趣区域对应的实物确定兴趣点。所述兴趣点可以是行人、车辆、车道线、障碍物、交通标识牌等。
第一图像中确定的兴趣点为第一兴趣点，第二图像中确定的兴趣点为第二兴趣点；第一兴趣点与第二兴趣点应为同一实物的点。可以计算第一图像与第二图像的相似度，两张图像的相似度低于阈值，则两张图像不属于相同视角的图像，不应用以矫正相机外参，若高于阈值则可以进行矫正计算。
在一种实现方式中，将所述第一图像与所述第二图像输入一浅层神经网络模型，获得第一图像的第一图像特征及所述第二图像的第二图像特征。所述浅层神经网络可以识别出第一图像、第二图像的边界，第一图像特征、 第二图像特征包括边界的特征，基于边界的特征可以构建出第一图像、第二图像的图像坐标，从而建立图像坐标系。
然后将所述第一图像特征及所述第二图像的第二图像特征输入卷积神经网络模型，卷积神经网络模型（全卷积网络）可以识别出第一图像、第二图像中的感兴趣区域，从而可以获得上述第一兴趣点和第二兴趣点。
在已知两张图像的图像坐标系及第一兴趣点、第二兴趣点，可以得到第一兴趣点在第一图像的坐标系中的位置，第二兴趣点在第二图像的坐标系中的位置。若车辆未载重则第一兴趣点与第二兴趣点在坐标系中的位置应当相同。若车辆载重则第一兴趣点与第二兴趣点在坐标系中的位置由差异，产生偏移角。
基于此，利用预先构建的图像识别模型可以获得基于后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
在本发明的其他实施例中，如图3所示，上述步骤12中，
所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
步骤124：基于所述第一图像拟合出对应所述第一图像的第一车载相机坐标系；
步骤125：基于所述第二图像拟合出对应所述第二图像的第二车载相机坐标系；
步骤126：比较所述第一车载坐标系与所述第二车载坐标系获得车辆载重前后的车载相机外参数的变化值。
具体的，可以分别基于第一图像和第二图像拟合出相对应的车载相机的坐标系，可以基于卷积神经网络模型可以识别出第一图像、第二图像中的感兴趣区域，基于感兴趣区域可以获得第一图像的第一兴趣点和第二图像的第二兴趣点。然后可以得出第一兴趣点在第一车载相机坐标系中的坐标位置，第二兴趣点在第二车载相机坐标系中的坐标位置。车辆载重以后，通过第一兴趣点的坐标位置、第二兴趣点的坐标位置可以计算出第一兴趣点与第二兴趣点之间的偏移角。该偏移角可视为后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
最终可基于车载相机坐标的x，y，z方向的偏移角度更新车载相机的相机坐标系。然后利用单应性变换矩阵基于更新后的车载相机的相机坐标系更新基于所述车载相机外参数更新世界坐标系。
在本发明的其他实施例中，还应考虑车辆周围环境是否满足获取车辆载重变化前后的获取调节。因此在上述步骤11：当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像之前，还包括：
判断车辆周围环境是否满足获取所述第一图像、所述第二图像的条件；
若车辆周围环境不满足获取所述第一图像或所述第二图像则基于车载相机动态采集车辆周围的视频，直至根据所述车辆周围的视频判断车辆周围环境满足获取所述第一图像、所述第二图像的条件。
示例地，通过判断是否由运动物体经过可视区域（采集区域），通过识别第一图像、第二图像判断图像高频语义特征丰富且纹理是否明显。如果由运动物体经过可视区域则不满足获取条件，图像高频语义特征丰富且纹理不明显同样不满足获取条件。
如图4所示，车机开锁，开门前判断车周环境是否满足条件，如果满足进行数据采集，数据满足条件则输入神经网络进行网络特征提取，然后用以感知更新。如果车周环境不满足条件，用户上车后，关门后再次判断车轴环境是否满足条件，如果不满足采用前一次的感知数据；如果满足则再进行数据采集，数据满足条件则输入神经网络进行网络特征提取，然后用以感知更新。如果中途判断出上下车的用户情景，则按照开门前、用户上册、关门后的流程进行数据采集、判断、感知更新进行车载相机参数矫正。
如图5所示，本发明还提供一种车载相机参数矫正装置，包括：
动态获取模块51，用于当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像。
在一些实施例中，车辆载重变化包括以下场景：
车辆上电时，或车辆开门时，或车辆关门时，或胎压变化时，或座椅占用状态变化时，或安全带使用状态变化时。
识别获取模块52，用于将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值。
在一些实施例中，通过以下方式实现：
分别对所述第一图像与所述第二图像进行特征提取，获得第一图像的第一图像特征及所述第二图像的第二图像特征；根据所述第一图像特征与所述第二图像特征计算所述第一图像与所述第二图像的相似度；根据所述第一图像与所述第二图像的相似度确定获取车辆载重前后的车载相机外参数的变化值。
在另一些实施例中，通过以下方式实现：
将所述第一图像与所述第二图像输入一浅层神经网络模型，获得第一图像的第一图像特征及所述第二图像的第二图像特征；将所述第一图像特征及所述第二图像的第二图像特征输入卷积神经网络模型，获得第一兴趣点、第二兴趣点，得到第一兴趣点、第二兴趣点的坐标位置后获得基于后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
在另一些实施例中，通过以下方式实现：
基于所述第一图像拟合出对应所述第一图像的第一车载相机坐标系；基于所述第二图像拟合出对应所述第二图像的第二车载相机坐标系；比较兴趣点（前述第一兴趣点、第二兴趣点）所述第一车载坐标系与所述第二车载坐标系获得车辆载重前后的车载相机外参数的变化值。
更新模块53，用于将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
具体说明可以参考图1至图4所述实施例内容，在此不再赘述。
如图6所示，本发明还提供一种车辆，包括一电子设备，所述电子设备：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述车载相机参数矫正方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述车载相机参数矫正方法。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM ，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory)、随机存取存储器（RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，电子设备可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通信模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元（Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP)、专用集成电路（Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明地优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车载相机参数矫正方法，其特征在于，包括：
当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像；
将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值；
将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
2.根据权利要求1所述的车载相机参数矫正方法，其特征在于，车辆载重变化包括以下场景：
车辆上电时，或车辆开门时，或车辆关门时，或胎压变化时，或座椅占用状态变化时，或安全带使用状态变化时。
3.根据权利要求1所述的车载相机参数矫正方法，其特征在于，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
分别对所述第一图像与所述第二图像进行特征提取，获得第一图像的第一图像特征及所述第二图像的第二图像特征；
根据所述第一图像特征与所述第二图像特征计算所述第一图像与所述第二图像的相似度；
根据所述第一图像与所述第二图像的相似度确定获取车辆载重前后的车载相机外参数的变化值。
4.根据权利要求1或3所述的车载相机参数矫正方法，其特征在于，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
将所述第一图像与所述第二图像输入一浅层神经网络模型，获得第一图像的第一图像特征及所述第二图像的第二图像特征；
将所述第一图像特征及所述第二图像的第二图像特征输入卷积神经网络模型，获得基于后轮中心的偏移角度，所述偏移角度包括车载相机坐标的x，y，z方向的偏移角度。
5.根据权利要求1或3所述的车载相机参数矫正方法，其特征在于，所述将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值，包括：
基于所述第一图像拟合出对应所述第一图像的第一车载相机坐标系；
基于所述第二图像拟合出对应所述第二图像的第二车载相机坐标系；
比较所述第一车载坐标系与所述第二车载坐标系获得车辆载重前后的车载相机外参数的变化值。
6.根据权利要求4所述的车载相机参数矫正方法，其特征在于，所述将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系，包括：
基于车载相机坐标的x，y，z方向的偏移角度更新车载相机的相机坐标系；
利用单应性变换矩阵基于更新后的车载相机的相机坐标系更新基于所述车载相机外参数更新世界坐标系。
7.根据权利要求1所述的车载相机参数矫正方法，其特征在于，当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像之前，还包括：
判断车辆周围环境是否满足获取所述第一图像、所述第二图像的条件；
若车辆周围环境不满足获取所述第一图像或所述第二图像则基于车载相机动态采集车辆周围的视频，直至根据所述车辆周围的视频判断车辆周围环境满足获取所述第一图像、所述第二图像的条件。
8.一种车载相机参数矫正装置，其特征在于，包括：
动态获取模块，用于当车辆载重变化时，获取车辆载重变化前的第一图像与车辆载重变化后的第二图像；
识别获取模块，用于将所述第一图像与所述第二图像输入预设识别模型中，获取车辆载重前后的车载相机外参数的变化值；
更新模块，用于将所述车载相机外参数的变化值反馈至感知系统，并基于所述车载相机外参数更新世界坐标系。
9.一种车辆，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7中任一项所述的车载相机参数矫正方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至7中任一项所述的车载相机参数矫正方法。
CN202311274727.4A 2023-09-28 2023-09-28 一种车载相机参数矫正方法及装置 Pending CN117376547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311274727.4A CN117376547A (zh) 2023-09-28 2023-09-28 一种车载相机参数矫正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311274727.4A CN117376547A (zh) 2023-09-28 2023-09-28 一种车载相机参数矫正方法及装置

Publications (1)

Publication Number Publication Date
CN117376547A true CN117376547A (zh) 2024-01-09

Family

ID=89401377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311274727.4A Pending CN117376547A (zh) 2023-09-28 2023-09-28 一种车载相机参数矫正方法及装置

Country Status (1)

Country Link
CN (1) CN117376547A (zh)

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
CN111442776B (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
CN110060297B (zh) 信息处理装置、系统、信息处理方法和存储介质
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
KR101579100B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN114144809A (zh) 通过摄像机进行交通工具环境建模
CN110471058A (zh) 用于拖车属性的自动检测的系统和方法
EP2955690B1 (en) Around view provision apparatus and vehicle including the same
US11562576B2 (en) Dynamic adjustment of augmented reality image
EP3497616B1 (en) Method for assisting a driver of a motor vehicle in driving the motor vehicle, driver assistance system as well as motor vehicle
CN115943440A (zh) 用于检测对物体识别系统的投影攻击的系统和方法
CN115683135A (zh) 用于确定可行驶空间的系统和方法
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
CN116583884A (zh) 利用立体视觉信息进行对象检测的系统和方法
CN104228688B (zh) 调整后视镜的方法及使用该方法的电子装置
CN117376547A (zh) 一种车载相机参数矫正方法及装置
CN113646769A (zh) 用于图像归一化的系统和方法
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
US11681047B2 (en) Ground surface imaging combining LiDAR and camera data
CN116917936A (zh) 双目相机外参标定的方法及装置
CN114463710A (zh) 车辆无人驾驶策略生成方法、装置、设备及存储介质
JP7360304B2 (ja) 画像処理装置および画像処理方法
JP6932269B1 (ja) 運転支援制御装置及び運転支援制御方法
EP4131174A1 (en) Systems and methods for image based perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination