CN117372472A - 目标全景图像的生成方法、装置、计算机系统及存储介质 - Google Patents

目标全景图像的生成方法、装置、计算机系统及存储介质 Download PDF

Info

Publication number
CN117372472A
CN117372472A CN202311139812.XA CN202311139812A CN117372472A CN 117372472 A CN117372472 A CN 117372472A CN 202311139812 A CN202311139812 A CN 202311139812A CN 117372472 A CN117372472 A CN 117372472A
Authority
CN
China
Prior art keywords
image
panoramic image
vehicle
target
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311139812.XA
Other languages
English (en)
Inventor
沈克凡
王媛
侯欢欢
周智慧
刘春霞
赵木祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Invo Automotive Electronics Co ltd
Original Assignee
Suzhou Invo Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Invo Automotive Electronics Co ltd filed Critical Suzhou Invo Automotive Electronics Co ltd
Priority to CN202311139812.XA priority Critical patent/CN117372472A/zh
Publication of CN117372472A publication Critical patent/CN117372472A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种目标全景图像的生成方法、装置、计算机系统及存储介质，方法包括获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；对所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。本申请方案能够消除由于轮速和实际车速不吻合导致的拼接影像歪曲问题，从而提高车辆透明底盘影像拼接的准确性和可靠性。

Description

目标全景图像的生成方法、装置、计算机系统及存储介质
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种目标全景图像的生成方法、装置、计算机系统及存储介质。
背景技术
车辆自身位置的精确估计对透明车底的拼接效果有决定性影响。如果车辆自身位置在时间上或者位置上的误差较大，会导致全景图像和车底图像在拼接时产生错位，还会导致车底图像自身的扭曲变形。车辆自身位置的测量很难通过车辆自身直接测量得到，作为替代方案可以考虑通过车辆的行驶方向和速度来推测车身的位置，但是在车上直接安装测量车速的传感器是很昂贵的。因此，通常采用测量轮速计的速度来推算车辆速度，从而间接地推测计算出车辆自身的位置。
在过去，轮速预测车辆位置的应用主要针对避障和倒车影像等辅助驾驶功能，车轮预测的结果大多发出警报或者通过影像告诉驾驶员车辆的预测位置。因为这类功能只是提示或警报，最终还是依靠驾驶员来判断或修正，因此这类工作对误差的容忍度较高，可以忽略车轮角度信号误差带来的偏差。但是，透明底盘拼接的输出是实际的车底图像和全景图像的拼接结果，因而该方法对车辆位置的估计值精度要求十分高，拼接效果的好坏十分直观的呈现给驾驶员，驾驶员也无法通过驾驶动作修正拼接图像的结果。另外透明底盘的偏差还会因为在时间上的累计而变得更加明显而使得生成的图像失去给驾驶员提示的功能。因此，如何通过车速信号计算出车辆的精确位置变得尤为重要。
进一步地，在实际应用中，轮速计自身的输出已经通过预测、滤波等算法，导致在高低速时对车速的计算精度不同。另外在转弯或者加减速时、左右轮等多个轮速计的结果综合分析也会放大前述的种种算法引入的计算误差，导致车辆底盘的拼接图像可能在行驶时是正常的，但转弯时是恶化的。在高速行驶时是正常的，但在低速时无法辨认的。因此需要一种计算方法，能够统一车辆轮速计在左右轮、高低速，左右转弯等不同情况下都能正确推测车身位置的方法，以此带来高精度的车身位置预测结果，并确保拼接图像不会扭曲变形。
发明内容
为了解决现有技术的问题，本发明提供了一种目标全景图像的生成方法、装置、计算机系统以及存储介质，以解决现有技术中存在的车辆自身位置的测量很难通过车辆自身直接测量，轮速传感器和实际车速不吻合导致拼接影像歪曲，拼接的车底图案不能给驾驶员提供有价值的提示信息等问题。
为解决上述一个或多个技术问题，本申请采用的技术方案是：
第一方面，提供了一种目标全景图像的生成方法，所述方法包括：
S100：获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；
S200：提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；
S300：获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；
S400：根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；
S500：将不同位置下匹配得到的所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
在一个具体的实施例中，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
基于稠密光流算法计算所述初始全景图像中的预设特征的移动量；
根据所述移动量得到所述目标车辆的旋转中心；
根据所述旋转中心对所述目标车辆进行运动分解并计算所述目标车辆的实际运动量。
在一个具体的实施例中，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
利用所述目标车辆外部的终端提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量。
在一个具体的实施例中，所述获取所述当前时刻的所述目标车辆的状态数据，根据所述实际运动量对所述状态数据进行校正包括：
利用预设传感器获取所述目标车辆在所述当前时刻的状态数据，所述状态数据包括车轮相关参数；
根据预先建立的车轮相关参数与车辆运动量的关系、所述实际运动量对所述状态数据进行校正。
在一个具体的实施例中，所述车轮相关参数与车辆运动量的关系包括采用贝叶斯定理、卡尔曼滤波原理或PID控制方法中的至少一种对预先采集的车轮相关参数与车辆运动量进行拟合得到。
在一个具体的实施例中，所述根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像包括：
根据校正后的所述状态数据计算相邻两个时刻间所述目标车辆的旋转角和偏移量；
建立世界坐标系，依据所述旋转角和所述偏移量得到相邻两个时刻间的所述目标车辆区域顶点的世界坐标的变换关系；
根据所述世界坐标的变换关系得到当前时刻所述目标车辆区域顶点在上一时刻的世界坐标，以及根据世界坐标系与图像坐标系之间的关系获得当前时刻所述目标车辆区域顶点在上一时刻图像中的图像坐标；
根据所述图像坐标从上一时刻的初始全景图像中截取对应的当前时刻所述目标车辆区域的全景图像，并将所述当前时刻所述目标车辆区域的全景图像贴图至当前时刻的初始全景图像中，获得第二中间图像。
在一个具体的实施例中，所述方法还包括：
对S500步骤得到的目标全景图像重复执行步骤S100-S400，得到实时显示的全景影像。
在一个具体的实施例中，所述预处理包括去除噪声、图像增强、图像分割和校正中的至少一种。
第二方面，对应于上述目标全景图像的生成方法，还提供了一种目标全景图像的生成装置，所述装置包括：
预处理模块，用于获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；
计算模块，用于提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；
校正模块，用于获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；
匹配模块，用于根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；
融合模块，用于对所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
第三方面，还提供了一种计算机系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现所述目标全景图像的生成方法。
第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时，实现所述目标全景图像的生成方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本申请提供的目标全景图像的生成方法、装置、计算机系统及存储介质，方法包括获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；对所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。本申请方案能够消除由于轮速和实际车速不吻合导致的拼接影像歪曲问题，从而提高车辆透明底盘影像拼接的准确性和可靠性。
进一步地，本申请提供的目标全景图像的生成方法、装置、计算机系统及存储介质，通过利用所述目标车辆外部的终端提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量，将运算负载大的计算从车载芯片端分离出来在外部终端上仿真运行，从而提高计算效率。
本申请所有产品并不需要具备上述所有效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标全景图像的生成方法的流程图；
图2是本申请实施提供的车辆运动模型示意图；
图3是计算机端拟合和车辆端直接根据实际运动量对状态数据进行校正的示意图；
图4是本申请实施例提供的目标全景图像的生成装置的结构示意图；
图5是本申请实施例提供的计算机系统的架构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，目前现有的车辆透明底盘影像拼接方案中，在车底图像和全景图像的进行拼接的过程中，车辆自身位置在时间上或者位置上的误差较大时，会导致全景图像和车底图像在拼接时产生错位，还会导致车底图像自身的扭曲变形，而由于车辆自身位置的测量很难通过车辆自身直接测量得到，因而作为替代方案可以通过车辆的行驶方向和速度来推测车身的位置，但是在车上直接安装测量车速的传感器是很昂贵的，因此，通常采用测量轮速计的速度来推算车辆速度，从而间接地推测计算出车辆自身的位置。因此，车辆透明底盘影像拼接过程中，若轮速传感器和实际车速不吻合会导致拼接影像歪曲和错位的问题，从而拼接的车底图案不能给驾驶员提供有价值的提示信息。
针对上述问题，本申请基于图像处理技术提出了一种新的目标全景图像的生成方法，用于解决车辆透明底盘影像拼接时，由于轮速和实际车速不吻合导致拼接影像扭曲和错位的问题，具体来说，本申请提供了一种基于图像融合的目标全景图像的生成方法，用于将全景图像中的不同位置的车辆底盘影像按照校正过的车辆传感器数据进行拼接，能够消除由于轮速和实际车速不吻合导致的拼接影像歪曲问题。同时，在车辆端只运行计算量小的校正部分，满足软件的实时性要求。本申请提供的目标全景图像的生成方法可以适用于多种类型的车辆，具有广泛的应用前景。
下面将结合附图和各个实施例，对本申请的方案进行详细介绍。
实施例一
图1是本申请实施例提供的目标全景图像的生成方法的流程图，参照图1所示，该方法主要包括如下步骤：
S100：获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像。
作为一种示例性而非限制的说明，本申请实施例中初始全景图像可以通过设置在车辆四周的多个摄像头，例如广角摄像头(如鱼眼摄像头)等。具体实施时，可在车辆的前后左右四个方向中的每个方向上设置至少一个鱼眼摄像头，用于实时采集车辆周围的图像信息，由于鱼眼摄像头是一种超广角的特殊镜头，其构造仿照鱼类眼睛成像，可以独立实现大角度拍摄，鱼眼摄像头视角甚至可达180°，能够监控大范围场景中的物体。在车辆的四周每个方向上设置一个鱼眼摄像头，通过4个鱼眼摄像头就能够采集车辆四周的全景图像，从而能够节省摄像头的数量，降低成本。这里需要说明的是，本申请实施例中的摄像头并不限定于广角摄像头，摄像头也可以是普通摄像头，具体实施时可以通过增加普通摄像头的数量来增大摄像头的视角，例如，在车周每个方向上设置2个或3个摄像头，利用普通摄像头采集车辆周围的全景图像，虽然增加了摄像头的数量，但是普通摄像头采集的图像信息无变形，采集到的图像效果较好。
在一个具体的实施例中，初始全景图像至少包括目标车辆周围物体的图像信息和深度信息，其中深度信息用于指示目标车辆周围物体上各个点的三维坐标信息。为了方便计算，通常深度信息在计算机视觉领域指空间里的各个点相对于相机传感器的距离，本申请实施例中，目标车辆周围物体的深度信息指目标车辆周围物体上的三维坐标点距离相机传感器的距离。
示例性地，摄像头采集到车辆周围物体的图像信息后，将图像信息传输至图像处理装置(如车载图像处理装置等)，图像处理装置可以根据图像信息获取车辆周围物体深度信息，该过程可参照现有的图像处理过程，这里不在一一赘述。
S200：提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量。
具体地，本申请实施例中不对预设特征做具体限制，用户可根据实际需求进行设置。
具体地，目标车辆的实际运动量可以利用车辆运动模型进行计算。作为一种较优的实施方式，本申请实施例中，车辆运动模型设定为左右后车轮始终保持前向运动，车辆的转向运动通过左右后轮的轮速差进行反映。车辆的运动包括绕旋转中心的纯转动和车身所有位置统一的平移运动。
S300：获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正。
具体地，本申请实施例中，目标车辆的状态数据包括但不限于轮速相关数据、轮胎转过角度以及角速度等。本申请实施例中提出利用目标车辆的实际运动量对状态数据进行校正，避免状态数据中的轮速相关数据等和实际车速不吻合等问题。
S400：根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像。
具体地，通过校正过的目标车辆的状态数据推测车辆的位置(即对第一中间图像进行车辆底盘图像匹配)，可以使得不同位置下拼接的车底影像和周围的全景图像的显示内容匹配，没有明显的错位和图像自身的歪曲。
S500：将不同位置下匹配得到的所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
具体地，将不同位置下匹配得到第二中间图像通过车身位置和全景图像通过融合算法进行融合，得到一个包含车辆底盘的新图像(即目标全景图像)。
作为一种较优的实施方式，本申请实施例中，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
基于稠密光流算法计算所述初始全景图像中的预设特征的移动量；
根据所述移动量得到所述目标车辆的旋转中心；
根据所述旋转中心对所述目标车辆进行运动分解并计算所述目标车辆的实际运动量。
具体地，本申请实施例中优选为基于稠密光流算法计算所述初始全景图像中的预设特征的移动量，以得到车辆的旋转中心，从而进行车辆运动分解和位移计算(即目标车辆的实际运动量，表示为r真、Δx真、Δy真、Δφ真)。该方法的优点在于可以获取车辆运动的真实信息，但是该方法需要使用复杂的算法和计算资源，因此可以通过在计算机中用光流法求解车辆速度的真值，并和轮速传感器进行对比拟合，将拟合方案作为抽象的输出结果来对车载芯片的算法进行优化。
以下举例对上述计算过程进行说明：
假设目标车辆的车身的平移运动速率为vtran，旋转运动的旋转半径为rturn，旋转角速度为ωturn，车辆角度为φ，左后车轮速度为vRL，右后车轮速度为vRR，则有：
vtran＝min(vRL，vRR)
Δx＝vtranΔtsinφ，Δy＝vtranΔtcosφ，Δφ＝ωturnΔt
其中，Δx、Δy分别为目标车辆在x和y方向的偏移量，Δφ为目标车辆的旋转角，Track为车辆后轮距，Δt为车辆制动系统信号周期间隔。
参照图2所示，T1表示世界坐标系下的车辆最终位置，T2表示旋转后的车辆位置，T3表示全景图像坐标系下的车辆初始位置，T4表示去除平移运动的车辆位置。
可以理解的是，三维坐标系下，图像的平移和旋转可以采用对应的操作矩阵，其中平移矩阵对应车身的平移运动，旋转矩阵对应车身的旋转运动，z为与x、y所在平面垂直的方向(垂直于地面的方向)，本申请实施例中，z＝0，Δz＝0，表示为目标车辆在垂直于地面的方向上的位移量为0。
作为一种示例，平移矩阵可以表示为：
其中，x，y，z对应目标车辆在各方向的平移Δx，Δy，Δz
作为一种示例，旋转矩阵可以表示为：
其中，x，y，z对应旋转中心坐标(rturn，0，0)，φ为车身旋转角度Δφ。
假设在当前时刻t目标车辆的位置为下一时刻t+1目标车辆的位置为/>则
除此之外，由于图像在当前时刻t的全景坐标系下发生变换，在更新为下一时刻t+1中因为车身底盘在全景图像坐标系中位置不变，因此要将t时刻时各像素点的坐标更新为t+1时刻的全景图像坐标系，具体过程可参照现有技术中的坐标系转换方法，这里不在一一赘述。
在一个具体的实施例中，方法还包括将图像中像素尺寸和车辆实际尺寸相比较来获得实际的运动信息参数，通过图像旋转等方法每次将车头正前方的图像读取进入buffer中，而buffer图像也每次由位置信息更新自己内部的信息。最后，将上述全景坐标系的内容转换为图像坐标系，以便在屏幕上显示。
作为一种较优的实施方式，本申请实施例中，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
利用所述目标车辆外部的终端提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量。
具体地，本申请实施例中优选为基于稠密光流算法计算目标车辆的实际运动量，而由于稠密光流算法的运算负载量较大，为了提高计算效率，因而将运算负载较大的稠密光流法计算从车载芯片端分离出来在目标车辆外部的终端(如电脑)上仿真运行，然后将外部的终端的处理结果通过拟合的抽象方式输出回车载芯片进行传感器数据的拟合，以实现提高计算效率的目的。
作为一种较优的实施方式，本申请实施例中，所述获取所述当前时刻的所述目标车辆的状态数据，根据所述实际运动量对所述状态数据进行校正包括：
利用预设传感器获取所述目标车辆在所述当前时刻的状态数据，所述状态数据包括车轮相关参数；
根据预先建立的车轮相关参数与车辆运动量的关系、所述实际运动量对所述状态数据进行校正。
具体地，预设传感器包括但不限于轮速传感器，获取的状态数据包括但不限于：轮速相关数据(如左后车轮速度为vRL，右后车轮速度为vRR等)、轮胎转过角度(如左后轮胎转过角度为cntRL，右后轮胎转过角度为cntRR等)以及角速度Yaw等。
可以理解的是，车轮相关参数与车辆运动量的关系为预先根据采集的车轮相关参数与车辆运动量按照预设算法进行拟合得到。参照图3所示，该过程可以在计算机端(如目标车辆外部的终端)进行，也可以在车辆端(如车载芯片)进行，由于该过程的运算负载较大，因而相比于在车辆端进行，在计算机端进行计算能够提高计算效率。
作为一种较优的实施方式，本申请实施例中，所述车轮相关参数与车辆运动量的关系包括采用贝叶斯定理、卡尔曼滤波原理或PID控制方法中的至少一种对预先采集的车轮相关参数与车辆运动量进行拟合得到。
这里需要说明的是，上述拟合方法仅作为本申请的一种示例性而非限制性的说明，本申请实施例中，不对拟合所采用的方法作具体限定，在不违背本申请发明构思的前提下，任何已知的数据拟合方法均可用于本申请。
作为一种较优的实施方式，本申请实施例中，所述根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像包括：
根据校正后的所述状态数据计算相邻两个时刻间所述目标车辆的旋转角和偏移量；
建立世界坐标系，依据所述旋转角和所述偏移量得到相邻两个时刻间的所述目标车辆区域顶点的世界坐标的变换关系；
根据所述世界坐标的变换关系得到当前时刻所述目标车辆区域顶点在上一时刻的世界坐标，以及根据世界坐标系与图像坐标系之间的关系获得当前时刻所述目标车辆区域顶点在上一时刻图像中的图像坐标；
根据所述图像坐标从上一时刻的初始全景图像中截取对应的当前时刻所述目标车辆区域的全景图像，并将所述当前时刻所述目标车辆区域的全景图像贴图至当前时刻的初始全景图像中，获得第二中间图像。
具体地，相邻两个时刻的间隔时间可以依据摄像头的视频帧率确定，帧率越高越能体现实时计算的效果，一般为25～30fps，即两时刻时间间隔33～40ms。在一个具体的实施例中，获取的状态数据包括目标车辆的车身的平移运动速率为vtran，旋转运动的旋转半径为rturn，旋转角速度为ωturn，车辆角度为φ，左后车轮速度为vRL，右后车轮速度为vRR，则当前时刻车辆中心相对上一时刻的旋转角表示为：
其中，Track为车辆后轮距，Δt为车辆制动系统信号周期间隔。
当前时刻车辆中心相对上一时刻的偏移量表示为：
Δx＝vtranΔtsinφ
Δy＝vtranΔtcosφ
其中，Δx、Δy分别为目标车辆在x和y方向的偏移量。
具体地，以两个时刻中起始时刻的车辆的中心点作为坐标原点，建立世界坐标系，世界坐标系的×轴和y轴分别位于地面所在的平面内，垂直地面的坐标为零，依据计算得的目标车辆的旋转角和偏移量，得到相邻两个时刻间的车辆区域顶点的世界坐标的变换关系，变换关系通过坐标变换矩阵表示为：
其中，×′和y′表示当前时刻的目标车辆区域顶点的世界坐标，×和y表示上一时刻的目标车辆区域顶点的世界坐标，上一时刻的车辆区域顶点的世界坐标能够根据车辆参数结合上一时刻的车辆中心的世界坐标得到，这里不在赘述。
进一步的，以全景环视系统显示的全景图像的左上角为原点建立图像坐标系，以朝图像下方的方向为图像坐标系的x轴方向，以朝图像右方的方向为图像坐标系的y轴方向，当前时刻的车辆区域顶点在上一时刻图像中的图像坐标表示为：
其中，×"和y"为当前时刻的车辆区域顶点在上一时刻图像中的图像坐标，Ratio为图像坐标与世界坐标的比率，h和w分别为全景图像长宽。
作为一种较优的实施方式，本申请实施例中，所述方法还包括：
对S500步骤得到的目标全景图像重复执行步骤S100-S400，得到实时显示的全景影像。
具体地，随着车辆的不断运动，对融合后的新图像重复上述步骤S100-S400，即将新图像的不同部分按照车身移动的位置进行拼接，从而不断更新全景和底盘图像，进而得到一个完整的包含车辆底盘图像的无视野死角的全景图像。
作为一种较优的实施方式，本申请实施例中，所述预处理包括去除噪声、图像增强、图像分割和校正中的至少一种。
具体地，对获取到的初始全景图像进行预处理，以提高图像质量以及提高后续计算结果的精度。本申请实施例中，不对预处理做具体限制，其包括但不限于去除噪声、图像增强、图像分割和校正等。
实施例二
对应于上述实施例一，本申请还提供了一种目标全景图像的生成装置，其中，本实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不在赘述。参照图4所示，该装置包括：
预处理模块，用于获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；
计算模块，用于提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；
校正模块，用于获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；
匹配模块，用于根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；
融合模块，用于对所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
作为一种较优的实施方式，本申请实施例中，所述计算模块具体用于：
基于稠密光流算法计算所述初始全景图像中的预设特征的移动量；
根据所述移动量得到所述目标车辆的旋转中心；
根据所述旋转中心对所述目标车辆进行运动分解并计算所述目标车辆的实际运动量。
作为一种较优的实施方式，本申请实施例中，所述计算模块具体用于：
利用所述目标车辆外部的终端提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量。
作为一种较优的实施方式，本申请实施例中，所述校正模块具体用于：
利用预设传感器获取所述目标车辆在所述当前时刻的状态数据，所述状态数据包括车轮相关参数；
根据预先建立的车轮相关参数与车辆运动量的关系、所述实际运动量对所述状态数据进行校正。
作为一种较优的实施方式，本申请实施例中，所述车轮相关参数与车辆运动量的关系包括采用贝叶斯定理、卡尔曼滤波原理或PID控制方法中的至少一种对预先采集的车轮相关参数与车辆运动量进行拟合得到。
作为一种较优的实施方式，本申请实施例中，所述匹配模块具体用于：
根据校正后的所述状态数据计算相邻两个时刻间所述目标车辆的旋转角和偏移量；
建立世界坐标系，依据所述旋转角和所述偏移量得到相邻两个时刻间的所述目标车辆区域顶点的世界坐标的变换关系；
根据所述世界坐标的变换关系得到当前时刻所述目标车辆区域顶点在上一时刻的世界坐标，以及根据世界坐标系与图像坐标系之间的关系获得当前时刻所述目标车辆区域顶点在上一时刻图像中的图像坐标；
根据所述图像坐标从上一时刻的初始全景图像中截取对应的当前时刻所述目标车辆区域的全景图像，并将所述当前时刻所述目标车辆区域的全景图像贴图至当前时刻的初始全景图像中，获得第二中间图像。
作为一种较优的实施方式，本申请实施例中，所述预处理包括去除噪声、图像增强、图像分割和校正中的至少一种。
实施例三
对应上述实施例一和二，本申请还提供了一种计算机系统，包括：处理器和存储器，存储器上存储有可在处理器上运行的计算机程序，当计算机程序被处理器执行时，执行上述任意一个实施例提供的目标全景图像的生成方法。
其中，图5示例性的展示出了计算机系统1500，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制电子设备运行的操作系统1521，用于控制电子设备的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及设备标识信息处理系统1525等等。上述设备标识信息处理系统1525就可以是本发明实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
另外，该电子设备还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明方案所必需的组件，而不必包含图中所示的全部组件。
实施例四
对应于上述实施例一至三，本申请实施例还提供了一种计算机可读存储介质，其中，本实施例中，与上述实施例一至三相同或相似的内容，可以参考上文介绍，后续不再赘述。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的目标全景图像的生成方法。
在一些实施方式中，本申请实施例中，所述计算机程序被处理器执行时，还可以实现与实施例一所述方法对应的步骤，可以参考实施例一中的详细描述，此处不作赘述。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明所提供的技术方案，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种目标全景图像的生成方法，其特征在于，所述方法包括：
S100：获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；
S200：提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；
S300：获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；
S400：根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；
S500：将不同位置下匹配得到的所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
2.根据权利要求1所述的目标全景图像的生成方法，其特征在于，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
基于稠密光流算法计算所述初始全景图像中的预设特征的移动量；
根据所述移动量得到所述目标车辆的旋转中心；
根据所述旋转中心对所述目标车辆进行运动分解并计算所述目标车辆的实际运动量。
3.根据权利要求1或2所述的目标全景图像的生成方法，其特征在于，所述提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量包括：
利用所述目标车辆外部的终端提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量。
4.根据权利要求1或2所述的目标全景图像的生成方法，其特征在于，所述获取所述当前时刻的所述目标车辆的状态数据，根据所述实际运动量对所述状态数据进行校正包括：
利用预设传感器获取所述目标车辆在所述当前时刻的状态数据，所述状态数据包括车轮相关参数；
根据预先建立的车轮相关参数与车辆运动量的关系、所述实际运动量对所述状态数据进行校正。
5.根据权利要求4所述的目标全景图像的生成方法，其特征在于，所述车轮相关参数与车辆运动量的关系包括采用贝叶斯定理、卡尔曼滤波原理或PID控制方法中的至少一种对预先采集的车轮相关参数与车辆运动量进行拟合得到。
6.根据权利要求1或2所述的目标全景图像的生成方法，其特征在于，所述根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像包括：
根据校正后的所述状态数据计算相邻两个时刻间所述目标车辆的旋转角和偏移量；
建立世界坐标系，依据所述旋转角和所述偏移量得到相邻两个时刻间的所述目标车辆区域顶点的世界坐标的变换关系；
根据所述世界坐标的变换关系得到当前时刻所述目标车辆区域顶点在上一时刻的世界坐标，以及根据世界坐标系与图像坐标系之间的关系获得当前时刻所述目标车辆区域顶点在上一时刻图像中的图像坐标；
根据所述图像坐标从上一时刻的初始全景图像中截取对应的当前时刻所述目标车辆区域的全景图像，并将所述当前时刻所述目标车辆区域的全景图像贴图至当前时刻的初始全景图像中，获得第二中间图像。
7.根据权利要求1或2所述的目标全景图像的生成方法，其特征在于，所述方法还包括：
对S500步骤得到的目标全景图像重复执行步骤S100-S400，得到实时显示的全景影像。
8.根据权利要求1或2所述的目标全景图像的生成方法，其特征在于，所述预处理包括去除噪声、图像增强、图像分割和校正中的至少一种。
9.一种目标全景图像的生成装置，其特征在于，所述装置包括：
预处理模块，用于获取当前时刻的初始全景图像并对所述初始全景图像进行预处理得到第一中间图像；
计算模块，用于提取所述初始全景图像中的预设特征的移动量，根据所述移动量计算出所述目标车辆的实际运动量；
校正模块，用于获取所述目标车辆在所述当前时刻的状态数据，根据所述实际运动量对所述状态数据进行校正；
匹配模块，用于根据校正后的所述状态数据对所述第一中间图像进行车辆底盘图像匹配，得到第二中间图像；
融合模块，用于对所述第二中间图像进行融合，获取包含车辆底盘图像的目标全景图像。
10.一种计算机系统，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～8中任一项所述的目标全景图像的生成方法。
11.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1～8中任一项所述的目标全景图像的生成方法。
CN202311139812.XA 2023-09-05 2023-09-05 目标全景图像的生成方法、装置、计算机系统及存储介质 Pending CN117372472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311139812.XA CN117372472A (zh) 2023-09-05 2023-09-05 目标全景图像的生成方法、装置、计算机系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311139812.XA CN117372472A (zh) 2023-09-05 2023-09-05 目标全景图像的生成方法、装置、计算机系统及存储介质

Publications (1)

Publication Number Publication Date
CN117372472A true CN117372472A (zh) 2024-01-09

Family

ID=89391783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311139812.XA Pending CN117372472A (zh) 2023-09-05 2023-09-05 目标全景图像的生成方法、装置、计算机系统及存储介质

Country Status (1)

Country Link
CN (1) CN117372472A (zh)

Similar Documents

Publication Publication Date Title
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
JP5538411B2 (ja) 車両周囲監視装置
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
JP5133783B2 (ja) 車載装置
CN113432553B (zh) 一种挂车夹角的测量方法、装置及车辆
CN110910453A (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
JPH10206175A (ja) 道路曲率推定装置
CN116543032B (zh) 冲击物测距方法、装置、测距设备及存储介质
JP2018136739A (ja) キャリブレーション装置
CN117372472A (zh) 目标全景图像的生成方法、装置、计算机系统及存储介质
JP7385024B2 (ja) 車両の視覚化を提供する方法および装置ならびに車両
JP6959032B2 (ja) 位置推定装置、移動装置
JP7223587B2 (ja) 物体運動推定方法及び物体運動推定装置
JP2004038760A (ja) 車両用走行路認識装置
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
JP2021193340A (ja) 自己位置推定装置
CN112947428A (zh) 一种四足机器人的移动控制方法及装置
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法
WO2022264491A1 (ja) センシング装置及び車両制御装置
JP2012052884A (ja) 車載カメラを用いた測距装置
WO2023004719A1 (zh) 车载传感器标定方法、装置及系统
CN113870367B (zh) 相机外参的生成方法、装置、设备、存储介质和程序产品
WO2021106510A1 (ja) 障害物認識装置
JP2021117176A (ja) 地物位置推定装置、自車位置推定装置、車両および地物位置推定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination