CN113837936A - 一种全景图像的生成方法和装置 - Google Patents

一种全景图像的生成方法和装置 Download PDF

Info

Publication number
CN113837936A
CN113837936A CN202010589754.0A CN202010589754A CN113837936A CN 113837936 A CN113837936 A CN 113837936A CN 202010589754 A CN202010589754 A CN 202010589754A CN 113837936 A CN113837936 A CN 113837936A
Authority
CN
China
Prior art keywords
image
bird
view image
eye view
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010589754.0A
Other languages
English (en)
Inventor
陈晨
李峰
仇林至
吴平友
张海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Original Assignee
SAIC Motor Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd filed Critical SAIC Motor Corp Ltd
Priority to CN202010589754.0A priority Critical patent/CN113837936A/zh
Publication of CN113837936A publication Critical patent/CN113837936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种全景图像的生成方法和装置。方法包括：生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧；根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵；使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像；对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。从而提高图像质量。

Description

一种全景图像的生成方法和装置
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种全景图像的生成方法和装置。
背景技术
车载环视全景影像系统包括架设在汽车周围能覆盖车辆周边所有视场范围的4到8个广角摄像头。对同一时刻采集到的多路视频图像处理成一幅车辆周边360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离。
透明底盘功能是对车载环视全景影像系统进行优化后获得的一个扩展功能。其实现原理为，将历史的鸟瞰图像通过图像处理，变换到当鸟瞰图像中，以来填充车底部分空间，从而显示包括底盘下方路面情况的全景图像。透明底盘功能可以帮助驾驶员绕开底盘下井盖或者坑洼。
在实现透明底盘功能的过程中，由于历史的鸟瞰图像和当鸟瞰图像中像素的坐标位置都为整数，并且在对历史的鸟瞰图像通过图像处理时，需要使用图像插值算法实现图像的旋转与平移，从而将不可避免带来图像信息的丢失。尤其在经过多次旋转平移后，全景图像中偏暗部分的信息将完全丢失，进而导致全景图像对应区域将显得一片黑暗，降低全景图像中底盘下方显示图像的质量。
发明内容
有鉴于此，本申请实施例所解决的技术问题之一在于提供一种全景图像的生成方法和装置，用以克服现有技术中经过多次旋转平移后，全景图像中偏暗部分的信息将完全丢失，进而导致全景图像对应区域将显得一片黑暗，降低全景图像中底盘下方显示图像的质量。
本申请实施例提供一种全景图像的生成方法，包括：生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧；根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵；使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像；对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。
可选地，在本申请一具体实施例中，根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵包括：从第一鸟瞰图像中截取第一局部图像，从第二鸟瞰图像中截取第二局部图像，第一局部图像和第二局部图像用于显示车身周围预设区域的场景；根据第一局部图像和第二局部图像，确定旋转平移矩阵。
可选地，在本申请一具体实施例中，车身周围预设区域包括车身尾部后方区域。
可选地，在本申请一具体实施例中，根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵包括：对第一鸟瞰图像和第二鸟瞰图像进行特征提取，获得用于标识第一鸟瞰图像中每个角点对应的第一特征点信息和用于标识第二鸟瞰图像中每个角点对应的第二特征点信息；根据第一特征点信息和第二特征点信息，确定旋转平移矩阵。
可选地，在本申请一具体实施例中，根据第一特征点信息和第二特征点信息，确定旋转平移矩阵包括：根据第一特征点信息和第二特征点信息确定旋转角度和平移向量；其中，旋转角度为当第一特征点的集合与第二特征点的集合处于最大重合度时，第一鸟瞰图像旋转的角度；平移向量为第一特征点的集合的几何中心与第二特征点的集合的几何中心重合时，第一鸟瞰图像平移的向量；根据旋转角度和平移向量，确定旋转平移矩阵。
可选地，在本申请一具体实施例中，根据第一特征点信息和第二特征点信息，确定旋转平移矩阵之后还包括：使用旋转平移矩阵，对第一特征点信息和第二特征点信息进行筛选，获得筛选后的第一特征点信息和筛选后的第二特征点信息；根据筛选后的第一特征点信息和筛选后的第二特征点信息，更新旋转平移矩阵。
可选地，在本申请一具体实施例中，第一特征点信息包括第一特征点的坐标值，第二特征点信息包括第二特征点的坐标值；对应的，使用旋转平移矩阵，对第一特征点信息和第二特征点信息进行筛选，获得筛选后的第一特征点信息和筛选后的第二特征点信息包括：使用旋转平移矩阵，将第一特征点的坐标重投影到第二鸟瞰图像，获得第一特征点的重投影坐标值；根据第一特征点的重投影坐标值，确定与第一特征点对应的第二特征点的坐标值，并确定第一特征点的重投影坐标值和第二特征点的坐标值之间的坐标偏移值；判断坐标偏移值是否大于预设阈值，如果是，则删除第一特征点信息和第二特征点信息；如果否，则保留第一特征点信息和第二特征点信息。
可选地，在本申请一具体实施例中，旋转平移矩阵包括旋转矩阵和平移矩阵，对应的，使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像包括：使用旋转矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像；用平移矩阵对第二中间图像进行平移变换，获得第一中间图像。
可选地，在本申请一具体实施例中，使用旋转矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像包括：对旋转矩阵进行分解处理，获得第一分解矩阵和第二分解矩阵；对第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶正变换，以将第一鸟瞰图像拍摄时刻对应的全景图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行行平移，并对平移后的第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶逆变换，以将平移后的第一鸟瞰图像拍摄时刻对应的全景图像从频率域转换到空间域，获得第三中间图像；对第三中间图像进行傅里叶正变换，以将第三中间图像从空间域转换到频率域；在频率域中使用第二分解矩阵对第三中间图像进行列平移，并对平移后的第三中间图像进行傅里叶逆变换，以将平移后的第三中间图像从频率域转换到空间域，获得第四中间图像；对第四中间图像进行傅里叶正变换，以将第四中间图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第四中间图像进行行平移，并对平移后的第四中间图像进行傅里叶逆变换，以将平移后的第四中间图像从频率域转换到空间域，获得第二中间图像。
本申请实施例提供一种全景图像的生成装置，包括：采集模块，用于生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧；确定模块，用于根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵；处理模块，用于使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像；拼接模块，用于对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。
由以上技术方案可见，在本实施例的全景图像的生成方法中，生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，第一鸟瞰图像为第二鸟瞰图像的前一图像帧，根据第一鸟瞰图像和第二鸟瞰确定旋转平移矩阵。由于第一鸟瞰图像拍摄时刻的全景图像的方位角度和第一鸟瞰图像的方位角度相同，所以使用旋转平移矩阵对第一鸟瞰图像拍摄时刻的全景图像进行快速傅里叶变换处理，从而将第一鸟瞰图像拍摄时刻的全景图像和第二鸟瞰图像转换到同一坐标系中，并确定显示第二鸟瞰图像中车辆底盘下方的场景的第一中间图像，通过第一中间图像与第二鸟瞰图像进行拼接，从而获得能够显示车辆周边以及车辆底盘下方的场景的第二鸟瞰图像拍摄时刻对应的全景图像。并且在图像的旋转平移过程中，使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，可避免使用图像差值算法在对全景图像进行图像处理过程中的信息丢失，从而提高全景图像的图像质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例一全景图像的生成方法的流程示意图；
图2为本申请实施例二全景图像的生成方法的流程示意图；
图3为本申请实施例三全景图像的生成装置的结构示意图。
具体实施方式
当然，实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
如图1所示的全景图像的生成方法，本实施例的全景图像的生成方法包括：
步骤S101、生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧。
本实施例中，车身周围场景是车辆在行驶过程中周围场景对象的集合，例如，车身周围场景可以包括路面、路面停车线、井盖、坑洼等，也可以包括行人、其他车辆、交通信号等。连续图像帧可通过对车身周围场景进行拍摄，并对拍摄的图像进行处理后获得。
例如，车载环视全景影像系统包括前摄像头、后摄像头、左摄像头、右摄像头和环视电子控制单元(Electronic Control Unit，ECU)。车载环视全景影像系统在离线标定阶段生成LUT查找表，在线运行阶段将LUT查找表作为纹理读取到图形处理器(GraphicsProcessing Unit，GPU)的显存中。通过在车辆上设置的前摄像头、后摄像头、左摄像头和右摄像头对车身周围场景进行图像采集，获得前后左右四幅鱼眼图像。而后车载环视全景影像系统对实时读入的前后左右四幅鱼眼图像根据LUT查找表在GPU中进行处理生成用于显示车身周围场景的连续图像帧。
本实施例中，可根据实际应用需求，从连续的图像帧中获得第一鸟瞰图像和第二鸟瞰图像。例如，为了实时的生成全景图像，第二鸟瞰图像可以为连续图像帧中最新生成的图像帧，第一鸟瞰图像为第二鸟瞰图像的前一图像帧。或者，第二鸟瞰图像可以依次为连续图像帧的第二图像帧至最后一图像帧，从而生成连续的全景图像。
步骤S102、根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵。
本实施例中，由于在车辆行驶的过程中，车身周围场景是逐渐变化的。并且第二鸟瞰图像为第一鸟瞰图像的前一图像帧，所以在拍摄第二鸟瞰图像的时间点和在拍摄第一鸟瞰图像的时间点之间的时间差不大，使得车身周围场景不会完全改变。所以第一鸟瞰图像和第二鸟瞰图像中的车身周围场景有重叠部分在将第二鸟瞰图像进行旋转和平移，使得第二鸟瞰图像中与第二鸟瞰图像中重叠部分重合，以将第一鸟瞰图像和第二鸟瞰图像转换到同一坐标系中。并且确定第二鸟瞰图像在对第二鸟瞰图像进行旋转和平移过程中的旋转角度和平移距离等信息，进而确定旋转平移矩阵。
步骤S103、使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像。
本实施例中，快速傅里叶变换(fast Fourier transform，FFT)为利用计算机计算离散傅里叶变换的高效、快速计算方法。其基本思想是把原始的多点序列，依次分解成一系列的短序列。充分利用离散傅里叶变换计算式中指数因子所具有的对称性质和周期性质，进而求出这些短序列相应的离散傅里叶变换并进行适当组合，从而删除重复计算，减少乘法运算和简化结构。在使用快速傅里叶变换对第二鸟瞰图像拍摄时刻对应的全景图像进行处理时，可将旋转操作分解为多次平移操作，从而代替在空间域进行图像旋转中的图像旋转和图像插值计算，避免全景图像的图像信息在处理的过程中丢失。
本实施例中，全景图像用于显示车身周围和车辆底盘下方的场景，即全景图像中显示的场景无缺失和缝隙，并且在使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理后，该全景图像与第二鸟瞰图像将位于同一坐标系中。由于第二鸟瞰图像缺少车辆底盘下方的场景，所以按照第二鸟瞰图像中车辆底盘的区域，在该全景图像中截取第二中间图像，使第一中间图像可显示第二鸟瞰图像拍摄时刻对应的车辆底盘下方的场景。其中，第一中间图像与第二鸟瞰图像也在同一坐标系中。
步骤S104、对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。
本实施例中，对图像进行拼接就是将数张有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像。其中，拼接处理方法可根据实际使用需求进行选择。例如，拼接处理方法包括边界融合处理、亮度一致化处理、颜色混合处理等。
本实施例中，将第一中间图像与第二鸟瞰图像进行拼接，可将第一中间图像中的场景填充到第二鸟瞰图像中的车辆底盘下方的区域，从而获得第二鸟瞰图像拍摄时刻对应的全景图像，并使第二鸟瞰图像拍摄时刻对应的全景图像能够显示车辆周边以及车辆底盘下方的场景。其中，第二鸟瞰图像拍摄时刻对应的全景图像可在中控模块中显示。
本实施例中，第二鸟瞰图像的底盘下方场景的填充是一个渐进的过程，在车辆刚启动的时刻，每次对第一中间图像和第二鸟瞰图像进行拼接仅在第二鸟瞰图像的车辆底盘下方区域中填充一部分新的场景，经过多次循环后，就可以在第二鸟瞰图像的车辆下方区域中填充全部场景，从而使得第二鸟瞰图像对应的全景图像能够显示车身周围和车辆底盘下方的场景。
本实施例中，在通常的获取可显示车辆底盘下方的场景的全景图像的方法中，需要从车身CAN网络实时地获取车辆的瞬时速度、加速度以及转向角度等报文数据，通过当前时刻的报文数据、历史时刻的报文数据，再结合车辆自身几何尺寸和运动方程得到当前时刻和历史时刻的车身底部状态对应关系，进而得到当前时刻的车底图像，再将车底图像拼接进当前时刻的显示图像中，最终生成一副包含车辆底盘下方场景的显示图像。因此，该方法一方面严格依赖于总线报文信息，若总线报文信息丢失则不能显示车辆底盘下方场景；另一方面需要根据车辆几何尺寸、驱动轴等信息建立运动方程，若该方法应用到不同车型的车辆中，则每次都需根据车型进行参数适配。
而本实施例提供的全景图像的生成方法，完全利用计算机视觉算法对第一鸟瞰图像和第二鸟瞰图像拍摄时刻对应的全景图像进行处理，以获取可显示车辆在底盘下方场景的第一鸟瞰图像拍摄时刻对应的全景图像。在此过程中，而无需车辆的瞬时速度、加速度、转向角度等报文数据，也不需要车辆自身几何尺寸和运动方程信息。由此，本实施例中全景图像的生成方法的算法框架无需进行调整，就可以配置于不同车型的车辆中，从而便于全景图像的生成方法的推广使用。
由以上本申请实施例可见，在本实施例的全景图像的生成方法中，生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，第一鸟瞰图像为第二鸟瞰图像的前一图像帧，根据第一鸟瞰图像和第二鸟瞰确定旋转平移矩阵。由于第一鸟瞰图像拍摄时刻的全景图像的方位角度和第一鸟瞰图像的方位角度相同，所以使用旋转平移矩阵对第一鸟瞰图像拍摄时刻的全景图像进行快速傅里叶变换处理，从而将第一鸟瞰图像拍摄时刻的全景图像和第二鸟瞰图像转换到同一坐标系中，并确定显示第二鸟瞰图像中车辆底盘下方的场景的第一中间图像，通过第一中间图像与第二鸟瞰图像进行拼接，从而获得能够显示车辆周边以及车辆底盘下方的场景的第二鸟瞰图像拍摄时刻对应的全景图像。并且在图像的旋转平移过程中，使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，可避免使用图像差值算法在对全景图像进行图像处理过程中的信息丢失，从而提高全景图像的图像质量。
基于前述实施例提供的全景图像的生成方法，本申请还提供另一种全景图像的生成方法。下面结合附图和实施例对该方法的具体实现进行描述。
实施例二
如图2所示的全景图像的生成方法，本实施例的全景图像的生成方法包括：
步骤S201、生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧。
本实施例中，步骤S201与实施例一中的步骤S101相同，在此不再赘述。
步骤S202、根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵。
本实施例中，确定旋转平移矩阵的操作指令是在CPU进行，所以需要将第一鸟瞰图像和第二鸟瞰图像的数据从GPU的显存读取到内存中。考虑到显存的带宽和图像数据的传输速率较低，为了提高车载环视全景影像系统的处理效率，步骤S202包括：
步骤S202a、从第一鸟瞰图像中截取第一局部图像，从第二鸟瞰图像中截取第二局部图像，第一局部图像和第二局部图像用于显示车身周围预设区域的场景。
步骤S202b、根据第一局部图像和第二局部图像，确定旋转平移矩阵。
其中，相比于第一鸟瞰图像和第二鸟瞰图像，第一局部图像和第二局部图像的数据量更小，占用的显存更少，传输速度更快，所以根据第一局部图像和第二局部图像确定旋转平移矩阵，可提高车载环视全景影像系统的处理效率。
其中，车载环视全景影像系统中的摄像头均为鱼眼相机，而鱼眼相机拍摄的图像会发生畸变，即靠近相机光心位置处的成像区域大但对应的实际物理空间小、边缘部分成像区域小但对应的实际物理空间大，使得鱼眼图像中靠近车身区域成像清晰、远离车身区域成像模糊。所以车身周围预设区域包括车身尾部后方区域，可提高第一局部图像和第二局部图像的表现力。
本实施例中，为了获得旋转平移矩阵，步骤S202还包括：
步骤S202c、对第一鸟瞰图像和第二鸟瞰图像进行特征提取，获得用于标识第一鸟瞰图像中每个角点对应的第一特征点信息和用于标识第二鸟瞰图像中每个角点对应的第二特征点信息。
步骤S202d、根据第一特征点信息和第二特征点信息，确定旋转平移矩阵。
本实施例中，角点就是极值点，即在某方面属性特别突出的点，如在某些属性上强度最大或者最小的孤立点、线段的终点的。而在图像中，角点可以是图像中物体轮廓线的连接点，也可以是图像中物体的边缘点。由于相比于其他类型的特征点，角点的特征更具鲁棒性，所以选取角点用于后续的数据处理，可兼顾数据处理的处理精度和处理速度。
本实施例中，角点检测是使用角点检测算子，对图像的每个像素计算角点响应函数(Corner Response Function)，并阈值化角点响应函数，根据实际情况需求选择阈值，对阈值化的角点响应函数进行非极大值抑制，并获取非零点作为角点。
其中，第一鸟瞰图像中角点和第二鸟瞰图像中的角点可以为Harris角点。Harris角点提取是Chris Harris和Mike Stephens在H.Moravec算法的基础上发展出的通过自相关矩阵的角点提取算法，又称Plessey算法。
可选地，使用ORB特征点提取和描述的算法，对第一鸟瞰图像的角点和第二鸟瞰图像的角点进行提取和描述，获得第一特征点信息和第二特征点信息。
其中，ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。其由Ethan Rublee，Vincent Rabaud，Kurt Konolige以及Gary R.Bradski在2011年一篇名为“ORB：An Efficient Alternative to SIFTor SURF”的文章中提出。ORB算法分为两部分，分别是特征点提取和特征点描述。特征提取是由FAST(Features fromAccelerated Segment Test)算法发展来的，特征点描述是根据BRIEF(Binary RobustIndependent Elementary Features)特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。在数据的计算速度上，ORB算法要远大于SURF算法和SIFT算法。并且，ORB算法的旋转鲁棒性以及模糊鲁棒性与SIFT差别不大。
本实施例中，在全景图像的生成方法的应用中，第一鸟瞰图像中只有平面内旋转且没有尺度缩放，这样只需三个参数(如角度、水平位移、垂直位移)即可描述第一鸟瞰图像和第二鸟瞰图像的相对运动。所以ORB特征描述子非常适合本在本实施例的应用场景下的特征点描述，可以兼顾功能与性能。
本实施例中，第一鸟瞰图像和第二鸟瞰图像中至少包括采集于同一场景对象的形状。第一特征点信息用于标识第一鸟瞰图像中一个角点的信息，第二特征点信息用于标识第二鸟瞰图像中一个角点的信息，而通过角点的信息可区分图像中的两个形状是否是采集于同一个场景对象。由此，可依据第一特征点信息和第二特征点信息，确定第一鸟瞰图像和第二鸟瞰图像表示采集于同一场景对象的形状。通过旋转移动第一鸟瞰图像，可将第一鸟瞰图像和第二鸟瞰图像中表示采集于同一场景对象的形状对齐，由此可获得第二鸟瞰图像的旋转平移矩阵。
可选地，步骤S202d包括：根据第一特征点信息和第二特征点信息确定旋转角度和平移向量；根据旋转角度和平移向量，确定旋转平移矩阵。其中，旋转角度为当第一特征点的集合与第二特征点的集合处于最大重合度时，第一鸟瞰图像旋转的角度；平移向量为第一特征点的集合的几何中心与第二特征点的集合的几何中心重合时，第一鸟瞰图像平移的向量。
其中，第一特征点信息包括第一特征点的坐标值，第二特征点信息包括第二特征点的坐标值。根据第一特征点的坐标值可获得第一特征点的集合的几何中心的坐标。根据第二特征点的坐标值可获得第二特征点的集合的几何中心的坐标。由此第一特征点的集合的几何中心的坐标与第二特征点的集合的几何中心的坐标的差值，即为该平移向量。
其中，可使用K最近邻算法对第一特征点和第二特征点进行匹配，获得至少一个特征点对。特征点对中的第一特征点和第二特征点采集于同一场景对象的形状相同的位置。当然，还可以根据实际应用情况采用其他分类算法进行特征点匹配，例如，决策树分类算法、贝叶斯分类算法、神经网络分类算法等。
其中，根据至少一个特征点对的第一特征点信息和第二特征点信息，利用最小二乘法求确定旋转角度。
例如，第一特征点信息包括第一特征点的坐标值，第二特征点信息包括第二特征点的坐标值。第一特征点的集合的几何中心和第二特征点的集合的几何中心均平移到坐标系原点。将第一特征点的集合或第二特征点的集合中的一组特征点集合绕其几何中心的垂直轴线旋转，使该特征点集合的坐标尽量与另一组特征点集合的坐标重合，该组特征点集合旋转的角度就是旋转角度。
由于连续图像帧为通过标定的LUT查找表生成，所以第一鸟瞰图像与第二鸟瞰图像不会严格符合正交旋转关系，并且第一特征点的坐标值和第二特征点的坐标值为浮点数，使得在旋转后第一特征点集合和第二特征点集合不可能完全重合。因此，为了获得更准确的旋转角度，根据至少一个特征点对的第一特征点信息和第二特征点信息，利用最小二乘法求确定旋转角度。
其中，使用最小二乘法求得旋转矩阵，即求解目标函数：
Figure BDA0002555916110000131
解得
Figure BDA0002555916110000132
从而获得旋转矩阵
Figure BDA0002555916110000133
其中，当缩放系数k＝1时,二维的平移向量
Figure BDA0002555916110000134
其中，(x1i,y1i)为第一特征点的坐标值；(x2i,y2i)为第二特征点的坐标值；n为特征点对的个数。由此，根据旋转角度和平移向量，可确定旋转平移矩阵。
步骤S203、使用旋转平移矩阵，对第一特征点信息和第二特征点信息进行筛选，获得筛选后的第一特征点信息和筛选后的第二特征点信息；根据筛选后的第一特征点信息和筛选后的第二特征点信息，更新旋转平移矩阵。
本实施例中，若第一特征点信息和第二特征点信息匹配错误，则会降低旋转平移矩阵的准确性。所以为了提高旋转平移矩阵的准确性，对第一特征点信息和第二特征点信息进行筛选，以删除匹配错误第一特征点信息和第二特征点信息，并保留精确匹配的第一特征点信息和第二特征点信息。
可选地，该筛选过程可执行多次，并且每次筛选都会对匹配错误的第一特征点信息和第二特征点信息中影响较大的一部分进行删除，通过循环迭代若干次可获得精确匹配的第一特征点信息和筛选后的第二特征点信息。进而根据筛选后的第一特征点信息和筛选后的第二特征点信息，更新旋转平移矩阵，提高旋转平移矩阵的准确性。
可选地，第一特征点信息包括第一特征点的坐标值，第二特征点信息包括第二特征点的坐标值；对应的，步骤S203包括：
步骤S203a、使用旋转平移矩阵，将第一特征点的坐标重投影到第二鸟瞰图像，获得第一特征点的重投影坐标值。
步骤S203b、根据第一特征点的重投影坐标值，确定与第一特征点对应的第二特征点的坐标值，并确定第一特征点的重投影坐标值和第二特征点的坐标值之间的坐标偏移值。
步骤S203c、判断坐标偏移值是否大于预设阈值，如果是，则删除第一特征点信息和第二特征点信息。如果否，则保留第一特征点信息和第二特征点信息。
步骤S203d、根据保留第一特征点信息和第二特征点信息，更新旋转平移矩阵，并减小预设阈值。
其中，当坐标偏移值较大，表示该第一特征点和第二特征点匹配存在匹配误差。所以通过删除坐标偏移值大于预设阈值的第一特征点信息和第二特征点信息，可将匹配误差较大的第一特征点信息和第二特征点信息剔除，并保留精确匹配的第一特征点信息和第二特征点信息，从而获得更准确的旋转平移矩阵。
其中，通过逐渐减小预设阈值的方法，使得在进行多次筛选的过程中，先剔除匹配误差较大的第一特征点信息和第二特征点信息，再剔除匹配误差较小的第一特征点信息和第二特征点信息，可获得精确匹配的第一特征点信息和筛选后的第二特征点信息，从而获得更准确的旋转平移矩阵
其中，经大量测试获得，对第一特征点信息和第二特征点信息进行两次筛选，即可保证第一特征点信息和第二特征点信息的匹配精度。
步骤S204、使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像。
本实施例中，在车辆初始启动时，由于还没有生成全景图像，所以获取第一鸟瞰图像和第二鸟瞰图像，并将第一鸟瞰图像作为第一鸟瞰图像拍摄时对应的全景图像进行处理，以便于获得第一中间图像。
本实施例中，旋转平移矩阵包括旋转矩阵和平移矩阵，对应的，步骤S204包括：
步骤S204a、使用旋转矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像。
步骤S204b、使用平移矩阵对第二中间图像进行平移变换，获得第一中间图像。
其中，由于在图像进行快速傅里叶变换的数据计算量要远大于图像进行平移变换的数据计算量。所以使用快速傅里叶变换对第一鸟瞰图像拍摄时刻对应的全景图像进行旋转变换，并使用常规方法对旋转后的该全景图像进行平移，可减少对第一鸟瞰图像拍摄时刻对应的全景图像进行处理过程中的数据计算量，从而提高数据处理效率。
可选地，为了最大限度的对全景图像实现保真，提高全景图像的质量，步骤S204a包括：
子步骤L1、对旋转矩阵进行分解处理，获得第一分解矩阵和第二分解矩阵。
子步骤L2、对第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶正变换，以将第一鸟瞰图像拍摄时刻对应的全景图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行行平移，并对平移后的第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶逆变换，以将平移后的第一鸟瞰图像拍摄时刻对应的全景图像从频率域转换到空间域，获得第三中间图像。
子步骤L3、对第三中间图像进行傅里叶正变换，以将第三中间图像从空间域转换到频率域；在频率域中使用第二分解矩阵对第三中间图像进行列平移，并对平移后的第三中间图像进行傅里叶逆变换，以将平移后的第三中间图像从频率域转换到空间域，获得第四中间图像。
子步骤L4、对第四中间图像进行傅里叶正变换，以将第四中间图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第四中间图像进行行平移，并对平移后的第四中间图像进行傅里叶逆变换，以将平移后的第四中间图像从频率域转换到空间域，获得第二中间图像。
其中，快速傅里叶变换是在频率域对图像进行旋转，在进行旋转平移前，需要知道旋转角度。为此，通过将旋转矩阵处理成标准正交旋转矩阵。根据标准正交旋转矩阵确定的第二鸟瞰图像拍摄时刻对应的全景图像的旋转角度。
例如，如上述举例说明中，获得旋转矩阵为
Figure BDA0002555916110000161
由于得到的该旋转矩阵不是正交矩阵，即a2+b2≈1，不能直接用于第二鸟瞰图像拍摄时刻对应的全景图像的旋转变换。经大量测试获得根据参数b计算得到的旋转角度θ1＝sin-1b比根据参数a计算得到的旋转角度θ2＝cos-1a更准确，由此可以得到标准正交的旋转矩阵：
Figure BDA0002555916110000162
通过将标准正交旋转矩阵分解为第一分解矩阵和第二分解矩阵，可旋转操作转化为平移操作，从而减少数据处理的复杂程度。对标准正交旋转矩阵进行分解的公式为：
Figure BDA0002555916110000171
其中，
Figure BDA0002555916110000172
为标准正交旋转矩阵；
Figure BDA0002555916110000173
为第一分解矩阵，
Figure BDA0002555916110000174
为第二分解矩阵。由此可见，对标准正交旋转矩阵进行分解获得两个第一分解矩阵和一个第二分解矩阵，第一分解矩阵和第二分解矩阵均是一维的平移矩阵。所以对标准正交旋转矩阵进行分解，可将第二鸟瞰图像拍摄时刻对应的全景图像的旋转过程可以分解为三次一维的平移过程。三次一维的平移过程为：
将第一分解矩阵作用于第一鸟瞰图像拍摄时刻对应的全景图像的每个像素点(x,y)，对像素点(x,y)的每行进行平移，平移量为-y*tanθ/2，获得第三中间图像，第三中间图像的每个图像点(x1,y1)。将第二分解矩阵作用于第三中间图像的每个图像点(x1,y1)，对每个图像点(x1,y1)的每列进行平移，平移量为x*sinθ，获得第四中间图像，第四中间图像的图像点(x2,y2)。将第一分解矩阵作用于第四中间图像的图像点(x2,y2)，对图像点(x2,y2)的每行进行平移，平移量为-y*tanθ/2，获得第二中间图像。
本实施例中，在空间域进行图像插值算法实现图像旋转与平移时，由于数字图像是离散数据，像素的坐标位置都为整数，在对图像进行数学变换后，像素的坐标位置常变为浮点数，因此需要使用插值变换进行处理，将不可避免导致图像信息的丢失。所以将第二鸟瞰图像拍摄时刻对应的全景图像转换到频率域中，并在频率域中完成图像的旋转变换。在频率域对图像进行旋转变换则不存在上述图像信息丢失的问题，提高第二鸟瞰图像拍摄时刻对应的全景图像的质量。
例如，将图像转换到频率域，并进行旋转变化的步骤如下所述。
设离散型信号即图像f(x,y)的傅里叶变化为F(u,v)，图像宽和高分别为w、h，傅里叶正变换公式为：
Figure BDA0002555916110000181
三步空间域图像平移操作对应行傅里叶变换、列傅里叶变换和行傅里叶变换，其中，将行傅里叶变化记为U，将列傅里叶变换记为V。
由此，行傅里叶变化公式为：
Figure BDA0002555916110000182
列傅里叶变化公式为：
Figure BDA0002555916110000183
其中，以行变换为例，假设图像f(x,y)按行进行平移后的图像为g(x,y)，则有：
g(x,y)＝f(x+ay,y)
由傅里叶变换的性质可得：
G(u,y)＝U[g(x,y)]＝F(u,y)*exp(-j2πuay/w)
＝U[f(x,y)]*exp(-j2πuay/w)
按照上述类似步骤，上述举例说明中三次一维的平移过程，即对图像进行行、列、行三次平移便能实现图像的旋转在频率域的处理过程如下所述：
对第一鸟瞰图像拍摄时刻对应的全景图像f(x,y)进行按行平移，得到第三中间图像Mx(x,y)，其行平移公式为：
Mx(x,y)＝U-1{exp(-j2πuay/w)*U[f(x,y)]}
对第三中间图像Mx(x,y)进行按列平移，得到第四中间图像Myx(x,y)，其列平移公式为：
Myx(x,y)＝V-1{exp(-j2πvbx/h)*V[Mx(x,y)]}
对第四中间图像Myx(x,y)进行按行平移，得到最终的第二中间图像Mxyz(x,y)，其行平移公式为：
Mxyz(x,y)＝U-1{exp(-j2πuay/w)*U[Myx(x,y)]}
其中，a＝-tan(θ/2)，b＝sinθ，θ为旋转角度。
在图像旋转完成后，可按照平移向量对旋转后图像做水平平移和垂直平移，水平和垂直平移无需再分别进行傅里叶变换，垂直平移可以与按列平移进行合并，水平平移可以与第二次按行平移进行合并，这样三次频率域操作就可以实现图像的旋转与平移。
由此，本实施例中将对第一鸟瞰图像拍摄时刻对应的全景图像的旋转操作分解为三步平移来实现，每一步平移对应使用一维傅里叶变换(FFT)对图像进行重采样，从而将几何位置变换和灰度插值变换合二为一，从而最大限度的对图像实现保真。
此外，旋转平移矩阵对应的三次傅里叶正变换(FFT)与傅里叶逆变换(IFFT)计算较为耗时，图像尺寸较大计算消耗的时间越长，影响算法实时性。由于本实施例中车载环视全景影像系统在车速较低时才启动，此时，第一鸟瞰图像和第二鸟瞰图像拍摄时刻对应的全景图像之间的旋转角度与平移矩阵的量均不大。并且只是为车辆底盘下方区域填充图像信息，所以无需对完整第二鸟瞰图像拍摄时刻对应的全景图像进行旋转平移，只需选定包含车辆底盘下方区域一定范围图像执行上述步骤，由此在不影响拼接效果的情况下，降低数据处理量，提高数据处理效率，实现算法实时性。此外，FFT与IFFT适合在GPU中进行并行计算(利用OpenGL着色器实现)进一步提高数据处理效率。
本实施例中，GPU具有强大的图像数据处理能力，将旋转平移矩阵从CPU的内存中读取到GPU的显存中，并通过GPU通过并行计算方式执行使用旋转平移矩阵对第二鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像的操作指令，从而进一步提高车载环视全景影像系统的处理效率。
步骤S205、对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。
本实施例中，步骤S205与实施例一中的步骤S104相同，在此不再赘述。
本实施例中，可通过车载环视全景影像系统的GPU执行对第一中间图像和第二鸟瞰图像进行拼接的操作指令，以提高数据处理效率。
由以上本申请实施例可见，从第一鸟瞰图像中截取第一局部图像，从第二鸟瞰图像中截取第二局部图像，相比于第一鸟瞰图像和第二鸟瞰图像，第一局部图像和第二局部图像的数据量更小，占用的显存更少，传输速度更快，从而使用第一局部图像和第二局部图像确定旋转平移矩阵，可提高车载环视全景影像系统的处理效率。对第一鸟瞰图像和第二鸟瞰图像进行特征提取，选取角点用于后续的数据处理，可兼顾数据处理的处理精度和处理速度。使用ORB特征点提取和描述的算法，对第一鸟瞰图像的角点和第二鸟瞰图像的角点进行提取和描述，可以兼顾功能与性能。对第一特征点信息和第二特征点信息进行筛选，可获得精确匹配的第一特征点信息和筛选后的第二特征点信息，再根据筛选后的第一特征点信息和第二特征点信息，更新旋转平移矩阵，以获得更准确的旋转平移矩阵。仅在对的第一鸟瞰图像拍摄时刻对应的全景图像进行旋转变换使用快速傅里叶变换，并使用常规方法对旋转后的第一鸟瞰图像拍摄时刻对应的全景图像进行平移，可减少对的第一鸟瞰图像拍摄时刻对应的全景图像进行处理过程中的数据计算量，从而提高数据处理效率。将对第一鸟瞰图像拍摄时刻对应的全景图像的旋转操作分解为三步平移来实现，从而将几何位置变换和灰度插值变换合二为一，从而最大限度的对图像实现保真。
基于前述实施例提供的全景图像的生成方法，相应地，本申请还提供一种全景图像的生成装置。下面结合附图和实施例对该装置的具体实现进行描述。
实施例三
如图3所示的全景图像的生成装置，本实施例的全景图像的生成装置包括：采集模块301、确定模块302、处理模块303、拼接模块304。其中，
采集模块301，用于生成用于显示车身周围场景的连续图像帧，并从连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，第一鸟瞰图像为第二鸟瞰图像的前一图像帧。
确定模块302，用于根据第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵。
处理模块303，用于使用旋转平移矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，全景图像用于显示车身周围和车辆底盘下方的场景，第一中间图像是用于显示第一鸟瞰图像拍摄时刻对应的全景图像通过旋转平移矩阵变换到第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像。
拼接模块304，用于对第一中间图像和第二鸟瞰图像进行拼接，获得第二鸟瞰图像拍摄时刻对应的全景图像。
可选地，确定模块302还用于从第一鸟瞰图像中截取第一局部图像，从第二鸟瞰图像中截取第二局部图像，第一局部图像和第二局部图像用于显示车身周围预设区域的场景；根据第一局部图像和第二局部图像，确定旋转平移矩阵。
可选地，车身周围预设区域包括车身尾部后方区域。
可选地，确定模块302还用于对第一鸟瞰图像和第二鸟瞰图像进行特征提取，获得用于标识第一鸟瞰图像中每个角点对应的第一特征点信息和用于标识第二鸟瞰图像中每个角点对应的第二特征点信息；根据第一特征点信息和第二特征点信息，确定旋转平移矩阵。
可选地，确定模块302还用于根据第一特征点信息和第二特征点信息确定旋转角度和平移向量；其中，旋转角度为当第一特征点的集合与第二特征点的集合处于最大重合度时，第一鸟瞰图像旋转的角度；平移向量为第一特征点的集合的几何中心与第二特征点的集合的几何中心重合时，第一鸟瞰图像平移的向量；根据旋转角度和平移向量，确定旋转平移矩阵。
可选地，根据第一特征点信息和第二特征点信息，确定旋转平移矩阵之后还包括：使用旋转平移矩阵，对第一特征点信息和第二特征点信息进行筛选，获得筛选后的第一特征点信息和筛选后的第二特征点信息；根据筛选后的第一特征点信息和筛选后的第二特征点信息，更新旋转平移矩阵。
可选地，第一特征点信息包括第一特征点的坐标值，第二特征点信息包括第二特征点的坐标值；对应的，使用旋转平移矩阵，对第一特征点信息和第二特征点信息进行筛选，获得筛选后的第一特征点信息和筛选后的第二特征点信息包括：使用旋转平移矩阵，将第一特征点的坐标重投影到第二鸟瞰图像，获得第一特征点的重投影坐标值；根据第一特征点的重投影坐标值，确定与第一特征点对应的第二特征点的坐标值，并确定第一特征点的重投影坐标值和第二特征点的坐标值之间的坐标偏移值；判断坐标偏移值是否大于预设阈值，如果是，则删除第一特征点信息和第二特征点信息；如果否，则保留第一特征点信息和第二特征点信息。
可选地，旋转平移矩阵包括旋转矩阵和平移矩阵，对应的，处理模块303还用于使用旋转矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像；使用平移矩阵对第二中间图像进行平移变换，获得第一中间图像。
可选地，处理模块303还用于对旋转矩阵进行分解处理，获得第一分解矩阵和第二分解矩阵；对第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶正变换，以将第一鸟瞰图像拍摄时刻对应的全景图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第一鸟瞰图像拍摄时刻对应的全景图像进行行平移，并对平移后的第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶逆变换，以将平移后的第一鸟瞰图像拍摄时刻对应的全景图像从频率域转换到空间域，获得第三中间图像；对第三中间图像进行傅里叶正变换，以将第三中间图像从空间域转换到频率域；在频率域中使用第二分解矩阵对第三中间图像进行列平移，并对平移后的第三中间图像进行傅里叶逆变换，以将平移后的第三中间图像从频率域转换到空间域，获得第四中间图像；对第四中间图像进行傅里叶正变换，以将第四中间图像从空间域转换到频率域；在频率域中使用第一分解矩阵对第四中间图像进行行平移，并对平移后的第四中间图像进行傅里叶逆变换，以将平移后的第四中间图像从频率域转换到空间域，获得第二中间图像。
本实施例中，车载环视全景影像系统包括前摄像头、后摄像头、左摄像头、右摄像头以及车载电脑(Electronic Control Unit，ECU)。全景图像的生成装置可配置于车载环视全景影像系统中的ECU上。
本实施例的全景图像的生成装置还可用于实现前述实施例一和实施例二全景图像的生成方法中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
当然，实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请实施例权利要求及其等同技术的范围之内，则本申请实施例也意图包含这些改动和变型在内。

Claims (10)

1.一种全景图像的生成方法，其特征在于，包括：
生成用于显示车身周围场景的连续图像帧，并从所述连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，所述第一鸟瞰图像为所述第二鸟瞰图像的前一图像帧；
根据所述第一鸟瞰图像和所述第二鸟瞰图像，确定旋转平移矩阵；
使用所述旋转平移矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，所述全景图像用于显示车身周围和车辆底盘下方的场景，所述第一中间图像是用于显示所述第一鸟瞰图像拍摄时刻对应的全景图像通过所述旋转平移矩阵变换到所述第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像；
对所述第一中间图像和所述第二鸟瞰图像进行拼接，获得所述第二鸟瞰图像拍摄时刻对应的全景图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一鸟瞰图像和所述第二鸟瞰图像，确定旋转平移矩阵包括：
从所述第一鸟瞰图像中截取第一局部图像，从所述第二鸟瞰图像中截取第二局部图像，所述第一局部图像和所述第二局部图像用于显示车身周围预设区域的场景；
根据所述第一局部图像和所述第二局部图像，确定所述旋转平移矩阵。
3.根据权利要求2所述的方法，其特征在于，所述车身周围预设区域包括车身尾部后方区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一鸟瞰图像和第二鸟瞰图像，确定旋转平移矩阵包括：
对所述第一鸟瞰图像和所述第二鸟瞰图像进行特征提取，获得用于标识所述第一鸟瞰图像中每个角点对应的第一特征点信息和用于标识所述第二鸟瞰图像中每个角点对应的第二特征点信息；
根据所述第一特征点信息和所述第二特征点信息，确定所述旋转平移矩阵。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征点信息和所述第二特征点信息，确定所述旋转平移矩阵包括：
根据所述第一特征点信息和所述第二特征点信息确定旋转角度和平移向量；其中，所述旋转角度为当第一特征点的集合与第二特征点的集合处于最大重合度时，所述第一鸟瞰图像旋转的角度；所述平移向量为所述第一特征点的集合的几何中心与所述第二特征点的集合的几何中心重合时，所述第一鸟瞰图像平移的向量；
根据所述旋转角度和所述平移向量，确定所述旋转平移矩阵。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征点信息和所述第二特征点信息，确定所述旋转平移矩阵之后还包括：
使用所述旋转平移矩阵，对所述第一特征点信息和所述第二特征点信息进行筛选，获得筛选后的所述第一特征点信息和筛选后的所述第二特征点信息；
根据筛选后的所述第一特征点信息和筛选后的所述第二特征点信息，更新所述旋转平移矩阵。
7.根据权利要求6所述的方法，其特征在于，所述第一特征点信息包括所述第一特征点的坐标值，所述第二特征点信息包括所述第二特征点的坐标值；对应的，所述使用所述旋转平移矩阵，对所述第一特征点信息和所述第二特征点信息进行筛选，获得筛选后的所述第一特征点信息和筛选后的所述第二特征点信息包括：
使用所述旋转平移矩阵，将所述第一特征点的坐标重投影到所述第二鸟瞰图像，获得所述第一特征点的重投影坐标值；
根据所述第一特征点的重投影坐标值，确定与所述第一特征点对应的所述第二特征点的坐标值，并确定所述第一特征点的重投影坐标值和所述第二特征点的坐标值之间的坐标偏移值；
判断所述坐标偏移值是否大于预设阈值，如果是，则删除所述第一特征点信息和所述第二特征点信息；如果否，则保留所述第一特征点信息和所述第二特征点信息。
8.根据权利要求1所述的方法，其特征在于，所述旋转平移矩阵包括旋转矩阵和平移矩阵，对应的，使用所述旋转平移矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像包括：
使用所述旋转矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像；
使用所述平移矩阵对所述第二中间图像进行平移变换，获得所述第一中间图像。
9.根据权利要求8所述的方法，其特征在于，所述使用所述旋转矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第二中间图像包括：
对所述旋转矩阵进行分解处理，获得第一分解矩阵和第二分解矩阵；
对所述第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶正变换，以将所述第一鸟瞰图像拍摄时刻对应的全景图像从空间域转换到频率域；
在频率域中使用所述第一分解矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行行平移，并对平移后的所述第一鸟瞰图像拍摄时刻对应的全景图像进行傅里叶逆变换，以将平移后的所述第一鸟瞰图像拍摄时刻对应的全景图像从频率域转换到空间域，获得第三中间图像；
对所述第三中间图像进行傅里叶正变换，以将所述第三中间图像从空间域转换到频率域；
在频率域中使用所述第二分解矩阵对所述第三中间图像进行列平移，并对平移后的所述第三中间图像进行傅里叶逆变换，以将平移后的所述第三中间图像从频率域转换到空间域，获得第四中间图像；
对所述第四中间图像进行傅里叶正变换，以将所述第四中间图像从空间域转换到频率域；
在频率域中使用所述第一分解矩阵对所述第四中间图像进行行平移，并对平移后的所述第四中间图像进行傅里叶逆变换，以将平移后的所述第四中间图像从频率域转换到空间域，获得所述第二中间图像。
10.一种全景图像的生成装置，其特征在于，包括：
采集模块，用于生成用于显示车身周围场景的连续图像帧，并从所述连续图像帧中获得第一鸟瞰图像和第二鸟瞰图像，其中，所述第一鸟瞰图像为所述第二鸟瞰图像的前一图像帧；
确定模块，用于根据所述第一鸟瞰图像和所述第二鸟瞰图像，确定旋转平移矩阵；
处理模块，用于使用所述旋转平移矩阵对所述第一鸟瞰图像拍摄时刻对应的全景图像进行快速傅里叶变换处理，获得第一中间图像，其中，所述全景图像用于显示车身周围和车辆底盘下方的场景，所述第一中间图像是用于显示所述第一鸟瞰图像拍摄时刻对应的全景图像通过所述旋转平移矩阵变换到所述第二鸟瞰图像拍摄时刻对应的车辆底盘下方的图像；
拼接模块，用于对所述第一中间图像和所述第二鸟瞰图像进行拼接，获得所述第二鸟瞰图像拍摄时刻对应的全景图像。
CN202010589754.0A 2020-06-24 2020-06-24 一种全景图像的生成方法和装置 Pending CN113837936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010589754.0A CN113837936A (zh) 2020-06-24 2020-06-24 一种全景图像的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010589754.0A CN113837936A (zh) 2020-06-24 2020-06-24 一种全景图像的生成方法和装置

Publications (1)

Publication Number Publication Date
CN113837936A true CN113837936A (zh) 2021-12-24

Family

ID=78964597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010589754.0A Pending CN113837936A (zh) 2020-06-24 2020-06-24 一种全景图像的生成方法和装置

Country Status (1)

Country Link
CN (1) CN113837936A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187529A (zh) * 2022-06-24 2022-10-14 长春理工大学 一种使用连续全景图像测量车辆转向角度的方法及系统
CN115861080A (zh) * 2023-02-24 2023-03-28 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备
WO2023151214A1 (zh) * 2022-02-14 2023-08-17 上海闻泰信息技术有限公司 图像生成方法、系统、电子设备、存储介质和产品
CN117789152A (zh) * 2024-02-26 2024-03-29 上海励驰半导体有限公司 图像获得方法和设备、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
US20100067822A1 (en) * 2005-01-19 2010-03-18 U.S. Government As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
CN102096920A (zh) * 2010-12-31 2011-06-15 清华大学 基于标靶图像的亚像素配准方法
CN103544710A (zh) * 2013-11-08 2014-01-29 河南工业大学 一种图像配准方法
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
CN107274342A (zh) * 2017-05-22 2017-10-20 纵目科技（上海）股份有限公司 一种车底盲区填充方法及系统、存储介质、终端设备
CN108898548A (zh) * 2018-06-27 2018-11-27 维沃移动通信有限公司 一种全景图的显示方法和移动终端
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统
US20200023772A1 (en) * 2017-02-16 2020-01-23 Jaguar Land Rover Limited Apparatus and method for displaying information
US20200086791A1 (en) * 2017-02-16 2020-03-19 Jaguar Land Rover Limited Apparatus and method for displaying information

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191810A (ja) * 2001-12-26 2003-07-09 Denso Corp 車両周辺監視システム及び車両移動状態検出装置
US20100067822A1 (en) * 2005-01-19 2010-03-18 U.S. Government As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
CN102096920A (zh) * 2010-12-31 2011-06-15 清华大学 基于标靶图像的亚像素配准方法
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
CN103544710A (zh) * 2013-11-08 2014-01-29 河南工业大学 一种图像配准方法
US20200023772A1 (en) * 2017-02-16 2020-01-23 Jaguar Land Rover Limited Apparatus and method for displaying information
US20200086791A1 (en) * 2017-02-16 2020-03-19 Jaguar Land Rover Limited Apparatus and method for displaying information
CN107274342A (zh) * 2017-05-22 2017-10-20 纵目科技（上海）股份有限公司 一种车底盲区填充方法及系统、存储介质、终端设备
CN108898548A (zh) * 2018-06-27 2018-11-27 维沃移动通信有限公司 一种全景图的显示方法和移动终端
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN110636263A (zh) * 2019-09-20 2019-12-31 黑芝麻智能科技(上海)有限公司 全景环视图生成方法、车载设备及车载系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡德勇: "遥感图像处理原理和方法", 上海交通大学出版社, pages: 112 *
赵学增: "纳米尺度几何量和机械量测量技术", 30 June 2012, 哈尔滨工业大学出版社, pages: 112 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151214A1 (zh) * 2022-02-14 2023-08-17 上海闻泰信息技术有限公司 图像生成方法、系统、电子设备、存储介质和产品
CN115187529A (zh) * 2022-06-24 2022-10-14 长春理工大学 一种使用连续全景图像测量车辆转向角度的方法及系统
CN115861080A (zh) * 2023-02-24 2023-03-28 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备
CN117789152A (zh) * 2024-02-26 2024-03-29 上海励驰半导体有限公司 图像获得方法和设备、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113837936A (zh) 一种全景图像的生成方法和装置
US10891715B2 (en) Deep neural network for image enhancement
CN110874817B (zh) 图像拼接方法和装置、车载图像处理装置、设备、介质
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
US10007972B2 (en) Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness
KR102438078B1 (ko) 어라운드뷰 제공 장치 및 방법
CN103914810B (zh) 用于动态后视镜的图像超分辨率
CN113409200B (zh) 用于车辆中图像去模糊的系统和方法
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN112435223A (zh) 目标检测方法、装置及存储介质
Choi et al. Sharpness enhancement and super-resolution of around-view monitor images
CN111213179A (zh) 一种图像数据处理方法、装置及系统
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
Bull et al. Perceptual improvements for super-resolution of satellite imagery
CN114312577B (zh) 一种车辆底盘透视方法、装置及电子设备
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN107123092B (zh) 一种实时切换全景图像视角的方法和装置
Choi et al. Disparity Refinement Processor Architecture Utilizing Horizontal and Vertical Characteristics for Stereo Vision Systems
KR20230086921A (ko) 라이다 데이터 및 컬러 정보 매핑 방법 및 장치
CN117994765B (zh) 行车记录仪视频校正方法、装置、设备及存储介质
CN107818541B (zh) 俯视图像变换方法、装置以及汽车
CN117710762A (zh) 模型的训练方法、目标检测方法、终端及介质
WO2024041933A1 (en) Method and device for generating an outsider perspective image and method of training a neural network
CN115690733A (zh) 泊车地图构建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination