CN108198248A - 一种车辆底部图像3d显示方法 - Google Patents

一种车辆底部图像3d显示方法 Download PDF

Info

Publication number
CN108198248A
CN108198248A CN201810048881.2A CN201810048881A CN108198248A CN 108198248 A CN108198248 A CN 108198248A CN 201810048881 A CN201810048881 A CN 201810048881A CN 108198248 A CN108198248 A CN 108198248A
Authority
CN
China
Prior art keywords
vehicle
image
angle
point
angle point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810048881.2A
Other languages
English (en)
Inventor
邱芸
彭国强
胡振程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Software Technology (shanghai) Co Ltd
Original Assignee
New Software Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Software Technology (shanghai) Co Ltd filed Critical New Software Technology (shanghai) Co Ltd
Priority to CN201810048881.2A priority Critical patent/CN108198248A/zh
Publication of CN108198248A publication Critical patent/CN108198248A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车辆底部图像3D显示方法，所述方法包括以下步骤：S1，获取车辆的车身环视图像并将车身环视图像转换为3D图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像转换为3D图像；S6，将所述历史图像的3D图像填充到所述车身环视图像的3D图像中。在本发明的车辆底部3D显示方法中，实现了车辆底部图像的3D显示，使得驾驶人员更为方便、直观地观察到车辆周围的环境情况，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。

Description

一种车辆底部图像3D显示方法
技术领域
本发明涉及车身环视图像技术领域，尤其涉及一种车辆底部图像3D显示方法。
背景技术
传统的车辆的全景影像显示系统，其拼接融合后的效果只能显示车身周围摄像头拍摄的可见范围，不能对车身底部进行显示，使得用户无法实时得到车身底部的环境信息。
当前车辆全景环视系统主要采用4个摄像头分布于车身四周来采集车身图像，其具体实现原理为：将每个摄像头采集到的部分车身图像通过图像算法拼接成完整的车身周围图像后，和车身模型一起显示在用户屏幕上。然而在显示的时候，因为摄像头无法捕捉到车身模型底部区域的图像，导致车身模型底部出现无法显示的阴影区域，不仅显示效果差，也会影响驾驶人员在车辆行驶过程中对于位置的判断和路况的分析。
发明内容
本发明的目的在于解决上述技术问题，提供一种车辆底部图像3D显示方法，从而实现包括车辆底部的完整图像的3D实时显示。
为实现上述发明目的，本发明提供一种车辆底部图像3D显示方法，所述方法包括：S1，获取车辆的车身环视图像并将所述车身环视图像转换为3D图像；S2，估计所述车辆的运动轨迹；S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；S5，将所述历史图像转换为3D图像；S6，将所述历史图像的3D图像填充到所述车身环视图像的3D图像中，得到完整的3D图像。
优选地，所述步骤S2包括：S21，检测所述车身环视图像中的角点；S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；S24，基于所述第一运动信息，对所述角点进行筛选；S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。
优选地，所述步骤S21包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。
优选地，所述步骤S21还包括：如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；如果所述特征点的得分值最大，则将所述特征点作为所述角点。
优选地，所述步骤S23包括：通过所述车载传感器获取所述车辆的方向盘转角和车速信息；基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。
优选地，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。
优选地，步骤S24包括：S241，基于所述图像的移动量和转角设置预定值；S242，通过所述车辆运动模型估计所述角点在下一帧图像中的位置点；S243，确定所述跟踪点是否在以所述位置点为中心以所述预定值为半径的区域内；S244，如果所述跟踪点在所述区域内，则保留所述角点，否则删除所述角点。
优选地，在步骤S24之后并且在步骤S25之前，还可以使用LK光流跟踪法对筛选后的角点进行筛选，包括：使用LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；使用LK光流后向跟踪算法，确定所述正向跟踪角点在所述上一帧中的后向跟踪角点；计算所述上一帧中的所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。
优选地，在步骤S25中，使用RANSAC算法对筛选后的角点进行二次筛选，包括：从所述当前帧图像和所述上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。
优选地，通过RANSAC算法得到的所述最佳矩阵模型为：
通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(xc，yc)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离dx和沿竖直方向的运动距离dy：
结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：
优选地，步骤S26包括：分别根据所述第一运动信息和所述第二运动信息建立所述车辆的状态参数；设置卡尔曼滤波融合方程式的矩阵参数，将所述车辆的状态参数代入所述卡尔曼滤波融合方程式计算所述车辆的运动轨迹。
优选地，所述车身环视图像和所述历史图像使用相同的3D模型进行3D转换，并且所述车身环视图像和所述历史图像的3D转换包括以下步骤：S61，创建包含位移、缩放和旋转操作的模型矩阵，将图像的坐标变换为世界坐标；S62，创建观察矩阵，将所述世界坐标变换为观察空间坐标；S63，创建投影矩阵，将所述观察空间坐标变换为裁剪坐标；S64，进行视口变换，将所述裁剪坐标变换为屏幕坐标，从而得到3D图像。
优选地，对于所述完整的3D图像，设定用于变换所述完整的3D图像的显示视角的调整信息，并据所述调整信息，变换所述完整的3D图像的显示视角，其中，所述调整信息包括：所述3D图像中坐标轴x、y、z方向的旋转角度以及平移量。
根据本发明的车辆图像底部3D显示方法，通过获取车辆底部阴影的运动轨迹进而得到车辆底部的历史图像，并将车身环视图像的3D图像和底部历史图像的3D图像进行拼接，使得在3D环视图像中，车辆底部图像得以补全，从而保证了车辆底部图像也能够实时地显示，使得驾驶人员更为方便、直观的观察到车辆周围的环境情况，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。
此外，利用车载传感器获取的车辆运动信息得到车辆的移动距离和偏角并转换为图像的移动量和转角，然后通过对角点检测、筛选，筛选后基于剩余的角点计算出图像的运动信息，并最终将图像的移动量和转角与图像的运动信息进行融合，得到车辆的运动轨迹。相比于现有技术中单独使用车载传感器或图像光流法来估计车辆运动轨迹的方法而言，使得两种方法形成很好的互补，规避了各自方法的不足，使车辆不管在高速还是低速的情况下，都能以较高的精度对车辆的轨迹进行估计，即保证了对于车辆底部阴影图像运动轨迹估计的精确性，从而有利于保证获取的车辆底部历史图像的精确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示意性表示根据本发明的车辆底部图像3D显示方法的流程图；
图2是示意性表示车辆的摄像装置的设置图；
图3是示意性表示车身环视图像未补全时的示图；
图4是示意性表示估计车辆运动轨迹方法的流程图；
图5是示意性表示根据本发明的FAST角点检测方法检测角点的流程图；
图6是示意性表示FAST角点检测方法的示图；
图7(a)是示意性表示车辆双轨运动模型的示图；
图7(b)是示意性表示车辆单轨运动模型的示图；
图8是示意性表示本发明使用车辆单轨运动模型计算车辆的运动的示图；
图9是示意性表示角点筛选方法的流程图；
图10是示意性表示角点筛选方法的示图；
图11示意性表示采用LK光流跟踪法对角点进行筛选的示图；
图12是示意性表示截取黑色块历史图像填充到当前帧图像的示图；
图13是示意性表示补全后的3D车身环视图像的示图；
图14是示意性表示根据本发明的3D图像转换方法的流程图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
图1是示意性表示根据本发明的车辆底部图像3D显示方法的流程图。如图1所示，根据本发明的车辆底部图像3D显示方法包括以下步骤：S1，获取车辆的车身环视图像并将车身环视图像转换为3D图像；S2，估计车辆的运动轨迹；S3，根据车辆的运动轨迹，估计车身环视图像中的车底缺失图像的四个顶点的运动轨迹；S4，根据四个顶点的运动轨迹，获取车底缺失图像的历史图像；S5，将历史图像转换为3D图像；S6，将历史图像的3D图像填充到车身环视图像的3D图像中，得到完整的3D图像。
在本发明的方法中，首先在步骤S1中获取车辆的车身环视图像。具体地，获取车辆的车身环视图像需要通过安装在车身上的多个摄像头来采集车辆四周的图像，然和对采集到的图像进行标定拼接融合得到车身环视图像。
图2是示意性表示根据本发明的车辆的摄像装置的设置图。图3是示意性表示车身环视图像未补全时的示图。
如图2所示，可以在车身周围安装四个摄像头采集车身周围图像，其中L是左摄像头，F是前摄像头，R是右摄像头，B为后摄像头。通过对四个摄像头采集到的图像标定图像畸变参数，并矫正图像畸变参数，然后提取图像中的特征将多个图像拼接融合，生成车身环视图像。例如，如图3所示，生成的环视图像为车身周围图像的俯视图像。注意，安装多个摄像头以及如何获取车身环视图像可以采用现有技术的多种方式，本文将不再赘述。
此时生成的车身环视图像中存在黑色块，即车辆的底部无法得到实时的显示。为使得车底图像能够实时的显示，还需进一步的对车身环视图像进行处理。在获取车身环视图像之后，接着进行步骤S2，估计车辆的运动轨迹。
图4是示意性表示根据本发明估计车辆运动轨迹方法的流程图。如图4所示，估计车辆的运动运动轨迹可以包括以下步骤：S21，检测车身环视图像中的角点；S22，通过LK跟踪光流法对角点进行跟踪，获取角点在下一帧图像中的跟踪点；S23，通过车载传感器和车辆运动模型获取车辆的第一运动信息；S24，基于第一运动信息，对角点进行筛选；S25，对角点进行二次筛选得到最佳矩阵模型，通过矩阵模型计算车辆的第二运动信息；S26，将第一运动信息和第二运动信息进行卡尔曼滤波融合，得到车辆的运动轨迹。
具体来说，根据本发明的一种实施方式，在步骤S21中，可以采用FAST角点检测的方法来检测车身环视图像中的角点。
图5是示意性表示根据本发明的FAST角点检测方法检测角点的流程图。图6是示意性表示FAST角点检测方法的示图。
如图5所示，采用FAST角点检测方法检测车身环视图像中的角点可以包括：S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；S212，如果多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将被测像素点作为特征点；S213，判断以特征点为中心的邻域内是否只有这一个特征点，如果只有一个特征点，则将该特征点作为角点。以下以图6为例具体说明FAST角点检测方法。
具体如图6所示，以被测像素点p为中心，在半径为3(该半径可根据需要进行设置)的圆形邻域内，共有16个像素点(p1-p16)。设定一个阈值，分别计算像素点p1-p16与被测像素点P之间的像素差的绝对值，如果16个像素点与被测像素点p的像素差的绝对值中至少有9个像素差的绝对值大于设定的阈值，则将被测像素点p作为特征点。否则，被测像素点p不是特征点。然后，再对下一个像素点进行检测。
在具体的角点检测中，也可以首先计算p与p1、p9的像素差的绝对值，如果两个值都小于阈值，则p不是角点。如果两个值中至少一个大于阈值，则计算p与p1、p9、p5、p13的像素差的绝对值，如果有三个绝对值超过阈值，则再计算p与p1-p16的像素差的绝对值。如果有9个绝对值大于阈值，则将p确定为特征点。
在确定特征点之后，还需要确定以像素点p为中心的邻域(例如，3×3，5×5)内是否存在多个特征点。如果存在，则计算每个特征点的得分值，如果被测像素点p的得分值最大，则将被测像素点p作为角点。具体地，计算每个特征点的得分值的方法是：计算特征点与邻域内的多个像素点的像素差的绝对值得总和，例如，p与p1-p16的像素差的绝对值的总和。如果以像素点p为中心的邻域内只有像素点p一个特征点，则将该特征点p作为角点。
接着，进行到步骤S22，通过LK跟踪光流法对角点进行跟踪，获取角点在下一帧图像中的跟踪点，然后进行到步骤S23，通过车载传感器和车辆运动模型获取车辆的第一运动信息。根据得到的第一运动信息，得到车辆的移动距离和偏角。车辆传感器可以包括方向盘转角传感器和速度传感器。具体地，步骤S23可以包括：通过方向盘转角传感器和速度传感器获取车辆的方向盘转角和车速信息；基于车辆运动模型、方向盘转角、车速信息计算车辆的转弯半径；基于得到的车辆转弯半径、方向盘转角、车速信息计算车辆的移动距离和偏角。
以下参照图7和图8进行具体的说明。图7是示意性表示车辆双轨运动模型和车辆单轨运动模型的示图。图8是示意性表示本发明使用车辆单轨运动模型计算车辆的运动的示图。
在本实施方式中，车辆运动模式为基于单轨的车辆运动模型。在图7(a)所示的双轨运动模型中，可以将双轨运动的两前轮近似处理为一个处于两前轮中间位置(图示W/2处，W表示左右轮的间距)的中间位置轮，并以此位置作为车辆前轮，同理将两后轮近似处理为处于两后轮的中间位置的一个中间位置轮，并以此位置作为车辆后轮，从而得到图7(b)所示的单轨模型，其中L表示前后轮的距离。
图8中示出了车辆在k时刻和k+1时刻的单轨模型示图。图中的R1和R2分别是后轮和前轮的转弯半径，图中的虚线框是车辆在k+1时刻的单轨模型位置，实线框是车辆在k时刻的单轨模型位置，δ表示的是方向盘的转角，γ表示的是车辆的偏角。
现在要通过计算获取车辆的移动距离和偏角，实际就是计算从车辆位置(x，y)k到车辆位置(x，y)k+1的距离以及偏角γ的值。计算时首先要计算出车辆前轮和后轮的转弯半径R2和R1：
然后，基于得出的转弯半径、方向盘转角以及车速计算车辆的移动距离dx、dy和车身偏角γ，计算公式如下：
γ＝v*dt/R2
其中v表示车辆速度，dt表示车辆运动时间，d表示车辆移动距离，dx表示车辆在x方向上的移动距离，dy表示车辆在y方向上的移动距离。
在计算出车辆的移动距离和偏角后，根据世界坐标系和图像坐标系的对应关系，将车辆的移动距离和偏角转换为图像的移动量和转角。具体地，首先明确世界坐标系和图像坐标系的对应关系，即明确图像经过标定后每像素所代表的实际
距离a，然后计算出相对应的图像信息的移动量Dx、Dy和转角θ：
Dx＝dx/a
Dy＝dy/a
θ＝γ
在通过车载传感器和车辆运动模型获取到车辆的第一运动信息之后，对之前检测的角点可以进行筛选。以下参照图9至图10进行详细描述。
图9是示意性表示角点筛选方法的流程图。图10是示意性表示角点筛选方法的示图。图9和图10所示的筛选过程是角点的第一次筛选。
如图9所示，角点的第一次筛选可以包括：S241，基于图像的移动量和转角设置预定值；S242，通过车辆运动模型估计角点在下一帧图像中的位置点；S243，确定步骤S22中获取的跟踪点是否在以位置点为中心以预定值为半径的区域内；S244，如果跟踪点在该区域内，则保留角点，否则删除角点。以下以图10为例具体说明角点筛选方法。其中，在步骤S241中，本领域技术人员基于噪声(波动)等因素并结合经验来设置用于筛选角点的预定值。
具体如图10所示，P0表示上一帧图像的角点，r表示基于图像的移动量和转角设置的预定值，P1表示通过车辆运动模型估计角点P0在下一帧图像中的位置点，P2表示根据步骤S3获得的跟踪点，判断跟踪点P2是否在以P1为中心以r为半径的区域内，如图10所示，跟踪点P2不在上述区域内，则删除角点P0，如果跟踪点P0在区域内，则保留角点P0。
此后，在根据本发明的车辆底部图像3D显示方法中，还需要对角点进行二次筛选，得到最佳矩阵模型，由此提高车辆运行轨迹估计的精度。当然，为进一步提高通过角点得到的最佳矩阵模型的精度，可以在二次筛选之前使用其他方法对角点先进行筛选，即在步骤S24之后并且在步骤S25之前还可以对角点进行多次筛选。
参照图11，例如可以在步骤S24之后并且在步骤S25之前使用LK光流跟踪法对角点进行筛选，具体过程可以为：首先使用金字塔LK光流正向跟踪算法，确定上一帧中的角点(例如，图11中的T0)在当前帧图像中的正向跟踪角点(例如，图11中的T01)；然后使用金字塔LK光流后向跟踪算法，确定正向跟踪角点(T01)在上一帧中的后向跟踪角点(例如，图11中的T10)；最后计算角点(T0)与后向跟踪角点(T10)之间的距离，如果两者之间的距离小于预定阈值d，则将角点保留进行下一步骤。如果两者之间的距离大于预定阈值d，则将此角点去除。注意，如何利用LK光流跟踪算法得到正向跟踪角点和后向跟踪角点对于本领域技术人员来说是公知的，因此本文不再赘述。
在基于车辆的第一运动信息或基于车辆的第一运动信息以及LK跟踪光流对角点进行筛选后，使用RANSAC算法对角点进行二次筛选，可以包括以下步骤：从当前帧图像和上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重新选取3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于设定的阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将最优内点集对应的变换矩阵模型作为最佳矩阵模型。
总的来说，角点的二次筛选是通过RANSAC算法寻找到一个最佳变换矩阵模型，使得满足该变换矩阵模型的角点最多。具体地，可以假定变换矩阵H的定义如下：
假设当前帧正向跟踪角点坐标为(x’，y’)，上一帧匹配的角点坐标为(x，y)，则有：
由上述矩阵可以看出，一对匹配角点可以构造2个方程，但矩阵有6个未知参数，因此至少要3对匹配角点，通过3对匹配角点即可求出变换矩阵H。然后按照下列关系式将之前通过LK光流法筛选的其他的匹配角点带入到矩阵中计算投影误差。
其中t表示设定阈值，如果角点对满足上述关系式则将角点对加入内点集。然后重复上述选择角点和计算投影误差的步骤，得到多个内点集。通过比较多个内点集中的角点数量，将含有角点数量最多的内点集作为最优内点集。例如，通过某4对角点对得到矩阵模型H1，满足矩阵模型H1的内点集中具有的角点的数量最多，即H1矩阵模型为最佳矩阵模型。注意，如何利用RANSAC算法来得到矩阵模型H对于本领域技术人员来说是公知的，因此这里不再赘述。
此后，基于通过RANSAC算法对角点筛选后得到的最佳矩阵模型计算车辆第二运动信息。通过上述最佳矩阵模型H和车身环视图像中车辆的后轴中点处的坐标(xc，yc)，可以计算得出车辆转角δ以及车身环视图像中车辆沿水平方向的运动距离dx、沿竖直方向的运动距离dy。
具体来说，众所周知车辆在运动过程中，转弯时绕着两后轮的中点(后轴中点)处做旋转运动，由于车身环视图像中车辆模型大小与车辆的实际大小存在一定的对应关系，即车身环视图像中的车辆两后轮的轮间距与车辆实际的两后轮的轮间距存在一定的比例关系，由此可以得到车身环视图像中车辆后轴中心处的坐标(xc，yc)。
另外，环视图像中上一帧和当前帧图像的位置关系也可以用以下变换矩阵模型H1来表示：
假设在车身环视图像中，车辆的转角为δ，车辆的水平移动距离为dx，车辆的垂直移动距离为dy(注意：这里的距离都是像素距离)，则有：
x1＝scale*cos(δ)
x2＝-scale*sin(δ)
x3＝(dx-xc)*r1+(dy-yc)*x2+xc
x4＝scale*cos(δ)
x5＝scale*sin(δ)
x6＝(dx-xc)*r4+(dy-yc)*x5+yc
上述6个公式中scale是一个尺度变换因子。比较H和H1可以知道,其实车身环视图像的上一帧和当前帧之间的关系可以由RANSAC算法直接求解出来。也就是说，x1…x6与r1…r6是相等的。因此，可以将r1-r6代入上述公式内计算出车辆转角δ、车身环视图像中车辆的水平移动距离dx，车辆的垂直移动距离dy：
此后，结合前后两帧图像之间的时间间隔Δt和车身环视图像中每像素所代表的实际距离pixel_d，可以计算出车辆的运动距离D、运动速度V：
此外，需要指出的是，除了通过最佳矩阵模型计算车辆的转角信息之外，还可以根据最优内点集中的角点来得到车辆的转角信息，计算方式如下：在上一帧中选取两个距离相距较远的角点，比如A(x0，y0)，B(x1，y1)，如果两个角点的距离AB大于预定值d，则计算AB直线的角度α。同时在当前帧中计算对应直线A’B’直线的角度β，其中A’是与A匹配的正向跟踪角点，B’是与B匹配正向跟踪角点。车辆的转角为δ＝|β-α|。当存在多个相距较远的角点AB时，此时会求出多个车辆转角δ，主要的处理方法是将多个转角δ进行加权平均，将平均值作为最后的车辆转角。
需要特别说明的是，在本发明的技术方案中，随着车辆的行进，之前检测到的图像中角点的数量会减少，因为检测出的角点可能已经不在下一帧图像中。因此，会预先设置一个角点数量的阈值，当某一帧图像中的角点数量小于该阈值时，在保留现有角点的基础上，再次进行角点检测、角点筛选等操作，从而增加新的角点，进而保证运动参数估计的准确性。
此后，将步骤S23和步骤S25得出的第一运动信息和第二运动信息进行卡尔曼滤波融合得到车辆的运动轨迹。卡尔曼滤波融合主要由两部分组成，即先验部分和后验部分。在本发明的实施例中，先验部分的数据是通过车辆运动模型得到的，即上面所述的第一运动信息，后验部分的数据是通过角点得到的，即上面所述的第二运动信息。
具体可以包括：分别根据第一运动信息和第二运动信息建立车辆的状态参数；设置卡尔曼滤波融合方程式的矩阵参数(例如，状态转移矩阵、观测矩阵、预测估计的协方差矩阵、鼓励噪声的协方差矩阵、测量噪声协方差矩阵等)，将车辆的状态参数代入卡尔曼滤波融合方程式计算车辆的运动轨迹。
注意，卡尔曼滤波融合中使用的矩阵参数、方程式以及具体的融合计算对于本领域的技术人员来说是公知的，因此不再赘述。
至此完成步骤S2的内容，接着进行到步骤S3，根据得到的车辆运动轨迹，估计车身环视图像中的车底缺失图像的四个顶点的运动轨迹。但应该注意，本发明并不限于使用上述估计运动轨迹的方法，本发明也可以采用本领域的任何其他运动轨迹方法来实现车底图像的补全。
以图3为例，根据车辆的运动轨迹能够获取到图3中所示黑色块四个顶点的运动轨迹信息，然后根据黑色块四个顶点的运动轨迹获取车底缺失图像的历史图像，即能够得到当前帧图像中的黑色块在历史影像下的图片信息，历史影像可以通过程序进行保存。
此后，将车辆底部的历史图像(黑色块的历史图片信息)转换为3D图像，并将转换后的3D图像填充到当前帧车身环视图像的3D图像中进行拼接融合。即在车辆行驶过程中，不断按照当前预测的黑色块的位置，从上一帧图像中截取黑色块的历史图像，并进行3D转换以及填充到当前帧的3D图像中进行拼接融合。
图12是示意性表示截取黑色块历史图像填充到当前帧图像的示图。图13是示意性表示补全后的3D车身环视图像的示图。
如图12所示，图中黑色块部分表示当前帧车辆底部缺失图像，按照上述方式估计出黑色块四个顶点的运动轨迹，获取黑色块的历史图像，截取图中虚线框部分，然后进行3D转换并将3D图像填充到车身环视3D图像的当前帧的黑色块区域中，得到当前帧图像与黑色块历史图像的组合，具体的拼接融合过程可采用本领域技术人员公知的方式进行，本文将不再赘述。
在具体的拼接过程中，历史图像的四个顶点的2D图像坐标可通过相应的scale变换转换为3D模型中的真实世界坐标，即这个历史图像放置的具体补图位置。例如，假如其中一个顶点的图像坐标为(image_x，image_y)且2D和3D之间的scale为25mm(即，2D中一个像素代表实际世界坐标系下的25mm)，那么该点在3D模型上的世界坐标就为(image_x*25，image_y*25)，单位为mm。
如此，在车辆运动过程中，按照上述方法实时显示包括了车辆底部的车身环视3D图像，显示结果参照图13所示。
图14是示意性表示根据本发明的3D图像转换方法的流程图。应该注意，车身环视图像和历史图像使用相同的3D模型进行3D转换以确保拼接的准确性，并且如图14所示，车身环视图像和历史图像的3D转换可以包括以下步骤：S61，创建包含位移、缩放和旋转操作的模型矩阵，将拼接后的完整图像的坐标变换为世界坐标；S62，创建观察矩阵，将世界坐标变换为观察空间坐标；S63，创建投影矩阵，将观察空间坐标变换为裁剪坐标；S64，进行视口变换，将裁剪坐标变换为屏幕坐标，从而得到3D图像。
具体来说，首先需要创建一个包含位移、缩放和旋转操作的模型矩阵，通过图像中顶点坐标去乘以这个模型矩阵，将所述的顶点坐标变换到世界坐标。然后创建一个观察矩阵，使世界坐标系变换为观察空间坐标，让每一个顶点坐标都是从摄像机或观察者的角度进行观察。接着创建一个投影矩阵，通过投影矩阵将观察空间坐标投影到裁剪坐标，将顶点坐标处理至-1.0至1.0范围内，判断会出现在屏幕上的顶点坐标。最后，进行一个视口切换(Viewport Transform)过程，将裁剪坐标变换为屏幕坐标，即视口切换将位于-1.0至1.0范围内的坐标变换到由glViewport函数所定义的坐标范围内，然后将变换出来的坐标送至光栅器，将其转化为片段。需要指出的是，各个模型矩阵的建立和坐标的转换过程为本领域技术人员公知常识，具体矩阵内的数值根据不同的需求，参数会进行各种不同的变化，但原理上都是在基础单位矩阵上加入旋转、缩放因子后与原顶点去相乘，并且3D模式有很多种，各个不同的模型参数也会不同，因此在此不做赘述。
在根据本发明的车辆底部图像3D显示方法中，对于最终生成的3D图像，可以设定变换3D图像显示视角的调整信息，调整信息包括：3D图像中坐标轴x、y、z方向的旋转角度以及平移量。在实际的应用中，可以根据不同需求，依据调整信息对3D图像的显示视角进行切换。
具体来说，首先通过几何模型库建立3D图像中车辆模型和环视图实时图像的初始位置的基础矩阵。初始位置即为没有进行视角变换时，3D图像中显示的车辆模型和环视图像。基础矩阵可以表示为：
其中，mview表示为初始位置的基础矩阵。
选取不同位置作为观察视角时，在3D图像中，依据算法通过对显示的实时图像和车辆模型进行调整。在调整过程中，需要对实时图像进行x、y、z方向的旋转角度以及平移量。其中，平移量即为视点相对于坐标轴原点的实际偏移量值。在上述调整过程中，需要先进行实时图像和车辆模型进行旋转变换。其对x方向的旋转矩阵为：
其中，mx表示为绕X轴旋转角度θx的旋转矩阵；
其对y方向的旋转矩阵为：
其中，my表示为绕Y轴旋转角度θy的旋转矩阵；
其对z方向的旋转矩阵为：
其中，mz表示为绕Z轴旋转角度θz的旋转矩阵；
通过上述算法对实时图像和车辆模型进行旋转处理后，需要进一步对实时图像和车辆模型进行平移变换。平移变换需要通过平移矩阵完成，其平移矩阵具体为：
其中，offsetx、offsety、offsetz分别为沿坐标轴x、y、z方向上的平移量值。
在根据本发明的方法中，上述对实时图像和车辆模型进行旋转变换和平移变换的过程中，还需要设置步长step。通过设置步长step就可以调整实时图像的显示视角的变换速度(即从上一个视角到下一个视角的变换速度)。此外，显示视角的变换速度还包括角度变换差Δθ，角度变换差Δθ具体为：Δθ＝[θx2-θx1，θy2-θy1，θz2-θz1]；
其中，θx2-θx1表示从上一个视角到下一个视角绕X轴旋转的角度的变化值。θy2-θy1表示从上一个视角到下一个视角绕Y轴旋转的角度的变化值。θz2-θz1表示从上一个视角到下一个视角绕Z轴旋转的角度的变化值。
进一步的，对于需要进过多个步长调整的视角变换，则需要对x、y、z方向的旋转角度以及平移量进一步变换。以第i个步长的视角变换为例，其对x方向的旋转矩阵进一步变换为：
其对y方向的旋转矩阵进一步变换为：
其对z方向的旋转矩阵进一步变换为：
通过上述算法对实时图像和车辆模型进行i个步长旋转处理后，需要进一步对实时图像和车辆模型进行i个步长进行平移变换。在进行i个步长的平移变换过程中，还需要确定平移变换速度。平移变换速度主要由平移变换差Δoffset确定，平移量变换差Δoffset具体为：
Δoffset＝[offsetx2-offsetx1，offsety2-offsety1,offsetz2-offsetz1]，
其中，offsetx2-offsetx1表示从上一个视角到下一个视角沿X轴平移量的变化值。offsety2-offsety1表示从上一个视角到下一个视角沿Y轴平移量的变化值。offsetz2-offsetz1表示从上一个视角到下一个视角沿Z轴平移量的变化值。
进一步的，经过i步旋转变换的实时图像和车辆模型进行平移变换。平移变换需要通过平移矩阵完成，则通过i个步长的平移变换的平移矩阵具体为：
根据本发明的方法，在对实时图像和车辆模型进行平移变换的过程中，可以进行360°可变。当选取的两个视角之间的夹角θ超过180°时，可以根据需求选择旋转方向，可旋转的角度可以为θ或者360°-θ。通过这种设置，可以使驾驶员方便查看需要快速了解车身的各个角落的实时图像。同时，还可方便驾驶员选择从夹角小的一边做旋转变换。
根据本发明的车辆图像底部3D显示方法，通过获取车辆底部阴影的运动轨迹进而得到车辆底部的历史图像，然后将历史图像转换为3D图像并将历史图像的3D图像填充到当前帧图像的3D图像中进行拼接融合，最终得到包括有车辆底部的完整3D图像，使得在3D环视图像中，车辆底部图像得以补全，使得驾驶人员更为方便、直观地观察到车辆周围的环境情况，有助于驾驶人员在车辆行驶过程中对位置或路况的分析。
此外，利用车载传感器获取的车辆运动信息得到车辆的移动距离和偏角并转换为图像的移动量和转角，然后通过对角点检测、筛选，筛选后基于剩余的角点计算出图像的运动信息，并最终将图像的移动量和转角与图像的运动信息进行融合，得到车辆的运动轨迹。相比于现有技术中单独使用车载传感器或图像光流法来估计车辆运动轨迹的方法而言，使得两种方法形成很好的互补，规避了各自方法的不足，使车辆不管在高速还是低速的情况下，都能以较高的精度对车辆的轨迹进行估计，即保证了对于车辆底部阴影图像运动轨迹估计的精确性，从而有利于保证获取的车辆底部历史图像的精确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种车辆底部图像3D显示方法，其特征在于，所述方法包括以下步骤：
S1，获取车辆的车身环视图像并将所述车身环视图像转换为3D图像；
S2，估计所述车辆的运动轨迹；
S3，根据所述车辆的运动轨迹，估计所述车身环视图像中的车底缺失图像的四个顶点的运动轨迹；
S4，根据所述四个顶点的运动轨迹，获取所述车底缺失图像的历史图像；
S5，将所述历史图像转换为3D图像；
S6，将所述历史图像的3D图像填充到所述车身环视图像的3D图像中，得到完整的3D图像。
2.根据权利要求1所述的车辆底部图像3D显示方法，其特征在于，所述步骤S2包括：
S21，检测所述车身环视图像中的角点；
S22，通过LK跟踪光流法对所述角点进行跟踪，获取所述角点在下一帧图像中的跟踪点；
S23，通过车载传感器和车辆运动模型获取所述车辆的第一运动信息；
S24，基于所述第一运动信息，对所述角点进行筛选；
S25，对所述角点进行二次筛选得到最佳矩阵模型，通过所述矩阵模型计算所述车辆的第二运动信息；
S26，将所述第一运动信息和所述第二运动信息进行卡尔曼滤波融合，得到所述车辆的运动轨迹。
3.根据权利要求2所述的车辆底部图像3D显示方法，其特征在于，所述步骤S21包括：
S211，分别计算被测像素点与预定半径上的多个像素点之间的多个像素差的绝对值；
S212，如果所述多个像素差的绝对值中有预定数量的像素差的绝对值大于阈值，则将所述被测像素点作为特征点；
S213，判断所述特征点为中心的邻域内是否只有所述特征点这一个特征点，如果只有一个特征点，则将所述特征点作为所述角点。
4.根据权利要求3所述的车辆底部图像3D显示方法，其特征在于，所述步骤S21还包括：
如果所述特征点为中心的邻域内存在多个特征点，则计算每个特征点的得分值，所述得分值为所述特征点与所述多个像素点之间的多个像素差的绝对值的总和；
如果所述特征点的得分值最大，则将所述特征点作为所述角点。
5.根据权利要求2所述的车辆底部图像3D显示方法，其特征在于，所述步骤S23包括：
通过所述车载传感器获取所述车辆的方向盘转角和车速信息；
基于所述车辆运动模型和所述方向盘转角计算出所述车辆的转弯半径；
基于所述转弯半径、所述方向盘转角、所述车速信息计算所述车辆的移动距离和偏角。
6.根据权利要求5所述的车辆底部图像3D显示方法，其特征在于，在计算出所述车辆的移动距离和偏角之后，根据世界坐标系和图像坐标系的关系，将所述车辆的移动距离和偏角转换为图像的移动量和转角。
7.根据权利要求6所述的车辆底部图像3D显示方法，其特征在于，步骤S24包括：
S241，基于所述图像的移动量和转角设置预定值；
S242，通过所述车辆运动模型估计所述角点在下一帧图像中的位置点；
S243，确定所述跟踪点是否在以所述位置点为中心以所述预定值为半径的区域内；
S244，如果所述跟踪点在所述区域内，则保留所述角点，否则删除所述角点。
8.根据权利要求2所述的车辆底部图像3D显示方法，其特征在于，在步骤S24之后并且在步骤S25之前，还可以使用LK光流跟踪法对筛选后的角点进行筛选，包括：
使用LK光流正向跟踪算法，确定上一帧中的所述角点在当前帧图像中的正向跟踪角点；
使用LK光流后向跟踪算法，确定所述正向跟踪角点在所述上一帧中的后向跟踪角点；
计算所述上一帧中的所述角点与所述后向跟踪角点之间的距离，如果所述距离小于预定阈值，则保留所述角点。
9.根据权利要求2或8所述的车辆底部图像3D显示方法，其特征在于，在步骤S25中，使用RANSAC算法对筛选后的角点进行二次筛选，包括：
从所述当前帧图像和所述上一帧图像中随机选取3对匹配的角点，这3对角点不共线，得到变换矩阵模型；
计算其他所有角点与所述变换矩阵模型的投影误差，如果投影误差小于设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；
重新选择3对匹配的角点，得到新的变换矩阵模型，并计算其他所有角点与该变换矩阵模型的投影误差，如果投影误差小于所述设定阈值，则将相应角点对加入对应于该变换矩阵模型的内点集；
重复上述选取匹配角点和计算投影误差的步骤，得到相对应的多个内点集；
选择多个内点集中含有角点数量最多的内点集作为最优内点集，并将所述最优内点集对应的变换矩阵模型作为最佳矩阵模型。
10.根据权利要求9所述的车辆底部图像3D显示方法，其特征在于，通过RANSAC算法得到的所述最佳矩阵模型为：
通过所述最佳矩阵模型H和所述车身环视图像中车辆的后轴中点处的坐标(xc，yc)，计算得到车辆转角δ以及所述车身环视图像中车辆沿水平方向的运动距离dx和沿竖直方向的运动距离dy：
结合两帧图像之间的时间差Δt和所述车身环视图像中每像素所代表的实际距离pixel_d，计算得出所述车辆的运动距离D和运动速度V：
11.根据权利要求2所述的车辆底部图像3D显示方法，其特征在于，步骤S26包括：
分别根据所述第一运动信息和所述第二运动信息建立所述车辆的状态参数；
设置卡尔曼滤波融合方程式的矩阵参数，将所述车辆的状态参数代入所述卡尔曼滤波融合方程式计算所述车辆的运动轨迹。
12.根据权利要求1所述的车辆底部图像3D显示方法，其特征在于，所述车身环视图像和所述历史图像使用相同的3D模型进行3D转换，并且所述车身环视图像和所述历史图像的3D转换包括以下步骤：
S61，创建包含位移、缩放和旋转操作的模型矩阵，将图像的坐标变换为世界坐标；
S62，创建观察矩阵，将所述世界坐标变换为观察空间坐标；
S63，创建投影矩阵，将所述观察空间坐标变换为裁剪坐标；
S64，进行视口变换，将所述裁剪坐标变换为屏幕坐标，从而得到3D图像。
13.根据权利要求1所述的车辆底部图像3D显示方法，其特征在于，对于所述完整的3D图像，设定用于变换所述完整的3D图像的显示视角的调整信息，并据所述调整信息，变换所述完整的3D图像的显示视角，
其中，所述调整信息包括：所述完整的3D图像中坐标轴x、y、z方向的旋转角度以及平移量。
CN201810048881.2A 2018-01-18 2018-01-18 一种车辆底部图像3d显示方法 Withdrawn CN108198248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810048881.2A CN108198248A (zh) 2018-01-18 2018-01-18 一种车辆底部图像3d显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810048881.2A CN108198248A (zh) 2018-01-18 2018-01-18 一种车辆底部图像3d显示方法

Publications (1)

Publication Number Publication Date
CN108198248A true CN108198248A (zh) 2018-06-22

Family

ID=62589669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810048881.2A Withdrawn CN108198248A (zh) 2018-01-18 2018-01-18 一种车辆底部图像3d显示方法

Country Status (1)

Country Link
CN (1) CN108198248A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN112514363A (zh) * 2019-12-17 2021-03-16 深圳市大疆创新科技有限公司 图像传输系统及方法、控制装置、可移动平台
CN112793509A (zh) * 2021-04-14 2021-05-14 天津所托瑞安汽车科技有限公司 一种盲区监测方法及装置、设备、介质
CN114390323A (zh) * 2022-01-04 2022-04-22 亿咖通(湖北)技术有限公司 一种车载影像的传输方法及电子设备
CN115209037A (zh) * 2021-06-30 2022-10-18 惠州华阳通用电子有限公司 一种车辆底部透视方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112514363A (zh) * 2019-12-17 2021-03-16 深圳市大疆创新科技有限公司 图像传输系统及方法、控制装置、可移动平台
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN111275750B (zh) * 2020-01-19 2022-05-13 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN112793509A (zh) * 2021-04-14 2021-05-14 天津所托瑞安汽车科技有限公司 一种盲区监测方法及装置、设备、介质
CN115209037A (zh) * 2021-06-30 2022-10-18 惠州华阳通用电子有限公司 一种车辆底部透视方法及装置
CN114390323A (zh) * 2022-01-04 2022-04-22 亿咖通(湖北)技术有限公司 一种车载影像的传输方法及电子设备
CN114390323B (zh) * 2022-01-04 2023-12-01 亿咖通(湖北)技术有限公司 一种车载影像的传输方法及电子设备

Similar Documents

Publication Publication Date Title
CN108198248A (zh) 一种车辆底部图像3d显示方法
US11007934B2 (en) Method for dynamically calibrating a vehicular camera
CN108257092A (zh) 一种车身环视图像底部显示方法
CN107229908B (zh) 一种车道线检测方法
CN110341597B (zh) 一种车载全景视频显示系统、方法及车载控制器
CN109813335B (zh) 数据采集系统的标定方法、装置、系统及存储介质
CN108280847A (zh) 一种车辆运动轨迹估计方法
JP5057184B2 (ja) 画像処理システム及び車両制御システム
US7283646B2 (en) Image processing system using rotatable surveillance camera
CN106054191A (zh) 车轮检测和其在物体跟踪以及传感器配准中的应用
CN107284455B (zh) 一种基于图像处理的adas系统
CN106054174A (zh) 使用雷达和摄像机用于横越交通应用的融合方法
JP3541855B2 (ja) ３次元データ抽出方法及び装置
CN108909625B (zh) 基于全景环视系统的车底地面显示方法
US20050030378A1 (en) Device for image detecting objects, people or similar in the area surrounding a vehicle
CN103761737A (zh) 基于稠密光流的机器人运动估计方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP2007318460A (ja) 車両上方視点画像表示装置
CN114764138A (zh) 多传感器顺序校准系统
CN110223354A (zh) 一种基于sfm三维重建的相机自标定方法
CN107209930A (zh) 环视图像稳定方法和装置
CN116443028A (zh) 头部姿态数据采集系统及方法
JP2007280387A (ja) 物体移動の検出方法及び検出装置
Schönbein et al. Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems.
Van Hamme et al. Robust visual odometry using uncertainty models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 Shanghai Pudong New Area free trade trial area, 1 spring 3, 400 Fang Chun road.

Applicant after: Shanghai Sen Sen vehicle sensor technology Co., Ltd.

Address before: 201210 301B room 560, midsummer Road, Pudong New Area Free Trade Zone, Shanghai

Applicant before: New software technology (Shanghai) Co., Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20180622

WW01 Invention patent application withdrawn after publication