CN113763303A - 基于双目立体视觉的实时地面融合方法、系统和智能终端 - Google Patents

基于双目立体视觉的实时地面融合方法、系统和智能终端 Download PDF

Info

Publication number
CN113763303A
CN113763303A CN202111324098.2A CN202111324098A CN113763303A CN 113763303 A CN113763303 A CN 113763303A CN 202111324098 A CN202111324098 A CN 202111324098A CN 113763303 A CN113763303 A CN 113763303A
Authority
CN
China
Prior art keywords
current frame
real
frame
time ground
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111324098.2A
Other languages
English (en)
Other versions
CN113763303B (zh
Inventor
肖志鹏
王欣亮
裴姗姗
孙钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202111324098.2A priority Critical patent/CN113763303B/zh
Publication of CN113763303A publication Critical patent/CN113763303A/zh
Application granted granted Critical
Publication of CN113763303B publication Critical patent/CN113763303B/zh
Priority to US17/658,973 priority patent/US20230147557A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开了一种基于双目立体视觉的实时地面融合方法、系统和智能终端，所述方法包括：S1：获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；S2：对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；S3：以目标区域内的每一帧依次作为所述当前帧重复步骤S2，以完成路面融合。该方法利用前后帧的转换和融合，以便在车辆辅助驾驶过程中弥补视差图投影造成的空洞，从而能够输出较为准确的高度数据，进而提高了车辆舒适性。

Description

基于双目立体视觉的实时地面融合方法、系统和智能终端
技术领域
本发明涉及自动驾驶辅助技术领域，具体涉及一种基于双目立体视觉的实时地面融合方法、系统和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。在辅助驾驶过程中，路面高度是重要的调整参数之一，通过路面高度检测能够感知车辆行驶路面高度，从而为车身悬架的自适应调整提供数据支持。但是，原始的双目视差图反投影到空间点云会存在空间上的空洞，这种空洞会随着距离越来越明显，导致路面高度的检测准确性较低，从而影响到车辆舒适性。
因此，提供一种基于双目立体视觉的路面高度检测方法，以期在车辆辅助驾驶过程中能够提供较为准确的高度数据，从而为车身悬架的自适应调整提供数据支持，进而提高车辆舒适性。
发明内容
为此，本发明实施例提供一种基于双目立体视觉的实时地面融合方法、系统和智能终端，以期在车辆辅助驾驶过程中能够弥补视差图投影造成的空洞，从而输出较为准确的高度数据，进而提高车辆舒适性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目立体视觉的实时地面融合方法，所述方法包括：
S1：获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；
S2：对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；
S3：以目标区域内的每一帧依次作为所述当前帧重复步骤S2，以完成路面融合。
进一步地，根据以下公式，将目标区域的视差图转换为三维点云：
Figure 560643DEST_PATH_IMAGE001
其中，u, v代表图像上的一个像素坐标；
disparity代表着对应像素的视差值；
f代表着相机的焦距；
cx, cy代表着左相机光心坐标；
c’x代表着右相机光心坐标；
baseline代表着左右相机之间的距离；
X, Y, Z, W代表着三维坐标空间的齐次坐标。
进一步地，根据以下公式，对当前帧和与其相邻的后一帧进行位姿转换：
Figure 698363DEST_PATH_IMAGE002
其中，Pcamera表示相机坐标系下三维空间坐标；
P’world表示位姿变换后在世界坐标系下坐标；
R为两帧之间的旋转矩阵；
t为两帧之间的平移矩阵。
进一步地，所述旋转矩阵和所述平移矩阵通过以下步骤获取：
分别提取两帧的特征点，并对提取的特征点进行两帧匹配；
获得匹配关系，并计算两帧数据之间的本质矩阵；
随机选取N个点对使用RANSAC算法计算，得到最优的本质矩阵；
对最优的本质矩阵进行SVD分解，以获得位姿转换时的所述旋转矩阵和所述平移矩阵。
进一步地，两帧特征点使用FLANN最近邻匹配算法得到。
进一步地，所述计算两帧数据之间的本质矩阵，具体包括：
假设两个点p1和p2是一对匹配点，则基于几何关系可以得到如下公式：
Figure 363831DEST_PATH_IMAGE003
其中：
K是相机内参矩阵；
t是两帧之间的平移矩阵；
R是两帧之间的旋转矩阵；
则称
Figure 852581DEST_PATH_IMAGE004
为本质矩阵。
进一步地，其中N的取值为8。
本发明还提供一种基于双目立体视觉的实时地面融合系统，所述系统包括：
数据获取单元，用于获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；
位姿转换单元，用于对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；
路面融合单元，用于以目标区域内的每一帧依次作为所述当前帧重复上述步骤，以完成路面融合。
本发明还提供一种基于双目立体视觉的路面高度检测系统，所述系统包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息转换单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
稠密化处理单元，用于对目标区域内的三维点云进行栅格划分，并对存在空洞的栅格区域进行稠密化处理；
检测结果输出单元，用于提取稠密化处理后的栅格中的路面栅格区域，并通过数据点高度统计获取并输出对应栅格的高度，从而生成反映路面高度的栅格高度图。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于双目立体视觉的实时地面融合方法，通过获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云，对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换，以目标区域内的每一帧依次作为所述当前帧多次处理，以完成路面融合。这样，该方法利用前后帧的转换和融合，以便在车辆辅助驾驶过程中弥补视差图投影造成的空洞，从而能够输出较为准确的高度数据，进而提高了车辆舒适性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目立体视觉的实时地面融合方法一种具体实施方式的流程图；
图2为双目相机采集到的原始视图；
图3为图2所示原始视图转换为三维点云后的视图；
图4为点云错位效果图；
图5为单帧点云效果图；
图6为多帧融合后的点云效果图。
图7为本发明所提供的基于双目立体视觉的实时地面融合系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
摄像头在障碍物感知上成为必不可少的一项，而双目立体相机近距离能提供精确的点云数据，非常适合用于感知车辆前方地面高度。获取了前方地面高度的信息，就可以依据此对车身悬架进行自适应的调整，提高乘客乘坐舒适度的。本发明所提供的基于双目立体视觉的实时地面融合方法，能够将多帧之间点云信息融合，以弥补三维点云存在空洞的缺陷，改善感知效果，为车身悬架调整功能提供准确的数据支持。
在一种具体实施方式中，如图1所示，本发明所提供的基于双目立体视觉的实时地面融合方法包括以下步骤：
S1：获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云。
具体地，根据以下公式，将目标区域的视差图转换为三维点云：
Figure 855172DEST_PATH_IMAGE001
其中，u, v代表图像上的一个像素坐标；
disparity代表着对应像素的视差值；
f代表着相机的焦距；
cx, cy代表着左相机光心坐标；
c’x代表着右相机光心坐标；
baseline代表着左右相机之间的距离；
X，Y，Z，W代表着三维坐标空间的齐次坐标。
在一个实际场景中，采集到的原始视图如图2所示，通过上述公式将视差图转换到三维点云时，如图3所示，输出地面信息会有一部分空洞，而且距离越远空洞越明显，就需要通过后续步骤消除这些空洞。
S2：对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换。
由于车辆在行驶过程中会存在轻微的起伏，如果只是将车辆运动模型认为是平面运动，那么在做前后帧数据融合的时候，会存在点云错位情况，如图4所示。
根据以下公式，对当前帧和与其相邻的后一帧进行位姿转换：
Figure 175295DEST_PATH_IMAGE002
其中，Pcamera表示相机坐标系下三维空间坐标；
P’world表示位姿变换后在世界坐标系下坐标；
R为两帧之间的旋转矩阵；
t为两帧之间的平移矩阵。
前后帧之间的转换矩阵R和t，可以通过视觉里程计来获取，即所述旋转矩阵和所述平移矩阵通过以下步骤获取：
分别提取两帧的特征点，并对提取的特征点进行两帧匹配。为了提高算法运行的实时性，两帧特征点使用FLANN最近邻匹配算法得到。
获得匹配关系，并计算两帧数据之间的本质矩阵。
具体地，假设两个点p1和p2是一对匹配点，则基于几何关系可以得到如下公式：
Figure 339560DEST_PATH_IMAGE003
其中：
K是相机内参矩阵；
t是两帧之间的平移矩阵；
R是两帧之间的旋转矩阵；
则称
Figure 581185DEST_PATH_IMAGE004
为本质矩阵。
随机选取8个点对使用RANSAC算法计算，得到最优的本质矩阵；
对最优的本质矩阵进行SVD分解，以获得位姿转换时的所述旋转矩阵和所述平移矩阵。
将当前帧的点云进行进行逆变换，即通过步骤2获取R，t矩阵组合成的T矩阵的逆，将两帧之间因为旋转和平移带来的错位消除。
S3：以目标区域内的每一帧依次作为所述当前帧重复步骤S2，以完成路面融合。
通过图5和图6的效果对比可知，多帧融合后的路面区域空度区域变少，场景中的空间信息质量更高。
在上述具体实施方式中，本发明所提供的基于双目立体视觉的实时地面融合方法，通过获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云，对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换，以目标区域内的每一帧依次作为所述当前帧多次处理，以完成路面融合。这样，该方法利用前后帧的转换和融合，以便在车辆辅助驾驶过程中弥补视差图投影造成的空洞，从而能够输出较为准确的高度数据，进而提高了车辆舒适性。
除了上述方法，本发明还提供一种基于双目立体视觉的实时地面融合系统，如图7所示，所述系统包括：
数据获取单元100，用于获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；
位姿转换单元200，用于对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；
路面融合单元300，用于以目标区域内的每一帧依次作为所述当前帧重复上述步骤，以完成路面融合。
在上述具体实施方式中，本发明所提供的基于双目立体视觉的实时地面融合系统，通过获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云，对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换，以目标区域内的每一帧依次作为所述当前帧多次处理，以完成路面融合。这样，该方法利用前后帧的转换和融合，以便在车辆辅助驾驶过程中弥补视差图投影造成的空洞，从而能够输出较为准确的高度数据，进而提高了车辆舒适性。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于双目立体视觉的实时地面融合方法，其特征在于，所述方法包括：
S1：获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；
S2：对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；
S3：以目标区域内的每一帧依次作为所述当前帧重复步骤S2，以完成路面融合。
2.根据权利要求1所述的实时地面融合方法，其特征在于，根据以下公式，将目标区域的视差图转换为三维点云：
Figure 908459DEST_PATH_IMAGE001
其中，u, v代表图像上的一个像素坐标；
disparity代表着对应像素的视差值；
f代表着相机的焦距；
cx, cy代表着左相机光心坐标；
c’x代表着右相机光心坐标；
baseline代表着左右相机之间的距离；
X, Y, Z, W代表着三维坐标空间的齐次坐标。
3.根据权利要求1所述的实时地面融合方法，其特征在于，根据以下公式，对当前帧和与其相邻的后一帧进行位姿转换：
Figure 825599DEST_PATH_IMAGE002
其中，Pcamera表示相机坐标系下三维空间坐标；
P’world表示位姿变换后在世界坐标系下坐标；
R为两帧之间的旋转矩阵；
t为两帧之间的平移矩阵。
4.根据权利要求3所述的实时地面融合方法，其特征在于，所述旋转矩阵和所述平移矩阵通过以下步骤获取：
分别提取两帧的特征点，并对提取的特征点进行两帧匹配；
获得匹配关系，并计算两帧数据之间的本质矩阵；
随机选取N个点对使用RANSAC算法计算，得到最优的本质矩阵；
对最优的本质矩阵进行SVD分解，以获得位姿转换时的所述旋转矩阵和所述平移矩阵。
5.根据权利要求4所述的实时地面融合方法，其特征在于，两帧特征点使用FLANN最近邻匹配算法得到。
6.根据权利要求4所述的实时地面融合方法，其特征在于，所述计算两帧数据之间的本质矩阵，具体包括：
假设两个点p1和p2是一对匹配点，则基于几何关系可以得到如下公式：
Figure 605336DEST_PATH_IMAGE003
其中：
K是相机内参矩阵；
t是两帧之间的平移矩阵；
R是两帧之间的旋转矩阵；
则称
Figure 531704DEST_PATH_IMAGE004
为本质矩阵。
7.根据权利要求4所述的实时地面融合方法，其特征在于，其中N的取值为8。
8.一种基于双目立体视觉的实时地面融合系统，其特征在于，所述系统包括：
数据获取单元，用于获取同一道路场景的视差图，并将目标区域的视差图转换为三维点云；
位姿转换单元，用于对当前帧和与其相邻的后一帧进行位姿转换，并将当前帧的三维点云进行逆转换；
路面融合单元，用于以目标区域内的每一帧依次作为所述当前帧重复如权利要求1所述的步骤S1-S3，以完成路面融合。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202111324098.2A 2021-11-10 2021-11-10 基于双目立体视觉的实时地面融合方法、系统和智能终端 Active CN113763303B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111324098.2A CN113763303B (zh) 2021-11-10 2021-11-10 基于双目立体视觉的实时地面融合方法、系统和智能终端
US17/658,973 US20230147557A1 (en) 2021-11-10 2022-04-12 Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111324098.2A CN113763303B (zh) 2021-11-10 2021-11-10 基于双目立体视觉的实时地面融合方法、系统和智能终端

Publications (2)

Publication Number Publication Date
CN113763303A true CN113763303A (zh) 2021-12-07
CN113763303B CN113763303B (zh) 2022-03-18

Family

ID=78784803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111324098.2A Active CN113763303B (zh) 2021-11-10 2021-11-10 基于双目立体视觉的实时地面融合方法、系统和智能终端

Country Status (2)

Country Link
US (1) US20230147557A1 (zh)
CN (1) CN113763303B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277197A1 (en) * 2016-03-22 2017-09-28 Sharp Laboratories Of America, Inc. Autonomous Navigation using Visual Odometry
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277197A1 (en) * 2016-03-22 2017-09-28 Sharp Laboratories Of America, Inc. Autonomous Navigation using Visual Odometry
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN112906449A (zh) * 2020-12-02 2021-06-04 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、系统和设备
CN113343745A (zh) * 2021-02-26 2021-09-03 北京中科慧眼科技有限公司 基于双目相机的远距离目标检测方法、系统和智能终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205809A (zh) * 2022-09-15 2022-10-18 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统
CN115205809B (zh) * 2022-09-15 2023-03-24 北京中科慧眼科技有限公司 路面凹凸度检测方法和系统

Also Published As

Publication number Publication date
CN113763303B (zh) 2022-03-18
US20230147557A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
CN111160232B (zh) 正面人脸重建方法、装置及系统
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN113343745A (zh) 基于双目相机的远距离目标检测方法、系统和智能终端
DE112017003815T5 (de) Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN110969666B (zh) 双目相机深度标定方法、装置、系统和存储介质
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN113763303B (zh) 基于双目立体视觉的实时地面融合方法、系统和智能终端
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
CN114509045A (zh) 车轮区域高程检测方法和系统
CN111225201A (zh) 视差校正方法及装置、存储介质
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN112465831A (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN113240631A (zh) 基于rgb-d融合信息的路面检测方法、系统和智能终端
CN114119777A (zh) 基于深度学习的立体匹配方法和系统
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、系统和智能终端
JPH09159442A (ja) 車両用環境認識装置
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN114972470A (zh) 基于双目视觉的路面环境获取方法和系统
CN114998412A (zh) 基于深度网络和双目视觉的阴影区域视差计算方法和系统
CN114511600A (zh) 基于点云配准的位姿计算方法和系统
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、系统和智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant