CN113965742B - 基于多传感融合的稠密视差图提取方法、系统和智能终端 - Google Patents

基于多传感融合的稠密视差图提取方法、系统和智能终端 Download PDF

Info

Publication number
CN113965742B
CN113965742B CN202111570650.6A CN202111570650A CN113965742B CN 113965742 B CN113965742 B CN 113965742B CN 202111570650 A CN202111570650 A CN 202111570650A CN 113965742 B CN113965742 B CN 113965742B
Authority
CN
China
Prior art keywords
left view
disparity map
point cloud
cost
atlas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111570650.6A
Other languages
English (en)
Other versions
CN113965742A (zh
Inventor
谢启伟
孟然
柴华
姜安
崔峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Publication of CN113965742A publication Critical patent/CN113965742A/zh
Application granted granted Critical
Publication of CN113965742B publication Critical patent/CN113965742B/zh
Priority to US18/065,322 priority Critical patent/US20230199163A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多传感器融合的稠密视差图提取方法、系统和智能终端，方法包括：使用左视图和右视图生成初始匹配代价图集，使用所述激光雷达感知系统获取的点云信息与所述初始匹配代价图集融合,构建能量函数；使所述能量函数最优化，以求解左视图中每个像素的最优视差，即生成所述稠密视差图。从而通过融合双目视差信息和激光雷达深度信息的各自优点，进行视差的计算，进而实现了准确的稠密视差图提取，提高了双目立体视觉系统求解视差的准确度。

Description

基于多传感融合的稠密视差图提取方法、系统和智能终端
技术领域
本发明涉及自动驾驶辅助技术领域，具体涉及一种基于多传感融合的稠密视差图提取方法、系统和智能终端。
背景技术
目前，双目立体视觉技术广泛应用于各个领域，双目立体视觉技术中，立体匹配属于立体视觉系统的核心技术之一，视差图的准确性直接影响到传感器对环境的感知能力和场景的理解能力。因此，提供一种基于多传感融合的稠密视差图提取方法，以期提高双目立体视觉系统求解视差的准确度，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于多传感融合的稠密视差图提取方法，以期提高双目立体视觉系统求解视差的准确度。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于多传感器融合的稠密视差图提取方法，所述方法包括：
获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；
基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；
基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；
基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
进一步地，所述点云信息为激光雷达感知系统感知范围内获取到的真实物理三维坐标（x，y，z）。
进一步地，基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集，具体包括：
在所述左视图中选取固定尺寸的模板窗口，在右视图中遍历选取相同尺寸的滑动窗口；
滑动最大距离对应最大视差
Figure 476345DEST_PATH_IMAGE001
，逐个计算两个窗口的结构相似度值，得到匹配代价值；
当滑动距离u与所述点云信息的深度信息z满足关系：
Figure 624429DEST_PATH_IMAGE002
其中，b为双目相机成像系统的基线长度，f为相机焦距；
则令当前滑动距离对应的所述匹配代价值为0，且令其他滑动距离对应的匹配代价值为最大值，对所述左视图中每个像素点重复上述步骤，生成所述初始匹配代价图集。
进一步地，结构相似度值的获取包括以下步骤：
利用以下公式，使用SSIM算子计算所述结构相似度值：
Figure 976913DEST_PATH_IMAGE003
其中，
Figure 919461DEST_PATH_IMAGE004
表示均值，
Figure 591069DEST_PATH_IMAGE005
表示方差，
Figure 11686DEST_PATH_IMAGE006
表示标准差
C1、C2、C3均为常数。
进一步地，所述基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，具体包括：
利用以下公式构建能量函数：
Figure 687518DEST_PATH_IMAGE007
其中，
Figure 535388DEST_PATH_IMAGE008
表示像素P沿着方向r的路径代价；
第一项
Figure 460619DEST_PATH_IMAGE009
是像素P在视差为disp的初始代价值；
第二项是平滑项，当方向r上相邻视差变化为1时，添加惩罚参数P1，当方向r上相邻视差变化大于1时，添加惩罚参数P2；
将路径代价中的数据项进行聚合，每个像素P在视差为disp时，对应r个路径代价值，利用以下公式将多个路径代价值求和记为聚合代价值：
Figure 216085DEST_PATH_IMAGE010
。
进一步地，所述惩罚参数P1和惩罚参数P2，通过以下公式获得：
Figure 543162DEST_PATH_IMAGE011
其中，
Figure 968458DEST_PATH_IMAGE012
为左视图中与点云信息有对应关系的点；
Figure 397296DEST_PATH_IMAGE013
为左视图中与点云信息没有对应关系的点。
进一步地，所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图，具体包括：
选择聚合代价值的最小值对应视差作为最终视差值，以生成所述稠密视差图。
本发明还提供一种基于多传感器融合的稠密视差图提取系统，所述系统包括：
基础信息获取单元，用于获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；
代价图集获取单元，用于基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；
能量函数构建单元，用于基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；
视差图输出单元，用于基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于多传感器融合的稠密视差图提取方法，通过使用左视图和右视图生成初始匹配代价图集，使用所述激光雷达感知系统获取的点云信息与所述初始匹配代价图集融合,构建能量函数；使所述能量函数最优化，以求解左视图中每个像素的最优视差，即生成所述稠密视差图。从而通过融合双目视差信息和激光雷达深度信息的各自优点，进行视差的计算，进而实现了准确的稠密视差图提取，提高了双目立体视觉系统求解视差的准确度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于多传感器融合的稠密视差图提取方法一种具体实施方式的流程图；
图2为本发明所提供的基于多传感器融合的稠密视差图提取系统一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的基于多传感器融合的稠密视差图提取方法，用于提高单独的双目立体视觉系统求解视差的准确度，以达到利用多传感技术快速准确的获取场景稠密视差图的目的。
在一种具体实施方式中，如图1所示，本发明所提供的基于多传感器融合的稠密视差图提取方法包括以下步骤：
S1：获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息。
本发明所述的所述的稠密视差图是指，左视图中每个像素位置，在所述稠密视差图的相同像素位置，有准确的视差信息。
也就是说，用立体成像系统获取相同道路场景下的左视图和右视图；使用激光雷达感知系统获取与上述场景相同的点云信息；其中，所述点云信息为激光雷达感知系统感知范围内获取到的真实物理三维坐标（x，y，z）。
S2：基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集。
在步骤S2中生成初始匹配代价图集，具体包括以下步骤：
S21：在所述左视图中选取固定尺寸的模板窗口，在右视图中遍历选取相同尺寸的滑动窗口；
S22：滑动最大距离对应最大视差
Figure 159716DEST_PATH_IMAGE014
，逐个计算两个窗口的结构相似度值，得到匹配代价值；
当滑动距离u与所述点云信息的深度信息z满足关系：
Figure 341299DEST_PATH_IMAGE002
其中，b为双目相机成像系统的基线长度，f为相机焦距；
S23：则令当前滑动距离对应的所述匹配代价值为0，且令其他滑动距离对应的匹配代价值为最大值，对所述左视图中每个像素点重复上述步骤，生成所述初始匹配代价图集。
在步骤S22中，结构相似度值的获取包括以下步骤：
利用以下公式，使用SSIM算子计算所述结构相似度值：
Figure 62130DEST_PATH_IMAGE015
其中，
Figure 961953DEST_PATH_IMAGE004
表示均值，
Figure 528063DEST_PATH_IMAGE005
表示方差，
Figure 564152DEST_PATH_IMAGE006
表示标准差；
C1、C2、C3均为常数。
也就是说，结构相似度值使用SSIM算子衡量两个图像的相似度，具体为：
Figure 596830DEST_PATH_IMAGE016
其中，
Figure 983949DEST_PATH_IMAGE017
是模板窗口与滑动窗口的横向像素差值；
Figure 88172DEST_PATH_IMAGE018
是模板窗口的中心点位置；
Figure 444679DEST_PATH_IMAGE019
是模板窗口与滑动窗口的亮度比较；
Figure 241734DEST_PATH_IMAGE020
是模板窗口与滑动窗口的对比度比较；
Figure 850570DEST_PATH_IMAGE021
是模板窗口与滑动窗口的结构比较。
上述公式中，各参数通过以下公式获得：
Figure 24062DEST_PATH_IMAGE022
其中，
Figure 300323DEST_PATH_IMAGE023
和
Figure 268279DEST_PATH_IMAGE024
分别表示均值，方差和标准差，C1，C2和C3分别为常数，实际应用中，因此，可将SSIM算子计算表述为：
Figure 364411DEST_PATH_IMAGE025
将结构相似度归一化至0与1之间，且使结构相似度值越大，模板窗口与滑动窗口相似性越差。
S3：基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数。
在进行多方向代价聚合时，具体包括：
利用以下公式构建能量函数：
Figure 810436DEST_PATH_IMAGE007
其中，
Figure 347727DEST_PATH_IMAGE008
表示像素P沿着方向r的路径代价；
第一项
Figure 486585DEST_PATH_IMAGE009
是像素P在视差为disp的初始代价值；
第二项是平滑项，当方向r上相邻视差变化为1时，添加惩罚参数P1，当方向r上相邻视差变化大于1时，添加惩罚参数P2；
将路径代价中的数据项进行聚合，每个像素P在视差为disp时，对应r个路径代价值，利用以下公式将多个路径代价值求和记为聚合代价值：
Figure 70013DEST_PATH_IMAGE010
。
根据所述激光雷达感知系统获取的点云信息，设置不同的值，将所述左视图中与所述激光雷达感知系统获取的点云信息有对应关系的点记录为
Figure 319728DEST_PATH_IMAGE026
,将所述左视图中与所述激光雷达感知系统获取的点云信息没有对应关系的点记录为
Figure 508264DEST_PATH_IMAGE027
。由此可知，所述惩罚参数P1和惩罚参数P2，可以通过以下公式获得：
Figure 818023DEST_PATH_IMAGE011
c
其中，
Figure 888747DEST_PATH_IMAGE012
为左视图中与点云信息有对应关系的点；
Figure 942154DEST_PATH_IMAGE028
为左视图中与点云信息没有对应关系的点。
设置惩罚参数时，对于小的视差相差使用较小的惩罚参数P1，以适应斜面或曲面，对于大的视差相差使用较大的惩罚参数P2，来防止深度（视差）不连续。
S4：基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
具体地，选择聚合代价值的最小值对应视差作为最终视差值，以生成所述稠密视差图。像素P对应不同的视差disp有不同的所述聚合代价值C（disp，P），选择其中聚合代价值最小时对应视差作为像素P的最终视差值，对所述左视图中每个像素点重复上述步骤S1-S3，即生成所述稠密视差图。
在上述具体实施方式中，本发明所提供的基于多传感器融合的稠密视差图提取方法，通过使用左视图和右视图生成初始匹配代价图集，使用所述激光雷达感知系统获取的点云信息与所述初始匹配代价图集融合,构建能量函数；使所述能量函数最优化，以求解左视图中每个像素的最优视差，即生成所述稠密视差图。从而通过融合双目视差信息和激光雷达深度信息的各自优点，进行视差的计算，进而实现了准确的稠密视差图提取，提高了双目立体视觉系统求解视差的准确度。
除了上述方法，本发明还提供一种基于多传感器融合的稠密视差图提取系统，如图2所示，在一种具体实施方式中，所述系统包括：
基础信息获取单元100，用于获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；
代价图集获取单元200，用于基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；
能量函数构建单元300，用于基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；
视差图输出单元400，用于基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
在一种具体实施方式中，本发明所提供的基于多传感器融合的稠密视差图提取系统，通过使用左视图和右视图生成初始匹配代价图集，使用所述激光雷达感知系统获取的点云信息与所述初始匹配代价图集融合,构建能量函数；使所述能量函数最优化，以求解左视图中每个像素的最优视差，即生成所述稠密视差图。从而通过融合双目视差信息和激光雷达深度信息的各自优点，进行视差的计算，进而实现了准确的稠密视差图提取，提高了双目立体视觉系统求解视差的准确度。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（DigitalSignalProcessor，简称DSP）、专用集成电路（ApplicationSpecific工ntegratedCircuit，简称ASIC）、现场可编程门阵列（FieldProgrammableGateArray，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-OnlyMemory，简称ROM）、可编程只读存储器（ProgrammableROM，简称PROM）、可擦除可编程只读存储器（ErasablePROM，简称EPROM）、电可擦除可编程只读存储器（ElectricallyEPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（RandomAccessMemory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（StaticRAM，简称SRAM）、动态随机存取存储器（DynamicRAM，简称DRAM）、同步动态随机存取存储器（SynchronousDRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（DoubleDataRateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（SynchlinkDRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambusRAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (8)

1.一种基于多传感器融合的稠密视差图提取方法，其特征在于，所述方法包括：
获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；
基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；
基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；
基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
2.根据权利要求1所述的稠密视差图提取方法，其特征在于，所述点云信息为激光雷达感知系统感知范围内获取到的真实物理三维坐标（x，y，z）。
3.根据权利要求1所述的稠密视差图提取方法，其特征在于，基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集，具体包括：
在所述左视图中选取固定尺寸的模板窗口，在右视图中遍历选取相同尺寸的滑动窗口；
滑动最大距离对应最大视差
Figure 738966DEST_PATH_IMAGE001
，逐个计算两个窗口的结构相似度值，得到匹配代价值；
当滑动距离u与所述点云信息的深度信息z满足关系：
Figure 575335DEST_PATH_IMAGE002
其中，b为双目相机成像系统的基线长度，f为相机焦距；
则令当前滑动距离对应的所述匹配代价值为0，且令其他滑动距离对应的匹配代价值为最大值，对所述左视图中每个像素点重复上述步骤，生成所述初始匹配代价图集。
4.根据权利要求3所述的稠密视差图提取方法，其特征在于，结构相似度值的获取包括以下步骤：
利用以下公式，使用SSIM算子计算所述结构相似度值：
Figure 551381DEST_PATH_IMAGE003
其中，
Figure 92084DEST_PATH_IMAGE004
表示均值，
Figure 1134DEST_PATH_IMAGE005
表示方差，
Figure 336300DEST_PATH_IMAGE006
表示标准差；
Figure 65222DEST_PATH_IMAGE007
是模板窗口与滑动窗口的横向像素差值；
Figure 144037DEST_PATH_IMAGE008
是模板窗口的中心点位置；C1、C2、C3均为常数；
Figure 48539DEST_PATH_IMAGE009
为模板窗口，
Figure 554606DEST_PATH_IMAGE010
为滑动窗口。
5.根据权利要求1所述的稠密视差图提取方法，其特征在于，于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图，具体包括：
选择聚合代价值的最小值对应视差作为最终视差值，以生成所述稠密视差图。
6.一种基于多传感器融合的稠密视差图提取系统，其特征在于，所述系统包括：
基础信息获取单元，用于获取相同道路场景下的左视图和右视图，以及该道路场景的点云信息；
代价图集获取单元，用于基于所述左视图、所述右视图和所述点云信息生成初始匹配代价图集；
能量函数构建单元，用于基于所述点云信息与所述初始匹配代价图集进行多方向代价聚合，并基于代价聚合构建能量函数；
视差图输出单元，用于基于所述能量函数求解左视图中每个像素的最优视差，以生成稠密视差图。
7.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
CN202111570650.6A 2021-02-28 2021-12-21 基于多传感融合的稠密视差图提取方法、系统和智能终端 Active CN113965742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/065,322 US20230199163A1 (en) 2021-02-28 2022-12-13 Method and system for extracting dense disparity map based on multi-sensor fusion, and intelligent terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110221955 2021-02-28
CN202110221955X 2021-02-28

Publications (2)

Publication Number Publication Date
CN113965742A CN113965742A (zh) 2022-01-21
CN113965742B true CN113965742B (zh) 2022-04-19

Family

ID=79473452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111570650.6A Active CN113965742B (zh) 2021-02-28 2021-12-21 基于多传感融合的稠密视差图提取方法、系统和智能终端

Country Status (2)

Country Link
US (1) US20230199163A1 (zh)
CN (1) CN113965742B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117192509B (zh) * 2023-11-07 2024-02-06 长沙莫之比智能科技有限公司 一种雷达mvdr算法中抑制能量泄露方法
CN117911465B (zh) * 2024-03-20 2024-05-17 深圳市森歌数据技术有限公司 一种基于双目立体匹配的自然保护区稠密点云生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242855A (zh) * 2018-07-19 2019-01-18 中国科学院自动化研究所 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法
CN111340922A (zh) * 2018-12-18 2020-06-26 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101199475B1 (ko) * 2008-12-22 2012-11-09 한국전자통신연구원 3차원 모델 생성 방법 및 장치
CN106254850B (zh) * 2016-08-23 2019-06-04 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN111179333B (zh) * 2019-12-09 2024-04-26 天津大学 一种基于双目立体视觉的散焦模糊核估计方法
CN111354077B (zh) * 2020-03-02 2022-11-18 东南大学 一种基于双目视觉的三维人脸重建方法
CN111681275B (zh) * 2020-06-16 2023-04-18 南京莱斯电子设备有限公司 一种双特征融合的半全局立体匹配方法
CN112233246B (zh) * 2020-09-24 2024-04-16 中山大学 基于srtm约束的卫星影像密集匹配方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242855A (zh) * 2018-07-19 2019-01-18 中国科学院自动化研究所 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
CN111340922A (zh) * 2018-12-18 2020-06-26 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法

Also Published As

Publication number Publication date
US20230199163A1 (en) 2023-06-22
CN113965742A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
US20220277470A1 (en) Method and system for detecting long-distance target through binocular camera, and intelligent terminal
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN110926408A (zh) 基于特征物的近距离测距方法、装置、系统和存储介质
CN113240632A (zh) 基于语义分割网络的路面检测方法、系统和智能终端
CN115116049B (zh) 目标检测的方法、装置、电子设备及存储介质
CN113128347B (zh) 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN114926521A (zh) 基于双目相机的立体匹配方法和系统
CN114119777B (zh) 基于深度学习的立体匹配方法和系统
CN110969666B (zh) 双目相机深度标定方法、装置、系统和存储介质
CN115690469A (zh) 一种双目图像匹配方法、装置、设备和存储介质
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
US20230147557A1 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN111627067B (zh) 一种双目相机的标定方法及车载设备
CN114998412B (zh) 基于深度网络和双目视觉的阴影区域视差计算方法和系统
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、系统和智能终端
CN114972470A (zh) 基于双目视觉的路面环境获取方法和系统
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN115205809B (zh) 路面凹凸度检测方法和系统
CN115116038B (zh) 基于双目视觉的障碍物识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant