CN108234988A - 视差图生成方法、装置和计算机可读存储介质 - Google Patents

视差图生成方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN108234988A
CN108234988A CN201711460624.1A CN201711460624A CN108234988A CN 108234988 A CN108234988 A CN 108234988A CN 201711460624 A CN201711460624 A CN 201711460624A CN 108234988 A CN108234988 A CN 108234988A
Authority
CN
China
Prior art keywords
image
region
strong texture
pixel
strong
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711460624.1A
Other languages
English (en)
Inventor
徐爱辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201711460624.1A priority Critical patent/CN108234988A/zh
Publication of CN108234988A publication Critical patent/CN108234988A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视差图生成方法、装置和计算机可读存储介质，该方法包括：获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像，第一图像和第二图像拍摄时间相同；对第一图像进行纹理分析，根据分析结果从第一图像中选取强纹理区域；根据强纹理区域和第二图像中的强纹理区域的对应区域，计算强纹理区域对应的光流；计算光流的矢量角度，根据光流的矢量角度判断是否基于第一图像和第二图像生成视差图。根据本发明的技术方案，在分析图像纹理后提取强纹理区域，强纹理区域的纹理比其他区域的纹理更加丰富，而计算纹理丰富的图像的光流的精度较高、稳定性较佳，所以仅针对强纹理区域计算得到的光流，更有利于准确生成视差图。

Description

视差图生成方法、装置和计算机可读存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种视差图生成方法、装置和计算 机可读存储介质。
背景技术
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它 是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通 过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
在双目立体视觉的研究中，视差图是一直是重点研究的要素。以一台摄 像机获取的图像为参考图像，以另一台摄像获取的图像为配准图像，计算配 准图像针对参考图像的光流的矢量角度，理论上校正图像越精确，矢量角度 越接近于0，当光流矢量角度足够小时，说明立体校正精度较高，则基于两台 摄像机获取的图像进行图像校正得到视差图。
由于摄像机采集的图像构成复杂，影响了计算图像光流的精度和稳定性， 进而影响生成视差图的质量，因此需要一种技术方案，能够提高计算图像光 流的精度和稳定性，以确保生成视差图的质量。
发明内容
本发明的主要目的在于提出一种视差图生成方法、装置和计算机可读存 储介质，旨在提高计算图像光流的精度和稳定性，以确保生成视差图的质量。
为实现上述目的，本发明提供了一种视差图生成方法，所述差分图像生 成方法包括：获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第 二图像，所述第一图像和所述第二图像拍摄时间相同；对所述第一图像进行 纹理分析，根据分析结果从所述第一图像中选取强纹理区域；根据所述强纹 理区域和所述第二图像中的所述强纹理区域的对应区域，计算所述强纹理区 域对应的光流；计算所述光流的矢量角度，根据所述光流的矢量角度判断是 否基于所述第一图像和所述第二图像生成视差图。
可选地，前述的视差图生成方法，所述对所述第一图像进行纹理分析， 根据分析结果从所述第一图像中选取强纹理区域，具体包括：计算所述第一 图像中每个像素的梯度值，所述每个像素的梯度值反映所述每个像素与其相 邻像素之间的差异；将梯度值超过预设梯度阈值的像素的数量作为强纹理像 素，基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域。
可选地，前述的视差图生成方法，所述基于所述强纹理像素的位置从所 述第一图像中选取所述强纹理区域，具体包括：将所述第一图像划分为多个 区域，从所述多个区域中选择所述强纹理像素的数量超过阈值数量阈值的区 域作为所述强纹理区域。
可选地，前述的视差图生成方法，所述基于所述强纹理像素的位置从所 述第一图像中选取所述强纹理区域，具体包括：分析所述第一图像中所述强 纹理区域的分布情况，基于所述分布情况从所述第一图像中选取所述强纹理 区域。
可选地，前述的视差图生成方法，在所述对所述第一图像进行纹理分析 之前，还包括：对所述第一图像、所述第二图像进行畸变矫正和/或立体校正。
为实现上述目的，本发明提供了一种视差图生成装置，所述视差图装置 包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之 间的连接通信；所述处理器用于执行存储器中存储的视差图生成程序，以实 现以下步骤：获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第 二图像，所述第一图像和所述第二图像拍摄时间相同；对所述第一图像进行 纹理分析，根据分析结果从所述第一图像中选取强纹理区域；根据所述强纹 理区域和所述第二图像中的所述强纹理区域的对应区域，计算所述强纹理区域对应的光流；计算所述光流的矢量角度，根据所述光流的矢量角度判断是 否基于所述第一图像和所述第二图像生成视差图。
可选地，前述的视差图生成装置，所述对所述第一图像进行纹理分析， 根据分析结果从所述第一图像中选取强纹理区域中，所述处理器用于执行所 述视差图生成程序，以实现以下步骤：计算所述第一图像中每个像素的梯度 值，所述每个像素的梯度值反映所述每个像素与其相邻像素之间的差异；将 梯度值超过预设梯度阈值的像素的数量作为强纹理像素，基于所述强纹理像 素的位置从所述第一图像中选取所述强纹理区域。
可选地，前述的视差图生成装置，所述基于所述强纹理像素的位置从所 述第一图像中选取所述强纹理区域中，所述处理器用于执行所述视差图生成 程序，以实现以下步骤：将所述第一图像划分为多个区域，从所述多个区域 中选择所述强纹理像素的数量超过阈值数量阈值的区域作为所述强纹理区域。
可选地，前述的视差图生成装置，所述基于所述强纹理像素的位置从所 述第一图像中选取所述强纹理区域中，所述处理器用于执行所述视差图生成 程序，以实现以下步骤：分析所述第一图像中所述强纹理区域的分布情况， 基于所述分布情况从所述第一图像中选取所述强纹理区域。
可选地，前述的视差图生成装置，在所述对所述第一图像进行纹理分析 之前，所述处理器还用于执行所述视差图生成程序，以实现以下步骤：对所 述第一图像、所述第二图像进行畸变矫正和/或立体校正。
为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算 机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个 或者多个处理器执行，以实现前述的视差图生成方法的步骤。
根据以上技术方案，可知本发明的视差图生成方法、装置和计算机可读 存储介质至少具有以下优点：
根据本发明的技术方案，在计算图像光流时，并非针对两个摄像头拍摄 的整个图像计算光流，而在分析图像纹理后提取强纹理区域，强纹理区域的 纹理比其他区域的纹理更加丰富，而计算纹理丰富的图像的光流的精度较高、 稳定性较佳，而计算纹理较少的图像的光流的精度较低、稳定性较差，所以 仅针对强纹理区域计算得到的光流，更有利于准确生成视差图。
附图说明
图1为本发明视差图生成方法一个实施例的流程图；
图2为本发明视差图生成方法另一个实施例的流程图；
图3为本发明视差图生成方法另一个实施例的示意图；
图4为本发明视差图生成装置的硬件结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元” 的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、 “部件”或“单元”可以混合地使用。
基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实 施例。
如图1所示，本发明的一个实施例中提供了一种视差图生成方法，本实 施例的差分图像生成方法可以应用于计算机或移动终端，具体包括：
步骤S110，获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的 第二图像，第一图像和第二图像拍摄时间相同。
在本实施例中，第一摄像头、第二摄像头通常为左右布置的两个摄像头， 同时拍摄图像。
步骤S120，对第一图像进行纹理分析，根据分析结果从第一图像中选取 强纹理区域。
纹理分析指通过一定的图像处理技术提取出纹理特征参数，从而获得纹 理的定量或定性描述的处理过程。本实施例中，对纹理分析的具体方式不进 行限制，例如，可以采用统计分析方法、结构分析方法、信号处理方法和模 型方法来分析图像的纹理。在本实施例中，提取的强纹理区域相比其他区域 的纹理更加丰富。
步骤S130，根据强纹理区域和第二图像中的强纹理区域的对应区域，计 算强纹理区域对应的光流。
在本实施例中，计算纹理丰富的图像的光流的精度较高、稳定性较佳， 而计算纹理较少的图像的光流的精度较低、稳定性较差，尤其在图像的均匀 区域内部，有可能无法计算光流信息，所以针对强纹理区域计算光流，得到 的光流更加准确。
步骤S140，计算光流的矢量角度，根据光流的矢量角度判断是否基于第 一图像和第二图像生成视差图。
在本实施例中，由于光流的精度、稳定性得到了提高，进而光流的矢量 角度也更加准确，保证了生成的视差图的质量提高。
根据本实施例的技术方案，在计算图像光流时，并非针对两个摄像头拍 摄的整个图像计算光流，而在分析图像纹理后提取强纹理区域，强纹理区域 的纹理比其他区域的纹理更加丰富，而计算纹理丰富的图像的光流的精度较 高、稳定性较佳，而计算纹理较少的图像的光流的精度较低、稳定性较差， 所以仅针对强纹理区域计算得到的光流，更有利于准确生成视差图。
如图2所示，本发明的一个实施例中提供了一种视差图生成方法，本实 施例的差分图像生成方法可以应用于计算机或移动终端，具体包括：
步骤S210，获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的 第二图像，第一图像和第二图像拍摄时间相同。
步骤S220，对第一图像、第二图像进行畸变矫正和/或立体校正。
在本实施例中，假设通过左右布置的两个摄像头拍摄得到左图像，右图 像，分别对左，右图像进行畸变矫正，以及分别对左，右图像进行立体校正， 并分别获取校正结果图，记为图像l、图像r。经过畸变矫正和立体校正的图 像更加准确，适于合成高质量的视差图。
步骤S230，计算第一图像中每个像素的梯度值，每个像素的梯度值反映 每个像素与其相邻像素之间的差异。
步骤S240，将梯度值超过预设梯度阈值的像素的数量作为强纹理像素， 基于强纹理像素的位置从第一图像中选取强纹理区域。
在本实施例中，由于图像由像素构成，如果相邻像素之间差异大，说明 该位置处图像变化较大，容易形成明显纹理。
在本实施例中，提供了两种计算强纹理区域的具体方式。
(1)将第一图像划分为多个区域，从多个区域中选择强纹理像素的数量 超过阈值数量阈值的区域作为强纹理区域。
在本实施例中，例如，对第一图像进行分区，具体如图3所示，比如将 图像分为10*10的区域。对每个区域中的每个像素计算该像素所在位置的梯 度，如果梯度大于一定的阈值，则认为该梯度属于强纹理像素，否则属于弱 纹理像素，并保存该区域的强纹理像素和弱纹理像素。每个区域中，如果强 纹理像素个数达到一定的数量阈值，认为该区域为纹理丰富区域，从而计算 该区域的光流值。
(2)分析第一图像中强纹理区域的分布情况，基于分布情况从第一图像 中选取强纹理区域。
在本实施例中，计算出强纹理像素之后，强纹理像素较密集的区域容易 形成丰富的纹理，所以将强纹理像素分布密集程度高于一定阈值的区域选取 为强纹理区域。相比于方式(1)，方式(2)的复杂程度更高，但灵活性较强。
步骤S250，根据强纹理区域和第二图像中的强纹理区域的对应区域，计 算强纹理区域对应的光流。
步骤S260，计算光流的矢量角度，根据光流的矢量角度判断是否基于第 一图像和第二图像生成视差图。
根据本实施例的技术方案，将图像l、图像r作为相邻两帧，以图像l作 为参考图像，图像r作为配准图像，计算r图像针对l图像的光流。计算光流 矢量角度，如果光流角度大于T，则使用上一帧图像计算的视差图，如果平均 光流角度小于T，则说明立体校正精度较高，继续进行立体匹配，计算视差图。
如图4所示，本发明的一个实施例中提供了一种视差图生成装置，视差 图装置可以是计算机或移动终端，具体包括处理器410、存储器420及通信总 线430；通信总线430用于实现处理器410和存储器420之间的连接通信；处 理器410用于执行存储器420中存储的视差图生成程序，以实现以下步骤：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像， 第一图像和第二图像拍摄时间相同。
在本实施例中，第一摄像头、第二摄像头通常为左右布置的两个摄像头， 同时拍摄图像。
对第一图像进行纹理分析，根据分析结果从第一图像中选取强纹理区域。
纹理分析指通过一定的图像处理技术提取出纹理特征参数，从而获得纹 理的定量或定性描述的处理过程。本实施例中，对纹理分析的具体方式不进 行限制，例如，可以采用统计分析方法、结构分析方法、信号处理方法和模 型方法来分析图像的纹理。在本实施例中，提取的强纹理区域相比其他区域 的纹理更加丰富。
根据强纹理区域和第二图像中的强纹理区域的对应区域，计算强纹理区 域对应的光流。
在本实施例中，计算纹理丰富的图像的光流的精度较高、稳定性较佳， 而计算纹理较少的图像的光流的精度较低、稳定性较差，尤其在图像的均匀 区域内部，有可能无法计算光流信息，所以针对强纹理区域计算光流，得到 的光流更加准确。
计算光流的矢量角度，根据光流的矢量角度判断是否基于第一图像和第 二图像生成视差图。
在本实施例中，由于光流的精度、稳定性得到了提高，进而光流的矢量 角度也更加准确，保证了生成的视差图的质量提高。
根据本实施例的技术方案，在计算图像光流时，并非针对两个摄像头拍 摄的整个图像计算光流，而在分析图像纹理后提取强纹理区域，强纹理区域 的纹理比其他区域的纹理更加丰富，而计算纹理丰富的图像的光流的精度较 高、稳定性较佳，而计算纹理较少的图像的光流的精度较低、稳定性较差， 所以仅针对强纹理区域计算得到的光流，更有利于准确生成视差图。
本发明的一个实施例中提供了一种视差图生成装置，视差图装置包括处 理器、存储器及通信总线；通信总线用于实现处理器和存储器之间的连接通 信；处理器用于执行存储器中存储的视差图生成程序，以实现以下步骤：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像， 第一图像和第二图像拍摄时间相同。
对第一图像、第二图像进行畸变矫正和/或立体校正。
在本实施例中，假设通过左右布置的两个摄像头拍摄得到左图像，右图 像，分别对左，右图像进行畸变矫正，以及分别对左，右图像进行立体校正， 并分别获取校正结果图，记为图像l、图像r。经过畸变矫正和立体校正的图 像更加准确，适于合成高质量的视差图。
计算第一图像中每个像素的梯度值，每个像素的梯度值反映每个像素与 其相邻像素之间的差异。
将梯度值超过预设梯度阈值的像素的数量作为强纹理像素，基于强纹理 像素的位置从第一图像中选取强纹理区域。
在本实施例中，由于图像由像素构成，如果相邻像素之间差异大，说明 该位置处图像变化较大，容易形成明显纹理。
在本实施例中，提供了两种计算强纹理区域的具体方式。
(1)将第一图像划分为多个区域，从多个区域中选择强纹理像素的数量 超过阈值数量阈值的区域作为强纹理区域。
在本实施例中，例如，对第一图像进行分区，具体如图3所示，比如将 图像分为10*10的区域。对每个区域中的每个像素计算该像素所在位置的梯 度，如果梯度大于一定的阈值，则认为该梯度属于强纹理像素，否则属于弱 纹理像素，并保存该区域的强纹理像素和弱纹理像素。每个区域中，如果强 纹理像素个数达到一定的数量阈值，认为该区域为纹理丰富区域，从而计算 该区域的光流值。
(2)分析第一图像中强纹理区域的分布情况，基于分布情况从第一图像 中选取强纹理区域。
在本实施例中，计算出强纹理像素之后，强纹理像素较密集的区域容易 形成丰富的纹理，所以将强纹理像素分布密集程度高于一定阈值的区域选取 为强纹理区域。相比于方式(1)，方式(2)的复杂程度更高，但灵活性较强。
根据强纹理区域和第二图像中的强纹理区域的对应区域，计算强纹理区 域对应的光流。
计算光流的矢量角度，根据光流的矢量角度判断是否基于第一图像和第 二图像生成视差图。
根据本实施例的技术方案，将图像l、图像r作为相邻两帧，以图像l作 为参考图像，图像r作为配准图像，计算r图像针对l图像的光流。计算光流 矢量角度，如果光流角度大于T，则使用上一帧图像计算的视差图，如果平均 光流角度小于T，则说明立体校正精度较高，继续进行立体匹配，计算视差图。
本发明的一个实施例中提供了一种计算机可读存储介质，本实施例的计 算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或 者多个处理器执行，以实现以下步骤：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像， 第一图像和第二图像拍摄时间相同。
在本实施例中，第一摄像头、第二摄像头通常为左右布置的两个摄像头， 同时拍摄图像。
对第一图像进行纹理分析，根据分析结果从第一图像中选取强纹理区域。
纹理分析指通过一定的图像处理技术提取出纹理特征参数，从而获得纹 理的定量或定性描述的处理过程。本实施例中，对纹理分析的具体方式不进 行限制，例如，可以采用统计分析方法、结构分析方法、信号处理方法和模 型方法来分析图像的纹理。在本实施例中，提取的强纹理区域相比其他区域 的纹理更加丰富。
根据强纹理区域和第二图像中的强纹理区域的对应区域，计算强纹理区 域对应的光流。
在本实施例中，计算纹理丰富的图像的光流的精度较高、稳定性较佳， 而计算纹理较少的图像的光流的精度较低、稳定性较差，尤其在图像的均匀 区域内部，有可能无法计算光流信息，所以针对强纹理区域计算光流，得到 的光流更加准确。
计算光流的矢量角度，根据光流的矢量角度判断是否基于第一图像和第 二图像生成视差图。
在本实施例中，由于光流的精度、稳定性得到了提高，进而光流的矢量 角度也更加准确，保证了生成的视差图的质量提高。
根据本实施例的技术方案，在计算图像光流时，并非针对两个摄像头拍 摄的整个图像计算光流，而在分析图像纹理后提取强纹理区域，强纹理区域 的纹理比其他区域的纹理更加丰富，而计算纹理丰富的图像的光流的精度较 高、稳定性较佳，而计算纹理较少的图像的光流的精度较低、稳定性较差， 所以仅针对强纹理区域计算得到的光流，更有利于准确生成视差图。
本发明的一个实施例中提供了一种计算机可读存储介质，本实施例的计 算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或 者多个处理器执行，以实现以下步骤：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像， 第一图像和第二图像拍摄时间相同。
对第一图像、第二图像进行畸变矫正和/或立体校正。
在本实施例中，假设通过左右布置的两个摄像头拍摄得到左图像，右图 像，分别对左，右图像进行畸变矫正，以及分别对左，右图像进行立体校正， 并分别获取校正结果图，记为图像l、图像r。经过畸变矫正和立体校正的图 像更加准确，适于合成高质量的视差图。
计算第一图像中每个像素的梯度值，每个像素的梯度值反映每个像素与 其相邻像素之间的差异。
将梯度值超过预设梯度阈值的像素的数量作为强纹理像素，基于强纹理 像素的位置从第一图像中选取强纹理区域。
在本实施例中，由于图像由像素构成，如果相邻像素之间差异大，说明 该位置处图像变化较大，容易形成明显纹理。
在本实施例中，提供了两种计算强纹理区域的具体方式。
(1)将第一图像划分为多个区域，从多个区域中选择强纹理像素的数量 超过阈值数量阈值的区域作为强纹理区域。
在本实施例中，例如，对第一图像进行分区，具体如图3所示，比如将 图像分为10*10的区域。对每个区域中的每个像素计算该像素所在位置的梯 度，如果梯度大于一定的阈值，则认为该梯度属于强纹理像素，否则属于弱 纹理像素，并保存该区域的强纹理像素和弱纹理像素。每个区域中，如果强 纹理像素个数达到一定的数量阈值，认为该区域为纹理丰富区域，从而计算 该区域的光流值。
(2)分析第一图像中强纹理区域的分布情况，基于分布情况从第一图像 中选取强纹理区域。
在本实施例中，计算出强纹理像素之后，强纹理像素较密集的区域容易 形成丰富的纹理，所以将强纹理像素分布密集程度高于一定阈值的区域选取 为强纹理区域。相比于方式(1)，方式(2)的复杂程度更高，但灵活性较强。
根据强纹理区域和第二图像中的强纹理区域的对应区域，计算强纹理区 域对应的光流。
计算光流的矢量角度，根据光流的矢量角度判断是否基于第一图像和第 二图像生成视差图。
根据本实施例的技术方案，将图像l、图像r作为相邻两帧，以图像l作 为参考图像，图像r作为配准图像，计算r图像针对l图像的光流。计算光流 矢量角度，如果光流角度大于T，则使用上一帧图像计算的视差图，如果平均 光流角度小于T，则说明立体校正精度较高，继续进行立体匹配，计算视差图。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体 意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或 者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情 况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调 器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上 述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的， 本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求 所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种视差图生成方法，其特征在于，所述差分图像生成方法包括：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像，所述第一图像和所述第二图像拍摄时间相同；
对所述第一图像进行纹理分析，根据分析结果从所述第一图像中选取强纹理区域；
根据所述强纹理区域和所述第二图像中的所述强纹理区域的对应区域，计算所述强纹理区域对应的光流；
计算所述光流的矢量角度，根据所述光流的矢量角度判断是否基于所述第一图像和所述第二图像生成视差图。
2.根据权利要求1所述的视差图生成方法，其特征在于，所述对所述第一图像进行纹理分析，根据分析结果从所述第一图像中选取强纹理区域，具体包括：
计算所述第一图像中每个像素的梯度值，所述每个像素的梯度值反映所述每个像素与其相邻像素之间的差异；
将梯度值超过预设梯度阈值的像素的数量作为强纹理像素，基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域。
3.根据权利要求2所述的视差图生成方法，其特征在于，所述基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域，具体包括：
将所述第一图像划分为多个区域，从所述多个区域中选择所述强纹理像素的数量超过阈值数量阈值的区域作为所述强纹理区域。
4.根据权利要求2所述的视差图生成方法，其特征在于，所述基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域，具体包括：
分析所述第一图像中所述强纹理区域的分布情况，基于所述分布情况从所述第一图像中选取所述强纹理区域。
5.根据权利要求1所述的视差图生成方法，其特征在于，在所述对所述第一图像进行纹理分析之前，还包括：
对所述第一图像、所述第二图像进行畸变矫正和/或立体校正。
6.一种视差图生成装置，其特征在于，所述视差图装置包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的视差图生成程序，以实现以下步骤：
获取第一摄像头拍摄的第一图像，以及获取第二摄像拍摄的第二图像，所述第一图像和所述第二图像拍摄时间相同；
对所述第一图像进行纹理分析，根据分析结果从所述第一图像中选取强纹理区域；
根据所述强纹理区域和所述第二图像中的所述强纹理区域的对应区域，计算所述强纹理区域对应的光流；
计算所述光流的矢量角度，根据所述光流的矢量角度判断是否基于所述第一图像和所述第二图像生成视差图。
7.根据权利要求6所述的视差图生成装置，其特征在于，所述对所述第一图像进行纹理分析，根据分析结果从所述第一图像中选取强纹理区域中，所述处理器用于执行所述视差图生成程序，以实现以下步骤：
计算所述第一图像中每个像素的梯度值，所述每个像素的梯度值反映所述每个像素与其相邻像素之间的差异；
将梯度值超过预设梯度阈值的像素的数量作为强纹理像素，基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域。
8.根据权利要求7所述的视差图生成装置，其特征在于，所述基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域中，所述处理器用于执行所述视差图生成程序，以实现以下步骤：
将所述第一图像划分为多个区域，从所述多个区域中选择所述强纹理像素的数量超过阈值数量阈值的区域作为所述强纹理区域。
9.根据权利要求7所述的视差图生成装置，其特征在于，所述基于所述强纹理像素的位置从所述第一图像中选取所述强纹理区域中，所述处理器用于执行所述视差图生成程序，以实现以下步骤：
分析所述第一图像中所述强纹理区域的分布情况，基于所述分布情况从所述第一图像中选取所述强纹理区域。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至5中任一项所述的视差图生成方法的步骤。
CN201711460624.1A 2017-12-28 2017-12-28 视差图生成方法、装置和计算机可读存储介质 Pending CN108234988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711460624.1A CN108234988A (zh) 2017-12-28 2017-12-28 视差图生成方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711460624.1A CN108234988A (zh) 2017-12-28 2017-12-28 视差图生成方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108234988A true CN108234988A (zh) 2018-06-29

Family

ID=62645773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711460624.1A Pending CN108234988A (zh) 2017-12-28 2017-12-28 视差图生成方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108234988A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473244A (zh) * 2019-08-08 2019-11-19 长沙智能驾驶研究院有限公司 立体匹配优化方法、装置、计算机设备和存储介质
CN112991419A (zh) * 2021-03-09 2021-06-18 Oppo广东移动通信有限公司 视差数据生成方法、装置、计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244916A (ja) * 1998-08-28 2005-09-08 Imax Corp 画像処理装置
US20120262543A1 (en) * 2011-04-13 2012-10-18 Chunghwa Picture Tubes, Ltd. Method for generating disparity map of stereo video
US20130286017A1 (en) * 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
US20150084967A1 (en) * 2009-01-30 2015-03-26 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
CN104637043A (zh) * 2013-11-08 2015-05-20 株式会社理光 支持像素选择方法、装置、视差值确定方法
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
CN104902260A (zh) * 2015-06-30 2015-09-09 Tcl集团股份有限公司 一种图像视差的获取方法及系统
CN105072432A (zh) * 2015-08-13 2015-11-18 杜宪利 基于光流场和动态规划搜索的视觉匹配方法
US20170024900A1 (en) * 2015-06-04 2017-01-26 New York University Langone Medical Center System and method for determining motion and structure from optical flow
CN107465911A (zh) * 2016-06-01 2017-12-12 东南大学 一种深度信息提取方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244916A (ja) * 1998-08-28 2005-09-08 Imax Corp 画像処理装置
US20150084967A1 (en) * 2009-01-30 2015-03-26 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US20130286017A1 (en) * 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d
US20120262543A1 (en) * 2011-04-13 2012-10-18 Chunghwa Picture Tubes, Ltd. Method for generating disparity map of stereo video
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
CN104637043A (zh) * 2013-11-08 2015-05-20 株式会社理光 支持像素选择方法、装置、视差值确定方法
CN104869387A (zh) * 2015-04-19 2015-08-26 中国传媒大学 基于光流法的双目图像最大视差获取方法
US20170024900A1 (en) * 2015-06-04 2017-01-26 New York University Langone Medical Center System and method for determining motion and structure from optical flow
CN104902260A (zh) * 2015-06-30 2015-09-09 Tcl集团股份有限公司 一种图像视差的获取方法及系统
CN105072432A (zh) * 2015-08-13 2015-11-18 杜宪利 基于光流场和动态规划搜索的视觉匹配方法
CN107465911A (zh) * 2016-06-01 2017-12-12 东南大学 一种深度信息提取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FREDERIC HUGUET，ET AL: "A Variational Method for Scene Flow Estimation from Stereo Sequences", 《 2007 IEEE 11TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473244A (zh) * 2019-08-08 2019-11-19 长沙智能驾驶研究院有限公司 立体匹配优化方法、装置、计算机设备和存储介质
CN110473244B (zh) * 2019-08-08 2022-03-18 长沙智能驾驶研究院有限公司 立体匹配优化方法、装置、计算机设备和存储介质
CN112991419A (zh) * 2021-03-09 2021-06-18 Oppo广东移动通信有限公司 视差数据生成方法、装置、计算机设备及存储介质
CN112991419B (zh) * 2021-03-09 2023-11-14 Oppo广东移动通信有限公司 视差数据生成方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111145342B (zh) 一种双目散斑结构光三维重建方法及系统
CN106375662B (zh) 一种基于双摄像头的拍摄方法、装置和移动终端
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
CN106899781B (zh) 一种图像处理方法及电子设备
Cheng et al. A novel 2Dd-to-3D conversion system using edge information
CN110874864A (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
CN111739146A (zh) 物体三维模型重建方法及装置
CN202075794U (zh) 一种无人机航摄立体成像处理设备
CN107945234A (zh) 一种立体摄像机外部参数的确定方法及装置
CN206563985U (zh) 三维成像系统
Ceulemans et al. Robust multiview synthesis for wide-baseline camera arrays
CN110418065A (zh) 高动态范围图像运动补偿方法、装置及电子设备
CN107133977A (zh) 一种基于概率产生模型的快速立体匹配方法
CN108234988A (zh) 视差图生成方法、装置和计算机可读存储介质
CN106934828A (zh) 深度图像处理方法及深度图像处理系统
WO2015069063A1 (en) Method and system for creating a camera refocus effect
CN107155100A (zh) 一种基于图像的立体匹配方法及装置
CN107004274A (zh) 估计未聚焦全光数据的深度的方法和装置
CN107172383B (zh) 一种对象状态检测方法及装置
CN106844289A (zh) 基于手机摄像头扫描环境进行建模的方法
US10791319B1 (en) Multi-camera 3D content creation
KR20130002090A (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629