CN104637043B - 支持像素选择方法、装置、视差值确定方法 - Google Patents
支持像素选择方法、装置、视差值确定方法 Download PDFInfo
- Publication number
- CN104637043B CN104637043B CN201310552836.8A CN201310552836A CN104637043B CN 104637043 B CN104637043 B CN 104637043B CN 201310552836 A CN201310552836 A CN 201310552836A CN 104637043 B CN104637043 B CN 104637043B
- Authority
- CN
- China
- Prior art keywords
- pixel
- reference picture
- frame reference
- support
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 239000007787 solid Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
提供了一种支持像素选择方法、装置及视差值确定方法。所述支持像素选择方法包括：对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；确定所述对应目标像素在前一帧参考图像中的各个支持像素；利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。所述支持像素选择方法能够选择准确的支持像素，而不受目标像素的位置的影响。
Description
技术领域
本发明总体涉及图像处理，更具体地，涉及立体匹配技术中的支持像素选择方法、装置及视差值确定方法。
背景技术
立体匹配的基本原理是对通过例如立体相机拍摄的两个或更多个不同视角下同一物体的图像（参考图像和目标图像）进行比较，通过寻找对应像素来计算图像的像素点之间的位置偏差，从而得到视差信息。立体匹配在诸如机器人、监控以及智能车辆等众多领域有着广泛的应用。例如，以智能车辆为例，通过由立体匹配获得的视差信息，可以容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌控车辆的整体行驶状况。
常用的立体匹配方法包括局部立体匹配方法和全局立体匹配方法，其均包含下面的四个步骤或其中的几步：匹配代价计算、支持求和、视差计算/优化以及视差改进，其中支持求和是这几个步骤中的关键步骤，而选择支持像素则是支持求和步骤的关键。
一个像素的支持像素是与之具有近似的视差值的所有像素。本领域中对于如何确定一个像素的支持像素已经有了一些研究。下面，将参考图1和图2对目前常用的支持像素选择方式进行简要的介绍。
一种常用的方式是选择灰度图中目标像素的相邻像素（包括该目标像素本身），作为该目标像素的支持像素。例如，图1是灰度图的数值化表示图，其中的各个小矩形框表示灰度图中的各个像素，而各个数值则表示像素的灰度值，对于图1中所示的目标像素，选择与其相邻的8个像素及该目标像素本身作为支持像素，并且为每个支持像素分配相同的权重值。作为对图1中例示的方式的改进，可以进一步根据支持像素与目标像素的灰度值的差的大小，为各个支持像素分配不同的权重。
另一种常用的方式是选择灰度图中与目标像素处于同一区域块上的相邻像素（包括该目标像素本身）作为该目标像素的支持像素。图2示出了灰度图的数值化表示图中的区域块划分的示意图。如图2中的左图所示，整幅灰度图的数值化表示图按照灰度值被划分为三个区域块，即对应的灰度图按照灰度值被划分为三个区域块，其中灰度值相近的像素分在同一个区域块中。在以这一划分方式下，对于如图2中所示的目标像素，选择与其相邻的且与其位于同一区域块中的5个像素及该目标像素本身作为支持像素，其中各个支持像素可以分配相同或不同的权重。
上述常用的支持像素选择方法选择灰度图中与目标像素相邻的像素或者相邻且具有相近灰度值的像素作为支持像素，但是，实际上这些像素的视差值可能与目标像素的视差值并不相近，尤其是当目标像素位于视差边缘位置时，而如果选择了错误的支持像素则会导致错误的立体匹配进而导致错误的视差图。下面将结合图3和4对此进行进一步的说明。
图3示出了需要进行支持像素选择的示例性场景以及在该场景中应用上述第一种常用方式进行支持像素选择的结果。图3中的左图为立体相机拍摄的某一帧的参考图像，右图为左图中框选部分的放大图像。从图3中的右图可以看出，行人位于树的前方，它们在图像坐标系统上是相邻的，并且具有相近的灰度值，但是由于行人和树具有不同的深度值，因此它们的视差值是不同的。在这一场景中，如果来自行人并且位于行人和树的边界位置的一个像素（即位于视差边缘位置的像素，图中用白色实心圆点表示）是需要选择支持像素的目标像素，则按照上述第一种常用方式，包括来自树上的像素的所有3×3范围内的相邻像素（图中的白色空心圆圈）都被选择作为支持像素。显然，这一结果是不正确的，因为来自树的像素的视差值与来自行人的像素的视差值并不相同，来自树的像素不应该成为来自行人的像素的支持像素。
图4示出了应用上述第二种常用的方式在图3所示的示例性场景中进行支持像素选择的结果。图4中的左图例示了利用灰度值对图3中的左图进行区域块划分的结果，其中同一区域块的像素具有相同的颜色；中间图像和右图分别是左图中框选部分的放大图像以及相应的参考图像的子图像。中间图像中的白色实心圆点表示来自行人的需要选择支持像素的目标像素，白色空心圆圈表示其周围3×3范围内的相邻像素，可以看出该3×3范围内右下角的像素与目标像素不在同一区域块中。因此，如右图所示，该右下角的像素没有被选择为支持像素。然而，这一结果也是不正确的，因为其同样选择了来自树的像素作为支持像素，而来自树的像素的视差值与来自行人的像素的视差值并不相同，因此来自树的像素不应该成为来自行人的像素的支持像素。
发明内容
根据本发明的实施例，提供了一种支持像素选择方法，包括：对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；确定所述对应目标像素在前一帧参考图像中的各个支持像素；利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
根据本发明的另一实施例，提供了一种视差值确定方法，包括：对于由立体相机拍摄的当前帧参考图像中需要确定视差值的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；确定所述对应目标像素在前一帧参考图像中的各个支持像素；利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧,参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素；利用所述当前帧参考图像中的目标像素的支持像素，通过立体匹配确定该目标像素在当前帧参考图像和当前帧目标图像之间的视差值。
根据本发明的另一实施例，提供了一种支持像素选择装置，包括：在先目标像素确定单元，对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；在先支持像素确定单元，确定所述对应目标像素在前一帧参考图像中的各个支持像素；当前支持像素确定单元，利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧的参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
根据本发明实施例的支持像素选择以及视差值确定技术能够准确地选择支持像素，而不受目标像素的位置的影响，进而能够获得正确的视差值，生成正确的视差图。
附图说明
图1示出了一种常用的支持像素选择方式的示意图。
图2示出了另一种常用的支持像素选择方式的示意图。
图3示出了需要进行支持像素选择的示例性场景及在该场景中应用图1示出的方式进行支持像素选择的结果。
图4示出了需要进行支持像素选择的示例性场景及在该场景中应用图2示出的方式进行支持像素选择的结果。
图5例示了根据本发明实施例的支持像素选择方法的示意性流程图。
图6(a)示出了由立体相机拍摄的前后两帧参考图像中的在前帧参考图像及其部分图像的放大图像；图6(b)示出了所述前后两帧参考图像中的在后帧参考图像及其部分图像的放大图像；图6（c）示出了图6（a）和图6（b）各自的参考图像中的部分图像的光流计算结果。
图7（a）示出了利用光流信息来确定在后帧参考图像中的目标像素在在前帧参考图像中的对应目标像素的示意图；图7（b）示出了利用光流信息来确定在前帧参考图像中的各个支持像素在在后帧参考图像中的各个对应支持像素的示意图。
图8例示了根据本发明实施例的支持像素选择方法确定在前帧参考图像中的对应目标像素在该在前帧中的各个支持像素的示意性流程图。
图9示出了根据本发明实施例的视差值确定方法的示意性流程图。
图10示出了根据本发明实施例的支持像素选择装置的功能配置框图。
图11示出了根据本发明实施例的支持像素选择系统的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
首先对本发明的支持像素选择技术的基本思想进行简要的描述。可以认为同一物体的两个像素之间的物理距离在前后两个视频帧中不发生改变，因此如果前一帧中为目标像素选择的支持像素是正确的，那么当前帧中这些支持像素的对应像素仍应被选择为支持像素。所以如果当前帧中目标像素位于视差边缘位置，导致难以根据当前帧的信息为该目标像素选择正确的支持像素，则可以采用与前一帧的支持像素对应的像素，作为当前帧的支持像素。另外，本发明人认识到真实世界中物理上相邻的像素必然具有相似的视差值，因此，可以根据像素在X-Z平面与地面重合、Y轴与地面垂直的世界坐标系中的物理距离，来选择支持像素。
图5例示了根据本发明实施例的支持像素选择方法的示意性流程图。下面，将参考图5来详细描述该支持像素选择方法。
如图5所示，在步骤S501，对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素。
如前文所述，立体相机可以拍摄得到同一物体在两个或更多个不同视角下的图像。在下文中，将以使用双目立体相机进行拍摄为例进行说明，其中拍摄得到的左眼图像和右眼图像中的任一个作为参考图像，另一个作为目标图像。
光流是观察者（眼睛或相机）和场景之间的相对运动引起的视觉场景中的对象、表面和边缘的显著运动的模式，其可以用来表示时间上前后两帧中的像素的对应关系。下面，将参考图6(a)-(c)对于前后两帧的光流进行简要的描述。图6(a)和6(b)中的左图分别示出了由立体相机拍摄的第n-1帧和第n帧参考图像，右图则分别示出了相应的左图中框选部分的放大图像。图6（c）示出了第n-1帧和第n帧中框选部分的光流计算结果，其中用箭头来表示光流，并且箭头的起点为像素在第n-1帧中的位置，而箭头的终点为该像素在第n帧中的位置。为了使结果清楚可见，图6（c）中并未示出图6（a）和图6（b）中所有像素的光流计算结果，而是仅仅示出了经过下采样并且幅值大于5的光流结果。
图7（a）示出了执行该步骤S501的示意图。如图7（a）所示，在该步骤中，利用预先计算出的当前帧（以下称为第t帧）与前一帧（以下称为第t-1帧）的光流信息，可以确定出由立体相机拍摄的视频帧序列中的第t帧参考图像中需要选择支持像素的目标像素Pt在第t-1帧参考图像中的对应目标像素Pt-1，其中第t帧与第t-1帧的光流信息可以采用例如Farneback等任意的稠密光流计算方法计算得出，此处不进行详细描述。
在步骤S502，确定所述对应目标像素Pt-1在第t-1帧参考图像中的各个支持像素。
如前所述，真实世界中物理上相邻的像素必然具有相似的视差值。因此，在该步骤，可以基于像素在世界坐标系中的物理距离来选择支持像素。更明确地说，在该步骤中，可以选择第t-1帧参考图像中与对应目标像素Pt-1之间在世界坐标系中的物理距离小于预定阈值的各个像素作为支持像素。以下将参考图8进行详细描述。
如图8所示，在步骤S801，利用第t-1帧视差图中的视差信息，确定第t-1帧参考图像中每一个像素在真实世界中的位置。
本领域中公知，视差是指从相隔一定距离的两个点或多个点观察同一个目标所产生的差异。当利用例如双目相机拍摄同一个目标的左右两幅图像时，该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。视差图则是以左右图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。视差图中的像素点的坐标可以表示为（x，y，d），其中x为横坐标，y为纵坐标，d为该像素点的视差值。
该步骤用到的第t-1帧视差图可以采用任何适当的方式生成，此处不进行详细描述。对于第t-1帧视差图中的每个像素，可以通过公知的坐标变换，得到其在世界坐标系中的坐标，即其在真实世界中的位置。
在步骤S802，计算所述对应目标像素与第t-1帧参考图像中的其他像素在真实世界中的物理距离。
对应目标像素与第t-1帧参考图像中的其他像素在真实世界中的物理距离Distance可以通过下式来计算：
其中，是对应目标像素Pt-1在世界坐标系统中的坐标，（X,Y,Z）是第t-1帧参考图像中任一其他像素在世界坐标系统的坐标。
在步骤S803，确定所述第t-1帧参考图像中与该对应目标像素Pt-1的物理距离小于预定阈值的像素，作为该对应目标像素在第t-1帧参考图像中的支持像素。
通过该步骤得到与对应目标像素Pt-1的物理距离小于预定阈值的所有像素，这些像素与对应目标像素Pt-1具有相似的视差值，因而可以作为对应目标像素Pt-1在第t-1帧参考图像中的支持像素。所述预定阈值可以根据经验来设定，比如200mm。
以上描述了基于物理距离来确定像素Pt-1在第t-1帧参考图像中的支持像素。能够理解，这仅仅是一种示例的支持像素选择方式，也可以通过其他各种适当的方式来选择所述支持像素。例如，可以采用第t-2帧参考图像中的支持像素在第t-1帧参考图像中的对应像素作为第t-1帧参考图像中的支持像素，采用前述常用的基于灰度值选择支持像素的方式，等等。
回到图5，在步骤S503，利用所述光流信息，确定第t-1帧参考图像中的各个支持像素在第t帧参考图像中的各个对应支持像素，作为第t帧参考图像中的所述目标像素Pt的支持像素。
图7（b）示出了执行该步骤S503的示意图。如图7（b）所示，在该步骤中，利用预先计算出的第t帧与第t-1帧的光流信息，可以确定第t-1帧参考图像中的各个支持像素在第t帧参考图像中的各个对应支持像素，作为第t帧参考图像中的目标像素Pt的支持像素。
以上描述了根据本发明一个实施例的支持像素选择方法。可选的，可以对由此选择的支持像素进行进一步的优化处理，以提高所选择的支持像素的准确性。
具体的，如前所述，支持像素选择是进行立体匹配从而得到视差信息的步骤之一。因此，对于每一帧参考图像，在利用本发明实施例的上述方法确定了该帧参考图像中的每个像素的支持像素后，将利用这些支持像素通过例如局部立体匹配或全局立体匹配等各种立体匹配方法，计算得到该帧中每个像素的视差信息。由此，作为一种可选的方式，对于上述步骤S503中确定的第t帧参考图像中的目标像素Pt的各个支持像素，可以利用所述计算得到的视差信息，计算这些支持像素与目标像素Pt之间在真实世界中的物理距离，并且仅选择与所述目标像素Pt之间的物理距离小于预定阈值的支持像素，作为目标像素Pt在第t帧参考图像中的经验证的支持像素。能够理解，经验证的支持像素是利用物理距离进行了验证的支持像素，因而具有更高的准确性。作为另一种可选的方式，在利用本发明实施例的上述方法确定了第t帧参考图像中的每个像素的支持像素并由此计算得到第t帧参考图像中各个像素的视差信息后，还可以按照步骤S502中描述的方式，重新确定目标像素Pt在第t帧参考图像中的各个支持像素，以取代在上述步骤S503中确定的支持像素。
另外，能够理解，根据本发明实施例的上述支持像素选择方法可以应用于连续的视频帧序列。在该情形下，优选的，对于视频帧序列中除第一帧以外的每一帧参考图像，均采用前一帧参考图像中的支持像素在本帧中的对应像素作为本帧的支持像素，并且根据需要对由此确定的支持像素进行上文中所述的进一步的优化处理；而对于该视频帧序列中的第一帧，则按照如图8所示的方法，基于物理距离来选择支持像素，其中第一帧的视差图可以采用任何现有的适当方式生成。
图9示出了根据本发明一个实施例的视差值确定方法的示意性流程图。下面，将参考图9来描述该视差值确定方法。
如图9所示，在步骤S901，对于由立体相机拍摄的当前帧参考图像中需要确定视差值的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素。在步骤S902，确定所述对应目标像素在前一帧参考图像中的各个支持像素。在步骤S903，利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。在步骤S904，利用所述当前帧参考图像中的目标像素的支持像素，通过立体匹配确定该目标像素在当前帧参考图像和当前帧目标图像之间的视差值。
步骤S901-S903中的具体处理可以参考上文中对步骤S501-S503的详细描述，此处不再重复。步骤S904中的处理并非是本发明的关键所在，本领域技术人员可以利用任何现有的立体匹配方法基于支持像素来确定视差值。以局部立体匹配方法为例，在确定了当前帧参考图像中的目标像素的支持像素后，可以通过计算匹配代价来确定该目标像素在当前帧目标图像中的对应像素（匹配代价用于衡量两个对应像素之间的相似性，其含义是本领域中公知的，此处不再详述）。所述目标像素在当前帧参考图像中的x轴坐标与所述对应像素在当前帧目标图像中的x轴坐标之差即该目标像素的视差值。
根据本发明的上述视差值确定方法，即使目标像素位于视差边缘位置，也能够为其选择正确的支持像素，进而得到正确的视差值。
下面参考图10描述根据本发明实施例的支持像素选择装置。
图10示出了根据本发明实施例的支持像素选择装置1000的功能配置框图。
如图10所示，支持像素选择装置1000可以包括：在先目标像素确定单元1001，对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；在先支持像素确定单元1002，确定所述对应目标像素在前一帧参考图像中的各个支持像素；当前支持像素确定单元1003，利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧的参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
上述在先目标像素确定单元1001、在先支持像素确定单元1002以及当前支持像素确定单元1003的具体功能和操作可以参考上述图5到图8的相关描述，此处不再重复描述。
下面参考图11描述根据本发明实施例的支持像素选择系统1100的总体硬件框图。如图11所示，支持像素选择系统1100可以包括：输入设备1101，用于从外部输入有关图像或信息，例如立体相机拍摄的视频帧等，该输入设备例如可以是立体相机；处理设备1102，用于实施上述的按照本发明实施例的支持像素选择方法，或者实施为上述的支持像素选择装置，该装置例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1103，用于向外部输出实施上述支持像素选择过程所得到的结果，例如参考图像中的目标像素、为该目标像素选择的支持像素等等，该输出设备例如可以是显示器、打印机等等；以及存储设备1104，用于以易失或非易失的方式存储上述支持像素选择过程所涉及的诸如参考图像、光流信息、视差图、前一帧参考图像中的支持像素、物理距离的预定阈值等等，该存储设备例如可以是随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种支持像素选择方法，包括：
对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素，所述当前帧参考图像不是第一帧参考图像；
确定所述对应目标像素在前一帧参考图像中的各个支持像素；
利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
2.如权利要求1所述的支持像素选择方法，其中前一帧参考图像中的各个支持像素与所述对应目标像素在真实世界中的物理距离均小于预定的阈值。
3.如权利要求2所述的支持像素选择方法，其中确定所述对应目标像素在前一帧参考图像中的各个支持像素进一步包括：
利用前一帧视差图中的视差信息，确定前一帧参考图像中每一个像素在真实世界中的位置；
计算所述对应目标像素与该前一帧参考图像中的其他像素在真实世界中的物理距离；
选择所述前一帧参考图像中与该对应目标像素的物理距离小于预定阈值的像素，作为该对应目标像素在前一帧参考图像中的支持像素。
4.如权利要求1所述的支持像素选择方法，进一步包括：
利用当前帧视差图中的视差信息，计算当前帧参考图像中的所述目标像素与支持像素在真实世界中的物理距离；
选择所述当前帧参考图像中与所述目标像素的物理距离小于预定阈值的支持像素，作为该目标像素在当前帧参考图像中的经验证的支持像素。
5.一种视差值确定方法，包括：
对于由立体相机拍摄的当前帧参考图像中需要确定视差值的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素，所述当前帧参考图像不是第一帧参考图像；
确定所述对应目标像素在前一帧参考图像中的各个支持像素；
利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素；
利用所述当前帧参考图像中的目标像素的支持像素，通过立体匹配确定该目标像素在当前帧参考图像和当前帧目标图像之间的视差值。
6.如权利要求5所述的视差值确定方法，其中前一帧参考图像中的各个支持像素与所述对应目标像素在真实世界中的物理距离均小于预定的阈值。
7.如权利要求6所述的视差值确定方法，其中确定所述对应目标像素在前一帧参考图像中的各个支持像素进一步包括：
利用前一帧视差图中的视差信息，确定前一帧参考图像中每一个像素在真实世界中的位置；
计算所述对应目标像素与该前一帧参考图像中的其他像素在真实世界中的物理距离；
确定所述前一帧参考图像中与该对应目标像素的物理距离小于预定阈值的像素，作为该对应目标像素在前一帧参考图像中的支持像素。
8.一种支持像素选择装置，包括：
在先目标像素确定单元，对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在前一帧参考图像中的对应目标像素，所述当前帧参考图像不是第一帧参考图像；
在先支持像素确定单元，确定所述对应目标像素在前一帧参考图像中的各个支持像素；
当前支持像素确定单元，利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧的参考图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
9.如权利要求8所述的支持像素选择装置，其中前一帧参考图像中的各个支持像素与所述对应目标像素在真实世界中的物理距离均小于预定的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310552836.8A CN104637043B (zh) | 2013-11-08 | 2013-11-08 | 支持像素选择方法、装置、视差值确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310552836.8A CN104637043B (zh) | 2013-11-08 | 2013-11-08 | 支持像素选择方法、装置、视差值确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104637043A CN104637043A (zh) | 2015-05-20 |
| CN104637043B true CN104637043B (zh) | 2017-12-05 |
Family
ID=53215749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310552836.8A Expired - Fee Related CN104637043B (zh) | 2013-11-08 | 2013-11-08 | 支持像素选择方法、装置、视差值确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104637043B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234988A (zh) * | 2017-12-28 | 2018-06-29 | 努比亚技术有限公司 | 视差图生成方法、装置和计算机可读存储介质 |
| CN111664798B (zh) * | 2020-04-29 | 2022-08-02 | 奥比中光科技集团股份有限公司 | 一种深度成像方法、装置及计算机可读存储介质 |
| CN112991419B (zh) * | 2021-03-09 | 2023-11-14 | Oppo广东移动通信有限公司 | 视差数据生成方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101262619A (zh) * | 2008-03-30 | 2008-09-10 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
| CN101312524A (zh) * | 2007-05-23 | 2008-11-26 | 财团法人工业技术研究院 | 利用光迹分析的移动物体侦测装置与方法 |
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| EP2466902A2 (en) * | 2010-12-14 | 2012-06-20 | Vestel Elektronik Sanayi ve Ticaret A.S. | Information permeability based disparity estimation in stereo video |
| CN102572485A (zh) * | 2012-02-02 | 2012-07-11 | 北京大学 | 一种自适应加权立体匹配算法、立体显示采集装置及系统 |
| CN103325120A (zh) * | 2013-06-30 | 2013-09-25 | 西南交通大学 | 一种快速自适应支持权值双目视觉立体匹配方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101694292B1 (ko) * | 2010-12-17 | 2017-01-09 | 한국전자통신연구원 | 스테레오 영상 정합 장치 및 그 방법 |
| KR20120072245A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 스테레오 영상 정합 장치 및 방법 |
-
2013
- 2013-11-08 CN CN201310552836.8A patent/CN104637043B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101312524A (zh) * | 2007-05-23 | 2008-11-26 | 财团法人工业技术研究院 | 利用光迹分析的移动物体侦测装置与方法 |
| CN101262619A (zh) * | 2008-03-30 | 2008-09-10 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| EP2466902A2 (en) * | 2010-12-14 | 2012-06-20 | Vestel Elektronik Sanayi ve Ticaret A.S. | Information permeability based disparity estimation in stereo video |
| CN102572485A (zh) * | 2012-02-02 | 2012-07-11 | 北京大学 | 一种自适应加权立体匹配算法、立体显示采集装置及系统 |
| CN103325120A (zh) * | 2013-06-30 | 2013-09-25 | 西南交通大学 | 一种快速自适应支持权值双目视觉立体匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104637043A (zh) | 2015-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7106665B2 (ja) | 単眼深度推定方法およびその装置、機器ならびに記憶媒体 | |
| CN109690620A (zh) | 三维模型生成装置以及三维模型生成方法 | |
| KR102113909B1 (ko) | 3차원 모델링 방법 및 장치 | |
| CN104424640B (zh) | 对图像进行虚化处理的方法和装置 | |
| WO2019082797A1 (ja) | 再構成方法および再構成装置 | |
| US10582179B2 (en) | Method and apparatus for processing binocular disparity image | |
| Zha et al. | A real-time global stereo-matching on FPGA | |
| US20100118125A1 (en) | Method and apparatus for generating three-dimensional (3d) image data | |
| KR20180015570A (ko) | 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법 | |
| CN104637043B (zh) | 支持像素选择方法、装置、视差值确定方法 | |
| CN108305280B (zh) | 一种双目图像基于最小生成树的立体匹配方法及系统 | |
| TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
| JP6717576B2 (ja) | 映像レンダリング装置及び方法 | |
| CN107341834B (zh) | 一种保持双目视差的全景立体校正方法及系统 | |
| CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
| CN115240043A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| Dobias et al. | Real-time global prediction for temporally stable stereo | |
| US20170148177A1 (en) | Image processing apparatus, image processing method, and program | |
| CN109087344A (zh) | 三维重建中的图像选择方法及装置 | |
| KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
| CN105100768B (zh) | 用于立体匹配的方法和用于上采样的方法 | |
| CN114359891B (zh) | 一种三维车辆检测方法、系统、装置及介质 | |
| Orozco et al. | HDR multiview image sequence generation: Toward 3D HDR video | |
| JP2020004219A (ja) | ３次元形状データを生成する装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171205 |