CN104685535A - 立体图像处理装置和立体图像处理方法 - Google Patents

立体图像处理装置和立体图像处理方法 Download PDF

Info

Publication number
CN104685535A
CN104685535A CN201380049586.4A CN201380049586A CN104685535A CN 104685535 A CN104685535 A CN 104685535A CN 201380049586 A CN201380049586 A CN 201380049586A CN 104685535 A CN104685535 A CN 104685535A
Authority
CN
China
Prior art keywords
data
pixel data
complete
benchmark
benchmark pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049586.4A
Other languages
English (en)
Other versions
CN104685535B (zh
Inventor
南里卓也
黑河久
石原健
西村洋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104685535A publication Critical patent/CN104685535A/zh
Application granted granted Critical
Publication of CN104685535B publication Critical patent/CN104685535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供立体图像处理装置，其对于基线长度方向的图像区域尺寸小的对象物，也能够高精度地计算出视差。该装置(100)包括：立体图像获取单元(101)，获取立体图像的基准图像和参照图像；图像剪切单元(102)，从立体图像获取基准像素数据和参照像素数据；相位校正单元(103)，分别对于上述像素数据进行使基准像素数据的值更加左右对称的相位校正处理；开窗单元(104)，分别对于相位校正完毕的上述像素数据进行开窗；相位相关单元(105)，计算开窗完毕的上述两个像素数据之间的相位相关值；以及峰值位置检测单元(106)，基于相位相关值，计算参照图像的对应点相对基准图像的基准点的视差。

Description

立体图像处理装置和立体图像处理方法
技术领域
本发明涉及计算立体图像的参照图像的对应点相对立体图像的基准图像的基准点的视差的立体图像处理装置和立体图像处理方法。
背景技术
以往，已知有基于立体图像测量至对象物的距离的立体图像处理装置。这样的立体图像处理装置(以下仅称为“立体图像处理装置”)从参照图像提取相对基准图像的对应点。这里，“对应点”是指参照图像中的拍摄到与基准图像的基准点相同的对象物的点。并且，立体图像处理装置基于照相机参数和对应点相对基准点的偏移量即视差，计算至对象物的距离。
已在研究将立体图像处理装置适用于安全装置等，该安全装置测量至车载摄像机所拍摄的前方车辆或行人的距离。另外，近年来，这样的安全装置也逐步向小型车普及。因此，要求立体图像处理装置中所使用的立体照相机小型化。
立体照相机小型化后，拍摄基准图像的照相机和拍摄参照图像的照相机之间的间隔变窄，视差减小。因此，要求立体图像处理装置高精度地计算视差。
作为高精度地计算视差的技术，例如已有专利文献1中记载的现有技术。该现有技术使用一维POC(Phase Only Correlation，仅相位相关性)方式计算视差。
具体而言，现有技术使用汉宁窗，分别从基准图像和参照图像剪切一维的像素数据串，对剪切出的像素数据串实施一维傅立叶变换并进行合成。接着，现有技术对合成的数据串的振幅成分进行标准化，并进行一维逆傅立叶变换，由此求相位限定相关系数。然后，现有技术基于求得的相位限定相关系数的相关峰值，计算上述视差。
现有技术文献
专利文献
专利文献1：日本特开2008-123141号公报
发明内容
发明要解决的问题
然而，现有技术有以下的问题：对于基线长度方向的图像区域大小小的对象物，难以高精度地计算视差。这里，“基线长度方向的图像区域大小”是指基线长度方向上的图像区域在立体图像上所占的大小。
作为基线长度方向的图像区域大小小的对象物，例如可举出处于远离照相机的位置的行人。特别是在将立体图像处理装置应用于上述安全装置的情况下，优选对于基线长度方向的图像区域大小小的对象物，也能够更高精度地计算视差。
本发明的目的在于，提供立体图像处理装置和立体图像处理方法，其对于基线长度方向的图像区域大小小的对象物，也能够高精度地计算视差。
解决问题的方案
本发明的立体图像处理装置包括：立体图像获取单元，获取立体图像的基准图像和参照图像；图像剪切单元，分别从所述基准图像和所述参照图像剪切与所述立体图像的基线长度方向平行的局部图像，并获取一维像素数据串，该一维像素数据串表示该局部图像的所述基线长度方向上的像素值的分布；相位校正单元，分别对于基准像素数据和参照像素数据进行相位校正处理，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理；开窗单元，分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗，所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所得的数据；相位相关单元，计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数据进行所述开窗所得的数据；以及峰值位置检测单元，基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视差。
本发明的立体图像处理方法包括以下步骤：获取立体图像的基准图像和参照图像的步骤；分别从所述基准图像和所述参照图像剪切与所述立体图像的基线长度方向平行的局部图像，并获取一维像素数据串的步骤，该一维像素数据串表示该局部图像的所述基线长度方向上的像素值的分布；分别对于基准像素数据和参照像素数据进行相位校正处理的步骤，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使所述基准像素数据的值更加左右对称的处理；分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗的步骤，所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所得的数据；计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值的步骤，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数据进行所述开窗所得的数据；以及基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视差的步骤。
发明的效果
根据本发明，对于基线长度方向的图像区域大小小的对象物，也能够高精度地计算出视差。
附图说明
图1是表示实施方式1的立体图像处理装置的结构的一例的方框图。
图2是表示实施方式2的立体图像处理装置的结构的一例的方框图。
图3是表示实施方式2的立体图像处理装置的动作的一例的流程图。
图4是表示实施方式2中的相位校正完毕数据生成处理的一例的流程图。
图5是表示实施方式3的立体图像处理装置的结构的一例的方框图。
图6是用于说明实施方式3中的微分滤波器的效果的图。
图7是表示实施方式3的立体图像处理装置的动作的一例的流程图。
图8是表示实施方式3中的相位校正完毕数据生成处理的一例的流程图。
图9是表示实施方式4的立体图像处理装置的结构的一例的方框图。
图10是表示实施方式4的立体图像处理装置的动作的一例的流程图。
图11是表示实施方式4中的至检测出匹配度最大的位置为止的处理的概要的示意图。
图12是表示实施方式4中的子像素推测处理的动作的一例的流程图。
图13是表示实施方式4中的从剪切局部图像到计算出反相滤波器系数为止的处理的概要的示意图。
图14是用于说明实施方式4中的利用反相滤波器系数进行的滤波的概念的示意图。
图15是表示实施方式4中的使用了sinc函数的峰值位置检测处理的一例的概要的示意图。
图16是表示实施方式4中的使用了二次曲线近似的峰值位置检测处理的一例的概要的示意图。
具体实施方式
本发明涉及以下的立体图像处理，在对从基准图像获取的像素数据串开窗所得的数据和对从参照图像获取的像素数据串开窗所得的数据之间，比较相位特性，由此求立体图像的视差。更具体而言，本发明涉及以下的立体图像处理：计算基准像素数据和参照像素数据之间的相位差，并基于计算结果求视差。
在以上述方式计算相位差的情况下，用于上述开窗的窗函数的最佳形状是左右对称且两端相连的零形状。但是在像素数据的两端，作为开窗对象的像素数据的值大不相同时，由这样的窗函数开窗产生的对于像素数据的相位特性的影响变得显著。在像素数据的两端大不相同的像素数据的一例是像素数据左端的(最初的)亮度值为0，而右端的(最后的)亮度值成为255的边缘信号(对应于对象物边缘部分的像素数据)。
关于这一内容，本发明人发现通过使像素数据的值左右对称，该像素数据的值在像素数据的两端会一致。即，本发明人发现作为开窗对象的像素数据的值越接近于左右对称，则由开窗产生的对相位特性的影响越小。
另外，本发明人发现作为开窗对象的像素数据的像素数据数(等于开窗的数据数)会大幅度地影响开窗后的像素数据串的相位特性。若像素数据数大，则由开窗产生的对相位特性的影响小。但是，由开窗产生的对相位特性的影响会随着像素数据数减小而急剧增大。
因此，本发明对于从基准图像获取的像素数据串和从参照图像获取的像素数据串均进行相位校正处理，该相位校正处理是使从基准图像获取的像素数据的值进一步左右对称的处理。即，本发明保留两个像素数据串之间的相位差，并且使两个像素数据串各自进一步左右对称。
由此，本发明即使在像素数据数小的情况下，仍能够将由开窗产生的对相位特性的影响抑制得较小。对于基线长度方向的图像区域大小小的对象物而言，该效果特别大。即，本发明通过进行上述相位校正处理，能够抑制视差计算精度的下降，且对于基线长度方向的图像区域大小小的对象物，也能够高精度地计算出视差。
以下，参照附图详细地说明本发明的实施方式。
(实施方式1)
本发明的实施方式1是本发明的基本方式的一例。
图1是表示本实施方式的立体图像处理装置的结构的一例的方框图。
在图1中，立体图像处理装置100具有立体图像获取单元101、图像剪切单元102、相位校正单元103、开窗单元104、相位相关单元105及峰值位置检测单元106。
立体图像获取单元101获取立体图像的基准图像和参照图像。
图像剪切单元102分别从基准图像和参照图像，剪切与立体图像的基线长度方向平行的局部图像。接着，图像剪切单元102获取一维像素数据串，该一维像素数据串表示剪切出的局部图像的基线长度方向上的像素值的分布。
在以下的说明中，从基准图像获取的一维像素数据串被称为“基准像素数据”。另外，从参照图像获取的一维像素数据串被称为“参照像素数据”。
相位校正单元103分别对于基准像素数据和参照像素数据进行相位校正处理，该相位校正处理是对于基准像素数据进行处理时，使该基准像素数据的值进一步左右对称的处理。
在以下的说明中，对于基准像素数据进行相位校正处理所得的数据被称为“相位校正完毕基准像素数据”。另外，对于参照像素数据进行相位校正处理所得的数据被称为“相位校正完毕参照像素数据”。
开窗单元104分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗。
在以下的说明中，对于相位校正完毕基准像素数据进行开窗所得的数据被称为“开窗完毕基准像素数据”。另外，对于相位校正完毕参照像素数据进行开窗所得的数据被称为“开窗完毕参照像素数据”。
相位相关单元105计算相位相关值，该相位相关值表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度。
峰值位置检测单元106基于相位相关值，计算参照图像的对应点相对基准图像的基准点的视差。
立体图像处理装置100具有例如CPU(central processing unit，中央处理器)和RAM(random access memory，只读存储器)等存储介质。在此情况下，上述各功能单元通过CPU执行控制程序来实现。
这样，本实施方式的立体图像处理装置100分别对于基准像素数据和参照像素数据进行使基准像素数据的值更加左右对称的处理即相位校正处理。接着，本实施方式的立体图像处理装置100对于进行了相位校正处理后的数据进行开窗，计算对应点的视差。
由此，立体图像处理装置100能够在抑制了由开窗产生的影响的状态下，分别提取基准像素数据的相位特性和参照像素数据的相位特性。即，立体图像处理装置100对于位于远方的路上的行人等基线长度方向的图像区域大小小的对象物，也能够高精度地计算出视差。
(实施方式2)
本发明的实施方式2是采用使基准像素数据的所有频带的信号左右对称的相位校正处理的例子。换句话说，本实施方式是比运算负载更优先地考虑视差计算的高精度化的例子。
首先，说明本实施方式的立体图像处理装置的结构。
在图2中，立体图像处理装置100具有立体图像获取单元101、图像剪切单元102、相位校正单元103、开窗单元104、相位相关单元105及峰值位置检测单元106。
＜立体图像获取单元101＞
立体图像获取单元101获取立体图像的基准图像和参照图像。接着，立体图像获取单元101向图像剪切单元102输出获取的基准图像和参照图像。
具体而言，立体图像获取单元101获取由两个以上的拍摄系统(即，两个以上的照相机)拍摄的立体图像。立体图像包含由两个不同的照相机拍摄同一个对象物所得的基准图像和参照图像。立体图像获取单元101例如具有连接到立体照相机并用于获取图像数据的连接器，通过连接器输入立体图像。此外，在本实施方式中，立体图像获取单元101输入由基线长度方向在水平方向上大致一致的两个照相机拍摄到的立体图像。
＜图像剪切单元102＞
图像剪切单元102分别从基准图像和参照图像，剪切与立体图像的基线长度方向平行的局部图像。接着，图像剪切单元102获取一维像素数据串，该一维像素数据串表示剪切出的局部图像的基线长度方向上的像素值的分布。即，图像剪切单元102获取基准像素数据和参照像素数据。接着，图像剪切单元102向相位校正单元103输出获取的基准像素数据和参照像素数据。
作为一维像素数据串的基础的局部图像的剪切方法，只要使视差计算对象物的位置在剪切出的局部图像中良好地表现为基线长度方向上的相位特性即可，并不限于特定的方法。因此，成为一维像素数据串的基础的局部图像，也可以是基线长度方向的宽度长且与基线长度方向正交的方向上的高度为一个像素的局部图像。或者，成为一维像素数据串的基础的局部图像，也可以是基线长度方向的宽度长度且与基线长度方向正交的方向上的高度为多个像素的局部图像。此外，成为一维像素数据串的基础的局部图像，还可以是像素数相同的彼此分离的多个局部图像。
对于从剪切出的局部图像获取一维像素数据串的方法，只要在一维像素数据串中良好地表现基础局部图像的基线长度方向上的相位特性即可，并不限定于特定的方法。
因此，例如在局部图像为一行的情况下，图像剪切单元102能够将像素值数据串直接作为一维像素数据串。
另外，在局部图像为多行的情况下，图像剪切单元102能够将在与基线长度方向正交的方向上对像素值进行平均所得的一维数据，作为一维像素数据串。另外，图像剪切单元102能够将以下的一维数据作为一维像素数据串，该一维数据是将沿着基线长度方向延伸的多个一维像素值数据串连接后，除去伴随连接而产生的噪声即低频波所得的数据。另外，图像剪切单元102能够将重构各像素值所得的一维数据作为一维像素数据串，以使得同一像素行中所含的任意像素彼此的重构前的间隔与重构后的间隔之比相对所有的像素彼此之间相同。
＜相位校正单元103＞
相位校正单元103分别对于基准像素数据和参照像素数据进行相位校正处理，该相位校正处理是对于基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理。即，相位校正单元103通过对于基准像素数据进行相位校正处理，生成相位校正完毕基准像素数据。另外，相位校正单元103通过对于参照像素数据进行相位校正处理，生成相位校正完毕参照像素数据。接着，相位校正单元103向开窗单元104输出相位校正完毕基准像素数据和相位校正完毕参照像素数据。
更具体而言，相位校正单元103具有基准像素数据零相位化单元201、相位校正滤波器计算单元202和参照像素数据相位校正单元203。
＜基准像素数据零相位化单元201＞
基准像素数据零相位化单元201对于基准像素数据进行使各频率成分的相位归零的零相位化处理，由此计算相位校正完毕基准像素数据。接着，基准像素数据零相位化单元201向相位校正滤波器计算单元202输出基准像素数据、参照像素数据和算出的相位校正完毕基准像素数据。
零相位化处理只要使基准像素数据的各频率成分的相位归零即可，并不限定于特定的处理。在本实施方式中，相位校正单元103进行以下的处理作为零相位化处理，该处理是指对于基准像素数据依次进行一维傅立叶变换，除去所有频带中的虚数成分及进行一维逆傅立叶变换。所谓除去虚数成分，若由复数表示则指使cos(ωt)+isin(ωt)中的i的项为零。结果，因一维傅立叶变换而获得的信号被转换为由cos(ωt)表现的左右对称的信号。
在以下的说明中，使基准像素数据的相位归零就是“基准像素数据的零相位化”。
＜相位校正滤波器计算单元202＞
相位校正滤波器计算单元202基于基准像素数据和相位校正完毕基准像素数据，计算应用于基准像素数据时，使该基准像素数据的值左右对称的相位校正滤波器。接着，相位校正滤波器计算单元202向参照像素数据相位校正单元203输出相位校正完毕基准像素数据、参照像素数据及算出的相位校正滤波器。
相位校正滤波器只要在应用于基准像素数据的情况下使该基准像素数据的值左右对称即可，并不限定于特定的滤波器。例如，相位校正滤波器能够设为使基准像素数据零相位化的FIR(Finite Impulse Response，有限冲激响应)滤波器。相位校正滤波器计算单元202例如将对相位校正完毕基准像素数据进行一维傅立叶变换所得的值，除以对基准像素数据进行一维傅立叶变换所得的值，并进行一维逆傅立叶变换，由此计算FIR滤波器。
＜参照像素数据相位校正单元203＞
参照像素数据相位校正单元203通过对参照像素数据适用相位校正滤波器，计算相位校正完毕参照像素数据。接着，参照像素数据相位校正单元向开窗单元104输出相位校正完毕基准像素数据和算出的相位校正完毕参照像素数据。
对于参照像素数据适用相位校正滤波器，即也是使参照像素数据的相位偏移与对于基准像素数据进行的零相位化为相同的量。即，相位校正单元103能够以如下的方式进行校正，即原样保留在基准像素数据和参照像素数据之间存在的相位差，使各个像素数据的相位更加左右对称。
＜开窗单元104＞
开窗单元104分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗。即，开窗单元104通过对于相位校正完毕基准像素数据进行开窗而生成开窗完毕基准像素数据。并且，开窗单元104通过对于相位校正完毕参照像素数据进行开窗，生成开窗完毕参照像素数据。开窗单元104向相位相关单元105输出获取的开窗完毕基准像素数据和开窗完毕参照像素数据。
用于开窗的窗函数只要呈左右对称且两端相连的零形状即可，并不限定于特定的窗函数。因此，窗函数能够采用汉宁窗、布拉克曼窗、凯赛窗等。在本实施方式中，开窗单元104使用了汉宁窗。
＜相位相关单元105＞
相位相关单元105计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值。接着，相位相关单元105向峰值位置检测单元106输出算出的相位相关值。
作为相位相关值的计算方法，有使用一维傅立叶变换的一维POC方法，但在考虑了运算量的情况下，使用反相滤波器的方法最佳。在后述的实施方式4中说明使用反相滤波器的方法。此外，相位相关值的计算方法只要计算相位的相关性即可，并不限定于特定的方法。
＜峰值位置检测单元106＞
峰值位置检测单元106基于相位相关值，计算参照图像的对应点相对基准图像的基准点的视差。
立体图像处理装置100例如具有CPU和RAM等存储介质。在此情况下，上述各功能单元通过CPU执行控制程序来实现。
这样的立体图像处理装置100能够对于基准像素数据中的所有频率，将相位转换为零，并且保留与参照像素数据之间的相位差作为信息。因此，立体图像处理装置100能够使任何频率均不受窗函数的影响而高精度地计算视差。
其次，说明立体图像处理装置100的动作。
图3是表示立体图像处理装置100的动作的一例的流程图。
首先，在步骤S1000中，立体图像获取单元101获取立体图像的基准图像和参照图像。
接着，在步骤S2000中，图像剪切单元102分别从基准图像和参照图像，剪切与立体图像的基线长度方向平行的局部图像，获取基准像素数据和参照像素数据。
然后，在步骤S3000中，相位校正单元103进行相位校正完毕数据生成处理。
相位校正完毕数据生成处理是指分别对于基准像素数据和参照像素数据进行相位校正处理的处理，该相位校正处理是对于基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理。即，相位校正完毕数据生成处理是指生成相位校正完毕基准像素数据和相位校正完毕参照像素数据的处理。在本实施方式中，相位校正处理为上述零相位化处理。
图4是表示相位校正完毕数据生成处理(图3的步骤3000)的一例的流程图。
首先，在步骤S3010中，基准像素数据零相位化单元201对于基准像素数据进行零相位化处理。
接着，在步骤S3020中，相位校正滤波器计算单元202计算相位校正滤波器。
然后，在步骤S3030中，参照像素数据相位校正单元203对参照像素数据适用相位校正滤波器。接着，立体图像处理装置100的处理返回图3的流程图。
在图3的步骤S4000中，开窗单元104分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗。
接着，在步骤S5000中，相位相关单元105计算开窗完毕基准像素数据和开窗完毕参照像素数据之间的相位相关值。
接着，在步骤S6000中，峰值位置检测单元106基于相位相关值，计算参照图像的对应点相对基准图像的基准点的视差。
然后，在步骤S7000中，图像剪切单元102对于作为测距对象的整个区域，判定从设定局部图像的切取的基准位置到计算出视差为止的处理是否已完成。
图像剪切单元102在对于作为测距对象的整个区域的处理尚未完成的情况下(S7000：“否”)，使局部图像的切取的基准位置移动到剩余的区域，并返回步骤S2000。以下，此种基准位置被称为“切取基准位置”。另外，图像剪切单元102在完成了对作为测距对象的整个区域的处理的情况下(S7000：“是”)，结束一系列的处理。
通过如上所述的动作，立体图像处理装置100对于作为测距对象的区域内的各对应点，能够使任何频率均不受窗函数的影响而高精度地计算视差。
如上所述，本实施方式的立体图像处理装置100对所有频域，分别对于基准像素数据和参照像素数据进行使基准像素数据零相位化的零相位化处理。接着，本实施方式的立体图像处理装置100对于进行了零相位化处理后的数据进行开窗，计算对应点的视差。
由此，立体图像处理装置100能够在将由开窗产生的影响抑制到最小限度的状态下，分别提取基准像素数据的相位特性和参照像素数据的相位特性。即，立体图像处理装置100能够更高精度地计算基线长度方向的图像区域大小小的对象物的视差。
(实施方式3)
本发明的实施方式3是采用仅使基准像素数据中占主导地位的频带的信号左右对称的相位校正处理的例子。换句话说，本实施方式是比视差计算精度更优先地考虑减轻运算负载的例子。此处，基准像素数据中占主导地位的频带，例如是指振幅成分比其他频带更大的频带。
首先，说明本实施方式的立体图像处理装置的结构。
图5是表示本实施方式的立体图像处理装置的结构的一例的方框图，其对应于实施方式2的图2。对与图2相同的部分附加相同的标号，并省略与其相关的说明。
图5中，立体图像处理装置100a具有相位校正单元103a取代图2的相位校正单元103。
相位校正单元103a分别对于基准像素数据和参照像素数据进行相位校正处理，该相位校正处理是对于基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理。即，相位校正单元103a通过对于基准像素数据进行相位校正处理，生成相位校正完毕基准像素数据。并且，相位校正单元103a通过对于参照像素数据进行相位校正处理，生成相位校正完毕参照像素数据。接着，相位校正单元103a向开窗单元104输出相位校正完毕基准像素数据和相位校正完毕参照像素数据。
但是，本实施方式的相位校正单元103a在上述相位校正处理的效果较小的情况下，将基准像素数据和参照像素数据直接作为相位校正完毕基准像素数据和相位校正完毕参照像素数据来处理。
更具体而言，相位校正单元103a具有基准像素数据相位偏移单元301a、左右对称判定值计算单元302a、左右对称判定值比较单元303a和参照像素数据相位偏移单元304a。
＜基准像素数据相位偏移单元301a＞
基准像素数据相位偏移单元301a对于基准像素数据适用使一部分或全部的频率成分的相位偏移90度的移相滤波器，计算移相完成基准像素数据。接着，基准像素数据相位偏移单元301a向左右对称判定值计算单元302a输出基准像素数据、参照像素数据及算出的移相完成基准像素数据。
对于移相滤波器，只要在适用了基准像素数据的情况下使一部分或全部的频率成分的相位偏移90度即可，并不限定于特定的滤波器。在本实施方式中，移相滤波器是容易地使基准像素数据的一部分或全部的频率接近于零的FIR滤波器，具体而言是使一部分的频率的相位偏移90度的微分滤波器。
图6是用于说明微分滤波器的效果的图。在图6A～图6D各自中，横轴表示基准像素数据在排列方向上的位置(X)，纵轴表示像素值(例如亮度)或其微分值。
如图6A所示，某基准像素数据为亮度在中央附近呈台阶状地增大的像素值信号401。以X对该像素值信号401进行微分后，如图6B所示，该像素值信号401成为在中央附近具有脉冲形状的像素值微分数据402。
另外，如图6C所示，某基准像素数据为相位处于90度附近的像素值信号403。以X对该像素值信号403进行微分后，如图6D所示，该像素值信号403成为相位处于0度附近的像素值微分数据404。
在信号的相位处于0或180度附近的情况下，因将窗函数乘以该信号而产生的对于相位特性的影响较小。与此相对，在信号的相位处于90度附近的情况下，因将窗函数乘以该信号而产生的对于相位特性的影响较大。因此，对于相位处于90度附近的信号应用能够使相位偏移到0度或180度的微分滤波器，由此，能够减少窗函数的影响。
另外，数字信号的微分滤波器并不会使整个频带的相位偏移90度，但能够使至少一部分的频带的相位偏移，从而能够减少窗函数的影响。
但是，实际的信号中通常还包含大量相位处于90度附近以外的信号。例如在信号相位的大部分位于0度附近或180度附近的情况下，左右对称性反而会因适用微分滤波器而受损。
因此，立体图像处理装置100a仅在乘以了移相滤波器后，基准像素数据的左右对称性提高的情况下，采用相位校正处理的结果。以下对此进行说明。
＜左右对称判定值计算单元302a＞
左右对称判定值计算单元302a分别对于移相完毕基准像素数据和基准像素数据，计算表示值的左右对称性的左右对称判定值。接着，左右对称判定值计算单元302a向左右对称判定值比较单元303a输出基准像素数据、参照像素数据、移相完毕基准像素数据及算出的左右对称性判定值。
左右对称判定值只要表示一维数据的值的左右对称性即可，并不限定于特定的指标值。例如，左右对称判定值计算单元302a使用以下的式(1)、式(2)，计算基准像素数据的左右对称判定值Sym0、和移相完成基准像素数据的左右对称判定值Sym1。此外，这里，I0(x)(1≤x≤m，m：奇数)为基准像素数据，I1(x)(1≤x≤m，m：奇数)为移相完成基准像素数据。另外，对于通过式(1)、式(2)计算的左右对称判定值Sym0、Sym1而言，左右对称性越高，则其值越大。
Sym0＝-∑|I0(i)-I0(m+1-i)|(1≤i≤(m-1)/2)...(1)
Sym1＝-∑|I1(i)-I1(m+1-i)|(1≤i≤(m-1)/2)...(2)
＜左右对称判定值比较单元303a＞
左右对称判定值比较单元303a比较从移相完毕基准像素数据算出的左右对称判定值、与从基准像素数据算出的左右对称判定值。左右对称判定值比较单元303a判定移相完毕基准像素数据的左右对称性是否高于基准像素数据的上述左右对称性。
接着，左右对称判定值比较单元303a将表示左右对称性更高(即左右对称判定值更大)的信息与基准像素数据、参照像素数据及移相完毕基准像素数据一起输出到参照像素数据相位偏移单元304a。即，左右对称判定值比较单元303a向参照像素数据相位偏移单元304a输出表示移相完毕基准像素数据的左右对称性是否高于基准像素数据的左右对称性的信息。
在以下的说明中，移相完毕基准像素数据的左右对称性高于基准像素数据的左右对称性的情况被称为“有相移效果的情况”。另外，移相完毕基准像素数据的左右对称性不高于基准像素数据的左右对称性的情况被称为“无相移效果的情况”。
＜参照像素数据相位偏移单元304a＞
参照像素数据相位偏移单元304a对于参照像素数据适用移相滤波器，计算移相完成参照像素数据。此外，参照像素数据相位偏移单元304a还可以仅在有相移效果的情况下，计算移相完毕参照像素数据。接着，在有相移效果的情况下，参照像素数据相位偏移单元304a向开窗单元104输出移相完毕基准像素数据和移相完毕参照像素数据分别作为相位校正完毕基准像素数据和相位校正完毕参照像素数据。
另外，在无相移效果的情况下，参照像素数据相位偏移单元304a向开窗单元104输出基准像素数据和参照像素数据分别作为相位校正完毕基准像素数据和相位校正完毕参照像素数据。
其结果是开窗单元104在有相移效果的情况下，将移相完毕基准像素数据和移相完毕参照像素数据分别作为相位校正完毕基准像素数据和相位校正完毕参照像素数据。另外，开窗单元104在无相移效果的情况下，将基准像素数据和参照像素数据分别作为相位校正完毕基准像素数据和相位校正完毕参照像素数据。
立体图像处理装置100a例如具有CPU和RAM等存储介质。在此情况下，上述各功能单元通过CPU执行控制程序来实现。
其次，说明立体图像处理装置100a的动作。
图7是表示立体图像处理装置100a的动作的一例的流程图，其对应于实施方式2的图3。对与图3相同的部分附加同一步骤号，并省略与其相关的说明。立体图像处理装置100a执行图7的步骤S3000a的处理，取代图3的步骤S3000的处理。
图8是表示相位校正完毕数据生成处理(图7的步骤3000a)的一例的流程图。
首先，在步骤S3021a中，基准像素数据相位偏移单元301a对于基准像素数据适用上述移相滤波器。
接着，在步骤S3022a中，左右对称判定值计算单元302a计算基准像素数据的左右对称判定值Sym0。
接着，在步骤S3023a中，左右对称判定值计算单元302a计算移相完毕基准像素数据的左右对称判定值Sym1。
然后，在步骤S3024a中，左右对称判定值比较单元303a判定移相完毕基准像素数据的左右对称判定值Sym1是否大于基准像素数据的左右对称判定值Sym0。
左右对称判定值比较单元303a在左右对称判定值Sym1大于左右对称判定值Sym0的情况下(S3024a：“是”)，使处理进入步骤S3031a。另外，左右对称判定值比较单元303a在左右对称判定值Sym1为左右对称判定值Sym0以下的情况下(S3024a：“否”)，使处理进入后述的步骤S3032a。
在步骤S3031a中，参照像素数据相位偏移单元304a对参照像素数据适用移相滤波器。
接着，在步骤S3032a中，参照像素数据相位偏移单元304a根据有无相移效果而处理各数据。即，参照像素数据相位偏移单元304a在有相移效果的情况下，向开窗单元104输出移相完毕基准像素数据和移相完毕参照像素数据。另外，参照像素数据相位偏移单元304a在无相移效果的情况下，向开窗单元104输出基准像素数据和参照像素数据。接着，立体图像处理装置100a的处理返回图7的流程图。
这样，本实施方式的立体图像处理装置100a能够通过移相滤波器使相位校正完毕基准像素数据和相位校正完毕参照像素数据更加左右对称。本实施方式的立体图像处理装置100a通过适用移相滤波器，与适用实施方式2的零相位化的处理的情况相比，能够大幅抑制运算负载。另外，在采用了微分滤波器的情况，或将相移对象锁定于一部分的频带的情况下，运算负载进一步减小。
因此，与实施方式2的立体图像处理装置100相比，本实施方式的立体图像处理装置100a能够在减小了运算负载的状态下，高精度地计算出基线长度方向的图像区域大小小的对象物的视差。
(实施方式4)
本发明的实施方式4是通过图像匹配来锁定局部图像的剪切对象，并且在相位相关单元中采用反相滤波器的例子。换句话说，本实施方式是使运算负载进一步减小的例子。
首先，说明本实施方式的立体图像处理装置的结构。
图9是表示本实施方式的立体图像处理装置的结构的一例的方框图，其对应于实施方式2的图2。对与图2相同的部分附加相同的标号，并省略与其相关的说明。
在图9中，立体图像处理装置100b除了具有图2的结构之外，还具有图像匹配单元107b。另外，立体图像处理装置100b具有反相滤波单元108b，取代图2的相位相关单元105。此外，反相滤波单元108b是将相位相关单元105进行下位概念化所得的单元。
此外，在本实施方式中，立体图像获取单元101分别向图像匹配单元107b和图像剪切单元102输出获取的立体图像。
＜图像匹配单元107b＞
图像匹配单元107b获取相对基准图像的基准点的参照图像的对应点。这里获取的对应点是以像素级别的精度与基准点对应的对应点。以下，这样的对应点被称为“像素级别的对应点”。
具体而言，图像匹配单元107b通过对于由立体图像获取单元101获取的基准图像和参照图像进行图像匹配处理，获取相对基准图像的基准点的参照图像的对应点。接着，图像匹配单元107b计算参照图像的对应点在图像上的位置相对基准点在图像上的位置的“像素级别的偏移量n”。
例如，图像匹配单元107b将基准图像中包含的规定的一个像素作为“基准点”，从基准图像剪切以该基准点为中心的周边的局部图像。以下，此种局部图像被称为“像素匹配基准像素数据”。另外，图像匹配单元107b从参照图像剪切多个包含于参照图像中且大小与像素匹配基准像素数据相同的局部图像。以下，这样的局部图像被称为“像素匹配参照像素数据”。多个像素匹配参照像素数据各自在参照图像中被从不同位置剪切。此外，像素匹配基准像素数据只要包含基准点即可，不需要基准点一定为中心点。
对于立体图像，基准图像与参照图像的视差仅会产生在照相机的基线长度方向上。因此，图像匹配单元107b只要在基线长度方向上变更剪切位置，剪切多个像素匹配参照像素数据即可。接着，计算基准图像中的基准点的位置与参照图像的对应点的位置之间的偏移量作为上述偏移量n。
接着，图像匹配单元107b根据剪切出的多个像素匹配参照像素数据，确定与像素匹配基准像素数据之间的匹配度达到最大的像素匹配参照像素数据。确定出的像素匹配参照像素数据中，对应于基准点的一个像素成为参照图像上的对应点。例如使用表示亮度差异度的SAD(像素亮度的差异度：Sumof Absolute Differences)值作为表示匹配度的指标。
接着，图像匹配单元107b例如通过输出表示基准点的位置、像素级别的偏移量n及其偏移方向的信息，向图像剪切单元102输出基准点的位置和参照图像的对应点的位置。
此外，在本实施方式中，图像剪切单元102以使基准像素数据中包含基准点的方式，确定基准图像中的图像的剪切位置。另外，图像剪切单元102以使参照像素数据中包含对应点的方式，确定图像的剪切位置。图像剪切单元102还可以按照达到与所述像素匹配基准像素数据不同的大小的方式确定基准像素数据。
另外，在本实施方式中，开窗单元104向反相滤波单元108b输出开窗完毕基准像素数据和开窗完毕参照像素数据。
＜反相滤波单元108b＞
反相滤波单元108b使开窗完毕基准像素数据在排列方向上反转，计算反相滤波器系数。接着，反相滤波单元108b通过使用算出的反相滤波器系数，对开窗完毕参照像素数据进行滤波，由此计算相位相关值。有关滤波的处理的详细情况，将后述。接着，反相滤波单元108b向峰值位置检测单元106输出作为滤波的结果的相位相关值。以下，这样的滤波的结果被称为“滤波结果”。
此外，在本实施方式中，峰值位置检测单元106基于来自反相滤波单元108b的输出计算对应点的视差。
具体而言，峰值位置检测单元106获取滤波结果中的基准像素数据与参照像素数据之间的相关度(相位相关值)最高的相对位置关系。接着，峰值位置检测单元106基于获取的相对位置关系，计算参照像素数据的对应点相对基准像素数据的基准点的偏移量。这里获取的偏移量是比像素级别更细致的子像素级别的精度的偏移量。
更具体而言，峰值位置检测单元106通过检测滤波结果中的峰值的位置，计算这样的偏移量。此处，滤波结果中的峰值是指滤波结果达到最大值的位置。通过将该子像素级别的偏移量与图像匹配单元107b中所计算的像素级别的偏移量(上述偏移量n)相加，计算基准图像与参照图像之间的准确的偏移量(视差)。
立体图像处理装置100b例如具有CPU和RAM等存储介质。在此情况下，上述各功能单元通过CPU执行控制程序来实现。
其次，说明立体图像处理装置100b的动作。
此外，在以下的说明中，将图像横向作为X轴，将图像纵向作为Y轴，且一个像素为一个坐标点。另外，为了便于说明，假设核线的方向(基线长度方向)在整个图像中与X轴平行。
图10是表示立体图像处理装置100的动作的一例的流程图，其对应于实施方式2的图3。对与图3相同的部分附加同一步骤号，并省略与其相关的说明。
每当图像匹配单元107b从立体图像获取单元101输入立体图像时，使基准点在该立体图像的整个基准图像上移动，同时对基准图像和参照图像进行图像匹配处理。立体图像处理装置100对于所有基准点进行以下的步骤S2010b～S2080b的动作。
＜基准点的定位处理＞
在步骤S2010b中，图像匹配单元107b确定作为视差计算对象的基准点的位置(分析基准位置)。
＜像素匹配基准像素数据的剪切处理＞
在步骤S2020b中，图像匹配单元107b从基准图像剪切像素匹配基准像素数据。
像素匹配基准像素数据是包含步骤S2010b中所确定的基准点的部分区域的图像。如上所述，像素匹配基准像素数据的大小的单位为像素(pixel)。即，像素匹配基准像素数据是多个像素行×多个像素列的图像。
＜查找范围和查找开始位置的确定处理＞
在步骤S2030b中，图像匹配单元107b基于步骤S2020b中所确定的基准点的位置，确定参照图像中的查找范围和查找开始位置。
根据三角测量原理，基于照相机间的距离即基线长度、透镜的焦距及从立体照相机至测距对象物的距离来确定立体图像的视差。即，视差与基线长度及焦距成正比，与到对象物的距离成反比。基线长度和焦距因照相机参数而保持固定。因此，只要基于从立体照相机至测距对象物的距离来确定查找范围即可。处于距立体照相机无限远的对象物在基准图像和参照图像中被拍摄到相同的位置，因此参照图像中的查找开始位置也可以设定与基准图像中的基准点相同的坐标。
＜像素匹配参照像素数据的剪切处理＞
在步骤S2040b中，图像匹配单元107b确定参照图像中的剪切位置，并剪切像素行数和像素列数与像素匹配基准像素数据相同的像素匹配参照像素数据。
图像匹配单元107b将步骤S2030b中所确定的查找开始位置确定为例如最初的剪切位置，然后使剪切位置移动。
＜匹配度的计算处理＞
在步骤S2050b中，图像匹配单元107b计算像素匹配基准像素数据与像素匹配参照像素数据之间的匹配度。例如使用表示亮度差异度的SAD值或亮度类似度作为该匹配度。
此外，匹配度的指标并不限定于SAD值，只要能够用作匹配度的指标，则能够使用其他指标。例如，图像匹配单元107b还可以使用SSD(Sum ofSquared Differences，差方和)作为匹配度的指标。
＜查找范围的结束判定处理＞
在步骤S2060b中，图像匹配单元107b进行对查找范围的处理的结束判定处理。即，图像匹配单元107b判定是否由于剪切位置移动而包含了整个查找范围。
图像匹配单元107b在对查找范围的处理尚未结束的情况下(S2060b：“否”)，返回步骤S2040b。其结果是，图像匹配单元107b使剪切位置在查找范围内移动，以使步骤S2040b中的像素匹配参照像素数据的剪切区域偏移。这样，反复进行步骤S2040b～S2060b的处理，直到对查找范围的处理结束为止(S2060b：“是”)。
＜匹配度最大的参照位置检测处理＞
在步骤S2070b中，图像匹配单元107b基于通过步骤S2040b～S2060b的处理得到的多个匹配度，确定剪切位置。即，图像匹配单元107b确定匹配度达到最大的像素匹配参照像素数据的剪切位置。
在使用亮度差异度作为匹配度的情况下，图像匹配单元107b确定亮度差异度达到极小或最小的像素匹配参照像素数据的剪切位置。接着，图像匹配单元107b将匹配度达到最大的剪切位置确定为相对于基准点的参照图像的对应点。
这里，示意地说明直到检测出匹配度最大的位置为止的处理(图10的步骤S2010～S2070b)的概要。
图11是表示直到检测出匹配度最大的位置为止的处理的概要的示意图。
如图11A所示，图像匹配单元107b剪切以分析基准位置(基准点)(xa，ya)311为中心的周边的局部图像作为像素匹配基准像素数据312(图10的步骤S2020b)。在该像素匹配基准像素数据312的剪切中，使用规定大小(纵大小：wv像素，横大小：wh像素)的矩形窗313。此外，在这里，说明使由第一窗函数规定的矩形窗313的中心与分析基准位置311一致，但也可并非严格为中心。即，分析基准位置311只要存在于矩形窗313的中心附近即可。
接着，图像匹配单元107b基于确定的分析基准位置(图10的步骤S2010b)，确定参照图像中的查找范围和查找开始位置(图10的步骤S2030b)。查找开始位置(参照图像中的剪切像素匹配参照像素数据的初始坐标)例如使用与基准图像中的分析基准位置相同的坐标(xa，ya)。
接着，如图11B所示，图像匹配单元107b在切取基准位置321，从参照图像剪切以查找开始位置为中心的周边的局部图像作为像素匹配参照像素数据322(图10的步骤S2040b)。在该单位参照图像322的剪切中，使用与在像素匹配基准像素数据的剪切中所使用的矩形窗313相同的矩形窗。
然后，如图11C所示，图像匹配单元107b计算像素匹配基准像素数据312和各像素匹配参照像素数据322之间的匹配度(图10的步骤S2050b)。例如使用表示亮度差异度的SAD值作为该匹配度。通过以下的式(3)计算出该SAD值。
SAD ( n ) = Σ j = - wv / 2 wv / 2 Σ i = - wh / 2 wh / 2 | f ( xa + i , ya + j ) - g ( xa + i + n , ya + j ) | . . . ( 3 )
并且，如图11B所示，图像匹配单元107b在判定为查找范围尚未结束的情况下(图10的步骤S2060b：“否”)，挪动剪切位置，从参照图像剪切新的像素匹配参照像素数据322′。这里，逐个像素地挪动剪切位置。另外，挪动方向为图11B中的从参照图像的坐标(xa，ya)伸出的右箭头的方向。
这样，图像匹配单元107b对于一个像素匹配基准像素数据312，计算与多个像素匹配参照像素数据322相关的多个SAD值。接着，图像匹配单元107b基于多个匹配度，确定匹配度达到最大的像素匹配参照像素数据。具体而言，图像匹配单元107b确定与多个SAD值内的例如最小的SAD值对应的像素匹配参照像素数据322′。在将该确定出的像素匹配参照像素数据的剪切基准位置321′的坐标设为(xa+n，ya)时，n为像素单位的偏移量。然后，图像匹配单元107b将SAD值为最小的剪切基准位置321作为基准位置321(基准点)的像素级别的对应点。
＜子像素推测处理＞
在图10的步骤S2080b中，立体图像处理装置100b进行子像素估计处理。子像素估计处理是估计对应点相对基准点的子像素级别的精度的偏移量的处理。立体图像处理装置100b基于步骤S2010b中所设定的基准点、步骤S2070b中所获得的参照图像的对应点、由立体图像获取单元101输入的基准图像和参照图像，进行子像素估计处理。
图12是表示详细的子像素估计处理的流程图。
＜基准像素数据的剪切处理＞
在步骤S2081b中，图像剪切单元102从基准图像中剪切以基准点为中心的周边的局部图像，并获取基准像素数据。在该作为基准像素数据的基础的局部图像的剪切中使用矩形窗。
＜参照像素数据的剪切处理＞
在步骤S2082b中，图像剪切单元102从参照图像剪切以步骤S2070b中检测出的对应点为中心的周边的局部图像，并获取参照像素数据。在该参照像素数据的获取中，也使用与基准像素数据的情况相同的矩形窗。
此外，矩形窗的大小也可以与用于剪切像素匹配基准像素数据的矩形窗的大小不同。另外，在本实施方式中，说明了重新从基准图像获取基准像素数据，但并不限定于此。图像剪切单元102还可以将图像匹配单元107b所使用的像素匹配基准像素数据直接用作基准像素数据。
＜基准像素数据的相位校正处理＞
在步骤S3011b中，相位校正单元103对基准像素数据进行相位校正。
＜参照像素数据的相位校正处理＞
在步骤S3031b中，相位校正单元103对参照像素数据进行相位校正。
＜相位校正完毕基准像素数据的开窗处理＞
在步骤S4001b中，开窗单元104使用第二窗函数对于相位校正完毕基准像素数据进行开窗。第二窗函数例如为汉宁窗的窗函数。
＜相位校正完毕参照像素数据的开窗处理＞
在步骤S4002b中，开窗单元104使用与对于相位校正完毕基准像素数据使用的窗函数相同的窗函数，对于相位校正完毕参照像素数据进行开窗。
此外，在这里，说明使用汉宁窗的窗函数的情况，但本发明并不限定于此。如上所述，还可以使用汉明窗、布拉克曼窗、凯赛窗等作为窗函数。这些窗函数是根据基准像素数据的特性(例如频率功率特性、相位特性、剪切端连续性)中的哪个特性受到重视而选择的。例如，在重视相位特性的情况下，适用凯赛窗。但是若使用凯赛窗，则运算会变得非常复杂。另一方面，从削减运算量的观点出发，适用汉宁窗。
此处，对于子像素估计处理而言，重要的是剪切出的局部图像中不含有噪声。这是为了高精度地计算出子像素级别的偏移量。另一方面，图像匹配单元107b中的图像剪切处理例如按照像素单位进行，因此与图像剪切的精度相比，削减运算次数更受重视。
因此，使用仅简单地剪切图像数据的窗函数作为图像匹配单元107b所使用的第一窗函数。与此相对，用于子像素估计处理的第二窗函数重视噪声少。因此，优选第二窗函数为窗两端的变化连续的函数(例如窗两端的值为零的函数)。
通过使用这样的第二窗函数，能够保持基准像素数据和参照像素数据的连续性，并能够减少后述的反相滤波器的特性中所含的由剪切产生的噪声成分。此外，比较第一窗函数和第二窗函数的频率特性后，与第二窗函数相比，第一窗函数的主瓣(main-lobe)的宽度更窄，且旁瓣(side-lobe)的振幅更大。
＜反相滤波器系数计算处理＞
在步骤S5001b中，反相滤波单元108b根据开窗完毕基准像素数据计算反相滤波器系数。具体而言，反相滤波单元108b以使开窗完毕基准像素数据的各像素值的位置在排列方向上反转的形式，将信号列以相反的顺序排序。
＜滤波处理＞
在步骤S5002b中，反相滤波单元108b使用步骤S5001b中所计算出的反相滤波器系数，对开窗完毕参照像素数据进行滤波。
＜峰值位置检测处理＞
在步骤S6001b中，峰值位置检测单元106基于由滤波结果检测出的峰值位置，计算基准图像和参照图像之间的子像素级别的偏移量(视差)。通过将像素级别的偏移量n和子像素级别的偏移量δ′相加，求基准图像中的基准点的视差。接着，立体图像处理装置100的处理返回图10的流程图。
此外，图中的步骤S2081b～S5002b的处理顺序并不限定于图12的流程图所示的顺序。与基准图像相关的处理即S2081b、S3011b、S4001b、以及与参照图像相关的处理即S2082b、S3031b、S4002b分别按照所述顺序执行即可。并且，S2081b～S4002b的处理在S5001b之前完成即可。
以下，示意地说明子像素估计处理(图12)的概要。
图13是表示从剪切局部图像到计算出反相滤波器系数为止的处理(图12的步骤S2081b～S5002b)的概要的示意图。
如图13A所示，图像剪切单元102从基准图像获取由(M)个像素值构成的基准像素数据353。另外，如图13B所示，图像剪切单元102从参照图像获取由M个像素值构成的参照像素数据356。
并且，开窗单元104使用以基准点(xa，ya)和像素级别的对应点(xa+n，ya)为中心的M个像素的大小的汉宁窗作为第二窗函数w(m)357。此外，第二窗函数w(m)的大小并不限定于M。
反相滤波单元108b不一定需要另外计算反相滤波器系数，进行能够获得适用反相滤波器系数时的滤波结果的运算即可。即，如图13C所示，反相滤波单元108b例如使用以下所示的式(4)进行滤波处理。其中，f′(m)表示基准图像的像素值，g′(m)表示参照图像的像素值。
z ( m ) = Σ k = - M / 2 M / 2 f ' ( - k ) × g ' ( m - k ) . . . ( 4 )
图14是用于说明利用反相滤波器系数进行的滤波(图12的步骤S5002b)的概念的示意图。
在图14中，假设窗函数w(m)的长度(M)为5像素。并且，假设除去了折叠噪声且进行了开窗的基准像素数据为“1，2，3，4，5”。另外，除去了折叠噪声且进行了开窗的参照像素数据x(m)也为“1，2，3，4，5”。另外，假设用于滤波的像素值为亮度值。
在基准像素数据为“1，2，3，4，5”的情况下，反相滤波单元108b计算“5，4，3，2，1”作为反相滤波器系数h(k)。
接着，如图14B所示，反相滤波单元108b使用反相滤波器系数h(k)，对于参照像素数据实施滤波处理。
具体而言，该滤波处理以如下方式进行。在将参照像素数据中的任意结构信号的坐标设为k的情况下，反相滤波单元108b通过将反相滤波器系数h(k)乘以结构信号的坐标为“k-2，k-1，k，k+1，k+2”的信号列来实施滤波处理。接着，反相滤波单元108b计算各相乘结果的总和作为滤波结果z(m)。这里，m取0～4的整数值。
这里，若考虑参照像素数据两端的外部的亮度为0的虚拟坐标点，则如图14A所示，参照像素数据x(m)成为“0，0，1，2，3，4，5，0，0”。在将图14A中的m(m：0～4)作为参照像素数据的坐标点的情况下(即，x(0)＝1，x(1)＝2，x(2)＝3，x(3)＝4，x(4)＝5)，滤波处理以如下方式进行。
反相滤波单元108b在m＝0的情况下，通过反相滤波器“5，4，3，2，1”对以m＝0为中心的亮度值信号列“0，0，1，2，3”进行滤波处理。其结果是z(0)成为26(＝0×1+0×2+1×3+2×4+3×5)。
另外，在m＝1的情况下，反相滤波单元108b通过反相滤波器“5，4，3，2，1”对以m＝1为中心的亮度值信号列“0，1，2，3，4”进行滤波处理。其结果是z(1)成为40(＝0×1+1×2+2×3+3×4+4×5)。
同样地，z(2)为55，z(3)为40，z(4)为26。
因此，反相滤波单元108b获得“26，40，55，40，26”作为滤波结果z(m)。
这样的滤波处理由上述式(4)表示。式(4)中，使用基准像素数据反转后的f′(-k)作为反相滤波器的滤波器系数h(k)。另外，g′(m)为参照像素数据的亮度值。
如图14C所示，使用了反相滤波器的滤波处理的滤波结果z(m)具有对称(图14中，以m＝2为中心而左右对称)、且在中央附近存在峰值这一特征。
另外，反相滤波器具有以下的特征：其相当于所谓的FIR滤波器的一种，且为线性移不变系统。此处，所谓线性移不变系统，是指在输入信号有偏移时输出信号也发生与输入信号相同的偏移的系统。
在上述具体例中，以在参照像素数据与基准像素数据之间无偏移的情况为例进行了说明。但是当参照像素数据相对基准像素数据，存在小于采样间隔的偏移时，作为滤波结果的z(m)也会发生相同的偏移。
此外，当实际空间中求同一大小的对象物的视差时，对象物存在于远处的情况与对象物存在于近处的情况相比，视差变小，且像素单位的偏移量n也变小。与此同时，该对象物的基线长度方向的图像区域大小也变小。
因此，较为理想的是，立体图像处理装置100根据由图像匹配单元107b检测出的像素单位的偏移量n的大小，设定反相滤波器的抽头数。
例如，在像素单位的偏移量n较小的情况下，反相滤波器的抽头长也与之相应地被设定得较短。即，在实际空间中求同一大小的物体的视差时，物体存在于远处的情况与物体存在于近处的情况相比，视差变小，且像素单位的偏移量n也变小。与此同时，拍摄到图像中的大小也变小，因此，根据偏移量n的大小来变更基准像素数据和参照像素数据的大小，由此也能够相应地变更反相滤波器的抽头长度。由此，能够计算出与测距对象的物体的大小匹配的视差。
另外，滤波结果为线性过渡不变系统的输出。因此，除去透镜的变形校正的误差、CCD等图像传感器引起的增益噪声等误差、开窗导致的图像剪切运算精度的误差后，滤波结果理论上表现出了真实的偏移量。因此，按照采样定理对按像素单位被离散化的反相滤波器的输出插入像素间的数值，由此能够求子像素单位的真实的峰值位置。
图15是表示峰值位置检测处理(图12的步骤S6001b)的一例的概要的示意图。此处，表示使用了sinc函数的峰值位置检测处理的概要。
sinc函数是由sin(πx)/πx定义的函数，且是在使离散化后的采样数据恢复为原来的连续数据时所使用的函数。采样定理证明通过进行采样后的离散数据与sinc函数的卷积运算，能够将原来的连续数据完全复原。
因此，峰值位置检测单元106通过sinc函数对离散化后的滤波结果进行卷积运算。由此，峰值位置检测单元106能够插补像素单位间隔的信号数据，按子像素单位也能够在理论上导出插补信号数据后的滤波结果z(m)的真实的峰值位置。
如图15所示，峰值位置检测单元106例如通过二分检索，检测峰值位置。
例如，峰值位置检测单元106将像素单位间隔的滤波结果z(m)达到最大的位置m＝0设为位置A(即，二分检索基准点)。峰值位置检测单元106对从该最大位置A向左右各偏移了一个像素后的位置的滤波结果即z(+1)和z(-1)进行比较。接着，峰值位置检测单元106将滤波结果较大的位置(这里为m＝1)设为位置B(即，二分检索使用点)。
然后，峰值位置检测单元106基于采样定理，使用例如以下的式(5)计算二分检索基准点A和二分检索使用点B的中点即位置C的值。
Z ( m ) = Σ n = - ∞ ∞ Z ( n ) sin ( π ( m - n ) ) π ( m - n ) . . . ( 5 )
接着，峰值位置检测单元106将位置C作为新的二分检索基准点，反复进行与上述相同的处理。
该处理的反复次数能够设为与需要的精度对应的数。即，若需要的子像素精度为1/2像素，则峰值位置检测单元106只要进行一次上述处理即可。另外，若需要的子像素精度为1/4像素精度，则峰值位置检测单元106将反复次数定为两次，若需要的子像素精度为1/8像素，则峰值位置检测单元106将反复次数定为三次，只要根据需要的子像素精度来确定反复次数即可。
接着，峰值位置检测单元106将最后获得的中点作为检测出的峰值位置δ。
此外，在以上的说明中，说明了使用sinc函数和二分检索法检测峰值位置的方法。然而，本发明并不限定于此，例如，峰值位置检测单元106也可以通过将sinc函数和梯度法加以组合来检索峰值位置。即，只要在通过sinc函数对离散化后的滤波结果进行卷积运算并将像素单位间隔的信号数据插补后，则峰值位置检测单元106能够使用各种最大值检测方法。
此外，峰值位置检测单元106还可以使用二次曲线近似来检测峰值位置。由此，峰值位置检测单元106能够削减用于检测峰值位置的运算量。在此情况下，峰值位置检测单元106对离散化后的滤波结果用二次曲线进行拟合，并检测出该二次曲线的极大值的位置作为峰值位置。由此，峰值位置检测单元106能够用离散化的间隔以下的精度求峰值位置。
图16是表示使用了二次曲线近似的峰值位置检测处理(图12的步骤S6001b)的一例的概要的示意图。
如图16所示，峰值位置检测单元106首先求像素单位间隔的滤波结果z(m)达到最大的位置m＝0的值z(0)。另外，峰值位置检测单元106获取从该最大位置m＝0向左右各偏移一个像素后的位置m＝+1、-1的滤波结果即z(+1)、z(-1)。接着，峰值位置检测单元106求通过这三个点的二次曲线，并进一步检测该二次曲线达到极大值的位置作为峰值位置δ。例如能够使用以下的式(6)计算该峰值位置δ。
δ = z ( - 1 ) - z ( + 1 ) 2 × { z ( - 1 ) + z ( + 1 ) - 2 × z ( 0 ) } . . . ( 6 )
此外，在以上的说明中，立体图像处理装置100b基于基准像素数据计算反相滤波器系数，并使用反相滤波器系数对于参照像素数据实施滤波处理。但是，立体图像处理装置100b也可以相反地基于参照像素数据计算反相滤波器系数，并使用反相滤波器对于基准像素数据实施滤波处理。这是因为在立体图像的一方与另一方这一意义上，基准像素数据和参照像素数据为等价数据。
如上所述，本实施方式的立体图像处理装置100b通过图像匹配锁定局部图像的剪切对象，并且使用反相滤波器计算视差。由此，本实施方式的立体图像处理装置100b能够在减小了运算负载的状态下，更高精度地计算基线长度方向的图像区域大小小的对象物的视差。
此外，以上所说明的各实施方式中的立体图像处理装置的各功能单元例如还可由集成电路构成。立体图像处理装置的各功能单元既可以各自集成为单芯片，也可以将多个功能单元集成为单芯片。集成电路根据集成度的不同，能够形成为LSI(large scale integration，大规模集成电路)、IC(integrated circuit，集成电路)、系统LSI、超大LSI或特大LSI等。另外，集成电路也可以由专用电路或通用处理器来实现。另外，集成电路还可以作为制造后能够编程的FPGA(field programmable gate array，现场可编程门阵列)、或能够对内部电路块的连接或设定进行重新构置的可重构置处理器。再有，随着半导体技术的进步或其他技术的派生，还可以利用代替LSI的其他集成电路化的技术(例如生物技术)进行集成，由此实现立体图像处理装置的各功能单元。
本发明的立体图像处理装置包括：立体图像获取单元，获取立体图像的基准图像和参照图像；图像剪切单元，分别从上述基准图像和上述参照图像，剪切与上述立体图像的基线长度方向平行的局部图像，并获取一维像素数据串，该一维像素数据串表示该局部图像的上述基线长度方向上的像素值的分布；相位校正单元，分别对于基准像素数据和参照像素数据进行相位校正处理，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使所述基准像素数据的值更加左右对称的处理；开窗单元，分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗，上述相位校正完毕基准像素数据是对于上述基准像素数据进行上述相位校正处理所得的数据，上述相位校正完毕参照像素数据是对上述参照像素数据进行上述相位校正处理所得的数据；相位相关单元，计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值，上述开窗完毕基准像素数据是对于上述相位校正完毕基准像素数据进行上述开窗所得的数据，上述开窗完毕参照像素数据是对于上述相位校正完毕参照像素数据进行上述开窗所得的数据；以及峰值位置检测单元，基于上述相位相关值，计算上述参照图像的对应点相对于上述基准图像的基准点的视差。
另外，在上述立体图像处理装置中，上述相位校正单元还可以包括：基准像素数据零相位化单元，对于上述基准像素数据进行使各频率成分的相位归零的零相位化处理，由此计算上述相位校正完毕基准像素数据；相位校正滤波器计算单元，基于上述基准像素数据和上述相位校正完毕基准像素数据，计算在对于上述基准像素数据进行适用时，使上述基准像素数据的值左右对称的相位校正滤波器；以及参照像素数据相位校正单元，通过对于上述参照像素数据适用上述相位校正滤波器，计算上述相位校正完毕参照像素数据。
另外，在上述立体图像处理装置中，上述零相位化处理还可以包括对于上述基准像素数据依次实施一维傅立叶变换、除去虚数成分及一维逆傅立叶变换的处理；上述相位校正滤波器包括以下的滤波器，即将对上述相位校正完毕基准像素数据进行一维傅立叶变换所得的值，除以对上述基准像素数据进行一维傅立叶变换所得的值，由此计算的滤波器。
另外，在上述立体图像处理装置中，上述相位校正单元还可以包括：基准像素数据相位偏移单元，对于上述基准像素数据，适用使一部分或全部的频率成分的相位偏移90度的移相滤波器，计算移相完毕基准像素数据；左右对称判定值计算单元，分别对于上述移相完毕基准像素数据和上述基准像素数据，计算表示值的左右对称性的左右对称判定值；左右对称判定值比较单元，比较从上述移相完毕基准像素数据算出的上述左右对称判定值和从上述基准像素数据算出的上述左右对称判定值，判定上述移相完毕基准像素数据的上述左右对称性是否高于上述基准像素数据的上述左右对称性；以及参照像素数据相位偏移单元，对于上述参照像素数据适用上述移相滤波器，计算移相完毕参照像素数据，上述开窗单元在上述移相完成基准像素数据的上述左右对称性高于上述基准像素数据的上述左右对称性时，将上述移相完毕基准像素数据和上述移相完毕参照像素数据分别作为上述相位校正完毕基准像素数据和上述相位校正完毕参照像素数据，在上述移相完毕基准像素数据的上述左右对称性不高于上述基准像素数据的上述左右对称性时，将上述基准像素数据和上述参照像素数据分别作为上述相位校正完毕基准像素数据和上述相位校正完毕参照像素数据。
另外，在上述立体图像处理装置中，上述移相滤波器还可以是微分滤波器。
另外，在上述立体图像处理装置中，上述相位相关单元还可以使上述开窗完毕基准像素数据在排列方向上反转，计算反相滤波器系数，并使用上述反相滤波器系数对上述开窗完毕参照像素数据进行滤波，由此计算上述相位相关值。
另外，上述立体图像处理装置还可以包括获取像素级别的上述对应点的图像匹配单元，上述图像剪切单元以使上述局部图像中包含上述基准点和上述对应点的方式，确定上述局部图像的剪切位置，上述峰值位置检测单元基于上述相位相关值，计算子像素级别的上述对应点相对上述基准图像的基准点的视差。
本发明的立体图像处理方法包括以下步骤：获取立体图像的基准图像和参照图像的步骤；分别从上述基准图像和上述参照图像，剪切与上述立体图像的基线长度方向平行的局部图像，并获取一维像素数据串的步骤，该一维像素数据串表示该局部图像的上述基线长度方向上的像素值的分布；分别对于基准像素数据和参照像素数据进行相位校正处理的步骤，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使所述基准像素数据的值更加左右对称的处理；分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗的步骤，上述相位校正完毕基准像素数据是对于上述基准像素数据进行上述相位校正处理所得的数据，上述相位校正完毕参照像素数据是对于上述参照像素数据进行上述相位校正处理所得的数据；计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值的步骤，上述开窗完毕基准像素数据是对于上述相位校正完毕基准像素数据进行上述开窗所得的数据，上述开窗完毕参照像素数据是对于上述相位校正完毕参照像素数据进行上述开窗所得的数据；以及基于上述相位相关值，计算上述参照图像的对应点相对于上述基准图像的基准点的视差的步骤。
在2012年9月27日提交的特愿第2012-214974号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容，全部引用于本申请。
工业实用性
本发明的立体图像处理装置和立体图像处理方法，作为对于基线长度方向的图像区域大小小的对象物也能够高精度地计算视差的立体图像处理装置和立体图像处理方法是有用的。
标号说明
100、100a、100b 立体图像处理装置
101 立体图像获取单元
102 图像剪切单元
103、103a 相位校正单元
104 开窗单元
105 相位相关单元
106 峰值位置检测单元
107b 图像匹配单元
108b 反相滤波单元
201 基准像素数据零相位化单元
202 相位校正滤波器计算单元
203 参照像素数据相位校正单元
301a 基准像素数据相位偏移单元
302a 左右对称判定值计算单元
303a 左右对称判定值比较单元
304a 参照像素数据相位偏移单元

Claims (8)

1.立体图像处理装置，包括：
立体图像获取单元，获取立体图像的基准图像和参照图像；
图像剪切单元，分别从所述基准图像和所述参照图像，剪切与所述立体图像的基线长度方向平行的局部图像，并获取表示所述局部图像的所述基线长度方向上的像素值的分布的一维像素数据串；
相位校正单元，分别对于基准像素数据和参照像素数据进行相位校正处理，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使该基准像素数据的值更加左右对称的处理；
开窗单元，分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗，所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所得的数据；
相位相关单元，计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数据进行所述开窗所得的数据；以及
峰值位置检测单元，基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视差。
2.如权利要求1所述的立体图像处理装置，
所述相位校正单元包括：
基准像素数据零相位化单元，对于所述基准像素数据，通过进行使各频率成分的相位归零的零相位化处理，计算所述相位校正完毕基准像素数据；
相位校正滤波器计算单元，基于所述基准像素数据及所述相位校正完毕基准像素数据，计算在适用于所述基准像素数据时使该基准像素数据的值左右对称的相位校正滤波器；以及
参照像素数据相位校正单元，通过对于所述参照像素数据适用所述相位校正滤波器，计算所述相位校正完毕参照像素数据。
3.如权利要求2所述的立体图像处理装置，
所述零相位化处理包括对于所述基准像素数据依次实施一维傅立叶变换，除去虚数成分及一维逆傅立叶变换的处理；
所述相位校正滤波器包括将对所述相位校正完毕基准像素数据进行一维傅立叶变换所得的值，除以对所述基准像素数据进行一维傅立叶变换所得的值而计算的滤波器。
4.如权利要求1所述的立体图像处理装置，
所述相位校正单元包括：
基准像素数据相位偏移单元，对于所述基准像素数据应用使一部分或全部的频率成分的相位偏移90度的移相滤波器，计算移相完毕基准像素数据；
左右对称判定值计算单元，分别对于所述移相完毕基准像素数据和所述基准像素数据，计算表示值的左右对称性的左右对称判定值；
左右对称判定值比较单元，将根据所述移相完毕基准像素数据算出的所述左右对称判定值和根据所述基准像素数据算出的所述左右对称判定值进行比较，判定所述移相完毕基准像素数据的所述左右对称性是否高于所述基准像素数据的所述左右对称性；以及
参照像素数据相位偏移单元，对所述参照像素数据适用所述移相滤波器，计算移相完毕参照像素数据，
所述开窗单元在所述移相完毕基准像素数据的所述左右对称性高于所述基准像素数据的所述左右对称性时，将所述移相完毕基准像素数据和所述移相完成参照像素数据，分别作为所述相位校正完毕基准像素数据和所述相位校正完毕参照像素数据，在所述移相完毕基准像素数据的所述左右对称性不高于所述基准像素数据的所述左右对称性时，将所述基准像素数据和所述参照像素数据分别作为所述相位校正完毕基准像素数据和所述相位校正完毕参照像素数据。
5.如权利要求4所述的立体图像处理装置，
所述移相滤波器为微分滤波器。
6.如权利要求1所述的立体图像处理装置，
所述相位相关单元通过使所述开窗完毕基准像素数据在排列方向上反转，计算反相滤波器系数，并使用所述反相滤波器系数，对所述开窗完毕参照像素数据进行滤波，由此计算所述相位相关值。
7.如权利要求1所述的立体图像处理装置，
还包括获取像素级别的所述对应点的图像匹配单元，
所述图像剪切单元确定所述局部图像的剪切位置，以使所述局部图像中包含所述基准点和所述对应点，
所述峰值位置检测单元基于所述相位相关值，计算子像素级别的所述对应点相对所述基准图像的基准点的视差。
8.立体图像处理方法，包括以下步骤：
获取立体图像的基准图像和参照图像的步骤；
分别从所述基准图像和所述参照图像剪切与所述立体图像的基线长度方向平行的局部图像，并获取表示所述局部图像的所述基线长度方向上的像素值的分布的一维像素数据串的步骤；
分别对于基准像素数据和参照像素数据进行相位校正处理的步骤，该基准像素数据是从所述基准图像获取的所述一维像素数据串，该参照像素数据是从所述参照图像获取的所述一维像素数据串，所述相位校正处理是在对于所述基准像素数据进行处理时，使所述基准像素数据的值更加左右对称的处理；
分别对于相位校正完毕基准像素数据和相位校正完毕参照像素数据进行开窗的步骤，所述相位校正完毕基准像素数据是对于所述基准像素数据进行所述相位校正处理所得的数据，所述相位校正完毕参照像素数据是对于所述参照像素数据进行所述相位校正处理所得的数据；
计算表示开窗完毕基准像素数据和开窗完毕参照像素数据之间的相关程度的相位相关值的步骤，所述开窗完毕基准像素数据是对于所述相位校正完毕基准像素数据进行所述开窗所得的数据，所述开窗完毕参照像素数据是对于所述相位校正完毕参照像素数据进行所述开窗所得的数据；以及
基于所述相位相关值，计算所述参照图像的对应点相对于所述基准图像的基准点的视差的步骤。
CN201380049586.4A 2012-09-27 2013-07-04 立体图像处理装置和立体图像处理方法 Expired - Fee Related CN104685535B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012214974 2012-09-27
JP2012-214974 2012-09-27
PCT/JP2013/004162 WO2014049919A1 (ja) 2012-09-27 2013-07-04 ステレオ画像処理装置およびステレオ画像処理方法

Publications (2)

Publication Number Publication Date
CN104685535A true CN104685535A (zh) 2015-06-03
CN104685535B CN104685535B (zh) 2017-11-28

Family

ID=50387374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049586.4A Expired - Fee Related CN104685535B (zh) 2012-09-27 2013-07-04 立体图像处理装置和立体图像处理方法

Country Status (5)

Country Link
US (1) US10009594B2 (zh)
EP (1) EP2902960A4 (zh)
JP (1) JP6258209B2 (zh)
CN (1) CN104685535B (zh)
WO (1) WO2014049919A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507089A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于生成图像的方法和设备
CN107076541A (zh) * 2015-06-11 2017-08-18 松下知识产权经营株式会社 尺寸测定装置以及尺寸测定方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5980294B2 (ja) * 2014-10-27 2016-08-31 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
WO2017017963A1 (ja) * 2015-07-29 2017-02-02 京セラ株式会社 視差算出装置、ステレオカメラ装置、車両及び視差算出方法
US20170171456A1 (en) * 2015-12-10 2017-06-15 Google Inc. Stereo Autofocus
EP3182372B1 (en) * 2015-12-18 2019-07-31 InterDigital CE Patent Holdings Method and system for estimating the position of a projection of a chief ray on a sensor of a light-field acquisition device
US10341634B2 (en) 2016-01-29 2019-07-02 Samsung Electronics Co., Ltd. Method and apparatus for acquiring image disparity
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
JP7024736B2 (ja) * 2017-02-07 2022-02-24 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR102459853B1 (ko) 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
JP2019169000A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JPWO2022044961A1 (zh) * 2020-08-28 2022-03-03

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867591A (en) * 1995-04-21 1999-02-02 Matsushita Electric Industrial Co., Ltd. Method of matching stereo images and method of measuring disparity between these image
EP2416293A1 (en) * 2009-03-31 2012-02-08 Panasonic Corporation Stereo image processor and stereo image processing method
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8528848D0 (en) 1985-11-22 1985-12-24 Davy Mckee Poole Rolling mills
JP2005055931A (ja) * 2001-07-05 2005-03-03 Advantest Corp 画像処理装置、及び画像処理方法
JP4955926B2 (ja) * 2005-02-09 2012-06-20 株式会社ビットストロング ラインスキャン型の画像処理装置
JP4382797B2 (ja) 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および３次元位置計測方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867591A (en) * 1995-04-21 1999-02-02 Matsushita Electric Industrial Co., Ltd. Method of matching stereo images and method of measuring disparity between these image
EP2416293A1 (en) * 2009-03-31 2012-02-08 Panasonic Corporation Stereo image processor and stereo image processing method
WO2012086173A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107076541A (zh) * 2015-06-11 2017-08-18 松下知识产权经营株式会社 尺寸测定装置以及尺寸测定方法
CN106507089A (zh) * 2015-09-07 2017-03-15 三星电子株式会社 用于生成图像的方法和设备
CN106507089B (zh) * 2015-09-07 2020-12-08 三星电子株式会社 用于生成图像的方法和设备

Also Published As

Publication number Publication date
CN104685535B (zh) 2017-11-28
EP2902960A1 (en) 2015-08-05
US10009594B2 (en) 2018-06-26
JP6258209B2 (ja) 2018-01-10
EP2902960A4 (en) 2015-09-23
WO2014049919A1 (ja) 2014-04-03
JPWO2014049919A1 (ja) 2016-08-22
US20150249814A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
CN104685535A (zh) 立体图像处理装置和立体图像处理方法
US8355564B2 (en) Corresponding point searching method and three-dimensional position measuring method
US9185382B2 (en) Stereo image processor and stereo image processing method
Zhao et al. Multi-focus image fusion based on the neighbor distance
CN103189715B (zh) 立体图像处理装置及立体图像处理方法
US20150036917A1 (en) Stereo image processing device and stereo image processing method
CN102906782B (zh) 立体图像处理装置及立体图像处理方法
DE102011103423A1 (de) System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen
JP5891415B2 (ja) ステレオ画像処理装置
WO2009096520A1 (ja) 対応点探索装置および対応点探索方法
KR101766431B1 (ko) 계층적 스테레오 정합을 이용한 변이 추출 방법 및 그 장치
CN104318586A (zh) 基于自适应形态学滤波的运动模糊方向估计方法及装置
CN107085208B (zh) 基于分段曲面拟合的干涉合成孔径声纳复图像配准方法
CN110335298B (zh) 一种基于无人机平台图像消旋方法
Yu et al. Color-guided boundary-preserving depth upsampling based on L 0 gradient minimization
CN117724101A (zh) 基于相位分块的卡尔曼滤波相位解缠方法、系统及设备
Yu et al. A subpixel motion estimation approach based on the phase correlation
CN117830334A (zh) 医学影像的轮廓分割方法、装置、设备和介质
Pap Displacement measurements using phase correlation and ENO interpolation image processing techniques
Li et al. Depth Enhancement Using Domain Transform-Based Multipoint Filter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171128

Termination date: 20200704