CN102859555B

CN102859555B - 图像处理装置及图像处理方法

Info

Publication number: CN102859555B
Application number: CN201280000903.9A
Authority: CN
Inventors: 山田整; 申省梅; 李博; 王振珀
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-01-13
Filing date: 2012-01-11
Publication date: 2016-04-20
Anticipated expiration: 2032-01-11
Also published as: CN102859555A; JP5954712B2; JPWO2012096163A1; WO2012096163A1; US9070042B2; US20130004079A1

Abstract

为了使抑制作为从不同视点拍摄同一物体而得到的图像的第1图像与第2图像在垂直方向的视差的对位精度进一步提高，有关本发明的图像处理装置（100）具备：分割部（102），将第1图像及第2图像分别分割成多个子区域；以及抽取部（104），按每个子区域进行特征点的抽取处理，抽取部（104）进行特征点的抽取，以使得表示所抽取的特征点的数量在多个子区域之间的偏差程度的值为事先设定的值以下。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置等。特别涉及进行图像的对位的图像处理装置等。

背景技术

从图像中检测特征点的技术、以及从检出的特征点中抽取满足规定条件的特征点的技术为我们所知。下文中，将特征点的检测及抽取只称为特征点的抽取。抽取特征点的技术，在例如图像的匹配、包含在图像中的特定对象(object)的识别、图像的对位、以及3D图像生成时的校准(calibration)等领域中，被广泛应用。

在这诸多领域中，对从不同视点拍摄同一物体而得到的多个图像分别抽取特征点之后，寻找作为不同图像间相对应的成对特征点(特征点对：pair)的匹配点。

就是说，所谓的匹配点，就是在不同图像间表示同一空间位置的成对点。

例如，考虑由具有规定视差的两张图像生成立体视觉用的图像的情况。这里，在两张图像中，除了立体视觉必需的视听者所看到的水平方向的视差以外，还包括透镜组装误差或因拍摄时的抖动等产生的垂直方向的视差。垂直方向的视差，成为妨碍舒适的立体视觉的要因。因而，为了抑制垂直方向的视差，一般要将一个图像与另一个图像相匹配地进行变换处理。具体地说，为了使对应的特征点间在垂直位置的差变得更小，需要生成用于基于一定的条件将一个图像向另一个进行变形(warp)的变形矩阵。

因而，在图像的对位中，首先，分别从两个图像中抽取特征点。然后，从抽取的特征点当中，寻找两个图像间相对应的匹配对。接下来，生成变形矩阵，以抑制匹配对中所包含的垂直视差。最后，对一个图像实施基于变形矩阵的变换处理。这样一来，就能够生成合适的立体视觉图像。

从图像中抽取特征点的很多方法是公知的。例如，使用了作为在旋转以及扩大·缩小等变换中不变的特征量的SIFT(ScaleInvariantFeatureTransform：尺度不变特征变换)特征量、或者SURF(Speeded-upRobustFeature：快速鲁棒特征)特征量等的各种特征点抽取方法。

例如，在专利文献1(美国专利申请公开第2009/0052780号说明书)中，记载有用多处理器系统将图像分割成多个区域的技术。该文献中，将DoG(DifferenceofGaussian/高斯差分)应用到通过SIFT进行的特征抽取。其中，从各区域抽取的特征点的数量是可变的，这由DoG的阈值所决定。

还有，在专利文献2(美国专利第5731851号说明书)中，记载有基于特征点的运动补偿方式。在某一区域内对移动对象的特征点进行检索，与这些特征点相关联的网格，在符号化用途中以分层结构形成。

还有，在专利文献3(美国专利第5617459号说明书)中，记载有抽取一个对象的轮廓中的多个特征点的方法。

现有技术文献

专利文献1美国专利申请公开第2009/0052780号说明书

专利文献2美国专利第5731851号说明书

专利文献3美国专利第5617459号说明书

发明内容

发明要解决的问题

然而，无论根据上述哪种以往技术，由于从一个图像中抽取的特征点在图像中的位置分布不均，都存在图像的对位精度下降的课题。

在有关以往技术的特征点的抽取处理中，首先算出图像中所包含的多个点的特征量。然后，将特征量的值比规定的阈值还大的点，作为特征点抽取。

这里，在某一点的对比度越高，该点的特征量的值就越大。从而，在一张图像中，从对比度高的部分抽取很多的特征点，而从对比度低的部分几乎不抽取特征点。其结果是，在几乎没有抽取特征点的部分，图像的对位的精度就下降了。

于是，本发明的目的在于提供一种使图像的对位的精度进一步提高的图像处理装置。

解决问题的手段

有关本发明的图像处理装置的一个方式，抽取用于进行对位的特征点，该对位用于抑制作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像在垂直方向的视差，该图像处理装置具备：分割部，将上述第1图像以及上述第2图像分别分割成多个子区域；以及抽取部，按每个上述子区域进行特征点的抽取处理，上述抽取部进行上述特征点的抽取处理，以使得表示通过上述抽取处理所抽取的上述特征点的数量在上述多个子区域之间的偏差程度的值为事先设定的值以下。

根据这种结构，图像处理装置能够抑制按每个子区域抽取的特征点的数量间的偏差地抽取特征点。从而，能够在图像内均匀分布地抽取特征点。其结果是，图像处理装置能够使图像的对位的精度进一步提高。

另外，本发明不仅能够实现为这种图像处理装置，也能够实现为以图像处理装置所包含的特征性手段为步骤的图像处理方法，或者能够实现为使计算机执行这样的特征性步骤的程序。并且，上述程序当然能够通过CD-ROM(CompactDiscReadOnlyMemory)等存储介质以及互联网等传输介质流通。

另外，本发明既能够作为实现这种图像处理装置的一部分功能或者全部功能的半导体集成电路(LSI)来实现，又能够作为包含这种图像处理装置的图像处理系统来实现。

发明效果

能够提供一种通过在图像中均匀分布地抽取特征点，而使图像的对位的精度进一步提高的图像处理装置。

附图说明

图1是表示图像内分布的强特征和弱特征的概念图。

图2是表示有关本发明的实施方式1的图像处理装置的功能框图。

图3是表示有关本发明的实施方式1的图像处理装置所执行的全部处理的流程图。

图4A是某一图像所包含的多个特征点的位置的示图。

图4B是按照以往技术从图4A所示的图像中抽取特征点的结果的示图。

图4C是由有关本发明的实施方式1的图像处理装置，从图4A所示的图像中抽取特征点的结果的示图。

图5是表示有关本发明的实施方式1的抽取部的功能框图。

图6是对有关本发明的实施方式1的图像处理装置的处理流程进一步详细说明的流程图。

图7是对图6的步骤S308a中的抽取部执行的处理进一步详细说明的流程图。

图8是表示在通过调整部调整对比度而适应性地抽取特征点的情况下，图像处理装置所进行的处理的流程的流程图。

图9是对图8的步骤S308b中的抽取部所执行的处理进一步详细说明的流程图。

图10是对参照图像与对象图像的视差进行校正处理的流程进行说明的流程图。

图11是对有关本发明的实施方式2的图像处理装置进行的生成虚拟特征点的处理进行说明的概念图。

图12是表示有关实施方式2的图像处理装置所具备的抽取部的功能框图。

图13是表示虚拟特征点生成部的功能框图。

图14是对虚拟特征点生成部所执行的处理进行详细说明的概念图。

图15是表示有关实施方式2的图像处理装置所执行的利用虚拟特征点进行图像的对位处理的一例的详细流程图。

图16A是有关实施方式1的图像处理装置的特征点抽取结果的示图。

图16B是对图16A所示的特征点进行了特征点匹配的结果示图。

图16C是将匹配后的成对特征点进一步校正偏差后的两张图像进行重合后的图像的示图。

图17是表示实现有关本发明的实施方式1及2的图像处理装置的计算机系统的硬件结构的示图。

具体实施方式

具体也可以是，还具备：对位部，基于上述特征点，对上述第1图像与上述第2图像进行对位，上述对位部，使上述第1图像以及上述第2图像中的一个图像所包含的特征点，和与之相对应的、包含在另一个图像中的特征点相匹配，对至少一个图像实施坐标变换，以使得匹配后的特征点彼此在垂直方向的坐标值的差变小。

根据这种结构，图像处理装置就能够将从各子区域抽取的特征点的数量保持在一定的范围内。

具体也可以是，上述抽取部在上述多个子区域的每一个中，进行使从该子区域中抽取的特征点的数量与事先设定的数量N的差为规定值以下的个数的上述特征点的抽取处理。

根据这种结构，图像处理装置100，就能够通过按每个子区域调整特征点阈值的大小，从而调整从该子区域抽取特征点的数量。

也可以是，上述抽取部具有：特征量算出部，在上述多个子区域的每一个中，算出与该子区域所包含的多个像素中的各个像素相对应的特征量；特征点抽取部，将上述多个像素当中，所对应的特征量为事先设定的特征点阈值以上的像素，作为特征点抽取；以及调整部，在上述多个子区域的每一个中，对该子区域中的上述特征点阈值的大小进行调整，以使得通过上述特征点抽取部抽取的特征点的数量与上述N的差为上述规定值以下。

根据这种结构，图像处理装置就能够生成虚拟的特征点来代替不足的特征点。从而，对于对比度变化小的图像等，抽取规定数量的特征点很困难的图像，也能够更高精度地进行图像的对位。

具体也可以是，上述抽取部还具有：虚拟特征点生成部，基于通过上述特征点抽取部抽取的上述特征点，在上述多个子区域当中的第1子区域中生成虚拟特征点，上述虚拟特征点生成部，在上述第1子区域中，生成所抽取的特征点的数量和上述虚拟特征点的数量的合计值与上述N的差为上述规定值以下的个数的上述虚拟特征点。

根据这种结构，图像处理装置就能够基于第1图像中已经抽取的两点，在第1图像以及第2图像中生成虚拟特征点。

也可以是，上述虚拟特征点生成部具有：第1虚拟点生成部，基于作为上述第1图像所包含的特征点的第1特征点和第2特征点，生成该第1图像中的虚拟特征点即第1虚拟点；参照信息取得部，取得参照信息，该参照信息包含该第1图像中上述第1虚拟点与上述第1特征点的距离、以及该第1虚拟点与上述第2特征点的距离中的各个距离；对应点取得部，取得与上述第1特征点相对应的上述第2图像中的点即第3特征点、以及与上述第2特征点相对应的上述第2图像中的点即第4特征点；以及第2虚拟点生成部，通过参照上述参照信息，生成第2虚拟点，作为在上述第2图像中与上述第1虚拟点相对应的虚拟特征点。

根据这种结构，图像处理装置100，就能够通过按每个子区域调整图像的对比度来代替调整特征点阈值，从而调整抽取的特征点的数量。

也可以是，上述抽取部具有：特征量算出部，在上述多个子区域的每一个中，算出与该子区域所包含的多个像素中的各个像素相对应的特征量；特征点抽取部，将上述多个像素当中，所对应的特征量为事先设定的特征点阈值以上的像素，作为特征点抽取；以及调整部，在上述多个子区域的每一个中，对该子区域中的图像对比度的大小进行调整，以使得通过上述特征点抽取部抽取的特征点的数量与上述N的差为上述规定值以下。

根据这种结构，图像处理装置就能够将从各子区域中抽取的特征点的数量按每个子区域的差，抑制在一定范围内。

也可以是，上述抽取部，从上述多个子区域所包含的第1子区域以及与上述第1子区域不同的上述第2子区域中进行特征点的抽取处理，以使得从上述第1子区域中抽取的特征点的数量与从上述第2子区域中抽取的特征点的数量之差为事先设定的阈值以下。

下面，对于有关本发明的图像处理装置的实施方式，参照附图进行详细说明。

另外，下面说明的实施方式，都是表示本发明的一个具体优选例。下面的实施方式中所示的数值、形状、结构要素、结构要素的配置位置及连接方式、步骤、以及步骤的顺序等，都只是一例，并非限定本发明的主旨。本发明只限定于权利要求的范围。因此，在下面的实施方式中的结构要素当中，对于并未记载于表示本发明的最上位概念的独立权利要求的结构要素，未必都是实现本发明的课题所必需的，但作为构成更优选的方式的要素来说明。

(实施方式1)

图1表示图像内强特征和弱特征的分布状态。这里，在本发明中，图像特征中的任意特征都是能够利用的。例如，考虑将每个像素的对比度值等作为图像的特征来利用。

在以往的特征点抽取当中，基于某一规定的阈值，从图像中只抽取具有强特征的特征点，这样做的目的在于使抽取的特征点的数量不会过多。

可是，如上所述，当强特征在图像内不均匀时，就只是在图像的一部分区域内抽取特征点了。这样一来，就产生对位的精度下降的问题。

图2是表示解决该课题的、有关本实施方式的图像处理装置的结构框图。

图2所示的图像处理装置100，是为了对作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像进行对位，而从第1图像和第2图像中抽取特征点的图像处理装置。第1图像及第2图像，例如，是立体视觉用的左眼用图像及右眼用图像。

图像处理装置100具备：分割部102、抽取部104、以及对位部106。

分割部102，将作为图像数据而取得的第1图像及第2图像分别分割成多个子区域。

抽取部104，按每个子区域进行特征点的抽取处理。更为详细地说，抽取部104，以使抽取的特征点的数量在表示多个子区域间的偏差程度的数值为事先设定的数值以下的方式，进行特征点的抽取。具体说，抽取部104按每个子区域进行如下个数的特征点的抽取处理：该个数是经抽取处理使从该子区域抽取的特征点的数量与事先设定的数量N的差为规定值以下的个数。另外，抽取部104，对抽取的各特征点算出特征描述符。另外，对于抽取部104所进行的具体的处理，后述。

对位部106，基于抽取的特征点来进行对位，以使得第1图像与第2图像在垂直方向的视差变小。

具体地说，对位部106，首先使第1图像及第2图像中的一个图像中所包含的特征点，跟包含在另一个图像中的、与之相对应的特征点进行匹配。这里所谓的相对应的特征点，是表示同一空间位置的特征点。

例如，当以第1图像为基准时，对位部106针对第1图像所包含的各个特征点，在第2图像所包含的特征点当中，搜索特征点描述符最为相似的特征点，由此使两图像间的特征点彼此相匹配。

然后，对位部106，至少对一个图像实施坐标变换，以使匹配后的特征点彼此在垂直方向的坐标值的差变小。另外，在这里，假设以第1图像为基准，对第2图像实施了坐标变换。然后，对位部106将表示第1图像及变换坐标后的第2图像的数据输出。

也可以是，图像处理装置100不具备对位部106。这种情况下，图像处理装置100分别对第1图像及第2图像所抽取的特征点的坐标值进行输出。由于对位部106所进行的处理，是有关以往技术的处理，因此例如通过图像处理装置100的外部装置执行与对位部106相当的处理，能获得同样的效果。另外，也可以是，对位部106，使两图像间的特征点彼此匹配以后，不进行坐标变换。这种情况下，对位部106输出匹配后的成对特征点的坐标值。

图3是表示图像处理装置100所进行的全部处理的一例的流程图。

首先，在步骤S100，向图像处理装置100输入多个图像(例如第1图像及第2图像)。

然后，在步骤S102，分割部102将输入的各图像分割成多个子区域。分割数量不特别限定。还有，既可以对第1图像和第2图像进行同样分割，或者，也可以对第1图像和第2图像进行不同分割。

然后，在步骤S104，抽取部104利用按每个子区域做适应性变更后的阈值，从各子区域中连续或者并进地进行特征点的抽取处理。

然后，在步骤S106，抽取部104对先前步骤抽取的各特征点算出特征点描述符。

然后，在步骤S108，对位部106使不同图像间的特征点匹配。具体地说，从第2图像所包含的特征点中，选择具有与从第1图像所包含的特征点中选择的某特征点的特征量描述符最为相似的特征量描述符的特征点。将这样选择出的两个特征点，作为匹配的特征点。

然后，在步骤S110，输出匹配后的成对的特征点的坐标值。另外，也可以是，对位部106在步骤108进行特征点的追踪，以代替特征点的匹配。

也可以是，图像处理装置100，省略步骤S108及步骤S110的至少一个处理。这种情况下，通过外部装置进行与省略的步骤相当的处理，获得同样的效果。

下面，参照图4A～图4C，将根据以往技术所抽取的特征点与由图像处理装置100具备的抽取部104所抽取的特征点进行比较。

图4A表示某图像200所包含的特征点的位置。在图4A中，像特征点222那样，用填涂的三角形表示的特征点，表示特征强的(即，特征点的特征量大)特征点。还有，像特征点224那样，用加点的三角形表示的特征点，表示特征中等程度(即，特征点的特征量的大小为中等程度)的特征点。还有，像特征点226那样，用留白的三角形表示的特征点，表示特征弱的(即，特征点的特征量小)特征点。

图4B表示根据以往技术从图像200中抽取特征点的结果。根据以往技术所抽取的特征点的大部分，被特征强的特征点占据。这是因为在以往技术当中，从图像200全图中将具有规定阈值以上的特征量的点作为特征点来抽取。其结果是，如图4B所示，抽取的特征点在图像200中向右上方偏离中心。从而，如果将这样的特征点用于图像的对位等的某些用途的变换矩阵的生成，就会由于特征点的分布不均匀，而不正确地表现整体图像。

另一方面，图4C表示由有关本实施方式的图像处理装置100从图像200中抽取的特征点的结果。根据图像处理装置100，能从整个图像中全部地抽取特征点。抽取的特征点，包含强特征点、比较强的(即，中等强度的)特征点、以及弱特征点。如图4C所示，如果抽取的特征点的分布是均匀的，则基于特征点的图像的对位更有保证、更稳定。

下面，参照图5～图9，进一步对图像处理装置100所具备的抽取部104进行详细说明。

图5是表示有关本实施方式的抽取部104的功能框图。

如图5所示，抽取部104具有：特征量算出部112、特征点抽取部114、以及调整部116。

特征量算出部112，算出在经分割部102分割的多个子区域的每一个中，与该子区域所包含的多个像素分别对应的特征量。如上述，特征量能够使用任意的特征量，这里，特征量算出部112，例如，利用像素的对比度值等算出特征量。再具体地说，可以考虑利用SIFT特征量或者SURF特征量的基于斜率的特征量等。

特征点抽取部114，将在多个像素当中的对应的特征量为事先设定的特征点阈值以上的像素作为特征点抽取。然后，特征点抽取部114将抽取的特征点的坐标值输出。

调整部116，在多个子区域的每一个中，对该子区域中的特征点的阈值大小进行调整，以使得经特征点抽取部114抽取的特征点的数量与作为应抽取的特征点的目标数的、事先设定的数值N之间的差为规定值以下。

具体地说，当经特征点抽取部114抽取的特征点的数量比N还小的情况下，调整部116使特征点阈值大小变得更小。相反，当经特征点抽取部114抽取的特征点的数量比N还大的情况下，调整部116使特征点阈值的大小变得更大。

图6是对图像处理装置100的处理流程进一步详细说明的流程图。

在图6当中，首先，在步骤S302，分割部102将参照图像及对象图像分割成多个子区域。另外，在上述的第1图像及第2图像当中，一个与参照图像相对应，而另一个与对象图像相对应。

然后，在步骤S304，抽取部104对参照图像以及对象图像各自所包含的各个子区域算出对比度值。抽取部104基于该对比度值，在步骤306，利用规定的特征点阈值按每个子区域进行特征点的抽取处理。另外，该特征点的抽取处理，既可以由抽取部104按每个子区域连续处理，或者，也可以对子区域彼此并行处理。

然后，在步骤S308a，抽取部104通过对特征点阈值进行适应性调整，使各子区域都具有足够数量的特征点。另外，也可以是，抽取部104对特征点阈值进行调整，以使得子区域所包含的特征点的数量按每个子区域的差为规定值以下。

然后，在步骤S310，抽取部104对抽取的各特征点算出特征描述符。所谓特征描述符，例如，是在抽取的各特征点中，按每个方向表现了特征量的信息。特征量，例如，是表示按每个方向算出的亮度值的斜率的信息等。

然后，在步骤S312，对位部106将在参照图像和对像图像之间表示相同空间位置的、对应的特征点彼此进行匹配。

最后，在步骤S314，对位部106将匹配后的成对的特征点的坐标值输出。

图7是对在图6的步骤S308a，抽取部104所进行的处理进一步详细说明的流程图。

首先，在步骤S402，抽取部104在多个子区域当中选择任意一个子区域。然后，特征量算出部112对选择的子区域所包含的多个点算出特征量。例如，特征量算出部112既可以对子区域内所有的像素算出特征量，或者，也可以对子区域内均匀采样的多个像素算出特征量。

然后，在步骤S404，特征点抽取部114，在选出的子区域内，利用规定的特征点阈值抽取特征点。

然后，在步骤S406，调整部116对抽取的特征点的数量是否达到N或者是否接近N进行判定。换句话说，调整部116对抽取的特征点的数量与N的差是否为规定值以下进行判定。

其中，当特征点的数量达到N或者接近N时(在步骤S406，是)，调整部116将该子区域中抽取的特征点输出。

然后，在步骤S410，抽取部104对多个子区域当中是否不存在步骤S402中还未选择的子区域(即，在步骤S402选出的子区域是否为应由抽取部104处理的最后的子区域)进行判定。其中，当在步骤S402选择的子区域不是应处理的最后的子区域时(在S410，否)，抽取部104选择下一个子区域，进行同样的处理(S402)。另外，当在步骤S402中选择的子区域是应处理的最后的子区域时(在S410，是)，在步骤S412，抽取部104对所有的子区域输出抽取的特征点的坐标。

另一方面，当抽取的特征点的数量与N的差超过规定值时(在步骤S406，否)，在步骤S408，调整部116对对象子区域设定新的特征点阈值。具体地说，当抽取的特征点的数量比N还大时，就再加大特征点的阈值，另外，当抽取的特征点的数量比N还小时，再减小特征点的阈值。

然后，抽取部104再次使特征点抽取部114在该子区域中抽取特征点(S404)。

另外，在图7的流程图中，调整部116通过按每个子区域调整特征点阈值来抽取特征点。但是，调整部116也可以通过按每个子区域调整图像的对比度来代替调整特征点阈值，从而抽取特征点。下面，参照图8及图9，进一步详细说明。

图8是表示在通过调整部116调整对比度而适应性地抽取特征点的情况下，图像处理装置100所进行的处理的流程的流程图。

另外，图8所示的各处理，除步骤S308b，与图6共用。因此，这里对步骤S308b的处理进行说明。

在步骤S308b，调整部116通过按每个子区域对对比度进行适应性调整，使弱特征变得鲜明。通过该处理，特征点抽取部114就容易抽取弱特征点了。其结果是，抽取部104就能够进行使各子区域可靠地包含足够数量特征点地进行特征点的抽取处理。另外，抽取部104也可以调整特征点阈值，以使子区域所包含的特征点数量的按每个子区域的差为规定值以下。

图9是对在图8的步骤S308b，抽取部104所进行的处理进一步进行详细说明的流程图。另外，抽取部104所进行的处理当中，与图7不同的只有步骤S409。因此，重点对步骤S409的处理进行说明。

当抽取的特征点的数量与N的差超过规定值时(在步骤S406，否)，调整部116在步骤S409将对象子区域中的对比度进行调整。具体地说，当抽取的特征点的数量比N还少时，调整部116使对比度更大。相反，当抽取的特征点的数量比N还多时，则使对比度更小。像这样，调整部116按每个区域对对比度进行适应性调整。

即，也可以是，抽取部104具有：特征量算出部112，在多个子区域的每一个中，算出与该子区域所包含的多个像素分别对应的特征量；特征点抽取部114，从多个像素当中，将对应的特征量为事先设定的特征点阈值以上的像素，作为特征点抽取；以及调整部116，在多个子区域的每一个中，对该子区域中的图像对比度的大小进行调整，以使得经特征点抽取部114抽取的特征点的数量与N的差为规定值以下。

接下来，参照图10，对图像处理装置100通过对参照图像实施坐标变换处理而生成完成了对位的两张图像时的处理流程进行说明。

图10是图像处理装置100对参照图像与对象图像的视差进行校正的处理流程进行说明的流程图。

首先，在步骤S502，分割部102将参照图像及对象图像分割成多个子区域。

然后，在步骤S504，抽取部104对各图像算出对比度值。基于该对比度值，在步骤S506，抽取部104利用规定的阈值，按每个子区域进行特征点的抽取。

通常，很难事先确定能可靠地从图像中抽取均匀分布的特征点的阈值。从而，在步骤S508，抽取部104通过对阈值进行适应性调整，而从各子区域中抽取对对位来说是足够数量的、且在各子区域彼此间会有相同数量的特征点。

然后，在步骤S510，抽取部104对抽取的各特征点算出特征描述符。

然后，在步骤S512，对位部106对参照图像和对象图像间的特征点进行匹配。

然后，在步骤S514，对位部106基于匹配后的特征点，算出变形矩阵。对位部106，例如，将在匹配后的各特征点的坐标当中，能够对图像垂直方向的差进行抑制的矩阵，作为变形矩阵而算出。从而，变形矩阵，例如用仿射变换矩阵或者旋转矩阵等形式来表示。

最后，在步骤S516，对位部106通过将变形矩阵应用于参照图像，将参照图像与对象图像的位置关系调整到适合于立体视觉。

如上述，有关本实施方式的图像处理装置100，将一张图像分成子区域，并按每个子区域调整用于特征点抽取的阈值，以使得在各子区域所抽取的特征点的数量无偏差。

其结果是，能够在图像内均匀分布地抽取特征点。从而，根据图像处理装置100，就能够使图像的对位的精度进一步提高。

另外，通过在特征点抽取后按每个子区域进行匹配处理，能够对匹配处理时的搜索进行并行处理。其结果是，图像处理100能够更快速地进行图像的对位。

(实施方式2)

即使是在有关实施方式1的图像处理装置100中，在例如几乎没有对比度差的区域中，也难以通过阈值的调整来抽取合适的特征点。

有关实施方式2的图像处理装置，为解决该课题而生成虚拟特征点。下面，进一步详细说明。

图11是对虚拟特征点的生成处理进行说明的概念图。其中，FP1及FP2，作为在参照图像中抽取的两个真的特征点。No_T是不包含纹理(texture)的子区域(无纹理区域)。还有，在No_T中，显示有生成的虚拟特征点FakePt。其中，虚拟特征点FakePt的位置，是通过对FakePt与FP1的距离d1、以及FakePt与FP2的距离d2进行确定，用抽取的两个真的特征点导出的点。

另外，同样的手法也适用于对象图像。这要通过从与参照图像内的两个真的特征点分别匹配的、在对象图像内抽取的两个真的特征点中，配置分别与距离d1及距离d2相同距离的虚拟特征点来进行。

其结果是，能够在对象图像以及参照图像所包含的无纹理区域内生成虚拟特征点。

图12是表示有关本实施方式的图像处理装置所具备的抽取部104A的功能框图。

如图12所示，抽取部104A具有：特征量算出部112、特征点抽取部114A、调整部116、以及虚拟特征点生成部118。另外，在下面的说明中，以与图5所示的抽取部104不同的结构要素为中心进行说明。

特征点抽取部114A，在判断出经调整部116对特征点阈值的调整也不能抽取所需数量的特征点的情况下，使虚拟点生成部118生成虚拟特征点。

虚拟特征点生成部118，基于经特征点抽取部114A抽取的特征点，在多个子区域所包含的第1子区域内生成虚拟特征点。更为详细地，虚拟特征点生成部118，只在第1子区域内生成使抽取的特征点的数量与虚拟特征点的数量的合计值，与事先设定的数量N的差为规定值以下的个数的虚拟特征点。

这里，第1子区域，是指由于亮度变化小而不能通过调整部116抽取所需数量的特征点的区域。例如图11中No_T所示的子区域就符合。

图13表示虚拟特征点生成部118的功能框图。

如图13所示，虚拟特征点生成部118具有：第1虚拟点生成部122、参照信息取得部124、对应点取得部126、以及第2虚拟点生成部128。

第1虚拟点生成部122，基于作为经特征点抽取部114A从第1图像中抽取的特征点的第1特征点和第2特征点，在第1图像中生成虚拟特征点。也将该虚拟特征点称为第1虚拟点。

参照信息取得部124，取得包含在该第1图像中的第1虚拟点与第1特征点的距离、以及该第1虚拟点与第2特征点的距离中的每个距离的参照信息。

对应点取得部126，取得与第1特征点对应的第2图像中的点即第3特征点，以及与第2特征点对应的第2图像中的点即第4特征点。

第2虚拟点生成部128，通过参照该参照信息，在第2图像中生成与第1虚拟点对应的作为虚拟特征点的第2虚拟点。

更具体地说，参照图14，首先，第1虚拟点生成部122从多个子区域当中，选择作为抽取的特征点的数量不满足事先设定的数量N的子区域的第1子区域。然后，第1虚拟点生成部122，例如，从距离第1子区域规定的距离以内的、经抽取部104A抽取的特征点当中，选择第1特征点(也称为FP1)与第2特征点(也称为FP2)。例如，第1虚拟点生成部122也可以将第1子区域外的子区域所包含的特征点中，离第1子区域最近的特征点作为FP1，而将第2近的特征点作为FP2来选择。

然后，第1虚拟点生成部122，生成作为将连接FP1和FP2的线段按规定比值进行分割的点的虚拟特征点。这里，第1虚拟点生成部122，既可以是例如与FP1以及FP2的特征的强弱(特征量的大小)成比例地决定对FP1与FP2的连接线段的分割比。或者，也可以是以使虚拟特征点位于未抽取特征点的子区域内的方式来决定。或者，也可以是作为FP1和FP2的中点来决定。

然后，参照信息取得部124，在第1图像中取得FP1与虚拟特征点的距离d1、以及FP2与虚拟特征点的距离d2。包含d1及d2的信息称为参照信息。

然后，对应点取得部126，取得在第2图像中抽取的特征点中分别与FP1及FP2对应的点即第3特征点(也称为FP3)及第4特征点(也称为FP4)。即，FP3与FP1对应同一空间位置。另外，FP4与FP2对应同一空间位置。

最后，第2虚拟点生成部128，参照该参照信息，将距FP3为d1的距离、且距FP4为d2的距离的点作为虚拟特征点。另外，也可以是，第2虚拟点生成部128，将以距FP3为d1的距离、且距FP4为d2的距离的点为中心的一定区域内所包含的点当中，具有与虚拟特征点最为相似的特征描述符的点，作为虚拟特征点。

图15是表示本实施方式中，利用虚拟特征点进行图像对位处理的一例。

在步骤S702，对输入的图像对应用图像滤波器，算出其响应。作为图像滤波器，例如可以考虑低通滤波器、及带通滤波器等。

然后，在步骤S704，分割部102将图像分成多个子区域。另外，分割部102也可以在此之前进行图像的子区域的分割。

然后，在步骤S706，抽取部104A从各子区域中进行特征点的抽取处理。然后，在步骤S708，抽取部104A对抽取的特征点是否足够、以及是否在整个图像中均匀分布进行确认。其中，当抽取部104A判断出足够数量的特征点从整个图像中均匀抽取时(在步骤S708，是)，对位部106在步骤S716对该抽取的特征点进行匹配处理。然后，在步骤S718，利用在步骤S716中匹配后的对应的特征点彼此的对，生成变形矩阵。最后，对位部106，在步骤S720进行图像对的对位。

另一方面，当抽取部104A判断出未从整个图像中均匀地抽取足够数量的特征点时(在步骤S708，否)，抽取部104A在步骤S710对特征点阈值进行调整，并抽取具有更弱特征的特征点。

结果，当抽取部104A判断出从整个图像中均匀地抽取了足够数量的特征点时(在步骤711，是)，进入步骤S716的处理。

另一方面，当抽取的特征点不够时(在步骤S711，否)，抽取部104A在步骤S712，对特征点阈值的调整是否进行了既定次数以上进行判定。其中，当未达到既定次数时(在步骤S712，否)，抽取部104A在步骤S710，再一次对特征点阈值进行调整。另外，当已达到既定次数时(以步骤S712，是)，虚拟特征点生成部118在步骤S713生成虚拟特征点。

如上所述，有关本实施方式的图像处理装置，在对比度弱到难以抽取特征点的子区域当中，基于已经抽取的特征点，生成作为第1虚拟点以及与之对应的第2虚拟点所构成的对的虚拟特征点。其结果是，图像处理装置除了由抽取部104抽取的真的成对的特征点以外，还使用成对的虚拟特征点，由此就能够进行精度更高的图像的对位。

下面，参照图16A～图16C，将有关本发明的图像处理装置的图像重合结果，与根据以往的方法的图像重合结果的比较，作为一例而展示。

图16A所示的图像802、图16B所示的图像804、以及图16C所示的图像806表示有关本发明的图像处理装置的特征点的抽取结果。另外，图16A所示的图像808、图16B所示的图像810、以及图16C所示的图像812，是按照以往的方法，基于所有帧中所包含的像素值所抽取的特征点的结果。

首先，参照图16A，从图像802中的子区域822中抽取特征点，但从图像808的子区域882中一个特征点也未抽出。另外，图像802，也在整个图像中比图像808的情况更加均匀分布地抽取特征点。具体地说，在图像808中的特征点，多集中在图像的右侧。像这样特征点的分布不均匀的话，就会影响到下面述及的特征的匹配以及图像的对位的结果。

图16B表示特征点匹配后的结果。图像中所示的白线，表示匹配后的成对特征点间的位置偏差。具体地说，图像804是表示在用有关本发明的图像处理装置抽取特征点的两张图像(例如左眼用图像及右眼用图像)当中完成了特征点匹配的结果。另外，图像810是在用以往技术抽取特征点的两张图像当中完成了特征点匹配的结果。

在图像804中匹配的结果，也比表示用按以往的方法所抽取的特征点进行匹配的结果的图像810在图像内更为均匀地分布。成对特征点842表示参照图像与对象图像之间匹配后的特征点的一个对。

图16C是表示通过匹配后的成对特征点校正偏差后的两张图像的重合图像。更详细地说，图像806是利用关本发明的图像处理装置进行对位的两张图像重合后的图像。另外，图像812是利用以往技术进行对位的两张图像重合后的图像。在图像806中，基于本发明的特征点抽取的图像的对位结果，更加合理地贯穿整个图像地保持了一致。具体地说，远的对象具有小视差，且近对象具有更大视差。另一方面，在图像812中，基于以往的特征点抽取的图像的对位结果就不正确，并非贯穿整个图像地一致。具体地说，远的对象具有大视差。像这样，很多情况下，在根据本发明的图像对位中，能获得高质量的结果。这表示按照本发明中说明的图像处理装置的特征点抽取方法，对所抽取的特征点的均匀分布是起到了作用的。

另外，有关上述实施方式1及2的图像处理装置，首先，对取得的参照图像以及对象图像进行子区域的分割处理。但也可以是，图像处理装置在按每个子区域抽取特征点以前，对一张图像整体抽取特征点，只有当抽取的特征点的分布有偏差时，才将该图像分割成多个子区域。例如，参照图6，在步骤S302，在分割部102将参照图像以及对象图像分别分成多个区域之前的阶段，抽取部104分别从参照图像以及对象图像的整个图像区域内，抽取特征点。然后，如果抽取的特征点在各图像中的分布位置的偏差在事先设定的阈值以上，则抽取部104执行步骤S302以下的处理也可以。

这样，通过对整个图像区域内分布的恰当性进行最初的判断，就能够省去图像处理装置所进行处理当中的浪费。

另外，有关上述实施方式1及2的抽取部，将按每个子区域抽取的特征点的数量与事先设定的数量N进行比较，并对特征点阈值进行调整使其差为规定值以下。但是，只要是使按每个区域抽取的特征点的数量在子区域间的偏差程度在事先设定的值以下而能够抽取特征点的话，抽取部也可以用其他的方法来进行特征点阈值的调整。

例如，也可以是，在多个子区域当中，抽取部使从第1子区域中抽取的特征点的数量，与从和第1子区域不同的第2子区域中抽取的特征点的数量两者之差在事先设定的阈值以下，以这样的方式从第1子区域及第2子区域中抽取特征点。另外，在这种情况下，也可以是，只要从第1子区域或者第2子区域中抽取的特征点的数量在事先设定的值M以下，在多个子区域的每一个当中，抽取部就只抽取该子区域中的特征点的数量与事先设定的数量N的差为规定值以下的个数的特征点。

这样一来，就能够从多个子区域的每一个当中，抽取出无偏差、且为更高精度地进行图像的对位所需要的数量的特征点。

另外，实施方式1及2所说明的图像处理装置，也能够通过计算机来实现。图17是表示实现有关本发明的图像处理装置的计算机系统的硬件结构的框图。

有关本发明的图像处理装置包含：计算机34、用于给计算机34指示的键盘36及鼠标38、用于提示计算机34的运算结果等的信息的显示器32、以及用于读取计算机34所执行的程序的CD-ROM(CompactDisc-ReadOnlyMemory)装置40及通信调制解调器52。

作为有关本发明的图像处理装置所进行的处理的程序，存储在能够由计算机读取的介质的CD-ROM42，并由CD-ROM装置读取。或者，通过计算机网络由通信调制解调器52来读取。

计算机34包含：CPU(CentralProcessingUnit)44、ROM(ReadOnlyMemory)46、RAM(RandomAccessMemory)48、硬盘50、通信调制解调器52、以及总线54。

CPU44执行通过CD-ROM装置40或者通信调制解调器52读取的程序。ROM46存储计算机34的动作所必需的程序及数据。RAM48存储程序执行时的参数等的数据。硬盘50存储程序及数据等。通信调制解调器52通过计算机网络与其他的计算机进行通信。总线54将CPU44、ROM46、RAM48、硬盘50、通信调制解调器52、显示器32、键盘36、鼠标38以及CD-ROM装置相互连接。

也可以是，构成上述的各个装置的构成要素的一部分或全部由一个系统LSI(LargeScaleIntegration：大规模集成电路)构成。系统LSI是在一个芯片上集成多个构成部分制得的超多功能LSI，具体地说，可以是包括微处理器、ROM、RAM等在内构成的计算机系统。在RAM中存储有计算机程序。微处理器按照计算机程序工作，由系统LSI实现其功能。

也可以是，构成上述的各个装置的构成要素的一部分或全部由能够在各个装置上插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、ROM、RAM等构成的计算机系统。也可以是，IC卡或者模块包括上述的超多功能LSI。微处理器按照计算机程序而工作，由此IC卡或者模块实现其功能。也可以是，该IC卡或者该模块具有耐篡改性。

本发明也可以是上述所示的方法。并且，本发明也可以是由计算机来实现这些方法的计算机程序，还可以是由计算机程序构成的数字信号。

并且，本发明也可以将上述计算机程序或上述数字信号记录在计算机可以读取的记录介质中，上述记录介质例如是软盘、硬盘、CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD(Blu-rayDisc(登录商标))、USB存储器、SD卡等的存储卡、及半导体存储器等。并且，本发明还可以是记录在这些记录介质中的上述数字信号。

并且，本发明也可以经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等，传输上述计算机程序或上述数字信号。

并且，本发明也可以构成为具有微处理器和存储器的计算机系统，上述存储器存储上述计算机程序，上述微处理器按照上述计算机程序工作。

并且，本发明也可以构成为将上述程序或上述数字信号记录在上述记录介质中并传输，或者经由上述网络等传输上述程序或上述数字信号，从而能够利用独立的其他计算机系统来实施。

并且，本发明也可以分别组合上述实施方式和上述变形例来实施。

应该认为，此次所公开的实施方式，并不限定于上述所有点所例示的内容。本发明的范围并非如上述的说明而是如权利要求的范围所示，旨在包含与权利要求均等的意义及范围内的所有变更。

产业上的可利用性

本发明能够适用于图像处理装置，特别能够适用于进行图像的对位的图像处理装置等。

符号说明：

32显示器；34计算机；36键盘；38鼠标；40CD-ROM装置；42CD-ROM；44CPU；46ROM；48RAM；50硬盘；52通信调制解调器；54总线；100图像处理装置；102分割部；104、104A抽取部；106对位部；112特征量算出部；114、114A特征点抽取部；116调整部；118虚拟特征点生成部；122第1虚拟点生成部；124参照信息取得部；126对应点取得部；128第2虚拟点生成部；200、802、804、806、808、810、812图像；222、224、226特征点；822、882子区域；842特征点对。

Claims

1.一种图像处理装置，抽取用于进行对位的特征点，该对位用于抑制作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像在垂直方向的视差，

该图像处理装置具备：

分割部，将上述第1图像以及上述第2图像分别分割成多个子区域；以及

抽取部，在上述第1图像所包含的多个子区域中的各个子区域和上述第2图像所包含的多个子区域中的各个子区域中，进行特征点的抽取处理，

上述抽取部进行上述特征点的抽取处理，以使得表示通过上述抽取处理所抽取的上述特征点的数量在上述多个子区域之间的偏差程度的值为事先设定的值以下，

该图像处理装置还具备：

对位部，基于上述特征点，对上述第1图像与上述第2图像进行对位，

上述对位部，使上述第1图像以及上述第2图像中的一个图像所包含的特征点，和与之相对应的、包含在另一个图像中的特征点相匹配，

对至少一个图像实施坐标变换，以使得匹配后的特征点彼此在垂直方向的坐标值的差变小，

上述抽取部在上述多个子区域的每一个中，进行使从该子区域中抽取的特征点的数量与事先设定的数量N的差为规定值以下的个数的上述特征点的抽取处理，

上述抽取部具有：

特征量算出部，在上述多个子区域的每一个中，算出与该子区域所包含的多个像素中的各个像素相对应的特征量；

特征点抽取部，将上述多个像素当中，所对应的特征量为事先设定的特征点阈值以上的像素，作为特征点抽取；

调整部，在上述多个子区域的每一个中，对该子区域中的上述特征点阈值的大小进行调整，以使得通过上述特征点抽取部抽取的特征点的数量与上述N的差为上述规定值以下；以及

虚拟特征点生成部，基于通过上述特征点抽取部抽取的上述特征点，在上述多个子区域当中的第1子区域中生成虚拟特征点，上述第1子区域是由于亮度变化小而不能通过上述调整部抽取所需数量的特征点的区域，

上述虚拟特征点生成部，在上述第1子区域中，生成所抽取的特征点的数量和上述虚拟特征点的数量的合计值与上述N的差为上述规定值以下的个数的上述虚拟特征点，

上述特征点抽取部，在判断出经上述调整部对特征点阈值的调整也不能抽取所需数量的特征点的情况下，使上述虚拟特征点生成部生成虚拟特征点。

2.一种图像处理装置，抽取用于进行对位的特征点，该对位用于抑制作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像在垂直方向的视差，

该图像处理装置具备：

该图像处理装置还具备：

上述抽取部具有：

调整部，在上述多个子区域的每一个中，对该子区域中的图像对比度的大小进行调整，以使得通过上述特征点抽取部抽取的特征点的数量与上述N的差为上述规定值以下；以及

上述特征点抽取部，在判断出经上述调整部对图像对比度的大小的调整也不能抽取所需数量的特征点的情况下，使上述虚拟特征点生成部生成虚拟特征点。

3.如权利要求1或2所述的图像处理装置，

上述虚拟特征点生成部具有：

第1虚拟点生成部，基于作为上述第1图像所包含的特征点的第1特征点和第2特征点，生成该第1图像中的虚拟特征点即第1虚拟点；

参照信息取得部，取得参照信息，该参照信息包含该第1图像中上述第1虚拟点与上述第1特征点的距离、以及该第1虚拟点与上述第2特征点的距离中的各个距离；

对应点取得部，取得与上述第1特征点相对应的上述第2图像中的点即第3特征点、以及与上述第2特征点相对应的上述第2图像中的点即第4特征点；以及

第2虚拟点生成部，通过参照上述参照信息，生成第2虚拟点，作为在上述第2图像中与上述第1虚拟点相对应的虚拟特征点。

4.如权利要求1或2所述的图像处理装置，

上述抽取部，从上述多个子区域所包含的第1子区域以及与上述第1子区域不同的第2子区域中进行特征点的抽取处理，以使得从上述第1子区域中抽取的特征点的数量与从上述第2子区域中抽取的特征点的数量之差为事先设定的阈值以下。

5.一种图像处理方法，抽取用于进行对位的特征点，该对位用于抑制作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像在垂直方向的视差，

该图像处理方法具备：

分割步骤，将上述第1图像以及上述第2图像分别分割成多个子区域；以及

抽取步骤，在上述第1图像所包含的多个子区域中的各个子区域和上述第2图像所包含的多个子区域中的各个子区域中，进行特征点的抽取处理，

在上述抽取步骤中，进行上述特征点的抽取处理，以使得通过上述抽取处理所抽取的上述特征点的数量在上述多个子区域之间的偏差程度为事先设定的值以下，

该图像处理方法还具备：

对位步骤，基于上述特征点，对上述第1图像与上述第2图像进行对位，

上述对位步骤，使上述第1图像以及上述第2图像中的一个图像所包含的特征点，和与之相对应的、包含在另一个图像中的特征点相匹配，

上述抽取步骤在上述多个子区域的每一个中，进行使从该子区域中抽取的特征点的数量与事先设定的数量N的差为规定值以下的个数的上述特征点的抽取处理，

上述抽取步骤具有：

特征量算出步骤，在上述多个子区域的每一个中，算出与该子区域所包含的多个像素中的各个像素相对应的特征量；

特征点抽取步骤，将上述多个像素当中，所对应的特征量为事先设定的特征点阈值以上的像素，作为特征点抽取；

调整步骤，在上述多个子区域的每一个中，对该子区域中的上述特征点阈值的大小进行调整，以使得通过上述特征点抽取步骤抽取的特征点的数量与上述N的差为上述规定值以下；以及

虚拟特征点生成步骤，基于通过上述特征点抽取步骤抽取的上述特征点，在上述多个子区域当中的第1子区域中生成虚拟特征点，上述第1子区域是由于亮度变化小而不能通过上述调整步骤抽取所需数量的特征点的区域，

上述虚拟特征点生成步骤，在上述第1子区域中，生成所抽取的特征点的数量和上述虚拟特征点的数量的合计值与上述N的差为上述规定值以下的个数的上述虚拟特征点，

上述特征点抽取步骤，在判断出经上述调整步骤对特征点阈值的调整也不能抽取所需数量的特征点的情况下，在上述虚拟特征点生成步骤中生成虚拟特征点。

6.一种图像处理方法，抽取用于进行对位的特征点，该对位用于抑制作为从不同视点拍摄了同一物体而得到的图像的第1图像与第2图像在垂直方向的视差，

该图像处理方法具备：

该图像处理方法还具备：

上述抽取步骤具有：

调整步骤，在上述多个子区域的每一个中，对该子区域中的图像对比度的大小进行调整，以使得通过上述特征点抽取步骤抽取的特征点的数量与上述N的差为上述规定值以下；以及

上述特征点抽取步骤，在判断出经上述调整步骤对图像对比度的大小的调整也不能抽取所需数量的特征点的情况下，在上述虚拟特征点生成步骤中生成虚拟特征点。

7.一种集成电路，用于实现权利要求5或6所述的图像处理方法。