CN111133474B

CN111133474B - 图像处理设备、图像处理方法和计算机可读记录介质

Info

Publication number: CN111133474B
Application number: CN201880062269.9A
Authority: CN
Inventors: 山下喜宏
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2017-09-29
Filing date: 2018-09-26
Publication date: 2023-09-19
Anticipated expiration: 2038-09-26
Also published as: JP6989153B2; CN111133474A; WO2019065784A1; SG11202001487XA; JPWO2019065784A1

Abstract

图像处理设备(10)是用于从多个图像构建三维形状的设备。图像处理设备(10)包括：特征点提取单元(11)，用于从多个图像提取相应特征点的组合；矩阵计算单元(12)，用于在至少两个图像中指定彼此对应的两个以上的线段或点的情况下，指定彼此对应的两个以上的线段之间的几何关系或者彼此对应的两个以上的点之间的几何关系，并且计算表示该几何关系的数值矩阵；以及形状构建单元(13)，用于使用数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建三维形状。

Description

图像处理设备、图像处理方法和计算机可读记录介质

技术领域

本发明涉及用于使得可以从多个图像构建三维形状的图像处理设备和图像处理方法，并且还涉及记录有用于实现该设备和方法的程序的计算机可读记录介质。

背景技术

近年来，用于构建在图像中示出的对象的三维形状的技术已获得关注。作为这样的技术的代表示例，已知有SfM(Structure from Motion，从运动恢复结构)。在SfM中，从通过在改变照相机的视点的同时多次拍摄特定对象的图像所获取到的多个图像来重新生成特定对象的三维形状。

具体地，在SfM中，首先，针对各图像计算特征量(SIFT特征量、SURF特征量等)，并且提取针对图像的放大、缩小和旋转以及照度变化具有鲁棒性的特征点。然后，在图像之间进行所提取的特征点的匹配，并且提取匹配的特征点对。接着，例如，计算各个特征点对之间的几何关系，并且通过鲁棒估计(robust estimation)来去除不正确的特征点对。

之后，针对数个特征点对中的各特征点对，基于特征点对的几何关系来计算基本矩阵，并且调整各特征点对的几何关系以使所计算出的基本矩阵之间的差最小。然后，基于调整后的几何关系来重建三维形状(点组)。注意，可以采用被称为“光束法平差(BundleAdjustment)”的处理技术作为此时的误差调整方法。

顺便提及，在上述的SfM中，存在匹配不正确的情况，并且在这些情况中，提取了一对不同的特征点，这降低了重新生成的三维形状的精度。此外，作为所提取的特征点对的数量少、并且匹配没有完全成功的结果，可能存在特征点对的数量少的区域。同样在这种情况下，重新生成的三维形状的精度下降。

相比之下，专利文献1公开了用于校正相应特征点的位置的系统。具体地，专利文献1所公开的系统首先将两个图像布置成其极线与扫描线平行地延伸，并且针对各个扫描线从这些图像中提取相应的特征点。

接着，该系统接受这些图像上的用于指定相应场所的线段的用户输入。然后，该系统判断扫描线上的相应特征点与该扫描线和所输入的线段之间的交点是否一致，并且在这两者不一致的情况下，将特征点的位置校正为交点的位置。之后，该系统使用位置已被校正的特征点来重新生成三维形状。

如上所述，根据专利文献1所公开的系统，解决了提取到不正确的特征点对的问题和产生特征点对的数量少的区域的问题，由此解决了重新生成的三维形状的精度下降的问题。

现有技术文献

专利文献

专利文献1：日本专利第5311465号

发明内容

发明要解决的问题

然而，在专利文献1所公开的系统中，仅在沿着两个图像的极线延伸的扫描线上校正特征点的位置，因此并没有校正不在同一扫描线上的不正确的特征点对。因此，在专利文献1所公开的系统中，未充分校正不正确的特征点对，并且难以抑制重新生成的三维形状的精度的下降。

本发明的示例目的是通过提供如下的图像处理设备、图像处理方法和计算机可读记录介质来解决上述问题，该图像处理设备、图像处理方法和计算机可读记录介质可以在从多个图像中提取相应特征点的组合时，抑制不正确的特征点的组合的提取。

用于解决问题的方案

为了实现上述目的，根据本发明的示例方面的图像处理设备用于从多个图像构建三维形状，并且包括：

特征点提取单元，用于从所述多个图像中提取相应特征点的组合；

矩阵计算单元，用于在所述多个图像中的至少两个图像中指定彼此对应的两个或更多个线段或者两个或更多个点的情况下，指定彼此对应的两个或更多个线段之间的几何关系或者彼此对应的两个或更多个点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵；以及

形状构建单元，用于使用所述数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建所述三维形状。

另外，为了实现上述目的，根据本发明的示例方面的图像处理方法用于从多个图像构建三维形状，并且包括以下步骤：

(a)从所述多个图像中提取相应特征点的组合；

(b)在所述多个图像中的至少两个图像中指定彼此对应的两个或更多个线段或者两个或更多个点的情况下，指定彼此对应的两个或更多个线段之间的几何关系或者彼此对应的两个或更多个点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵；以及

(c)使用所述数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建所述三维形状。

此外，为了实现上述目的，根据本发明的示例方面，提供一种记录有程序的计算机可读记录介质，所述程序用于从多个图像构建三维形状，所述程序包括使得计算机执行以下步骤的指令：

(a)从所述多个图像中提取相应特征点的组合；

发明的效果

如上所述，根据本发明，可以在从多个图像提取相应特征点的组合时，抑制不正确的特征点的组合的提取。

附图说明

图1是示出根据本发明的示例实施例的图像处理设备的示意结构的框图。

图2是示出根据本发明的示例实施例的图像处理设备的具体结构的框图。

图3是示出根据本发明的示例实施例的要处理的多个图像的示例的图。

图4是示出根据本发明的示例实施例的矩阵计算单元所进行的处理的图。

图5是示出根据本发明的示例实施例的形状构建单元所进行的处理的图。

图6是示出根据本发明的示例实施例的图像处理设备的操作的流程图。

图7是示出实现根据本发明的示例实施例的图像处理设备的计算机的示例的框图。

具体实施方式

(示例实施例)

以下参考图1～图7来说明根据本发明的示例实施例的图像处理设备、图像处理方法和程序。

[设备结构]

首先，将使用图1来说明根据本示例实施例的图像处理设备的示意结构。图1是示出根据本发明的示例实施例的图像处理设备的示意结构的框图。

如图1所示，本示例实施例中的图像处理设备10是用于从多个图像构建三维形状的设备。将要处理的多个图像的图像数据输入至图像处理设备10。

另外，如图1所示，图像处理设备10包括特征点提取单元11、矩阵计算单元12和形状构建单元13。其中，特征点提取单元11从多个图像中提取相应特征点的组合。

在多个图像中的至少两个图像中指定彼此对应的两个以上的线段或两个以上的点的情况下，矩阵计算单元12指定彼此对应的两个以上的线段之间的几何关系或者彼此对应的两个以上的点之间的几何关系。然后，矩阵计算单元12计算表示所指定的几何关系的数值矩阵。

形状构建单元13通过使用矩阵计算单元12所计算出的数值矩阵，从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合。然后，形状构建单元13使用除所指定的特征点的组合以外的特征点的组合来构建三维形状。

如上所述，在本示例实施例中，使用所指定的两个以上的线段或点之间的所指定的几何关系来指定不正确的特征点的组合，因此还可以排除不在同一扫描线上的不正确的特征点的组合。根据本示例实施例，在从多个图像中提取相应特征点的组合时，可以抑制不正确的特征点的组合的提取，并且可以提高重新生成的三维形状的精度。

随后，将参考图2～图5来更详细地说明本示例实施例中的图像处理设备10的结构。图2是示出本发明的示例实施例中的图像处理设备的具体结构的框图。

如图2所示，在本示例实施例中，图像处理设备10除了包括特征点提取单元11、矩阵计算单元12和形状构建单元13之外，还包括图像获取单元14、过滤单元15、输入接受单元16和显示单元17。

图像获取单元14从外部装置(诸如摄像设备、终端装置或用于存储图像数据的存储装置等)获取示出用于构建三维形状的对象的多个图像的图像数据。图3是示出本示例实施例中要处理的多个图像的示例的图。在图3的示例中，示出一对图像，但在本示例实施例中，没有特别限制要处理的图像的数量。

在本示例实施例中，特征点提取单元11针对各图像计算SIFT特征量或SURF特征量等以指定特征点，并且此外，提取图像之间彼此对应的特征点作为相应特征点的组合。注意，在图3的示例中，图像的数量是两个，因而特征点的组合是特征点对。此外，在图3中，由圆圈包围的各部分是特征点。

过滤单元15针对特征点的各组合计算特征点之间的几何关系，基于该计算结果来指定不正确的特征点的组合，并且排除所指定的特征点的组合。与传统处理相同，过滤单元15所进行的过滤处理是使用鲁棒估计来进行的。在本示例实施例中，除了后面要说明的形状构建单元13所进行的过滤之外，还由过滤单元15进行过滤，因而可以更可靠地排除不正确的特征点的组合。

在指定要处理的图像中彼此对应的线段或点的情况下，输入接受单元16接受所指定的线段或点的输入。另外，在接受图像之间彼此对应的线段的输入的情况下，输入接受单元16向矩阵计算单元12通知与这些线段有关的信息(起点和终点的坐标)，并且在接受彼此对应的点的输入的情况下，向矩阵计算单元12通知与这些点有关的信息(坐标)。注意，线段或点可以由图像处理设备10的用户指定，或者也可以由其它计算器指定。

在由输入接受单元16通知了与图像中的线段或点有关的信息时，矩阵计算单元12基于所通知的信息来指定线段或点之间的几何关系，计算表示所指定的几何关系的数值矩阵，并且将该数值矩阵定义为绝对数值矩阵。在根据从输入接受单元16通知的与图像中的线段或点有关的信息无法计算数值矩阵、或者根据图像不存在与线段或点有关的信息的情况下，矩阵计算单元12还可以根据由特征点提取单元11提取的并且在由过滤单元15进行过滤之后剩余的误差少的特征点的组合来计算数值矩阵。注意，在这种情况下，所计算出的数值矩阵是与传统的数值矩阵相同的数值矩阵、而不是绝对数值矩阵。

这里，将参考图4来更详细地说明矩阵计算单元12中的处理。图4是示出根据本发明的示例实施例的矩阵计算单元所进行的处理的图。在图4中，E表示极平面，O_i表示一个图像的照相机的中心位置，并且O’_i表示另一图像的照相机的中心位置。此外，在图4中，在左右两侧示出的平行四边形各自表示图像的帧。

另外，在图4的示例中，在一个图像中指定线段L，在另一图像中指定线段L’，并且这些线段彼此对应。在这种情况下，与线段L的起点相交的极线l_n和与线段L的终点相交的极线l_n+m被定义为绝对极线，并且与线段L’的起点相交的极线l’_n和与线段L’的终点相交的极线l’_n+m也被定义为绝对极线。

此外，线段L与绝对极线l_n之间的交点x_i以及线段L与绝对极线l’_n之间的交点x’_i被定义为绝对特征点的组合。此外，线段L与绝对极线l_n+m之间的交点x_j以及线段L’与绝对极线l’_n+m之间的交点x’_j也被定义为绝对特征点的组合。

注意，如图4所示，还可以在极线l_n和极线l_n+m之间设置任意的极线l_n+1和l_n+2。在这种情况下，同样，在极线l’_n和极线l’_n+m之间还设置任意的极线l’_n+1和l’_n+2。另外，在这种情况下，线段L与新设置的极线l_n+1和l_n+2之间的交点以及线段L’与新设置的极线l’_n+1和l’_n+2之间的交点形成绝对特征点的组合。注意，极线之间的距离被设置为任意值。

因此，在图4的示例中，矩阵计算单元12获得绝对特征点的组合作为线段之间的几何关系，并且使用所获得的特征点的组合基于关系表达式(以下的表达式1)来计算基本矩阵(参考文献)作为绝对数值矩阵。注意，在以下的表达式1中，“x”表示通过将三维空间中的点X投影到一个图像上所获取到的二维平面上的点。“x’”表示通过将三维空间中的点X投影到另一图像上所获取到的二维平面上的点。T表示转置矩阵。此外，F表示基本矩阵。另外，在本示例实施例中，数值矩阵不限于基本矩阵，并且可以是能够表示几何关系的任何矩阵。

(表达式1)

x’^TFx＝0

参考文献：Richard Hartley和Andrew Zisserman,“Multiple View Geometry inComputer Vision Second Edition”,Cambridge University Press,March 2004。

在本示例实施例中，首先，形状构建单元13使用矩阵计算单元12所计算出的数值矩阵(基本矩阵)，从特征点提取单元11所提取的特征点的组合(排除了过滤单元15所去除的组合)中去除几何关系存在矛盾的特征点的组合。之后，形状构建单元13使用几何关系存在矛盾的特征点的组合已被去除的特征点的组合来构建三维形状，并且此时，输入接受单元16所接受的相应点或相应线段上的点也可用作特征点的组合其中之一。

另外，形状构建单元13可以从特征点提取单元11所提取的特征点的组合(排除了过滤单元15所去除的组合)中指定与所指定的线段或点重叠的特征点，并且还去除包括所指定的特征点的特征点的组合。这是因为，在同与一个图像中的线段或点重叠的特征点相对应的特征点不在另一图像中的线段或点上的情况下，特征点的组合不正确的可能性高。之后，形状构建单元13使用剩余的特征点的组合来构建三维形状。

这里，将参考图5来更详细地说明形状构建单元13中的处理。图5是示出根据本发明的示例实施例的形状构建单元所进行的处理的图。在图5中，被指派有图4所示的附图标记的部分表示图4中的配备有相同的附图标记的部分。另外，在图5中，判断特征点p_i和特征点p’_i的组合是否不正确。

在图5的示例中，形状构建单元13使用在以下的关于极线的表达式2中表示的关系来计算与特征点p_i位于的极线l₁相对应的极线l’₁。

(表达式2)

l’＝Fx

然后，形状构建单元13判断所计算出的极线l’₁和特征点p’_i之间的距离d是否大于或等于阈值，并且在距离d大于或等于阈值的情况下，判断为特征点p_i和特征点p’_i的组合不正确。在这种情况下，形状构建单元13去除特征点p_i和特征点p’_i的组合，并且构建三维形状。

另外，在本示例实施例中，形状构建单元13还可以使用由过滤单元15进行过滤后的特征点的组合来临时构建临时三维形状。在这种情况下，用户可以基于临时三维形状来指定三维形状中的未充分重新生成的场所，因而可以指定适当的线段或点。之后，形状构建单元13重建三维形状。

此外，显示单元17将形状构建单元13所构建的三维形状显示在显示装置20的画面上。具体地，显示单元17创建用于将所构建的三维形状显示在二维画面上的图像数据，并且将所创建的图像数据输出到显示装置20。此外，同样在形状构建单元13构建临时三维形状的情况下，显示单元17将该临时三维形状显示在显示装置20的画面上。

[设备操作]

接着，将参考图6来说明本发明的示例实施例中的图像处理设备10的操作。图6是示出本发明的示例实施例中的图像处理设备的操作的流程图。以下的说明是适当地参考图1～图5给出的。在本示例实施例中，通过使得图像处理设备10工作来执行图像处理方法。因而，根据本示例实施例的图像处理方法的说明被以下对图像处理设备10的操作的说明所替代。

如图6所示，首先，图像获取单元14从外部设备获取示出要构建三维形状的对象的多个图像的图像数据(步骤A1)。

接着，特征点提取单元11针对步骤A1中所获取到的图像数据的各个图像计算特征量以指定特征点，并且提取图像之间彼此对应的特征点作为相应特征点的组合(步骤A2)。

接着，过滤单元15计算步骤A2中所提取的特征点的组合各自的特征点之间的几何关系，基于计算结果来指定不正确的特征点的组合，并且去除所指定的特征点的组合(步骤A3)。

接着，形状构建单元13使用在步骤A3中经过了过滤处理的特征点的组合来构建临时三维形状(步骤A4)。另外，在执行了步骤A4的情况下，显示单元17将步骤A4中所构建的临时三维形状显示在显示装置20的画面上。

在执行了步骤A4、并且将临时三维形状显示在显示装置20的画面上的情况下，用户经由(图2中未示出的)输入装置指定图像之间彼此对应的线段或点。因此，输入接受单元16接受所指定的线段或点的输入(步骤A5)。输入接受单元16还将与所指定的线段有关的信息或与所指定的点有关的信息通知到矩阵计算单元12。

接着，在执行了步骤A5的情况下，矩阵计算单元12基于与线段有关的信息或与点有关的信息来指定线段或点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵(步骤A6)。

接着，形状构建单元13使用步骤A6中所计算出的数值矩阵，从经过了步骤A3的处理的特征点的组合中去除几何关系存在矛盾的特征点的组合(步骤A7)。

接着，形状构建单元13使用剩余的特征点的组合来重建三维形状(步骤A8)。之后，显示单元17将步骤A8中所构建的三维形状显示在显示装置20的画面上(步骤A9)。

[示例实施例的效果]

如上所述，根据本示例实施例，还可以去除不在同一扫描线上的不正确的特征点的组合以构建三维形状。因此，根据本示例实施例，在从多个图像中提取相应特征点的组合时，可以抑制不正确的特征点的组合的提取。另外，作为结果，提高了重新生成的三维形状的精度。

[程序]

根据本示例实施例的程序使得计算机执行图6所示的步骤A1～A9就足够了。根据本示例实施例的图像处理设备10和图像处理方法可以通过将该程序安装在计算机中并执行所安装的程序来实现。在这种情况下，计算机的处理器用作特征点提取单元11、矩阵计算单元12、形状构建单元13、图像获取单元14、过滤单元15、输入接受单元16和显示单元17，并且进行处理。

另外，本示例实施例中的程序也可以由包括多个计算机的计算机系统执行。在这种情况下，例如，各个计算机可以用作特征点提取单元11、矩阵计算单元12、形状构建单元13、图像获取单元14、过滤单元15、输入接受单元16和显示单元17其中之一。

这里，将参考图7来说明用于通过执行本示例实施例中的程序来实现图像处理设备10的计算机。图7是示出实现根据本发明的示例实施例的图像处理设备的计算机的示例的框图。

如图7所示，计算机110包括CPU 111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读取器/写入器116和通信接口117。这些构成元件经由总线121连接，以使得能够进行相互数据通信。注意，计算机110除了包括CPU 111之外或者代替CPU 111，还可以包括GPU(图形处理单元)或FPGA(现场可编程门阵列)。

CPU 111通过将存储装置113中所存储的本示例实施例的程序(代码)在主存储器112中展开、并按预定顺序执行这些程序，来执行各种计算。通常，主存储器112是诸如DRAM(动态随机存取存储器)等的易失性存储装置。另外，本示例实施例中的程序是以存储在计算机可读记录介质120中的状态提供的。注意，本示例实施例中的程序也可以分布在经由通信接口117连接的因特网上。

另外，存储装置113的具体示例包括硬盘驱动器和诸如闪速存储器等的半导体存储装置。输入接口114调解CPU 111与包括键盘和鼠标的输入装置118之间的数据传输。显示控制器115连接至显示装置119，以控制显示装置119上的显示。

数据读取器/写入器116调解CPU 111和记录介质120之间的数据传输，从记录介质120读出程序，并且将计算机110的处理结果写入记录介质120。通信接口117调解CPU 111和其它计算机之间的数据传输。

另外，记录介质120的具体示例包括诸如紧凑式闪存(CF(注册商标))和安全数字卡(SD)等的通用半导体存储装置、诸如软盘等的磁记录介质、或者诸如致密盘只读存储器(CD-ROM)等的光学记录介质。

注意，本示例实施例中的图像处理设备10也可以通过使用与各种构成元件相对应的硬件项、而不是安装有程序的计算机来实现。此外，还可以采用如下的结构：图像处理设备10的一部分通过程序实现，并且其余部分通过硬件实现。

上述示例实施例的一部分或全部可以在以下所述的补充说明1～12中表现，但本发明不限于以下的说明。

(补充说明1)

一种图像处理设备，用于从多个图像构建三维形状，所述图像处理设备包括：

特征点提取单元，其被配置为从所述多个图像中提取相应特征点的组合；

矩阵计算单元，其被配置为在所述多个图像中的至少两个图像中指定彼此对应的两个或更多个线段或者两个或更多个点的情况下，指定彼此对应的两个或更多个线段之间的几何关系或者彼此对应的两个或更多个点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵；以及

形状构建单元，其被配置为使用所述数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建所述三维形状。

(补充说明2)

根据补充说明1所述的图像处理设备，

其中，所述形状构建单元从所提取的特征点的组合内所包括的特征点中指定与所指定的彼此对应的两个或更多个线段或点重叠的特征点，去除包括所指定的特征点的特征点的组合，并且构建所述三维形状。

(补充说明3)

根据补充说明1或2所述的图像处理设备，还包括：

显示单元，其被配置为将所述形状构建单元所构建的所述三维形状显示在画面上。

(补充说明4)

根据补充说明3所述的图像处理设备，

其中，所述形状构建单元使用所述特征点提取单元所提取的特征点的组合来构建临时三维形状，以及

所述显示单元还将所述临时三维形状显示在画面上。

(补充说明5)

一种图像处理方法，用于从多个图像构建三维形状，所述图像处理方法包括以下步骤：

(a)从所述多个图像中提取相应特征点的组合；

(补充说明6)

根据补充说明5所述的图像处理方法，其中，在步骤(c)中，

从步骤(a)中提取的特征点的组合内所包括的特征点中指定与所指定的彼此对应的两个或更多个线段或点重叠的特征点，去除包括所指定的特征点的特征点的组合，并且构建所述三维形状。

(补充说明7)

根据补充说明5或6所述的图像处理方法，还包括以下步骤：

(d)将步骤(c)中所构建的所述三维形状显示在画面上。

(补充说明8)

根据补充说明求7所述的图像处理方法，还包括以下步骤：

(e)使用步骤(a)中所提取的特征点的组合来构建临时三维形状；以及

(f)将步骤(e)中所构建的所述临时三维形状显示在画面上。

(补充说明9)

一种记录有程序的计算机可读记录介质，所述程序用于从多个图像构建三维形状，所述程序包括使得计算机执行以下步骤的指令：

(a)从所述多个图像中提取相应特征点的组合；

(补充说明10)

根据补充说明9所述的计算机可读记录介质，其中，在步骤(c)中，

(补充说明11)

根据补充说明9或10所述的计算机可读记录介质，其中，所述程序还包括使得计算机执行以下步骤的指令：

(d)将步骤(c)中所构建的所述三维形状显示在画面上。

(补充说明12)

根据补充说明11所述的计算机可读记录介质，其中，所述程序还包括使得计算机执行以下步骤的指令：

(f)将步骤(e)中所构建的所述临时三维形状显示在画面上。

尽管以上已经参考示例实施例说明了本发明，但本发明不限于上述示例实施例。可以在本发明的范围内对本发明的结构和详情进行本领域技术人员可理解的各种修改。

本申请基于并要求2017年9月29日提交的日本专利申请2017-190377的优先权，其内容通过引用而被全部包含于此。

产业上的可利用性

如上所述，根据本发明，在从多个图像中提取相应特征点的组合时，可以抑制不正确的特征点的组合的提取。本发明对于诸如SfM等的用于从多个图像构建三维形状的技术而言是有用的。

附图标记说明

10 图像处理设备

11 特征点提取单元

12 矩阵计算单元

13 形状构建单元

14 图像获取单元

15 过滤单元

16 输入接受单元

17 显示单元

110 计算机

111 CPU

112 主存储器

113 存储装置

114 输入接口

115 显示控制器

116 数据读取器/写入器

117 通信接口

118 输入装置

119 显示装置

120 记录介质

121 总线

Claims

1.一种图像处理设备，用于从多个图像构建三维形状，所述图像处理设备包括：

过滤单元，其被配置为针对特征点的各组合计算特征点之间的几何关系，基于计算结果来指定不正确的特征点的组合，并且排除所指定的特征点的组合；

矩阵计算单元，其被配置为在所述多个图像中的至少两个图像中指定与所提取的特征点不同的、独立且彼此对应的两个或更多个线段或者两个或更多个点的情况下，指定彼此对应的两个或更多个线段之间的几何关系或者彼此对应的两个或更多个点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵；以及

形状构建单元，其被配置为使用所述数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建所述三维形状，

其中，在无法计算所述数值矩阵的情况下，所述矩阵计算单元指定与所述特征点不同的、独立且彼此对应的两个或更多个线段或者两个或更多个点，基于在所述过滤单元的处理之后剩余的误差少的特征点的组合来计算数值矩阵。

2.根据权利要求1所述的图像处理设备，

3.根据权利要求2所述的图像处理设备，还包括：

4.根据权利要求3所述的图像处理设备，

所述显示单元还将所述临时三维形状显示在画面上。

5.一种图像处理方法，用于从多个图像构建三维形状，所述图像处理方法包括以下步骤：

(a)从所述多个图像中提取相应特征点的组合；

(b)过滤步骤，针对特征点的各组合计算特征点之间的几何关系，基于计算结果来指定不正确的特征点的组合，并且排除所指定的特征点的组合；

(c)在所述多个图像中的至少两个图像中指定与所提取的特征点不同的、独立且彼此对应的两个或更多个线段或者两个或更多个点的情况下，指定彼此对应的两个或更多个线段之间的几何关系或者彼此对应的两个或更多个点之间的几何关系，并且计算表示所指定的几何关系的数值矩阵；以及

(d)使用所述数值矩阵从所提取的特征点的组合中指定特征点之间的几何关系存在矛盾的特征点的组合，并且使用除所指定的特征点的组合以外的特征点的组合来构建所述三维形状，

其中，在无法计算所述数值矩阵的情况下，指定与所述特征点不同的、独立且彼此对应的两个或更多个线段或者两个或更多个点，基于在所述过滤步骤的处理之后剩余的误差少的特征点的组合来计算数值矩阵。

6.根据权利要求5所述的图像处理方法，其中，在步骤(d)中，

7.根据权利要求6所述的图像处理方法，还包括以下步骤：

(e)将步骤(d)中所构建的所述三维形状显示在画面上。

8.根据权利要求7所述的图像处理方法，还包括以下步骤：

(f)使用步骤(a)中所提取的特征点的组合来构建临时三维形状；以及

(g)将步骤(f)中所构建的所述临时三维形状显示在画面上。

9.一种记录有程序的计算机可读记录介质，所述程序用于从多个图像构建三维形状，所述程序包括使得计算机执行以下步骤的指令：

(a)从所述多个图像中提取相应特征点的组合；

10.根据权利要求9所述的计算机可读记录介质，其中，在步骤(d)中，