CN105190229A - 三维形状计测装置、三维形状计测方法及三维形状计测程序 - Google Patents

Abstract

本发明的三维形状计测装置具备：拍摄部，逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)；输出指示生成部，基于从拍摄了所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2二维图像。

Description

三维形状计测装置、三维形状计测方法及三维形状计测程序

技术领域

本发明涉及三维形状计测装置、三维形状计测方法及三维形状计测程序。

本申请以2013年4月19日在日本提交的特愿2013-088555号为基础并享受优先权，其内容援引于此。

背景技术

非专利文献1中记载了基于多个二维图像来生成对象物的三维形状模型的技术的一例，这些二维图像包含一边使拍摄部移动一边拍摄的对象物。在该非专利文献1所记载的三维形状计测系统中，如下那样生成对象物的三维形状模型。首先，一边使构成拍摄部的立体摄像机移动一边以运动图像来拍摄对象物整体。在此，立体摄像机也被称为双眼立体视觉摄像机，是从多个不同的视点拍摄对象物的装置。接着，按照每规定帧，基于1组二维图像计算与各像素对应的三维坐标值。其中，在该时点计算出的三维坐标值通过在立体摄像机的每个视点而不同的多个三维坐标表示。在此，在非专利文献1所记载的三维形状计测系统中，通过遍及多个帧追踪作为运动图像拍摄的多个二维图像中包含的特征点群，来推测立体摄像机的视点的移动。然后，基于视点移动的推测结果，用多个坐标系表示的三维形状模型被整合为同一坐标系，生成对象物的三维形状模型。

此外，在非专利文献2中记载了基于多个深度图像(也称为景深图像、距离图像等)来生成对象物的三维形状模型的技术的一例，这些深度图像是一边使红外线深度传感器(以下称为拍摄部)移动一边取得的。在此，深度图像指的是以像素单位表示相对于所测定的对象物的距离信息的图像。在非专利文献2所记载的三维形状计测系统中，红外线深度传感器由红外线投射部、红外线拍摄部、信号处理部构成。红外线投射部向对象物投射随机光斑图案，由红外线拍摄部对其反射光进行拍摄。然后，基于由红外线拍摄部拍摄到的随机光斑图案的偏移或形状变化，信号处理部计算相对于对象物的距离信息而生成深度图像。关于该红外线深度传感器的构成等，例如在专利文献1～3中记载。

另外，在本申请中，对象物的三维形状模型是指，通过将三维空间内的对象物的形状在计算机内部数值化来表现的模型，例如是基于多视点的二维图像或各像素表示距离信息的二维图像将对象物的表面形状通过三维空间内的多个点的集合(即点群)来复原的点群模型。此外，在本申请中，三维形状计测意味着通过拍摄多个二维图像而生成对象物的三维形状模型，并且还意味着为生成对象物的三维形状模型而拍摄多个二维图像。

现有文献

专利文献

专利文献1：日本国特表2011-527790号公报

专利文献2：日本国特表2009-511897号公报

专利文献3：日本国特表2009-530604号公报

非专利文献

非专利文献1：運天弘樹、増田智仁、三橋徹、安藤真、「立体摄像机移动摄影によるVR模型自动生成手法の検討」、日本バーチャルリアリティ学会論文誌、Vol.12、No.2、2007年

非专利文献2：ShahramIzadi，DavidKim，OtmarHilliges，DavidMolyneaux，RichardNewcombe，PushmeetKohli，JamieShotton，SteveHodges，DustinFreeman，AndrewDavison，andAndrewFitzgibbon，”KinectFusion：Real-time3DReconstructionandInteractionUsingaMovingDepthCamera，”October2011，Publisher：ACMSymposiumonUserInterfaceSoftwareandTechnology，[平成25年4月15日检索]、因特网＜URL：http：//research.microsoft.com/apps/pubs/default.aspx？id＝155416＞

发明内容

发明所要解决的课题

如上述那样，在非专利文献1或非专利文献2所示的三维形状计测系统中，一边使拍摄部移动一边拍摄多个二维图像，基于拍摄到的多个二维图像来生成对象物的三维形状模型。在这样的构成中，如果以一定的时间间隔拍摄在生成三维形状模型时成为处理对象的二维图像，例如在拍摄部的移动速度大时，可能会产生未被拍摄到的部分。另一方面，拍摄部的移动速度小时，在多个图像间重复拍摄的区域可能会变大。或者，对于对象物来说，根据形状的复杂程度，有些部分需要更细致拍摄图像，有些部分则不需要，这种情况下，例如在拍摄者不熟练时，可能会难以适当地掌握拍摄方向或频度而拍摄图像。即，拍摄多个在生成三维形状模型时成为处理对象的二维图像的情况下，如果使拍摄各图像的时间间隔为一定，则在移动速度大时或者小时，或者对象物的形状复杂时等，可能无法适当地取得二维图像。此外，如果无用的重复拍摄增多，则二维图像过剩，有存储图像数据的存储器量变多、或者产生多余的处理的可能性。像这样，如果以一定的时间间隔来拍摄在生成三维形状模型时成为处理对象的二维图像，则存在可能无法适当地拍摄多个图像的问题。

本发明是鉴于以上情况而做出的，其目的在于，提供一种能够适当地拍摄在生成三维形状模型时成为处理对象的二维图像的三维形状计测装置、三维形状计测方法及三维形状计测程序。

解决课题所采用的手段

为了解决上述课题，本发明的第一方式的三维形状计测装置具备：拍摄部，逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)；输出指示生成部，基于从拍摄所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及存储部，存储所述拍摄部所输出的所述第2二维图像。

本发明的第一方式的三维形状计测装置优选为，在所述第1二维图像和所述第2二维图像之间，图像的析像度的设定不同，所述第2二维图像与所述第1二维图像相比为高析像度。

本发明的第一方式的三维形状计测装置优选为，所述形状缺损比例对应于从所述第1二维图像的拍摄时的视点将基于所述第2二维图像求出的所述三维形状模型作为二维图像来表示的情况下计算出的图像的比例。

本发明的第一方式的三维形状计测装置优选为，在所述第1二维图像和所述第2二维图像之间，拍摄图像时的快门速度、光圈值或拍摄元件的灵敏度的至少1个设定不同。

本发明的第一方式的三维形状计测装置优选为，具备对拍摄对象物进行照明的照明部，所述拍摄部与所述输出指示对应地拍摄所述第2二维图像，并且所述照明部对于所述拍摄对象物进行规定的照明。

本发明的第一方式的三维形状计测装置优选为，所述第1二维图像和所述第2二维图像是深度图像。

此外，本发明的第二方式的三维形状计测方法，使用逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)的拍摄部，基于从拍摄所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示(输出指示生成步骤)，存储所述拍摄部所输出的所述第2二维图像(存储步骤)。

此外，本发明的第三方式的三维形状计测程序，使计算机执行以下的步骤：输出指示生成步骤，使用逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的二维图像(以下称为第2二维图像)的拍摄部，基于从拍摄所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；存储步骤，存储所述拍摄部所输出的所述第2二维图像。

发明的效果：

根据本发明的方式，基于逐个输出的第1二维图像和与第1二维图像之间设定不同的第2二维图像，基于从拍摄第1二维图像的视点观看基于第2二维图像的三维形状模型的情况下的形状缺损比例，生成对于拍摄部的第2二维图像的输出指示。因此，与按照一定的时间间隔进行拍摄的情况相比，能够容易地适当设定图像的拍摄定时和所拍摄的图像的量。

附图说明

图1是表示本发明的一个实施方式的构成例的框图。

图2是表示图1所示的拍摄部11的构成例的框图。

图3是表示图1所示的输出指示生成部12的构成例的框图。

图4是用于说明图3所示的输出指示生成部12a的动作例的流程图。

图5是用于说明图3所示的输出指示生成部12a的动作例的流程图。

图6是用于说明使用了图2所示的拍摄部11的、对象物的计测例的示意图。

图7是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图8是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图9是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图10是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图11是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图12是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图13是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图14是用于说明图3所示的输出指示生成部12a的动作例的说明图。

具体实施方式

以下参照附图说明本发明的实施方式。图1是表示作为本发明的一个实施方式的三维形状计测装置1的构成例的框图。三维形状计测装置1具备：拍摄部11、输出指示生成部12、存储部13、照明部14。拍摄部11逐个输出所拍摄到的规定的二维图像(以下称为第1二维图像)，并且与规定的输出指示对应地输出与所拍摄到的第1二维图像之间设定不同的二维图像(以下称为第2二维图像)。

另外，在本发明的实施方式中，二维图像指的是，基于由具有二维排列的多个像素的拍摄元件拍摄到的各像素值的图像，或者表示该图像的信号或数据。这种情况的图像是黑白图像(灰度图像)、彩色图像、红外线图像、距离图像等。此外，拍摄到的二维图像的设定指的是，表示图像数据的构造或形式的设定信息、或者表示拍摄条件等的拍摄方式的设定信息。在此，表示图像数据的构造或形式的设定信息指的是，例如表示图像的析像度(以下也记为图像析像度)、图像压缩的方式或压缩率等图像数据的规格的信息。另一方面，表示拍摄方式的设定信息例如是表示拍摄析像度、拍摄时的快门速度、光圈值、拍摄元件的灵敏度(ISO灵敏度)等拍摄时的规格(即拍摄到的方式)的信息。另外，在本发明的实施方式中，拍摄析像度指的是从拍摄元件读出多个像素信号的读出析像度。根据拍摄元件不同，有些拍摄元件具有多种帧速率和输出有效行数的组合。在这样的拍摄元件中，例如可以设定为，从有效行数少的像素信号形成第1二维图像，从有效行数多的像素信号形成第2二维图像。另外，上述的图像析像度是从拍摄部11输出的图像数据的析像度，有与拍摄析像度相同的情况和不同的情况(例如，通过间隔剔除处理而变小或者通过插值处理而模拟地变大的情况)。另外，第1二维图像例如是以规定的帧速率反复依次拍摄到的图像(即运动图像)。此外，第2二维图像是与第1二维图像的析像度不同的析像度的图像(运动图像或静止图像)，或者是在与第1二维图像的拍摄条件不同的拍摄条件下拍摄到的图像。

此外，拍摄条件还可以包括照明部14的照明的有无或照明的强度的差异。此外，这些条件也可以多个组合而设定。例如，在第2二维图像的拍摄时，进行照明部14的照明或者增强照明，同时提高快门速度，能够减少抖动的影响。或者，在第2二维图像的拍摄时，进行照明部14的照明或者增强照明，同时增大光圈值(F值)(即减小光圈)，从而加深被摄场深度。此外，关于图像析像度和拍摄析像度，可以使第2二维图像的析像度与第1二维图像的析像度相比为高析像度。这种情况下，将第2二维图像作为在生成三维形状模型时成为处理对象的图像，将其析像度设为高析像度，从而能够进一步提高三维形状模型的生成精度。与此同时，第1二维图像是逐个拍摄到的图像，所以通过将第1二维图像设为低析像度，能够容易地提高帧速率或者减少数据量。这些拍摄条件的设定值可以使用对于第1二维图像和第2二维图像分别预先决定的值，也可以通过从输出指示生成部12等向拍摄部11输入适当地指示设定值的信息来设定。

此外，拍摄部11也可以如下那样构成。即，拍摄部11在输出第1二维图像时，取得与第2二维图像相同析像度的图像数据，将该图像数据暂时存储到自身内部的存储部，仅抽取规定的像素，作为比第2二维图像低析像度的第1二维图像，输出到输出指示生成部12和存储部13。然后，拍摄部11在被从输出指示生成部12供给了输出指示时，从自身内部的存储部读出与该输出指示对应的作为第1二维图像的图像数据，并且以拍摄时的析像度原样地作为第2二维图像输出。然后，拍摄部11与输出指示对应地，包括作为第2二维图像的图像数据在内，将在该图像数据之前的时刻拍摄到的图像数据从自身内部的存储部删除。在此，拍摄部11的内部的存储部在取得当前存储的第2二维图像的下一定时的第2二维图像之前，仅将取得的图像数据的存储所需的容量设为例如通过实验等决定的容量，设为必要最小限度的容量。

此外，这种情况下，作为上述的图像数据，拍摄部11可以以运动图像取得图像数据，也可以以规定的周期取得图像数据。这种情况下，在第1二维图像和第2二维图像之间，不同的设定仅为图像析像度。因此，关于拍摄条件，例如可以预先根据拍摄拍摄数据的周围的环境，按照环境的不同来设定拍摄拍摄数据时的快门速度、光圈值、拍摄元件的灵敏度等拍摄条件的设定值，与该时点拍摄的周围的环境相应地，由进行拍摄的用户对三维形状计测装置1设定。

另外，作为拍摄部11，可以使用能够使焦点距离变换为远景或广角的拍摄部，也可以使用焦点距离固定的拍摄部。这种情况下，焦点距离例如能够根据来自输出指示生成部12等的指示来变化。此外，拍摄部11可以具备自动对焦功能(即，自动对焦到对象物的功能)，也可以具备手动对焦功能。但是，在不依赖于来自输出指示生成部12等的指示地使焦点距离变化的情况下，拍摄部11能够将表示焦点距离的数据，与表示拍摄到的图像的图像数据即第1二维图像或第2二维图像一起供给至输出指示生成部12等。

输出指示生成部12基于拍摄部11输出的第1二维图像和第2二维图像，生成输出指示。

存储部13是存储按照输出指示而由拍摄部11输出的第2二维图像的存储装置。存储部13可以直接存储按照输出指示而由拍摄部11输出的第2二维图像，也可以按照输出指示生成部12的指示、或者通过经由输出指示生成部12接受输出指示生成部12从拍摄部11暂时取得的第2二维图像来进行存储。此外，也可以是，存储部13存储第2二维图像，并且存储在输出指示生成部12生成输出指示的处理的过程中计算出的各种数据(例如，表示从图像抽取的多个特征点的数据、表示从图像抽取的多个特征点的不同帧间的追踪结果的数据、从图像复原的三维形状数据等)。特征点指的是，在立体图像或运动图像中在图像间容易将点与点建立对应的点。特征点例如定义为，某个点(任意选择的点，第一点)或者该点周围的颜色、亮度、轮廓信息与图像内的其他点(第二点)相比显著不同的点。换言之，在图像内，从颜色、亮度、轮廓信息的观点来说，相对差异被显著地表现出来的相互不同2个点中的一个点被定义为特征点。特征点也被称为顶点等。作为从图像抽取特征点的抽取算法，提出了作为角部检测算法起作用的各种算法，使用的算法并没有特别限定。但是，优选为即使将图像旋转、平移、缩放，也能够稳定地在相同区域抽取特征点，作为这样的算法，已知SIFT(US6711293)等。此外，存储部13也可以同时存储第2二维图像和第1二维图像。

照明部14是对拍摄部11的拍摄对象物进行照明的装置。照明部14与输出指示生成部12输出的输出指示对应地，以与拍摄部11拍摄第2二维图像的定时一致的方式对拍摄对象物进行规定的照明。照明部14可以是被称为闪光、闪光灯等的朝向拍摄对象物在短时间内照射强光的发光装置，也可以是连续发出规定的光的装置。另外，照明部14与输出指示对应地对拍摄对象物进行的规定的照明指的是，根据输出指示的有无，控制发光的有无或者使发光量的大小不同的照明。即，照明部14与输出指示对应地对拍摄对象物发出短时间的强光，或者提高照明的强度。

另外，如图1所示，三维形状计测装置1可以一体地具备拍摄部11、输出指示生成部12、存储部13及照明部14，例如也可以将1或2个以上的要素(三维形状计测装置的构成要素)分别通过不同的装置构成。例如，可以将拍摄部11、输出指示生成部12、存储部13及照明部14作为一体通过摄像机、便携信息终端等电子设备构成。此外，例如可以将拍摄部11和存储部13的一部分或全部通过便携摄像机构成，将输出指示生成部12和存储部13的一部分通过个人计算机等构成。此外，照明部14也可以省略，也可以通过与拍摄部11不同的装置、例如固定型的照明装置来构成照明部14。此外，照明部14也可以具有多个发光装置而构成。

进而，三维形状计测装置1也可以具备无线或有线的通信装置，将图1所示的构成要素间经由无线或有线的通信线路连接。此外，三维形状计测装置1也可以具备图1中未示出的显示部、信号音输出部、显示灯及操作部，具有将来自输出指示生成部12的输出指示输出到该显示部、信号音输出部及显示灯的构成。并且，也可以通过由摄影者操作规定的操作件，使拍摄部11拍摄第2二维图像。即，在输出指示生成部12输出了输出指示的情况下，除了拍摄部11直接按照该输出指示拍摄第2二维图像的构成，还可以采用经由摄影者的操作而拍摄部11按照输出指示拍摄第2二维图像的构成。

此外，三维形状计测装置1例如可以在输出指示生成部12内(或者与输出指示生成部12分体地)设置进行基于多个第1二维图像来推测三维形状计测装置1的移动的处理的构成。该移动的推测例如可以通过在多个第1二维图像中追踪各第1二维图像中包含的多个特征点来进行(例如参照非专利文献1)。这时，作为在运动图像那样的多个二维图像间追踪特征点的手法，广泛使用Kanade-Lucas-Tomasi法(KLT法)等多种手法。该移动的推测结果例如可以存储在存储部13中。

此外，三维形状计测装置1例如可以具有使用GPS(globalpositioningsystem)接收机等取得自装置的位置信息的功能，或者具有使用加速度传感器、陀螺仪传感器等检测自装置的移动的功能。该移动的检测结果例如可以存储在存储部13中。

接下来，参照图2说明参照图1说明的拍摄部11的构成例。图2所示的拍摄部11具备：第1拍摄部51a、第2拍摄部51b、控制部52。第1拍摄部51a和第2拍摄部51b是具有相同构成的拍摄装置。第1拍摄部51a具备光学系统61a、曝光控制部62a及拍摄元件65a。第2拍摄部51b具备与光学系统61a、曝光控制部62a及拍摄元件65a相同构成的光学系统61b、曝光控制部62b及拍摄元件65b。第1拍摄部51a和第2拍摄部51b在拍摄部11中配置为彼此的位置和朝向不同。光学系统61a及61b具备：1或多个透镜、用于使焦点距离变化为远景或广角的透镜的驱动机构、以及自动对焦用的透镜的驱动机构。曝光控制部62a及62b具备光圈值控制部63a及63b和快门速度控制部64a及64b。光圈值控制部63a及63b具备机械式光圈可变机构和驱动可变机构的驱动部，将从光学系统61a及61b入射的光的量可变地射出。快门速度控制部64a及64b具备机械式快门和驱动机械式快门的驱动部，遮挡从光学系统61a及61b入射的光，或者使其通过仅规定的时间。快门速度控制部64a及64b也可以取代机械式快门而使用电子快门。

拍摄元件65a及65b经由光学系统61a及61b、曝光控制部62a及62b入射对象物的反射光，变换为电信号并输出。拍摄元件65a及65b通过在平面上纵横排列为栅格状的多个受光元件构成各像素(在此，像素指的是图像的记录单位)。此外，拍摄元件65a及65b可以具备与各像素对应的滤色器，也可以不具备。此外，拍摄元件65a及65b具有各受光元件的驱动电路和输出信号的变换电路等，将由各像素受光的光变换为数字或模拟的规定的电信号，并作为像素信号输出到控制部52。此外，作为拍摄元件65a及65b，也可以使用能够按照来自控制部52的指示而使像素信号的读出析像度可变的拍摄元件。

控制部52控制第1拍摄部51a及第2拍摄部51b分别具备的光学系统61a及61b、曝光控制部62a及62b、拍摄元件65a及65b。控制部52将第1拍摄部51a及第2拍摄部51b输出的像素信号按照规定的帧周期反复输入，将第1拍摄部51a及第2拍摄部51b输出的各像素信号按照每个帧组合而作为预览用图像Sp(对应于图1的第1二维图像)输出。控制部52还按照从输出指示生成部12输入的输出指示，例如从预览用图像Sp的拍摄时的拍摄条件变化为规定的拍摄条件，并且将在该条件下从第1拍摄部51a和第2拍摄部51b读出的像素信号输入1帧或规定帧。控制部52例如将在按照输出指示而变化后的拍摄条件下拍摄到的图像信号按照每个帧进行组合，作为计测用立体图像Sm(对应于图1的第2二维图像)输出(在此，n是表示对(pair)编号的1～N的整数)。另外，预览用图像Sp是包括每帧包含1张预览图像的图像和每帧包含2张预览图像的图像这两种情况的名称。此外，在确定为包含由立体摄像机拍摄到的2张预览图像的情况时，称为预览用立体图像Sp。

此外，控制部52也可以在内部具备存储部71。这种情况下，控制部52在输出预览用图像Sp(第1二维图像)时，也可以取得与计测用立体图像Sm(第2二维图像)相同析像度的图像数据，将该图像数据暂时存储到自身内部的存储部71，仅抽取规定的像素，作为比计测用立体图像Sm更低析像度的预览用图像Sp，输出到输出指示生成部12和存储部13。此外，这种情况下，控制部52在被从输出指示生成部12供给了输出指示时，从自身内部的存储部71读出与该输出指示对应的作为预览用图像Sp的图像数据，并且以拍摄时的析像度原样地作为计测用立体图像Sm输出。然后，控制部52与输出指示对应地，包括作为计测用立体图像Sm的图像数据在内，将在该图像数据之前的时刻拍摄到的图像数据从自身内部的存储部71删除。在此，控制部52的内部的存储部71，在取得当前存储的计测用立体图像Sm的下一定时的计测用立体图像Sm之前，仅将取得的图像数据的存储所需的容量设为例如通过实验等决定的容量，能够设为必要最小限度的容量。

在图2所示的构成中，第1拍摄部51a和第2拍摄部51b作为立体摄像机使用。例如，第1拍摄部51a的内部参数矩阵A和第2拍摄部51b的内部参数矩阵A相同。此外，第1拍摄部51a和第2拍摄部51b之间的外部参数矩阵M预先设定为规定的值。因此，基于同时拍摄到的第1拍摄部51a的拍摄图像和第2拍摄部51b的拍摄图像(以下也将这1对图像称为立体图像对)进行像素间(或者副像素间)的对应建立，从而能够将以拍摄了该图像的视点为基准的三维形状(即三维坐标)没有不确定性地复原。

另外，内部参数矩阵A也被称为摄像机校正矩阵，是将与拍摄对象物有关的物理坐标变换为图像坐标(即以第1拍摄部51a的拍摄元件65a的拍摄面及第2拍摄部51b的拍摄元件65b的拍摄面为中心的坐标，也被称为摄像机坐标)的矩阵。图像坐标是以像素为单位的坐标。内部参数矩阵A通过焦点距离、图像中心的坐标、图像坐标的各成分的比例因子(＝换算系数)、剪切系数来表示。此外，外部参数矩阵M是将图像坐标变换为世界坐标(即，对于所有的视点和对象物共通地决定的坐标)的矩阵。外部参数矩阵M是由多个视点间的三维的旋转(即姿势的变化)和平移(即位置的变化)决定的矩阵。第1拍摄部51a和第2拍摄部51b之间的外部参数矩阵M例如能够通过第1拍摄部51a的图像坐标向作为基准的第2拍摄部51b的图像坐标的旋转和平移来表示。此外，基于立体图像对将三维形状没有不确定性地复原指的是，根据内部参数矩阵A和外部参数矩阵M均已知的2个拍摄部的各拍摄图像，计算与各像素对应的对象物的物理三维坐标。此外，在本发明的实施方式中，有不确定性指的是，无法唯一地决定投影成图像的三维形状。

另外，图1所示的拍摄部11并不是必须采用图2所示的立体摄像机(即使用2台摄像机的构成)。例如，也可以仅使用一个拍摄元件(即，使用1台摄像机)，将一边使该拍摄元件移动一边拍摄到的2张图像作为立体图像对使用。但是，这种情况下，外部参数矩阵M不确定，所以残留着一定的不确定性。但是，例如可以使用与对象物的多个基准点有关的三维坐标的实测数据来修正，或者即使在不使用实测数据的情况下，也能够取代现实的三维空间而在以不确定性的存在为前提的虚拟空间内将三维的形状复原等。此外，摄像机的台数不限于2台，例如也可以是3台或4台。

此外，作为图1所示的拍摄部11，例如可以使用专利文献1记载的具备深度图像的生成部和彩色图像的生成部的拍摄部。并且，这种情况下，可以采用按照输出指示来变更深度图像的析像度、或者变更深度图像和彩色图像双方的析像度、或者变更彩色图像的析像度的拍摄部。

接下来，参照图3～图14，说明参照图1说明的输出指示生成部12的构成例。图3所示的输出指示生成部12a，基于从拍摄了预览用图像Sp(第1二维图像)的视点观看基于计测用立体图像Sm(第2二维图像)的三维形状模型时的形状的缺损率(即形状缺损比例)，生成输出指示。在此，形状缺损比例对应于将基于计测用立体图像Sm(第2二维图像)所求出的三维形状模型从预览用图像Sp(第1二维图像)的拍摄时的视点作为二维图像来表示的情况下计算出的图像的比例。在图3中，将与图1所示的输出指示生成部12对应的构成作为输出指示生成部12a示出。输出指示生成部12a例如可以使用CPU(中央处理装置)、RAM(随机访问存储器)等的构成和由CPU执行的程序来构成。在图3中，将通过执行该程序而进行的处理(或功能)分为多个块，作为输出指示生成部12a的构成要素表示。图3所示的输出指示生成部12a，基于根据取得的计测用立体图像Sm生成的三维形状模型中的形状的缺损率，判定是否需要取得下一计测用立体图像Sm。另外，在本发明的实施方式中，形状的缺损率(即形状缺损比例)指的是，在三维形状模型中以何种程度未达到期望的点群密度。其中，该形状的缺损率也可以使用密度、取得率、充足率或完成度等其他表达方式(特征量)。

另外，图4及图5是用于说明图3所示的输出指示生成部12a的动作的流程图。并且，图6～图14是用于说明图3所示的输出指示生成部12a的动作例的说明图。

图3所示的输出指示生成部12a具备：预览用立体图像取得部31、预览用形状复原部32、预览用形状三维特征点计算部33、三维对应计算部34、坐标变换计算部35、摄影视点计算部36、计测形状描绘部37、形状缺损率计算部38。输出指示生成部12a还具备：拍摄要否判定部39、输出指示信号输出部40、计测用立体图像取得部41、计测形状复原部42、计测形状整合部43、计测形状三维特征点计算部44。

预览用立体图像取得部31从拍摄部11按照每个帧输入预览用立体图像Sp，并向预览用形状复原部32输出。预览用形状复原部32基于从预览用立体图像取得部31输入的预览用立体图像Sp将预览用形状Gp复原。在此，预览用形状Gp通过从拍摄了预览用立体图像Sp时的视点观看的坐标系表示。在此，预览用形状Gp是基于构成预览用立体图像Sp的1对立体对图像而复原出的三维形状的模型，是表示在对图像间建立了对应的各像素的三维坐标的点群模型。图7及图11示意性地示出了预览用形状Gp。图7所示的预览用形状Gp是示意性地表示从在图6中以位置Pm为视点拍摄了拍摄对象物100的1对预览用立体图像Sp复原出的三维模型的一例的图。另一方面，图11所示的预览用形状Gp是示意性地表示从在图6中以移动后的位置Pp为视点拍摄了拍摄对象物100的1对预览用立体图像Sp复原出的三维模型的一例的图。图7及图11所示的预览用形状Gp包括位于三维空间内的多个点301。表示各点301的数据至少包含表示示出各点301的位置的三维坐标值的数据。

另外，图6是示意性地说明一边在拍摄对象物100的周围沿箭头方向移动一边拍摄参照图1～图3说明的三维形状计测装置1的动作的说明图。

这种情况下，图6针对三维形状计测装置1所具有的2个拍摄部51a和拍摄部51b，示出了拍摄部51a的拍摄元件65a所形成的面即拍摄面(或者图像面)66a与拍摄部51b的拍摄元件65b所形成的面即拍摄面66b的位置关系。在此，用三维坐标点Pm表示拍摄面66a的视点(即焦点或光学中心)的位置，将表示从Pm向拍摄面66a垂直引出的直线即光轴的朝向的矢量作为Vm示出，将沿着拍摄面66a的上方向的矢量作为Um示出。此外，用三维坐标点p示出移动后的视点的位置，将表示光轴朝向的矢量作为Vp示出，将沿着拍摄面66a的上方向的矢量作为Up示出。在此，用Pm、Vm及Um表示的视点是进行了最初的拍摄时的视点，在输出指示生成部12a中，作为世界坐标中的基准视点使用。

接着，预览用形状三维特征点计算部33从预览用形状复原部32复原出的预览用形状Gp，抽取三维特征点群Fp并输出。图8及图12示意性地示出三维特征点群Fp的一例。图8所示的三维特征点群Fp包含图7所示的构成预览用形状Gp的多个点301中的、按照规定的条件抽取到的0个以上的特征点302。图12所示的三维特征点群Fp包含图11所示的构成预览用形状Gp的多个点301中的、按照规定的条件抽取到的0个以上的特征点302而构成。

三维对应计算部34进行将从预览用形状Gp抽取到的三维特征点群Fp和从计测形状Gi抽取到的三维特征点群Fi建立对应的计算处理，输出表示对应建立的结果的三维对应矩阵M(以下称为三维对应M)。在此，计测形状Gi是由计测形状整合部43求出的三维形状模型，表示基于计测用立体图像Sm复原出的点群模型。此外，计测形状Gi通过从由Pm、Vm及Um表示的基准视点观看的世界坐标系来表示。图9示意性地示出计测形状Gi的一例。图9所示的计测形状Gi包含位于三维空间内的多个点401。表示各点401的数据至少包含表示示出各点401的位置的三维坐标值的数据。此外，图10示意性地示出从计测形状Gi抽取到的三维特征点群Fi的一例。图10所示的三维特征点群Fi包含图9所示的构成计测形状Gi的多个点401中的、按照规定的条件抽取到的0个以上的特征点402。

坐标变换计算部35基于三维对应M，计算表示预览用形状Gp的坐标系与计测形状Gi的坐标系之间的坐标变换的坐标变换矩阵T(以下称为坐标变换T)并输出。预览用形状Gp的坐标系例如是从图6所示的移动后的未知的视点(位置Pp、朝向Vp、上方向矢量Up)观看的坐标系。另一方面，计测形状Gi的坐标系是从图6所示的基准视点(位置Pm、朝向Vm、上方向矢量Um)观看的世界坐标系。

摄影视点计算部36基于表示坐标变换T和基准视点(位置Pm、朝向Vm、上方向矢量Um)的各参数，计算拍摄了预览用立体图像Sp时的拍摄视点(位置Pp、朝向Vp、上方向矢量Up)并输出。

计测形状描绘部37使用摄影视点计算部36计算出的拍摄视点(位置Pp、朝向Vp、上方向矢量Up)和摄像机的内部参数A(即表示内部参数矩阵A的各要素的参数)，计算从拍摄视点(位置Pp、朝向Vp、上方向矢量Up)对计测形状整合部43所求出的计测形状Gi进行了描绘的二维图像Ip。图13示意性地示出图像Ip的一例。图像Ip是由多个像素501构成的图像。在图13所示的例子中，仅示出了与图6所示的拍摄对象物100对应的像素，但是图像Ip也可以是包含背景的一部分或全部而遍及二维图像的整面的图像。

形状缺损率计算部38根据计测形状描绘部37所描绘出的表示已整合的计测形状Gi的图像Ip，计算描绘了形状的像素数相对于全部像素数的比例Xp。在此，比例Xp是表示形状缺损率的值。比例Xp可以将全部像素数作为分母来求出，也可以将图像中的一定区域所具有的像素数作为分母来求出。即，全部像素数可以表示图像整体的像素数，也可以表示图像中的一部分区域所具有的全部像素数。例如，在对象物较大而遍及拍摄图像的整面的情况下，有时优选为将图像的全部像素数作为分母来求出比例Xp。另一方面，如图13所示，在对象物较小、一边在对象物的周围移动一边拍摄对象物的情况下，有时优选为将图像中的一部分区域所具有的全部像素数作为分母来求出比例Xp。另外，将一部分区域所具有的全部像素数作为分母的情况下，例如如图14所示，可以想到从预览用立体图像Sp识别包含对象物的边界的区域，将该边界内包含的像素数作为分母的情况。图14重叠地示出了图13所示的图像Ip、以及由表示从预览用立体图像Sp识别出的拍摄对象物100的区域的多个像素701构成的图像Ib。这种情况下，将图像Ib的像素数(其中，使用进行了考虑图像Ip的析像度的变换后的值)作为分母，将图像Ip的像素数作为分子，来计算比例Xp。

拍摄要否判定部39通过将形状缺损率计算部38计算出的比例Xp和规定的阈值Xt进行比较，判定是否需要在预览用立体图像取得部31取得了预览用立体图像Sp时的视点的位置处取得计测用立体图像Sm。在此，规定的阈值Xt是在判断表示形状缺损率的比例Xp是否是需要取得计测用立体图像Sm的值时作为基准而使用的值。作为阈值Xt，可以使用事先设定的值，也可以与取得的计测用立体图像Sm的对数等相应地使用可变的值。在条件：Xp＜Xt成立的情况下，拍摄要否判定部39判定为需要取得下一计测用立体图像Sm。另一方面，在条件：Xp＜Xt不成立的情况下，拍摄要否判定部39判定为不需要取得下一计测用立体图像Sm。拍摄要否判定部39判定为需要在最后拍摄了预览用立体图像Sp的视点(或者大体相同的视点)取得下一计测用立体图像Sm时，对输出指示信号输出部40输出表示该意思(判定结果)的信号。另一方面，在判定为不需要的情况下，拍摄要否判定部39对预览用立体图像取得部31输出表示该意思(判定结果)的信号。

输出指示信号输出部40在输入了表示需要从拍摄要否判定部39取得下一计测用立体图像Sm的信号时，向拍摄部11等输出输出指示信号。此外，预览用立体图像取得部31在输入了表示不需要从拍摄要否判定部39取得下一计测用立体图像Sm的信号时，进行下一预览用立体图像Sp的取得处理(例如，在从拍摄部11输出下一预览用立体图像Sp之前，进行待机的处理)。

计测用立体图像取得部41与输出指示信号输出部40所输出的输出指示信号对应地取得拍摄部11拍摄到的计测用立体图像Sm，并输出到计测形状复原部42。

计测形状复原部42基于计测用立体图像Sm将计测形状Gm复原。在此，计测形状Gm表示基于计测用立体图像Sm复原出的点群模型。该计测形状Gm通过以取得了计测用立体图像Sm的拍摄部11的视点为基准的坐标系表示。

计测形状整合部43将计测形状复原部42复原出的计测形状Gm整合为计测形状Gi并输出更新后的计测形状Gi，该计测形状Gi是根据到此为止复原出的1或多个计测形状Gm生成的三维模型(参照图9)。这时，计测形状整合部43例如根据基于预览用立体图像Sp中包含的多个特征点的追踪结果推测出的拍摄部11的移动的推测结果，将计测形状Gm的坐标系变换为计测形状Gi的坐标系即世界坐标系。或者，计测形状整合部43根据基于计测用立体图像Sm中包含的多个特征点的追踪结果推测出的拍摄部11的移动的推测结果，将计测形状Gm的坐标系变换为计测形状Gi的坐标系即世界坐标系。这种情况下，与基于预览用立体图像Sp中包含的多个特征点的追踪结果时相比，能够进行更高精度的坐标变换。

计测形状三维特征点计算部44根据由计测形状整合部43整合后的计测形状Gi，计算三维特征点群Fi(参照图10)。计测形状三维特征点计算部44计算三维特征点群Fi后，预览用立体图像取得部31进行下一预览用立体图像Sp的取得处理。

接下来，参照图4及图5说明具备图3所示的输出指示生成部12a的三维形状计测装置1的动作例。另外，图4和图5的流程通过1对结合符A及1对结合符B相互连接。例如，若摄影者进行规定的指示操作，则在输出指示生成部12a中，预览用立体图像取得部31取得预览用立体图像Sp(步骤S301)。接着，预览用形状复原部32从预览用立体图像Sp将预览用形状Gp复原(步骤S302)。接着，预览用形状三维特征点计算部33根据预览用形状Gp计算三维特征点群Fp(步骤S303)。接着，三维对应计算部34将从预览用形状Gp抽取到的三维特征点群Fp和从整合后的计测形状Gi抽取到的三维特征点群Fi建立对应，得到三维对应M(步骤S304)。接着，坐标变换计算部35根据三维对应M计算预览用形状Gp的坐标系与整合后的计测形状Gi的坐标系之间的坐标变换T(步骤S305)。接着，摄影视点计算部36根据坐标变换T和基准视点(位置Pm、朝向Vm、上方向矢量Um)计算预览用立体图像Sp的摄影视点(位置Pp、朝向Vp，上方向矢量Up)(步骤S306)。

接着，计测形状描绘部37从计算出的摄影视点(位置Pp、朝向Vp、上方向矢量Up)，使用摄像机参数A，得到对整合后的计测形状Gi进行了描绘的图像Ip(步骤S307)。接着，形状缺损率计算部38根据描绘出的已整合的计测形状Gi的图像Ip，计算描绘了形状的像素数相对于全部像素数的比例Xp(步骤S308)。接着，拍摄要否判定部39判定下面的条件是否成立(条件：Xp＜Xt)(步骤S309)。

在此，在条件成立的情况下，输出指示信号输出部40输出输出指示信号(步骤S310)。接着，计测用立体图像取得部41取得计测用立体图像Sm(步骤S311)。接着，计测形状复原部42从计测用立体图像Sm将计测形状Gm复原(步骤S312)。接着，计测形状整合部43将计测形状Gm整合为到此为止整合到的计测形状Gi(步骤S313)。接着，计测形状三维特征点计算部44根据整合后的计测形状Gi，计算三维特征点群Fi(步骤S314)。在此，处理回到步骤S301，重复执行上述的处理。

另一方面，在步骤S309中条件不成立的情况下，处理回到步骤S301，重复执行上述的处理。

如以上那样，在本实施方式的三维形状计测装置1中，基于逐个拍摄的预览用立体图像Sp(第1二维图像)和在生成三维形状模型时成为处理对象的计测用立体图像Sm(第2二维图像)，判定是否需要取得下一计测用立体图像Sm(第2二维图像)。因此，例如能够基于预览用立体图像Sp(第1二维图像)适当地设定取得定时，能够适当地设定基于计测用立体图像Sm(第2二维图像)取得的图像的量，与以一定的时间间隔取得的情况相比，能够容易地适当设定取得定时。

此外，本实施方式的输出指示生成部12a基于从拍摄预览用立体图像Sp(第1二维图像)的视点观看基于计测用立体图像Sm(第2二维图像)的三维形状模型Gi的情况下的形状缺损比例，判定是否需要取得下一计测用立体图像Sm(第2二维图像)。因此，能够准确地推测生成三维模型时所需的计测用立体图像Sm(第2二维图像)不足的情况，能够高精度地判定是否需要取得。此外，形状缺损比例对应于将基于计测用立体图像Sm(第2二维图像)所求出的三维形状模型Gi从预览用立体图像Sp(第1二维图像)的拍摄时的视点作为二维图像来表示的情况下计算出的图像Ip的比例。因此，能够考虑拍摄部11的位置和朝向来高精度地判定是否需要取得。

另外，在拍摄部11具备输出距离图像的功能的情况下，能够将预览用立体图像Sp(第1二维图像)作为例如析像度小的距离图像，将计测用立体图像Sm(第2二维图像)作为例如析像度大的距离图像。这种情况下，能够利用深度图像中包含的各像素的深度信息(或深度值、进深值、距离信息)来计算三维形状模型。

另外，本发明的实施方式不限于上述实施方式。例如，三维形状计测装置1可以适当进行如下等变更：具备显示基于拍摄到的图像复原出的三维模型的显示部等，具备将三维模型复原或者将复原的结果输出的构成。此外，三维形状计测装置1可以使用1或多个CPU和由CPU执行的程序来构成，该程序经由计算机可读取的记录介质或通信线路流通。

符号的说明：

1三维形状计测装置；11拍摄部；12、12a输出指示生成部；13存储部；14照明部。

Claims (8)

1.一种三维形状计测装置，具备：

拍摄部，逐个输出所拍摄到的第1二维图像，并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像；

输出指示生成部，基于从拍摄了所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及

存储部，存储所述拍摄部所输出的所述第2二维图像。

2.如权利要求1所述的三维形状计测装置，

在所述第1二维图像与所述第2二维图像之间，图像的析像度的设定不同，

所述第2二维图像与所述第1二维图像相比为高析像度。

3.如权利要求1或2所述的三维形状计测装置，

所述形状缺损比例对应于将基于所述第2二维图像求出的所述三维形状模型从所述第1二维图像的拍摄时的视点作为二维图像来表示的情况下计算出的图像的比例。

4.如权利要求1～3中任一项所述的三维形状计测装置，

在所述第1二维图像与所述第2二维图像之间，拍摄图像时的快门速度、光圈值或拍摄元件的灵敏度中的至少1个设定不同。

5.如权利要求1～4中任一项所述的三维形状计测装置，

具备对拍摄对象物进行照明的照明部，

与所述输出指示对应地，所述拍摄部拍摄所述第2二维图像，并且所述照明部对所述拍摄对象物进行规定的照明。

6.如权利要求1～3中任一项所述的三维形状计测装置，

所述第1二维图像和所述第2二维图像是深度图像。

7.一种三维形状计测方法，

使用逐个输出所拍摄到的第1二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像的拍摄部，基于从拍摄了所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示，

存储所述拍摄部所输出的所述第2二维图像。

8.一种三维形状计测程序，使计算机执行以下步骤：

输出指示生成步骤，使用逐个输出所拍摄到的第1二维图像、并且与规定的输出指示对应地输出与所拍摄到的所述第1二维图像之间设定不同的第2二维图像的拍摄部，基于从拍摄了所述第1二维图像的视点观看基于所述拍摄部所输出的所述第2二维图像的三维形状模型的情况下的形状缺损比例，生成所述输出指示；以及

存储步骤，存储所述拍摄部所输出的所述第2二维图像。