CN108700408A - 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法 - Google Patents

Abstract

三维形状数据及纹理信息生成装置(4)通过在照相机(1)的焦点对准了被拍摄体上的包含测距对象点的部分区域的状态下，使测距传感器(2)计测从照相机(1)的位置到测距对象点的距离，利用驱动装置(3)驱动被拍摄体和照相机(1)的至少任一者，以使得一边将计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更部分区域，并使照相机(1)拍摄被拍摄体的各部分区域，从而取得每一个上述部分区域的图像，并基于取得的图像来生成上述被拍摄体的三维形状数据及纹理信息。

Description

三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维 形状数据及纹理信息生成方法

技术领域

本发明涉及取得被拍摄体的三维形状及纹理信息的系统等技术领域。

背景技术

以往，提出了各种取得被拍摄体的三维形状的工具，但是，那些工具全部被限定于在一定的条件下的功能。以往，作业者为了满足该条件而调整拍摄环境或方法，但是，因为无法进行位置或朝向的高精度的控制，所以产生了在所取得的数据的耦合处理等中计算时间变长、或者对位的结果精度低等问题。另外，难以从已数字化后的数据中除去起因于拍摄条件的模糊、噪声等，导致数据整理工序的长大化。另外，在表现了被拍摄体的三维形状和形状表面的图案这两者的被拍摄体的数字数据中，大多情况下，与形状信息相比，表现表面的图案的纹理信息为高清晰度的数据，要求拍摄更精细的图像。

另一方面，在专利文献1中公开了在可搬运的可搬式三维形状计测装置中能够迅速地得到高精度的三维形状数据的可搬式三维形状计测装置。在该可搬式三维形状计测装置中，在被竖立设置于基部的关节臂的前端部，作为形状传感器，安装可检测三维形状的三维形状传感器，将三维形状传感器朝向计测对象物的计测区域并调整三维位置及姿势而以非接触状态面对，在三维形状传感器的静止状态下，从形状传感器通过面扫描而输出计测对象物的三维形状数据。在专利文献2中示出了从多个图像生成三维形状数据的方法。当使用该方法时，因为能够通过计算来求出拍摄图像的照相机的位置和朝向，所以能够生成精度不取决于照相机的位置和朝向的三维形状。在专利文献3中，使用单一的照相机，通过改变照明条件并进行拍摄，从而生成被拍摄体的三维形状和纹理信息。通过使用单一的照相机，从而避免了镜头的变形所导致的三维形状和纹理的错位。

现有技术文献

专利文献

专利文献1：日本特开2003－148926号公报

专利文献2：日本特开2001－338279号公报

专利文献3：日本特开2014－55810号公报

发明内容

[发明要解决的课题]

但是，例如专利文献1所公开的三维形状传感器的有效地发挥功能的距离范围是固定的，无法取得距离范围外的数据，或者报错。因此，作业者需要将三维形状传感器向不会发出报错的位置移动。虽然如果能够相对于三维形状精确地决定三维形状传感器的位置，则能够实现所取得的三维形状的精度提高，但是，无法实现提高由关节臂的关节角、外部的标识等决定的位置、朝向的精度。另一方面，因为用基于专利文献2的方法生成的三维形状取决于照相机的分辨率，所以为了生成高清晰度的三维形状数据及纹理信息，需要使用高分辨率的照相机并进行近拍。在此情况下，因为对焦的范围极端地变窄，所以为了使得图像不会模糊而会兼用自动对焦机构，但是，因为这会导致定义了图像拍摄部件的光学系统的拍摄系统模型发生变化，会导致高清晰度的三维形状数据及纹理信息的生成中的精度下降，所以未能实用。另外，在用基于专利文献3的方法来对纹理信息与三维形状的位置进行匹配的情况下，存在如下问题：从拍摄了纹理图像的方向看时为正确的纹理，但是，在从其它方向看时纹理未设定在正确的位置。这起因于三维形状的信息与纹理的颜色信息是独立的信息，因此，只要三维形状的生成方法与纹理的生成方法是不同的方法，问题就不会得到解决。

因此，本发明的目的在于提供一种能够抑制因被拍摄体的拍摄条件而引起的模糊、噪声的发生，并能够得到高清晰度的三维形状数据及纹理信息的三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法。

为了解决上述问题，技术方案1所述的发明是一种三维形状数据及纹理信息生成系统，其包括：拍摄部件，其对被拍摄体每一个部分区域地进行拍摄；测距部件，其计测从上述拍摄部件的位置到测距对象点的距离；驱动部件，其驱动上述被拍摄体和上述拍摄部件的至少任一者；控制部件，其控制上述拍摄部件、上述测距部件、以及上述驱动部件；以及生成部件，其基于由上述拍摄部件拍摄的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息；三维形状数据及纹理信息生成系统的特征在于，上述控制部件执行以下动作：在使上述拍摄部件的焦点对准了包含上述被拍摄体上的测距对象点的上述部分区域的状态下，使上述测距部件计测从上述拍摄部件的位置到上述测距对象点的距离，利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域，通过使上述拍摄部件拍摄上述被拍摄体的各上述部分区域，从而取得每一个上述部分区域的图像。

技术方案2所述的发明的特征在于，在技术方案1所述的三维形状数据及纹理信息生成系统中，上述控制部件利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述距离保持在景深的范围内，一边使被变更的上述部分区域和与该被变更的部分区域相邻的部分区域交叠。

技术方案3所述的发明的特征在于，在技术方案2所述的三维形状数据及纹理信息生成系统中，上述控制部件利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得构成上述被拍摄体的同一部位被多次拍摄。

技术方案4所述的发明的特征在于，在技术方案1至3的任一项所述的三维形状数据及纹理信息生成系统中，上述驱动部件包括设置上述被拍摄体的转盘；上述控制部件驱动上述转盘，以使得依次变更上述部分区域。

技术方案5所述的发明是在技术方案1至4的任一项所述的三维形状数据及纹理信息生成系统中，上述拍摄部件及上述测距部件被安装在能够变更距上述测距对象点的距离的滑动体上，上述控制部件驱动上述滑动体，以使得将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内。

技术方案6所述的发明的特征在于，在技术方案1至3的任一项所述的三维形状数据及纹理信息生成系统中，上述拍摄部件及上述测距部件被安装在机械臂上，该机械臂能够变更上述拍摄部件及上述测距部件相对于上述测距对象点的位置和姿势的至少任一者；上述控制部件驱动上述机械臂，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域。

技术方案7所述的发明是在技术方案1至6的任一项所述的三维形状数据及纹理信息生成系统中，上述拍摄部件的镜头是微距镜头。

技术方案8所述的发明的特征在于，包括：照相机，其对被拍摄体每一次部分区域地进行拍摄，测距传感器，其计测从上述照相机的位置到测距对象点的距离，驱动装置，其驱动上述被拍摄体和上述照相机的至少任一者，以及控制器，其控制上述照相机、上述测距传感器、以及上述驱动装置；上述控制器在上述照相机的焦点对准了上述被拍摄体上的包含测距对象点的上述部分区域的状态下，使上述测距传感器计测从上述照相机的位置到上述测距对象点的距离，利用上述驱动装置来驱动上述被拍摄体和上述照相机的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内一边依次变更上述部分区域，并使上述照相机拍摄上述被拍摄体的各上述部分区域；还包括处理器，其执行基于由上述照相机拍摄到的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息的生成处理。

技术方案9所述的发明的特征在于，使三维形状数据及纹理信息生成系统中的控制部件所包含的计算机执行步骤，上述三维形状数据及纹理信息生成系统包括：拍摄部件，其对被拍摄体每一个部分区域地进行拍摄，测距部件，其计测从上述拍摄部件的位置到测距对象点的距离，驱动部件，其驱动上述被拍摄体和上述拍摄部件的至少任一者，上述控制部件，其控制上述拍摄部件、上述测距部件、以及上述驱动部件，以及生成部件，其基于由上述拍摄部件拍摄的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息；上述步骤包括：在上述拍摄部件的焦点对准了上述被拍摄体上的包含测距对象点的上述部分区域的状态下，使上述测距部件计测从上述拍摄部件的位置到上述测距对象点的距离的步骤，使上述驱动部件驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域的步骤，以及通过使上述拍摄部件拍摄上述被拍摄体的各上述部分区域，从而取得每一个上述部分区域的图像的步骤。

技术方案10所述的发明的特征在于，包含：在照相机的焦点对准了被拍摄体上的包含测距对象点的部分区域的状态下，从利用测距传感器来计测上述照相机的位置到上述测距对象点的距离的步骤，利用驱动装置来驱动上述被拍摄体和上述照相机的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域的步骤，在依次变更上述部分区域的过程中，使上述照相机拍摄上述被拍摄体的各上述部分区域的步骤，以及基于由上述照相机拍摄到的每一个上述部分区域的图像，利用处理器来生成上述被拍摄体的三维形状数据及纹理信息的步骤。

[发明效果]

根据本发明，能够抑制因被拍摄体的拍摄条件而引起的模糊、噪声的发生，能够得到高清晰度的三维形状数据及纹理信息。另外，通过从用单一的拍摄装置拍摄到的图像同时生成三维形状数据和纹理信息，从而能够以得到的三维形状与纹理信息的位置匹配的状态进行生成。

附图说明

图1是示出本实施方式的三维形状数据及纹理信息生成系统S的概要构成的框图。

图2示出在实施例1中被设置在转盘上的被拍摄体(例如地球仪)与照相机1及测距传感器2的位置关系的一个例子的图。

图3是示出实施例1中的拍摄控制处理、三维形状数据及纹理信息生成处理的一个例子的流程图。

图4是示出在实施例2中被设置在基座上的被拍摄体与照相机1及测距传感器2的位置关系的一个例子的图。

图5是示出实施例2中的拍摄控制处理、三维形状数据及纹理信息生成处理的一个例子的流程图。

具体实施方式

以下，基于附图说明本发明的实施方式。

[1.三维形状数据及纹理信息生成系统S的构成及功能]

首先，参照图1等，说明本实施方式的三维形状数据及纹理信息生成系统S的构成及功能。图1是示出本实施方式的三维形状数据及纹理信息生成系统S的概要构成的框图。如图1所示，三维形状数据及纹理信息生成系统S被构成为包括照相机1、测距传感器2、驱动装置3、以及三维形状数据及纹理信息生成装置4等。在此，照相机1是本发明中的拍摄部件的一个例子，测距传感器2是本发明中的测距部件的一个例子，驱动装置3是本发明中的驱动部件的一个例子。照相机1及测距传感器2被用作被拍摄体(成为拍摄对象的对象物)的三维形状的取得用传感器。本实施方式的三维形状数据及纹理信息生成系统S例如在需要高精度地取得对象物的三维形状、对象物上所描绘的图案等纹理的情况下，被用于工业用机器人中的加工前的三维形状检测、加工后的作业确认、或美术品的数字化工艺中的详细形状及纹理的取得。

照相机1包括微距镜头、快门及拍摄元件(图像传感器)等，在三维形状数据及纹理信息生成装置4的控制下，对被拍摄体每次部分区域地进行拍摄，并将拍摄到的图像向三维形状数据及纹理信息生成装置4输出。此外，对照相机1应用单反照相机。微距镜头是焦点距离(从光学式镜头的中心到焦点的距离)不会变化的单焦点镜头的一种，对焦的范围非常窄(例如，在光圈值F5.6左右时景深为几mm)，是用于以高倍率来拍摄较窄的范围的镜头。严密地说，对焦的范围理论上仅在一个平面上，但是，从该平面在深度方向的前后存在预定距离(即景深)的容许范围，能够将该容许范围作为焦点对准的范围来处理。对于焦点，映入微距镜头的图像用三维形状数据及纹理信息生成装置4所取入的图像或在照相机1的取景器中确认的图像来对准。此外，在本实施方式中，应用不具有自动对焦机构的照相机1、或者即使是具有自动对焦机构的照相机1也不使用该自动对焦机构。

测距传感器2包括光源(例如发光二极管、激光二极管)及受光元件等，在三维形状数据及纹理信息生成装置4的控制下，计测从照相机1的位置(实际空间上的位置)到被拍摄体上的测距对象点(相当于部分区域的像素的中心)的距离，并将计测到的距离向三维形状数据及纹理信息生成装置4输出。在此，照相机1的位置处于通过照相机1的镜头的中心的光轴上，例如是该镜头的焦点。在照相机1的位置与测距传感器2的位置一致的情况下，能够直接使用由测距传感器2计测到的距离，但是，在照相机1的位置与测距传感器2的位置不一致的情况下，对于由测距传感器2计测到的距离，基于公知的三角测距的原理，用三维形状数据及纹理信息生成装置4进行校正，以使其成为从照相机1的位置起的距离。此外，测距传感器2也可以在照相机1的箱体内与照相机1一体地设置。另外，因为对焦的范围是在深度方向的前后的预定距离，所以考虑被拍摄体的形状，也能够为了使得在更大范围内存在焦点而计算补偿并进行校正。

驱动装置3包括：驱动机构，其在三维形状数据及纹理信息生成装置4的控制下，驱动被拍摄体和照相机1的至少任一者(即，利用动力来移动被拍摄体和照相机1的至少任一者)；以及控制电路，其控制该驱动机构。在此，在驱动机构中例如包括：转盘，其设置被拍摄体；以及滑动体，其安装照相机1和测距传感器2。或者，在驱动机构中包括安装照相机1和测距传感器2的多关节机械臂。

三维形状数据及纹理信息生成装置4被构成为包括接口部41a～41c、显示部42、操作部43、存储部44、控制部(控制器)45、以及计算部46等，它们经由总线47而相互连接。接口部41a负责控制部45在与照相机1之间通过有线或无线方式进行通信时的接口。接口部41b负责用于控制部45在与测距传感器2之间通过有线或无线方式进行通信的接口。接口部41c负责用于控制部45在与驱动装置3之间通过有线或无线方式进行通信的接口。显示部42具有用于显示各种信息的显示画面。在显示画面上例如显示由照相机1拍摄到的被拍摄体的每部分区域的图像(二维图像)、表示该被拍摄体整体的三维形状的三维图像等、被拍摄体与照相机1的距离。操作部43接收来自用户的操作指示，并将与接收到的操作指示相应的信号向控制部45输出。对于操作部43，例如可适用鼠标。或者，也可以对于显示部42及操作部43适用触摸面板，该触摸面板具有将各种信息显示在显示画面上的显示功能、和接收由人的手指或笔等进行的操作的输入功能。

存储部44例如由硬盘驱动器、非易失性半导体存储器构成，存储OS(操作系统)、拍摄控制程序及三维形状生成程序、以及各种设定数据等。另外，在存储部44中存储有被拍摄体的被每次部分区域地拍摄到的图像的数据、及基于每一个该部分区域的图像而生成的三维形状数据及纹理信息。该三维形状数据及纹理信息是构成被拍摄体整体或一部分的三维形状或/及表示纹理信息的三维图像的数据。

控制部45包括CPU(Central Processing Unit：中央处理单元)、ROM(Read OnlyMemory：只读存储器)、以及RAM(Random Access Memory：随机存取存储器)等。而且，控制部45按照被存储在存储部44中的拍摄控制程序来执行被拍摄体的拍摄控制处理。在该拍摄控制处理中，控制部45作为对照相机1、测距传感器2、及驱动装置3进行控制的控制部件而发挥功能。具体而言，控制部45在照相机1的焦点对准了被拍摄体上的包含测距对象点的部分区域的状态下，使测距传感器2计测从照相机1的位置到测距对象点的距离。而且，控制部45利用驱动装置3来驱动被拍摄体和照相机1的至少任一者，以使得一边将计测到的距离或根据计测到的距离算出的距离保持为一定(考虑几mm的景深而设为一定)，一边依次变更部分区域，并通过使照相机1拍摄被拍摄体的各部分区域，从而取得每一个上述部分区域的图像。即，控制部45一边将被拍摄体与照相机1的距离保持为一定(考虑几mm的景深而为一定)，一边以将被拍摄体和照相机1的至少任一者每次例如几cm地向预定方向偏移、并且上述被变更的部分区域和与该变更的部分区域相邻的部分区域会交叠(重复)的方式驱动(即，通过对驱动装置3给予驱动ON信号从而驱动)被拍摄体和照相机1的至少任一者，在该驱动控制的过程(即，部分区域被依次变更的过程)中使照相机1拍摄(即，通过对照相机1给出快门ON信号从而拍摄)各部分区域并从照相机1取得每一个部分区域的图像。由此，构成上述被拍摄体的同一部位被拍摄了至少2次以上，能够对构成上述被拍摄体的同一部位从相对不同的拍摄位置进行拍摄，根据从上述相对不同的拍摄位置取得的图像，基于照相测量法，能够确定上述同一部位的三维位置。而且，例如能够用进行了镜头校准的参数直接在进行了对焦的状态下取得被拍摄体的形状整周的图像。

计算部46包括CPU、ROM、以及RAM等。而且，计算部46按照被存储在存储部44中的三维形状及纹理信息生成程序，来执行生成被拍摄体的三维形状数据及纹理信息的三维形状数据及纹理信息生成处理。在该三维形状数据及纹理信息生成处理中，计算部46作为基于由照相机1拍摄到的每一个部分区域的图像(二维图像)来生成被拍摄体的三维形状数据及纹理信息的生成部件而发挥功能。在此，在用照相机1拍摄三维空间内的被拍摄体以取得二维图像的情况下，用由表示照相机的位置姿势的矩阵Mouter和表示照相机1内的光学变换的矩阵Minner之积决定的以下算式(1)来将三维空间内的坐标(X、Y、Z)转换成二维图像内的坐标(u、v)。

[算式1]

对于该算式，只要给出足够数量的三维空间内的坐标(X、Y、Z)和与该坐标对应的二维图像内的坐标(u、v)的组，则计算部46能够计算出矩阵Mouter及矩阵Minner。如果求出矩阵Mouter及矩阵Minner，则计算部46能够从二维图像内的坐标(u、v)来计算三维空间内的坐标(X、Y、Z)，并能够基于此从二维图像生成三维形状数据及纹理信息。这样的方法例如在Automated Pavement Distress Survey through Stereovision(基于立体视觉的路面破损自动检测)(承办者：Kelvin C.P Wang，University of Arkansas,Fayetteville(阿肯色大学，费耶特维尔),AR)的文献等中被提出。需要说明的是，因为表示照相机1的位置姿势的矩阵Mouter能够从三维空间内的坐标(X、Y、Z)和二维图像内的坐标(u、v)的组来计算，所以如果是充分地包含特征性的坐标的图像，则能够得到为了计算矩阵Mouter而需要的组。另一方面，为了得到表示照相机1内的光学变换的矩阵Minner，大多情况下，在假定了矩阵Minner为一定的基础上，拍摄包含已知的三维空间内的坐标(X、Y、Z)的校准图案来进行计算。但是，矩阵Minner受到照相机1的自动对焦机构所进行的焦点位置调整的影响，成为高精度地复原三维空间内的坐标(X、Y、Z)这方面的障碍。在本发明中，因为实现矩阵Minner完全地固定那样的拍摄环境，所以不是用矩阵Minner，而是用矩阵Mouter的位置分量(t、x、t、y、t、z)来实现了使被拍摄体对焦的作业。由此，能够不会引起精度下降地将高精度地校准或计算后的矩阵Minner用于计算三维空间内的坐标(X、Y、Z)。

此外，三维形状数据及纹理信息生成装置4也可以被构成为分成多个PC(个人计算机)。作为例1，网络连接的其它PC参照由拍摄用PC保管在硬盘中的数据，进行计算从而生成三维形状数据和纹理信息。作为例2，用拍摄用PC将图像保管在外接硬盘中，并将其重新与其它PC连接，进行计算从而生成三维形状数据和纹理信息。作为例3，用控制用PC操作照相机和被拍摄体，当按下照相机的拍摄按钮后，拍摄用PC从照相机接收图像数据，并存储(此外，从照相机的闪光信号判定照相机进行了拍摄)。

[2.三维形状数据及纹理信息生成系统S的动作]

接下来，对于本实施方式的三维形状数据及纹理信息生成系统S的动作，分为实施例1和实施例2来说明。

(实施例1)

首先，参照图2及图3，说明实施例1。图2是示出在实施例1中被设置于转盘的被拍摄体(例如地球仪)与照相机1及测距传感器2的位置关系的一个例子的图。如图2所示，转盘在控制部45的控制下，绕中心轴旋转(图2的虚线箭头方向)。照相机1及测距传感器2被安装于滑动体。滑动体被以能够在控制部45的控制下变更距被拍摄体上的测距对象点的距离的方式设置，例如，相对于被拍摄体上的测距对象点向前后(图2的虚线箭头方向)移动。

图3是示出实施例1中的拍摄控制处理、三维形状数据及纹理信息生成处理的一个例子的流程图。图3所示的处理例如在用户操作操作部43而进行了开始指示的情况下被开始。当图3所示的处理被开始时，控制部45使照相机1及测距传感器2起动，从存储部44输入表示基于被拍摄体的形状制作的设想路径的设定数据(步骤S1)。在图2的例子中，该设想路径表示使被拍摄体水平地例如每次10度地旋转360度，被预先制作并存储在存储部44中。

接下来，控制部45基于在步骤S1中输入的设定数据所示的设想路径来决定被拍摄体上的测距对象点(步骤S2)。接下来，控制部45驱动(即，相对于测距对象点向前后移动)滑动体来进行调整，以使得照相机1的焦点对准包含步骤S2中所决定的测距对象点的部分区域(步骤S3)。由此，在照相机1的焦点对准了包含测距对象点的部分区域的情况下，向步骤S4前进。

在步骤S4中，控制部45在照相机1的焦点对准了包含测距对象点的部分区域的状态下，通过对测距传感器2给予计测ON信号，从而使测距传感器2计测从照相机1的位置到测距对象点的距离，取得(存储到RAM中)表示由测距传感器2计测到的距离的距离数据。接下来，控制部45通过对照相机1给予快门ON信号，从而使照相机1拍摄包含上述测距对象点的部分区域，并取得由照相机1拍摄到的图像(二维图像)(步骤S5)。

接下来，控制部45基于在步骤S1中输入的设定数据所示的设想路径来判定是否结束拍摄(步骤S6)。在图2的例子中，在被拍摄体水平地旋转了360度的情况下，控制部45判定为结束拍摄(步骤S6：是)，向步骤S11前进。由此，得到被拍摄体的一周的预定的纵宽的图像。此外，为了遍及被拍摄体的整个面地取得图像，用户通过改变被设置在转盘上的被拍摄体的角度(例如，将被拍摄体重新放置到转盘上)，再次操作操作部43进行开始指示，从而使图3所示的处理开始。

另一方面，在步骤S6中，控制部45在判定为不结束拍摄的情况下(步骤S6：否)，向步骤S7前进。在步骤S7中，控制部45通过基于在步骤S1中输入的设定数据所示的设想路径来对驱动装置3给予驱动ON信号，从而驱动(即，旋转)转盘，以使得变更被拍摄体的部分区域(例如水平地变更10度)。因为被拍摄体与转盘联动地旋转，所以能够防止该被拍摄体的位置违反用户的意图地偏移。接下来，控制部45通过对测距传感器2给予计测ON信号，从而使测距传感器2计测从照相机1的位置到上述被变更后的部分区域中所包含的测距对象点的距离，并取得表示由测距传感器2计测到的距离的距离数据(步骤S8)。

接下来，控制部45判定在步骤S4中取得的距离数据所示的距离、与在步骤S8(即，直前的步骤S8)中取得的距离数据所示的距离之差(距离差)是否处于±预定值(希望为0，但是，考虑到景深而被设定为几mm)的范围内(步骤S9)。控制部45在判定为上述距离差处于±预定值的范围内的情况下(步骤S9：是)，返回到步骤S5，通过对照相机1给予快门ON信号，从而使照相机1拍摄包含变更后的测距对象点的部分区域，并取得由照相机1拍摄到的图像。

另一方面，在步骤S9中，控制部45在判定为上述距离差不在±预定值的范围内的情况下(步骤S9：否)，通过对驱动装置3给予驱动ON信号，从而驱动(即，相对于测距对象点向前后移动)滑动体，以使得该距离差消失(步骤S10)，并返回到步骤S9。即，控制部45驱动滑动体，以使得计测到的距离被保持在景深的范围(即，上述“±预定值的范围”)内。因为照相机1被安装于滑动体，所以能够将从照相机1的位置到测距对象点的距离更精度良好地保持在景深的范围内。这样，通过步骤S5～S10的处理，能够一边将由测距传感器2计测到的到测距对象点的距离保持在景深的范围内，一边依次变更部分区域。

在步骤S11中，计算部46按照被存储在存储部44中的三维形状及纹理信息生成程序，执行基于如上所述取得的图像(二维图像)来生成被拍摄体的三维形状数据及纹理信息的三维形状数据及纹理信息生成处理。

(实施例2)

首先，参照图4及图5，说明实施例2。图4是示出在实施例2中被设置于基座的被拍摄体与照相机1及测距传感器2的位置关系的一个例子的图。如图4所示，照相机1及测距传感器2被安装在多关节机械臂的前端。多关节机械臂通过将多个臂经由关节连结而构成，在控制部45的控制下进行驱动。即，多关节机械臂的各关节的角度(旋转角度及弯曲角度)利用由控制部45驱动的马达(未图示)而变化。由此，照相机1及测距传感器2相对于被拍摄体上的测距对象点的位置和姿势的至少任一者能够变更。

图5是示出实施例2中的拍摄控制处理、三维形状数据及纹理信息生成处理的一个例子的流程图。图5所示的处理例如在用户操作操作部43而进行了开始指示的情况下被开始。当图5所示的处理被开始时，控制部45使照相机1及测距传感器2起动，用户操作操作部43，接收被拍摄体上的测距对象点的指定(步骤S21)。例如在显示部42的显示画面上显示微距镜头所映入的图像(在取景器中确认的图像)，用户通过操作鼠标从而将图标对准相当于图像上的测距对象点的位置，通过点击该鼠标从而使得该测距对象点的指定被接受。

此外，在步骤S21中，与实施例1同样，也可以输入表示基于被拍摄体的形状制作的设想路径的设定数据，在此情况下，根据由用户指定的测距对象点，基于设想路径来驱动多关节机械臂。

接下来，控制部45决定在步骤S21中指定的测距对象点(步骤S22)。接下来，控制部45驱动多关节机械臂，以使得照相机1的焦点对准包含在步骤S22中决定的测距对象点的部分区域(步骤S23)。由此，在照相机1的焦点对准了包含测距对象点的部分区域的情况下，向步骤S24前进。

在步骤S24中，控制部45在照相机1的焦点对准了包含测距对象点的部分区域的状态下，进行照相机1相对于测距对象点的状态确认处理。在该状态确认处理中，控制部45使测距传感器2计测从照相机1的位置到测距对象点的距离，并取得表示由测距传感器2计测到的距离的距离数据，进一步，取得从测距对象点起的法线矢量。

接下来，控制部45判定照相机1的状态是否适当(步骤S25)。例如，判断从测距对象点起的法线矢量与照相机1的光轴是否一致，在一致的情况下，判定为照相机1的状态适当。控制部45在判定为照相机1的状态适当的情况下，(步骤S25：是)，向步骤S27前进。另一方面，控制部45在判定为照相机1的状态不适当的情况下(步骤S25：否)，向步骤S26前进。

在步骤S26中，控制部45通过对驱动装置3给予驱动ON信号，从而驱动多关节机械臂，以使得改变照相机1及测距传感器2的姿势(朝向)，返回到步骤S25，再次判定照相机1的状态是否适当。通过这样的处理，使法线矢量与照相机1的光轴一致。

在步骤S27中，控制部45通过对照相机1给予快门ON信号，从而使照相机1拍摄包含测距对象点的部分区域，并取得由照相机1拍摄到的图像。接下来，控制部45判断是否结束拍摄(步骤S28)。例如，在用户操作操作部43而进行了结束指示的情况下，控制部45判定为结束拍摄(步骤S28：是)，向步骤S30前进。

另一方面，控制部45在判定为不结束拍摄的情况下(步骤S28：否)，向步骤S29前进。在步骤S29中，控制部45例如根据来自用户的经由操作部43的指示(或基于设想路径)来对驱动装置3给予驱动ON信号，从而驱动多关节机械臂，以使得变更被拍摄体的部分区域，返回到步骤S24。

当返回到步骤S24后，控制部45在状态确认处理中使测距传感器2计测从照相机1的位置到测距对象点的距离，取得表示由测距传感器2计测到的距离的距离数据，进一步，取得从测距对象点起的法线矢量。

接下来，判定照相机1的状态是否适当(步骤S25)。在该处理(即，第2次以后的处理)中，在本次取得的距离数据所示的距离与前次取得的距离数据所示的距离之差(距离差)处于±预定值的范围内、且从测距对象点起的法线矢量与照相机1的光轴一致的情况下，判定为照相机1的状态适当，向步骤S27前进。

另一方面，在本次取得的距离数据所示的距离与前次取得的距离数据所示的距离之差(距离差)不在±预定值的范围内、或者从测距对象点起的法线矢量与照相机1的光轴不一致的情况下，向步骤S26前进。通过这样的处理，能够一边将由测距传感器2计测到的到测距对象点的距离保持在景深的范围内，一边依次变更部分区域。即，控制部45驱动多关节机械臂，以使得一边将计测到的距离保持在景深的范围内，一边依次变更部分区域。因为照相机1及测距传感器2被安装于机械臂，所以能够自由地调整照相机1及测距传感器2的位置及姿势，能够在固定了被拍摄体的状态下将从照相机1的位置到测距对象点的距离更精度良好地保持在景深的范围内。

在步骤S30中，计算部46按照被存储在存储部44中的三维形状及纹理信息生成程序，执行基于如上所述取得的图像(二维图像)来生成被拍摄体的三维形状数据及纹理信息的三维形状数据及纹理信息生成处理。

此外，在上述实施例2中使用了多关节机械臂，但是，作为其它实施例，也可以代替多关节机械臂，而使用转盘及单关节机械臂。在此情况下，在转盘上设置被拍摄体，在单关节机械臂的前端安装照相机1及测距传感器2。而且，控制部45驱动滑动体及单关节机械臂，以使得如上所述一边将计测到的距离保持在景深的范围内，一边依次变更部分区域。

如以上说明的那样，根据上述实施方式，因为三维形状数据及纹理信息生成装置4被构成为：通过在照相机1的焦点对准了被拍摄体上的包含测距对象点的部分区域的状态下，使测距传感器2计测从照相机1的位置到测距对象点的距离，利用驱动装置3驱动被拍摄体和照相机1的至少任一者，以使得一边将从计测到的距离或计测到的距离计算的距离保持在景深的范围内，一边依次变更部分区域，并使照相机1拍摄被拍摄体的各部分区域，从而取得每一个上述部分区域的图像，并基于取得的图像来生成上述被拍摄体的三维形状数据及纹理信息，所以，能够抑制因被拍摄体的拍摄条件而引起的模糊、噪声的发生，能够得到高清晰度的三维形状数据及纹理信息。另外，通过基于用单一的拍摄装置拍摄到的图像同时生成三维形状数据和纹理信息，从而能够在得到的三维形状与纹理信息的位置匹配的状态下进行生成。

另外，根据上述实施方式，仅通过用户设定照相机1的位置、朝向等大略的拍摄状况就能够得到高质量的图像。用户仅通过使照相机1向想要拍摄被拍摄体的位置、朝向移动，而不必进行焦点位置的变更，就能够设定为适当的位置、朝向而进行拍摄。由此，在使用单反相机进行的纹理拍摄中，能够用进行了镜头校准的参数直接在对焦了的状态下拍摄形状整周的纹理用图像。另外，根据上述实施方式，即使是被设置在从旋转中心偏离了几毫米以上的位置的被拍摄体，也能够始终从等距离处进行拍摄，能够在对焦了的状态下拍摄以被拍摄体与光轴的交点为中心的区域的纹理。另外，根据上述实施方式，当针对被预先或动态地生成的形状来指定用户想要拍摄的部分区域时，能够计算出使距离固定并使部分区域的交叠的面积固定的拍摄位置和姿势，进行照相机1的移动及拍摄。通过使部分区域之间的交叠的面积一定，从而能够针对被拍摄体的形状整周都取得稳定的质量的图像。另外，对于一般的质感，优选从形状的法线方向拍摄，但是，在光泽较强的材质的情况下，因为适于拍摄的位置、方向不同，所以用手动作业来构筑拍摄环境是困难的，但是，根据上述实施方式，因为自动地构筑包括照明在内的适于拍摄的环境，所以能够拍摄稳定的质量的图像群。

[附图标记说明]

1 照相机

2 测距传感器

3 驱动装置

4 三维形状数据及纹理信息生成装置

41a～41c 接口部

42 显示部

43 操作部

44 存储部

45 控制部

46 计算部

S 三维形状数据及纹理信息生成系统

Claims (10)

1.一种三维形状数据及纹理信息生成系统，其包括：拍摄部件，其按每个部分区域地对被拍摄体进行拍摄；测距部件，其计测从上述拍摄部件的位置到测距对象点的距离；驱动部件，其驱动上述被拍摄体和上述拍摄部件的至少任一者；控制部件，其控制上述拍摄部件、上述测距部件、以及上述驱动部件；以及生成部件，其基于由上述拍摄部件拍摄的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息；

该三维形状数据及纹理信息生成系统的特征在于，

上述控制部件执行以下动作：

在使上述拍摄部件的焦点对准了包含上述被拍摄体上的测距对象点的上述部分区域的状态下，使上述测距部件计测从上述拍摄部件的位置到上述测距对象点的距离，

利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域，

通过使上述拍摄部件拍摄上述被拍摄体的各上述部分区域，从而取得每一个上述部分区域的图像。

2.如权利要求1所述的三维形状数据及纹理信息生成系统，其特征在于，

上述控制部件利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述距离保持在景深的范围内，一边使被变更的上述部分区域和与该被变更的部分区域相邻的部分区域交叠。

3.如权利要求2所述的三维形状数据及纹理信息生成系统，其特征在于，

上述控制部件利用上述驱动部件来驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得构成上述被拍摄体的同一部位被多次拍摄。

4.如权利要求1至3的任一项所述的三维形状数据及纹理信息生成系统，其特征在于，

上述驱动部件包括设置上述被拍摄体的转盘；

上述控制部件驱动上述转盘，以使得依次变更上述部分区域。

5.如权利要求1至4的任一项所述的三维形状数据及纹理信息生成系统，其特征在于，

上述拍摄部件及上述测距部件被安装在能够变更距上述测距对象点的距离的滑动体上；

上述控制部件驱动上述滑动体，以使得将上述计测到的距离保持在景深的范围内。

6.如权利要求1至3的任一项所述的三维形状数据及纹理信息生成系统，其特征在于，

上述拍摄部件及上述测距部件被安装在机械臂上，该机械臂能够变更上述拍摄部件及上述测距部件相对于上述测距对象点的位置和姿势的至少任一者；

上述控制部件驱动上述机械臂，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域。

7.如权利要求1至6的任一项所述的三维形状数据及纹理信息生成系统，其特征在于，

上述拍摄部件的镜头是微距镜头。

8.一种三维形状数据及纹理信息生成系统，其特征在于，包括：

照相机，其按每一次部分区域地对被拍摄体进行拍摄，

测距传感器，其计测从上述照相机的位置到测距对象点的距离，

驱动装置，其驱动上述被拍摄体和上述照相机的至少任一者，以及

控制器，其控制上述照相机、上述测距传感器、以及上述驱动装置；

上述控制器在上述照相机的焦点对准了上述被拍摄体上的包含测距对象点的上述部分区域的状态下，使上述测距传感器计测从上述照相机的位置到上述测距对象点的距离，利用上述驱动装置来驱动上述被拍摄体和上述照相机的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域，并使上述照相机拍摄上述被拍摄体的各上述部分区域；

还包括处理器，其执行基于由上述照相机拍摄到的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息的生成处理。

9.一种拍摄控制程序，其特征在于，使三维形状数据及纹理信息生成系统中的控制部件所包含的计算机执行步骤，上述三维形状数据及纹理信息生成系统包括：拍摄部件，其按每一个部分区域地对被拍摄体进行拍摄；测距部件，其计测从上述拍摄部件的位置到测距对象点的距离；驱动部件，其驱动上述被拍摄体和上述拍摄部件的至少任一者；上述控制部件，其控制上述拍摄部件、上述测距部件、以及上述驱动部件；以及生成部件，其基于由上述拍摄部件拍摄的每一个上述部分区域的图像来生成上述被拍摄体的三维形状数据及纹理信息；

上述步骤包括：

在上述拍摄部件的焦点对准了上述被拍摄体上的包含测距对象点的上述部分区域的状态下，使上述测距部件计测从上述拍摄部件的位置到上述测距对象点的距离的步骤，

使上述驱动部件驱动上述被拍摄体和上述拍摄部件的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域的步骤，以及

通过使上述拍摄部件拍摄上述被拍摄体的各上述部分区域，从而取得每一个上述部分区域的图像的步骤。

10.一种三维形状数据及纹理信息生成方法，其特征在于，包括：

在照相机的焦点对准了被拍摄体上的包含测距对象点的部分区域的状态下，利用测距传感器来计测从上述照相机的位置到上述测距对象点的距离的步骤，

利用驱动装置来驱动上述被拍摄体和上述照相机的至少任一者，以使得一边将上述计测到的距离或根据计测到的距离计算出的距离保持在景深的范围内，一边依次变更上述部分区域的步骤，

在依次变更上述部分区域的过程中，使上述照相机拍摄上述被拍摄体的各上述部分区域的步骤，以及

基于由上述照相机拍摄到的每一个上述部分区域的图像，利用处理器来生成上述被拍摄体的三维形状数据及纹理信息的步骤。