CN102143321B - 摄影装置及控制方法 - Google Patents

Abstract

本发明提供一种能容易拍摄适合于三维图像生成的图像的摄影装置及控制方法。数码相机(100)具备：获取由摄影部拍摄到的第1图像和第2图像的图像获取部(142)；检测表示对象物上的点在第1图像中的位置的第1图像位置和表示在第2图像中的位置的第2图像位置的图像位置检测部(151)；基于第1图像位置和第2图像位置的差异生成对象物的三维图像的三维图像生成部(170)；基于第1图像位置及第2图像位置和拍摄第1图像时的焦点距离来计算表示拍摄第1图像时的摄影部的光轴和拍摄第2图像时的摄影部的光轴接近平行到什么程度的平行度的平行度计算部(156)；及显示平行度计算部(156)计算出的平行度的显示部。

Description

摄影装置及控制方法

技术领域

本发明涉及拍摄图像的摄影装置及控制方法。

背景技术

在非专利文献1(佐藤洋一著、「デジタル像処理」、CG-ARTS協会出版、2009年11月2日行、第251頁から第262頁)中公开了如下技术，即：以光轴平行且图像坐标系的坐标轴在同一直线上朝同一方向的配置方式(即，平行立体)固定两个照相机，并且基于由固定的两个照相机拍摄到的图像中的拍摄对象物(以下，仅称为对象物)的视觉差异(即，视差)和照相机间的距离(即，基线长)，生成对象物的三维图像。另外，公知有如下技术，即：以在移动前后处于平行立体的方式移动一个照相机，并且使用在移动前后由照相机拍摄到的两个图像，生成被拍摄到的对象物的三维图像。

在此，非专利文献1所涉及的技术存在着需要两个照相机的问题。另外，因为在使用一个照相机拍摄到的两个图像来生成三维图像的技术中，很难使照相机在移动前后处于平行立体，因此存在着难以拍摄适合于三维图像生成的图像的问题。

发明内容

本发明鉴于上述问题而完成，其目的在于提供一种能容易拍摄适合于三维图像生成的图像的摄影装置及控制方法。

为了达成上述目的，本发明的第一观点所涉及的摄影装置的特征在于，具备：

摄影部件，其拍摄对象物；

焦点距离检测部件，其检测从所述摄影部件的主点到对焦于所述对象物的焦点为止的焦点距离；

图像获取部件，其获取通过使焦点对焦于所述对象物的所述摄影部件拍摄到的第1图像和第2图像；

图像位置检测部件，其检测表示所述图像获取部件获取到的所述第1图像中的所述对象物上的点的位置的第1图像位置、和表示所述第2图像中的所述点的位置的第2图像位置；

三维图像生成部件，其基于所述图像位置检测部件检测出的所述第1图像位置和所述第2图像位置之间的差异，生成所述对象物的三维图像；

平行度计算部件，其基于所述图像位置检测部件检测出的所述第1图像位置及所述第2图像位置、和所述焦点距离检测部件检测出的所述焦点距离，计算平行度，该平行度表示拍摄所述第1图像时的所述摄影部件的光轴和拍摄所述第2图像时的所述摄影部件的光轴接近平行到什么程度；以及

显示部件，其显示所述平行度计算部件计算出的所述平行度。

另外，为了达成上述目的，本发明的第2观点所涉及的摄影装置的控制方法是一种具备拍摄对象物的摄影部及显示部的摄影装置的控制方法，该控制方法的特征在于，包括：

检测从拍摄对象物的摄影部的主点到对焦于所述对象物的焦点为止的焦点距离的焦点距离检测步骤；

获取通过使焦点对焦于所述对象物的所述摄影部拍摄到的第1图像和第2图像的图像获取步骤；

检测表示由所述图像获取步骤获取到的所述第1图像中的所述对象物上的点的位置的第1图像位置、和表示所述第2图像中的所述点的位置的第2图像位置的图像位置检测步骤；

基于由所述图像位置检测步骤检测出的所述第1图像位置和所述第2图像位置之间的差异，生成所述对象物的三维图像的三维图像生成步骤；

基于由所述图像位置检测步骤检测出的所述第1图像位置及所述第2图像位置、以及由所述焦点距离检测步骤检测出的所述焦点距离，计算平行度的平行度计算步骤，该平行度表示拍摄所述第1图像时的所述摄影部的光轴和拍摄所述第2图像时的所述摄影部的光轴接近平行到什么程度；以及

按照显示由所述平行度计算步骤计算出的所述平行度的方式控制所述显示部的显示控制步骤。

附图说明

图1A至1D表示本发明实施方式所涉及的数码相机的外观的一例的图，图1A是主视图，图1B是后视图，图1C是右侧视图，图1D是俯视图。

图2是表示数码相机的电路构成的一例的框图。

图3是表示数码相机100执行的三维图像生成处理的一例的流程的前半部分。

图4是表示数码相机100执行的三维图像生成处理的一例的流程的后半部分。

图5A是表示数码相机100的一个构成例的功能框图。

图5B是表示平行评价部150的一个构成例的功能框图。

图6A是表示平行评价部150执行的平行度计算处理的一例的流程图。

图6B是表示实际移动量计算部162执行的实际移动量计算处理的一例的流程图。

图6C是表示三维图像生成部170执行的3D建模处理的一例的流程图。

图7是表示拍摄第1图像时和拍摄第2图像时的摄影部的透视投影模型的一例的图。

图8A是表示显示部进行的平行度的显示例的图。

图8B是表示显示部进行的必要移动方向的显示例的图。

具体实施方式

以下，参照附图，对本发明的优选实施方式进行说明。

本发明的实施方式所涉及的数码相机100仿造了图1A所示的可携带的所谓袖珍相机(compact camera)的形状，被用户携带来变更拍摄位置。数码相机100使用在拍摄位置变更前后(即，数码相机移动前后)拍摄对象物所得到的两个图像，生成表示对象物的三维图像。另外，该数码相机100显示表示在移动前后数码相机100的配置从平行立体偏移了多少的指标(以下，称为平行度)。

如图1A所示，数码相机100在正面上具有闪光灯发光窗101及成像光学系统(拍摄镜头)102。

另外，如图1B所示，数码相机在背面上具有液晶监视器画面即显示部104、光标键105、设定键105s、菜单键106m及3D(dimension)建模键106d。

显示部104显示拍摄到的图像、根据拍摄到的图像计算出的平行度、及基于拍摄到的图像生成的三维图像。当按下菜单键106m时，光标键105输入对显示在显示部104上的菜单进行选择的信号。设定键105s输入对选择出的菜单进行确定的信号。3D建模键106d进行转换动作，输入对每次被按压时进行通常拍摄的通常摄影模式和生成三维图像的3D建模模式这二者进行择一切换的信号。

而且，如图1C所示，数码相机100在右侧面上具有USB(UniversalSerial Bus)端子连接部107，如图1D所示，在上表面上具有电源按钮108及快门按钮109。

接着，对数码相机100的电路构成进行说明。

如图2所示，数码相机100通过总线100a连接摄影部110、图像引擎120、CPU(Central Processing Unit)121、闪存122、工作存储器123、VRAM(Video Random Access Memory)控制部124、VRAM125、DMA(DirectMemory Access)126、键输入部127、USB控制部128及扬声器129而构成。

摄影部110是CMOS(Complementary Metal Oxide Semiconductor)照相模块，拍摄对象物，并输出表示拍摄到的对象物的图像数据。摄影部110由成像光学系统(拍摄镜头)102、(光学系统)驱动控制部111、CMOS传感器112及ISP(Image Signal Processor)113构成。

成像光学系统(拍摄镜头)102在CMOS传感器112的拍摄面上对被摄物体(对象物)的光学像进行成像。

驱动控制部111具备：调整拍摄镜头102的光轴的变焦电机；使拍摄镜头102的焦点对焦的对焦电机；调整拍摄镜头102的光圈的光圈控制部；及控制快门速度的快门控制部。

CMOS传感器112在对来自成像光学系统102的光进行光电变换之后，输出对光电变换得到的电信号进行A/D(Analog/Digital)转换后的数字数据。

ISP113在对CMOS传感器112输出的数字数据进行颜色调整及数据格式变更之后，将数字数据转换为亮度信号Y及色差信号Cb和Cr。

关于图像引擎120，将在工作存储器123之后进行说明。CPU121根据键输入部127的操作，从闪存122读出与基于操作的模式对应的摄影程序及菜单数据，并且通过对读出的数据执行程序，从而控制构成数码相机100的各部分。

工作存储器123由DRAM构成，通过DMA126传送摄影部110输出的YCbCr数据，并存储所传送的数据。

图像引擎120由DSP(Digital Signal Processor)构成，将保存在工作存储器123中的YCbCr数据转换成RGB形式的数据之后，经由VRAM控制部124传送至VRAM125。

VRAM控制部124在从VRAM125中读出RGB形式的数据之后，通过向显示部104输出RGB形式的信号，从而控制显示部104的显示。

DMA126根据CPU121的命令，代替CPU121而向工作存储器123传送来自摄影部110的输出(YCbCr数据)。

键输入部127输入与图1B的光标键105、设定键105s、菜单键106m及3D建模键106d的操作对应的信号，并且向CPU121通知信号的输入。

USB控制部128与USB端子连接部107连接，控制与经由USB端子连接部107而USB连接的计算机之间的USB通信，向所连接的计算机输出表示拍摄到的图像或生成的三维图像的图像文件。

扬声器129根据CPU121的控制，输出规定的警告音。

接着，说明数码相机100为了利用图2所示的硬件生成三维图像而执行的三维图像生成处理。图2的CPU121通过执行图3及图4所示的三维图像生成处理，起到如图5A所示的摄影控制部141、图像获取部142、特征点对应部143、平行评价部150、显示控制部160、平行判定部161、实际移动量计算部162、进深距离获取部163、必要移动量计算部164、移动量判定部165、必要移动方向判断部166、通知控制部167、三维图像生成部170、输出控制部171及三维图像保存部172的作用。

当用户操作图1B的3D建模键106d来选择3D建模键时，CPU121检测选择来开始三维图像生成处理。若三维图像生成处理开始，则图5A的摄影控制部141判断用户是否按下了快门按钮109(步骤S01)。若用户按下了快门按钮109，则摄影控制部141判断为按下了快门按钮109(步骤S01：是)，使摄影部110的焦点向作为拍摄对象的对象物对焦。具体而言，由于对象物为人物，因此摄影部110进行面部检测处理，并且通过驱动图2的驱动控制部111，按照与检测出的面部的位置一致的方式控制摄影部110的焦点。此外，当摄影控制部141判断为未按下快门按钮109时(步骤S01：否)，待机到被按下为止。

接着，图像获取部142从摄影部110获取表示拍摄对象物所得到的图像(以下，称为第1图像)的数据，并且将获取到的数据保存到图2的工作存储器123(步骤S03)。然后，用户将数码相机100移动至与拍摄第1图像的拍摄位置不同的拍摄位置。接着，与步骤S03同样地，图像获取部142获取表示拍摄对象物所得到的图像(以下，称为第2图像)的数据，并且将数据保存到工作存储器123(步骤S04)。

接着，图5A的特征点对应部143获取使表示了对象物上的相同点的第1图像上的点和第2图像上的点对应后的点(对应点)(步骤S05)。具体而言，特征点对应部143通过对第1图像及第2图像使用哈里斯的角检测(harris corner detection)法，获取表征第1图像的特征点(以下，称为第1特征点)和表征第2图像的特征点(以下，称为第2特征点)。接着，在第1特征点与第2特征点之间，对距特征点有规定距离的图像区域(特征点附近图像)进行模板对照，并且使通过模板对照计算出的对照度在规定的阈值以上且成为最高值的第1特征点和第2特征点相对应，将每一个作为对应点。

接着，平行评价部150执行计算平行度的平行度计算处理(步骤S06)。此外，平行评价部150通过执行图6A所示的平行度计算处理，起到图5B所示的图像位置检测部151、焦点距离检测部152、基础矩阵计算部153、平移向量计算部154、旋转矩阵计算部155及平行度计算部156的作用。

若在步骤S06中执行平行度计算处理，则图5B的图像位置检测部151检测图7所示的向第1图像的图像坐标系P1投射了对象物上的对应点M1的向量m1的坐标值(以下，仅称为第1图像位置)、和向第2图像的图像坐标系P2投射了对应点M1的向量m2的坐标值(以下，仅称为第2图像位置)(步骤S21)。此外，图7表示移动前(拍摄第1图像时)和移动后(拍摄第2图像时)的摄影部110的透视投影模型。

此外，图像坐标系P1以投影到摄影部110的投影面上的第1图像的左上角为原点，且由与第1图像的纵向(扫描方向)及横向(副扫描方向)一致的坐标轴u及v构成。图像坐标系P2与图像坐标系P1相同，但是以第2图像的左上角为原点。

在执行完图6的步骤S21之后，图5B的焦点距离检测部152检测拍摄第1图像时的摄影部110的主点C1与焦点f1之间的焦点距离f(步骤S22)。此外，焦点f与光轴la1和图像坐标系P1的交点一致，用坐标(u0，v0)表示。另外，焦点距离的检测例如是利用预先测量出的施加给镜头驱动部的信号和在信号被施加到镜头驱动部时所实现的焦点距离f之间的关系进行的。

然后，基础矩阵计算部153利用对应点的图像位置(即，第1图像位置和第2图像位置)和焦点距离，计算由以下式(1)示出的基础矩阵E(步骤S23)。这是因为，拍摄第1图像时和拍摄第2图像时的数码相机100的配置是否为平行立体是可以利用从拍摄第1图像时的摄影部110的主点C1到拍摄第2图像时的摄影部110的主点C2的平移向量t、和表示从主点C2向主点C1旋转的方向的旋转矩阵R进行判断的。

基础矩阵E＝t×R…(1)

其中，记号t表示平移向量，记号R表示旋转矩阵，记号×表示向量积。

在此，用以下数学式1-2示出的矩阵A的逆矩阵将依存于照相机内部信息(照相机参数)的图像坐标系P1变换为由不依存于照相机内部信息的图7的XYZ坐标轴构成的照相机坐标系(即，归一化照相机坐标系)。此外，照相机内部信息包括由摄影部110规定的焦点距离f、以及光轴la1与图像坐标系P1的交点(u0，v0)的位置。该照相机参数是在拍摄前预先确定的。另外，X坐标的方向与u坐标的方向一致，Y坐标的方向与v坐标的方向一致，Z坐标与光轴la1一致，XYZ空间的原点为主点C1。另外，将图2的CMOS传感器112的纵横比设为1，矩阵A不考虑与标度关联的参数。

【数学式1-2】

$A=\left(\begin{array}{ccc}f& 0& u0\\ 0& f& v0\\ 0& 0& 1\end{array}\right)$

在此，将世界坐标系(world coordinate)的原点设为归一化照相机坐标系的原点C1，将世界坐标系的坐标轴XwYwZw的方向设为与归一化照相机坐标系的坐标轴XYZ分别相同的方向，则利用表示逆矩阵的记号inv及表示点积的记号·，将世界坐标中的点m1的归一化照相机坐标表示为inv(A)·m1。另外，由于将点M1投影到第2坐标上的图像坐标为m2，因此在世界坐标系中，利用旋转矩阵R，将m2的归一化坐标表示为R·inv(A)·m2。

在此，如图7所示，由于平移向量t、和上述已说明的inv(A)·m1及R·inv(A)·m2在同一平面上，因此这些标量三重积为“0”，根据以下的式(2)及将式(2)变形后的式(3)，式(5)成立。

trans(inv(A)·m1)·(t×(R·inv(A)·m2))＝0…(2)

其中，记号trans表示转置矩阵。

trans(m1)·trans(inv(A))·t ×R·inv(A)·m2＝0…(3)

trans(m1)·trans(inv(A))·E·inv(A)·m2＝0…(4)

因为基础矩阵E＝t×R(参照式(1))，所以

trans(m1)·F·m2＝0…(5)

其中，

基本行列F＝trans(inv(A))·E·inv(A)

在此，基本矩阵F为3行3列的矩阵，由于矩阵A不考虑与标度关联的参数，因此图5B的基础矩阵计算部153利用八个以上对应点(即、m1和m2的组)和上述式(5)，计算基本矩阵F及基础矩阵E。

在执行图6A的步骤S23之后，图5B的平移向量计算部154根据基础矩阵E来计算平移向量t(步骤S25)。具体而言，平移向量计算部154计算矩阵“trans(E)·E”的最小特征值的特征向量。

这是因为，由于在上述式(1)中定义了基础矩阵E＝t×R，因此基础矩阵E和平移向量t的点积值为“0”，故以下的式(6)成立，所谓式(6)成立是指平移向量t成为矩阵“trans(E)·E”的最小特征值的特征向量。

trans(E)·t＝0…(6)

其中，虽然平移向量t其标度和符号不定，但是通过对象物存在于照相机前方这一制约，能够求出平移向量t的符号。

在执行图6A的步骤S24之后，图5B的旋转矩阵计算部155利用基础矩阵E和平移向量t，计算旋转矩阵R(步骤S25)。具体而言，由于在上述式(4)中定义了基础矩阵E＝t×R，因此旋转矩阵计算部155利用以下的式(7)，利用最小二乘法计算旋转矩阵R，使得作为计算对象的旋转矩阵R及已经计算出的平移向量t的向量积、和已经计算出的基础矩阵E之间的误差变得最小。

$\mathrm{\Σ}(t\×R-E)^2\⇒\min ...\left(7\right)$

其中，记号^2表示矩阵的平方，记号∑表示矩阵的所有要素的和，记号表示使左边的值最小化的情形。

在此，旋转矩阵计算部155为了求解上述式(7)，利用已经计算出的平移向量t和基础矩阵E，计算-t×E，并且如下述式(8)那样对-t×E进行奇异值分解，从而计算酉矩阵U、奇异值的对角矩阵S及伴随矩阵V。

U·S·V＝svd(-t×E)…(8)

其中，记号＝svd表示对括号内的矩阵-t×E进行奇异值分解。

接着，旋转矩阵计算部155在下述式(9)中利用已经计算出的酉矩阵U及共轭矩阵V，计算旋转矩阵R。

R＝U·diag(1，1，det(U·V))·V…(9)

其中，记号det表示行列式，diag表示对角矩阵。

在执行了图6A的步骤S25之后，图5B的平行度计算部156将平移向量t和旋转矩阵R用于以下的式(10)，计算平行度ERR(步骤S26)。之后，结束平行度计算处理的执行。

ERR＝α·R_ERR+k·T_ERR…(10)

其中，记号α及k表示规定值的调整系数，记号R ERR表示旋转系的误差，记号T_ERR表示移动方向的误差。

在此，旋转系的误差R_ERR是表示为了将拍摄第2图像时的照相机坐标系(第2照相机坐标系)叠加在拍摄第1图像时的照相机坐标系(第1照相机坐标系)上而需要旋转多少的指标。在此，在旋转矩阵R为单位矩阵的情况下，由于不需使第2照相机坐标系旋转就能叠加在第1照相机坐标系上，因此拍摄第1图像时的光轴la1和拍摄第2图像时的光轴la2处于平行状态。因此，旋转系的误差R_ERR是利用单位向量和通过计算求出的旋转矩阵R的每个成分差异的平方和计算出的。

另外，移动方向的误差T_ERR是评价从拍摄第1图像时的主点C1到拍摄第2图像时的主点C2的移动方向(即，平移向量t)与第1照相机坐标系的X轴方向有多大程度的不同的评价指标。在此，在平移向量t中没有Y分量及Z分量的情况下，由于拍摄第1图像时的照相机坐标系的X轴和拍摄第2图像时的照相机坐标系的X轴在同一直线上处于相同的朝向，因此移动方向的误差T_ERR是由平移向量t的Y分量和Z分量的平方和计算出的。

在执行了图3的步骤S06之后，如图8A所示，图5A的显示控制部160按照如下方式控制显示部104，即：在显示面DP上显示由长条BR1表示平行度ERR的值的柱状图G1，并且显示表示旋转矩阵R及平移向量t的值的图G2(步骤S07)。根据这些构成，不仅能够表示在数码相机100的移动前后配置是否处于平行立体，还能显示从平行立体偏移了多少。因此，在数码相机100的移动前后能够容易地将照相机配置设为平行立体，因此能够容易拍摄适合于三维图像的生成的图像。

此外，在未显示长条BR1的情况下，图8A的柱状图G1表示摄影部110在移动前后处于平行立体状态，长条BR1的长度越长，就表示平行度越高且自平行立体状态偏离。

另外，在图像GS所示的球体的中心点和图像GP所示的面的中心一致，且图像GP所示的面和显示部104的显示面DP平行的情况下，图G2表示摄影部110在移动前后处于平行立体状态。另外，图G2用图像GP所示的面的旋转量来表示旋转矩阵R所示的旋转量。即、如图8A所示，显示部104通过朝向图像GP所示面的显示方向使右侧倾斜于显示方向来进行显示，从而表示数码相机100的光轴的方向比处于平行立体的方向更靠光轴方向而向右侧倾斜。根据该构成，能够显示使数码相机100(的照相机坐标系)旋转多少才能处于平行立体状态。

而且，利用图像GS所示的球体的中心点与图像GP所示的面的中心之间的显示方向侧的差异及纵向侧(扫描方向侧)的差异，分别表示平移向量t的Z分量及Y分量。根据该构成，能够显示使数码相机100的位置朝向被摄物体在前后上下移动多少才能处于平行立体状态。

在执行了图3的步骤S07之后，图5A的平行判定部161基于平行度是否超过了规定的阈值，来判定拍摄第1图像时的数码相机100和拍摄第2图像时的数码相机100的配置是否为平行立体(步骤S08)。

由于平行度超过了规定的阈值，故平行判定部161判定出不是平行立体(步骤S08：否)。然后，再次变更数码相机100的拍摄位置之后，图像获取部142、特征点对应部143、平行评价部150及显示控制部160按顺序反复执行步骤S04至S07的处理。

然后，由于平行度未超过规定的阈值，故平行判定部161判定为是平行立体(步骤S08：是)。接着，实际移动量计算部162执行图6B所示的实际移动量计算处理，即，计算伴随着数码相机100的移动，对象物上的点M1在图像坐标系中的投影点m1向点m2移动的移动量(像素距离)c(步骤S09)。

当开始执行实际移动量计算处理时，实际移动量计算部162根据第1图像进行作为摄影对象的人物(对象物)的面部检测，并且获取检测出的面部部分的特征点(步骤S31)。接着，实际移动量计算部162同样地从第2图像获取特征点(步骤S32)。然后，实际移动量计算部162根据第1图像的特征点在图像坐标系中的坐标值与第2图像的特征点在图像坐标系中的坐标值之间的差异，计算两个特征点的像素距离c(步骤S33)。然后，实际移动量计算部162结束移动量计算处理的执行。

在执行了图4的步骤S09之后，图5A的进深距离获取部163基于被用户操作的光标键105及设定键105s所输入的信号，判断摄影模式被选择为肖像模式。接着，进深距离获取部163获取从与图2的闪存122预先存储的肖像模式相对应的主点C1到对象物上的点M1为止的进深距离Z的值“3米”(步骤S10)。接着，进深距离获取部163获取与闪存122预先存储的肖像模式相对应的进深精度(进深误差)ΔZ的值“1厘米”。此外，进深精度ΔZ表示所允许的进深距离的误差。

接着，因为进深距离Z为3m，且进深误差ΔZ为1cm，因此必要移动量计算部164利用以下式(11)，计算在进深精度ΔZ以上且生成三维坐标所需的移动量N，即“300”(步骤S11)。

N＝1/(ΔZ/Z)…(11)

其中，记号Z表示进深距离，记号ΔZ表示进深误差。

这是因为，相对于进深距离Z的相对误差ΔZ/Z是在由像素大小确定的精度上相乘倍率而计算出的，故相对误差ΔZ/Z可由以下式(12)表示。另外，在是平行立体的情况下，由于基线长(从主点C1到C2的距离)与绝对距离(绝对视差距离)之比等于倍率，因此进深Z可由以下式(13)及(14)计算出。由此，利用这些式(12)至(14)导出了上述式子(11)。

ΔZ/Z＝(p/B)·(Z/f)…(12)

其中，记号B表示基线长，记号f表示焦点距离，记号p表示图2的CMOS传感器112的像素大小。另外，(p/B)表示由像素大小确定的精度，(Z/f)表示倍率。

Z＝f·(B/d)…(13)

其中，记号d表示绝对视差距离，可由以下式(14)表示。

d＝p·N…(14)

其中，记号N表示像素坐标上的点的移动量。

在执行了图4的步骤S11之后，图5A的移动量判定部165判断实际移动的移动量c是否属于满足以下式(15)的规定范围(步骤S12)。这是为了将达到必要移动量的20％的实际移动量作为适当的移动量(适当距离)。

N≤ABS(c)≤N*1.2…(15)

其中，记号ABS表示绝对值，记号N表示满足上述式(11)的值，记号*表示乘法符号。

在此，因为像素距离c的绝对值是比N的值“300”小的值，因此移动量判定部165判定为不属于规定范围(步骤S12：否)。因此，移动量判定部165判定数码相机100的移动状态从移动前(拍摄第1图像时)的拍摄位置还未移动以规定的进深精度ΔZ生成三维图像所需的充分距离。这是因为如果视差不充分，则不能求出精度高的进深Z。

接着，根据移动量判定部165的判定结果和像素距离c的符号为负的情形，必要移动方向判断部166基于以下表1，判断需要将数码相机100向右侧移动(步骤S13)。此外，表1存储在图2的闪存122中。

【表1】

	约束条件	必要移动方向
			1	0＜c＜N	左(-Xw轴)方向
2	1.2*N＜c	右(+Xw轴)方向
			3	-N＞c＞0	右(+Xw轴)方向
4	c＜-1.2*N	左(-Xw轴)方向

这是因为，在以第1图像在图像坐标系中的特征点的坐标值为基准的情况下，当在世界坐标系中数码相机100向Xw轴的正方向移动时，在图像上特征点向Xw轴的负方向移动，因此像素距离c的符号为负。

此外，如表1的第一行所示，在像素距离c满足约束条件0＜c＜N的情况下，虽然数码相机100从第1图像的拍摄位置向世界坐标的Xw轴的负方向(即，朝向对象物的左侧)移动，但是必要移动方向判断部166却判断为未移动足够的距离，判断为需要进一步使数码相机100向负方向移动。

另外，如第二行所示，在像素距离c满足约束条件c＞1.2*N的情况下，虽然数码相机100向Xw轴的负方向移动了，但是必要移动方向判断部166却判断为移动过多，判断为需要使数码相机100向Xw轴的正方向返回。

此外，如第三行所示，在像素距离c满足约束条件-N＞c＞0的情况下，虽然数码相机100向Xw轴的正方向移动，但是必要移动方向判断部166却判断为未移动足够的距离，进而判断为还需要使数码相机向正方向移动。

此外，如第四行所示，在像素距离c满足约束条件c＜-1.2*N的情况下，虽然数码相机100向Xw轴的正方向移动了，但是必要移动方向判断部166却判断为移动过多，判断为需要使数码相机100向Xw轴的负方向返回。

在执行了图4的步骤S13之后，显示控制部160基于必要移动方向判断部166的判断结果，控制图1B的显示部104，使得在显示面DP上显示如图8B所示那样的促使数码相机100向右移动的箭头图像GA(步骤S14)。根据这些构成，能够显示使数码相机100相对于对象物向左右的哪个方向移动才能以规定的精度生成三维图像。另外，根据这些构成，在无需固定基线长的情况下可根据对象物的距离来变更基线长，并且能够显示数码相机100移动了与变更后的基线长相应的量。

另外，图5A的显示控制部160基于移动量判定部165的判定结果控制显示部104，该显示部104显示由图8B所示的棒BR3表示必要移动距离的柱状图G3。根据该构成，能够容易获知使数码相机100移动多少才合适。

用户沿着箭头图像GA将数码相机100进一步向右方向移动之后，图5A的图像获取部142、特征点对应部143、平行评价部150、显示控制部160、平行判定部161、实际移动量计算部162、进深距离获取部163及必要移动量计算部164按顺序再次执行图3的步骤S04至S11的处理。此外，由于图像获取部142再次获取第2图像，因此废弃上一次获取到的第2图像。

在执行了步骤S11的处理之后，因为在步骤S11再次计算出的像素距离c的绝对值是比1.2*N的值“360”还大的值，因此移动量判定部165判定为不属于满足上述式(12)的规定的范围(步骤S12：否)。接着，因为像素距离c比1.2*N的值还大，因此移动量判定部165判定为对于以规定的进深精度ΔZ生成三维图像而言数码相机100的移动状态过于偏离了第1图像的拍摄位置。由于视差过大时视点过于不同，因此即使是对象物的相同部位，由第1图像和第2图像示出的一方也会过于不同。这是因为，在该情况下，无法将对象物的相同点与第1图像示出的点和第2图像示出的点高精度地建立对应，无法求出精度高的进深Z。

接着，根据移动量判定部165的判定结果和像素距离c的符号为负的情形，如上述表1的第4行所示，必要移动方向判断部166判断为需要将数码相机100的位置向左侧返回(步骤S13)。

然后，显示控制部160基于移动量判定部165的判定结果，在显示部104上显示促使数码相机100向左返回的图像(步骤S14)。

用户将数码相机100移动到左方向之后，再次执行图3的步骤S04至S11的处理。

在执行了步骤S11的处理之后，移动量判定部165判定为在步骤S11再次计算出的像素距离c属于规定的范围(步骤S12：是)。接着，通知控制部167控制图2的扬声器129，使得用警报通知数码相机100处于适合以规定的进深精度ΔZ生成三维图像的位置(步骤S15)。

接着，如图6C所示，图5A的三维图像生成部170执行利用第1图像和第2图像生成对象物的三维图像的3D建模处理(步骤S16)。此外，三维图像生成部170也可以在等到图1A的快门按钮109被按下之后，利用第1图像和重新拍摄到的图像执行3D建模处理。

当开始执行3D建模处理时，三维图像生成部170利用哈里斯的角点检测法，将第1图像的浓度梯度的孤立点和第2图像的浓度梯度的孤立点分别作为特征点候补(步骤S41)。此外，三维图像生成部170获取多个特征点候补。

接着，三维图像生成部170使用SSD(Sum of Squared Difference)的模板匹配，将第1图像的特征点候补与第2图像的特征点候补的相关度R_SSD变为规定的阈值以下的特征点确定为第1图像的特征点及第2图像的特征点(步骤S42)。此外，相关度R_SSD是用以下式(16)计算出的。此外，三维图像生成部170确定多个特征点的对应。

R_SSD＝∑∑(K-T)^2…(16)

其中，K表示对象图像(即，距第1图像中的特征点候补有规定距离的区域的模板)，T表示基准图像(即，与K相同形状的第2图像中的区域)，∑∑表示水平方向和垂直方向的总和。

当执行步骤S42时，三维图像生成部170计算表示第1图像的特征点在图像坐标上的位置(u1，v1)的位置信息、及表示第2图像的特征点在图像坐标上的位置(u’1，v’1)的位置信息(步骤S43)。然后，三维图像生成部170利用位置信息，生成用德洛内(Delaunay)三角形表示的三维图像(即，多边形)(步骤S44)。

具体而言，三维图像生成部170在以下两个条件下生成三维图像。第一个条件是：三维图像生成部170以不具有与标度关联的信息(标度信息)的相对大小来生成对象物的三维图像。另一个条件是：在拍摄第1图像时和拍摄第2图像时的摄影部110的配置为平行立体。在这两个条件下，当第1图像的特征点的位置(u1，v1)对应于第2图像的特征点的位置(u’1，v’1)，且将该对应的点还原到三维坐标所表示的位置(X1，Y1，Z1)时，以下式(17)至(19)成立。

X1＝u1/(u1-u’1)…(17)

Y1＝v1/(u1-u’1)…(18)

Z1＝f/(u1-u’1)…(19)

由此，三维图像生成部170利用上述式(17)至(19)，对剩余的被对应的特征点计算由三维坐标表示的位置，并且生成以计算出的位置的点为顶点的多面体的三维图像。然后，三维图像生成部170结束3D建模处理的执行。

根据该构成，在拍摄第1图像时和拍摄第2图像时摄影部110的配置为平行立体的情况下，利用上述式(17)至(19)生成表示对象物的三维图像，因此与不是平行立体时利用下述式(20)生成三维图像的情况相比，能够以更少的计算量生成三维图像。

trans(u1，v1，1)～P·trans(X1，Y1，Z1，1)

trans(u’1，v’1，1)～P’·trans(X1，Y1，Z1，1)

其中，记号～表示两边允许常数倍的不同而相等，矩阵P表示向照相机坐标系投影第1图像的投影矩阵(照相机投影参数)，矩阵P’表示第2图像的照相机投影参数。

在执行了图4的步骤S16之后，图5A的显示控制部160控制图1B的显示部104，使得显示部104显示对象物的三维图像(步骤S17)。接着，输出控制部171控制图2B的USB控制部128，使得向通过图1C的USB端子连接部107连接的计算机输出表示三维图像的电子文件(步骤S18)。接着，三维图像保存部172向图2的闪存122保存三维图像(步骤S19)。然后，数码相机100结束三维图像生成处理的执行。

此外，在本实施例中，说明了实际移动量计算部162从表示了摄影对象即人物(对象物)的面部的图像部分中获取特征点。但是，实际移动量计算部162也可以从使焦点对焦后的图像区域(即，距图像的中心部有规定距离的图像区域)中获取特征点。根据该构成，由于与其他区域相比，使焦点对焦后的图像区域更鲜明地表现了对象物，因此能够高精度地对应特征点。

另外，数码相机100也可在图1B的显示部104上具备触摸板，实际移动量计算部162从用户操作触摸板而指定的图像区域中获取特征点。

此外，显然能够提供预先具备了用于实现本发明功能的构成的数码相机，通过程序应用，也能使已知的数码相机起到本发明的数码相机的作用。即，将用于实现在上述实施方式中例示的数码相机100的各功能结构的控制程序应用成控制已知数码相机的计算机(CPU等)可执行的程序，从而起到本发明的数码相机100的作用。

这种程序的分配方法是任意的，例如除了将其保存到存储卡、CD-ROM或DVD-ROM等记录介质中而分配之外，也能经由因特网等通信介质进行分配。

以上对本发明的优选实施例进行了详细叙述，但是本发明并不限于所涉及的特定的实施例，在权利要求书记载的本发明宗旨的范围内，可进行各种变形、变更。

Claims (2)

1.一种摄影装置，其特征在于，具备：

摄影部件，其拍摄对象物；

焦点距离检测部件，其检测从所述摄影部件的主点到对焦于所述对象物的焦点为止的焦点距离；

图像获取部件，其获取通过使焦点对焦于所述对象物的所述摄影部件拍摄到的第1图像、和在与所述第1图像的拍摄位置不同的位置通过所述摄影部件拍摄到的第2图像；

图像位置检测部件，其检测表示所述图像获取部件获取到的所述第1图像中的所述对象物上的点的位置的第1图像位置、和表示所述第2图像中的所述对象物上的所述点的位置的第2图像位置；

三维图像生成部件，其基于所述图像位置检测部件检测出的所述第1图像位置和所述第2图像位置之间的差异，生成所述对象物的三维图像；

平行度计算部件，(i)基于所述图像位置检测部件检测出的所述第1图像位置及所述第2图像位置、和所述焦点距离检测部件检测出的所述焦点距离，计算拍摄所述第1图像时的所述摄影部件的光轴与拍摄所述第2图像时的所述摄影部件的光轴之间的第1平行度，以及计算(ii)投影到所述摄影部件的投影面上的所述第1图像的扫描方向与投影到所述摄影部件的所述投影面上的所述第2图像的扫描方向之间的第2平行度；

显示部件，其显示根据所述平行度计算部件计算出的所述第1平行度和所述第2平行度而旋转的球体；以及

平行判定部件，其基于所述平行度计算部件计算出的所述第1平行度和所述第2平行度，判定拍摄所述第1图像时的所述摄影部件和拍摄所述第2图像时的所述摄影部件的配置是否是平行立体，

在通过所述平行判定部件判定出所述配置是平行立体的情况下，所述三维图像生成部件生成所述对象物的所述三维图像。

2.一种摄影装置的控制方法，所述摄影装置具备拍摄对象物的摄影部件及显示部件，该摄影装置的控制方法的特征在于，包括：

检测从拍摄对象物的摄影部件的主点到对焦于所述对象物的焦点为止的焦点距离的焦点距离检测步骤；

获取通过使焦点对焦于所述对象物的所述摄影部件拍摄到的第1图像、和在与所述第1图像的拍摄位置不同的位置通过所述摄影部件拍摄到的第2图像的图像获取步骤；

检测表示由所述图像获取步骤获取到的所述第1图像中的所述对象物上的点的位置的第1图像位置、和表示所述第2图像中所述对象物上的的所述点的位置的第2图像位置的图像位置检测步骤；

基于由所述图像位置检测步骤检测出的所述第1图像位置和所述第2图像位置之间的差异，生成所述对象物的三维图像的三维图像生成步骤；

(i)基于由所述图像位置检测步骤检测出的所述第1图像位置及所述第2图像位置、以及由所述焦点距离检测步骤检测出的所述焦点距离，计算拍摄所述第1图像时的所述摄影部件的光轴与拍摄所述第2图像时的所述摄影部件的光轴之间的第1平行度，以及计算(ii)投影到所述摄影部件的投影面上的所述第1图像的扫描方向与投影到所述摄影部件的所述投影面上的所述第2图像的扫描方向之间的第2平行度的平行度计算步骤；

按照显示根据由所述平行度计算步骤计算出的所述第1平行度和所述第2平行度而旋转的球体的方式控制所述显示部件的显示控制步骤；以及

基于在所述平行度计算步骤中计算出的所述第1平行度和所述第2平行度，判定拍摄所述第1图像时的所述摄影部件和拍摄所述第2图像时的所述摄影部件的配置是否是平行立体的平行判定步骤，

在所述三维图像生成步骤中，当在所述平行判定步骤中判定出所述配置是平行立体的情况下，生成所述对象物的所述三维图像。