CN102790852B - 图像合成显示装置、图像合成显示方法及摄影设备 - Google Patents

Abstract

本发明目的在于提供一种图像合成显示装置、图像合成显示方法及摄影设备，在拿着摄影设备，一边移动一边进行拍摄的场景下，不单纯记录摄影者的样子，还能够容易地表现摄影者移动过来的样子或从远离的位置起进行拍摄的样子。在多次进行与移动方向相反的方向的摄影的摄影设备（10）中，具有：摄像部（5），其依次进行上述多次摄影；以及能否合成判定部（1f），其判定能否用缩小部（1c）将上述多次摄影结果中的之前拍摄的图像进行缩小，并合成到之后拍摄的图像中。

Description

图像合成显示装置、图像合成显示方法及摄影设备

技术领域

本发明涉及图像合成显示装置、图像合成显示方法及摄影设备，具体而言，涉及用幻灯片或动态图像对用数字照相机或摄像机等摄影装置拍摄的动态图像或连拍的数字图像进行再现显示的图像合成显示装置、图像合成显示方法及摄影设备。

背景技术

近年来，数字图像的摄影和图像处理的技术提高，数字照相机和摄像机的边界消失，处理大量的图像变得容易。此外，以往，作为单纯进行拍摄的道具的照相机等摄影装置对图像信号进行数字化，个人计算机与以电视机为代表的多个设备之间的数据收发变得简单。

在假定以这样的各种再现设备进行再现的状态时，要求适合各个再现设备的有效的再现，但是以往的设备普遍的是对拍摄的图像直接进行再现。因此，往往会变成单调的图像，且不一定适合在较多的鉴赏者面前利用电视等再现装置进行再现。结果，具有在将图像放入到摄影装置内的状态下无法鉴赏摄影图像的状况。

【专利文献1】日本特开2004-147046

因此，具有在鉴赏时要利用各种辅助信息丰富地表现图像的提案。在日本特开2004-147046中，能够用第一照相机拍摄自身的面部，并且用第二照相机拍摄自身看到的风景，对两者同时进行拍摄。此外，还具有对用第一照相机和第二照相机拍摄到的各个图像进行合成的提案。

但是，根据上述专利文献，用第一照相机拍摄到的摄影者自身的图像仅单纯地显现出拿着照相机的自身，缺乏变化和现场感。

发明内容

本发明正是鉴于这种情况而完成的，目的在于提供一种图像合成显示装置、图像合成显示方法及摄影设备，在拿着摄影设备，一边移动一边进行拍摄的场景下，不单纯记录摄影者的样子，还能够容易地表现摄影者移动过来的样子和从远离的位置开始进行拍摄的样子。

为了达到上述目的，第1方面的图像合成显示装置，其特征在于，具有：能否合成判定部，其进行能否合成判定，在能否合成判定中，判定能否将依次多次进行与摄影者的移动方向相反的方向的摄影而得到的多个图像中的作为之前拍摄的图像的第1图像缩小，来合成到作为之后拍摄的图像的第2图像上；以及图像合成部，其进行将对所述第1图像进行缩小而得到的缩小图像重叠到所述第2图像的一部分上来生成合成图像的合成图像生成。

为了达到上述目的，第2方面的图像合成显示装置的特征在于，所述能否合成判定部和所述图像合成部能够将所述合成图像设为所述第1图像，将在所述第2图像后拍摄的图像设为所述第2图像，来重复执行所述能否合成判定和所述合成图像生成。

为了达到上述目的，在第3发明的图像合成显示装置，其特征在于，所述能否合成判定部将所述缩小图像的周边部与所述第2图像的除了所述一部分之外的背景部进行比较，通过判定所述缩小图像的周边部与所述第2图像的背景部是否具有连续性来判定能否合成。

为了达到上述目的，第4方面的图像合成显示装置，其特征在于，所述图像合成部使所述缩小图像的周边部与所述第2图像的背景部在图像合成的边界部处的跨越该边界的方向的阴影的交界线连续地相连，来合成所述缩小图像和所述第2图像。

为了达到上述目的，第5方面的图像合成显示装置，其特征在于，所述第2图像的所述一部分是拍入了摄影者的面部的部分。

为了达到上述目的，第6方面的图像合成显示装置，其特征在于，所述第2图像的所述一部分是所述第2图像的中央部。

为了达到上述目的，第7方面的图像合成显示装置，其特征在于，该图像合成显示装置具有依次多次进行与摄影者的移动方向相反的方向的摄影的摄像设备。

为了达到上述目的，第8方面的图像合成显示装置，其特征在于，所述图像合成显示装置具有：面部检测部，其对上述摄像设备所取得的摄影画面内的面部位置进行检测；以及警告部，其依照上述面部检测部的检测结果进行警告，以将上述摄影设备摆放到合适位置。

为了达到上述目的，第9方面的图像合成显示装置，其特征在于，上述警告部依照在进行上述移动时进行的摄影的间隔，决定上述摄影设备的合适位置。

为了达到上述目的，第10方面的图像合成显示装置，其特征在于，上述警告部依照上述缩小图像决定上述摄影设备的合适位置。

为了达到上述目的，第11方面的图像合成显示装置，其特征在于，该图像合成显示装置具有对施加到所述摄影设备的振动进行检测的加速度传感器，并根据所述加速度传感器的检测结果决定在进行上述移动时进行的摄影的间隔。

为了达到上述目的，第12方面的图像合成显示装置，其特征在于，采用前进由摄影者的面部宽度、从所述摄影设备到所述面部的距离、和所述摄影设备的视场角得到的距离为止的图像用于合成。

为了达到上述目的，第13方面的图像合成显示装置，其特征在于，在设摄影者的面部宽度为Wf、从所述摄影设备到上述面部的距离为D1、所述摄影设备的视场角的一半角度为Θ时，采用前进根据在下述式中得到的D2而得到的D3时的图像用于合成，

(D3＝D2－D1)

W1＝2·D1·tanΘ  (式1)

R＝Wf/(2·D1·tanΘ)  (式2)

W1＝2·D2·tanΘ  (式3)

W1/W2＝D1/D2  (式4)。

为了达到上述目的，第14方面的图像合成显示方法，其特征在于，判定能否将依次多次进行与摄影者的移动方向相反的方向的摄影而得到的多个图像中的作为之前拍摄的图像的第1图像缩小，合成到作为之后拍摄的图像的第2图像上，将对所述第1图像进行缩小后得到的缩小图像重叠到所述第2图像的一部分上来生成合成图像。

为了达到上述目的，第15方面的摄影设备，其特征在于，具有：摄像部，其以能够进行将第1摄影图像缩小得到的缩小图像重叠合成到第2摄影图像的一部分上来生成合成图像的合成图像生成的方式，依次多次进行与摄影者的移动方向相反的方向的摄影；能否合成判定部，其进行能否合成判定，在能否合成判定中，判定能否将进行上述多次拍摄得到的多个图像中，作为之前拍摄的图像的上述第1图像与作为之后拍摄的图像的上述第2图像合成。

为了达到上述目的，第16方面的摄影设备，其特征在于，该能否合成判定不限于基于图像的合成判断，也可以根据摄影图像的变化来进行判定，还可以根据摄影者是否运动了预定量来进行判断。

根据本发明，能够提供一种在背面摄影中可容易地带有变化地表现移动过来的样子等的图像合成显示装置、图像合成显示方法及摄影装置。

附图说明

图1是示出本发明的摄影设备的结构的框图。

图2示出本发明的摄影设备的外观图，(a)是从正面观察到的外观立体图，(b)是从背面观察到的外观立体图。

图3是示出本发明的摄影方法的图。

图4是示出了用本发明的摄影设备的背面摄影部得到的连续图像的图。

图5是对用本发明的摄影设备的背面摄影部得到的连续图像进行加工时的说明图。

图6是用于与摄影视场角一起说明本发明的摄影设备与摄影者的位置关系的图。

图7是用于说明一边拿着本发明的摄影设备移动一边进行拍摄时的摄影范围的变化的图。

图8是本发明的摄影设备在背面摄影时执行的流程图的例子。

图9是示出了本发明的摄影设备在背面摄影时执行的流程的子例程的流程图的例子。

图10是示出了本发明的显示设备在合成显示时执行的子例程的流程图的例子。

标号说明

1：信号处理&控制部；1a：面部检测部；1b：警告部；1c：图像缩小部；1d：临时记录部；1e：合成部；1f：合成判定部；2：摄像部；3：加速度传感器；4：记录部；5：背面摄影部；6：操作部；8：显示部；10：摄影设备；11：摄影者。

具体实施方式

以下，依照附图使用应用了本发明的照相机对优选实施方式进行说明。本发明的照相机为了取得摄影者的图像而具有可拍摄照相机后方的摄像部，根据释放按钮等的操作开始上述摄影的图像数据取得，并将该图像数据临时记录到记录介质中。摄影者的面部处于该临时记录的摄影图像的中央部，能够判定可否与前后的图像的背景部进行合成。上述摄影者能够利用该背景部的合成得到宛如摄影者在背景图像中移动那样的图像。

图1是示出本发明的第1实施方式的摄影设备的结构的框图，摄影设备10是拍摄被摄体并取得图像的数字照相机。摄影设备10除了正面摄像部2以外，还具有进行背面摄影的背面摄像部5、摄影图像的记录部4、和对摄影图像等进行显示的显示部8。此外，为了对所拍摄的图像数据进行分类，或决定摄影时的条件，具备对施加到照相机的加速度进行检测的加速度传感器，并具备时钟7以用于取得日期、时刻的信息。此外，由摄像部2、5得到的图像信号能够由执行处理序列的控制部1内的信号处理部进行图像处理，并进行显示、记录。作为该信号处理，有面部检测部1a、缩小部1c、临时记录部1d、合成部1e、能否合成判定部(合成判定部)1f等。此外，警告部1b构成在控制部内，根据需要在显示部8等上进行警告显示等，对摄影者进行警告。

假定摄像部2和背面摄像部5由摄影镜头和摄像元件构成，将被摄体像转换为电信号，并由信号处理部进行处理而成为图像数据。假定将摄像部2配置在摄影设备10的主体前面，将背面摄像部5配置在与其相反的背面。当然，为了一个摄像部能够选择性地拍摄前方或后方，也可以具有以轴为中心沿水平方向、或与其垂直地转动等的机械结构，不对前面、背面等特定的摄像部配置位置进行限定。即，也可以不准备两个摄像部，而将一个摄像部设置成能够转动以使摄像部选择性地朝向摄影设备10的主体的前方或后方。此时，在摄像部朝向前方时主要能够拍摄被摄体，朝向后方时主要能够拍摄摄影者的面部。另外，背面的摄像部5的摄影镜头在视场角较窄时仅能够拍摄摄影中的人物的一部分，因此为了能够拍摄背景部进入较多的图像，优选使为视场角较广。此外，也可以利用鱼眼镜头那样的超广角镜头，并应用到可拍摄前后两方的照相机。此时，如果仅裁剪出摄影者的方向的图像进行利用，则能够得到同样的效果。背景的直线的变形等能够用图像处理进行修正。如果是可同时拍摄前后的结构，则在某个时候进行前方的摄影，仅在必要时采用后方的图像等，利用画面切换对图像施加变化。此时，像本发明那样，通过根据需要利用摄影者从远处走过来那样的表现，能够进一步表现富于变化的图像。尤其是，利用动态图像表现来施加变化的方法在将视频进行作品化时非常有效。

此外，在具有两个摄像部的照相机中，本发明不是利用观察被摄体侧的照相机，而是利用拍摄摄影者侧的照相机，但是该照相机由于摄影者一边观察设置于背面的显示器一边进行拍摄，因此对两个摄像部进行区别。此外，如果拍摄摄影者用手握持的样子，则将该侧判定为摄影者侧。此外，可以验证画面中央的面部来判定摄影者侧照相机，也可以检测移动时的加速度，依照该方向判定是否为摄影者侧，也可以检测背景变化判定是否为摄影者侧。即，还考虑在面部图像不怎么变化，其周围的图像(背景图像)连续不断地远离的情况下，判定为是应用本发明的摄影者侧图像、或摄影者侧摄像部的方法，无论采用这些中的哪个技术，本发明都成立。

具有信号处理部的控制部1依照所存储的程序进行摄影设备10的整体控制，并且将对从摄像部2、5输出的图像信号进行处理而得到的图像数据记录到存储卡等记录部4中。面部检测部1a输入来自摄像部2、5的摄影图像，判定在该摄影图像中是否存在人物的面部，在存在人物面部的情况下，检测其位置和面部的大小。

操作部6是设置于摄影设备10上的释放按钮6a、变焦按钮等操作部件。用户能够用十字键或触摸面板等进行各种模式设定。

如图2(a)所示，释放按钮6a配置于摄影设备10的主体上表面，当操作了释放按钮6a时，摄影设备10开始摄影，在动态图像或连拍模式的情况下，当再次操作释放按钮时，停止摄影。

如图2(b)所示，显示部8包含配置于摄影设备10的背面等的液晶监视器、有机EL等显示装置，进行来自摄像部的图像和记录在记录部4中的图像的再现显示、或警告消息的显示。

图像处理部7调整由摄像部2、5取得的图像信号的亮度、灰度或颜色等，压缩成容易记录，处理成预定的格式并记录到记录部4中。

在这种图像处理中，还包含变更图像的尺寸(尺寸调整)那样的处理，缩小处理在本发明中比较重要，因此这里在图中特别记载了缩小部1c。

此外，图像信号可以在实际进行记录之前临时记录在临时记录部1d中，为了能够成为多个图像并进行记录、显示，图像合成部1e和合成判定部1f也作为信号处理的一环，内置在具有信号处理部的控制部1中。

面部检测部1a依照根据人物的面部器官得到的图像特征，检测图像所包含的人物的面部图像，考虑该检测结果等进行合成和警告。另外，合成判定部1f在判定是否顺利进行合成的情况下也根据需要进行警告。

由该图像合成部7生成的合成图像显示在显示部8上，但是在从记录部4读出并利用拍摄后的图像来进行合成显示的情况下，也能够利用本发明作为显示设备的发明。

接着，对本实施方式中的动作进行说明，但是首先使用图3对作为本发明的特征的拍摄背面合成图像时的方法进行说明。在使用该摄影设备10时，如图3那样摆放摄影设备10，在摄影者用照相机背面的显示部确认摄影状况的同时，摄影者11一边步行一边进行拍摄时，摄影者能够在拍摄前方可看到的被摄体的同时，还记录自身的面部和背景。

在这样定期拍摄或以动态图像进行拍摄时，正面摄影部2的前方摄影所得到的图像伴随移动而变化，但是摄影者1与摄影设备10的位置关系由摆放照相机的状态决定，由此由背面摄像部5得到的图像基本不发生变化。

即，如果如图3那样，在摄影者一边保持摄影设备一边步行时定期进行背面的摄影，则得到图4(a)至(e)所示的图像。由于摆放的位置和面部的距离不会发生较大变化，因此摄影者的图像被以大致相同的大小拍摄，与此相对，背景则以逐渐朝后方过去的方式变化。

通过如图5那样对这种图像进行合成，能够将摄影者的图像变成如在比实际的摄影图像更远处拍摄那样的表现的图像。即，在图5(b)的图像之前拍摄的图像、即图5(a)的背景部分如图所示，是(b)的图像的一部分，因此决定缩小率以便在图5(b)的图像的相当的部分嵌入图5(a)的图像，在将图5(a)的图像缩小后进行嵌入，从而能够如图5(c)所示那样表现为与背景没有接缝的一个图像。该图像的人物部与其上方的图像部(参照图5(d))尽管是摄影者自身拍摄的图像，但是看起来宛如是从远离摄影者的位置的较远处拍摄的图像那样。这与从进行了图5(b)的摄影的位置拍摄处于图5(a)的位置的人物那样的表现等同。

为了能够进行这种合成，优选图5(a)的图像变为遮盖图5(b)的图像的人物部的头部的图像。如果不这样，则图5(b)图像的头部从图5(c)的图像的合成部超出而变得不自然。

因此，在本发明中，为了防止这种合成时的不自然，对(a)和(b)的图像的摄影间隔进行了适当控制。

由此，通过具有这种合成功能，该摄影设备不仅能够对前方图像施加变化，而且能够对后方的图像施加变化来进行图像再现，因此例如在动态图像摄影后，能够适当切换前后的图像，能用不令人厌烦的图像表现让鉴赏者欣赏。能够以在风景中人物逐渐靠近的方式用幻灯片或动态图像进行再现。能够通过采用这种表现形式，对图像施加变化来愉悦地进行欣赏。

例如，在显示了图5(d)的图像后，当显示图5(a)的图像时，能够进行摄影者从远处靠近过来那样的表现。即，只要停止缩小合成后的图像的合成即可。

此处，只合成了两张，但是如果将(d)的图像缩小，合成到图4(c)中，则能够进行摄影者处于更远处那样的表现。如果将这些合成重叠，从最大程度缩小的图像开始依次停止进行合成，则摄影者不断地靠近。并且，当然如果更细致地进行该合成则能够进行动态图像的表现。

接着，为了处理该合成显示时的不自然，对在摄影时应该注意的方面进行说明。

图6是表现为从上方观察摄影设备10与摄影者的面部11的位置关系。由该图可知，例如摄影设备10的视场角的一半角度为Θ，在摄影设备10到面部11的距离为D1时，面部的宽度为Wf的情况下，画面的宽度W1如式1那样表现，因此面部在其中所占的比率R如式2那样表现。

W1＝2·D1·tanΘ  (式1)

R＝Wf/(2·D1·tanΘ)  (式2)

例如，Θ为45°，在设从摆放设备时的手的位置起D1为45cm、面部的宽度为15cm时，式2的结果为1/6。但是，一般而言，画面的纵向比此处示出的横向短，相反面部的纵向高度比宽度方向长，因此面部占画面内纵向的近1/3。因此，在这种条件的情况下，图5(a)优选用图5(b)的1/3左右进行合成。

但是，重要的是这种条件还根据决定视场角的一半角度Θ的摄影镜头的焦距等而变化。即，在焦距较短的情况下，该Θ变大，由此面部所占比例R变小，因此背景的部分增加，从而容易进行连接图5所示那样的将背景连接的合成。

此外，如前所述，在该摄影设备10的视场角的一半角度为Θ的情况下，当朝图7的箭头12的方向移动时，则在最开始在位置P1处进行摄影时，如果考虑21的平面，则W1的范围被拍摄，这用前述的式1来表示。

在照相机前进D3来到P2的位置时，如果视场角相同，则关于拍摄的范围，根据到平面21的距离D2，拍摄由式3示出的W2的范围。W1包含在W2中，而根据式1、式2，其比率W1/W2如式4所示。

W2＝2·D2·tanΘ  (式3)

W1/W2＝D1/D2  (式4)

即，在图6所说明的那样的条件的情况下，D1/D2优选为1/3，在D1如前所述那样设为45cm时，D2为45cm×3＝135cm。

因此，如果远离D2以上进行拍摄，则在将图5(a)重叠到图5(b)进行合成时，缩小率过大，从而不能遮盖图5(b)的面部。由此，在这种图像合成中，需要注意面部的位置和大小。

在设D2为135cm时，相当于成人步幅的2步，因此也可以根据加速度传感器3的输出，如计步器那样检测施加到照相机的振动，设法以每2步拍摄一次那样的定时进行连拍。当然，如果Θ较大，则根据式2，面部在画面内所占的比例变小，因此也可以以更粗的定时进行连拍。例如，在焦距为一半、视场角翻倍时，R为1/6，式4的W1/W2为1/6，D2为45cm×6＝270cm。

例如在能够变更背面的摄像部的视场角的系统的情况下，可以进行这样的切换，作为发明也包含这种切换，但是此处进行简单化，以Θ为45°的情况继续说明。

将使用如以上所说明那样的背面摄影部进行图5那样的图像合成处理的摄影设备在背面摄影时执行的流程图示出为图8。此处，特别将伴随这种合成的摄影称作“背面合成摄影”进行说明。实际上，还同时进行正面的摄影，在某个时刻在再现显示中利用正面的摄影结果、在某个时刻在再现显示中利用背面的摄影结果，使图像的变化丰富，但是此处进行简单化，收窄到利用背面摄影部的摄影来进行说明。用户在进行图3那样的摄影时，利用摄影设备的模式设定，选择“背面合成摄影模式”且已经利用释放SW(图2的6a)的按下等开始摄影操作。利用多张背面图像进行图5(c)那样的合成，因此为了管理该多个图像，在S101的步骤中对变量N进行初始化(0)。在摄影操作由于释放SW(图2的6a)的按下等的结束而结束时，S102分支到Y进到S109，但是首先，作为摄影中，进行作为将S102分支到N的S103的说明。

在S103中，执行将在后面说明的背面合成候选图像生成的子例程。此处，连续取得图像，图1的1f的合成判定部判定所取得的图像中的适合于合成显示的图像(合成候选图像)，并作为Im临时记录到临时记录部(图1的1d)中。

由于单独的话不知道由此得到的背面的合成候选图像是否适合于合成，因此首先在S104中判定是否能够得到作为基本的最初的一张。如果不能取得最初的一张，则不能进行与下一个图像的比较，因此分支到N，等待在S103中得到候选图像。

在得到最初的候选图像后，将S104分支到Y，在S105中，将图5(a)的图像缩小为收敛到图5(b)的虚线部(利用图1的缩小部1c)，并与下一个图像的背景部进行比较。此处，假设将缩小的比例设为1/3。

该比例是利用在图9的S114中说明的条件决定的，由视场角决定、在连拍时由接下来要拍摄的图像或该照相机的运算能力和耗电等的平衡决定。在频繁取得图像或频繁进行合成时，在记录容量和耗电中产生浪费和不合理，因此此处图示为尽量用较少的摄影进行相连的例子。如果利用在图6、7中说明的数值，则将缩小为1/3的图像重叠来生成合成图像是合理的设计。该设计为每前进2步拍摄一张的步调，但是如果能够进一步实现高速的处理电路和节能设计，则也可以增加合成张数。如果增加拍摄张数并增加合成张数，则能够接近动态图像那样的表现。在视场角广的情况下，能够进行减少拍摄张数的合成。

如图5(b)那样，将之前的图像缩小的结果是，根据摄影者的头顶上的图像的对比度或边缘是否一致来判定是否以将面部遮盖到下一个图像的面部的部分上的形式按照将背景相连的方式进行了合成(利用合成判定部1f)。此处，为了简单仅图示了天花板的角部的线、和窗户部分的轮廓，但是实际上在天花板或墙壁上存在花纹、阴影、板(板壁)的接缝或污垢等的像图案，能够利用这些的相似性和连续性等。

具体而言，为了成为用图4(a)的画面遮盖图4(b)的面部部分那样的合成，判定图4(b)的图像中的面部，判定该图像的除了面部以外的面部的上部、左右部的背景部的图案，缩小图4(a)的图像，以保证该缩小画面的周边部的图案的连续性的形式，按照遮盖图4(b)的面部的方式进行合成即可。

在图3那样的摄影方法的情况下，面部与照相机的距离大致一定，因此如果视场角不变化，则面部的大小占据画面内的怎样的位置是已定的，因此如果面部的大小例如为画面内左右宽度的1/3、上下高度的1/3，则将画面的左边1/3、右边1/3、上边1/3设为背景(根据视场角可变为其他的值)，将合成用的缩小图像与该部分自然相连而吻合。“自然”是假定了大体保证直线图案的直线性、或阴影的交界线连续且没有破绽地相连的状态。

该合成判定部是控制部1的程序执行的功能，但也可以利用硬件来设计。以面部为基准，在面部的上部(头顶上)通常拍摄了天花板或风景的一部分，因此在拿着照相机大致沿着其光轴方向移动时，其背景部分变化。摄影范围如图7所示那样相对于其位置变化和移动而变化，因此能够利用缩小等处理来进行多个图像的合成。但是，在面部的部分或面部的下方存在身体，这些部分不会发生变化，因此在缩小时，从图5(c)可知不能很好地进行连续的合成。由此在用本发明的考虑方法合成多个图像的情况下，对于面部的下部，用之前拍摄的图像的缩小图像遮盖之后拍摄的图像那样的合成困难且不能有效地灵活运用，因此面部图像最好从中央尽量向下方。但是，在处于很下方时，缺少下巴等而变得不自然，因此以面部大致处于面部中央为前提继续说明。

因此，在S105中，对没有人物的一部分的图像的背景(或周边)部分(此处为画面上半部分)进行比较，在S106中判断该部分是否一致。具体而言，将画面内的面部的左右和上方部分设为背景，判定为了合成用而拍摄的(人物向前步行的情况)缩小图像的周边部(外侧)是否能够与该背景图像部分的内侧自然相连地合成。“自然”是指假定了如下状态：大体保证背景、或周边被摄体中的直线图案的直线性，或图像合成的边界部的跨越该边界的方向的阴影的交界线连续且没有破绽地相连。合成判定部(图1的1f)进行这种判定。在一致的情况下，将在S105中进行了比较的这些图像作为能够用作合成用图像，并使变量N递增(S107)，将候选图像Im设为记录图像Im(N)。

图1的合成判定部1f重复这种图像判定，通过将缩小图像的周边部分和接下来得到的图像的背景部进行比较，判定得到了一边移动一边拍摄的、且能够进行合成的图像，直到摄影操作结束(S102→Y)。

即，本发明的特征在于，在多次进行移动方向的相反方向的摄影的摄影设备中，背面摄像部依次进行多次摄影，并进行判定能否将之前拍摄的图像缩小来合成到之后拍摄的图像中的能否合成判定。

当然，将该缩小图像与下一个图像的预定部分进行比较，并判定是否能够合成的方法除了摄影设备以外，例如还能够应用于显示设备。此处，对画面的背景部和缩小图像的连续性(合成判定部1f根据边缘的方向、对比度变化部分以及颜色的分布等在图像的接缝处是否连续进行判定)进行了比较，但是在手持摄影中，摄影者不一定笔直前进并且将照相机摆放到相同位置，因此在S105中进行比较的图像部分不必严格地处于中央，而可以在上下左右偏离画面的20％左右。当然，如果视场角变广，则该值的余量变大。

在S109中，临时记录的图像转移到记录部4进行正式记录。此时，为了管理各图像的前后关系，还与各图像关联记录进行拍摄的日期、时刻和表示是否正确摆放并移动了照相机的加速度信息等(S110)。

例如，如果加速度传感器为三轴，则照相机的上下方若正确摆放，则重力加速度只与该上下方向相关，在步行的情况下，加速度与光轴方向周期性相关等而发生变化，因此能够根据这种信息进行背面合成用的摄影，并记录是否是适合于合成的图像。当然，也可以与各图像对应记录变量N。能够利用这种信息正确合成多个图像，并用图5那样的合成变更人物的距离感。

另外，图5(d)那样的图像进一步被缩小并合成到下一图像上。即，如果将N小的图像缩小并合成到N大的图像上，则尽管是手持摄影，也能够得到如从远处拍摄摄影者那样的图像，该远近能够根据合成次数而变更。

接着，使用图9的流程图对图8的S103的子例程进行说明。

这如前所述，是用于一边判定用背面摄像部5重复拍摄的结果是否适合于用作合成图像，一边对图像进行候选图像化并进行临时记录的程序。

在S111中，开始连续摄影，在S112中，判定在S111中得到的图像中是否不存在由面部器官而产生的特有阴影，来进行面部检测。

在画面中心或画面下部没有该面部位置时，如之前在图8的S105中说明的那样，不能很好地进行作为本发明的特征的利用重叠的图像合成，因此在S113中进行该主旨的判定。重要的是清晰拍摄了摄影者上部的背景。在不满足该条件时，控制部1判定出该情况，并经由警告部1b，利用显示图像或声音进行警告(S121)。具体而言，可以显示“请摆放好照相机以使摄影者的面部处于画面中央”那样的文字，或者将所得到的图像与框一起显示，指示使面部进入框内。

由此，在面部处于画面中央时，为了确保在摄影者的上方摄入背景的空间，判定面部大小是否为画面的纵向尺寸的1/3以下(S114)。

当然，该比例能够根据摄影者的手的长度和面部的尺寸等进行调整。并且，在连拍时立即得到接下来拍摄的图像的情况下，也可以增大面部的大小。之所以这样，是因为将之前的图像缩小并重叠到该画面内的面部的部分，因此在对背景变化较小的图像进行合成的情况下容易将背景相连。但是，在非常频繁地取得图像或进行合成时，在记录容量和电耗上产生浪费和不合理，因此此处图示为尽量用较少的摄影进行相连的例子。如果利用在图6、7中说明的数值，则能够用每前进2步拍摄一张的步调进行合理的摄影和合成。当然，如果能够进一步实现高速的处理电路和节能设计，则也可以增加合成张数。

如果增加拍摄张数并增加合成张数，则接近动态图像那样的表现。

此外，能够根据背面摄像部的视场角等进行变更。在视场角较广时背景的拍摄范围变广，因此能够进一步减少合成张数。此时，以幻灯片形式来表现人物正在靠近。

由此，在不满足该条件时，控制部1判定出该情况，并经由警告部1b利用显示图像或声音进行警告(S122)。具体而言，可以显示“请摆放好照相机以使摄影者的面部尺寸适当”那样的文字，或者将所得到的图像与画面的1/3尺寸的框一起显示，并指示使面部进入框内。

在即使给出这些警告，也不满足例如1分钟以上条件的情况下，在S123中合成判定部1f判定出该情况，分支到S124使警告部1b给出不可合成的警告。

由此，将满足了S113、S114的条件的图像设为候选图像，但是根据是否为最初的图像来对S115进行分支，进行临时记录时的分类。最初的图像作为基准，因此对其另外处理，在S117中设为Im(0)。另外，在图8的流程中进行取舍选择，在S109中仅记录所选择的图像，因此在S116中临时记录为Im。

在S118中，如前所述，还写入了摄影时刻信息、表示照相机的姿势和行进方向等的加速度信息等。如果是带这种信息的图像，则也可以用照相机进行这种多个图像的摄影，PC或TV等显示设备依照从照相机发送来而得到的多个图像，进行在图5中说明的那样的图像加工，并对显示施加变化。当然，照相机的显示部在图像再现时也可以进行这种合成显示。

即，包含照相机的显示部在内的PC、TV或移动电话等的显示设备也可以利用移动方向的相反方向的在多个定时拍摄的摄影图像，进行作为本发明的特征的判定，即判定能否将之前拍摄的图像缩小，并合成到之后拍摄的图像上。能够利用该能否合成判定，决定能否对单纯的连续摄影图像施加变化来进行再现。

用图10的流程图说明这种显示控制的例子。

在S131中，是选择要进行再现显示的图像的步骤。该步骤可以手动从缩略图像选择特定图像，也可以在对其他图像(例如由正面的摄像部2拍摄的图像)进行再现时，附带选择对应的背面图像。

能够根据附加到各图像的在图8的S110中附加的辅助信息(时刻、加速度信息和变量N等)判断在S132和S133中判定的，在紧挨图像的之前、之后是否存在图像，以及是否为移动摄影。

在存在这种图像的情况下，在S134中将前一个图像(与图4、图5的(a)对应)缩小，并将其上部周边部的图案重叠到后一个图像(与图4、图5的(b)对应)并调整一致度，如果是连续的，则能够在重叠的状态下进行合成。由此能够得到图5(c)的图像。其中，如果删除在画面下方不一致的部分，则能够得到图5(d)那样的图像，尽管是手持摄影，也能够得到如从远处拍摄那样的表现的图像。如果停止该合成，则能够得到逐渐靠近过来那样的连续图像。

如前所述，此处，S134的缩小将缩小比例假定设为1/3。

该比例是由在图9的S114中说明的条件决定的，由视场角、在连拍时由接下来要拍摄的图像或该照相机的运算能力和电耗等的平衡决定。在频繁取得图像或频繁进行合成时，在记录容量和电耗中产生浪费和不合理，因此此处图示为尽量用较少的摄影进行相连的例子。如果利用在图6、7中说明的数值，则将缩小为1/3的图像重叠来生成合成图像是合理的设计。该设计为每前进2步拍摄一张的步调，但是如果能够进一步实现高速的处理电路和节能设计，则也可以增加合成张数。如果增加拍摄张数并增加合成张数，则能够接近动态图像那样的表现。在视场角广的情况下，能够进行减少拍摄张数的合成。

另外，在本实施方式中，前方摄影部2和后方摄影部5一体地设置于摄影设备10，但是不限于此，也可以准备2台具有一个摄影部的照相机，使该2台照相机协作。此时，构成为将第1照相机的摄影部用作前方摄影部2，将第2照相机的摄影部用作后方摄影部5，一个照相机的控制部(控制部1)对另一个照相机的摄影部进行控制。此时的控制通信可以是有线的也可以是无线的。

作为本发明的特征的合成图像基本上能够利用缩小图像、和要合成该缩小图像的合成候选图像这两个图像的部分重叠的图像并进行相连来得到。至于该图像的重叠的部分，用图像的相似度判定这两个图像的一部分能够一致地重叠的部分，并利用一致度高的部分进行相连。或者，将重叠的部分作为粘贴接缝来得到连续的合成图像。

另外，此时，还存在即使不完全连续地相连，如果是能欣赏的图像则也可以的情况。尤其是在用动态图像来表现的情况下，快速切换画面，因此有时不会注意到接缝。有时亮度和色彩由于曝光量的变化等而变化，但是在这种情况下，可以校正颜色和亮度来判定一致度，如果对图案进行二值化且一致度为预定的等级以上，则也可以判断为大体一致，或判断为合成结果大体连续。

作为发现并合成接缝的方法，可以依次缩小用于进行缩小合成的图像，在其每次缩小时，判定画面端部的合成候选部与合成候选图像的一部分(该部分成为与画面内的上述缩小图像的周边部的形状一致、或者对应的形状的部分)的一致程度，在得到一致度最高的缩小图像时进行合成。并且，即使不依次进行缩小，也可以根据图像的时效变化和用户的速度等判定图像的缩小率，判定合成用缩小图像的周边部与合成候选图像的画面背景部的一致度和合成时的连续度高的部分并进行合成。连续度用直线性、画面整体的阴影以及色调的自然性和平滑性等进行判定。

在连续摄影的间隔较短、且能够用于合成的图像数较多的情况下，可以在缩小图像的周边部依次进行补上合成候选图像的周边部那样的合成。此时，即使不严格地判定一致度等，也可以用一定的比例将图像缩小为合成用，以在该画面的端部连接不进行缩小的合成候选图像的端部的形式进行合成。

另外，在实施例中，在画面中央显示了人的面部，但是显示为在正中进行运动的只要是运动的物体即可，可以是任何物体，可以是宠物的面部、交通工具或模型的交通工具的外壳等。

此外，将由背面摄像部拍摄的图像的人物表现为“摄影者”，但是例如还能够用于在小孩的自行车的把手上装上该照相机并对自行车行进的样子进行合成那样的用途。此时，摄影者为小孩的父母，小孩为被摄体，但是为了简化说明，也将由背面摄像部拍摄的人物表现为摄影者。

如以上所说明那样，根据本发明的实施方式，根据图像数据，判定伴随摄影位置的移动而变化的背景图像的变化，并根据该判定，进行改变连续图像的大小的图像处理。因此，能够得到如从远处拍摄摄影者那样的效果，或者能够依次停止该合成图像的合成，容易地表现移动过来的样子。例如，还能够根据自身与名胜古迹的位置关系、移动的样子等来表现初次访问某处的名胜古迹等时的感动等。

另外，在本发明的各实施方式中，示出了用摄影设备10进行摄影并欣赏再现的例子，但是不限于此，关于再现，还能够用个人计算机或电视等进行欣赏。在用个人计算机或电视等进行欣赏的情况下，只要存储由摄影设备10拍摄的动态图像的图像数据进行欣赏即可。

此外，在本发明的各实施方式中，摄影设备10用连拍进行拍摄并再现，但是当然也可以如摄像机那样，应用到动态图像摄影的各张中，使其具有作为动态图像的再现显示功能。

本发明可表现为下述的摄影设备。

并且，在本发明的各实施方式中，作为用于摄影的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，也可以是摄像机、电影摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、便携信息终端PDA(Personal Digital Assistants：个人数字助理)等中的照相机。

本发明不直接限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述各实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。

Claims (15)

1.一种图像合成显示装置，其特征在于，具有：

能否合成判定部，其进行能否合成判定，在能否合成判定中，判定能否将依次多次进行与摄影者的移动方向相反的方向的摄影而得到的多个图像中的作为之前拍摄的图像的第1图像缩小，来合成到作为之后拍摄的图像的第2图像上；以及

图像合成部，其进行将对所述第1图像进行缩小而得到的缩小图像重叠到所述第2图像的一部分上来生成合成图像的合成图像生成，

所述图像合成部使所述缩小图像的周边部与所述第2图像的背景部在图像合成的边界部处的跨越该边界的方向的阴影的交界线连续地相连，来合成所述缩小图像和所述第2图像。

2.根据权利要求1所述的图像合成显示装置，其特征在于，

所述能否合成判定部和所述图像合成部能够将所述合成图像设为所述第1图像，将在所述第2图像后拍摄的图像设为所述第2图像，来重复执行所述能否合成判定和所述合成图像生成。

3.根据权利要求1所述的图像合成显示装置，其特征在于，

所述能否合成判定部将所述缩小图像的周边部与所述第2图像的除了所述一部分之外的背景部进行比较，通过判定所述缩小图像的周边部与所述第2图像的背景部是否具有连续性来判定能否合成。

4.根据权利要求1所述的图像合成显示装置，其特征在于，

所述第2图像的所述一部分是拍入了摄影者的面部的部分。

5.根据权利要求1所述的图像合成显示装置，其特征在于，

所述第2图像的所述一部分是所述第2图像的中央部。

6.根据权利要求1所述的图像合成显示装置，其特征在于，

该图像合成显示装置具有依次多次进行与摄影者的移动方向相反的方向的摄影的摄影设备。

7.根据权利要求6所述的图像合成显示装置，其特征在于，所述图像合成显示装置具有：

面部检测部，其对上述摄影设备所取得的摄影画面内的面部位置进行检测；以及

警告部，其依照上述面部检测部的检测结果进行警告，以将上述摄影设备摆放到合适位置。

8.根据权利要求7所述的图像合成显示装置，其特征在于，

上述警告部依照在上述移动时进行的摄影的间隔，决定上述摄影设备的合适位置。

9.根据权利要求7所述的图像合成显示装置，其特征在于，

上述警告部依照上述缩小图像决定上述摄影设备的合适位置。

10.根据权利要求6所述的图像合成显示装置，其特征在于，

该图像合成显示装置具有对施加到所述摄影设备的振动进行检测的加速度传感器，并根据所述加速度传感器的检测结果决定在上述移动时进行的摄影的间隔。

11.根据权利要求6所述的图像合成显示装置，其特征在于，

采用所述摄影设备在所述移动方向上前进由摄影者的面部宽度、从所述摄影设备到所述面部的距离、和所述摄影设备的视场角得到的距离时的图像用于合成。

12.根据权利要求6所述的图像合成显示装置，其特征在于，

在设摄影者的面部宽度为Wf、从所述摄影设备到上述面部的距离为D1、所述摄影设备的视场角的一半角度为Θ时，采用所述摄影设备在所述移动方向上前进根据在下述式中得到的D2而得到的D3时的图像用于合成，

(D3＝D2－D1)

W1＝2·D1·tanΘ   (式1)

R＝Wf/(2·D1·tanΘ)   (式2)

W2＝2·D2·tanΘ   (式3)

W1/W2＝D1/D2   (式4)。

13.一种图像合成显示方法，其特征在于，

判定能否将依次多次进行与摄影者的移动方向相反的方向的摄影而得到的多个图像中的作为之前拍摄的图像的第1图像缩小，合成到作为之后拍摄的图像的第2图像上，

将对所述第1图像进行缩小后得到的缩小图像重叠到所述第2图像的一部分上来生成合成图像，

使所述缩小图像的周边部与所述第2图像的背景部在图像合成的边界部处的跨越该边界的方向的阴影的交界线连续地相连，来合成所述缩小图像和所述第2图像。

14.一种摄影设备，其特征在于，具有：

摄像部，其以能够进行将第1摄影图像缩小得到的缩小图像重叠合成到第2摄影图像的一部分上来生成合成图像的合成图像生成的方式，依次多次进行与摄影者的移动方向相反的方向的摄影；

能否合成判定部，其进行能否合成判定，在能否合成判定中，判定能否将进行上述多次拍摄得到的多个图像中，作为之前拍摄的图像的上述第1图像与作为之后拍摄的图像的上述第2图像合成，

使所述缩小图像的周边部与所述第2图像的背景部在图像合成的边界部处的跨越该边界的方向的阴影的交界线连续地相连，来合成所述缩小图像和所述第2图像。

15.根据权利要求14所述的摄影设备，其特征在于，该能否合成判定不限于基于图像的合成判断，也可以根据摄影图像的变化来进行判定，还可以根据摄影者是否运动了预定量来进行判断。