CN103354598A - 图像再现装置和图像再现方法 - Google Patents

Abstract

本发明提供能够以简单的操作而适合于电视机等的再现的图像再现装置和图像再现方法。所述图像再现装置包括：代表提取部，从连续拍摄的摄影图像中提取代表图像；图像变化提取部，基于所述代表图像，从所述连续拍摄的摄影图像中提取在时间上依次变化的部分变化图像；合成控制部，其在所述代表图像上依次合成所述部分变化图像，使得合成后的图像显示。通过简单的操作对也能够适应利用电视机等进行鉴赏的图像进行再现。

Description

图像再现装置和图像再现方法

本申请是原案申请号为No.200910161468.8的发明专利申请（申请日：2009年07月31日，发明名称：图像再现装置和图像再现方法）的分案申请。

技术领域

本发明涉及图像再现装置和图像再现方法，详细地讲，涉及有效地再现由数字照相机或摄像机等摄影装置拍摄的图像的图像再现装置和图像再现方法。

背景技术

本发明要求2008年8月1日递交的日本专利申请2008-199392号和2008年8月12日递交的日本专利申请2008-207544号的优先权。这些申请以引证的方式结合于此。本发明的范围不限于本申请中所描述的具体实施方式。

近年来，基于数字照相机或摄像机等的数字图像的摄影和图像处理技术提高，数字照相机和摄像机的分界正在消失，对大量图像进行处理变得容易。并且，虽然照相机仅是简单地进行摄影的设备，但是，通过对图像信号进行数字化，能够在个人计算机和电视机等多个设备之间简单地进行数据的交接。

这样，由数字照相机或摄像机等摄影装置取得的图像的再现环境正在多样化。但是，在此前的再现装置中，直接再现连续拍摄的图像的情况居多，与专业人士仔细拍摄、编辑的图像相比，大多非常逊色。

因此，提出了如下的图像处理装置：对以静态图像方式拍摄的图像加入动态效果，由此能够得到美观的再现图像。例如，在日本国专利公开平11-15993号公报（以下为专利文献1）中公开了如下的图像再现装置：生成多个图像，反复进行再现显示，在该多个图像中，指定了对静态图像实施动态处理的部分并对该部分进行了动态处理。

并且，在日本专利公开2006-133897号公报（以下为专利文献2）中公开了如下的图像处理装置：在对静态图像实施动态处理时，为了实现小容量存储，分别单独存储静态图像的文件和用于生成动态图像的图像目标，在再现时对两者进行合成，由此生成动态图像。

另外，在日本专利公开2002-140025号公报（以下为专利文献3）中公开了如下的装饰品：作为相框的装饰，在前面配置场致发光片，点亮场致发光灯或使其闪烁。

这样，以往提出了对静态图像附加动态图像的动作而成为有趣的再现图像的各种方案。但是，这种编辑作业很麻烦，对一般用户而言是困难的。并且，在所述专利文献1、2所公开的再现装置中，原始图像都是静态图像，再现装置是以动态图像的方式再现该静态图像的装置，无法以简单的操作有效地再现原始的动态图像。

并且，在亮度变化大的静态图像中，在考虑使变化部分的光亮闪烁由此加入动态要素的情况下，在专利文献3所公开的装饰品中，虽然场致发光等闪烁，但是，仅是使照片整体耀眼，并不自然。

发明内容

本发明是鉴于这种情况而完成的，其目的在于，提供一种图像再现装置和图像再现方法，通过简单的操作对也能够适应利用电视机等进行鉴赏的图像进行再现。

本发明实施例提供一种图像再现装置，所述图像再现装置包括：

代表提取部，从连续拍摄的摄影图像中提取代表图像；

图像变化提取部，基于所述代表图像，从所述连续拍摄的摄影图像中提取在时间上依次变化的部分变化图像；

合成控制部，其在所述代表图像上依次合成所述部分变化图像，使得合成后的图像显示。

本发明实施例还提供一种图像再现方法，所述图像再现方法包括：

从连续拍摄的摄影图像中提取代表图像；

基于所述代表图像，从所述连续拍摄的摄影图像中提取在时间上依次变化的部分变化图像；

在所述代表图像上依次合成所述部分变化图像，使得合成后的图像依次显示。

根据本发明，能够提供以简单的操作来再现能够适合于利用电视机等进行鉴赏的图像的图像再现装置和图像再现方法。

附图说明

图1是示出本发明的第1实施方式的照相机的电路的框图。

图2是示出在本发明的第1实施方式的照相机中对图像进行合成处理并再现显示的状况的图。

图3是示出从本发明的第1实施方式的照相机向电视机输出图像并进行鉴赏的状况的图。

图4示出由本发明的第1实施方式的照相机拍摄的图像的合成处理，（a）是示出摄影图像的图，（b）是沿着横线35a示出亮度分布的图，（c）是示出合成处理后的再现图像的图，（d）是示出摄影图像的图，（e）是沿着横线35b示出亮度分布的图，（f）是示出合成处理后的再现图像的图。

图5示出根据由本发明的第1实施方式的照相机拍摄的图像而生成的合成用图像的另一例子。

图6是示出本发明的第1实施方式的照相机的光点强调显示的动作的流程图。

图7是根据由本发明的第1实施方式的照相机拍摄的图像而生成的合成图像，（a）示出在面部显示光点的情况，（b）示出在面部以外的场所显示光点的情况。

图8是本发明的第1实施方式的照相机的合成控制部的增益的特性图，（a）和（b）分别是具有不同增益特性的情况。

图9是示出本发明的第1实施方式的照相机的合成控制部及其周边结构的框图。

图10是示出本发明的第1实施方式的照相机的照相机控制动作的流程图。

图11示出由本发明的第2实施方式的照相机拍摄的图像的合成处理，（a）是示出摄影图像的图，（b）是沿着横线36a示出亮度分布的图，（c）是沿着横线36b示出亮度分布的图，（d）是沿着横线36c示出亮度分布的图。

图12是根据由本发明的第2实施方式的照相机拍摄的图像来说明候选部的选择条件的图。

图13是示出本发明的第2实施方式的照相机的合成显示动作的流程图。

图14是示出本发明的第3实施方式的照相机的电路的框图。

图15是示出在本发明的第3实施方式的照相机中连续拍摄的图像的状况的图。

图16是示出从本发明的第3实施方式的照相机向电视机输出图像并进行鉴赏的状况的图。

图17示出由本发明的第3实施方式的照相机连续拍摄的图像，（a）～（c）示出时间序列顺序。

图18是示出由本发明的第3实施方式的照相机连续拍摄的图像由于手抖而移动的状况的图，（a）～（c）示出时间序列顺序。

图19是示出对由本发明的第3实施方式的照相机连续拍摄的图像校正了手抖导致的移动后的图像的图，（a）～（c）示出时间序列顺序。

图20是对由本发明的第3实施方式的照相机连续拍摄的图像仅提取变化部分后的图像，（a）～（c）示出时间序列顺序。

图21示出由本发明的第3实施方式的照相机连续拍摄的图像中的代表图像（基准图像）。

图22是示出本发明的第3实施方式的照相机的合成控制部的结构的框图。

图23是示出本发明的第3实施方式的照相机的变化部提取动作的流程图。

图24是示出本发明的第3实施方式的照相机的合成显示动作的流程图。

图25是示出本发明的第3实施方式的照相机的照相机控制动作的流程图。

图26是说明本发明的第3实施方式的照相机中的亮度变化部的检测的图，（a）～（c）示出构成连续图像的各静态图像中的各像素的输出，（d）示出将变化部分以外设为最小值的图像，（e）示出（a）～（c）中的图像的读出方向。

图27是示出本发明的第3实施方式的照相机的亮度变化部检测动作的流程图。

具体实施方式

下面，根据附图说明使用应用了本发明的照相机的优选实施方式。本发明的第1实施方式的照相机10是数字照相机，拍摄静态图像并在记录介质中记录图像数据。并且，再现时，能够提取静态图像中的亮度变化的部分作为候选部，以该候选部为中心生成光点放大图像，与所拍摄的原来的静态图像进行合成，而再现显示以光点流动的方式移动的合成图像。由此，习惯于以往的照片摄影的照相机用户能够以一直以来所使用的简单操作来进行拍摄，而且，能够得到也适合于在与电视机等外部设备连接进行鉴赏时的内容的图像。

在说明本实施方式的照相机10的结构之前，使用图2和图3说明安装了本发明的图像再现装置的照相机10中的图像再现的考虑方法。

在最近的数字照相机等摄影装置中，能够在照相机内置的液晶或有机EL等显示部、或者经由输出部连接的电视机和个人计算机等外部显示装置上简单地显示摄影前和摄影后的图像。

并且，在最近的数字照相机等摄影装置中，也能够简单地进行动态图像摄影等。但是，一般人难以按照动态图像的方式拍摄出能够让他人观看的程度的作品。与此相对，静态图像具有使拍摄的瞬间作品化的效果，所以，在拍摄的时刻即完成，不需要拍摄之外的劳动。

但是，如图3所示，在利用大画面电视机等再现显示图像的情况下，完全没有任何变化的图像是单调且使人腻烦的，所以，优选图像具有一些变化。例如，在图2所示的存在巨大亮度差异的雄伟的风景等的情况下，可以尝试改变照耀到云30上的太阳光的闪耀等，使发光部分随时间经过而移动。即，当以使闪耀的光点部32a、32b、32c沿着云30的边缘31移动的方式进行再现显示时，能够酝酿出雄伟风景的气氛。由于云的运动和太阳的角度等时时刻刻在变化，所以，即使反复多次加入突然在一瞬间发光的变化，也没有特别的不自然感。

在本实施方式中，根据图4（a）所示的静态图像，检测云30的边缘31等的亮度变化的亮度变化部，对从该亮度变化部选择出的候选部进行光点放大处理，按照图2（a）→（b）→（c）的顺序依次使光点闪烁，由此，再现光的闪耀在移动的图像。

这样，虽然是静态图像、且没有特别大变化的图像，但是，持续显示在电视机20等的画面上时（参照图3），合成显示使亮度变化部中的候选部周围的亮度变亮（光点）、且该光点移动的图像，由此，能够进行直接映入窗外的风景的再现。

根据这种考虑方法，在本实施方式的图像再现装置中，针对在摄影时刻完成的静态图像，如图2所示，以光闪耀的变化不会不自然的方式进行图像合成并显示。另外，也可以与摄影同时，预先利用集音部记录鸟鸣等声音，在再现显示时反复再现。

接着，说明上述能够再现显示图像的照相机的结构。图1是示出第1实施方式的照相机10的电气结构的框图。照相机10具有：控制部1、摄影部2、闪光灯2a、记录部3、压缩保存部3b、候选提取部4、移动控制部5a、周边光量增大部5b、集音部6、合成控制部7、输出部8、液晶显示部8a、以及操作部9。

控制部1由CPU（Central Processing Unit）等构成，与该照相机10的各部连接，根据程序进行整体控制。摄影部2包含用于使被摄体成像得到被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、对从摄像元件输出的图像信号进行处理的图像处理部等，并输出图像数据。另外，该摄影部2能够输出静态图像、动态图像（也包含连拍）的图像数据。

集音部6通过麦克风等将声音转换为电信号，并输出声音信号。记录部3根据来自控制部1的控制信号，记录从摄影部2输出的静态图像、动态图像的图像数据。并且，与图像数据的记录一起，还进行从集音部6输出的声音数据的记录。并且，根据控制信号输出所记录的图像数据和声音数据。

候选提取部4从记录在记录部3中的静态图像的图像数据中，提取被以强光赋予对比度的部分作为候选部。在本实施方式中，针对直射阳光等存在强烈的对比度、眩目地发光的部分的风景赋予光的闪耀，由此，再现对静态图像附加变化后的图像。针对这种风景图像，候选提取部4选择带有光的变化的部分。

例如在图2的例子中，候选提取部4从云30的边缘31中提取候选部。即，云30的边缘31是沿着云的边缘的线段，候选提取部4提取该边缘31中的一部分作为候选部。另外，图像不限于风景图像，也可以是被太阳照射的人物图像，该情况下，候选提取部4提取被照到的脸颊部分，如后所述，能够再现闪闪发光的场面。

周边光量增大部5b进行提高由候选提取部4提取出的候选部的周围亮度的图像处理。即，周边光量增大部5b生成候选部的周围闪耀而突然变明亮的图像作为合成用图像。作为突然变明亮的合成图像，通过扩大发光部分的面积来表现闪耀。关于该面积扩张，能够进行将候选部扩张为圆形或扩张为星型、十字型等各种面积扩张。并且，周边光量增大部5b在进行突然变明亮的图像处理后，再次恢复到原来的光量。

移动控制部5a使由周边光量增大部5b进行了光量增大后的合成用图像随时间经过而移动。即，如图2（a）→（b）→（c）所示，移动控制部5a使进行光量增大的部分移动，使得看起来宛如闪耀部分32a、32b、32c在移动一样。

合成控制部7针对记录在记录部3中的原来的静态图像，通过周边光量增大部5b增大周边光量，通过移动控制部5a将原来的静态图像与随时间经过而移动的合成用图像进行合成，生成图2（a）～（c）所示的图像。即，通过周边光量增大部5b和移动控制部5a，依次生成光量增大部随时间经过而移动的合成用图像，所以，合成控制部7将这些依次生成的多个合成用图像与原来的静态图像进行合成。

压缩保存部3b对由记录部3记录的图像数据进行压缩保存，并且，对在合成控制部7中合成的图像数据进行压缩，并将其保存起来。

输出部8向电视机等外部显示装置输出或向液晶显示部8a输出记录在记录部3中的静态图像、动态图像。并且，在合成控制部7中合成的图像也输出到外部显示装置或液晶显示部8a。作为外部显示装置，例如是薄型电视机20等，针对外部显示装置，除了有线连接以外，也可以以红外线或电波进行输出，或者也可以通过无线LAN等发送到特定的服务器。

液晶显示部8a设置在照相机10上，再现显示记录部3的记录图像，在摄影前实时浏览显示被摄体像。并且，对合成控制部7生成的合成图像进行再现显示。并且，使用摄影前的来自摄影部2的图像数据，通过合成控制部7进行合成处理，显示光点部移动的图像。显示摄影前进行了合成处理时的图像，由此，能够享受摄影的乐趣。

操作部9包含释放按钮、菜单按钮等操作部件，当用户对操作部9进行操作时，控制部1根据操作向各部输出控制信号。闪光灯2a是对被摄体照射照明光的人工照明装置。

接着，使用图4说明本实施方式的图像合成的处理。图4（a）示出所拍摄的风景的一例。在该例示的风景中，云30的边缘31由于太阳光而明亮地发光。当沿着沿X轴方向的横线35a取亮度的分布时，该图4（a）所示的图像的亮度分布如图4（b）所示。如图所示，云30的端部31的太阳光的反射强的部分特别明亮，与该端部31相邻的部分没有那么明亮。

在本实施方式中，从该云30的端部31中选择候选部，进行使该候选部的周围变明亮的强调处理。即，如图4（b）所示，从比规定亮度B明亮的部分中选择候选部，针对包含该候选部的范围33a（被虚线包围的部分），如图4（b）中的箭头所示，使其比周围的云30的端部31的亮度更明亮。进行这种处理后，如图4（c）所示，成为局部明亮地闪耀的、具有光点32a的图像。

并且，如图4（d）所示，沿着沿X轴的横线35b取亮度分布，从比规定亮度B明亮的部分中选择候选部，针对包含该候选部的范围33b（被虚线包围的部分），如图4（e）中的箭头所示，使其比周围的云30的端部31的亮度更明亮。进行这种处理后，如图4（f）所示，成为局部明亮地闪耀的、具有光点32b的图像。

另外，在使候选部的周围A变明亮时，如图4（b）、（e）所示，针对范围33a、33b进行图像处理使其成为一定的亮度，换言之，针对原来图像的亮度峰值，生成更加明亮的部分，增加其面积。

这样，即使是相同图像，如图4（a）和（d）所示，通过变更亮度分布的判定位置（横线35a、35b的切换），由此规定亮度B以上的部分变化。因此，依次变更候选部的位置，由此，光点32a、32b的位置变化，能够进行具有闪耀感的图像表现。

另外，在图4（c）、（f）中，以光点32a、32b在候选部周边的圆圈范围内进行了处理，但是不限于此，例如如图5所示，也可以是星型或其他形状。通过改变强调部分的形状，能够以与圆型不同的气氛赋予闪耀感。关于这种强调部分的形状变化，在周边光量增大部5b中存储强调部分的图案的数据并依次切换，或者也可以根据用户的选择来切换。

使用图6所示的流程图，说明用于执行这种对明亮部分进行强调的光点强调显示的动作。控制部1根据记录在记录部3中的图像数据，与候选提取部4、周边光量增大部5b、移动控制部5a等协作来执行该流程。

当进入光点强调流程后，首先，对变量Y设定0（S101）。接着，对该变量Y加上ΔY（S102），判定该变量Y是否等于Y的边界值Y1（S103）。在步骤S103的判定结果为变量Y没有到达边界值Y1的情况下，接着，对变量X设定0（S104），对该变量X加上ΔX（S105），判定该变量X是否等于X的边界值X1（S106）。

这些步骤S101～S103是如下步骤：在设定图4（a）所示的X、Y轴时，沿着Y轴直到Y轴的边界值Y1为止，以ΔY间隔依次变更亮度判定的区域。并且，步骤S104～S106是如下步骤：一边改变X坐标，一边变更画面内的亮度判定区域，直到到达X轴的边界值X1为止。这里，由于按照连续的像素进行亮度判定时，判定对象的像素过细又过多，因此，ΔY和ΔX设定为能够将画面分割为50份左右程度的像素间隔。

在步骤S106的判定结果为变量X没有到达边界值X1的情况下，接着，判定坐标（X，Y）处的亮度是否比规定亮度B1明亮（S107）。在该判定结果为不比规定亮度B1明亮的情况下，返回步骤S105，对X坐标加上ΔX，在下一坐标处判定亮度是否比B1明亮。

在步骤S107的判定结果为坐标（X，Y）处的亮度比B1明亮的情况下，判定周围A部的亮度（S111）。这里，周围A部相当于图4（c）、（f）的圆圈标记、图5的星型标记的区域。接着，判定周围A部的区域内的全部像素是否为亮度B1以上（S112）。在该判定结果为周围A部内的全部像素的亮度为B1以上的情况下，返回步骤S105。

另一方面，在步骤S112的判定结果为不是全部像素在亮度B1以上的情况下，作为候选部，提取并记录该坐标（X，Y）（S113）。通过候选提取部4来进行这些提取作业。这里，在亮度为B1以上的情况下返回步骤S105是因为，在周围A部内部的全部像素明亮的情况下，即使将圆圈标记、星型标记的部分明亮也不明显，因而从候选部中排除。另一方面，在只有一部分暗的情况下，通过使圆圈标记、星型标记的部分变明亮，能够表现明显和闪耀。

在步骤S112中以Y（“是”）脱离循环、或在S113中记录坐标（X，Y）后，返回步骤S105，在横向以ΔX间隔执行亮度判定，直到X坐标到达边界值X1为止。通过执行这些一连串的处理，结束沿X轴的一行上判定，记录亮度为B1以上但其周围比B1暗的部分（候选部）的全部坐标（X，Y）。

在步骤S106中，当X坐标到达边界值X1时，进入步骤S102，在对变量Y加上ΔY后的Y坐标处，一边改变X坐标，一边检测比规定亮度B1明亮且其周围比B1暗的部分（候选部），记录该坐标（X，Y）。

当上述亮度判定沿着Y轴方向从一端到达另一端而结束时，在步骤S103的判定中，变量Y成为边界值Y1。通过执行这些一连串的处理，整个画面的判定结束，记录亮度为B1以上但其周围比B1暗的部分（候选部）的全部坐标（X，Y）。

当变量Y成为边界值Y1后，接着，判定候选数是否小于5（S115）。在该步骤中，判定在步骤S113中记录的候选部的数量是否小于规定数（这里为“5”）。另外，该规定数不限于5，只要是在进行光点强调显示时产生效果的程度的适当的数量即可。

在步骤S115的判定结果为候选数少于5的情况下，放大判定区域（S116）。即，当候选部的数量少时，强调显示的效果不明显，所以，扩大在步骤S111中进行的周围A部的范围。这是因为，通过扩大周围A部的范围，在步骤S112中判定为全部为B1以上的可能性提高，候选部的数量增加。另外，在候选部的数量过多的情况下，相反地，强调显示的部分过多，可能成为令人厌烦的图像。因此，该情况下，可以根据一定的法则对候选部的数量进行间疏（間引く），或缩窄区域A的范围。

在步骤S115的判定结果为候选部的数量不少于5、即为5以上的情况下，接着，在该候选部和其周围A部的范围内，进行用于产生闪耀效果的图像处理。首先，为了根据状况来切换闪耀效果，判定图像中是否存在面部（S121）。

在步骤S121的判定结果为图像中包含面部的情况下，设规定时间为t10（S122），另一方面，在图像中不包含面部的情况下，设规定时间为t20（S123）。该规定时间是改变候选部的亮度后到再次改变亮度为止的时间。

在本实施方式中，如图7（a）所示，改变面部部分的亮度并使其闪耀时，尽快（t10）进行亮度的切换以使其不明显。另一方面，如图7（b）所示，在面部以外的部分中，慢慢（t20）改变。另外，在本实施方式中，判定候选部的坐标（X，Y）处的点是否是面部图像，但是，也可以反映图像的对比度。

进行规定时间的设定后，接着，以所记录的坐标（X，Y）为中心，生成并显示对其周围A部的亮度进行增大后的图像（S124）。增大亮度后，当经过在步骤S122、S123中设定的规定时间时，使变明亮的部分回到原来的亮度（S125）。接着，判定是否结束光点强调显示（S126）。在操作部9中设有用于开始或结束光点强调显示的操作部件，在步骤S126中，判定该操作部件的操作状态。另外，也可以通过操作释放按钮来执行结束，该情况下，拍摄结束时刻的光点强调图像。

在步骤S126的判定结果为已结束的情况下，返回后述的照相机控制的流程。另一方面，在没有结束的情况下，选择在步骤S113中记录的其他候选部的坐标（X，Y）（S127）。选择其他候选部的坐标后，返回步骤S121，执行上述动作。

这样，在光点强调显示的流程中，在步骤S101～S113中，检测比规定亮度B1明亮且其周围A部的亮度全部没有B1明亮的候选部（坐标（X，Y）），对其进行记录。接着，针对该所记录的候选部，包含该周围A部在内依次增大亮度，在规定时间后恢复到原来的亮度。通过反复进行该动作，如图2和图7所示，能够进行以静态图像为基调、同时发挥动态图像效果的图像表现。

另外，包含候选部的周围A部在内使候选部变明亮，预先将该周围A部设定为不会令人感到厌烦而且显示时能够看到的大小，设定与整个画面的1/30左右的大小相当的圆形部作为默认值。但是，通过用户的选择操作，该形状也可以是相当于同样大小的星型或菱形等其他形状，另外，大小也不限于1/30，可以适当进行变更。另外，也可以根据图像部分的特征来变更大小和颜色等。在决定了进行光点强调的候选部及其周围后，通过合成控制部7进行控制，但是，也可以通过控制部1来进行步骤S121～S123中的规定时间的决定。

接着，使用图9说明执行图像合成的合成控制部7的具体结构。合成控制部7由增益赋予部7a、乘法器7b、7c、以及加法器7d构成。

即，乘法器7b与记录部3的输出和增益赋予部7a的输出连接，并连接成向加法器7d输出这些乘法结果。乘法器7c与增益赋予部7a的输出和光量增大部5b的输出连接，并连接成向加法器7d输出乘法结果。增益赋予部7a与光量增大部5b的输出连接，并且输入有来自控制部1的合成定时信号。根据光量增大部5b的输出而生成增益，并连接成向乘法器7b、7c输出该增益。加法器7d连接成输入有来自乘法器7b、7c的各输出，并连接成向输出部8输出这些加法结果。

从记录部3读出的静态图像数据被输出到乘法器7b和候选提取部4。由候选提取部4提取出的候选部的坐标信息被输出到周边光量增大部5b和移动控制部5a。周边光量增大部5b从候选提取部4输入候选部的位置信息，并从移动控制部5a输入移动信息，生成增大了周边光量的图像，将其输出到增益赋予部7a和乘法器7c。

接着，说明这样构成的合成控制部7的动作。首先，候选提取部4从记录部3输入图像数据，提取具有光量增大效果的候选部。按照每个像素，在加法器7d中对基于该提取出的候选部而增大了周边光量后的图像和原来的静态图像进行相加。此时，针对与原来的静态图像中的光量增大部分相当的像素，利用增益0在乘法器7b中进行相乘，合成的光量增大图像以增益1在乘法器7c中进行相乘后，进行相加。

通过合成定时信号来控制该图像合成，开始后，经过规定时间后结束，此时，设光量增大图像的增益为0，原来的静态图像38的增益为1。因此，根据合成定时信号，增益赋予部7a使增益在0和1之间变化。作为该增益的变化，如图8（a）、（b）所示，在从T1到T2的期间内增大合成用增益37，强调光点，在从T2到T3的期间内回到0，使显示图像恢复到原来的图像。

该增益的变化具有各种变形例，例如能够选择如图8（a）所示那样逐渐变明亮的图案、或如图8（b）所示突然变明亮的图案。该情况下，可以设为：如果是面部图像，则自动选择图8（b）所示的图案，如果是其他图像，则自动选择图8（a）的图案。这里所示的增益变化的图案是一个部位的候选部中的光的变化的时序图，从显示中的候选部的坐标转移到下一候选部的坐标时的时间根据所述规定时间t10、t20来进行切换。

该变化定时可以是能够选择，也可以是随机切换。另外，也可以根据图像进行切换。例如，使对比度高的部分快，使对比度低的部分慢。能够进行与图像的气氛相应的显示。

这里，作为对比度的求出方法，在图4（b）、（e）所示的图中，利用亮度从规定亮度B1到峰值的高度等进行判定，或者也可以根据该峰值部的斜率等进行判定。并且，在步骤S121（图6）中，也可以考虑对比度来变更规定时间。在对比度高的情况下，如果进一步扩大光点的面积，则更有效。而且，也可以根据图像的色调，例如在带有蓝色、或带有白色或灰色的情况下，判定为在画面上方有云，在光点扩大时，变更大小和定时等。

接着，使用图10所示的流程图，说明这种能够进行再现显示的照相机的照相机控制的动作。

进入照相机控制的流程后，首先判定是否是摄影模式（S201）。该照相机10能够设定摄影模式和再现模式这两个模式。在步骤S201的判定结果为是摄影模式的情况下，转移到摄影准备。另外，在本实施方式中，在摄影准备时的实时浏览显示时能够进行基于光点强调的显示。

转移到摄影准备后，首先取入图像（S202）。在该步骤中，通过摄影部2取入图像数据，根据该图像数据在液晶显示部8a上进行实时浏览显示。并且，使用所取入的图像数据来检测是否存在面部部分，并且在存在的情况下检测位于画面中的哪个位置。也可以在摄影时一并记录这里检测出的与面部有关的信息。如果进行记录，则在再现时进行光点强调显示时，能够不需要判定面部的位置。

接着，判定是否进行光点强调显示（S203）。在该步骤中，判定是否操作了操作部9内的光点强调操作部件。在该判定结果为没有进行光点强调的情况下，根据所取入的图像数据进行通常的实时浏览显示（S204）。另一方面，在步骤S203的判定结果为进行了光点强调显示的操作的情况下，进行光点强调显示（S205）。

该光点强调显示执行使用图6说明的流程。通过执行光点强调显示的流程，如图7所示，显示具有闪耀的图像，享受摄影的乐趣。并且，能够在摄影前一边直接观看一边确认是否是存在光点强调显示效果的图像。

进行图像显示或光点强调显示后，接着判定是否进行了释放操作（S206）。在该步骤中，判定是否操作了操作部9内的释放按钮。

在步骤S206的判定结果为没有进行释放的情况下，返回步骤S201，进行所述动作。另一方面，在判定结果为进行了释放的情况下，开始摄影和记录（S207）。这里，摄影是通过摄影部2进行的静态图像摄影或动态图像摄影。在操作了释放按钮的情况下，也可以判定为是动态图像摄影，另外，在动态图像或静态图像的摄影时，也可以通过集音部6来记录声音。再现图像时，能够一并再现声音。摄影/记录结束时，结束该流程，再次返回步骤S201。

在步骤S201的判定结果为不是摄影模式的情况下，判定是否是再现模式（S211）。在该判定结果为不是再现模式的情况下，返回步骤S201。另一方面，在判定结果为是再现模式的情况下，进行图像选择（S212）。在该步骤中，例如进行缩略图显示，将用户选择的图像作为再现候选。

接着，与步骤S203同样，判定是否进行光点强调显示（S213）。在该判定结果为不是光点强调显示的情况下，进行在步骤S212中选择的图像的通常再现。该情况下，在选择图像是动态图像的情况下，直接将所拍摄的连续图像作为动态图像进行再现，在选择图像是静态图像的情况下，直接进行静态图像的再现显示。

并且，在步骤S213的判定结果为选择了光点强调显示的情况下，执行使用图6说明的光点强调显示的流程（S215）。由此，如上所述，针对亮度为规定以上、且周边没有规定以上亮度的部分的候选部，依次进行图像的合成处理以使其变明亮，由此，能够再现显示光的闪耀进行移动的动态图像风格的图像。在步骤S213的判定结果为没有选择光点强调的情况下，进行通常的再现显示（S214）。进行光点强调显示或通常显示后结束，再次从步骤S201开始执行。

如以上说明的那样，在本发明的第1实施方式中，提取像云的边缘被太阳光照亮那样的、与周围相比明显变明亮的部分作为候选部，使该所提取的候选部变明亮到规定的亮度以上后，再次恢复到原来的亮度。针对多个候选部，依次实施该亮度变更的图像处理，由此，光的闪耀依次移动。因此，与简单的静态图像不同，成为动态图像风格的再现，成为富有变化的图像。由于图像变化，因此宛如能够看到窗外的风景变宽广。

接着，使用图11～图13说明本发明的第2实施方式。在第1实施方式中，随机选择候选部，换言之，不一定沿着连续线选择候选部。与此相对，在第2实施方式中，判定是否是带状连续的明亮部分，选择连续存在的候选部，由此，进行对带状明亮的部分附加光点的光点强调显示。

在本发明第2实施方式的结构中，除了将第1实施方式中图6所示的光点强调显示的流程图置换为图13所示的流程图以外，与第1实施方式相同，所以，以不同点为中心进行说明。

首先，使用图11和图12说明第2实施方式的候选部的选择。在图11（a）所示的云30的边缘31的闪耀印象深刻的图像中，发挥强调了该边缘31的部分的闪耀效果后，进一步加强了印象。

如图11（a）所示取X轴Y轴，沿着沿Y轴的横线36a～36c取亮度分布时，亮度分布如图11（b）～（d）所示。与第1实施方式同样，取出比亮度B明亮的部分，在XY坐标轴上描绘该部分的中心的位置39a～39d时，如图12所示。

这里，可知位置39a～39c在规定宽度x2的范围内连续排列。即，能够判断为位置39a～39c是连续的带状的亮度部。另一方面，位置39d在规定宽度x2内不存在其他明亮部分的中心点，不判断为带状的亮度部。在本实施方式中，由于多个点不在规定宽度x2内排列，所以，在图11（a）中位置39d的明亮部分（相当于图11（d）的右侧峰值），不选择这种点作为候选部，作为光点不生成合成用图像。

接着，使用图13说明用于执行本实施方式的光点强调显示的流程。进入本实施方式的光点强调显示的流程后，与第1实施方式同样，在步骤S101～S107中，使判定区域分别在X轴和Y轴方向上移动。在步骤S107中，在判定为坐标（X，Y）处的亮度比亮度B1明亮的情况下，判定坐标（X，Y）左右的亮度（S111A）。

另外，在第1实施方式中，进行了周围A的亮度判定，但是，在第2实施方式中，为了简化，仅判定进入周围A的范围内的左右的亮度。当然，与第1实施方式同样，不限于左右，也可以判定周围的亮度。该情况下，在下一步骤中，判定周围A整体是否比B1暗。

根据步骤S111A的亮度判定，接着，判定左右双方的亮度是否为B1以下（S112A）。另外，作为这里的左右的亮度，判定周围A内的像素的亮度，而不限于直接相邻的像素。在该步骤S112A的判定结果为周围A内所包含的左右双方的亮度不是B1以下的情况下，返回步骤S105。

另一方面，在步骤S112A的判定结果为双方的亮度是B1以下的情况下，临时记录坐标（X，Y）（S117）。临时记录后，接着判定坐标X是否在上次临时记录的X±X2的范围内（S118）。如在图12中说明的那样，判定是否位于带状范围内。这里，X2考虑了误差，例如设为ΔX和ΔY的几倍左右的值。在该判定结果为不在范围内的情况下，返回步骤S105。

另一方面，在步骤S118的判定结果为位于规定范围内的情况下，最终记录坐标（X，Y）作为候选部（S119）。进行记录后，再次返回步骤S105。反复执行步骤S102～S119，由此，能够记录在画面内存在于带状的明亮部分中的候选部的坐标。

当步骤S103的判定结果为Y达到边界值Y1时，整个画面内的判定结束，所以，接着进行光点的生成。在本实施方式中，为了进行光在画面上从上到下（图11的Y轴方向）流动的演示，在步骤S131以后，按照Y数据从小到大的顺序对候选部进行光点强调。

首先，按照Y从小到大的顺序读出所记录的坐标（X，Y）（S131）。这里，读出在步骤S119中记录的坐标。接着，以所读出的坐标（X，Y）部为中心，生成并显示对周边A部的亮度进行增大后的图像（S132）。周边A部可以与第1实施方式同样为圆形部，也可以是其他的星型等形状。

接着，判定光点强调显示是否结束（S133）。在操作部9上设有用于开始和结束光点强调显示的操作部件，在步骤S133中，判定该操作部件的操作状态。

在步骤S133的判定结果为结束的情况下，返回照相机控制的流程。另一方面，在没有结束的情况下，等待经过规定时间（S134）。经过规定时间后，返回步骤S131，读出下一坐标（X，Y），进行光点的显示。在第2实施方式中，没有特别判定有无面部和对比度，但是，当然也可以与第1实施方式同样，判定有无面部和判定对比度，来切换步骤S134中的规定时间。

这样，在本发明的第2实施方式中，判定带状的范围内是否具有候选部（S118），仅在候选部进入带状范围内的情况下，最终记录为候选部。因此，能够进行光点流动的再现。

如以上说明的那样，在本发明的第1和第2实施方式中，在摄影图像的图像中检测比规定亮度B1明亮的候选部，生成候选部的周围A比规定亮度更明亮的合成用图像，合成该合成图像和原来的摄影图像，再现该图像。因此，能够以简单的操作来再现能够适应利用电视机等进行鉴赏的图像。即，以简单的结构，对在拍摄的瞬间完成的静态图像附加光的闪耀效果，由此，虽然摄影图像是静态图像，但是能够再现显示具有变化的图像。

另外，在本发明的第1和第2实施方式中，从规定以上的亮度中选择候选部，但是，也可以简单地检测图像的亮度饱和的部分，选择该部分作为候选部来进行图像处理。并且，在判定亮度时，不限于实际的亮度，当然也可以使用考虑了照相机的光圈等的进入摄像元件的光的强度、或考虑了曝光时间和摄像元件的感光度的亮度等各种亮度。

另外，在本发明的第1和第2实施方式中，在选择候选部时，设为第1规定以上的亮度、且范围A内的亮度全部不是第2规定以上的亮度，该第1和第2规定亮度都是相同的亮度。但是，第1和第2规定亮度当然也可以不同。

另外，在本发明的第1和第2实施方式中，在选择候选部时，判定规定以上的亮度、且范围A内的亮度的全部亮度，但是，也可以不考虑范围A内的亮度。该情况下，即使生成光点也有可能不明显，但是，通过使光点充分明亮，能够在某种程度上使光点变得明显。

接着，使用图14～图27说明本发明的第3实施方式。本发明的第3实施方式的照相机60也是数字照相机，能够拍摄连拍和动态图像，并在记录介质中记录图像数据。并且，再现时，提取图像中亮度变化的部分，将该变化部分与基准图像合成，能够再现显示亮度反复变化的合成图像。由此，能够得到悠然自得地眺望风景的效果。

在说明本实施方式的照相机60的结构之前，使用图15和图16说明安装了本发明的图像再现装置的照相机60中的图像再现的考虑方法。

最近的数字照相机能够简单地进行动态图像摄影，但是，随着照相机的小型化，容易引起手抖，并且，在动态图像的摄影中，如图15（c）所示，有时意想不到的被摄体（这里为汽车83）进入画面。利用图16这种大画面的电视机70再现这种图像时，手抖很令人厌烦，并且，多次看到意外的巧合图像也很令人厌烦。

另外，像个人计算机的壁纸那样，在大画面薄型电视机70上显示原始的摄影图像时，手抖和巧合图像也不合适。如果是静态图像，则能够解决这种问题，并且，静态图像本身能够在拍摄的瞬间作品化，是在摄影时刻完成的图像。因此，如果是静态图像，则不需要那么麻烦，可以满足一般的用户。

但是，在利用大画面电视机等再现显示图像的情况下，如果完全没有任何变化则会感到单调而厌烦，所以，能够慢慢地观看有一些变化的图像。例如，在树81的叶子摇晃、太阳光的反射光闪耀这种情景（参照图15（a）、（b））、光反射到海面的波浪上这种情景等中，可以显示该光的闪耀。光的反射等在自然界反复产生的光的效果即使反复几次，也不会有不舒服感，存在使鉴赏者的心境平和的效果。

这样，虽然是静态图像这种没有很大变化的图像，但是，附加光的反射等在自然界反复出现的光的变化，由此，能够进行映出宛如窗外的风景的显示。但是，如图15（c）所示，虽然通过的汽车83等是变化之处，但是多次观看时会觉得不自然而且会厌烦，所以，优选不再现这种被摄体。

根据这种考虑方法，在本实施方式的图像再现装置中，再现显示如下的图像：针对在摄影时刻完成的静态图像，仅赋予太阳的反射光的变化，除去手抖这种难看之处，另一方面，赋予自然的光的变化。由此，如图16所示，能够在大画面的电视机70上显示映出窗外的风景的图像。另外，在动态图像和连拍图像的摄影时，也可以对鸟叫声等进行录音，在图像再现时再现鸟叫声。

接着，说明上述能够再现显示图像的照相机的结构。图14是示出第3实施方式的照相机60的电气结构的框图。照相机60具有控制部51、摄影部52、记录部53、压缩保存部53b、代表提取部54、图像变化提取部55、集音部56、合成控制部57、输出部58、液晶显示部58a、以及操作部59。

控制部51由CPU（Central Processing Unit）等构成，与该照相机60的各部连接，按照程序进行整体控制。摄影部52包含用于对被摄体成像而得到被摄体像的光学系统、对被摄体像进行光电转换的摄像元件、对从摄像元件输出的图像信号进行处理的图像处理部等，并输出图像数据。另外，该摄影部52能够输出静态图像、连拍、动态图像的图像数据。

集音部56通过麦克风等将声音转换为电信号，并输出声音信号。记录部53根据来自控制部51的控制信号，记录从摄影部52输出的静态图像、连拍、动态图像的图像数据。并且，与图像数据的记录一起，还进行从集音部56输出的声音数据的记录。

代表提取部54从记录在记录部53中的图像数据中提取代表图像。连拍图像和动态图像由一连串的多个静态图像构成，代表提取部54从这些多个图像中提取代表图像。图像变化提取部55在构成连拍和动态图像的一连串的多个静态图像中，对代表图像和各静态图像们进行比较，仅提取变化的部分。该图像变化提取部55提取手抖等引起的图像整体变化的变化量、图像中亮度变化的部分的图像信号本身（部分变化图像）。

合成控制部57针对由代表提取部54提取的代表图像，合成由图像变化提取部55提取出的变化部分。即，合成控制部57利用哪个位置的图像如何变化的信息，在代表图像上合成部分变化图像。压缩保存部53b对由记录部53记录的图像数据进行压缩保存，并且，对在合成控制部57中合成的图像数据进行压缩，并将其保存起来。

输出部58向外部设备输出记录在记录部53中的静态图像、连拍、动态图像，并且输出到液晶显示部58a。并且，在合成控制部57中合成的图像也输出到外部设备和液晶显示部58a。作为外部设备，例如是薄型的电视机70等，针对外部设备，除了有线连接以外，还也可以通过红外线或电波输出，或者也可以通过无线LAN等发送到特定的服务器。

液晶显示部58a设置在照相机60的背面上等，再现显示记录部53的记录图像和合成控制部57合成的合成图像。操作部59包含释放按钮、菜单按钮等操作部件，当用户对操作部59进行操作时，控制部51根据操作向各部输出控制信号。

接着，使用图17～图21说明本实施方式的图像合成的处理。图17示出手持拍摄的动态图像（或连拍图像）。如图17（a）～（c）所示，该动态图像由一连串的静态图像构成，在画面内，树81的位置由于手抖而变化。

图18（b）、（c）将图18（a）所示的最初的一帧作为成为基准的代表图像，示出被摄体如何变化。这里，为了简便，示出仅纵向（y方向）变化的状况。被摄体即树81的图像在纵向偏移以与代表图像一致，检测差异最小时的偏移量。设该最小偏移量为变化量Δy1、Δy2。

当使用这里求出的变化量Δy1、Δy2来校正图17（b）、（c）所示的被摄体的位置时，如图19所示。即，图17（b）的图像在纵向上向上移动Δy1，图17（c）的图像在纵向上向下移动Δy2。

树81的叶子由于风而摇摆，太阳光的反射光闪耀。关于该闪耀的部分变化82，部分变化82a、82b、82c及其位置时时刻刻变化。使用变化量Δy1、Δy2校正后，设部分变化82b、82c的位置为y1、y2。图20是仅提取部分变化82a、82b、82c并使除此之外的部分的图像信号为最小值的变化图像。

图21示出代表图像（基准图像），是与图17（a）、图18（a）相同的图像。针对该代表图像合成图20所示的仅提取出部分变化82的变化图像时，能够得到由于叶子的摇摆而闪烁且反射光摇摆的图像。根据该方法，不利用动态图像的大部分，仅记录代表图像（参照图21）、变化点信息（y1、y2等）、以及变化图像（参照图20）即可，所以，能够使图像的数据量为小容量。并且，在打印时、或者利用电视机70等鉴赏静态图像时，能够享受附加了光的效果的没有抖动的动态图像的乐趣。

接着，使用图22说明执行在图17～图21中说明的图像合成的合成控制部57的具体结构。合成控制部57由增益赋予部57a、乘法器57b、57c、以及加法器57d构成。

即，增益赋予部57a与变化图像55a的输出连接，并连接成根据该变化图像55a向乘法器57b、57c输出增益。乘法器57b与增益赋予部57a的输出和变化图像55a的输出连接，并连接成向加法器57d输出乘法结果。乘法器57c与代表图像54a的输出和增益赋予部57a的输出连接，并连接成向加法器57d输出这些乘法结果。加法器57d连接成输入有来自乘法器57b、57c的各输出，并连接成向输出部58输出这些加法结果。

接着，说明这样构成的合成控制部57的动作。作为从代表提取部54输出的代表图像54a，使用摄影操作最初得到的图像，但是，当然也可以是摄影者选择的图像、动态图像或连拍图像中最稳定时的图像。

从图像变化提取部55输出的变化图像55a是所述图20所示的一连串的多个变化图像（参照图20（b）、（c）），部分变化82b、82c的部分以外为最小值。关于该变化图像55a的图像数据，按照各像素依次输入到乘法器57b和增益赋予部57a。变化图像55a为多个，当针对最初的一帧输入图像数据时，移动到下一帧反复进行数据输入，直到输入连续拍摄的帧数-1帧的图像数据为止。

增益赋予部57a根据变化图像55a的各像素的数据改变增益。即，关于没有变化的部分，图像数据设为最小值。在图像数据为最小值的情况下，设乘法器57b的增益为0，乘法器57c的增益为1。另一方面，关于有变化的部分，设乘法器57b的增益为1，乘法器57c的增益为0等，进行强调变化部的控制。另外，也可以逐渐改变乘法器57b的增益，也可以强调为1以上。根据情况，也可以改变颜色或使其具有变化。

当依次输入变化图像55a（图20（b）、（c））时，在原来的代表图像54a（图21）中逐渐合成变化的部分并输出到输出部58。因此，再现被由于风等而摇摆的叶子反射的太阳光闪耀的状况。在该再现时，仅需要原来的代表图像54a（图21）和变化图像55a（图20（b）、（c））的图像数据即可，不需要图19所示的用于构成动态图像的多个静态图像的图像数据。

接着，使用图23和图24所示的流程图，说明用于执行在图17～图21中说明的图像合成的动作。图23是提取图像的变化部的流程。

在进入变化提取的流程后，首先，将表示构成动态图像的图像数的变量n初始化为n=0（S501）。在该例子中，将动态图像摄影开始时的图像作为基准图像（代表图像）。接着，对变量n进行递增（S502），判定该递增后的变量n是否是与最终帧对应的值（S503）。在该判定结果为变量n到达最终帧的情况下，返回到原来的流程。

在步骤S503的判定结果为变量n没有到达最终帧的情况下，进行变量n和基准图像（代表图像）的比较（S504），进行偏移量（ΔXn、ΔYn）的判定（S505）。即，如使用图18说明的那样，偏移量是一边偏移图像一边求出一致度、该一致度最高时的偏移量。

接着，进行亮度变化部（Xan、Yan）的检测（S506）。在该步骤中，如在图19中说明的那样，检测亮度变化的部分，检测其X坐标和Y坐标。使用图26和图27在后面叙述该检测的详细情况。在检测亮度变化部后，接着将变化部（Xan、Yan）以外的图像数据设为最小值（S507）。即，将变化部分以外的图像数据设为最小值，设为新的第n个图像（参照图26（d））。

在步骤S507中生成新的第n个图像后，将其记录为合成用图像n（S508）。如上述的图20所示，该合成用图像n是仅由亮度变化的变化部构成的图像。记录合成用图像n后，返回步骤S502，对变量n进行递增，执行所述动作。

接着，使用图26和图27说明步骤S506中的亮度变化部检测的子流程。首先，使用图26说明亮度变化部的检测的考虑方法。图26（a）～（c）示出图26（e）所示图像沿着画面规定部的横向的亮度分布。虽然在图上没有明确记载，但是，图26（a）～（c）的横轴示出像素的位置，纵轴示出各像素的输出。根据被摄体像的亮度形成图示的图案。

图26（a）示出基准图像（代表图像）的明暗图案，图26（b）是第n个图像，这里，亮度增加ΔB。然后，表示帧数的变量n进一步增加，当成为第n+m个图像时，变化部分的闪耀消失。这样，亮度差ΔB增加，然后，回到原来的亮度。

在本实施方式中，不是仅把亮度变化的部分检测为亮度变化部，在变明亮之后，判定是否再次回到原来的亮度，将满足该条件的部分作为亮度变化部。检测出满足该条件的部分后，设该部分的范围X1～X2为Xan。针对Y轴方向，利用同样的考虑方法，检测变化部分，设该部分的范围Y1～Y2为Yan。

按照图26（a）～（c）的考虑方法检测出变化部Xan后，设该变化部以外的值为最小值，由此，如图26（d）所示，能够得到合成图像，将该合成图像作为新的第n个图像（参照S507）。

接着，使用图27所示的流程图说明该亮度变化部检测的动作。如上所述，不是检测闪耀亮一下就结束的部分，而是必须检测其是否恢复到原来的亮度。即，闪耀并不一定在一瞬间消失，像圣诞树那样闪烁一会儿后消失的物体也存在，所以，利用是否恢复到原来的亮度来进行判定。

进入亮度变化部检测的流程后，首先，对基准图像（代表图像）和位置校正后的第n个图像进行比较，检测变化部Xan、Yan（S801）。在该步骤中，如在图26（a）、（b）中说明的那样，检测产生亮度差ΔB的变化的部分。接着，设基准图像（代表图像）的Xan、Yan的亮度为B0（S802）。对第n个图像进行检测后，将基准图像的亮度存储为B0，以便判定该部分的亮度是否再次回到原来的亮度。

接着，判定是否存在第n+1个图像（S803）。在该步骤中，针对动态图像和构成连拍图像的一连串的静态图像结束亮度判定，判定是否存在下一图像（n+1图像）。在该判定结果为存在n+1图像的情况下，求出该n+1图像的Xan、Yan的亮度，设其为B1（S804）。

求出亮度B1后，接着，判定该B1和在步骤S802中存储的B0是否大致相等（S805）。在该判定结果为不是大致相等的情况下，对变量n加上1（S807），返回步骤S803，进行上述动作。在反复进行步骤S803～步骤S807的过程中，在步骤S805的判定中，B1和B0变得大致相等。该情况下，判断为亮度变化且回到原来的亮度。当步骤S805的判定结果为B1≒B0时，将Xan、Yan作为亮度变化部（S806），返回原来的流程。

在步骤S803的判定结果为不存在n+1图像的情况下，不将Xan、Yan作为亮度变化部（S808），返回原来的流程。该情况下，虽然存在局部亮度变亮的部分，但是没有回到原来的亮度，所以不作为变化部。这样，判定是否回到原来的亮度是为了选择即使反复变化也没有不自然感的部分。例如，即使霓虹灯广告牌的光反复闪烁也没有不自然感，但是，在摄影过程中熄灭了电灯的窗户的明亮部如果被判定为变化部，令其反复闪烁会不自然，所以，在这种情况下，不将其作为变化部。

接着，使用图24所示的合成显示的流程图，说明对通过图23所示的流程得到的合成图像（变化图像）和基准图像（代表图像）进行合成显示的动作。

进入合成显示的流程后，首先，进行初始化以使表示合成图像的顺序的变量n为0（S601）。接着，对变量n加上1，使变量n递增（S602）。接着，判定是否对变化图像进行了处理直到最后的图像、即变量n是否为最后（结束）（S603）。

在步骤S603的判定结果为合成图像n不是最后的情况下，进行基准图像和合成图像的合成（S604）。通过使用图22说明的合成控制部7来执行该合成处理。在步骤S604中进行合成图像n和基准图像的合成后，返回步骤S602，然后，进行合成图像n+1和基准图像的合成。反复进行合成直到在步骤S603中判定为没有合成图像为止。

在步骤S603的判定结果为针对最后的合成图像已经结束的情况下，判定是否进行了结束操作（S605）。在该步骤中，判定是否通过操作部59内的操作部件指示了合成显示的结束。在该判定结果为没有进行结束操作的情况下，返回步骤S601，再次从开始进行合成显示。

在步骤S605的判定结果为进行了结束操作的情况下，结束合成显示，返回原来的流程。这样，反复进行步骤S601～S604，直到进行了结束操作为止。因此，例如，尽管是广告画这种静态图像，但在其上始终显示存在闪闪发光的部分的图像，成为与大画面电视机等相应的图像表现。

接着，使用图25所示的流程图说明能够进行这种显示的照相机的照相机控制的动作。

进入照相机控制的流程后，首先，判定是否是摄影模式（S701）。该照相机60能够设定摄影模式和再现模式这两个模式。在步骤S701的判定结果为是摄影模式的情况下，判定是否进行了释放操作（S702）。在该步骤中，判定是否操作了操作部59内的释放按钮。

在步骤S702的判定结果为没有进行释放的情况下，返回步骤S701，进行上述动作。另一方面，在判定结果为进行了释放的情况下，开始连续摄影（S703）。这里，连续摄影是通过摄影部52进行的动态图像摄影和连拍摄影，动态图像和连拍可以由用户通过菜单模式等预先适当设定。并且，开始集音（S704）。通过集音部6进行集音。接着进行记录动作（S705）。通过步骤S703和S704开始摄影和集音，所以，在该步骤中，开始图像和声音的记录。

开始图像和声音的记录后，接着，判定是否是移动体摄影（S706）。例如，在运动会中孩子正在跑步的场景中，提取上述这样的变化部的图像合成是不合适的，所以，判定被摄体是否不是移动体。即，关于画面中心的运动矢量在相同方向上持续变化的场景，被摄体可以被认为是移动体，所以，如本实施方式那样对静态图像附加变化的再现方法是不合适的。因此，检测运动矢量，判定被摄体是否是移动体。

在步骤S706的判定结果为不是移动体摄影的情况下，进行静态被摄体判定（S708）。该静态被摄体判定与图像数据一起被记录，在判定再现时是否是静态被摄体时加以利用（参照S714）。

当步骤S708的静态被摄体判定的记录结束后，或者步骤S706的判定结果为是移动体摄影的情况下，接着判定摄影是否结束（S707）。在连续摄影的情况下，最初操作释放按钮时，开始连续摄影，再次操作释放按钮时，结束连续摄影。因此，在该步骤中，判定是否再次操作了释放按钮。

在步骤S707的判定结果为摄影没有结束的情况下，返回步骤S705，继续执行连续摄影。另一方面，在步骤S707的判定结果为摄影结束的情况下，结束摄影和声音记录（S709）。结束后，再次返回步骤S701。

在步骤S701的判定结果为不是摄影模式的情况下，判定是否是再现模式（S711）。在该判定结果为不是再现模式的情况下，返回步骤S701。另一方面，在判定结果为是再现模式的情况下，进行图像选择（S712）。在该步骤中，例如进行缩略图显示，将用户选择的图像作为再现候选。

接着，判定是否进行电视输出（S713），在该判定结果为是电视输出的情况下，判定是否是静态被摄体（S714）。根据菜单模式的设定状态来判定是否是电视输出，并且，根据在步骤S708中记录的静态被摄体判定来进行是否是静态被摄体的判定。另外，不限于电视输出，在其他外部输出的情况下，也可以同样处理。另外，也可以在再现连续图像时检测运动矢量，从而判定是否是静态被摄体。

在不满足步骤S713和S714这两个条件的任一个的情况下，进行通常再现（S719）。在该通常再现中，直接再现所拍摄的连续图像。例如，在运动会中孩子跑步这种场景中，不需要本实施方式这种强调静态图像的好处，利用动态图像本身进行表现即可，所以，如所拍摄的那样进行再现。

另一方面，在步骤S713和S714这两个条件都满足的情况下，进行变化部提取（S715）。在该步骤中，执行使用图23说明的变化提取部的子流程。接着，开始声音再现（S716）。

接着，开始合成显示（S717）。这里，开始使用图24说明的合成显示的子流程。在步骤S716中开始声音，这里，假设声音为鸟叫声或波浪的声音等，能够结合图像的变化聆听周围的声音。在步骤S717中开始图像合成，并再现显示该合成图像，但是，不对声音进行特别的处理，而反复再现在摄影期间中得到的声音。

接着，判定再现是否结束（S718）。在该步骤中，判定是否操作了操作部59内的再现操作部件。在该判定结果为再现没有结束的情况下，返回步骤S717，继续进行连续摄影的再现动作。在步骤S718的判定结果为再现结束的情况下，结束声音和图像的再现（S720）。

接着，进行合成动态图像的文件化（S721）。这里，生成在步骤S715～S718中合成的合成动态图像的文件。例如如果能够将该合成动态图像文件传送到其他设备，则即使是照相机60以外的外部再现装置，也能够同样进行图像再现。

如以上说明的那样，在本实施方式中，设置从摄影图像中提取相对于基准图像依次变化的部分的图像的图像变化提取部55、和在基准图像上依次合成变化部分的图像的合成控制部57。因此，能够以简单的操作来再现也能够适合利用电视机等进行再现的图像。并且，相对于静态图像的完成度，添加作为动态图像的变化进行显示，所以，在构图的稳定度方面，能够富有美感地表现时间的移动，能够提供能够平心静气地进行鉴赏的图像。

另外，在本实施方式中，是如静态图像那样在拍摄瞬间完成的图像，但附加风的微微摇动、波浪反射引起的光的闪耀、霓虹灯广告牌信号、或圣诞树等光的变化，使得富有变化的图像再现成为可能。

另外，在本实施方式中，将最初拍摄瞬间的图像作为基准图像（代表图像），但是，当然，如果在摄影中途存在更稳定的图像，则也可以将其作为代表图像。另外，设为提取变化部分向明亮方向变化的情况，但是不限于此，也可以将向暗方向变化的部分作为变化部分。另外，针对变化部分，也可以考虑除亮度附加外还变更颜色等的处理，由此，可以在自然的基础上添加超现实的感觉。

另外，在本实施方式中，使用记录在记录部53中的动态图像，在代表提取部54、图像变化提取部55、合成控制部57中进行图像处理，但是，该图像处理不限于记录在记录部53中的动态图像，当然也可以使用在摄影前从摄影部52输出的动态图像的图像数据来进行。

另外，在本实施方式中，照相机60进行摄影，并且，还作为图像再现装置发挥功能，但是不限于此，例如，也可以将由照相机60连续拍摄的图像数据安装到个人计算机上，根据该图像数据提取变化部，再现显示与基准图像合成后的图像。

在本发明的各实施方式中，记录摄影图像的图像数据，从该所记录的图像数据中提取特征点，使所提取的特征点以动态图像的方式进行变化，对图像数据进行图像合成并显示。因此，能够以简单的操作来再现能够适合于利用电视机等进行鉴赏的图像。另外，在本发明的各实施方式中，提取特征点时，提取动态图像的变化部分、静态图像中比周围明亮的部分，但是不限于此，例如也可以采用提取颜色变化的部分等其他提取方法。

另外，在本发明的各实施方式中，以动态图像的方式变化时，仅从动态图像中提取变化部分，将其与基准图像进行合成，或者对静态图像中比周围明亮的部分进行放大并合成，但是不限于此，也可以以动态图像的方式依次改变选择部分，或者，也可以利用选择动态图像中比周围明亮的部分并放大该部分等各种方法、以动态图像的方式进行变化。

另外，在本发明的各实施方式中，利用照相机60、10进行摄影，将该照相机60、10与外部的电视机70、20等连接，将其作为图像再现装置加以利用，但是不限于此，例如，也可以将由照相机60、10拍摄的图像数据安装到个人计算机等上，根据该图像数据来合成图像，利用个人计算机的显示部或外部电视机等显示装置来再现显示合成后的图像。

另外，在本发明的各实施方式中，作为再现用的设备，使用数字照相机进行了说明，但是，作为照相机，可以是数字单反照相机，也可以是紧凑型数字照相机，还可以是摄像机、电影照相机这种动态图像用的专用照相机，而且，也可以是便携电话、便携信息终端（PDA：Personal Digital Assist）等中内置的照相机。任何情况下，只要是能够再现静态图像和动态图像、连拍等连续摄影的图像的设备即可。

本发明不限于上述实施方式，在实施阶段中能够在不脱离其主旨的范围内对结构要素进行变形并具体化。另外，通过上述实施方式所公开的多个结构要素的适当组合，能够形成各种发明。例如，可以从实施方式所示的所有结构要素中删除几个结构要素。另外，还可以适当组合不同实施方式中的结构要素。

Claims (16)

1.一种图像再现装置，所述图像再现装置包括：

代表提取部，从连续拍摄的摄影图像中提取代表图像；

图像变化提取部，基于所述代表图像，从所述连续拍摄的摄影图像中提取在时间上依次变化的部分变化图像；

合成控制部，其在所述代表图像上依次合成所述部分变化图像，使得合成后的图像显示。

2.根据权利要求1所述的图像再现装置，其中，所述图像再现装置还包括：

记录部，存储所述连续拍摄的摄影图像，以及在时间上依次变化的所述部分变化图像。

3.根据权利要求1所述的图像再现装置，其中，所述合成控制部在所述代表图像上反复地合成所述部分变化图像，使得合成后的图像反复地显示。

4.根据权利要求1所述的图像再现装置，其中，所述合成控制部对于在时间上依次变化的所述部分变化图像，进行强调变化部分的控制。

5.根权利要求1所述的图像再现装置，其中，所述代表图像为摄影操作最初得到的图像，或者为摄影者选择的图像，或者为所述连续拍摄的摄影图像中最稳定时的图像。

6.根据权利要求1所述的图像再现装置，其中，所述图像再现装置还包括：

控制部，判断所述连续拍摄的摄影图像的被摄体是否是静态被摄体；并且在是静态被摄体的情况下，控制所述图像变化提取部以及所述合成控制部。

7.根据权利要求1所述的图像再现装置，其中，所述图像变化提取部检测所述连续拍摄的摄影图像与所述代表图像的变化量，并使用所述变化量校正被摄体的位置。

8.根据权利要求1所述的图像再现装置，其中，所述部分变化图像的亮度和/或颜色被改变。

9.一种图像再现方法，所述图像再现方法包括：

从连续拍摄的摄影图像中提取代表图像；

基于所述代表图像，从所述连续拍摄的摄影图像中提取在时间上依次变化的部分变化图像；

在所述代表图像上依次合成所述部分变化图像，使得合成后的图像依次显示。

10.根据权利要求9所述的图像再现方法，其中，所述图像再现方法还包括：

存储所述连续拍摄的摄影图像，以及所述在时间上依次变化的部分变化图像。

11.根据权利要求9所述的图像再现方法，其中，在所述代表图像上反复地合成所述部分变化图像，使得合成后的图像反复地显示。

12.根据权利要求9所述的图像再现方法，其中，对于所述在时间上依次变化的部分变化图像，进行强调变化部分的控制。

13.根权利要求9所述的图像再现方法，其中，所述代表图像为摄影操作最初得到的图像，或者为摄影者选择的图像，或者为所述连续拍摄的摄影图像中最稳定时的图像。

14.根据权利要求9所述的图像再现方法，其中，所述图像再现方法还包括：

判断所述连续拍摄的摄影图像的被摄体是否是静态被摄体；

并且，在是静态被摄体的情况下，提取在时间上依次变化的部分变化图像以及在所述代表图像上依次合成所述部分变化图像。

15.根据权利要求9所述的图像再现方法，其中，所述方法还包括：

检测所述连续拍摄的摄影图像与所述代表图像的变化量，并使用所述变化量校正被摄体的位置。

16.根据权利要求9所述的图像再现方法，其中，所述部分变化图像的亮度和/或颜色被改变。

Images