CN105516611B - 摄像装置和摄影方法 - Google Patents

Abstract

本发明提供摄像装置和摄影方法，能够在摄影过程中一边观察被摄体，一边简单地将任意亮度的轨迹调节到符合摄影者的意图的开始点和长度。该摄像装置对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光而取得分割图像数据，在合成多个分割图像数据而生成具有轨迹的合成图像时，按照每个像素数据，判定像素数据是否在设定部所设定的判定阈值(HL、LL)内，并根据判定结果，变更图像合成的种类，取得仅规定的被摄体的轨迹。

Description

摄像装置和摄影方法

技术领域

本发明涉及在数字照相机等摄像装置中，可通过图像合成生成B门拍摄图像、且可显示B门拍摄中的经过图像的摄像装置和摄影方法。

背景技术

当前公知有在天体摄影等对被摄体亮度较暗的被摄体进行拍摄的情况下，延长曝光时间而进行拍摄的B门拍摄等拍摄技法。在该B门拍摄等中，公知有如下方法：由于难于设定成为适当曝光的曝光时间，依次取得以规定的时间间隔进行了曝光的分割曝光图像数据，并多重合成这些分割曝光图像数据，取得成为适当曝光的一张摄影图像。

一般来说，关于这种被摄体像，由于被摄体像中的被摄体亮度的亮暗差较大的情况较多，所以例如当摄影者以适当曝光的方式对天体(星星)等主要的被摄体像进行多重合成时，有时除主要的天体以外的被摄体像变为过度曝光等，无法获得适当曝光。

提出了各种用于合成通过这种多重曝光而取得的多个图像，从而取得适当曝光图像的技术(例如，日本专利第4565504号公报(以下，称作专利文献1)、日本专利第4148586号公报(以下，称作专利文献2))。在该专利文献1、2中公开了，在以规定时间间隔进行多张拍摄而取得分割曝光图像数据，并对这些分割曝光图像数据进行图像合成处理时，按照每个分割曝光图像数据，进行比较亮合成处理。这里，比较亮合成处理为如下技术：按照每个像素，对两个图像的像素数据进行比较，选择亮度输出较大一方的像素数据而进行合成处理。

对分割曝光图像数据仅进行相加合成，例如，在通过天体摄影拍摄星星的轨迹时，在普通的长时间曝光摄影中，在背景中除了星星以外还存在建筑物等的情况下，建筑物的明亮的部分曝光过度。与此相对，在进行比较亮合成处理的情况下，由于没有单纯地将像素值相加，建筑物变为一定的明亮度，建筑物为适当曝光并能够对星星的轨迹进行拍摄。

通过采用上述比较亮合成处理，能够获得背景明亮的部分也适当曝光的合成图像。但是，摄影者的意图是多样的。例如，在天体摄影等中，有时意图在于想要使作为主要被摄体的星星或烟花的光的轨迹明确等。而且，也有时产生如下意图：想要记录作为主要被摄体的星星或烟花的光的轨迹中的、针对位于某个特定的明亮度区域的星星或烟花的光的光的轨迹等。

对此，使用前述的专利文献1、2所记载的技术，为了遵循摄影者的意图而分别对作为主要被摄体的星星或烟花的光的轨迹和背景(夜空等)进行拍摄，需要调整曝光(光圈、感光度)而进行拍摄。该调整需要拍摄经验，还需要几次试拍。此外，虽然能够通过曝光的调整，使较暗的星星消失，但是相反，无法使比较亮的星消失。

例如，当对如多个天体(星星)散布这样的天体图像(参照图12A)进行普通的比较亮合成时，全部星星的轨迹被拍摄(参照图12B)。在如图12B所示的比较亮合成图像中，除想要关注的区域的星星的轨迹以外，多个星星的轨迹被拍摄，成为星星的轨迹交错地残留在整个摄影图像中这样的令人厌烦的图像。

发明内容

本发明正是鉴于这种情况而完成的，其目的在于提供一种摄像装置和摄影方法，能够在摄影中，一边观察被摄体像，一边简单地将任意亮度的轨迹调节到符合摄影者的意图的开始点和长度。

本发明的摄像装置包括：摄影控制部，其对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光而取得分割图像数据；判定部，其按照上述分割图像数据的每个像素数据，判定像素数据是否在规定的判定阈值内；图像合成部，其按照上述分割图像数据的每个像素数据，进行第1图像合成或者第2图像合成；图像合成控制部，其根据上述判定部的判定结果，选择上述第1图像合成和上述第2图像合成中的任意一方，根据该选择在上述图像合成部中按照每个像素数据进行图像合成，生成合成图像数据；以及第1记录部，其记录通过上述图像合成控制部的控制而生成的上述合成图像数据。

本发明的摄影方法包括：摄像步骤，对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光，取得分割图像数据；判定步骤，按照上述分割图像数据的每个像素数据，判定像素数据是否在规定的判定阈值内；图像合成步骤，根据上述判定步骤的判定结果，选择上述第1图像合成和上述第2图像合成中的任意一方，根据该选择而按照每个像素数据进行图像合成，生成合成图像数据；以及记录步骤，记录在上述图像合成步骤中生成的上述合成图像数据。

根据本发明，能够提供一种摄像装置和摄影方法，能够在摄影过程中一边观察被摄体像，一边简单地将任意亮度的轨迹调节到符合摄影者的意图的开始点和长度。

附图说明

图1是示出本发明的第1实施方式的照相机的主要电气结构的框图。

图2A和图2B是示出在本发明的第1实施方式的照相机中进行天体摄影的情况中的合成图像的图。

图3是示出本发明的第1实施方式的照相机的主要动作的流程图。

图4是示出本发明的第1实施方式的照相机的图像合成处理的动作的流程图。

图5是示出本发明的第1实施方式的照相机的图像合成处理的动作的流程图。

图6是示出本发明的第1实施方式的照相机的显示处理的动作的流程图。

图7是示出在本发明的第2实施方式的照相机中进行了天体摄影的情况中的合成图像的图。

图8是示出本发明的第2实施方式的照相机的主要动作的流程图。

图9是示出本发明的第2实施方式的照相机的图像合成处理的动作的流程图。

图10是示出本发明的第2实施方式的照相机的图像合成处理的动作的流程图。

图11是示出本发明的第2实施方式的照相机的图像合成处理的动作的流程图。

图12A和图12B是示出以往的利用比较亮合成的天体的摄影图像的图。

具体实施方式

以下，作为本发明的优选实施方式，对应用于数字照相机的例子进行说明。该照相机具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体背面的显示部上对被摄体像进行实时取景显示。拍摄者通过观察实时取景显示，确定构图和快门时机。在释放操作时，将图像数据记录在记录介质中。在选择再现模式时，能够将记录在记录介质中的图像数据进行再现显示在显示部上。

此外，该照相机在B门拍摄时以规定时间间隔进行曝光(将该曝光称作分割曝光)，使用通过该分割曝光取得的分割曝光图像数据，进行图像合成。在该图像合成时，根据像素数据和通过摄影者的手动操作而输入的阈值，变更比较亮合成和比较暗合成(或者平均相加合成)等图像合成的处理。通过该图像处理的变更，能够获得遵循摄影者的意图的图像(例如，参照图2A、图2B、图7等)。

首先，使用图1～图6说明本发明的第1实施方式。在本实施方式中，通过摄影者的操作，指定亮度等级的范围，对像素数据和亮度等级的范围进行比较，并根据该比较结果，进行比较亮合成或者比较暗合成(或者平均相加合成)的变更。

图1是示出本实施方式的照相机100的主要电气结构的框图。该照相机具有：摄影镜头1、光圈机构3、快门5、摄像元件7、控制部10、总线11、AE处理部13、AF处理部15、显示部17、电源部19、图像处理部20、输入部30、检测部41和存储器部43。另外，包含摄影镜头1和光圈机构3的镜头镜筒可以与照相机主体一体构成，还可以作为更换式镜头镜筒构成。

摄影镜头1包含变焦透镜或对焦透镜等多个光学透镜，使光学像在摄像元件7的摄像面上成像。具有使变焦透镜或对焦透镜沿着光轴方向移动的驱动机构，根据后述的AF处理部15的输出，控制部10为了对焦而控制对焦透镜位置。

光圈机构3被配置在摄影镜头1的光路中，构成为开闭自如，为了调整入射到摄像元件7的摄影光束的光量，开口直径发生变化。光圈机构3的开口直径由控制部10进行驱动控制。即，控制部10根据AE处理部13的输出控制光圈值，以成为适当曝光。

快门5被配置在摄影镜头1的光路中，构成为将摄像元件7投射到摄像面的摄影光束切换为遮光状态或者曝光状态。通过该快门5，调整摄像元件7的曝光时间。由控制部10根据AE处理部13的输出控制快门5的开口时间(曝光时间)。

摄像元件7具有使通过摄影镜头1会聚的来自被摄体的摄影光束成像的摄像面。在摄像元件7的摄像面上二维配置多个像素，还在入射面侧设置有彩色滤光片。摄像元件7的各像素将与成像于摄像面的摄影光束对应的光像(被摄体像)转换为与其光量相应的模拟图像信号。该模拟图像信号通过A/D转换器(未图示)被转换为数字信号(将与模拟图像信号对应的数字信号简称作“图像数据”)，并被输出到总线11。

总线11是用于收发各种数据的总线。AE处理部13经由总线11，输入图像数据，从该图像数据提取被摄体亮度信息，控制部10根据被摄体亮度信息，运算使曝光等级成为适当的快门5的曝光时间或光圈机构3的光圈值。

AF处理部15经由总线输入图像数据，根据与该图像数据的空间频率的高频成分的强度相关的对比度值，检测被摄体的焦点状态。如前所述，控制部10根据该检测结果，调节摄影镜头1的焦点位置。

图像处理部20具有合成处理部21、显影处理部23和显示处理部25。合成处理部21具有比较亮合成部21a、比较暗合成部21b、相加/平均处理部21c和像素选择部21d，并根据经由总线11而输入的图像数据和检测部41的检测结果，进行比较合成处理、平均合成处理、加算处理等合成处理，生成图像数据。合成处理部21发挥作为图像合成部的功能，对分割图像数据的每个像素数据进行第1图像合成或者第2图像合成。

比较亮合成部21a对两个图像数据分别对应的位置的像素的像素数据进行比较，选择像素数据较大的一方而对图像进行合成。换言之，比较亮合成部21a对分割图像数据的像素数据的亮度输出和合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较大的一方的像素数据作为新的合成图像数据，进行合成处理(也称作第1图像合成)。另外，在最初进行比较亮合成时，使用两个分割图像数据进行。

比较暗合成部21b对两个图像数据分别对应的位置的像素的像素数据进行比较，选择像素数据较小的一方而对图像进行合成。另外，比较亮合成部21a和比较暗合成部21b也可以仅在对应的位置像素的像素数据的差分值为阈值以上的情况下，选择像素数据较大的一方或者较小的一方。换言之，比较暗合成部21b对上述分割图像数据的像素数据和上述合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较小的一方的像素数据作为新的合成图像数据，进行合成处理(也称作第2图像合成)。另外，在最先进行比较暗合成时，使用两个分割图像数据进行。

加算/平均处理部21c利用对应的像素的像素数据的平均值，对图像进行合成。像素选择部21d从经由总线11而输入的图像数据中，依次选择像素数据(参照后述的图5的S51～S61)。

显影处理部23对于通过合成处理部21生成的图像数据或者通过显示处理部25生成的图像数据，进行灰度转换处理、白平衡调整、边缘处理、宽动态范围图像数据的合成处理等各种图像处理。该显影处理部23将实施了该各种图像处理的图像数据输出到总线11。

显示处理部25针对经由总线11输入的图像数据或者通过合成处理部21生成的图像数据，使用来自检测部41的处理数据，进行显示用图像处理，生成图像数据，输出到总线11。

显示部17具有配置在照相机主体的背面等的LCD面板或有机EL面板等显示面板、及/或电子取景器等显示监视器。显示部17根据通过显影处理部23生成且通过显示处理部25进行显示处理的图像数据，显示被摄体像，还显示其他信息。

显示部17作为每当由图像合成控制部生成合成图像数据时，对合成图像进行更新显示的显示部发挥功能(例如，参照图3的S17、图6)。此外，显示部17作为根据合成图像数据显示合成图像的显示部发挥功能，该显示部在合成图像上重叠显示被判定部判定为在规定的判定阈值内的位置(例如，参照图2A的框55、图6的S73)。电源部19向整个照相机供给电源。

输入部30包含：按钮/拨盘31、倾斜传感器33、GPS(Global Positioning System：全球定位系统)35、计时器37、触摸传感器39，输入照相机的各种模式设定或释放操作等各种操作，还获得照相机的朝向、位置、时间等信息。即，按钮/拨盘31为电源开关、释放按钮、模式拨盘、十字按钮等各种操作部件。此外，倾斜传感器33检测照相机的倾斜状态。GPS35检测照相机的当前位置。计时器37进行计时动作，还输出与年月日等当前时间相关的信息。触摸传感器39配置在显示部17的显示面板等的前面等，并检测摄影者的触摸操作等。

检测部41根据来自输入部30的信息，进行检测处理。具体而言，根据来自输入部30中的各操作输入部件等的操作输入信号，检测操作输入的种类。作为一例，通过来自触摸传感器39的操作输入，针对输出到显示部17的图像输出，检测摄影者进行指示的图像区域的位置，或者针对输出到显示部17的设定操作输入显示，检测指示了摄影者的位置等。

存储器43具有程序存储器43a、暂时记录用存储器43b和图像记录用存储器43c。程序存储器43a存储用于通过控制部10使照相机动作的各种程序和摄影者设定的数据等。此外，暂时记录用存储器43b暂时存储从摄像元件7读出的图像数据，还用作图像处理部20中的各种处理的工作存储器。图像记录用存储器43c记录处理为记录用的图像数据。该图像记录用存储器43c是卡存储器等非易失性的存储器，可相对于照相机进行拆装。此外，图像记录用存储器43c作为记录通过图像合成控制部的控制而生成的合成图像数据的第1记录部发挥功能(例如，参照图3的S21)。

控制部10具有CPU等处理器等，按照存储在程序存储器43a中的程序代码，进行照相机内的各部的控制。该控制部10具有作为例如控制摄影中的曝光量，或者控制拍摄定时的摄像控制部的功能。此外，构成A/D转换控制部的一部分。此外，进行将摄影镜头1驱动到对焦位置的控制。此外，进行控制使得光圈机构3为规定的开口直径。此外，进行快门5的曝光时间的控制。

此外，控制部10与摄像元件7协作，发挥作为摄影控制部的功能，该摄影控制部对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光，取得分割图像数据的(例如，参照图3的S3～S9)。此外，控制部10发挥作为判定部的功能，该判定部按照分割图像数据的每个像素数据，判定该像素数据是否在规定的判定阈值内(例如，参照图4的S31、S33、S37)。此外，控制部10与合成处理部21协作，发挥作为图像合成控制部的功能，该图像合成控制部根据判定部的判定结果，选择第1图像合成和第2图像合成中的任意一个，并根据该选择，在图像合成部中，按照每个像素数据进行图像合成，生成合成图像数据(例如，参照图4的S35、S39、S41)。

接着，使用图2A和图2B，说明本实施方式中的操作画面和合成图像(经过图像)。图2A示出在为了进行天体摄影而设定了实时B门模式时，显示在显示部17中的实时取景图像。在该例子中，与多个星星53一起显示有背景(山、塔、房子等)。此外，在画面的左下显示了亮度范围设定用的设定部51。

在亮度范围设定用的设定部51中，在左侧示出了亮度，摄影者通过十字按钮或触摸面板等，设定在摄影时想要记录的亮度范围的上限阈值HL和下限阈值LL。“设定”的文字被记载，表示摄影者可进行亮度范围的设定。在设定了亮度范围的上限阈值HL和下限阈值LL后，如后所述，在本实施方式中，对进入亮度范围的被摄体(在该例子中为星星53)，以在框55中能够识别的方式进行显示。

在图2A所示的例子中，由摄影者在设定部51中设定中等程度的亮度范围，以描述该范围的亮度的被摄体的移动轨迹的方式，进行图像合成(参照图2B)。因此，成为不描绘全部移动体(星星53)的移动轨迹，而是描绘由设定部51设定的范围的明亮度的移动体的移动轨迹的合成图像，能够获得摄影者想要的图像。

接着，使用图3至图6所示的流程图，说明本实施方式的动作。这些流程图(还包含后述的图8至图10所示的流程图)由控制部10按照存储在程序存储器43a中程序执行。在该流程图中，对多重曝光摄影作用进行了特殊的说明，该多重曝光摄影中，通过取得多张分割曝光的图像数据并进行多张分割曝光图像数据的合成处理，从而生成一张B门拍摄图像数据。

摄影者通过操作释放按钮，开始曝光开始处理。作为曝光开始处理，首先，进行曝光准备(AF/AE)(S1)。这里，根据从摄像元件7取得的摄影图像(实时取景图像)，AF处理部15取得焦点信息。根据取得的焦点信息，控制部10进行自动对焦控制，使得摄影镜头1中的焦点调节用的对焦透镜的位置成为对焦位置(AF处理)。

此外，AE处理部13根据从摄像元件7取得的摄影图像(实时取景图像)，取得被摄体亮度信息。根据取得的被摄体亮度信息，控制部10计算在光圈机构3中设定的光圈量和在快门5中设定的曝光时间。控制部10针对光圈机构3，以成为基于计算出的光圈量的开口光圈量的方式控制开口光圈位置，(自动曝光控制(AE)处理)。

另外，在进行B门拍摄时，当摄影者按下快门按钮时，快门5打开并开始曝光，此外，当解除快门按钮的按下(或者再次按下快门按钮)时，快门5关闭，曝光结束。另外，如后所述，在伴随比较亮合成等多重曝光合成的B门拍摄时，从曝光开始到曝光结束期间，每经过摄影者手动设定或者根据亮度被自动设定的分割曝光时间时，从摄像元件7反复读出图像数据，将图像数据输出到总线11。

在步骤S1中进行了曝光准备后，接着开始曝光(S3)。这里，控制部10使快门5开口，使通过摄影镜头1的被摄体像入射到摄像元件7的摄像面。此外，在开始曝光的同时，使计时器37复位，开始计时动作。

在步骤S3中开始了曝光后，接着判定是否到达所设定的曝光时间(S5)。在步骤S33中开始了曝光后，根据计时器37的计时信息，判定是否经过了被手动设定或者自动设定的分割曝光时间。在该判定的结果为没有经过曝光时间的情况下，再次返回步骤S5的判断处理。

当步骤S5中的判定的结果为到达了所设定的曝光时间时，结束曝光(S7)，从摄像元件7读出图像数据，并作为图像n保持在暂时记录用存储器43b中(S9)。这里，结束摄像元件7的曝光，读出图像数据。n为分割曝光图像的拍摄顺序，n＝1为最初的图像，以后，每进行分割曝光时，在n上加1(n为进行分割曝光而依次获得的第n个分割曝光图像数据，n＝1、2、……，初始值为1)。另外，也可以由摄像元件7的电子快门或者快门5，进行曝光的结束。

在步骤S9中，在将图像数据保持到暂时记录用存储器43b中后，接着判定图像n是否为第一张(S11)。如前所述，对于最初的分割图像，n＝1。在图像为第一张的情况下，进行保持，在图像为第二张以后的情况下，进行图像合成。

在步骤S11中的判定的结果为图像n为第一张的情况下，将图像n转移到图像m(S13)。这里，将在步骤S9中读出的分割图像的分割曝光图像数据，作为图像m(经过图像)暂时存储到暂时记录用存储器43b中。

另一方面，在步骤S11中的判定的结果为图像n不为第一张的情况下，进行图像合成处理(S15)。这里，由于图像为第二张以后，因此由合成处理部21进行图像合成。如后所述，针对作为图像n而暂时存储的分割曝光图像数据的像素数据和作为图像m而暂时存储的经过图像的图像数据的像素数据，按照分别对应的每个像素数据，比较在图2A的设定部51中设定的亮度范围和像素数据，并根据比较结果，进行比较亮合成或者比较暗合成(或者平均相加合成)，将所合成的经过图像作为图像m暂时存储。将使用图4、图5，对该图像合成处理的详细动作进行后述。

在步骤S13中将图像n转移到图像m后，或者在步骤S15中进行了图像合成处理后，接着进行显示处理(S17)。这里，显影处理部23和显示处理部25对在步骤S13中存储的初始图像的图像数据、或者在步骤S15中合成处理的经过图像的图像数据进行显示用的处理，在显示部17中显示初始图像或者经过图像。后面使用图6，对该显示处理的详细动作进行叙述。

在步骤S17中进行了显示处理之后，接着进行摄影结束的判定，即，进行对摄影者是否进行了摄影结束动作的判定(S19)。这里，根据输入部30的释放按钮等操作部件的操作状态进行判定。在该判定的结果为没有进行摄影结束动作的情况下，返回步骤S3，重复接下来的分割曝光、图像合成处理、经过图像的显示等动作。

另一方面，在步骤S19中的判定的结果为进行了摄影结束动作的情况下，对图像m进行图像处理并保存(S21)。这里，将由图像处理部20进行了图像合成/显影处理等并作为图像m而存储的经过图像的图像数据，作为最终的摄影图像数据保存到图像记录用存储器43c中。在对图像数据进行保存后，结束摄影动作。

接着，使用图4和图5，说明步骤S15中的图像合成处理。另外，在进行该流程图的说明时，将图像n设为第n次拍摄的分割曝光图像数据In，将图像m设为第m次拍摄的合成处理后的合成图像数据Sm。在分割曝光图像数据In、合成图像数据Sm中分别包含从与二维的图像的坐标(X，Y)对应的像素中获得的像素的亮度输出In(X，Y)和Sm(X，Y)。

此外，设定了“比较亮标志”，作为对合成处理部21中的合成处理的种类进行判别的状态变量。在将该变量设定为1或者0的值，将比较亮标志设定为1的情况下，合成处理部21通过比较亮合成处理部21a，进行比较亮的合成处理。另一方面，在将比较亮标志设定为0的情况下，合成处理部21进行比较暗合成处理部21b或者相加/平均处理部21c的合成处理。

当进入图4的图像合成处理的流程时，首先，进行图像m的像素数据与设定输出的比较，进行比较亮标志的状态设定(S31)。即，在设定输出2＞图像m的像素(X，Y)的输出＞设定输出1，或者，设定输出2＞图像n的像素(X，Y)的输出＞设定输出1的情况下，设定为比较亮标志＝1，在不同的情况下，设定为比较亮标志＝0。这里，设定输出1与图2A中的设定部51的亮度范围的下限值LL相当，设定输出2与亮度范围的上限值HL相当。

在该步骤S31中，按照分割曝光图像数据In、合成图像数据Sm各自的二维(X，Y)的亮度输出、像素输出进行比较，判别针对各像素进行的合成处理的种类(比较亮合成、比较暗合成等)。这里，根据规定的判定条件，判定分割曝光图像数据In中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出值Sm(X，Y)的值。这里，规定的判定条件是指设定为比较亮标志＝1的情况(也就是说，选择了比较亮合成作为合成处理的种类的情况)中的条件。

判断条件的阈值由规定的像素输出的上限值(步骤S71中的设定输出2中示出的值、图2A的上限值HL)和规定的像素输出的下限值(步骤S71中的设定输出1中示出的值、图2A的下限值LL)构成。由摄影者在显示画面(参照图2A的设定部51)中设定由该规定的像素输出的上限值和下限值构成的判定阈值。

在步骤S31中，判定分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据m中的各像素的亮度输出值Sm(X，Y)是否在从规定的像素输出的下限值(在设定输出1中示出的值、下限值LL)到上限值(设定输出2中示出的值、上限值HL)所示的范围内。

在满足上述判断条件的情况下，之后进行的合成处理的种类选择比较亮合成处理部21a(作为该步骤中的输出，设定为比较亮标志＝1)。按照二维配置的每个像素(X，Y)，进行这些判定。作为一例，首先判定与X＝0、Y＝0的坐标对应的双方的像素输出。接着对X方向上的分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据m中的各像素的亮度输出值Sm(X，Y)进行比较并判定。此外，作为其他方法，以如下顺序进行处理，首先将X方向的像素输出作为比较对象而进行比较判断，接着，按照对Y方向(垂直方向)上的双方的像素输出进行比较判定。因此，采用首先依次比较列线方向(X方向)的情况或首先依次比较行列方向(Y方向)的方法中的哪一个方法都可以。

这样，在步骤S31中，关于作为图像m而存储的图像数据和作为图像n而存储的图像数据，根据上述判定条件，对于各坐标(X，Y)中的像素输出，设定合成处理部21的判定结果信息即比较亮标志的值。在步骤S31中进行了比较亮标志的设定后，在步骤S33以后根据比较亮标志的状态，判定是比较亮合成或者比较暗合成，还是进行置换，并根据判定结果进行合成处理。

首先，进行图像m、图像n两者是否为比较亮标志＝1的判定(S33)。这里，在步骤S31中，根据按照每个像素而设定的比较亮标志，按照每个像素进行判定。

在步骤S33中的判定的结果为图像m和图像n两者的比较亮标志＝1的情况下，对图像m和图像n两者进行比较亮合成(S35)。即，将图像m的像素(X，Y)的输出设为图像n的像素(X，Y)的输出与图像m的像素(X，Y)的输出的较大一方。比较亮合成处理部21a进行该合成处理。

在步骤S35中的比较亮合成处理中，针对分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据m中的各像素的亮度输出值Sm(X，Y)的值，通过比较亮合成处理进行合成处理，生成第m+1个新生成的合成图像数据Sm+1(X，Y)。具体而言，合成处理后的图像数据Sm+1(X，Y)对分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和第m个被合成处理的图像数据中的各像素的亮度输出值Sm(X，Y)的输出进行比较后，设为输出较大的一方的输出值。

另一方面，在步骤S33中的判定的结果为并非图像m、图像n两者均为比较亮标志＝1的情况下，接着进行图像m、图像n两者是否为比较亮标志＝0的判定(S37)。这里，在步骤S31中，根据按照每个像素而设定的比较亮标志，按照每个像素进行判定。

在步骤S37中的判定的结果为图像m和图像n两者的比较亮标志＝0的情况下，使用图像m和图像n两者，进行比较暗合成(或者平均相加处理)(S39)。即，将图像m的像素(X，Y)的输出设为图像n的像素(X，Y)的输出和图像m的像素(X，Y)的输出的较小的一方(或者平均)。比较暗合成处理部21b或者加算/平均处理部21c进行该合成处理。

在步骤S39中的比较暗合成中，针对分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出值Sm(X，Y)的值，通过比较暗合成处理或者平均化合成处理进行合成处理，生成第m+1个新生成的合成图像数据Sm+1(X，Y)。

具体而言，关于合成处理后的图像数据Sm+1(X，Y)，是对分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和第m个被合成处理的图像数据中的各像素的亮度输出值Sm(X，Y)的输出进行比较，设为输出较小的一方的输出值或者两者(In(X，Y)和Sm(X，Y))的平均值。

在步骤S37中的判定的结果为并非图像m和图像n两者均为比较亮标志＝0的情况下，进行像素的置换处理(S41)。即，将图像m的像素(X，Y)的输出设为图像m、图像n的比较亮标志为1的图像的像素(X，Y)的输出。

在步骤S41中的像素的置换处理中，针对分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出值Sm(X，Y)，将比较亮标志为1的一方的像素的亮度输出值，作为第m+1个新生成的合成图像数据Sm+1(X，Y)的亮度输出值而进行生成。

具体而言，关于合成处理后的图像数据Sm+1(X，Y)，设为分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和第m个被合成处理的图像数据中的各像素的亮度输出值Sm(X，Y)中的比较亮标志为1一方的图像的亮度输出值。

在步骤S35、S39、S41中进行合成处理后，接着判定X是否为最大(S51)。这里，判定像素的X方向的坐标是否为摄影图像尺寸的最大值。

在步骤S51中的判定的结果为X不为最大的情况下，设定为X＝X+1(S53)。在该情况下，由于未到达X方向(水平方向)的端部，因此对像素的X坐标加1，错开X方向的1个坐标，返回步骤S31，对于错开的1个像素，进行前述的比较亮标志的判定，进行合成处理。

另一方面，在步骤S51中的判定的结果为X为最大的情况下，设定为X＝0(S55)。在该情况下，由于到达了X方向(水平方向)的端部，因此对X的坐标位置进行复位。

在步骤S55中，当X＝0时，接着，判定Y是否为最大(S57)。这里，判定像素的Y方向的坐标是否为摄影图像尺寸的最大值。

在步骤S57中的判定的结果为Y不为最大的情况下，设定为Y＝Y+1(S59)。在该情况下，由于没有到达Y方向(垂直方向)的端部，因此对像素的Y坐标加1，错开Y方向的1个坐标，返回步骤S31，对于错开的1个像素，进行前述的比较亮标志的判定，进行合成处理。

另一方面，步骤S57中的判定的结果为Y为最大的情况下，设定为Y＝0(S61)。在该情况下，由于到达了Y方向(垂直方向)的端部，对Y的坐标位置进行复位。另外，像素坐标(X，Y)的复位除在该步骤中进行以外，也可以在图像合成处理的最初进行。在对Y的坐标位置进行了复位后，结束图像合成处理的流程，返回原来的流程。

这样，在本实施方式的图像合成处理中，使用分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据m中的各像素的亮度输出值Sm(X，Y)，按照二维中的图像数据内的每个坐标(X，Y)，进行合成处理。

此外，在本实施方式中，具有分别保持分割图像数据的像素数据和合成图像数据的像素数据的存储器部(暂时记录用存储器43b)，分别判定分割图像数据的像素数据的亮度输出和合成图像数据的像素数据是否在规定的判定阈值内(例如，图4的S31、S33、S37)，根据与分割图像数据相关的判定结果和合成图像数据的判定结果，选择第1图像合成或者第2图像合成中的任意一方(例如，图4的S35、S37)。

此外，在本实施方式中，具有用于对判定阈值进行判定的操作部(参照输入部30、图2A的设定部51)，根据由操作部设定出的判定阈值，进行判定(例如，参照图4的S31)。

另外，在步骤S31中，由规定的像素输出的上限值(设定输出2中示出的值)和规定的像素输出的下限值(设定输出1中示出的值)构成的判定阈值不限于被固定为步骤S1中的摄影初始状态中所设定的值。在摄影中途(步骤S3～S19)通过输入部30的操作变更了设定值(上限值、下限值)的情况下，变更判定阈值，并使用该变更后的设定值，生成合成图像(经过图像)。

在本实施方式中，能够在摄影中途改变设定值。即，在该情况下，由于按照连续拍摄的每个取入图像(分割图像)，更新被比较亮合成的区域(像素)，所以能够从摄影中途，增加或者减少摄影者期望的被摄体区域中的轨迹。

接着，使用图6所示的流程图，说明步骤S17(参照图3)中的显示处理的动作。在该流程中，为了将摄影中途的中途经过图像显示在显示部17中，生成显示用图像Z，此外，进行与该显示用图像Z相关的显示处理。

当进入显示处理的流程时，首先，判定图像m的像素(X，Y)的比较亮标志是否为1(S71)。这里，在生成显示对象图像时，针对合成后的合成图像数据的各像素(X，Y)，判别合成处理是否是进行了比较亮合成。具体而言，判定与像素数据的坐标(X，Y)对应的比较亮标志的状态是1还是0。

在步骤S71中的判定的结果为比较亮标志为1的情况下，进行能够识别出进行了比较亮合成的特殊的图像处理(S73)。即，对图像m的该像素的周边或者该像素进行特殊的图像处理，将其在显示用图像Z中采用。在该情况下，由于作为对象的像素中的数据为进行了比较亮合成处理的像素，所以生成对被合成处理后的图像数据Sm(X，Y)、和表示相当于该坐标(X，Y)的周边的区域的图像进行重叠处理而得到的显示图像数据(参照图2A的框55)。

另一方面，在步骤S71中的判定的结果为比较亮标志不为1的情况下，进行普通的图像处理，将其在显示用图像Z中采用(S75)。在该情况下，由于作为对象的像素中的数据为进行了比较暗或者平均化合成处理的像素，所以，针对被合成处理后的图像数据Sm(X，Y)，直接生成显示图像Z(如步骤S73这样，表示区域的附加图像不重叠)。

在步骤S73或者S75中生成了显示用图像Z的图像数据后，在步骤S77～S87中，一边依次变更像素的X坐标和Y坐标一边移动。该坐标的移动与前述的步骤S51～S61相同，因此省略详细说明。

在步骤S77～S87中一边依次变更X坐标和Y坐标，一边对图像m的全部像素生成显示用图像Z的图像数据后，接着对显示用图像Z进行显示(S89)。这里，根据所生成的显示用图像Z的图像数据，在显示部17中显示经过图像。摄影者通过对该经过图像进行观察，能够对与时间一起变化的摄影图像进行观察。在该情况下，如前所述，通过在摄影中途改变设定值，从而能够增加或减少摄影者期望的被摄体区域中的轨迹。

这样，在本发明的第1实施方式中，使用作为判定用阈值的设定输出1、2，选择了每个像素的合成处理(特别是参照图4的S31～S41)。因此，能够简单地将任意亮度的轨迹调节到符合摄影者的意图的开始点和长度。

另外，在本实施方式中，根据通过分割曝光而逐次获得的当前取得的分割曝光图像数据的各像素中的亮度输出、以及成为中途经过图像数据的到目前为止所生成的合成图像数据的整个图像数据的状态，自动判定比较亮对象的设定区域。但是，比较亮对象的设定区域也可以不是两者的图像整体，而是仅以自动设定的两者的图像中的特定区域的图像区域为对象。关于特定区域的设定，也可以使用设定输出或时间信息、位置、场景识别等，自动地确定。

如第1实施方式这样，如果对于两者的图像的全部像素数据，对设定输出进行比较判断，则运算处理的步骤会增加。与此相对，如果对于两者的图像的特定区域的图像输出，对设定输出进行比较判断，则能够减少运算处理的步骤而执行。例如，在天体(星星)等被摄体的情况下，只要在星空区域中对图像区域特殊化而进行合成处理的种类的比较判断即可。此外，关于这些图像，特定的图像区域的亮度输出与背景图像的亮度之间的差较大。能够根据该特性，使用场景识别，对特定区域进行自动设定。

接着，使用图7至图11，说明本发明的第2实施方式。在第1实施方式中，如果在摄影的中途变更亮度输出等级的下限阈值和上限阈值，则之后按照该变更的阈值选择合成处理，并反映到经过图像。换言之，由于变更以前的合成处理不变，在阈值的变更前和变更后，经过图像中的轨迹在中途消失，或者有时从中途产生轨迹。与此相对，在第2实施方式中，对每经过分割曝光时间时所读出的分割图像数据进行单独存储，在改变阈值时，还使用变更以前的分割图像数据，再次重新进行合成处理。因此，由于在阈值的变更前和变更后，阈值不同，所以，显示的星星等不同，但是，不会发生轨迹在中途消失，或者从中途产生轨迹的情况。

本实施方式的照相机的结构与第1实施方式相同，因此省略详细说明(参照图1)。但是，合成处理部21和暂时记录用存储器43b的作用不同。即，在以下两点上不同：(1)将通过分割曝光而逐次取得的全部分割曝光图像数据保持在暂时记录用存储器43b中；(2)在通过摄影者的操作，变更中途经过中的合成处理的种类的情况下，再次读出在上述(1)中保存的从第一张起的分割曝光图像数据，根据变更后的合成处理的种类，再次进行合成处理。

此外，关于表示本实施方式的照相机的动作的流程图，第1实施方式的图6所示的流程图在第2实施方式中也相同，但是，将图3至图5的流程图置换成图8至图11所示的流程图。

在使用流程图说明本实施方式的动作之前，使用图7，说明亮度范围阈值的变更和与此相伴地显示的合成图像(经过图像)。图7所示的图像61～63、65、67～69在B门拍摄时，显示在显示部17中。这里，图像61、65、67为基于通过分割曝光而取得的图像数据的被摄体像。此外，图像62、63、68、69为对通过分割曝光取得的多个图像数据进行合成而生成的合成图像(经过图像)。另外，在图7中，在设定部51中省略如图2A、2B所示的“设定”的文字。也可以与图2A、2B同样记载“设定”。

现在，摄影者一边对在时刻T1取得的通过分割曝光产生的被摄体的图像61(图像67)进行观察，一边在设定部51中设定下限阈值LL(相当于设定输出1和上限阈值HL(相当于设定输出2)(下限阈值LL和上限阈值HL参照图2A)。进入该设定的范围的被摄体(星星等)被在框55中显示。

在为时刻T2时，取得通过分割曝光产生的多个分割曝光图像数据，通过合成处理部21进行合成处理，图像62作为经过图像显示在显示部17中。而且，在为时刻T3时，使用通过分割曝光取得的分割曝光图像数据，进一步进行合成处理，图像63作为经过图像被显示。该经过图像63与时刻T2的经过图像62相比，经过了时间，所以星星的轨迹延伸。此外，由于变更了设定，明亮的星星增加。

但是，在时刻T1观察图像61并设定了下限阈值LL和上限阈值HL之后，在到达时刻T2的时点，摄影者观察图像62，想要进行亮度等级的设定变更。在该情况下，一边观察通过分割曝光而取得的图像65，一边在设定部51中变更亮度输出等级的设定。在变更了亮度输出等级的设定后，在暂时记录用存储器43b中存储有从第1帧到最近为止的通过分割曝光而取得的全部图像数据的情况下，控制部10读出全部图像数据，合成处理部21使用该全部图像数据，进行合成处理而生成合成图像(经过图像)的图像数据，将图像68显示在显示部17中。另一方面，在未存储有从第1帧到最近的1帧为止的全部图像数据的情况下，使用到目前为止合成的合成图像数据和最近的图像数据，生成合成图像，将图像显示在显示部17中。

而且，在到达时刻T3时，使用时刻T1～T3期间的全部图像数据，使用变更后的亮度范围的上限值和下限值，生成合成图像(经过图像)的图像数据，将图像69显示在显示部17中。

这样，在本实施方式中，当在B门拍摄的中途变更了亮度范围的设定时，使用到目前为止存储的分割曝光的全部图像数据，使用变更后的亮度范围，再次生成合成图像(经过图像)的图像数据，并显示基于该图像数据的图像。因此，摄影者观察经过图像，在成为不想要的照片的情况下，改变设定，从而，能够变更为如摄影者想要的照片。

接着，使用图8，说明本实施方式的主要动作。与图3所示的第1实施方式中的主要动作相比，在如下的点上不同：在图8所示的第2实施方式中，将步骤S9、S11、S15置换为S10、S12、S16，并追加步骤S20，其他步骤中的处理都相同。对于相同的处理，赋予相同的步骤编号并省略说明，以不同点为中心进行说明。

进入图8的流程，当摄影者进行释放操作时，进行曝光准备(S1)，开始曝光(S3)，判定是否到达所设定的曝光时间(S5)。在到达所设定的曝光时间后，结束通过分割曝光进行的曝光(S7)。

从摄像元件读出图像数据，保持在暂时记录用存储器43b中(S10)。这时取得的分割曝光的图像数据按照每个分割曝光逐次存储在暂时记录用存储器43b中。这里，将第n次取得并保持在暂时记录用存储器43b中的图像作为图像n(n为进行分割曝光而依次获得的第n个分割曝光图像数据，n＝1、2……，初始值为1)。因此，在暂时记录用存储器43b中存储从摄影开始起最先取得的图像1到第n次取得的图像n为止的全部分割曝光图像数据。另外，在第1实施方式中，每取得分割曝光图像数据时，前次的图像数据被覆盖。

在步骤S10中读出图像数据并保存在暂时记录用存储器43b后，接着判定n是否为1(S12)。这里，判定在步骤S10中取得的分割曝光的图像数据的顺序是否为最初取得的顺序(n＝1)。

在步骤S10中的判定的结果为n＝1的情况下，将图像n转移到图像m(S13)。即，将最初取得的分割曝光的图像数据作为经过图像数据(m)，保持在暂时记录用存储器43b中。

另一方面，在步骤S10中的判定的结果不为n＝1的情况下，进行图像合成处理(S16)。这里，使用多个图像数据，进行合成处理部21的图像合成。在第1实施方式中，使用到目前为止的合成图像(经过图像)的图像数据和通过分割曝光而取得的图像数据，进行了图像合成，但是，在第2实施方式中，在存在亮度等级的变更的情况下，使用从最初开始的分割曝光的全部图像数据，进行图像合成。后面使用图9至图11，对该图像合成处理详细动作进行叙述。

在步骤S13中进行了图像的转移后，或者在步骤S16中进行了图像合成处理后，进行显示处理(S17)。这里，根据步骤S13或者S16中的图像数据，进行分割曝光的图像或者合成图像(经过图像)的显示。由于使用图6说明了该显示处理的详细动作，所以省略详细内容。

在步骤S17中进行了显示处理后，判定摄影者是否进行了摄影结束动作(S19)，在没有进行摄影结束动作的情况下，设定为n＝n+1(S20)。这里，使保存在暂时记录用存储器43b中的分割曝光的图像数据的张数计数(n)增加1。在设为n＝n+1后，返回步骤S3，开始下一个分割曝光，如前所述，生成合成图像(经过图像)。使用在该步骤中相加后得到的n，在步骤S10中，将分割曝光图像数据存储在暂时记录用存储器43b中。

另一方面，在步骤S19中的判定的结果为进行了摄影结束动作的情况下，对图像m进行图像处理并保存(S21)。将保持在暂时记录用存储器43b中的合成图像(经过图像)的图像数据(m)作为摄影图像数据，保存在图像记录用存储器43c中。在保存了图像数据后，结束主要动作。

接着，使用图9，说明步骤S16(参照图8)的图像合成处理的详细动作。

在进行流程图的说明之前，说明状态变量。这里，与第1实施方式的情况同样，将图像n设为第n次拍摄的分割曝光图像数据In，将图像m设为第m次拍摄并进行合成处理后的合成图像数据Sm。在分割曝光图像数据In、合成图像数据Sm中分别包含从与二维的图像的坐标(X，Y)对应的像素中获得的像素的亮度输出In(X，Y)和Sm(X，Y)。

在本实施方式中，如前所述，在使用通过分割曝光而取得的多个图像数据，进行合成处理时，有时在中途变更两个合成处理的种类。因此，在进一步进行合成处理后，准备比较亮判别变量J，作为状态变量。比较亮判别变量J是在通过多次分割曝光而进行合成处理时，对选择了比较亮合成处理而作为合成处理的次数进行计数的值。

此外，与第1实施例同样，设定比较亮标志，作为判别图像合成的种类的状态变量。该变量被设定为1或者0的值。在将比较亮标志设定为1的情况下，图像合成进行比较亮合成处理。另一方面，在将比较亮标志设定为0的情况下，图像合成进行比较暗合成或者平均化合成的合成处理。

在进入图9所示的图像合成处理的流程后，首先判定是否变更了设定输出(S23)。这里，判定在对图像合成的种类(比较亮合成、比较暗合成)进行判断时使用的判定阈值(这里为设定输出1、设定输出2的值)，即对于分割曝光图像数据In、合成图像数据Sm的亮度输出的判定阈值是否被摄影者变更。

在步骤S23中的判定的结果为变更了设定输出的情况下，接着判定是否为n＞2(S25)。在通过分割曝光拍摄的次数为两次以下的情况下，实际上无需从第一张起重新进行合成处理，因此，这里根据表示拍摄次数的n进行判定。

在步骤S25中的判定的结果为n＞2的情况下，设定为比较亮判别变量J＝n-2(S27)。另一方面，在步骤S23中的判定的结果为没有变更设定输出的情况或者并非n＞2的情况下，设定为比较亮判别变量J＝0。如前所述，比较亮判别变量J是在通过多次分割曝光进行合成处理时，对选择了比较亮合成处理作为合成处理的次数进行计数的值，在变更了设定输出的情况下，在步骤S27中设定变量J的初始值，另一方面，在S28中设定没有变更设定输出的情况中的变量J的初始值。

在步骤S27、S28中设定了变量J的值后，接着使图像n-1-J为图像m(S29)。这里，根据在第(n-1-j)次之前取得的分割曝光图像数据，对第m次拍摄并被合成处理的合成图像数据Sm进行合成处理，并保持在暂时记录用存储器43b中。

在步骤S29中进行了图像的转移后，接着进行图像m的像素数据与设定输出的比较，并进行比较亮标志的设定(S32)。该步骤中的处理为与第1实施方式的步骤S31(图4)类似的处理，但是在考虑了变量J这一点上不同。这里，在设定输出2＞图像m的像素(X，Y)的输出＞设定输出1，或者，设定输出2＞图像n-J的像素(X，Y)的输出＞设定输出1的情况下，设定为比较亮标志＝1，在不同的情况下，设定为比较亮标志＝0。

在该步骤S32中，按照每个像素输出，对第n次进行分割曝光而取得的分割曝光图像数据In和在步骤S29中被保持的合成图像数据Sm各自的二维(X，Y)的亮度输出进行比较，判别针对各像素进行的图像合成的种类。在该情况下，根据规定的判定条件，判定分割曝光图像数据In中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出Sm值(X，Y)的值。规定的判定条件是指设定为比较亮标志＝1的情况(也就是说，在作为图像合成的种类，选择了比较亮合成的情况)中的条件。

在步骤S32中进行了比较亮标志的状态设定后，在步骤S34以后根据比较亮标志的状态，判定是比较亮合成或者比较暗合成，还是进行置换，并根据判定结果进行合成处理。

首先，进行图像m、图像n-J的两者是否为比较亮标志＝1的判定(S34)。这里，在步骤S32中，根据按照每个像素而设定了状态的比较亮标志，按照每个像素进行判定。

在步骤S34中的判定的结果为图像m和图像n-J两者为比较亮标志＝1的情况下，对图像m和图像n两者进行比较亮合成(S36)。这里的处理与第1实施方式的步骤S35(参照图4)的处理类似。将图像m的像素(X，Y)的输出设为图像n-J的像素(X，Y)的输出与图像m的像素(X，Y)的输出中的较大一方。比较亮合成处理部21a进行该合成处理。

具体而言，使用分割曝光的图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据m中的各像素的亮度输出值Sm(X，Y)的值，通过比较亮合成处理进行合成处理，生成第m+1个新生成的合成图像数据Sm+1(X，Y)。

另一方面，在步骤S34中的判定的结果为并非图像m、图像n-J两者为比较亮标志＝1的情况下，接着，进行图像m、图像n-J两者是否为比较亮标志＝0的判定(S38)。这里，在步骤S32中，根据按照每个像素而设定的比较亮标志，按照每个像素进行判定。

在步骤S38中的判定的结果为图像m和图像n-J两者为比较亮标志＝0的情况下，使用图像m和图像n-J两者，进行比较暗合成(或者平均加算处理)(S40)。这里的处理与第1实施方式的步骤S39(参照图4)的处理类似。将图像m的像素(X，Y)的输出设为图像n-J的像素(X，Y)的输出和图像m的像素(X，Y)的输出中的较小一方(或者平均)。比较暗合成处理部21b或者加算/平均处理部21c进行该合成处理。

在步骤S40中，具体而言，使用分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出值Sm(X，Y)的值，通过比较暗合成处理或者平均化合成处理进行合成处理，生成第m+1个新生成的合成图像数据Sm+1(X，Y)。

在步骤S38中的判定的结果为并非图像m和图像n-J两者为比较亮标志＝0的情况下，进行像素的置换处理(S42)。这里的处理与第1实施方式的步骤S41(参照图4)的处理类似。将图像m的像素(X，Y)的输出设为图像m、图像n的比较亮标志为1的图像的像素(X，Y)的输出。

在步骤S42中的像素的置换处理中，对于分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和合成图像数据Sm中的各像素的亮度输出值Sm(X，Y)，将比较亮标志为1的图像的亮度输出值作为第m+1个新生成的合成图像数据Sm+1(X，Y)的亮度输出值而进行生成。

具体而言，关于合成处理后的图像数据Sm+1(X，Y)，设为分割曝光图像数据n中的各像素的亮度输出值In(X，Y)和第m个被合成处理的图像数据中的各像素的亮度输出值Sm(X，Y)中比较亮标志为1一方的图像的亮度输出值。

在步骤S36、S40、S42中按照每个像素进行合成处理后，接着在步骤S51～S61中，使X坐标和Y坐标逐个错开，对1个画面内的全部像素进行合成处理。该步骤S51～S61中的处理与图5中的步骤S51～S61相同，因此省略详细说明。

当在步骤S57中的判定的结果为Y最大且在步骤S61中设为Y＝0时，接着进行是否为J＝0的判定(S63)。由于对二维方向(X，Y)的全部像素输出进行了合成处理，因此，这里，对比较亮判别变量J进行判定。该比较亮判别变量J为在摄影者在B门拍摄的中途变更了亮度范围的阈值的情况下，追溯到最初的分割曝光的图像而重新进行图像合成时，用于对拍摄次数进行计数的变量。如果该变量J为0，则无需追溯到最初的分割曝光的图像而重新进行图像合成，但是，如果变量J为1以上，则重新进行图像合成。

在步骤S63中的判定的结果为并非J＝0的情况下，设定为J＝J-1(S65)。在该步骤中，在从变量J减去1后，返回步骤S32，根据亮度输出等级的阈值，进行图像合成。直到J＝0为止，重复进行图像合成。如果步骤S63中的判定的结果为J＝0，则结束图像合成处理的流程，返回原来的流程。

这样，在本发明的第2实施方式中，在B门拍摄时，在每次进行分割曝光时将分割曝光图像数据存储在暂时记录用存储器43b中(图8的S10)，在摄影者变更了判定用的亮度输出等级的阈值的情况下(图9的S23为“是”)，从B门拍摄时最先拍摄的分割曝光图像数据起读出全部图像数据，按照每个像素，根据阈值选择合成图像处理，生成合成图像(经过图像)的图像数据(图9的S27～图11的S65)，并在显示部17中显示(图8的S17)。然后，在B门拍摄结束的时点，将最终的合成图像(经过图像)作为最终图像，记录在图像记录用存储器43c中(图8的S21)。

即，在本实施方式中，具有按照多次曝光中每次曝光存储分割图像数据的存储器(暂时记录用存储器43b)，在进行了多次曝光时由操作部设定了新的判定阈值的情况下，图像合成控制部针对暂时记录用存储器43b中存储的多次曝光中的每次曝光的分割图像数据，使用新的判定阈值再次进行合成处理(例如，参照图9、图10)。

因此，在B门拍摄中，摄影者观察经过图像，在不符合意图的情况下，对判定用的亮度输出等级的阈值进行变更，从而能够成为符合意图的照片。

如以上所说明，在本发明的各实施方式和变形例中，判定每个分割曝光的图像数据的像素数据是否在规定的判定阈值内，并根据判定结果对图像合成的种类进行了变更。因此，在B门拍摄时，能够成为符合摄影者的意图的图像。

另外，在本发明的各实施方式和变形例中，对判定用的亮度范围设定了上限阈值和下限阈值双方。但是，作为亮度判定，也可以为阈值以上的亮度范围，还可以为阈值以下的亮度范围。此外，虽然亮度范围仅有一个，但是，也可以设定2个以上的亮度范围。例如，也可以设置为拍摄较暗的被摄体和较明亮的被摄体，不拍摄中间亮度的被摄体。

此外，虽然在本发明的各实施方式和变形例中，设定了判定用的亮度范围的阈值，但是，不仅是亮度，也可以按照每个RGB的像素数据，设定判定用的阈值。在该情况下，也可拍摄特定颜色的被摄体，例如，仅蓝色的星星的轨迹、或红色的星星的轨迹的照片。在该情况下，能够对显示部17中示出的设定画面的选择画面进行适当变更并显示。

此外，虽然在本发明的各实施方式和变形例中，设定了判定用的亮度范围的阈值，但是，不限于亮度信息，也可以使用时间信息、位置信息、场景识别信息。作为具体的例子，也可以通过输入部30内的GPS传感器35、计时器37、倾斜传感器33等，通过检测部41检测摄影时间、位置、摄影方向中的被摄体信息，在获得了星星的方向、天空的明亮度等信息后，设定成为判定用的亮度范围的阈值的估计值。

此外，在本发明的各实施方式中，与控制部10分开地构成AE处理部13、AF处理部15、图像处理部20、检测部41等，但是，当然也可以由软件构成各部件的全部或者一部分，通过控制部10内的微型计算机执行。

此外，在本实施方式中，作为用于拍摄的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、智能手机、便携信息终端PDA(PersonalDigital Assist：个人数字助理)、个人计算机(PC)、平板型个人计算机、游戏设备等中的照相机。无论是哪种照相机，只要是用于动态图像拍摄的设备，则都能够应用本发明。

此外，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也保存在记录介质或记录部中。关于记录到该记录介质、记录部中的方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。

此外，关于权利要求、说明书和附图中的处理流程，即使为了方便，使用“首先”、“接着”等表现顺序的语言进行了说明，但在没有特别进行说明的地方，不是指必须按该顺序进行实施。

本发明不原样限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。

Claims (7)

1.一种摄像装置，其包括：

摄影控制部，其对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光而取得分割图像数据；

判定部，其按照上述分割图像数据的每个像素数据，判定像素数据是否在规定的判定阈值内；

图像合成部，其按照上述分割图像数据的每个像素数据，进行第1图像合成或者第2图像合成；

图像合成控制部，其根据上述判定部的判定结果，在所述判定部的判定结果为所述像素数据在规定的判定阈值内时，选择上述第1图像合成，在所述判定部的判定结果为所述像素数据不在规定的判定阈值内时，选择上述第2图像合成，根据该选择，在上述图像合成部中按照每个像素数据进行图像合成，生成合成图像数据；以及

第1记录部，其记录通过上述图像合成控制部的控制而生成的上述合成图像数据，

其中，在上述第1图像合成中，对于第一次曝光，将所述第一次曝光获得的分割图像作为合成图像数据而进行存储，对于第二次或后续曝光，对所述第二次或后续曝光获得的图像数据的像素数据和最近的合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较大的一方的像素数据作为新的合成图像数据而进行合成处理，

在上述第2图像合成中，对于第一次曝光，将所述第一次曝光获得的分割图像作为合成图像数据而进行存储，对于第二次或后续曝光，对所述第二次或后续曝光获得的图像数据的像素数据和最近的合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较小的一方的像素数据或者两者的像素数据的平均值作为新的合成图像数据而进行合成处理。

2.根据权利要求1所述的摄像装置，其中，

上述摄像装置具有第2记录部，该第2记录部分别保持上述分割图像数据的像素数据和上述合成图像数据的像素数据，

上述判定部判定上述分割图像数据的像素数据的亮度输出和上述合成图像数据的像素数据是否分别在规定的判定阈值内，

上述图像合成控制部根据与上述分割图像数据相关的判定结果和上述合成图像数据的判定结果，选择上述第1图像合成和上述第2图像合成中的任意一方。

3.根据权利要求1所述的摄像装置，其中，

上述摄像装置具有操作部，该操作部用于设定上述判定阈值，

上述判定部根据通过上述操作部设定的判定阈值进行判定。

4.根据权利要求3所述的摄像装置，其中，

上述摄像装置还具有第2记录部，该第2记录部按照多次曝光中的每次曝光，存储上述分割图像数据，

在正在进行多次曝光时通过上述操作部设定了新的判定阈值的情况下，上述图像合成控制部使用新的判定阈值，对存储在上述第2记录部中的多次曝光中的每次曝光的分割图像数据再次进行合成处理。

5.根据权利要求1所述的摄像装置，其中，

上述摄像装置具有显示部，在每次通过上述图像合成控制部生成上述合成图像数据时，在该显示部上对上述合成图像进行更新显示。

6.根据权利要求1所述的摄像装置，其中，

上述摄像装置具有显示部，该显示部根据上述合成图像数据显示合成图像，

上述显示部将由上述判定部判定为在规定的判定阈值内的像素数据的像素位置重叠显示于上述合成图像。

7.一种摄影方法，其包括：

摄像步骤，对成像于摄像面的被摄体像进行光电转换，按照多次曝光中的每次曝光而取得分割图像数据；

判定步骤，按照上述分割图像数据的每个像素数据，判定像素数据是否在规定的判定阈值内；

图像合成步骤，根据上述判定步骤的判定结果，在所述判定步骤的判定结果为所述像素数据在规定的判定阈值内时，选择第1图像合成，在所述判定步骤的判定结果为所述像素数据不在规定的判定阈值内时，选择第2图像合成，根据该选择而按照每个像素数据进行图像合成，生成合成图像数据；以及

记录步骤，记录在上述图像合成步骤中生成的上述合成图像数据，

其中，在上述第1图像合成中，对于第一次曝光，将所述第一次曝光获得的分割图像作为合成图像数据而进行存储，对于第二次或后续曝光，对所述第二次或后续曝光获得的图像数据的像素数据和最近的合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较大的一方的像素数据作为新的合成图像数据而进行合成处理，

在上述第2图像合成中，对于第一次曝光，将所述第一次曝光获得的分割图像作为合成图像数据而进行存储，对于第二次或后续曝光，对所述第二次或后续曝光获得的图像数据的像素数据和最近的合成图像数据的像素数据的亮度输出进行比较，选择亮度输出较小的一方的像素数据或者两者的像素数据的平均值作为新的合成图像数据而进行合成处理。