CN107071228A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置和图像处理方法，能够根据轨迹的种类检测显现于图像上的各种光的轨迹。该图像处理装置具有：像素地址提取部(171)，其提取作为规定的输出以上的像素的像素地址；组分配部(172)，其将相邻的规定的输出以上的像素地址群作为一个组；轨迹分析部(174)，其分析各组的移动状态；以及轨迹检测部(173)，其根据轨迹分析结果将各组检测为至少1种以上的轨迹。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及分析图像数据，并使用该分析结果合成图像数据的图像处理装置和图像处理方法。

背景技术

通常进行如下的摄影手法：利用长时间摄影，将伴随地球的自转的星球的移动轨迹或烟花、荧光等的光的轨迹显现于1张图片上。

在近些年来销售的数字相机中执行如下方法：对连续摄影的多帧图像使用数字相机内的图像处理功能、以及在摄影后使用基于PC(Personal Computer：个人计算机)的图像处理软件的图像合成功能而实施相加合成或比较亮合成处理，合成为对上述的光的轨迹进行摄影的1张图片。

例如，在日本国公开专利2013-62740号公报(以下，称作“专利文献1”)中提出了如下的相机，其对连续摄影的多帧图像实施比较亮合成处理，能够对光的轨迹进行摄影。该相机相比使用PC等在摄影后进行合成处理的情况而言，相机在进行摄影的同时就能够自动进行合成处理，因此能够简单地对光的轨迹进行摄影。另一方面，利用PC在摄影后进行合成处理的情况下，通过变更要合成的帧数来进行合成，从而合成为显现出希望的长度的轨迹的图片，或者能够使用在内置于相机中的图像处理程序中不具备的各种图像处理功能，能够通过详细的画质调整生成符合摄影者的喜好的图片。

发明内容

发明欲解决的课题

然而，专利文献1所公开的相机中，例如在将星光的轨迹作为被摄体进行摄影的过程中，如果在被摄体中映入了飞机或人造卫星等与星不同的光的轨迹，则对于希望以星光的轨迹为主要被摄体进行摄影的摄影者而言会成为不符合意图的图片。另外，不仅对于星，在将荧光或烟花等星以外的光的轨迹作为主要被摄体进行摄影而准备合成印象类图片的情况也相同。此外，有些摄影者希望按照每种光的轨迹而进行不同的图像调整(例如，不变更背景或星光等，以使得烟花的轨迹的颜色更为显著的方式进行画质调整)，然而由于无法按照每种轨迹加以区分，因此无法应对这种要求。

本发明的目的在于，提供一种能够根据轨迹的种类检测显现于图像上的各种光的轨迹的图像处理装置和图像处理方法。

用于解决课题的手段

本发明的第1方面的图像处理装置具有：轨迹提取部，其提取在由多个像素值构成的图像数据中连续成为规定值以上的区域作为轨迹；轨迹判别部，其判别通过上述轨迹提取部提取的上述轨迹的移动状态；以及轨迹检测部，其根据通过上述轨迹判别部判别的移动状态，检测上述轨迹的种类。

本发明的第2方面的图像处理方法包括：提取由多个像素值构成的图像数据的连续成为规定值以上的区域作为轨迹，根据提取的上述轨迹判别上述轨迹的移动状态，根据上述判别出的移动状态，进行检测上述各轨迹的种类的处理。

发明的效果

根据本发明，可提供能够检测显现于合成图像上的各种光的轨迹的图像处理装置和图像处理方法。

附图说明

图1是表示本发明第1实施方式的相机的主要电气结构图的图。

图2是表示本发明第1实施方式的相机的动作序列的流程图。

图3是表示本发明第1实施方式的相机中的组分配的动作序列的流程图。

图4是表示本发明第1实施方式的相机中的检测显现于图像上的轨迹的动作序列的流程图。

图5A-图5D是说明在本发明第1实施方式的相机中检测轨迹的原理的图。

图6是表示在本发明第1实施方式的相机中合成图像数据的动作序列的流程图。

图7是表示本发明第2实施方式的相机中的轨迹分析部的结构的图。

图8是表示本发明第2实施方式的相机的动作序列的流程图。

图9是说明在本发明第2实施方式的相机中，分析轨迹的方法的图。

图10A-图10C是表示在本发明第2实施方式的相机中的轨迹的分析结果的图。

图11是表示在本发明第2实施方式的相机中的检测轨迹的动作序列的流程图。

图12是表示在本发明第2实施方式的相机中分析轨迹的方法的变形例及其效果的图。

图13是表示在本发明第2实施方式的相机中检测轨迹并进行图像合成的方法的变形例的图。

图14是表示本发明第3实施方式的轨迹分析部、轨迹检测部、记录部的电气结构图的图。

图15是表示应用本发明第3实施方式的效果的图。

具体实施方式

(实施方式的概要)

以下参照附图，对本发明的图像处理装置的实施方式进行详细说明。以下所示的实施方式是应用于使用本发明的图像处理装置的数字相机中的示例。

(第1实施方式)

首先，使用图1对本实施方式的数字相机的结构进行说明。图1表示数字相机内部的框图。本实施方式的数字相机1具有摄像部12、操作部10、显示部11、图像处理部14、记录部15和控制部13。

虽然没有图示，然而摄像部12具有镜头、快门、摄像元件等。镜头是在摄像元件上使被摄体像成像的摄影光学系统。此外，镜头的内部具有光圈机构，利用光圈机构调节光圈开口量，从而调节射入摄像元件的光量。快门配置于镜头与摄像元件之间，通过切换快门的开闭状态来控制光向摄像元件的遮光、入射的控制和入射时间(快门速度)。另外，摄像部12可以利用电子快门等来控制曝光，从而省略快门和/或光圈。

摄像元件是CCD图像传感器或CMOS图像传感器等的图像传感器，将入射到配置为二维形状的多个像素的光学像按照每个像素变换为对应于该光的强度的电气信号(影像信号)。并且，将与该各个像素对应的电气信号变换为数字输出值，并作为图像数据输出。

操作部10未进行图示，其是各种的按钮或基于选择操作选择的转盘操作部、以及在显示部11上一体构成的触摸面板等的操作输入手段，相当于用于供摄影者操作数字相机1的输入IF(接口)。显示部11是液晶面板或有机EL(Electro Luminescence：电致发光)显示器，对数字相机的操作选择、实时取景摄影时的实时取景图像的显示和摄影图像进行再现显示。

图像处理部14具有图像合成部16、图像分析部17、像素地址置换部18和显像处理部19。

图像合成部16对通过摄像部12摄影的多帧图像数据或保存于记录部15中的多帧的图像数据进行合成处理，生成作为合成处理后的图像数据的合成图像数据。图像合成部16包含进行多个图像合成处理的单元，具体而言具有比较亮合成部161、比较暗合成部163、相加合成部162和平均合成部164。

比较亮合成部161对要合成的多帧的图像数据，分别比较各自的相同地址的像素数据的输出，通过比较，实施将最大的像素数据的输出作为合成后的图像数据的像素输出的合成处理。在像素输出相等的情况下将该输出作为合成后的图像数据。

比较暗合成部163对要合成的多帧的图像数据，分别比较各自的相同地址的像素数据的输出，通过比较，实施将最小的像素数据的输出作为合成后的图像数据的像素输出的合成处理。在像素输出相等的情况下将该输出作为合成后的图像数据。

相加合成部162对要合成的多帧的图像数据，实施将把各自的相同地址的像素数据相加而得到的值作为合成后的图像数据的像素输出的合成处理。平均合成部164对要合成的多帧的图像数据，实施将对各自的相同地址的像素数据求平均而得到的值作为合成后的图像数据的像素输出的合成处理。

另外，像素地址置换部18利用后述的图像分析部17的分析结果，根据合成前的图像数据(相当于从摄像部12依次取得的图像数据)或图像合成部16生成的合成后的图像数据，实施将不要的光的轨迹置换为背景的像素输出的处理。后面叙述具体的动作。

图像分析部17由像素地址提取部171、组分配部172、轨迹检测部173和轨迹分析部174构成。像素地址提取部171从合成前的图像数据或图像合成部16生成的合成后的图像数据中提取指定的亮度以上的像素。组分配部172进行将通过像素地址提取部171提取的像素中的与该像素相邻的像素群作为一个组进行分配处理。像素地址提取部171和组分配部172作为轨迹提取部发挥功能。

轨迹分析部174通过后述的方法对通过组分配部172分配的各组进行分析。轨迹分析部174作为轨迹判别部发挥功能。轨迹检测部173根据轨迹分析部174的分析结果，检测在合成前的图像数据或通过图像合成部16合成的比较亮合成图像数据或相加合成图像数据上显现的多个轨迹。轨迹检测部173作为轨迹检测部发挥功能。

显像处理部19对通过摄像部12读出的图像数据或通过图像合成部16合成的合成图像数据实施逆马赛克处理、伽马校正处理、降噪处理、白平衡增益施加、根据显示部11的显示器件的图像分辨率变更为图像尺寸的尺寸调整处理等的通过一般的数字相机进行的各种图像处理。

记录部15具有通过闪存存储器、SD卡或CF卡(注册商标)等实现的能够拆装于数字相机1上的非易失性存储器、和作为易失性存储器的DRAM存储器。记录部15具有图像数据记录部151、像素地址记录部152和控制程序记录部153。

图像数据记录部151存储、保存通过摄像部12摄影的图像数据或通过图像合成部16合成的合成图像数据等的图像数据。像素地址记录部152记录通过图像分析部17检测的提取像素地址或通过后述的像素地址置换部18去除不要的光的轨迹时的该不要的光的轨迹的像素地址等像素地址。控制程序记录部153保持用于利用控制部13控制数字相机各部的控制程序。

控制部13具有CPU(Central Processing Unit：中央处理单元)及其周边电路，其根据经由操作部10输入的摄影者的操作指示或在控制程序记录部153中记录的控制程序，统一进行相机各部的控制。作为具体的示例，进行对于摄像部12的摄像控制、对于图像处理部14的处理内容的指示、以及对于记录部15的动作控制等。进而，在图像合成部16与记录部15之间，作为数据信号的传递路径而连接有总线。

(第1实施方式的作用说明)

下面，使用图2至图6说明本发明的第1实施方式的数字相机的动作。本实施方式的动作序列示出了选择通过摄像部12对图像数据连续进行摄影，并将摄影的多帧的图像数据合成的连续摄影模式的情况下的动作。

首先根据控制部13的指示由摄像部12开始连续摄影，从摄像部12读出图像数据，被读出的图像数据保存于图像数据记录部151(S1)。

控制部13判定从摄像部12读出的第N个图像是否为连续摄影开始后第2帧起的摄影图像数据(S2)。如果步骤S2的判定处理的结果为摄影图像数据是第1帧的图像数据(否)，则成为待机状态，不进行接下来(S3、S7起)的处理(再次返回上述S1的处理)，直至读出第2帧起的图像数据。另一方面，如果步骤S2的判定处理的结果为从摄像部12读出第2帧起的图像数据时(是)，在图像处理部14中并行实施此后的S401～S51或S405～S52的处理和S7～S53的处理。

首先说明S3～S51和S3～S52的动作。在步骤S3的处理中，在读出的图像是第2帧时(是)，像素地址提取部171针对第1帧的图像提取明亮的像素地址。具体而言，提取作为某个阈值等级以上的输出的像素的像素地址(S401)。这里，阈值等级既可以由摄影者通过操作部10指定，或者也可以使用在相机内事先设定的初始值。在步骤S401的处理中，关于明亮的像素地址的提取，例如对排列为二维状的像素输出数据从最左上的像素开始进行检查，并向右侧依次检查。并且，在第1行的检查结束后，对下一行同样从左端的像素起依次检查，直到作为最后的像素地址的最下行的右端的像素为止，由此对全部像素进行检查。

进而，在到最后的像素地址为止的检查完成后(S402是)，对于第2帧的图像数据通过与S401和S402同样的处理提取明亮的像素地址(S403、S404)。接着，对于第1帧、第2帧的图像数据，通过组分配部172分别对所提取的像素地址进行组分配处理(S51)。

这里，使用图3说明组分配处理(S51)的具体动作序列。首先对所提取的多个明亮像素地址中的坐标最小的像素地址分配组G1(S31)。具体而言，关于X坐标最小的地址，在存在多个X地址相同的像素的情况下，进而优先对Y坐标小的像素进行分配处理。接着，对于分配给组G1的像素地址的上下左右和斜向的相邻像素，搜索是否存在尚未进行组分配但已被提取的明亮像素(S32)。

在步骤S32的搜索处理中，相邻像素中存在明亮像素的情况下(S33：是)，对该相邻像素也分配相同的组G1(S35)。作为接下来的处理，对是否存留有未进行组分配的明亮像素进行判定处理(S36)。在该判定处理中，在存在未被组分配的明亮像素的情况下(S36：否)，再次返回S32的处理，继续对分配了G1的明亮像素的上下左右斜向的相邻像素检查是否存在尚未进行组分配的明亮像素(S32)。

在步骤S32的检查处理中，存在尚未进行组分配的明亮像素的情况下(S33：是)，对该像素地址分配组G1。另一方面，在S33的检查处理中，不存在相邻的像素的情况下(S33：否)，转移至对尚未进行组分配的明亮像素地址中的X坐标最小的像素地址分配组G2作为新组的处理(组G1的下一个是组G2，Gm之后分配Gm+1(m是1以上的正数))(S34)。对于G2也与G1同样地，针对分配给G2的像素地址的相邻像素检查是否存在尚未进行组分配的明亮像素。

这样，对所提取的全部明亮像素地址进行组分配。在对所有的已被提取的明亮像素地址完成了组分配时(S36：是)，组分配处理完毕。

下面，返回图2的流程图，说明步骤S3～S52的动作序列。第3帧起的处理的情况下(S3：否)，对从摄像部12读出的一帧图像数据(第N帧的图像数据)，与S403～S51同样地提取明亮像素(S405)，并对所提取的明亮像素进行组分配处理(S52)(参照图3)。

此外，说明与S3～S51或S3～S52的处理并行执行的S7～S53的处理。首先，对于在图像数据记录部151中保存的第N帧的读出图像数据和第N-1帧的读出图像数据，由比较暗合成部163来合成图像数据(S7)。

这里，说明比较暗合成处理。比较暗合成指的是对要合成的多个图像数据的相同地址的输出进行比较，将最小的输出作为合成后的像素输出的图像合成方法。

在将第N帧的图像数据的地址(x,y)的像素输出设定为N(x,y)，将第N-1帧的图像数据的地址(x,y)的像素输出设定为N-1(x,y)，并将对第N帧和第N-1帧的图像数据进行了比较暗合成的合成图像数据的地址(x,y)的像素输出设定为N_N-1compD(x,y)时，比较暗合成处理可通过下式(1)表现。

N_N-1compD(x,y)＝min{N(x,y),N-1(x,y)}···(1)

这里，min{a,b}定义为输出数值a和数值b中的小的一方的值的函数。

接着，通过像素地址提取部171对比较暗合成图像N_N-1compD(x,y)提取明亮像素(S407)。具体而言，提取作为规定的阈值等级以上的输出的像素的像素地址。这里，作为阈值等级既可以使用与在S401、S403、S405的处理中使用的值相同的值，也可以使用由摄影者通过操作部10指定的值，或者还可以使用在相机内事先设定的值。

接着，与步骤S402、S404、S406同样地，从图像的左上开始进行检查，直至作为最后的像素的图像的右下为止，检查是否存在明亮像素。在检查完成后(S408：是)，对于比较暗合成图像N_N-1compD(x,y)的明亮像素，通过组分配部172根据与S51、S52和图3所示的方法同样的方法进行组分配(S53)。

接着，将对第N帧的图像和比较暗合成图像N_N-1compD(x,y)进行了组分配的各组作为光的轨迹，通过轨迹分析部174分析轨迹的移动速度，通过轨迹检测部173检测移动速度快和慢(包含不存在移动)的轨迹(S8)。

使用图4说明步骤S8的轨迹分析/轨迹检测的具体方法。这里，将对第N帧的图像进行了组分配的各组定义为G1_N,G2_N,G3_N,G4_N,G5_N,···,Gm_N(m是1以上的整数，N表示第N帧)，并将对第N和第N-1帧的比较暗合成图像进行了组分配的各组定义为G1_NcompD,G2_NcompD,G3_NcompD,···,Gl_NcompD(l是1以上的整数)。

首先，在N＝2即第2帧的处理的情况下(S41：是)，将通过比较亮合成部161合成了第1帧的图像数据与第2帧的图像数据而得到的比较亮合成图像数据或通过相加合成部162合成的相加合成图像数据作为第N帧的图像数据进行此后的处理(S42)。在是第3帧起的处理的情况下(S41：否)，对未进行合成的第N帧的图像数据进行处理。接着，检测第N帧的图像数据的组中的通过对到第N-1帧为止的图像数据进行的S44的处理而分类(检测)为低速度轨迹(S45)或高速度轨迹(S46)的以外的组(未分类的组)(S43)。

接着，通过轨迹分析部174对第N帧的最初的组G1_N中包含的像素地址，分析是否包含比较暗合成图像的全部的提取组(G1_NcompD～Gl_NcompD)中的任意的像素地址(S44)。这里，在得到了包含根据比较暗合成图像数据而提取的明亮像素的组的像素地址的分析结果的情况下(S44：是)，通过轨迹检测部173将该组G1_N检测为以低速移动的轨迹“低速度轨迹”(S45)。

另一方面，在步骤S44的检查处理中，分析出不包含比较暗合成图像的提取组的像素地址的情况下(S44：否)，通过轨迹检测部173将该组G1_N检测为以高速移动的轨迹“高速度轨迹”(S46)。后面描述利用该方法检测为以低速或高速移动的轨迹的理由。

对于下一组G2_N的像素地址同样检查是否包含比较暗合成图像数据的全部的提取组中的任意的像素地址(S44)。对第N帧的全部的组实施该检查，检测为“低速度轨迹”或“高速度轨迹”中的任意一个。直到第N帧的最后的组都结束了检测时(S47：是)，转移至接下来的处理。

接着，对第N帧图像数据的各组Gl_N(l是1以上的整数)，检查是否被检测为“高速度轨迹”(S48)。步骤S48的检查处理中，将被检测为“高速度轨迹”的(S48：是)像素组的像素地址作为第N帧图像数据的置换像素地址登录于像素地址记录部152(S49)

另一方面，步骤S48的检查处理中，对于被检测为“低速度轨迹”的像素组不特别进行登录而进行下一个像素组的检查(转移至S410起的处理)。后面描述该处理的详细情况，而在S48的检查处理中，将被检测为“高速度轨迹”的以高速移动的光的轨迹(飞机等的轨迹)作为要从最终的合成图像中排除的对象，并将像素地址登录于像素地址记录部152。直到第N帧的图像数据的最后的组都结束了检查后(S410：是)，结束轨迹的检测，返回原本的流程。

另外，以上说明了在N＝2的情况下，将第1帧与第2帧的图像数据的合成图像数据作为第N帧的图像进行处理的内容，然而也可以对第1帧、第2帧的各自的图像数据分别进行轨迹分析、检测处理，并进行置换像素地址的登录。

下面，使用图5A至图5D说明在包含比较暗合成图像数据的组的情况下判断为以低速度移动的轨迹的理由。例如举例示出了在对星的轨迹(图像IM5a中的ST)进行摄影的过程中映入飞机的光的轨迹(图像IM5a中的AP)的情况。图像IM5a和图像IM5b表示连拍摄影的第N-1帧和第N帧的图像。相比一般基于地球的自转的星的移动而言，飞机的移动速度较快。此外，利用数字相机进行连拍摄影的情况下会发生在第N-1帧的摄影结束和第N帧的摄影开始前不进行摄影的未曝光期间。

具体而言，在第N-1帧摄影结束后暂时关闭机械快门，而在第N帧的摄影开始时进行打开动作，因此会发生大约0.1秒的关闭机械快门而不进行摄影的期间，这就是未曝光期间。

这里示出了将显现了在图像IM5c上显现的飞机的轨迹的部分放大显示的图像IM5d、以及将显现出星光的轨迹的部分放大显示的图像IM5e。进而，在图像IM5d、图像5e上假想性地显示在第N-1帧、第N帧上显现的各个光的轨迹。

首先，在显现于图像IM5d的第N-1帧上的飞机的轨迹AP_N-1、显现于第N帧上的飞机的轨迹AP_N中，飞机快速地移动，因此由于未曝光期间，会在AP_N-1与AP_N之间发生轨迹的中断部分。

另一方面，图像IM5e上的星的移动非常缓慢地移动，因此显现于第N-1帧上的星的轨迹ST_N-1与显现于第N帧上的星的轨迹ST_N之间不会中断，会发生重复部分ST_compD。当对第N-1帧与第N帧的图像数据进行了比较暗合成时会如图像IM5f所示，在飞机的轨迹上反映出背景的夜空的亮度，因此不会显现出轨迹。

另一方面，对于星的轨迹而言，第N-1帧与第N帧的星的轨迹中的重复部分(ST_compD)显现为明亮的点。而在星的轨迹上的不重复的部分，如果进行比较暗合成则会反映出背景的夜空的亮度。这样，在移动速度较慢的星的轨迹上，如果进行比较暗合成则轨迹的重复部分会显现得较亮。另一方面，不会显现出移动速度快速的飞机的光的轨迹。

在图4所示的轨迹的检测的流程图中，利用这种现象，将包含显现于比较暗合成图像数据上的明亮像素的组(即第N-1帧与第N帧的轨迹的重复部分)的明亮像素组检测为以低速度移动的轨迹(星的轨迹或其他不移动的明亮被摄体)，并将除此以外的组检测为以高速移动的轨迹(飞机等光的轨迹)。

再次返回图2所示的流程图，接下来制作所登录的合成图像数据(图2的S9)。使用图6所示的流程图说明生成合成图像数据的处理的具体动作序列。

首先，在第2帧的图像数据的处理的情况下(S61：是)，对第1帧的各像素地址与在像素地址记录部152中记录的对第1帧与第2帧的合成图像所登录的置换像素地址进行比较处理，检查各像素地址与置换像素地址是否一致(S621)。

作为步骤S621中的检查处理的结果，对于两者的地址一致的像素，通过像素地址置换部18将该像素的输出置换为第1帧与第2帧的比较暗合成图像1_2compD(x,y)的相同像素地址的输出(S622)。接着，在登录于像素地址记录部152中的所有的置换像素地址的置换完成后(S623：是)，对于第2帧的图像数据，也与S621～S623同样地进行置换像素地址的像素输出的置换(S631～633)。

在记录于像素地址记录部152中的所有的置换像素地址的置换完成后(S633是)，转移到接下来的处理。将进行了像素输出的置换的第1帧的图像数据与第2帧的图像数据合成(S65)。这里的合成是用于将光的轨迹留存于合成图像上的合成处理，进行相加合成部162的相加合成处理或比较亮合成部161的比较亮合成处理。后面叙述合成方法的具体情况。合成完毕后将合成图像数据作为累积合成图像数据记录于图像数据记录部151，并用于与下一帧(N＝3)的合成。

下面，说明步骤S61的判定结果是N≧3即第3帧起(S61：否)的处理。比较第N帧的各像素地址与记录于像素地址记录部152中的第N帧的置换像素地址是否一致(S641)。该比较处理的结果是两者的地址一致的情况下，通过像素地址置换部18将该像素的输出置换为第N帧与第N-1帧的比较暗合成图像N_N-1compD(x,y)的相同像素地址的输出(S642)。

下面，在登录于像素地址记录部152中的所有的置换像素地址的置换完成后(S643：是)，转移到接下来的处理。将进行了像素输出的置换的第N帧的图像数据与在图像数据记录部151中保存的第1帧至第N-1帧的累积合成图像数据进行合成(S66)。这里的合成是与步骤S65同样的相加合成或比较亮合成。合成完成后将合成图像数据作为累积合成图像数据保存于图像数据记录部151，并用于与下一帧(N+1)的合成。

这里，对相加合成和比较亮合成说明具体内容。相加合成是将把要合成的多个图像数据的相同地址的像素输出相加而得到的输出作为合成后的像素输出的合成方法，并且是在每次合成时，包含背景的亮度在内图像整体都逐渐变亮的处理。比较亮合成通过调节合成的张数而能够对应于光的轨迹的长度来调整图像整体的亮度。

具体而言，如果将第H帧的图像数据的地址(x,y)的像素输出设定为H(x,y)，将第H-1帧与第H帧的相加合成图像数据的地址(x,y)的像素输出设定为H_H-1compS(x,y)，则相加合成可通过下式(2)来表现。

H_H-1compS(x,y)＝H-1(x,y)+H(x,y)···(2)

比较亮合成是对要合成的多个图像数据的相同地址的像素输出的大小进行比较，并将大的一方的输出作为合成后的像素输出的合成方法。如果使用比较亮合成的合成处理，则如果对合成前的各帧以相同曝光进行摄影，则即使合成的帧数增加，各帧中亮度不变的背景部分的亮度仍保持原样，仅光的轨迹延伸。在该合成处理中，不同于相加合成，不在意背景的亮度，是能够对期望的长度的光的轨迹进行摄影的合成方法。

具体而言，在将第H帧和第H-1帧的比较亮合成图像数据的地址(x,y)的像素输出设定为H_H-1compB(x,y)时，可通过下式(3)来表现。

H_H-1compB(x,y)＝max{H-1(x,y),H(x,y)}···(3)

其中，max{a,b}定义为将数值a和数值b中的大的一方的值作为输出的函数。

作为合成处理手段，以使得摄影者能够经由操作部10设定是进行相加合成、进行比较亮合成或者并行同时进行这两方的处理的方式，在相机内将控制程序预先记录于记录部15。

这样，在进行第N帧的合成之前，进行从第1帧到第N-1帧对各个图像数据进行了置换像素地址的置换(S622、S632、S642)的图像数据彼此的图像合成。通过该处理，将从第1帧到第N-1帧的累积合成图像数据与(进行了置换像素地址的置换的)第N帧的图像数据合成，生成从第1帧到第N帧的合成图像数据(S65、S66)。合成完成后，作为从第1帧到第N帧的累积合成图像数据记录在图像数据记录部151中(将该累积合成图像数据用于后续的与第N+1帧的合成)。

这里，作为在图像数据记录部151中的图像数据的记录，既可以仅保存第1帧至第N帧的合成图像数据，也可以一并保存第1帧至第N帧的各图像数据或合成中途的各合成图像数据。

例如如果将第1帧至第N帧的各图像数据保存于图像数据记录部151中，由于能够在摄影结束后选择喜欢的图像数据进行合成，因此能够生成摄影者喜欢的合成图像数据。此外，如果记录合成中途的图像数据，则能够在摄影后选择喜欢的轨迹长度的合成图像数据。另一方面，在仅记录第1帧至第N帧的合成图像数据的情况下，能够减小记录于记录部中的数据量，例如在摄影的中途不再发生存储器容量不足等的问题。

此外，以上说明了在图6的步骤S622、S632、S642中，在置换像素地址置换为比较暗合成图像数据的输出的方法，然而也可以根据通过平均合成部164进行合成的平均合成图像数据的输出来进行置换。这是一种将进行平均合成的多个图像数据的相同地址的像素输出的平均值作为合成后的像素输出的合成方法。

具体而言，如果将第H帧与第H-1帧的平均合成图像数据的地址(x,y)的像素输出设定为H_H-1compA(x,y)，则可通过下式(4)来表现。

H_H-1compA(x,y)＝ave{H-1(x,y),H(x,y)}···(4)

其中，ave{a,b}定义为将数值a与数值b的平均值作为输出的函数。

利用第N帧与第N-1帧的平均输出进行置换，从而能够利用比光的轨迹更接近背景的亮度的输出来进行置换，因此能够使得飞机的光的轨迹变得不显著，具备与比较暗合成图像同样地将飞机的光的轨迹从合成图像中排除的效果。例如，在针对图像合成部16需要使用ASIC(Application Specific Integrated Circuit：专用集成电路)等的无法进行内部电路的改写的IC来构成数字相机的情况下，所使用的ASIC对应于平均合成处理，而在未对应于比较暗合成等的情况下，能够利用在ASIC上搭载了功能的平均合成处理进行置换像素地址的置换处理。

在上述的合成完成后(图2的S9)，如果摄影未结束(S10：否)，则对作为下一个图像的第N+1帧的图像数据进行同样的处理(S1至S9的处理)。如果摄影者通过操作而使得摄影完成(S10：是)，则在结束了第N帧的图像的处理的时刻，结束摄影和图像合成处理。

(第1实施方式的效果说明)

这样，在本实施方式中，根据光的轨迹的移动速度，能够检测高速移动的光的轨迹和以低速度移动的光的轨迹。此外，对于所检测的光的轨迹，将相当于高速移动的光的轨迹的像素地址置换为背景的亮度，从而能够从合成图像数据中除去高速移动的轨迹。

另外，本实施方式中说明了将高速移动的飞机的轨迹排除的方法，然而不限于此，也可以从合成图像数据中将低速的光的轨迹排除。由此，能够满足摄影者关于将例如星光的轨迹或不移动的光(建筑物的光)从合成图像数据中排除，希望仅将高速移动的飞机的光的轨迹显现于合成图像数据上的要求。这种情况下，在图4的步骤S45至S46的处理中，以将被检测为“低速度轨迹”的组(S45：否)登录为置换像素地址(S46)，并将“低速度轨迹”从合成图像中排除的方式进行置换处理即可。

此外，在本实施方式中，说明了按照每一帧进行轨迹的检测、合成处理的方法。通过按照每1帧进行合成处理，例如将合成的中途经过的图像数据作为摄影的经过而显示于显示部11上，从而摄影者能够在进行摄影的同时确认摄影经过，然而不限于此。

例如，可以按照每I帧(例如I是2以上的整数)使用I帧的图像数据的比较暗合成图像数据，进行对于I帧的比较亮合成图像数据或相加合成图像数据的轨迹检测，从而进行像素地址的置换。通过如上处理，相比按照每一帧进行处理的情况而言，能够减少处理的次数，因此能够减少数字相机内的各部的驱动次数以降低电池的消耗，或者在检测处理、图像合成处理赶不上连拍摄影的处理，无法进行处理(在第N帧的合成处理结束前读出第N+1帧，来不及进行N+1帧的处理)等的情况下，能够来得及进行处理。

另外，还可以将I设为进行了摄影的所有帧数。这种情况下，在所有帧的摄影完成的时刻，在所有帧的比较暗合成图像数据和比较亮合成图像数据或相加合成图像数据中检测轨迹，进行像素地址的置换处理，从而能够通过更少的处理次数获得同样的效果。

此外，在本实施方式中，对检测飞机和除此以外的轨迹(星等的低速度移动轨迹或建筑物的光等的不移动的光)的方法进行了描述，然而也可以应用于除此以外的各种光的轨迹的检测。例如第N-1帧与第N帧的摄影间隔可通过相机的控制程序来变更，因此如果对根据希望检测的光的移动速度的差来调整摄影间隔进行摄影的多帧的图像使用本实施的方法，则还能够应用于例如星的轨迹和烟花的轨迹的检测、荧光的轨迹和星的轨迹的检测等。与此相同地，例如使用第N-1帧和第N+1帧的图像数据进行轨迹的检测的情况下，也能够得到与延长摄影间隔来连拍的情况下相同的效果。

此外，本实施方式中说明了从显现出轨迹的相加合成或比较亮合成图像数据中除去不要的轨迹的方法，然而不限于此，对于未显现出光的轨迹的平均合成图像数据或比较暗合成图像数据，也可以通过施加必要的光的轨迹的方式置换像素。这种情况下，通过将必要的光的组的像素地址记录为置换像素地址，并利用进行了相加或比较亮合成的像素数据的输出对置换像素地址进行置换而能够实现。

此外，在本实施方式中将检测的光的轨迹的组中的“低速度轨迹”的组的像素地址记录为置换像素地址，然而不限于此，也可以将“低速度轨迹”以外的轨迹组的像素地址独立于“低速度轨迹”的组而记录于像素地址记录部152。通过这样处理，在摄影后能够根据摄影者的判断，将喜欢的轨迹组从合成图像中排除或添加，能够生成符合各种摄影者的多种意图的合成图像数据。

另外，在本实施方式中，说明了关于通过像素地址提取部171提取的明亮像素，通过组分配部172将相邻的像素群作为一个组进行处理的方法，然而不限于此。用于数字相机的一般的图像传感器将R(红)、G(绿)、B(蓝)的光电二极管上的滤色器配置为交替配置的(分别为R像素、G像素、B像素)拜尔排列。RGB各色的滤色器的感光度根据被摄体的颜色不同而不同，因此可以按照每个R像素、G像素、B像素，通过像素地址提取部171以不同的阈值等级提取明亮像素。此外，组分配部172中，可以将与按照每个R像素、G像素、B像素具有相同颜色的滤色器的每个像素相邻的像素群作为一个组而使其形成为组。通过这样处理，例如在对绿光的轨迹(荧光等)进行了摄影的情况下，G像素会作为明亮像素而被提取，而在R像素、B像素的输出较小而未作为明亮像素被检测出的情况下也能够正确地作为光的轨迹进行组分配。此外，例如在对逆马赛克处理后的各像素的亮度值进行明亮像素的提取的情况下也能够获得同样的效果。

(第2实施方式)

以下根据附图，说明将第2实施方式的图像处理装置应用于数字相机的示例。此外，对于与第1实施方式相同的结构、处理省略对其的说明。

(第2实施方式的结构说明)

首先，使用图7说明第2实施方式的数字相机的结构。在本实施方式中，轨迹分析部174具有速度/方向检测部1741。后面会叙述具体的动作，速度/方向检测部1741对显现于图像数据上的光的轨迹的移动速度、移动方向等的信息进行分析。本实施方式中，根据分析结果而由轨迹检测部173检测轨迹。除此以外的结构与第1实施方式相同。

(第2实施方式的作用说明)

下面，使用图8至图11说明本实施方式的数字相机的功能和动作。首先，使用图8说明动作序列。本实施方式与第1实施方式的动作(图2的流程图)同样地将连续摄影的多帧的图像数据依次合成。本实施方式与第1实施方式的不同之处包括后述所示的分析轨迹的速度、方向的处理(S83)。

首先，在从摄像部12读出图像时(S1)，与第1实施方式同样地，对于各像素输出提取规定的阈值等级以上的明亮像素(S81)。在对所有的像素完成了提取时(S82：是)，通过组分配部172分配所提取的明亮像素地址的相邻的像素彼此的组(S6)。

在对所有的像素完成了组的分配时，通过速度/方向检测部1741对各组分析移动速度或移动方向(S83)。具体而言，该分析处理例如图9所示，对于明亮像素的组GR＊(＊是表示组的编号的1以上的整数)，将其长度Le_GR＊数值化为轨迹的移动速度。对所有的组进行该数值化，并实施统计处理，以使得轨迹的长度长的一方成为移动速度快的轨迹的方式如图10A所示将相对于轨迹速度的频度制作成直方图。

这里，例如图9所示，如果星的轨迹ST、飞机的轨迹AP、大厦的窗户的灯光BL等的明亮像素的多个组显现于图像上(图9中示出了数个，实际情况下有非常多的星的轨迹、大厦的灯光或飞机)，则如图10A所示在直方图上，以大厦的窗户等的较小的发亮的点为hist_BL、星的轨迹hist_ST相比略长(快速移动)、轨迹更长(高速移动)的飞机的轨迹为hist_AP的方式，对应于轨迹的移动速度而以不同的长度产生频度高的区域。

下面，通过轨迹检测部173对所分析的各组检测轨迹(S84)。在图10A的大厦的窗口的亮点与星的轨迹的发生频度成为最大的长度之间设定了阈值等级Th_1，并且在星的轨迹与飞机的轨迹的发生频度成为最大的长度之间设定了阈值等级Th_2时，可以检测为，

比Th1短的组：大厦等的较小的亮点(固定轨迹)

Th1以上且小于Th2的长度的组：星的轨迹(缓慢移动的轨迹)

比Th2长的组：飞机的轨迹(快速移动的轨迹)。这里，作为Th1、Th2，既可以使用通过相机事先设定的值，也可以由摄影者通过操作部10任意设定值。例如，将图10A的直方图显示于显示部11上，摄影者可以在观看该直方图分布的同时指定Th1、Th2。

步骤S84的轨迹检测部173进行的检测处理使用该阈值等级来检测轨迹。S84的具体的处理序列在图11所示的流程图中示出。

首先，判定组G＊_N的移动速度(长度)是否在规定的阈值等级以上(S111)。步骤S111的判定处理中，若组G＊_N的长度例如在Th2以上(S111:是)，则进行登录为置换像素地址的处理(S112)。另一方面，步骤S111的判定处理中，若组G＊_N的长度例如小于Th2(S111:否)，则该组不进行登录为置换像素地址的处理，而转移至下一个判定处理步骤(S113)。步骤S113的判定处理中，判定是否对所有的组完成了登录，对所有的组完成了登录后(S113:是)，完成轨迹的检测。

这样，在显现于图像数据上的轨迹的检测完成后(图8的S84)，制作合成图像数据(S13)。步骤S13的生成合成图像数据的处理例如与第1实施方式同样地，在将飞机的轨迹排除的情况下，将相当于图10A的hist_AP的长度在Th_2以上的组的像素地址作为置换像素地址记录在像素地址记录部152中，进行与第1实施方式同样的像素置换，并进行合成处理(图2的S9处理、图6的处理)，从而能够生成将飞机的轨迹排除的合成图像数据。

(第2实施方式的效果说明)

这样，在本实施方式中，对明亮像素的组检测其的移动速度(长度)或方向等的信息，进行统计处理。使用基于该统计处理结果的统计分布来检测组，并使用检测结果，能够将一部分光的轨迹从合成图像中排除。

另外，在本实施方式中，说明了按照每一帧进行轨迹的检测、合成处理的方法，然而与第1实施方式同样地不限于此。例如也可以按照每I帧(例如I是2以上的整数)，使用I帧的图像数据的比较暗合成图像数据，进行对于I帧的比较亮合成图像数据或相加合成图像数据的轨迹的检测，从而进行像素地址的置换。

另外，在本实施方式中，说明了将轨迹的分析结果制作为直方图的处理，然而也可以将摄影图像和制作直方图显示于显示部11上，从而能够通过操作部10将用于供摄影者检测轨迹的阈值等级的值变更为任意的值。进而，在显示部11上使阈值等级以上或以下的轨迹进行闪烁显示等，能够视觉确认显现于图像上的轨迹是如何被检测的。通过这样处理，能够进行符合摄影者的意图的轨迹检测。

另外，作为阈值等级，在本实施方式中示出了设定作为一例的2个值(Th1、Th2)的示例。其中，可以不仅为2个值，能够设定更多的阈值等级。由此能够进行更为细致的轨迹检测。

此外，以上对根据各组的移动速度(长度)进行检测的方法进行了说明，也可以例如图10B所示对各组的移动方向进行检测。在相机朝向北侧的情况下星会以北极星为中心在各个方向上移动，而在朝向除此以外的方向进行摄影的情况下星的移动轨迹大致在相同方向上移动，因此能够检测某个方向上的范围的组，提取星的移动轨迹。

此外，除了轨迹的长度和方向之外，还可以如图10C所示通过轨迹的彩度(发色的良好程度)进行检测。例如烟花或荧光的轨迹具有饱和度高于星或飞机的倾向，因此例如对星和烟花同时摄影的情况下，能够将星的分布检测为hist_ST，并将烟花的分布检测为hist_fw。另外，除了饱和度以外还可以根据各组中包含的像素的颜色或亮度的分布制作直方图并进行检测。由于设想的是对星、烟花、飞机、荧光或除此以外的各种光的轨迹进行摄影、合成，因此通过这样处理，能够检测这些各种光的轨迹。

此外，还可以不仅根据上述轨迹的长度、方向、彩度、颜色等之中的1个，而是根据2个以上的信息检测轨迹。由此能够进行更为详细的轨迹检测。

另外，在本实施方式中，示出了对在从摄像部12读出的1帧的图像数据上显现的轨迹进行检测的处理，也可以实施对进行了相加或比较亮合成处理的合成图像数据检测同样的轨迹的处理。星的轨迹具有快门速度短的情况、以及在通过焦点距离短的镜头进行摄影时在像面上的移动量变小，不易检测为图示那样的不同于大厦的窗口的较小亮点的轨迹的情况。只要是合成了数帧的合成图像，就能够较长地显现出星的轨迹，因此能够提高与这些小亮点的检测精度。

本实施方式中说明了将一帧的图像数据的轨迹以及进行了上述的相加或比较亮合成的合成图像数据的轨迹形成组并检测其移动速度(长度)的方法，例如也可以如图12所示，使用第N-1帧、第N帧的图像数据的比较暗合成图像数据，检测轨迹的长度。

以下示出使用比较暗合成图像检测轨迹的长度的作用。例如图像IM12a所示，如果将如星等那样缓慢移动的第N-1帧的光的轨迹LT_N-1与第N帧的光的轨迹LT_N进行比较暗合成，则仅重复部分LTcompD_N-1·N明亮地保留，除此以外的部分都成为与背景的夜空相同的亮度。这里，以LTcompD_N-1·N的像素地址作为端点，利用不包含LTcompD_N-1·N的像素地址而包含于LT_N中的像素地址，检测从LTcompD_N-1·N到最远像素的长度，从而能够求出第N帧的光的轨迹LT_N的长度Le_LT_N。

另一方面，图像IM12b示出不移动的建筑物等的明亮像素的组BL。该组BL中的第N-1帧和第N帧都不移动而明亮地显现，因此即便进行比较暗合成，大小、亮度也不会变化。即，关于组BL及其相邻像素，不存在根据比较暗合成图像数据未被提取、而根据第N帧的图像数据被提取的像素，因此轨迹的长度为0，能够检测为不移动的明亮像素的组。

根据这种方法检测组，从而除了能够检测移动的明亮像素组之外，还能够检测不移动的明亮像素组。通过将轨迹分析方法与第1实施方式或上述的第2实施方式的方法组合，从而能够检测不移动的光(例如作为背景显现的街灯或建筑物的灯光)、以低速度移动的光的轨迹(星或荧光)、以高速度移动的光的轨迹(飞机或人工卫星)以及更为详细的光的轨迹。

另外，如图13所示，在飞机的光的轨迹APTR与星光的轨迹STTR重合显现的情况下，根据第1和第2实施方式的图像合成方法，会以将飞机的轨迹排除的方式进行像素的置换，因此星与飞机的轨迹的重复部分APST被排除，星的轨迹会中断显现。这种情况下，即使星的轨迹的像素地址是飞机的轨迹的像素地址，也不会作为置换像素地址而登录于像素地址登录部152，从而能够使得星的轨迹不会中断。

另外，本实施方式中说明了从显现出轨迹的相加合成图像数据或比较亮合成图像数据中除去不要的轨迹的方法，然而不限于此，也可以对未显现出光的轨迹的平均合成图像数据或比较暗合成图像数据以施加必要的光的轨迹的方式来置换像素。这种情况下，可通过将必要光的组的像素地址记录为置换像素地址，并通过进行了相加或比较亮合成的像素的输出对置换像素地址进行置换来实现。

(第3实施方式)

以下根据附图，说明将第3实施方式的图像处理装置应用于数字相机的示例。第3实施方式中，根据在摄影时通过GPS等检测出的信息，计算显现于摄影图像上的星的轨迹的移动速度、移动方向，分析显现于图像上的光的轨迹是星还是星以外，从而检测轨迹。此外，对于与第1和第2实施方式相同的结构、处理省略对其的说明。

(第3实施方式的结构说明)

第3实施方式的数字相机的基本结构与第1和第2实施方式相同，仅轨迹分析部174的结构和功能不同。下面使用图14说明第3实施方式的轨迹分析部174的内部结构。

轨迹分析部174与第2实施方式同样地将保存于记录部15的图像数据和进行了组分配的像素的地址信息输入速度/方向检测部1741。速度/方向检测部1741通过与第2实施方式同样的方法，检测各组的速度(长度)和方向。检测出的各组的速度(长度)和方向的信息被发送给轨迹分析部174内的速度/方向比较部1406和轨迹检测部173。另外，轨迹分析部174具有GPS检测部1402、地磁检测部1403、加速度检测部1404和天体轨迹计算部1405。

GPS检测部1403是GPS(Global Positioning System：全球定位系统)信息的接收装置，其检测相机的摄影时的纬度信息，并输出给天体轨迹计算部1405。地磁检测部1403是地磁传感器，将摄影时的相机朝向东西南北的哪个方位的信息输出给天体轨迹计算部1405。加速度检测部1404具有加速度传感器，根据通过加速度传感器检测出的重力加速度的值和方向，将摄影时相机相对于重力方向(上下的方向)朝向哪个方向的信息输出给天体轨迹计算部1405。

天体轨迹计算部1405根据这些摄影时的纬度、相机朝向的方位角、方向(东西南北和上下方向)的信息，计算星在摄影视场内向哪个方向移动。进而，天体轨迹计算部1405从记录部15得到镜头的焦点距离、快门速度以作为摄影时的摄影信息，从而计算星在摄像面上即在摄影的图像数据上的移动长度和方向。这样地，在摄影的图像上计算星的(移动速度)长度和移动方向。

接着，该计算结果被输入速度/方向比较部1406，比较显现于图像上的光的轨迹的组的速度/方向的信息与通过天体轨迹计算部1405计算的图像上的星的移动方向和移动速度，输出各组是否相当于星的轨迹的信息。该输出结果被输入到轨迹检测部173。在轨迹检测部173中，通过速度/方向检测部1741一并考虑不在各组中移动的轨迹、以低速度移动的光的轨迹、以高速度移动的轨迹的信息和检测结果、速度/方向比较部1406得到的各组是否相当于星的轨迹的结果，来检测各组。

作为轨迹检测部173进行的具体的检测方法，例如首先将检测为相当于星的轨迹的组检测为“轨迹2”(图14的1409)，对于星以外的轨迹，根据速度/方向检测部1741的结果，将不移动的明亮像素的组检测为“固定轨迹(图14的1407)”，将移动的轨迹作为星以外的轨迹而检测为“轨迹1(图14的1408)”，在记录部中记录各组的像素地址。

(第3实施方式的效果说明)

这样，本实施方式中计算在实际的图像数据上显现的星的移动方向、移动速度，能够高精度地检测星的移动轨迹。如本实施方式那样，与第2实施方式的轨迹分析、检测手段组合，进而与第1实施方式的轨迹检测手段组合来检测轨迹，还能够检测星以外的轨迹。即，本实施方式中，从合成图像数据中甄选出不要的轨迹、必要轨迹，能够以不显现出不要的轨迹，而使得必要的轨迹显现于合成图像数据上的方式合成图像数据。作为本实施方式的具体效果，例如在图15所示的以显现出北极星POL的方式进行摄影的情况下，能够检测星和其他的被摄体。这种情况下，由于北极星不移动，因此无论如何提高快门速度以及增加合成帧数都不会移动。

因此，在使用前述的第2实施方式2检测轨迹时，北极星不会被检测作为星的轨迹，而是被检测为不移动的明亮像素。然而，若使用本实施方式的方法，则通过天体轨迹计算部1405能够计算图像上的各位置处的星的移动方向、移动量，因此也能够检测不移动的北极星，能够将北极星正确地检测为星。

另外，在本实施方式中，检测为不移动的明亮像素、星以外的轨迹和星的轨迹这3个组，也可以将明亮像素的组检测为星的轨迹和除此以外的轨迹的2种。其原因在于，如果从图像数据中仅提取星的轨迹，则有时也会符合摄影者的意图，这种情况下无需进行对星以外的轨迹的进一步检测，能够削减轨迹的分析处理所需的数据块或处理时间。

此外，本实施方式中说明了将GPS检测部设置于数字相机内部的结构，然而不限于此，例如也可以与智能手机等的信息终端进行无线通信，通过无线通信取得通过智能手机内部的GPS检测部检测的GPS信息。另外，例如摄影者可以对数字相机进行操作输入，从而输入摄影场所(例如东京都)，以能够根据城市名核对纬度信息。这种情况下，不必在数字相机上设置无线通信部或GPS信息检测部等也能够根据城市名把握纬度信息。

如上所述，在本发明的各实施方式或变形例的图像处理装置中，在合成多帧的图像数据以生成对光的轨迹进行摄影的照片时，能够检测显现于图像数据上的各种光的轨迹。根据该检测结果能够进行如下图像处理，通过数字相机或PC的图像处理程序从显现出各种光的轨迹的图像数据中自动地除去不要的光的轨迹，或在未显现出光的轨迹的合成图像上添加必要的光的轨迹等。

此外，数字相机的摄影者或图像处理装置的利用者在摄影中或摄影后，使用轨迹的检测结果，能够进行根据合成图像按照通过手动操作检测的每个光的轨迹从合成图像数据将其除去的处理，或进行施加给合成图像数据的处理，或按照每个轨迹独立地进行亮度或颜色等的画质调整。

进而，若将轨迹的检测结果与合成图像数据一起显示(例如仅使特定的轨迹进行反转显示等而易于视觉确认)，则本图像处理装置的利用者能够在观看图像数据的同时把握显现于合成图像数据上的各轨迹的检测结果。由此，易于进行上述针对每种轨迹而不同的处理，另外为了在观看图像的同时再次进行轨迹的检测而变更阈值等级，还能够再次检测轨迹，能够实现自由度更高的图像合成、图像处理。

进而，图像处理部14、图像合成部16、图像分析部17、像素地址置换部18等除了构成为硬件电路或部件单体之外，还可以通过CPU和程序而构成为软件，还可以构成为根据由Verilog描述的程序语言而生成的门极电路等的硬件结构，还可以使用应用了DSP(DigitalSignal Processor：数字信号处理器)等的软件的硬件结构。以上方式当然可以适当进行组合。

另外，在本说明书记载的实施方式中的各实施方式或变形例中，说明了内置于数字相机的图像处理装置，然而不限于此，作为相机，既可以是镜头交换式的数字单反相机，也可以是内置镜头的紧凑型数字相机，还可以是摄像机或摄影机等的动画用的相机，还可以是在移动电话、智能手机、便携信息终端(PDA：Personal DigitalAccess：个人数字助理)、游戏设备等中内置的相机，还可以是对通过相机摄影的图像进行处理的图像处理装置。此外，在不内置对相机等的图像数据进行摄影的设备的情况下也可以是具备图像处理功能的PC、智能手机或便携信息终端。无论何种情况，只要是能够进行图像处理的设备，就能够应用本发明。

此外，关于在本说明书说明的技术中的主要根据流程图说明的控制，大多可通过程序进行设定，有时也收纳于记录介质或记录部中。作为在该记录介质、记录部中的记录方式，既可以在产品出厂时预先记录，也可以使用所发布的记录介质，还可以经由因特网下载。

此外，关于权利要求书、说明书和附图中的动作流程，为了方便起见而使用“首先”、“下面”等的表现顺序的用于进行了说明，然而在没有特别说明的情况下，并非意味必须按照这种顺序进行实施。

本发明不仅限于上述实施方式，可以在实施阶段不脱离其主旨的范围内变形结构要素使其具体实现。此外，通过在上述实施方式中公开的多个结构要素的适当组合，能够形成各种的发明。例如，可以删除实施方式所示的所有结构要素中的任意几个结构要素。进而，还可以适当组合不同实施方式中的结构要素。

Claims (10)

1.一种图像处理装置，其具有：

轨迹提取部，其提取在由多个像素值构成的图像数据中连续成为规定值以上的区域作为轨迹；

轨迹判别部，其判别通过上述轨迹提取部提取的上述轨迹的移动状态；以及

轨迹检测部，其根据通过上述轨迹判别部判别的移动状态，检测上述轨迹的种类。

2.根据权利要求1所述的图像处理装置，其中，

上述轨迹提取部提取基于显现于上述图像数据上的亮点的移动的轨迹，

上述轨迹判别部对相当于上述亮点的移动速度或移动方向中的至少一方的上述移动状态进行判别。

3.根据权利要求2所述的图像处理装置，其中，

该图像处理装置还具有对至少2帧以上的图像数据进行比较暗合成的比较暗合成部，

上述轨迹提取部对上述图像数据和通过上述比较暗合成部合成的比较暗合成图像数据分别提取成为上述规定值以上的区域作为轨迹，

上述轨迹判别部根据对上述图像数据提取的轨迹是否包含对上述比较暗合成图像数据提取的轨迹的像素地址，来判别上述图像数据的轨迹的移动状态，

上述轨迹检测部根据上述轨迹判别部的判别结果，将通过上述轨迹提取部对上述图像数据提取的轨迹中的、包含通过上述轨迹提取部对上述比较暗合成图像数据提取的轨迹的像素地址的轨迹作为低速移动轨迹，并将不包含通过上述轨迹提取部对上述比较暗合成图像数据提取的轨迹的像素地址的轨迹作为高速移动轨迹，来检测轨迹的种类。

4.根据权利要求2所述的图像处理装置，其中，

上述轨迹判别部具有根据上述轨迹的形状，检测移动速度或移动方向中的至少一方的速度/方向检测部，该轨迹判别部根据上述检测结果判别上述轨迹的移动状态，

上述轨迹检测部根据上述轨迹判别部的判别结果，检测轨迹的种类。

5.根据权利要求2所述的图像处理装置，其中，

上述轨迹判别部具有：

速度/方向检测部，其根据上述轨迹的形状，检测移动速度或移动方向中的至少一方；

GPS检测部，其检测取得上述图像数据时的GPS信息；

地磁检测部，其检测取得上述图像数据时的方位；

加速度检测部，其检测上述图像数据取得时的相对于重力方向的方向；

天体轨迹计算部，其根据上述GPS信息、上述方位信息、上述相对于重力方向的方向和数据取得时的摄影信息，计算天体的轨迹；以及

速度/方向比较部，其比较上述轨迹判别部的检测结果与上述天体轨迹计算部的计算结果，

上述轨迹判别部根据上述速度/方向比较部的比较结果，判别轨迹的移动状态，

上述轨迹检测部根据上述轨迹判别部的判别结果，检测轨迹的种类是天体的轨迹还是不符合天体的轨迹。

6.根据权利要求2、4、5中的任意一项所述的图像处理装置，其具有：

对至少2帧以上的图像数据进行比较亮合成的比较亮合成部或进行相加合成的相加合成部中的至少任意一个；以及

对至少2帧以上的图像数据进行比较暗合成的比较暗合成部或进行平均合成的平均合成部中的至少任意一个，

该图像处理装置将通过上述轨迹检测部检测出的至少一种轨迹的像素地址作为置换像素地址，

将上述图像数据或比较亮合成图像数据或相加合成图像数据的上述置换像素地址的像素值置换为上述比较暗合成图像数据或上述平均合成图像数据的上述置换像素地址的像素值。

7.根据权利要求2、4或5中的任意一项所述的图像处理装置，其具有：

对至少2帧以上的图像数据进行比较亮合成的比较亮合成部或进行相加合成的相加合成部中的至少任意一个；以及

对至少2帧以上的图像数据进行比较暗合成的比较暗合成部或进行平均合成的平均合成部中的至少任意一个，

该图像处理装置将通过上述轨迹检测部检测出的至少一种轨迹的像素地址作为置换像素地址，

将比较暗合成图像数据或平均合成图像数据的上述置换像素地址的像素值置换为上述图像数据或比较亮合成图像数据或相加合成图像数据的上述置换像素地址的像素值。

8.根据权利要求2至5中的任意一项所述的图像处理装置，其中，

由上述轨迹检测部检测轨迹种类的上述图像数据是进行合成前的1帧图像数据或比较亮合成图像数据或相加合成图像数据中的至少任意一个。

9.一种图像处理方法，其包括：

提取由多个像素值构成的图像数据的连续成为规定值以上的区域作为轨迹，

根据提取的上述轨迹判别上述轨迹的移动状态，

根据上述判别出的移动状态，进行检测上述各轨迹的种类的处理。

10.根据权利要求9所述的图像处理方法，其中，

执行对至少2帧以上的图像数据进行比较亮合成的比较亮合成处理或进行相加合成的相加合成处理中的至少任意一个合成处理，

执行对至少2帧以上的图像数据进行比较暗合成的比较暗合成处理或进行平均合成的平均合成处理中的至少任意一个合成处理，

将上述检测出的轨迹的至少一种轨迹的像素地址作为置换像素地址，

进行将上述图像数据或比较亮合成图像数据或相加合成图像数据的上述置换像素地址的像素值置换为上述比较暗合成图像数据或上述平均合成图像数据的上述置换像素地址的像素值的处理。