CN105049746B - 图像处理装置及其控制方法 - Google Patents

Abstract

本发明提供图像处理装置及其控制方法。对输入图像应用作为随机噪声的颗粒噪声和刮痕以生成合成图像。当对输入图像应用从二维噪声数据中裁切的颗粒噪声时，每次进行裁切时，均评价距前一裁切位置的位置差。当确定位置差小时，改变当前裁切位置。在对输入图像应用从多个图案的噪声数据中裁切的刮痕的情况下，当选择了用于在预定时间段内连续应用刮痕的条件时，评价距前一贴合位置的位置差。当确定位置差大时，使刮痕的应用无效。

Description

图像处理装置及其控制方法

本申请是申请日为2011年12月16日、申请号为201110425422.X、发明名称为“图像处理装置及其控制方法”的发明专利申请的分案申请。

技术领域

本发明涉及被构造为对数字图像数据产生胶片式效果(film-like effect)的图像处理装置。

背景技术

近年来，作为针对数字摄像机的图像表现方法，提出了通过将颗粒噪声(grainnoise)与数字图像合成来对拍摄图像应用胶片式粒度效果的方法。日本专利特开平11-085955号公报公开了以下技术，其中计算来自胶片的粒度图案数据(原始颗粒噪声)、在粒度图案数据上的随机位置裁切多个噪声数据，并布置所述多个噪声数据，由此应用颗粒噪声。

然而，当在放映机上回放胶片时，胶片图像不仅具有上述影响整个图像的颗粒噪声而且还存在各种现象。

发明内容

本发明旨在提供一种能够对拍摄图像应用具有不同特性的两种类型的噪声的图像处理装置。

根据本发明的一方面，提供一种能够对多个帧的输入图像应用噪声效果的图像处理装置，所述图像处理装置包括：第一存储单元，其被构造为存储二维形式的第一噪声数据；裁切单元，其被构造为从所述第一噪声数据中裁切对应于输入图像的全部帧的噪声数据；第一指定单元，其被构造为指定所述第一噪声数据上要被所述裁切单元裁切的裁切位置；第一合成单元，其被构造为将由所述裁切单元裁切的噪声数据与输入图像合成；第二存储单元，其被构造为存储与所述第一噪声数据不同的、包含多个图案的噪声数据的第二噪声数据；选择单元，其被构造为从所述第二噪声数据中选择要被贴合至当前帧图像上的噪声数据；第二指定单元，其被构造为指定所述当前帧图像上的、用于贴合所述选择单元选择的噪声数据的贴合位置；以及第二合成单元，其被构造为在所述第二指定单元指定的位置处合成由所述选择单元选择的噪声数据，其中，所述第一指定单元基于随机值，指定所述第一噪声数据上的所述裁切位置，并且其中，所述第二指定单元基于随机值，指定用于贴合所述选择单元选择的噪声数据的所述贴合位置。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

被包括在说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征及方面，并与文字描述一起用于说明本发明的原理。

图1是例示根据本发明的第一示例性实施例的示例图像处理装置的框图。

图2是例示根据本发明的第二示例性实施例的示例图像处理装置的框图。

图3例示了根据本发明的第一示例性实施例的颗粒噪声数据。

图4例示了根据本发明的第一示例性实施例的拍摄图像与颗粒噪声的合成图像的结构。

图5例示了根据本发明的第二示例性实施例的刮痕噪声数据。

图6例示了根据本发明的第二示例性实施例的拍摄图像与刮痕噪声数据的合成图像的结构。

图7是例示根据本发明的第一示例性实施例的用于确定颗粒噪声数据的裁切位置的处理的流程图。

图8例示了根据本发明的第一示例性实施例的颗粒噪声数据的裁切位置。

图9是例示根据本发明的第一示例性实施例的颗粒噪声数据的校正后的裁切位置的表。

图10例示了根据本发明的第一示例性实施例的由于颗粒噪声数据的校正位置之间的差而导致的重复度。

图11(包括图11A和图11B)是例示根据本发明的第二示例性实施例的用于确定刮痕噪声数据的贴合位置(pasting position)的处理的流程图。

图12例示了根据本发明的第二示例性实施例的刮痕应用的必要性的时间变化。

图13是例示根据本发明的第三示例性实施例的图像处理装置的框图。

图14例示了根据本发明的第三示例性实施例的帧存储器及其图像裁切。

图15例示了根据本发明的第三示例性实施例的用于隐蔽由于图像裁切导致的噪声的处理。

图16是例示根据本发明的第三示例性实施例的用于应用垂直抖动处理的处理的流程图。

图17例示了根据本发明的第三示例性实施例的用于垂直抖动处理的多个抖动类型及其组合。

图18A和图18B是分别例示根据本发明的第四示例性实施例的示例图像处理装置的框图。

图19例示了根据本发明的第四示例性实施例的用于实现闪烁的亮度信号的校正处理。

图20是例示根据本发明的第四示例性实施例的用于校正亮度信号的处理的流程图。

图21A和图21B是例示根据本发明的第五示例性实施例的示例图像处理装置的框图。

图22是例示根据本发明的第五示例性实施例的用于重叠多个胶片式效果的处理的流程图。

图23是例示根据本发明的第六示例性实施例的示例图像处理装置的框图。

图24描述了根据本发明的第六示例性实施例的、在使用胶片作为记录介质的运动图像拍摄中从记录到回放的处理。

图25是例示在图24中所示的各个处理中影响放映结果的事件、所述事件的效果、以及通过基于模拟的图像处理来实现所述效果的方法的表。

图26是例示根据本发明的第六示例性实施例的用于重叠多个胶片式效果的处理的流程图。

图27是例示根据本发明的其他示例性实施例的示例图像处理装置的框图。

具体实施方式

以下将参照附图详细描述本发明的各种示例性实施例、特征及方面。

以下将基于图像处理装置描述第一示例性实施例，该图像处理装置能够对拍摄图像应用颗粒噪声，以产生像胶片式噪声效果一样的粒度效果。图1是例示根据第一示例性实施例的作为图像处理装置的数字视频摄像机的框图。

图像传感器100对成像入射光应用光电转换。光电转换后的信号被输入到摄像机信号处理单元101。摄像机信号处理单元101对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元111。编码器单元111以预定记录格式对从摄像机信号处理单元101接收的视频信号进行编码，并将结果视频信号记录到记录介质112。

以下将描述摄像机信号处理单元101中的信号处理。当向摄像机信号处理单元101输入信号时，图像处理单元104对该信号应用各种类型的信号处理。各种类型的信号处理包括在通常图像拍摄时对图像数据应用的白平衡处理、伽马处理、色彩空间转换处理、色彩增益处理、色彩平衡处理。图像处理单元104将处理后的信号作为拍摄图像存储到第一帧存储器108中。

存储器109存储二维噪声数据301作为颗粒噪声。裁切处理单元106从存储器109读取噪声数据301，并从噪声数据301中裁切具有预定位置和大小的噪声数据302。

然后，裁切处理单元106将裁切后的噪声数据302存储在第二帧存储器110中。倍率处理单元107从第二帧存储器110读取噪声数据302，并对噪声数据302应用大小调整处理，以获取具有与拍摄图像合成所需的大小的噪声数据402。

合成处理单元105以预定定时从第一帧存储器108读取拍摄图像401以及从倍率处理单元107读取噪声数据402，将拍摄图像401与噪声数据402合成，并输出合成图像。合成处理单元105能够改变噪声数据402与拍摄图像401的合成比率。通过改变合成比率，合成处理单元105能够改变要应用于拍摄图像401的颗粒噪声的强度。以下将详细描述用于生成颗粒噪声的方法以及用于应用颗粒噪声的方法。

信号生成器(SG)103生成用于控制驱动图像传感器100的定时的信号，并将生成的信号提供给图像传感器100。

系统控制器102控制包括图像传感器100和摄像机信号处理单元101的摄像机块。系统控制器102向图像传感器100发出关于信号累积间隔以及信号读出定时的指令。系统控制器102将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元104。系统控制器102向合成处理单元105发出用于指定要进行合成的帧存储器的指令、用于指定合成比率的指令、以及关于合成定时的指令。

系统控制器102向裁切处理单元106发出关于从存储器109读出的定时的指令、关于裁切位置和大小的指令、以及关于将裁切数据存储在第二帧存储器110中的定时的指令。

系统控制器102向倍率处理单元107发出关于从第二帧存储器110读出的定时的指令以及关于用于大小调整的大小的指令。系统控制器102向SG 103发出关于驱动图像传感器100的定时的指令。

以下将参照图3和图4详细描述用于生成颗粒噪声的方法(本示例性实施例的特性处理)以及用于将该颗粒噪声应用于图像数据的方法，所述颗粒噪声用于对图像数据产生胶片式粒度效果。

为了与运动图像刷新间隔(即帧速率)同步地布置粒度图案数据，日本专利特开平11-085955号公报中公开的用于布置多个粒度图案数据的技术，需要能够在帧速率周期内每次均以不同方式来布置图案数据的高速处理系统。利用从多个颗粒噪声图案中进行选择并将其应用于图像数据的方法，需要用于存储颗粒噪声的多个存储区域。

因此，本示例性实施例将颗粒噪声预存储为二维数据，裁切与在任意位置输入的图像的整个帧相对应的噪声数据，并将裁切的噪声数据与运动图像合成。

在这种情况下，将裁切定时与运动图像帧速率同步并且每次改变针对多个帧的裁切位置，使得能够在时间上及空间上对随机颗粒噪声与运动图像进行合成。

图3例示了二维噪声数据(颗粒噪声数据301)与要从颗粒噪声数据301中裁切的裁切噪声数据302之间的关系。图4例示了裁切噪声数据302与拍摄图像的合成的概念。

颗粒噪声数据301是各自以根据高斯分布的记录随机数作为像素值的像素组。在本示例性实施例中，最小粒单位是一个像素。随机数不限于根据高斯分布的随机数或者任意其他特定类型的随机数，可以是均匀随机数、指数随机数以及许多其他类型的随机数。

实际噪声数据的形式不限于特定形式，可以是图像数据、数据序列以及许多其他类型。尽管最小粒单位不限于一个像素，但是更小的单位自然导致更大程度的随机化。

系统控制器102通过使用摄像机内可获取的动态值(诸如处理时间以及摄像机的姿势和位置信息)来随机确定颗粒噪声数据301的裁切开始位置(X，Y)。系统控制器102从颗粒噪声数据301上确定的裁切开始位置起，裁切具有预定大小的数据作为裁切噪声数据302，并将裁切噪声数据302与拍摄图像合成，如图4所示，由此对拍摄图像应用颗粒噪声。

当每次随机改变裁切开始位置时，如果前一裁切位置和当前裁切位置相互接近、或者仅在水平或垂直方向上有偏移，则作为合成的结果，二维图案看似在移动。

因此，在本示例性实施例中，系统控制器102设置当前裁切位置，使得从前一裁切位置至当前裁切位置的移动量可能不落入预定范围内。

系统控制器102指示裁切处理单元106对噪声数据301应用裁切控制。以下将参照图7描述根据本示例性实施例的裁切控制。在对拍摄图像应用胶片式噪声效果的图像拍摄模式下进行上述的裁切控制。作为选择方案，在从诸如记录介质212的存储器的连续运动图像读出之后，作为后处理进行裁切控制。

在步骤S701，系统控制器102通过使用上述动态值、由存储在存储器109中的噪声数据，来计算本次要开始裁切的候选位置(在下文中称为当前裁切开始位置或当前裁切位置)。为了将裁切数据作为颗粒噪声合成，系统控制器102每次均随机确定与前一裁切位置不同的当前裁切位置。当要指定的当前裁切位置的确定完成时，处理进行到步骤S702。

在步骤S702中，系统控制器102基于要指定给SG 103的驱动定时信号来获取当前图像传感器100的帧速率信息。当帧速率信息的获取完成时，处理进行到步骤S703。

在步骤S703中，系统控制器102计算用于确定当前指定的裁切位置(下文中称为当前裁切位置)距存储在临时存储器(未示出)中的前一裁切位置有多远的标准。

系统控制器102与帧速率同步地刷新要合成的颗粒噪声。因此，帧速率越小(即拍摄图像刷新间隔越长)，颗粒噪声刷新间隔变得越长(即颗粒噪声保持可见的时间越长)。因此，当前一裁切位置和当前裁切位置相互接近时，合成颗粒噪声看似在移动。

根据步骤S702中获取的帧速率信息，系统控制器102改变用于确定当前裁切位置距前一裁切位置有多近的标准(预定值)。例如，利用60fps的帧速率(第一帧速率)，在当前裁切位置处于前一裁切位置周围10像素(第一预定值)内时，确定当前位置在前一位置附近。

另一方面，利用30fps的帧速率(第二帧速率)，系统控制器102确定使得在当前裁切位置处于前一裁切位置周围20像素(第二预定值)内时、当前位置被确定为在前一位置附近(两者之间的距离小于等于预定值)的标准。当标准的确定完成时，处理进行到步骤S704。

在步骤S704中，系统控制器102计算对噪声数据的前一裁切位置与在步骤S701中计算出的对噪声数据的当前裁切位置之间的颗粒噪声距离(改变量)。当该距离的计算完成时，处理进行到步骤S705。

在步骤S705中，系统控制器102将在步骤S704中计算出的前一裁切位置与当前裁切位置之间的距离同步骤S703中计算出的标准相比较。当距离大于标准时(步骤S705中“是”)，即当系统控制器102确定裁切位置已从前一裁切位置大大改变时，处理进行到步骤S707。另一方面，当距离小于标准时(步骤S705中“否”)，即当系统控制器102确定裁切位置从前一裁切位置略微改变时，处理进行到步骤S706。

在步骤S706中，系统控制器102校正当前指定的步骤S701中计算出的裁切位置的位置信息。以下将描述用于校正裁切位置的位置信息的方法。当裁切位置信息的校正完成时，处理进行到步骤S707。

在步骤S707中，系统控制器102将用于下次裁切位置控制的、步骤S706中校正的裁切位置的位置信息，存储在临时存储器中，并且处理进行到步骤S708。在步骤S708中，系统控制器102将在步骤S706中校正的裁切位置指定给裁切处理单元106，并且处理结束。

以下将描述步骤S706中的用于校正裁切位置的处理。图8、图9和图10例示了当校正存储在存储器103中的噪声数据301的裁切位置时的校正条件和校正位置。

噪声数据301具有W像素的宽度以及H像素的高度(W≥4，H≥4)。将使用左上位置作为裁切位置的原点(0,0)、逐像素地进行噪声数据301的裁切。要裁切的裁切噪声数据302具有(W/2)像素的宽度及(H/2)像素的高度。

例如，如图3所示，在当前裁切位置为(X，Y)时，用于开始裁切具有上述大小的裁切噪声数据302的裁切开始位置(X，Y)可以在范围(0≤X＜W/2，0≤Y＜H/2)(图8)内被指定。

可以指定裁切开始位置的该范围被划分为图8所示的四个区域1、2、3和4。区域1具有范围(0≤X＜W/4，0≤Y＜H/4)内的裁切开始位置。区域2具有范围(W/4≤X＜W/2，0≤Y＜H/4)内的裁切开始位置。区域3具有范围(0≤X＜W/4，H/4≤Y＜H/2)内的裁切开始位置。区域4具有范围(W/4≤X＜W/2，H/4≤Y＜H/2)内的裁切开始位置。

当校正裁切位置时，期望在前一裁切位置处裁切的噪声数据与在当前裁切位置处裁切的噪声数据之间存在小的交叠区域，并且这两个位置分离。该状态将提高合成时的随机化的程度。

在校正控制中，系统控制器102确定当前裁切位置存在于区域1至4中的何处，并将当前裁切位置校正至所确定的区域的对角区域中的位置。在该情况下，如图9中的表所示，系统控制器102将裁切开始位置(X，Y)校正至校正后的裁切位置(X’，Y’)。

例如，在当前裁切位置存在于区域1中时，将当前裁切位置移动至区域4(图10中的噪声数据1003)，与将当前裁切位置移动至区域2和3(分别为图10中的噪声数据1001和1002)相比，提供了裁切噪声数据的更小交叠区域。这防止了容易注意到噪声数据的移动，提高了颗粒噪声在时间上的随机化程度。

如上所述，在第一示例性实施例中，系统控制器102随机裁切二维噪声数据的范围，并且每次刷新拍摄图像时均将该拍摄图像与裁切的噪声数据合成。该方法使得能够对甚至运动图像应用颗粒噪声。

即使当随机确定的裁切位置接近前一裁切位置，即在预定范围内时，上述方法也将所确定的裁切位置校正至预定范围外的位置，从而确保了一定的噪声随机化程度。本示例性实施例使得能够通过从已经读取的数据中裁切具有预定大小的数据来简单生成噪声数据，从而与在日本专利特开平11-085955号公报中公开的技术相比，提供了噪声数据生成所需的更短时间周期。

本示例性实施例还将当前裁切位置与前一裁切位置相比较，并且当这两个位置之间的差小(即这两个位置相互接近)时，改变当前裁切位置，以防止裁切的噪声数据看似在移动，由此提高了噪声随机化的程度。

在本示例性实施例中，颗粒噪声数据301具有W像素的宽度及H像素的高度，裁切噪声数据具有W/2像素的宽度和H/2像素的高度。然而，用于颗粒噪声的裁切噪声数据的大小不限于此，而可以大于或小于本示例性实施例中的大小，只要其不超过颗粒噪声数据的大小即可。

然而，增加裁切噪声数据的大小可能降低随机化的程度。另一方面，降低裁切噪声数据的大小可能增加颗粒噪声数据301的大小与所需裁切噪声数据的大小的比率并且消耗更大的存储容量。

因此，在本示例性实施例中，将颗粒噪声数据301的大小与裁切噪声数据的大小的比率设置为大约4，并且进行控制，使得前一裁切开始位置和当前裁切开始位置相互不接近，这样更好地确保了一定的噪声随机化程度并节省了存储容量。

尽管，在本示例性实施例中，可以指定裁切开始位置的范围被划分为四个区域，但是数量以及划分面积的分配不限于此。

在本示例性实施例中，当系统控制器102确定当前裁切位置与前一裁切位置之间的距离等于或小于预定值时，系统控制器102将包括上述裁切开始位置的区域校正至其他区域。然而，用于校正裁切开始位置的方法不限于此。可以移动裁切开始位置，使得当前裁切位置与前一裁切位置之间的距离大于预定值。

更具体地说，当在帧速率为60fps的情况下预定值是前一裁切位置周围10像素时，可以将当前裁切位置(坐标)改变为其周围11像素或更多。作为选择方案，可以从候选中排除前一裁切位置周围少于10像素的坐标，然后可以随机指定当前开始位置。

在本示例性实施例中，当系统控制器102确定当前裁切位置与前一裁切位置之间的距离等于或小于预定值时，系统控制器102将包括上述裁切开始位置的区域校正至其他区域。然而，用于校正裁切开始位置的方法不限于此。可以确定当前裁切位置和前一裁切位置属于图8中的区域1、2、3和4中的何者，并且当它们属于同一区域时，将当前裁切位置移动至不同区域。

在该情况下，如在本示例性实施例中，优选将当前裁切位置移动至对角区域，以使当前裁切区域与前一裁切区域之间的交叠区域最小化。另外，利用该确定方法与用于确定当前裁切位置与前一裁切位置之间的距离是否等于或小于预定值的方法的组合，即使在裁切开始位置存在于这两个区域的边界的附近时，也能够进行有效的确定。

以下将基于能够应用刮痕(垂直线性噪声)来对拍摄图像应用胶片上的刮痕的胶片式效果的图像处理装置，来描述第二示例性实施例。图5及图6描述了根据本示例性实施例的刮痕噪声数据的裁切和合成。

图5例示了包含多个图案的刮痕的刮痕噪声数据501以及与要裁切的噪声数据502之间的关系。利用刮痕噪声数据501，由将一个像素作为水平方向上的最小单位的随机数来确定强度，并在垂直方向上存储刮痕。

在将多个像素作为垂直方向上的最小单位的情况下，强度发生改变，相应地，在垂直方向上刮痕的浓度(density)和厚度发生改变，这样表现出刮痕的“衰落”。随机数可以为根据高斯分布或许多其他类型的一种，但是不限于特定类型。

图6例示了裁切刮痕和拍摄图像的合成的概念。在本示例性实施例中，系统控制器102从刮痕噪声数据501中裁切出裁切噪声数据502，如图5所示，并将裁切噪声数据502的大小调整到预定图像大小，以生成贴合噪声数据(pasting noise data)602。然后，根据前一贴合噪声数据602的贴合位置以及在该位置贴合的持续时间，系统控制器102确定贴合噪声数据602的贴合位置，并将其贴合在拍摄图像上的该位置。

图2是例示根据第二示例性实施例的作为图像处理装置的数字摄像机的框图。图像传感器200对成像入射光进行光电转换。光电转换后的信号被输入至摄像机信号处理单元201。

摄像机信号处理单元201对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元211。编码器单元211以预定的记录格式对从摄像机信号处理单元201接收的视频信号进行编码，并将结果视频信号记录到记录介质212。

以下将描述摄像机信号处理单元201中的信号处理。当将信号被输入到摄像机信号处理单元201时，与第一示例性实施例类似，图像处理单元204对信号应用各种类型的信号处理。图像处理单元204将处理后的信号作为拍摄图像存储在帧存储器209中。

存储器210存储具有多个图案的刮痕的刮痕噪声数据501。裁切处理单元206从存储器210读取噪声数据501。

裁切处理单元206在噪声数据501上裁切具有指定大小和指定位置的刮痕噪声数据502。倍率处理单元207将裁切的噪声数据502的大小调整为具有与拍摄图像601合成所需的大小的噪声数据602。贴合处理单元208不依赖于裁切位置在任意位置处指定用于将噪声数据602和拍摄图像601合成的贴合位置。

合成处理单元205以预定定时从帧存储器209读取拍摄图像601以及从贴合处理单元208读取噪声数据602，将拍摄图像601与噪声数据602合成，并输出合成图像。

SG 203生成用于控制驱动图像传感器200的定时的信号，并将生成的信号提供给图像传感器200和系统控制器202。

系统控制器202控制包括图像传感器200和摄像机信号处理单元201的摄像机块。系统控制器202向图像传感器200发出关于信号累积间隔以及信号读出定时的指令。系统控制器202将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元204。

系统控制器202向合成处理单元205发出用于指定要进行合成的帧存储器的指令、用于指定合成比率的指令、以及关于合成定时的指令。为了生成刮痕，系统控制器202向裁切处理单元206发出关于从存储器210读出的定时的指令以及关于裁切位置和大小的指令。

系统控制器202向倍率处理单元207发出关于用于大小调整的大小的指令。系统控制器202向贴合处理单元208发出关于用于合成的贴合位置的指令。系统控制器202向SG203发出关于驱动图像传感器200的定时的指令。

根据本示例性实施例的系统控制器202指示贴合处理单元208对贴合噪声数据602应用贴合控制。以下将参照图11(包括图11A和图11B)及图12来描述贴合控制。

在进行用于对拍摄图像应用刮痕效果的图像处理的图像拍摄模式下进行上述贴合控制。作为选择方案，在从诸如记录介质212的存储器的连续运动图像读出之后，作为后处理也进行贴合控制。与垂直同步信号同步地启动该处理，并且通过垂直同步信号重复一系列处理。

在步骤S1101中，系统控制器202确定叠加计数器(第一检测单元)的值是否达到目标叠加时间(第一预定时间段)，该叠加计数器是用于测量将临时存储器(未示出)中存储的刮痕叠加到拍摄图像的时间段的计数器。当该值未达到目标叠加时间时(步骤S1101中“否”)，处理进行到步骤S1108。

另一方面，当该值达到目标叠加时间时(步骤S1101中“是”)，处理进行到步骤S1102。目标叠加时间是指可以将同一刮痕连续显示到拍摄图像上的时间段。可以根据各种条件或由用户来确定目标叠加时间。在步骤S1102中，系统控制器202将已达到目标叠加时间的叠加计数器初始化，并且处理进行到步骤S1103。

在步骤S1103中，系统控制器202获取关于这次是否要叠加从存储器210中存储的噪声数据裁切的刮痕的信息(在下文中将该信息称为叠加有效/无效信息)。例如，为了随机叠加刮痕，系统控制器202可以从随机数生成单元随机获取值作为叠加有效/无效信息。当叠加有效/无效信息的获取完成时，处理进行到步骤S1104。

在步骤S1104中，系统控制器202确定在步骤S1103中获取的叠加有效/无效信息是否指定了刮痕噪声叠加。系统控制器202将确定结果存储在临时存储器中。可以通过二进制值来定义叠加有效/无效信息。例如，当从随机数生成单元获取的值大于预定阈值时，系统控制器202确定叠加有效。另一方面，当该值小于等于阈值时，系统控制器202确定叠加无效。

在时间变化方面，执行步骤S1104中的处理，针对各预定帧生成有叠加的时段和无叠加的时段，如图12所示。在本示例性实施例中，系统控制器202针对各帧确定叠加的有效或无效。

当系统控制器202确定叠加有效时(步骤S1104中“是”)，处理进行到步骤S1105。另一方面，当系统控制器202确定叠加无效时(步骤S1104中“否”)，处理进行到步骤S1121。

在步骤S1105中，系统控制器202确定要从存储在存储器210中的刮痕噪声数据501裁切的裁切噪声数据502的裁切开始位置、宽度以及高度。

改变这些值就改变了要叠加的刮痕的图案(刮痕的长度、强度、数量等)。因此，可以通过使用随机数生成单元来确定这些值(开始位置、宽度和高度)，使得每次从不同的位置开始裁切。当裁切位置的计算完成时，处理进行到步骤S1106。

在步骤S1106中，系统控制器202将在步骤S1105中确定的裁切位置指定给裁切处理单元206，并且处理进行到步骤S1107。在步骤S1107中，系统控制器202确定目标叠加时间，并将其保存在临时存储器中，并且处理进行到步骤S1108。

在步骤S1108中，系统控制器202将叠加计数器递增1，并且处理进行到步骤S1109。在步骤S1109中，为了测量当确定刮痕叠加为无效状态起至有效状态时止的经过时间，系统控制器202将叠加连续计数器(第二检测单元)递增1，并且处理进行到步骤S1110。

在步骤S1110中，系统控制器202确定当前拍摄图像上要贴合由裁切处理单元206裁切的噪声数据的贴合位置。根据合成定时来随机确定贴合位置。

例如，如果通过使用随机数生成单元来获取贴合位置，则每次在进行合成时、在画面上的不同位置处叠加刮痕，并且结果数据看似随机噪声。当贴合位置的获取完成时，处理进行到步骤S1111。

在步骤S1111中，系统控制器202基于针对SG 203指定的驱动定时信号来获取针对图像传感器200的当前帧速率信息。在当前帧速率信息的获取完成时，处理进行到步骤S1112。

在步骤S1112中，系统控制器202计算用于确定当前贴合位置距前一贴合位置多远的标准(预定值)。系统控制器202与帧速率同步地刷新要合成的刮痕。因此，帧速率越小(即拍摄图像刷新间隔越长)，刮痕噪声刷新间隔越长(即刮痕噪声保持可见的时间越长)。

如果当前贴合位置和前一贴合位置之间的距离大，则合成刮痕看似在移动。因此，根据步骤S1111中获取的帧速率信息，系统控制器202改变用于确定当前贴合位置距前一贴合位置有多远的标准。

例如，利用60fps的帧速率(第一帧速率)，在当前贴合位置在纵向上或横向上距前一贴合位置远于10像素(第一预定值)时，确定当前位置与前一贴合位置相距远(之间的距离大于预定值)。另一方面，利用30fps的帧速率(第二帧速率)，系统控制器202改变标准，使得在当前贴合位置在纵向上或横向上距前一贴合位置远于20像素(第二预定值)时，确定当前位置与前一贴合位置相距远(之间的距离大于预定值)。当该标准的确定完成时，处理进行到步骤S1113。

在步骤S1113中，系统控制器202计算前一噪声数据贴合位置与步骤S1110中计算出的当前噪声数据贴合位置之间的距离。当距离的计算完成时，处理进行到步骤S1114。

在步骤S1114中，系统控制器202将在步骤S1113中计算出的这两个贴合位置之间的距离与在步骤S1112中计算出的标准相比较。当距离大于标准(预定值)时(步骤S1114中“是”)，即当系统控制器202确定贴合位置已从前一贴合位置大大改变时，处理进行到步骤S1116。另一方面，当距离小于等于标准时(步骤S1114中“否”)，即当系统控制器202确定贴合位置从前一贴合位置略微改变时，处理进行到步骤S1115。

在步骤S1115中，系统控制器202将叠加连续计数器的预定最大值(第二预定时间段)改变至更大值。当最大值改变完成时，处理进行到步骤S1117。

在步骤S1116中，系统控制器202将叠加连续计数器的预定最大值改变至更小值。当最大值改变完成时，处理进行到步骤S1117。

在步骤S1117中，系统控制器202将叠加连续计数器的最大值与临时存储器中存储的叠加连续计数器的值进行比较。当叠加连续计数器已达到最大值时(步骤S1117中“是”)，处理进行到步骤S1122。另一方面，当叠加连续计数器未达到最大值时(步骤S1117中“否”)，处理进行到步骤S1118。在步骤S1118中，系统控制器202将所确定的当前贴合位置存储在临时存储器中，用于下一贴合位置控制。在当前贴合位置的存储完成时，处理进行到步骤S1119。

在步骤S1119中，系统控制器202将当前贴合位置指定给贴合处理单元208。在当前贴合位置的指定完成时，处理进行到步骤S1120。在步骤S1120中，系统控制器202将至拍摄图像上的刮痕叠加的有效，指定给合成处理单元205。当叠加的生效完成时，处理结束刮痕控制。

在步骤S1121中，系统控制器202将叠加连续计数器的值初始化，并将其存储在临时存储器中。当叠加连续计数器的存储完成时，处理进行到步骤S1122。

在步骤S1122中，系统控制器202将至拍摄图像上的刮痕叠加的无效指定给合成处理单元205。可以通过任意方法使叠加无效，例如，通过仅输出拍摄图像而不进行合成处理，或者通过利用刮痕与拍摄图像的降低的合成比率来进行合成处理并且仅输出拍摄图像。当叠加的无效完成时，处理结束刮痕控制。

在第二示例性实施例中，系统控制器202在每次刷新拍摄图像时，均从任意位置随机裁切包含多个图案的刮痕(预存储在存储单元中)的噪声数据，并且将裁切的噪声数据与拍摄图像合成。这使得能够生成时间上和空间上随机的刮痕噪声，并将运动刮痕应用于运动图像。

另外，当刮痕应用持续长于固定时间段时，系统控制器202将当前贴合位置与前一贴合位置相比较。在这种情况下，将刮痕应用限制为远的位置(具有大位置移动)使得能够实现接近实际刮痕噪声生成的操作。

在上述第一和第二示例性实施例中，系统控制器102和202通过根据运动图像帧速率改变颗粒噪声改变条件及刮痕无效条件，来改变颗粒噪声裁切位置及无效刮痕应用。

然而，噪声数据的小合成比率使得难以识别合成图像中的噪声分量。因此，在颗粒噪声裁切控制中，即使当前裁切位置接近前一裁切位置，也难以识别噪声图案在运动。

无需说，如果可以由用户或自动改变噪声数据与拍摄图像的合成比率，则可以根据噪声数据的合成比率来改变条件。具体地说，噪声数据与拍摄图像的合成比率越小，预定值可以越大。

已经基于在数字视频摄像机的运动图像拍摄操作中应用颗粒噪声和刮痕的情况，具体描述了第一和第二示例性实施例。

然而，本发明并不限于运动图像拍摄，还可以用于在静止图像拍摄中的连续拍摄模式下，在各图像拍摄中应用不同的颗粒噪声图案。无需说，本发明可以在运动图像或静止图像再现中应用胶片式效果。

以下将基于能够对拍摄图像应用在放映机上回放胶片时生成的垂直图像抖动的胶片式效果的图像处理装置来描述第三示例性实施例。图14和图15描述了根据本示例性实施例的用于实现垂直抖动的处理，即用于裁切来自帧存储器的图像并隐蔽由于图像裁切产生的噪声(不具有图像信息的数据)的处理。

图14例示了存储由图像传感器拍摄的图像的帧存储器中的数据结构，以及在指定位置裁切帧存储器数据时显示的图像。连续刷新帧存储器数据。尽管用于其他用途的数据存储在拍摄图像前后的区域中，但是该数据可以被视为针对拍摄图像数据的噪声数据(不具有图像信息的数据)。

存储在帧存储器中的拍摄图像在预定裁切范围上从预定裁切开始位置被裁切，并被输出为显示图像1400。通过使用随机数来确定裁切开始位置，使得每次能够在不同位置裁切图像，并输出如显示图像1401和1402的具有垂直抖动的拍摄图像。

将垂直方向上(一行)图像的一个像素作为最小单位来确定裁切开始位置。用于确定裁切开始位置的随机数可以是根据高斯分布以及许多其他类型的任意随机数，但是不限于特定类型。

通过提供从基准位置至裁切开始位置的偏移量的最大值，来避免发生抖动超过预定量的情况。基准位置基于垂直抖动量为0的状态。

偏移量是按照不同间隔确定的两个垂直抖动量的和。将从左上端移动偏移量的图像的读出开始位置，设置为裁切开始位置。这样，能够将垂直抖动表现为不同类型的抖动的组合，诸如通过胶片前进操作生成的垂直抖动和通过胶片卷曲操作生成的垂直抖动。

图15例示了用于隐蔽当应用垂直抖动效果时生成的噪声数据的方法。利用拍摄图像1500，不生成垂直抖动。利用拍摄图像1501和1505，生成任意的垂直抖动，并且在画面底部显示噪声数据。能够通过应用掩模图像(masking image)或放大拍摄图像来隐蔽噪声数据。

应用掩模图像的方法将具有超过垂直抖动的最大抖动范围(最大偏移量)的大小的掩模图像1503在画面底部叠加到拍摄图像1504上，这样隐蔽了噪声数据。在这种情况下，另外在画面顶部叠加具有相同大小的掩模图像，使得能够显示具有所谓的信箱纵横比的拍摄图像1502。

另一方面，放大拍摄图像的方法放大不包括垂直抖动的最大抖动范围的区域1506，使得在保持画面的纵横比的同时区域1506的高度与画面高度相一致。这样，可以将区域1506显示为显示图像1507。

图13是例示根据第三示例性实施例的作为图像处理装置的数字视频摄像机的框图。

图像传感器1300对成像入射光应用光电转换。光电转换后的信号被输入到摄像机信号处理单元1301。摄像机信号处理单元1301对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元1310。编码器单元1310以预定记录格式对从摄像机信号处理单元1301接收的视频信号进行编码，并将结果视频信号记录到记录介质1311。

以下将描述摄像机信号处理单元1301中的信号处理。当向摄像机信号处理单元1301输入信号时，与第一示例性实施例类似，图像处理单元1304对该信号应用各种类型的信号处理。图像处理单元1304将处理后的信号作为拍摄图像存储到第一帧存储器1305中。

为了给出垂直抖动的效果，裁切处理单元1306通过使用来自第一帧存储器1305的偏移量的预定最大值来裁切任意位置。第二帧存储器1308存储用于隐蔽通过裁切处理生成的噪声数据的掩模图像。掩模处理单元1307生成具有超过最大垂直抖动范围的大小的掩模图像，并将其存储在第二帧存储器1308中。

合成处理单元1309以预定定时读取存储在第一帧存储器1305中的拍摄图像1504以及由掩模处理单元1307生成并存储在第二帧存储器1308中的掩模图像1304，将拍摄图像1504与掩模图像1304合成，并输出合成图像。

SG 1303生成用于控制驱动图像传感器1300的定时的信号，并将生成的信号提供给图像传感器1300以及系统控制器1302。

系统控制器1302控制包括图像传感器1300和摄像机信号处理单元1301的摄像机块。系统控制器1302向图像传感器1300发出关于信号累积间隔以及信号读出定时的指令。系统控制器1302将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元1304。

系统控制器1302向合成处理单元1309发出用于指定要进行合成的帧存储器的指令以及关于合成定时的指令。系统控制器1302向裁切处理单元1306发出关于从第一帧存储器1305读出的定时的指令以及关于裁切位置的指令。

系统控制器1302向掩模处理单元1307发出关于要叠加的掩模图像的大小和颜色的指令、以及用于开始和取消相关操作的指令。系统控制器1302向SG 1303发出关于驱动图像传感器1300的定时的指令。

根据本示例性实施例的系统控制器1302指示裁切处理单元1306和掩模处理单元1307分别对拍摄图像进行裁切处理和掩模处理。以下将参照图16和图17描述处理的流程图。

在进行用于对拍摄图像应用垂直抖动的效果的图像处理的图像拍摄模式下，进行上述的裁切和掩模控制。作为选择方案，在从诸如记录介质1311的存储器的连续运动图像读出之后，作为后处理也进行裁切和掩模控制。

与垂直同步信号同步地开始该处理，并且通过垂直同步信号重复一系列处理。在本示例性实施例中，可以由用户手动选择或通过场景确定自动选择是否应用垂直抖动。

为了应用垂直抖动，掩模和垂直抖动以该顺序被应用，以避免噪声数据被观察到。为了取消垂直抖动的应用，停止垂直抖动，然后取消掩模。

在步骤S1601中，系统控制器1302确定垂直抖动停止是否被请求。当垂直抖动停止被请求时(步骤S1601中“是”)，系统控制器1302获取诸如图像拍摄模式信息的操作状态，并且当其检测到需要垂直抖动的图像拍摄模式已改变为不需要垂直抖动的图像拍摄模式时，发出垂直抖动停止请求，并且处理进行到步骤S1609。另一方面，当垂直抖动停止未被请求时(步骤S1601中“否”)，处理进行到步骤S1602。

在步骤S1602中，系统控制器1302确定垂直抖动生成是否被请求。当垂直抖动生成被请求时(步骤S1602中“是”)，系统控制器1302获取诸如图像拍摄模式信息等的操作状态，并且当其检测到不需要垂直抖动的图像拍摄模式已改变为需要垂直抖动的图像拍摄模式时，发出垂直抖动生成请求，并且处理进行到步骤S1603。另一方面，当垂直抖动生成未被请求时(步骤S1602中“否”)，处理进行到步骤S1612。

在步骤S1603中，系统控制器1302将垂直抖动状态设置为“GENERATE”。当垂直抖动状态是“GENERATE”时能够进行垂直抖动控制。当垂直抖动状态设置完成时，处理进行到步骤S1604。在步骤S1604中，系统控制器1302确定要被添加至拍摄图像的顶部/底部的掩模状态。当系统控制器1302确定垂直掩模状态是“APPLY”时(步骤S1604中“是”)，处理进行到步骤S1605。另一方面，当系统控制器1302确定顶部/底部掩模状态是“CANCEL”时(步骤S1604中“否”)，处理进行到步骤S1607。

在步骤S1605中，系统控制器1302计算垂直抖动量。抖动量被随机确定，并且可以例如通过向如下公式赋予从随机数生成单元获取的值来确定：

X＝Xmax×(r/R)

这里X表示抖动量，Xmax表示最大抖动量，r表示从随机数生成单元获取的值，R表示由随机数生成单元输出的最大值。

如上所述，可以组合多个抖动类型。例如，假设第一和第二抖动的组合。第一抖动以短间隔改变并且具有小抖动量。第二抖动以长间隔改变并且具有大抖动量。

图17例示了第一抖动1701的量的时间变化，第二抖动1702的量的时间变化，以及第一和第二抖动的量的时间变化的组合(和)1703。

在这种情况下，可以通过对由随机数生成单元获得的值应用如下公式来确定抖动量X。

X＝Xmax1×(r1/R1)+Xmax2×(r2/R2)

这里，Xmax1表示第一抖动的量的变化中的最大抖动量，Xmax2表示第二抖动的量的变化中的最大抖动量，r1和r2分别表示从随机数生成单元获得的第一和第二抖动的量，并且R1和R2表示由随机数生成单元输出的最大值。

当步骤S1605中的抖动量的确定完成时，处理进行到步骤S1606。在步骤S1606中，系统控制器1302基于在步骤S1605中确定的抖动量来计算帧存储器中存储的拍摄图像的裁切开始位置。当裁切开始位置的计算完成时，垂直抖动控制的处理结束。

在步骤S1607中，系统控制器1302指示掩模处理单元1307应用用于隐蔽当生成垂直抖动时出现在画面底部的噪声数据的掩模图像。在这种情况下，系统控制器1302向掩模处理单元1307通知关于掩模图像的大小的信息。当掩模图像的应用完成时，处理进行到步骤S1608。在步骤S1608中，系统控制器1302将掩模状态设置为“APPLY”，并且垂直抖动控制的处理结束。

在步骤S1609中，系统控制器1302确定垂直抖动状态。当掩模状态为“STOP”时(步骤S1609中“是”)，处理进行到步骤S1610。另一方面，当掩模状态为“GENERATE”时(步骤S1609中“否”)，处理进行到步骤S1612。

在步骤S1610中，系统控制器1302指示掩模处理单元1307取消用于隐蔽当生成垂直抖动时出现在画面底部的噪声数据的掩模图像的应用。系统控制器1302将用于使掩模图像叠加无效的叠加无效信息通知给掩模处理单元1307。当叠加无效的指定完成时，处理进行到步骤S1611。在步骤S1611中，系统控制器1302将掩模状态设置为“CANCEL”，并且垂直抖动控制的处理结束。

在步骤S1612中，系统控制器1302将垂直抖动状态设置为“STOP”。当垂直抖动状态为“STOP”时，垂直抖动控制被无效化。当垂直抖动状态设置完成时，处理进行到步骤S1613。在步骤S1613中，系统控制器1302将不具有垂直抖动的值设置为抖动量。当抖动量的确定完成时，处理进行到步骤S1614。在步骤S1614中，系统控制器1302基于步骤S1613中确定的抖动量来计算存储在帧存储器中的拍摄图像的裁切开始位置。在这种情况下，计算出的裁切开始位置用作基准位置。当裁切开始位置的计算完成时，垂直抖动控制的处理结束。

以下将针对各种情形考虑上述步骤。(1)当开始垂直抖动添加时，由于垂直抖动生成被请求而垂直抖动停止未被请求，因此处理按照步骤S1601、S1602、S1603和S1604的顺序进行。由于初始顶部/底部掩模状态为“CANCEL”(步骤S1604中“否”)，因此处理进行到步骤S1607和S1608。在步骤S1607中，系统控制器1302应用顶部/底部掩模。在步骤S1608中，系统控制器1302将顶部/底部掩模状态改变为“APPLY”，并且第一序列的处理结束。

在下一帧中，处理进行到步骤S1604。在步骤S1604中，由于顶部/底部掩模状态为“APPLY”(步骤S1604中“是”)，因此处理进行到步骤S1605和S1606。在步骤S1605以及之后的步骤S1606中，系统控制器1302生成垂直抖动。

接着，(2)当系统控制器1302针对各帧重复步骤S1601至S1606中的处理时继续垂直抖动的应用。(3)当系统控制器1302确定垂直抖动停止被请求而垂直抖动生成未被请求时，垂直抖动的应用结束。在这种情况下，处理从步骤S1601进行到步骤S1609。

在第一序列中，由于垂直抖动状态是“GENERATE”，因此处理进行到步骤S1612。在步骤S1612中，系统控制器1302将垂直抖动状态设置为“STOP”。在步骤S1613和S1614中，系统控制器1302停止垂直抖动。在下一帧中，处理进行到步骤S1601和S1609。在步骤S1609中，由于垂直抖动状态是“STOP”，因此处理进行到步骤S1610。在步骤S1610中，系统控制器1302取消顶部/底部掩模并将顶部/底部掩模状态设置为“CANCEL”，并且第二序列的处理结束。由此完成了垂直抖动的应用。

(4)当系统控制器1302确定既未请求垂直抖动停止也未请求垂直抖动生成时，继续不应用垂直抖动的状态。在这种情况下，处理进行到步骤S1601至S1602以及S1612。在步骤S1613和S1614中，系统控制器1302在不具有抖动量的裁切位置处进行裁切，以生成不具有垂直抖动的状态。继续将该循环保持在不具有垂直抖动的状态。

如上所述，在第三示例性实施例中，显示在随机确定的裁切开始位置裁切的图像，使得能够对拍摄图像应用当在放映机上回放胶片时生成的垂直图像抖动的胶片式效果。

以下将基于能够对拍摄图像应用当在放映机上回放胶片时生成的、拍摄图像的图像明度不均(在下文中称为闪烁)的胶片式效果的图像处理装置，来描述第四示例性实施例。

图19例示了根据本示例性实施例的用于校正实现闪烁的亮度信号的处理。为了实现最终显示并记录的图像的闪烁，本示例性实施例使用用于区分亮度信号输入/输出特性的方法。

在校正处理中，系统控制器通过针对输入的拍摄图像区分亮度信号输入/输出特性来连续改变输出图像的亮度分量。在本示例性实施例中，亮度信号的变化的最小单位等于输出图像信号的最小分辨率，时间的最小单位等于拍摄图像的刷新间隔。

当按照特性实线1901、1902、1903、1904的顺序进行基准特性的校正时，分别获得图像1905、1906、1907、1908作为拍摄图像。在这种情况下，图像1908、图像1905、图像1907、图像1906按照该顺序更加明亮。

例如，通过利用随机数、从多个输入/输出特性参数数据中确定要使用的参数数据，可以随机生成闪烁。用于确定参数数据的随机数可以是根据高斯分布生成的随机数和许多其他类型的随机数，但是不限于特定类型。

图18A是例示根据第四示例性实施例的作为图像处理装置的数字视频摄像机的框图。图像传感器1800对成像入射光应用光电转换。光电转换后的信号被输入到摄像机信号处理单元1801。摄像机信号处理单元1801对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元1808。编码器单元1808以预定记录格式对从摄像机信号处理单元1801接收的视频信号进行编码，并将结果视频信号记录到记录介质1809。

以下将描述摄像机信号处理单元1801中的信号处理。当向摄像机信号处理单元1801输入信号时，图像处理单元1804对各信号分量(亮度分量、彩色分量和黑色分量)应用各种类型的信号处理。图像处理单元1804将处理后的信号作为拍摄图像存储到帧存储器1805中。

特性数据存储单元1807存储用于确定视频信号的亮度的输入/输出特性的多个参数数据。例如，当通过诸如实线1901至1904的线性函数来表现输入/输出特性时，参数数据包括直线的倾斜度和截距(section)。利用特性实线1904，在输入大时的点处裁切输出。该裁切点及裁切后的值也被包含在参数数据中。然后，系统控制器1802将确定的参数数据发送到校正处理单元1806。

校正处理单元1806根据从特性数据存储单元1807发送的参数数据来确定亮度的输入/输出特性，根据输入/输出特性来校正存储在帧存储器1805中的拍摄图像，并输出校正后的图像。

由于图像处理单元1804在亮度(Y)信号和色差(U和V)信号之后进行上述校正处理，因此即使输出特性已通过校正而改变，校正处理的结果也不影响图像处理单元1804进行的对亮度分量的处理。

SG 1803生成用于控制驱动图像传感器1800的定时的信号，并将生成的信号提供给图像传感器1800和系统控制器1802。

系统控制器1802控制包括图像传感器1800和摄像机信号处理单元1801的摄像机块。系统控制器1802向图像传感器1800发出关于信号累积间隔以及信号读出定时的指令。

系统控制器1802将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元1804。系统控制器1802向特性数据存储单元1807指定输入/输出特性参数数据。

系统控制器1802向校正处理单元1806发出关于从帧存储器1805读出的定时的指令、以及关于校正处理的有效或无效的指令。系统控制器1802向SG 1803发出关于驱动图像传感器1800的定时的指令。

根据本示例性实施例的系统控制器1802指示校正处理单元1806和特性数据存储单元1807分别进行校正处理和特性数据确定处理。以下将参照图20描述处理的流程图。

在进行用于对拍摄图像应用闪烁的效果的图像处理的图像拍摄模式下，进行上述校正和确定控制。作为选择方案，在从诸如记录介质1809的存储器的连续运动图像读出之后，作为后处理也进行校正和确定控制。与垂直同步信号同步地开始该处理，并且通过垂直同步信号重复一系列的处理。

在步骤S2001中，系统控制器1802基于当前图像拍摄模式信息获取闪烁控制操作状态，并确定闪烁的生成是否必要。当系统控制器1802基于获取的操作状态确定闪烁的生成必要时(步骤S2001中的“是”)，处理进行到步骤S2002。另一方面，当系统控制器1802确定闪烁的生成没有必要时(步骤S2001中的“否”)，处理进行到步骤S2004。

在步骤S2002中，为了生成闪烁，系统控制器1802确定用于改变存储在特性数据存储单元1807中的输入/输出特性的参数数据。在这种情况下，系统控制器1802选择多个参数数据中的任意一个，以改变闪烁量。

例如，为了随机生成闪烁量，系统控制器1802基于从随机数生成单元随机获取的值来确定参数数据。当参数数据的确定完成时，处理进行到步骤S2003。在步骤S2003中，校正处理单元1806通过使用步骤S2002中确定的参数数据进行校正处理，并且闪烁控制的处理结束。

在步骤S2004中，为了停止闪烁，系统控制器1802从存储在特性数据存储单元1807中的输入/输出特性参数数据中，选择基准参数数据。这样，在闪烁停止的同时提供相同的特性。当基准参数数据的选择完成时，处理进行到步骤S2003。

如上所述，在第四示例性实施例中，除了常规图像处理外，系统控制器1802对拍摄图像应用用于改变亮度信号输入/输出特性的校正处理。这使得能够对拍摄图像应用当在放映机上回放胶片时生成的图像明度不均的胶片式效果。

图18B是例示在如下情况下的示例性实施例的框图，其中在常规图像拍摄中进行的图像处理单元1804中的伽马处理中应用产生闪烁的效果的校正处理。

白平衡处理单元1810进行白平衡处理，并输出红(R)、绿(G)、蓝(B)信号。当接收到这些信号时，校正处理单元1806分别基于亮度信号和色彩信号进行处理。具体地说，校正处理单元1806准备针对亮度信号的RGB信号以及针对色彩信号的RGB信号，并应用适合于各信号的伽马校正。

接着，校正处理单元1806基于针对亮度信号的RGB信号生成亮度(Y)信号，基于针对色彩信号的RGB信号生成色差(Cb和Cr)信号，并将所生成的信号输出到色彩平衡校正单元1811。

在这些处理中，校正处理单元1806将要应用于针对亮度信号的RGB信号的伽马曲线，转换为考虑到根据本示例性实施例的输入/输出特性的伽马曲线。这样，能够实现闪烁的效果，而无需额外提供处理块和用于闪烁的存储器。

以下将基于能够以交叠方式对图像应用在放映机上回放胶片时生成的上述视觉效果(刮痕、闪烁和垂直抖动)的图像处理装置，来描述第五示例性实施例。将以与上述示例性实施例类似的方式来应用刮痕、闪烁和垂直抖动的效果，并且将省略其详细描述。

图21A和图21B是例示根据第五示例性实施例的作为图像处理装置的数字视频摄像机的框图。

图像传感器2100对成像入射光应用光电转换。光电转换后的信号被输入到摄像机信号处理单元2101。摄像机信号处理单元2101对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元2113。编码器单元2113以预定记录格式对从摄像机信号处理单元2101接收的视频信号进行编码，并将结果视频信号记录到记录介质2114。

以下将描述摄像机信号处理单元2101中的信号处理。当向摄像机信号处理单元2101输入信号时，与第一示例性实施例类似，图像处理单元2104对该信号应用各种类型的信号处理，并输出亮度信号和色差信号。图像处理单元2104将处理后的信号作为拍摄图像存储到第一帧存储器2105中。

第二、第三及第四帧存储器2106、2107和2108用于临时存储用于提供胶片式效果的各种类型的处理的结果。

以下将描述用于应用胶片式效果的处理单元。裁切处理单元2109从预定裁切位置裁切图像以生成垂直抖动。校正处理单元2110校正图像的亮度的输入/输出特性以生成闪烁。

合成处理单元2111将刮痕噪声图像与拍摄图像合成，以对拍摄图像应用刮痕。掩模处理单元2112应用用于隐蔽在裁切处理中生成的噪声的掩模图像。

SG 2103生成用于控制驱动图像传感器2100的定时的信号，并将生成的信号提供给图像传感器2100以及系统控制器2102。

系统控制器2102控制包括图像传感器2100和摄像机信号处理单元2101的摄像机块。系统控制器2102向图像传感器2100发出关于信号累积间隔以及信号读出定时的指令。系统控制器2102将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元2104。

系统控制器2102向裁切处理单元2109发出用于有效或无效裁切控制的指令、用于从第一帧存储器2105指定裁切位置的指令、关于从第一帧存储器2105读出的定时的指令以及关于向第二帧存储器2106写入的定时的指令。

系统控制器2102向校正处理单元2110发出用于有效或无效校正处理的指令、用于指定输入/输出特性参数数据的指令、关于从第二帧存储器2106读出的定时的指令以及关于向第三帧存储器2107写入的定时的指令。系统控制器2102向合成处理单元2111发出用于有效或无效合成控制的指令、用于指定要合成的噪声图像(未示出)的指令、关于从第三帧存储器2107读出的定时的指令以及关于向第四帧存储器2108写入的定时的指令。

系统控制器2102向掩模处理单元2112发出关于要在掩模图像控制中叠加的掩模图像的大小和色彩的指令、关于从第四帧存储器2108读出的定时的指令、以及用于开始和取消相关操作的指令。系统控制器2102向SG 2103发出关于驱动图像传感器2100的定时的指令。

根据本示例性实施例的系统控制器2102控制裁切处理单元2109、校正处理单元2110、合成处理单元2111以及掩模处理单元2112。图22是例示由系统控制器2102进行的控制操作以及由各单元进行的相关处理的流程图。

在进行用于对拍摄图像应用多个胶片式效果的图像处理的图像拍摄模式下，进行上述控制。作为选择方案，在从诸如记录介质2114的存储器的连续运动图像读出之后，作为后处理进行控制。与垂直同步信号同步地开始该处理，并且通过垂直同步信号来重复一系列处理。

在步骤S2201中，系统控制器2102获取诸如图像拍摄模式和各种设置的信息，并确定垂直抖动的有效或无效。当系统控制器2102确定垂直抖动有效时(步骤S2201中“是”)，系统控制器2102指示裁切处理单元2109进行裁切处理，并且处理进行到步骤S2202。另一方面，当系统控制器2102确定垂直抖动无效时(步骤S2201中“否”)，系统控制器2102指示裁切处理单元2109不进行裁切控制，并且处理进行到步骤S2203。

在步骤S2202中，裁切处理单元2109将在第三示例性实施例中描述的裁切处理应用于从第一帧存储器2105读取的图像数据。裁切处理单元2109进行与步骤S1605和S1606(图16中的流程图)中的处理类似的掩模处理，并将裁切图像数据存储在第二帧存储器2106中。然后，处理进行到步骤S2203。

在步骤S2203中，系统控制器2102获取诸如图像拍摄模式和各种设置的信息，并确定闪烁的有效或无效。当系统控制器2102确定闪烁有效时(步骤S2203中“是”)，系统控制器2102指示校正处理单元2110进行校正处理，并且处理进行到步骤S2204。另一方面，当系统控制器2102确定闪烁无效时(步骤S2203中“否”)，系统控制器2102指示校正处理单元2110不进行校正处理，并且处理进行到步骤S2205。

在步骤S2204中，与第四示例性实施例类似，校正处理单元2110对从第二帧存储器2106读取的图像数据应用亮度信号输入/输出特性的校正，以进行闪烁控制。系统控制器2102基于各种设置，指示校正处理单元2110进行根据图20中的流程图的一个序列的处理。校正处理单元2110将校正后的图像数据存储在第三帧存储器2107中，并且处理进行到步骤S2205。

在步骤S2205中，系统控制器2102获取诸如图像拍摄模式和各种设置的信息，并确定刮痕应用的有效或无效。当系统控制器2102确定刮痕应用有效时(步骤S2205中“是”)，系统控制器2102指示合成处理单元2111进行刮痕噪声合成处理，并且处理进行到步骤S2206。另一方面，当系统控制器2102确定刮痕应用无效时(步骤S2205中“否”)，系统控制器2102指示合成处理单元2111不进行刮痕噪声合成处理，并且处理进行到步骤S2206。

在步骤S2206中，与第二示例性实施例类似，合成处理单元2111对从第三帧存储器2107读取的图像数据应用刮痕噪声合成处理。系统控制器2102指示合成处理单元2111基于各种设置进行根据图11中的流程图的一个序列的处理。系统控制器2102确定刮痕噪声数据的裁切位置和合成位置。合成处理单元2111将合成图像数据存储在第四帧存储器2108中，并且处理进行到步骤S2207。

在步骤S2207中，系统控制器2102获取诸如图像拍摄模式和各种设置的信息，并确定顶部/底部掩模应用的有效或无效。当系统控制器2102确定顶部/底部掩模应用有效时(步骤S2207中“是”)，系统控制器2102指示掩模处理单元2112进行掩模图像合成处理，并且处理进行到步骤S2208。另一方面，当系统控制器2102确定顶部/底部掩模无效时(步骤S2207中“否”)，系统控制器2102指示掩模处理单元2112不进行掩模图像合成处理，并且控制序列的处理结束。

在步骤S2208中，与第四示例性实施例类似，掩模处理单元2112对从第四帧存储器2108读取的图像数据应用掩模图像应用处理。掩模处理单元2112进行与步骤S1607和S1608(图16中的流程图)中的处理类似的掩模处理。掩模处理单元2112将处理后的图像数据作为已经经历摄像机信号处理单元2101的各种类型信号处理的图像数据，输出到编码器单元2113，并且第一序列的处理结束。

如上所述，在第五示例性实施例中，以交叠方式对输入图像数据的图像应用刮痕、闪烁和垂直抖动。这样，可以更忠实地对图像产生在放映机回放胶片时生成的视觉效果。

图21B例示了根据本示例性实施例的图像处理装置，该图像处理装置能够与常规图像拍摄模式下的各种类型的处理并行地统一应用视觉效果。

在本示例性实施例中，裁切处理单元2109通常将从图像传感器2100读取的图像一次性缓存在用于图像角度调整(例如集中)以及不必要像素裁切的帧存储器中，并进行其他裁切处理。裁切处理单元2109还用作用于校正由于摄像机抖动的整个图像的抖动的电子图像稳定化功能。

在本示例性实施例中，系统控制器2102指示裁切处理单元2109进行用于垂直抖动的裁切处理。如图18B中一样，系统控制器2102指示用于对亮度信号进行伽马校正(在图像处理单元2104中的通常图像拍摄时也进行该伽马校正)的校正处理单元2110，基于考虑到校正用于闪烁的亮度信号输入/输出特性的伽马曲线来进行伽马校正。这削减了新提供的处理块的数量，实现了高处理速度。

以下将基于能够以交叠方式对数字图像应用颗粒噪声和刮痕、以将当在放映机上回放胶片时生成的视觉效果(胶片式效果)叠加到数字图像上的图像处理装置，来描述第六示例性实施例。用于生成颗粒噪声和刮痕的方法分别在第一和第二示例性实施例中进行了详细的描述，因此将省略其重复描述。

图24例示了通过使用胶片作为记录介质的运动图像拍摄处理，其范围为从记录(下文中称为“图像拍摄”)到回放(下文中称为“放映”)。图25是例示针对图24所示的各处理的现象、效果和实现方法的表。针对处理(1)(图像拍摄)，表包括影响放映结果的现象(A)和(B)，通过该现象的效果(A-1)、(A-2)及(B)，以及用于通过图像处理、基于模拟来实现所述效果的方法。

运动图像拍摄处理被分为四个处理：(1)图像拍摄、(2)显影和编辑、(3)储存、以及(4)放映。例如，在处理(2)(显影和编辑)中通过公知的“银保留(silver retention)”的显影技术，来生成颗粒噪声。

例如，当在处理(4)(放映)中刮擦正在运行的胶片时，生成刮痕。具体地说，由于胶片图像的放映过程中的不同因素生成颗粒噪声和刮痕。这两种类型的噪声具有不同的特性。

在第一和第二示例性实施例以及本示例性实施例中，通过将模拟目标噪声的各种噪声图像与拍摄图像合成来实现这两种类型的噪声。

在处理(1)(图像拍摄)中，通过用于图像拍摄的光学系统的(A)光学特性效果，引起(A-1)周边光量削减以及(A-2)歪曲。在处理(3)(储存)中，分别通过(A)由于老化的胶片劣化以及(B)灰尘和污物附着，引起(A)褪色和(B)噪声。

在处理(1)中，可以通过(A-2)显示图像变形而对图像产生歪曲的效果。在处理(2)和(3)中，可以通过(B)随机颗粒噪声应用、基于模拟对图像产生噪声的效果。在处理(3)中，可以通过(A)色彩平衡和色彩粒度校正来对图像产生褪色的效果。

当应用多个胶片式效果时，按照对应于胶片图像拍摄处理的顺序产生上述效果，使得能够获得更期望的结果。当应用颗粒噪声和刮痕二者时，引起颗粒噪声的显影和编辑处理先于引起刮痕的放映处理。

因此，在本示例性实施例中，颗粒噪声首先与输入图像数据合成，然后刮痕被应用于结果图像数据。这样，能够获得更忠实的胶片式效果。

图23是例示根据第六示例性实施例的作为图像处理装置的数字视频摄像机的框图。图像传感器2300对成像入射光应用光电转换。光电转换后的信号被输入到摄像机信号处理单元2301。

摄像机信号处理单元2301对光电转换后的信号应用各种类型的图像处理以将其转换为视频信号，并将该视频信号输出到编码器单元2314。编码器单元2314以预定记录格式对从摄像机信号处理单元2301接收的视频信号进行编码，并将结果视频信号记录到记录介质2315。

以下将描述摄像机信号处理单元2301中的信号处理。当向摄像机信号处理单元2301输入信号时，与第一示例性实施例类似，图像处理单元2304对该信号应用各种类型的信号处理。图像处理单元2304将处理后的信号作为拍摄图像存储到第一帧存储器2305中。

基于来自系统控制器2302(第二指定单元)的指令，刮痕生成单元(选择单元)2308进行刮痕噪声图像的生成和裁切。存储在第二帧存储器2306(第二存储单元)中的噪声图像数据(第二噪声数据)被处理(与第二示例性实施例类似)，然后由合成处理单元2310合成。

基于来自系统控制器2302(第一指定单元)的指令，颗粒噪声生成单元(裁切单元)2309进行颗粒噪声图像的生成和裁切。存储在第三帧存储器2307(第一存储单元)中的噪声图像数据(第一噪声数据)被处理(与第一示例性实施例类似)，然后由合成处理单元2310合成。

合成处理单元2310能够顺序地将存储在第一帧存储器2305中的拍摄图像与两个不同图像合成。第一合成单元2311将存储在第一帧存储器2305中的图像数据与颗粒噪声图像数据合成，以形成第一输入图像。

第二合成单元2312将从第一合成单元2311输出的图像数据与刮痕噪声数据合成以形成第二输入图像。

选择控制单元2313选择是否将待合成的图像数据输入到第一合成单元2311和第二合成单元2312。选择控制单元2313可以选择相互独立地输入到第一合成单元2311和第二合成单元2312的图像数据。当图像数据既不被输入到第一合成单元2311也不被输入到第二合成单元2312时，存储在第一帧存储器2305中的图像数据或从第一合成单元2311输出的图像数据按照原样输出。

SG 2303生成用于控制驱动图像传感器2300的定时的信号。SG 2303将生成的信号提供给图像传感器2300和系统控制器2302。

系统控制器2302控制包括图像传感器2300和摄像机信号处理单元2301的摄像机块。系统控制器2302向图像传感器2300发出关于信号累积间隔以及信号读出定时的指令。系统控制器2302将各种类型的信号处理中图像质量设置所需的参数设置给图像处理单元2304。

系统控制器2302向合成处理单元2310发出关于读出第一帧存储器2305中要合成的拍摄图像的定时的指令、关于针对第一合成单元2311和第二合成单元2312的合成比率的指令、以及关于是否第一合成单元2311和第二合成单元2312的各个进行合成的指令。

为了生成刮痕，系统控制器2302向刮痕噪声生成单元2308发出关于与第二帧存储器2306之间的噪声数据的读出和写入的定时的指令、关于裁切位置和大小的指令、关于用于大小调整的大小的指令、以及关于用于合成的贴合位置的指令。

为了生成颗粒噪声，系统控制器2302向颗粒噪声生成单元2309发出关于与第三帧存储器2307之间的噪声数据的读出和写入的定时的指令、关于裁切位置和大小的指令、关于用于大小调整的大小的指令、以及关于用于合成的贴合位置的指令。系统控制器2302向SG 2303发出关于驱动图像传感器2300的定时的指令。

根据本示例性实施例的系统控制器2302指示合成处理单元2310进行合成图像选择控制。图26是例示控制操作以及由各单元进行的相关处理的流程图。

在对拍摄图像应用多个噪声胶片式效果的图像拍摄模式下进行上述选择控制。作为选择方案，在从诸如记录介质2315的存储器的连续运动图像读出之后，作为后处理进行选择控制。与垂直同步信号同步地启动该处理，并且通过垂直同步信号重复一系列处理。

当以交叠方式将颗粒噪声和刮痕与拍摄图像合成时，以如上所述的顺序合成颗粒噪声和刮痕，使得能够获得与实际放映胶片时接近的效果。因此，合成处理单元2310输入来自颗粒噪声生成单元2309的噪声图像，作为用于第一合成单元2311的合成的图像，并且输入来自刮痕噪声生成单元2308的噪声图像，作为用于第二合成单元2312的合成的图像。

在步骤S2601中，系统控制器2302获取要应用于存储在第一帧存储器2305中的拍摄图像的噪声效果的类型，并且处理进行到步骤S2602。在步骤S2602中，系统控制器2302确定颗粒噪声是否包含在步骤S2601中获取的噪声效果的类型中。当颗粒噪声被包含在内时(步骤S2602中“是”)，处理进行到步骤S2603。另一方面，当颗粒噪声没有包含在内时(步骤S2602中“否”)，处理进行到步骤S2604。

在步骤S2603中，系统控制器2302使颗粒噪声合成有效，并进行第一示例性实施例中描述的颗粒噪声合成处理。系统控制器2302指示颗粒噪声生成单元2309和合成处理单元2310基于各种设置进行根据图7中的流程图的一个序列的处理。

在本示例性实施例中，第一合成处理单元2311将从第一帧存储器2305输入的图像数据与颗粒噪声数据合成。第一合成处理单元2311将结果合成数据输出到第二合成单元2312，并且处理进行到步骤S2605。在步骤S2604中，系统控制器2302确定颗粒噪声合成的无效设置，并且处理进行到步骤S2605。

在步骤S2605中，系统控制器2302确定刮痕是否包含在步骤S2605中获取的噪声效果的类型中。当刮痕噪声被包含在内时(步骤S2605中“是”)，处理进行到步骤S2606。另一方面，当刮痕噪声没有包含在内时(步骤S2605中“否”)，处理进行到步骤S2607。

在步骤S2606中，系统控制器2302使刮痕合成有效，并进行第二示例性实施例中描述的刮痕噪声合成处理。系统控制器2302指示刮痕噪声生成单元2308和合成处理单元2310基于各种设置，进行根据图11中的流程图的一个序列的处理。

在本示例性实施例中，刮痕噪声生成单元2308生成刮痕噪声数据，并且第二合成单元2312将第一合成单元2311输出的结果图像数据与刮痕噪声数据合成。合成处理单元2310输出结果合成数据，作为摄像机信号处理单元2301的输出，并且控制序列的处理结束。

在步骤S2607中，系统控制器2302确定刮痕合成的无效设置，并且处理结束控制序列。

如上所述，在第六示例性实施例中，两种类型的噪声(即在时间上和空间上具有不同随机化程度的颗粒噪声和刮痕)被单独生成，然后以交叠方式与图像数据合成。这样，能够更加忠实地对图像产生当在放映机上回放胶片时生成的视觉效果。

另外，这些噪声被按照胶片图像拍摄处理的顺序与图像数据合成，使得能够获得更加忠实的噪声效果。

在本示例性实施例中，颗粒噪声首先与输入图像数据合成，然后刮痕噪声图像数据与结果图像数据合成。在这种情况下，合成方法不限于此。颗粒噪声数据可以首先与刮痕噪声图像数据合成，然后结果合成数据可以与输入图像数据合成。

在这种情况下，在将颗粒噪声图像数据与刮痕噪声图像数据合成前，预先对颗粒噪声图像数据给予渗透性(permeability)。然后，颗粒噪声图像数据与刮痕噪声图像数据以0:1的比率合成(贴合)。然后，输入图像数据与结果合成噪声图像数据以0:1的比率合成。颗粒噪声以对应于渗透性的合成比率进行合成，并且输出图像使得刮痕贴合其上，由此在本示例性实施例中实现所述的更忠实的图像。

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。在这种情况下，系统或装置以及存储程序的记录介质被包含在本发明的范围之内。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (18)

1.一种图像处理装置，所述图像处理装置包括：

图像处理单元，其被构造为对多个输入帧图像进行图像处理；

裁切单元，其被构造为在基于随机值确定的位置处，裁切由所述图像处理单元处理的所述多个输入帧图像中的各个图像；

掩模单元，其被构造为生成具有超过最大垂直抖动范围的大小的掩模图像；以及

输出单元，其被构造为将被裁切和掩模的图像合成，并输出合成的图像。

2.根据权利要求1所述的图像处理装置，其中，所述裁切单元基于所述随机值来改变输入帧图像的读出开始位置。

3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括亮度改变单元，其被构造为随机改变所述多个输入帧图像的亮度的输入-输出特性。

4.根据权利要求3所述的图像处理装置，其中，所述亮度改变单元被构造为从多个参数中随机选择参数。

5.根据权利要求3或4所述的图像处理装置，所述图像处理装置还包括拍摄单元，其被构造为拍摄所述多个输入帧图像，

其中，所述亮度改变单元随机改变所述多个输入帧图像的输入-输出伽马特性。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括亮度改变单元，其被构造为随机改变所述多个输入帧图像的亮度的输入-输出特性，

其中，所述掩模单元将所述掩模图像叠加到被所述亮度改变单元校正了亮度的图像上。

7.根据权利要求4所述的图像处理装置，所述图像处理装置还包括合成单元，其被构造为将噪声数据叠加到所述亮度改变单元处理后的图像上。

8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括记录单元，其被构造为将所输出的图像记录在记录介质中。

9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示单元，其被构造为显示所输出的图像。

10.根据权利要求1所述的图像处理装置，其中，所述掩模图像具有超过到裁切图像上的最大偏移范围的大小。

11.根据权利要求1所述的图像处理装置，其中，所述掩模图像被叠加到所述帧的顶部和所述帧的底部。

12.根据权利要求1所述的图像处理装置，其中，所裁切的图像的未被掩模的部分具有信箱纵横比。

13.根据权利要求1所述的图像处理装置，其中，所述掩模单元将所述掩模图像叠加到所裁切的图像上，使得所述掩模图像隐蔽不具有所裁切的图像的区域。

14.根据权利要求1所述的图像处理装置，其中，所述裁切单元裁切具有预定大小的图像，并且所述掩模单元叠加具有其他预定大小的所述掩模图像。

15.根据权利要求1所述的图像处理装置，其中，所述裁切单元在基于随机值在预定区域内确定的位置处，裁切所述多个输入帧图像中的所述各个图像。

16.根据权利要求1所述的图像处理装置，所述图像处理装置还包括图像拍摄单元，其被构造为顺序地拍摄所述多个输入帧图像。

17.一种图像处理方法，所述图像处理方法包括：

图像处理步骤，对多个输入帧图像进行图像处理；

裁切步骤，在基于随机值确定的位置处裁切在所述图像处理步骤中处理的所述多个输入帧图像中的各个图像；

掩模生成步骤，生成具有超过最大垂直抖动范围的大小的掩模图像；以及

合成步骤，将被裁切和掩模的图像合成，并输出合成的图像。

18.一种图像拍摄装置，所述图像拍摄装置包括：

图像拍摄单元，其被构造为顺序地拍摄多个帧图像；

图像处理单元，其被构造为对多个输入帧图像进行图像处理；

裁切单元，其被构造为在基于随机值确定的位置处，裁切由所述图像处理单元处理的所述多个拍摄帧图像中的各个图像；

掩模单元，其被构造为生成具有超过最大垂直抖动范围的大小的掩模图像；以及

合成单元，其被构造为将被裁切和掩模的图像合成，并输出合成的图像。