CN101557468A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN101557468A
CN101557468A CNA200910133078XA CN200910133078A CN101557468A CN 101557468 A CN101557468 A CN 101557468A CN A200910133078X A CNA200910133078X A CN A200910133078XA CN 200910133078 A CN200910133078 A CN 200910133078A CN 101557468 A CN101557468 A CN 101557468A
Authority
CN
China
Prior art keywords
image
data
frame
combined
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200910133078XA
Other languages
English (en)
Other versions
CN101557468B (zh
Inventor
牧井达郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101557468A publication Critical patent/CN101557468A/zh
Application granted granted Critical
Publication of CN101557468B publication Critical patent/CN101557468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/08—Trick photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control
    • H04N5/53—Keyed automatic gain control

Abstract

一种图像处理装置，包括：图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；存储单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数据的多个帧的每个；以及算术操作控制单元，被配置为使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，所述组合图像数据用作用于显示的数据。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及图像处理装置、图像处理方法和用于图像处理的程序。
背景技术
长时间曝光技术通常用作基于胶片的拍摄或图像捕获技术。在此技术中，连续执行曝光一定时间段，如几秒到几十秒甚至超过几十分钟。
长时间曝光技术还用于提供拍摄表现以及调整被摄体的亮度。
例如，用长曝光时间拍摄夜景。因为光量低，所以增加曝光时间以收集足够光量来获得夜景的照片。
长时间曝光技术还可用于其他目的。例如，将光圈有意设置为低或降低图像捕获灵敏度以表现被摄体的运动或聚焦到运动对象当中的静止对象。
在日本未审专利申请公开No.2005-354166中公开了一种数字相机，被设计为在图像捕获操作后通过增加多个图像来执行长时间曝光。
如在长时间曝光期间使用闪光(闪光灯设备)来实现如第一帘幕(curtain)同步、第二帘幕同步以及多闪光的各种效果的拍摄技术也是普遍的。
发明内容
然而，用户难以获得其期望的图像作为应用了如长时间曝光、第一帘幕同步、第二帘幕同步、以及多闪光效果的特殊图像效果的捕获图像。
需要确定如包括曝光时间和快门速度、闪光发射时间、以及闪光量的曝光设置的适当设置，以获得令人满意的图像作为具有上述特效的图像。用户需要根据其经验和直觉确定这样的设置，而这在实践中对于没有经验的用户是困难的。
因此，期望允许不是专家的一般用户通过执行图像捕获等容易地获得与通过长时间曝光获得的图像或具有使用长时间曝光的图像效果(如第一帘幕同步、第二帘幕同步和多闪光效果)的图像类似的静态图像。
在本发明的实施例中，一种图像处理装置包括：图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；存储单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数据的多个帧的每个；以及算术操作控制单元，被配置为使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，所述组合图像数据用作用于显示的数据。
所述算术操作控制单元可执行根据记录操作输入、将在记录操作输入时获取的组合图像数据作为静止图像数据记录到记录介质上的处理。
所述算术操作控制单元可使用对每个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图像数据。
所述算术操作控制单元可通过将相等的加权系数分配到要经历组合处理的图像数据的各帧来执行组合处理。
所述算术操作控制单元还可通过将高加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最近的帧、而将低加权系数分配到图像数据的剩余的各帧，执行组合处理。
所述算术操作控制单元还可通过将高加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最旧的帧、而将低加权系数分配到图像数据的剩余的各帧，执行组合处理。
所述算术操作控制单元还通过将高加权系数和低加权系数周期性地分配到要经历组合处理的图像数据的各帧，执行组合处理。
所述算术操作控制单元可使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成多类组合图像数据，所生成的多类组合图像数据用作用于显示的数据。
所述算术操作控制单元可执行根据记录操作输入、将在记录操作输入时生成的多类组合图像数据中的至少一些作为静止图像数据记录到记录介质上的处理。
所述算术操作控制单元可使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，并且将生成的组合图像数据作为形成运动图像的一帧的图像数据记录到记录介质上。
所述算术操作控制单元可使用记录的组合图像数据作为用于显示的数据。
所述图像获取单元可包括图像捕获单元，其被配置为执行图像捕获操作以获取在时间上具有连续性的图像数据的多个帧。
替代地，所述图像获取单元可包括回放单元，其被配置为执行回放操作以获取在时间上具有连续性的图像数据的多个帧。
替代地，所述图像获取单元可包括接收单元，其被配置为执行接收操作以获取在时间上具有连续性的图像数据的多个帧。
所述图像处理装置还可包括显示单元，被配置为显示基于由算术操作控制单元生成的组合图像数据的图像。
所述图像处理装置还可包括发送单元，被配置为发送由算术操作控制单元生成的组合图像数据。
所述算术操作控制单元可使用对每个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图像数据，并且使用生成的组合图像数据作为用于显示的数据。
在本发明的另一实施例中，一种图像处理方法包括下述步骤：获取在时间上具有连续性的图像数据的多个帧；暂时存储多个所获取的图像数据帧的每个；使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数据；以及输出组合图像数据作为用于显示的数据。
在本发明的另一实施例中，一种用于使得计算机执行图像处理方法的程序，所述图像处理方法包括下述步骤：获取在时间上具有连续性的图像数据的多个帧；暂时存储多个所获取的图像数据帧的每个；使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数据；以及输出组合图像数据作为用于显示的数据。
根据本发明的各实施例，例如，通过将对于预定帧时段在被摄体图像捕获、视频回放等期间作为表示捕获的监视图像、回放监视图像等的显示数据顺序获得的各帧的图像组合，生成组合图像数据。所述组合图像数据表示应用了长时间曝光效果的图像、或应用了如第一帘幕同步效果、第二帘幕同步效果或多闪光效果的效果的图像。
然后，例如，在每一个帧时段组合最近的帧和预定数目的之前的帧，以产生要显示的一帧的图像。连续执行该处理以提供这样的图像的显示，其中在每个帧时段获得的组合图像数据表示运功图像中的一帧。换句话说，具有长时间曝光效果的图像以电影方式显示为在图像捕获或回放期间显示的监视图像。
利用这种特效的运动图像的显示，用户可在图像捕获或回放期间实时观看通过应用特殊图像效果产生的图像。例如，用户可在监视应用了这样的特效的图像的同时，等待好的快门释放机会。
根据如快门操作的用户的记录操作，在快门释放时获得的组合图像数据记录到记录介质上。因此，用户可获得具有期望的特效的期望场景的图像。
根据本发明实施例的图像处理装置和图像处理方法可在包括如数字照相机的图像捕获装置和如个人计算机的信息处理装置的各种装置中实现。
根据本发明实施例，例如，在图像捕获期间(当用户寻找拍摄机会时)或在回放期间显示应用了如长时间曝光效果、第一帘幕同步效果、第二帘幕同步效果和多闪光效果的效果的图像。这允许用户实际观看将作为应用特效的结果获得的图像或看起来像实时的图像。当期望场景出现时，用户执行记录操作(快门操作和捕获操作)，从而获得实际已经观看的、具有期望的效果的图像作为静止图像。
因此，一般用户可容易和轻易地获得在现有技术中只有专家可以实现的作为静止图像的图像表现。例如，可提升增强的拍摄表现或更有创造性的拍摄表现。
此外，每个组合图像被记录为形成运动图像的一帧的图像数据，从而允许记录应用了长时间曝光效果等的特殊运动图像。因此，一般用户可以容易地实现在现有技术中不能实现的运动图像记录。
附图说明
图1是根据本发明实施例的图像捕获装置的框图；
图2A和2B分别是根据实施例的图像捕获装置的外部前视图和后视图；
图3是示出根据实施例的图像捕获模式选择屏幕的图；
图4是示出根据实施例的实时图像(live-image)组合模式处理的流程图；
图5A和5B是示出根据实施例的缓冲区域的图；
图6是描述根据实施例的组合处理的图；
图7是描述具有根据实施例的长时间曝光效果的组合处理的图；
图8是描述具有根据实施例的第一帘幕同步效果的组合处理的图；
图9是描述具有根据实施例的第二帘幕同步效果的组合处理的图；
图10是描述具有根据实施例的多闪光效果的组合处理的图；
图11是示出根据实施例、在实时图像组合模式下显示的图像的图；
图12是示出根据实施例、在实时图像组合模式下显示的图像的图；
图13是示出根据实施例、在实时图像组合模式下显示的图像的图；
图14是示出根据实施例、在实时图像组合模式下显示的图像的图；
图15是示出根据实施例、在实时图像组合模式下显示的图像的图；
图16是描述根据实施例的另一图像捕获模式选择屏幕的图；
图17是示出根据实施例的另一实时图像组合模式处理的流程图；
图18是示出根据实施例、在实时图像组合模式下显示的图像的图；
图19是示出根据实施例的特殊运动图像捕获模式处理的流程图；
图20A和20B是描述根据实施例的特殊运动图像捕获模式的图；
图21是根据本发明实施例的信息处理装置的框图；
图22是示出根据实施例的信息处理装置中执行的长时间曝光效果模式的流程图；以及
图23是示出根据实施例的信息处理装置中执行的特殊运动图像记录模式处理的流程图。
具体实施方式
下面将按下述顺序描述本发明实施例：
1.图像捕获装置的结构
2.实时图像组合模式下的示例性操作
3.实时图像组合模式的其他示例性操作
4.特殊运动图像捕获模式下的示例性操作
5.信息处理装置的应用示例
1.图像捕获装置的结构
现在将参照图1到2B在数字照相机的结构的上下文中描述根据本发明实施例的图像捕获装置的结构。
图2A和2B分别是根据本发明实施例的图像捕获装置1的外部前视图和后视图。如图2A和2B所示，图像捕获装置1可以是例如不是专家的一般用户通常使用的数字照相机。
图像捕获装置1包括在其前侧的图像捕获镜头单元21a和闪光发射单元15、以及在其后侧的显示面板6。显示面板6可以是液晶面板、有机电致发光(EL)面板等。图像捕获装置1还包括用于用户操作的在适当位置处的操作器。例如，操作键5a、5b、5c、5d、5f和5g用作用于提供各种操作功能的键，包括快门操作键、模式操作键、广角/长焦操作键、菜单操作键、曝光校正指令键、以及回放键。还布置了包括转盘(dial)操作单元5h和十字键(cross key)5i的其他操作器。转盘操作单元5h用于对例如图像捕获模式进行选择等。十字键5i用于如选择/设置在显示面板6上显示的操作菜单项目的各种操作。
将例如参照图1描述图像捕获装置1的示例结构。
如图1所示，图像捕获装置1包括图像捕获系统2、控制系统3、相机数字信号处理器(DSP)4、操作单元5、显示面板6、显示控制器7、外部接口(I/F)8、同步动态随机存取存储器(SDRAM)9、以及介质接口10。
图像捕获系统2被配置为执行图像捕获操作。图像捕获系统2包括镜头机构单元21、光圈/中灰(ND)滤光镜(neutral density filter)机构22、图像捕获元件单元23、模拟信号处理单元24、模-数(A/D)转换单元25、镜头驱动单元26、镜头位置检测单元27、定时发生电路28、模糊检测单元13、发光驱动单元14、闪光发射单元15、镜头驱动器17、光圈/ND驱动器18、以及图像捕获元件驱动器19。
来自被摄体的入射光通过镜头机构单元21和光圈/ND滤光镜机构22导入图像捕获元件单元23。
镜头机构单元21合并在图2A所示的图像捕获镜头单元21内，并且具有包括盖镜(cover lens)、聚焦镜头、以及变焦镜头的多个光学镜头。镜头驱动单元26用作用于将聚焦镜头或变焦镜头沿光轴移动的镜头移动机构。当通过使用镜头驱动器17施加驱动动力时，镜头驱动单元26使聚焦镜头或变焦镜头移动。镜头驱动器17由下面将描述的中央处理单元(CPU)31控制来执行聚焦控制或变焦操作。
光圈/ND滤光镜机构22包括插入到镜头光学系统以衰减(调整)入射光量的光圈机构和ND滤光镜机构。光圈/ND滤光镜机构22被配置为调整光强。
光圈/ND驱动器18通过打开和关闭光圈机构调整入射光量。光圈/ND驱动器18还通过沿入射光的光轴插入和移除ND滤光镜来调整入射光量。CPU31控制光圈/ND驱动器18以驱动光圈机构或ND滤光镜来控制入射光量(例如执行曝光调整控制)。
来自被摄体的光通量透射经过镜头机构单元21和光圈/ND滤光镜机构22，并且在图像捕获元件单元23上形成被摄体图像。
图像捕获元件单元23对形成的被摄体图像进行光电转换，并且输出与被摄体图像对应的捕获的图像信号。
图像捕获元件单元23具有由多个像素形成的矩形图像捕获区域，并且将各图像信号一个像素接一个像素地顺序输出到模拟信号处理单元24，每个所述图像信号是与一个像素中累积的电荷量对应的模拟信号。图像捕获元件单元23可以通过例如电荷耦合器件(CCD)传感器阵列、互补金属氧化物半导体(CMOS)传感器阵列等实现。
模拟信号处理单元24包括如相关双倍采样(CDS)电路和自动增益控制(AGC)电路的内部电路。模拟信号处理单元24对从图像捕获元件单元23输入的图像信号执行预定的模拟处理。
A/D转换单元25将通过模拟信号处理单元24处理的模拟信号转换为数字信号，并且将数字信号提供到相机DSP 4。
定时发生电路28由CPU 31控制来对图像捕获元件单元23、模拟信号处理单元24和A/D转换单元25的操作定时进行控制。
具体地，定时发生电路28将用于控制图像捕获元件单元23的图像捕获操作的定时的信号通过图像捕获元件驱动器19提供到图像捕获元件单元23，如曝光/电荷读取定时信号、用于提供电子快门功能的定时信号、传送时钟信号、以及按照帧频的同步信号。定时发生电路28还将定时信号提供到模拟信号处理单元24，使得模拟信号处理单元24可以与传送来自图像捕获元件单元23的图像信号同步地执行处理。
CPU 31可以控制由定时发生电路28生成的定时信号，以改变图像捕获的帧频或执行电子快门控制(曝光时间的帧内可变控制)。此外，例如，CPU31可以将增益控制信号通过定时发生电路28应用到模拟信号处理单元24，以执行捕获的图像信号的可变增益控制。
模糊检测单元13被配置为检测相机抖动量。模糊检测单元13例如包括加速度传感器、振动传感器等，并且将检测的信息作为模糊量提供到CPU 31。
闪光发射单元15由发光驱动单元14驱动来发光。CPU 31指令发光驱动单元14在用户操作等中指定的预定时间发射闪光，使得可以从闪光发射单元15发光。
相机DSP 4对从图像捕获系统2的A/D转换单元25输入的捕获的图像信号执行各种数字信号处理。
在相机DSP 4中，例如如图1所示，通过内部硬件或软件实现如图像信号处理单元41、压缩/解压缩处理单元42、SDRAM控制器43、以及信息生成单元44的处理功能。
图像信号处理单元41对输入的捕获图像信号执行处理。例如，图像信号处理单元41使用捕获的图像信号执行用于控制图像捕获系统2的驱动的算术处理，如自动聚焦(AF)处理和自动光圈(auto-iris)(自动曝光(AE))处理，并且还执行对于输入的捕获图像信号自身的处理，如自动白平衡(AWB)处理。
例如，在自动聚焦处理中，图像信号处理单元41执行输入的捕获图像信号的对比度检测，并且将检测的信息发送到CPU 31。各种控制技术可用作自动聚焦控制方法。在称为对比度AF的技术中，在使得聚焦镜头运动的每个时间点执行捕获图像信号的对比度检测，并且确定处于最佳对比度状态的聚焦镜头的位置。具体地，在图像捕获操作之前，CPU 31执行控制以便在控制聚焦镜头的运动的同时检查由图像信号处理单元41检测的对比度检测值，并且将处于最佳对比度状态的位置设置为最佳聚焦位置。
在图像捕获期间，CPU 31可以使用称为摆动(wobbling)AF的检测方法执行聚焦控制。在图像捕获操作期间，CPU 31在使得聚焦镜头恒定地前后稍微运动的同时检查由图像信号处理单元41检测的对比度检测值。尽管聚焦镜头的最佳位置可能依赖于被摄体的情况而变化，但是通过将聚焦镜头稍微前后位移来执行对比度检测，从而根据被摄体的变化确定聚焦控制方向的变化。因此，可以根据被摄体情况执行自动聚焦。
注意到，在镜头驱动单元26中的镜头移动机构被分配了各个移动位置的地址，并且使用移动位置的地址来识别镜头位置。
镜头位置检测单元27识别聚焦镜头的当前镜头位置的地址，以计算到所聚焦的被摄体的距离，并且将关于计算的距离的距离信息提供到CPU 31。因此，CPU 31可以确定到所聚焦的主被摄体的距离。
在由相机DSP 4的图像信号处理单元41执行的自动光圈处理中，例如计算被摄体亮度。例如，计算输入的捕获图像信号的平均亮度，并且将关于计算的平均亮度的被摄体亮度信息或曝光信息提供到CPU 31。可使用各种方法来计算平均亮度，如计算捕获的图像数据的一帧的所有像素的亮度信号的平均值或计算当为图像的中心部分分配权重时各亮度信号的平均值。
CPU 31可以基于曝光信息执行自动曝光控制。具体地，使用光圈机构、ND滤光镜、图像捕获元件单元23中的电子快门控制、或用于模拟信号处理单元24的增益控制来执行曝光调整。
相机DSP 4的图像信号处理单元41除了执行用于生成自动聚焦操作和自动光圈操作使用的信号的处理外，还执行对捕获的图像信号自身的信号处理，如自动白平衡、伽玛(γ)校正、边缘增强、以及相机抖动校正。
相机DSP 4中的压缩/解压缩处理单元42对捕获的图像信号执行压缩处理，或对压缩的图像数据执行解压缩处理。例如，压缩/解压缩处理单元42根据如联合摄影专家组(JPEG)或运动图像专家组(MPEG)技术的技术执行压缩/解压缩处理。
SDRAM控制器43对SDRAM 9执行写入/读取。SDRAM 9用于例如暂时存储从图像捕获系统2输入的捕获图像信号，在由图像信号处理单元41或压缩/解压缩处理单元42执行的处理中存储数据或保留工作区域，或存储由信息生成单元44获得的信息。SDRAM控制器43对SDRAM 9执行这样的数据的写入/读取。
信息生成单元44生成用于下述组合处理中的各种操作的信息。例如，信息生成单元44生成在捕获的图像信号屏幕中指示到被摄体的距离的距离分布信息。距离分布信息可以是例如关于以像素为单位到被摄体的距离以及到主被摄体的距离的信息。所述信息还称为景深图(depth map)。
可通过分析在上述摆动AF期间的模糊量等来执行用于生成距离分布信息的基于像素的距离信息的确定。替代地，可提供被配置为发出具有非可见光的特定波长的辅助光的发光单元(未示出)，并且可以测量在特定波长的光已经发出后到其返回的时间段，以便一个像素接一个像素地确定到被摄体的距离。
控制系统3包括CPU 31、随机存取存储器(RAM)32、闪存只读存储器(ROM)33、以及时钟电路34。控制系统3中的每个单元、相机DSP 4中的每个单元、图像捕获系统2中的每个单元、显示控制器7、外部接口8和介质接口10被配置为经由系统总线彼此传送图像数据或控制信息。
CPU 31控制图像捕获装置1的整体操作。具体地，CPU 31根据内部ROM等中存储的程序并根据利用操作单元5的用户操作，执行各种算术处理或与对应的单元交换控制信号等，以使得各单元执行必要操作。CPU 31还执行下述的图像组合的进一步的处理，如算术处理和图像分析处理。
RAM 32暂时存储(或缓冲)由相机DSP 4处理的捕获的图像信号(每帧的图像数据)，或暂时存储(或缓冲)由下述组合处理生成的组合图像数据。RAM 32还存储对应于CPU 31的各种处理的其他信息。
闪存ROM 33用于存储表示(已经由用户捕获为静态图像或运动图像的)捕获图像的图像数据或要以非易失性方式保存的其他信息。闪存ROM 33还可以用于存储用于控制图像捕获装置1的软件程序、相机设置数据等。
时钟电路34执行时间计数以确定当前时间信息(年、月、日、小时、分钟和秒)。
操作单元5包括图2A和2B所示的操作器和用于按照操作器的操作生成信号的信号生成单元。基于操作器的用户操作信息从操作单元5发送到CPU31。
操作单元5可以被配置为允许触摸面板操作以及使用操作器的操作。具体地，显示面板6可以被提供有触摸传感器，使得可以响应于用户对屏幕的触摸来执行操作输入。
显示控制器7使得显示面板6在CPU 31的控制下执行必要的显示操作。显示面板6上的显示操作的示例可包括监视器的显示(在图像捕获期间的所谓的实时取景(live view)显示)、从记录介质90或闪存ROM 33读取的回放图像的显示、操作菜单的显示、各种图标的显示、以及时间和日期的显示。
介质接口10在CPU 31的控制下，对置入图像捕获装置1中的如存储卡(卡形的可移除存储器)的记录介质90执行数据的读取/写入。例如，介质接口10执行将作为图像捕获的结果获得的静止图像数据或运动图像数据记录到记录介质90上的操作。
介质接口10还执行从记录介质90读取记录的静止图像数据或运动图像数据的操作。
尽管作为示例将记录介质90实现为便携式存储卡，但是记录介质90可以是用于记录作为图像捕获的结果要保存的静止图像或运动图像的图像数据的任何其他记录介质。例如，可使用如光盘的便携式记录介质，或可合并硬盘驱动器(HDD)并将其用于记录。
外部接口8根据如通用串行总线(USB)标准的信号标准，经由预定电缆发送各种数据到外部设备并从所述外部设备接收各种数据。外部接口8可以是符合除了USB标准以外的标准(如，电气电子工程师协会(IEEE)1394标准)的外部接口。
替代有线传输接口，外部接口8可以是如红外传输接口或近场通信接口的无线传输接口。
图像捕获装置1被配置为经由外部接口8发送数据到个人计算机或其他各种设备，并从所述个人计算机或其他各种设备接收数据。例如，图像捕获装置1可以将捕获的图像数据传送到外部设备。
在本实施例的图像捕获装置1中，CPU 31根据存储在其中的程序和来自操作单元5的用户操作，执行图像捕获操作控制或算术处理和用于各种操作的控制。CPU 31执行包括下述处理的算术处理和控制操作。
CPU 31执行图像捕获操作控制。具体地，CPU 31控制图像捕获系统2或相机DSP 4中的每个单元以捕获被摄体图像。CPU 31执行如自动聚焦处理、自动曝光调整处理、以及闪光发射控制处理的其他处理。在图像捕获期间，用户可以选择下述的各种图像捕获模式中的任何，并且CPU 31根据所选择的图像捕获模式控制图像捕获系统2的操作。
CPU 31还执行图像组合处理。在图像捕获操作中，由图像捕获系统2捕获并由相机DSP 4处理的图像数据的每帧传送到RAM 32中并在其中缓冲。具体地，在下述称为“实时图像组合”的图像捕获模式下，缓冲的图像数据的多个帧被组合以生成用于表示如长时间曝光效果的特效的组合图像数据。
例如，CPU 31可对时间上具有连续性的图像数据的各帧当中的、来自图像数据的最近的帧的图像数据的预定的帧执行使用加权平均的组合处理，以生成组合图像数据，所述时间上具有连续性的图像数据已经在每个帧时段捕获并顺序缓冲。
可通过分配相等的加权系数到图像数据的每帧或分配高加权系数到图像数据的特定帧来组合图像数据的多个帧，以获得期望的图像效果。
CPU 31还执行显示控制。具体地，CPU 31指令显示控制器7通过应用用于显示的数据，来使得显示面板6执行期望的显示。例如，可执行图像捕获期间的监视器显示或回放图像的显示。具体地，随着用于图像捕获监视的数据的每帧，通过上述组合处理生成的组合图像数据被提供到显示控制器7，从而显示具有特殊图像效果的监视器运动图像(实时取景电影)。
CPU 31还执行记录、回放和传输控制。具体地，CPU 31指示介质接口10控制从记录介质90读取或写入到记录介质90。例如，根据用户的快门操作，CPU 31指示介质接口10将已经缓冲的图像数据或组合图像数据的某个帧记录到记录介质90上，作为要保存的静止图像数据。此外，CPU 31还可以指示介质接口10将要缓冲的捕获的图像数据或组合图像数据的每个帧记录到记录介质90上，作为运动图像数据。
CPU 31还执行将捕获的图像数据、组合图像数据、从记录介质90读取的图像数据等通过外部接口8发送到外部设备的处理。
CPU 31还执行检测由用户给出的操作输入信息的操作检测处理。具体地，检测来自操作单元5的输入信息。基于在该操作检测处理中检测的操作输入信息，CPU 31执行图像捕获操作控制、图像捕获期间的组合处理、图像记录/回放/传输控制等。
2.实时图像组合模式下的示例性操作
现在将描述可以是本实施例的图像捕获装置1的特征的实时图像组合模式下的示例性操作。
当用户使用图像捕获装置1执行图像捕获时，他或她可选择各种预设图像捕获模式。
图像捕获模式的示例包括自动模式、人像模式、风景模式、近摄模式(macro mode)、体育模式、日落场景模式、夜景模式、以及运动图像捕获模式。
自动模式是其中使用图像捕获装置1自动执行如光圈值、快门速度、以及国际标准化组织(ISO)灵敏度的最佳设置的图像捕获模式。
人像模式是其中以对提供人的照片(shot)最佳的设置执行图像捕获的图像捕获模式。
风景模式是其中以对提供风景的照片最佳的设置执行图像捕获的图像捕获模式。
近摄模式是其中以对提供比正常更接近相机的被摄体的照片最佳的设置执行图像捕获的图像捕获模式。可提供特殊近摄模式，即，用于提供花朵和昆虫的清晰和生动的近摄照片的自然近摄模式
体育模式是其中以对提供动作的照片最佳的设置执行图像捕获的图像捕获模式。
日落场景模式是其中以对提供日落场景的照片最佳的设置执行图像捕获的图像捕获模式。
夜景模式是其中以对提供夜景的照片最佳的设置执行图像捕获的图像捕获模式。
运动图像模式是其中捕获运动图像的图像捕获模式。
可提供其他模式，如适于提供夜景中的人的照片的夜间人像模式、以及适于提供焰火的照片的焰火模式。
用户从上述图像捕获模式中选择期望的图像捕获模式，从而执行图像捕获操作以获得适于被摄体类型或条件的捕获的图像。
在本示例性实施例中，“实时图像组合”模式被预设为图像捕获模式。
CPU 31允许用户使用在显示面板6上显示的、如图3所述的模式选择屏幕来选择图像捕获模式。
在此情况下，除了如“自动模式”图像捕获、“人像模式”图像捕获、“日落场景模式”图像捕获和“近摄模式”图像捕获的标准图像捕获模式之外，实时图像组合模式与其相关联的图像一起显示。与实时图像组合模式相关联的图像可以是例如长时间曝光效果的图像。用户可通过移动光标K按照图像捕获目的选择期望的模式。与各个模式相关联的图像的显示帮助没有经验的用户选择模式。具体地，不熟悉如长时间曝光效果的特效的实现的用户可使用与实时图像组合模式相关联的图像，通过实时图像组合模式的详情导航。
选择模式的操作可以例如利用图2B所示的转盘操作单元5h执行。
当用户选择图像捕获模式时，CPU 31根据所选择的图像捕获模式执行操作设置。例如，CPU 31控制图像捕获系统2中的每个单元以确定如曝光量、曝光方法、电子快门设置、帧频和增益的设置。
现在将详细描述响应于用户对实时图像组合模式的选择的示例性操作。
当用户执行选择实时图像组合模式的操作时，CPU 31开始图4所示的处理。首先，在步骤F101，CPU 31控制捕获图像操作的开始。CPU 31使得图像捕获系统2的每个单元和相机DSP4开始图像捕获操作。因此，开始对于被摄体图像的图像数据的逐帧获取。
在步骤F102，CPU 31监视用户的快门操作。在步骤F103，CPU 31监视实时图像组合模式的终止操作。如果这些操作都没有出现，则CPU 31进行到步骤F104。
在步骤F104，将由图像捕获系统2捕获并由相机DSP 4处理的图像数据的一帧加载到RAM 32。
如图5A所示，RAM 32具有帧图像缓冲区32a和组合图像缓冲区32b。
帧图像缓冲区32a是用于缓冲在步骤F101开始图像捕获操作之后、在每个帧时段从相机DSP 4传送的图像数据的各个帧的区域。在步骤F104，从相机DSP 4传送的图像数据的一帧暂时存储在帧图像缓冲区32a。
然后，CPU 31执行步骤F105的组合处理、步骤F106的组合图像数据的缓冲、以及步骤F107的组合图像数据的显示控制。然后，CPU 31再次通过步骤F 102和F103执行步骤F104到F107的处理。
即，对于执行快门操作之前的时段，CPU 31在每个帧时段执行步骤F104到F107的处理。根据帧图像缓冲区32a的容量，图像数据的当前帧和图像数据的预定数目的之前的帧缓冲在RAM 32的帧图像缓冲区32a中。当帧图像缓冲区32a随着操作的进程变满时，在删除缓冲的图像数据的最旧的帧的同时可存储图像数据的新的帧。
步骤F105到F107的处理通过示例如下执行。
首先，在步骤F105，利用当前时间暂时存储在帧图像缓冲区32a中的图像数据的各帧当中的、图像数据的最近的帧(步骤F104中加载的图像数据的帧)和图像数据的预定数目的之前的帧，执行组合处理。
图6示出在组合处理中获得的图像。
加载到帧图像缓冲区32a的图像数据的各帧由图像数据#1、#2、#3等表示。假设用于组合处理的图像数据范围是包括最近帧的7个帧的范围。用于组合处理的帧的数目可以是但不限于7。
现在假设在步骤F104，图像数据#7加载为在时间t7获得的捕获图像帧。在此情况下，在步骤F105的组合处理中，使用包括图像数据的7帧的组合范围A1，该图像数据的7帧包括最近的图像数据#7(即，#1到#7)。
然后，使用组合范围A1中的图像数据的各个帧(#1到#7)，并且执行加权系数的设置或加权平均处理以生成组合图像数据。
这里，生成四类组合图像数据(GL、GS、GA和GM)。图6示出组合图像数据GL1、GS1、GA1和GM1。
组合图像数据GL可以是用于实现长时间曝光效果的组合图像数据。长时间曝光效果是通过例如对运动图像执行长时间连续曝光表现的效果，由如图7所示的组合图像示意性示出的。
例如，为了从图像数据帧#1到#7生成具有长时间曝光效果的组合图像数据GL1，相等地加权和组合图像数据帧#1到#7。图7分别示意性示出要分配到图像数据帧#1到#7的加权系数w1到w7。加权系数w1到w7的每个具有表示加权系数值的高度。以此方式，各个图像数据帧#1到#7相等地加权，并经历加权平均处理以生成组合图像。具体地，将各个图像数据帧#1到#7中的对应像素的值相加，并且将得到的和除以图像数据的帧的数目(在此情况下，7)。因此，获得具有如图7所示的长时间曝光效果的组合图像。
例如，如果图像数据帧序列#1到#7表示被摄体正从右边移动到左边的图像，则生成与通过对正从右边移动到左边的被摄体执行长时间曝光获得的图像类似的图像的组合图像数据，作为图7所示的组合图像。
组合图像数据GS可以是用于实现第一帘幕同步效果的组合图像数据。第一帘幕同步效果是通过仅在长时间曝光的开始激发(firing)闪光来提供时间上的第一状态的清晰表示的图像捕获技术。
图8示出具有第一帘幕同步效果的组合图像的示例。
在此示例中，通过将组合范围内的图像数据的连续各帧组合，使得为图像数据的第一帧分配高加权系数，而为图像数据的随后的剩余各帧分配低加权系数，获得这样的第一帘幕同步效果。
具体地，在图像数据帧#1到#7中，将高加权系数w1分配给图像数据帧#1，而将低加权系数w2到w7分配给剩余的图像数据帧#2到#7。然后，执行加权平均处理以生成组合图像数据GS1。因此，获得具有如图8所示的第一帘幕同步效果的组合图像。
组合图像数据GA可以是用于实现第二帘幕同步效果的组合图像数据。第二帘幕同步效果是通过仅在长时间曝光的结束激发闪光来提供时间上最后的状态的清晰表示的图像捕获技术。
图9示出具有第二帘幕同步效果的组合图像的示例。
在此示例中，通过将组合范围内的图像数据的连续各帧组合，使得为图像数据的最后帧分配高加权系数，而为图像数据的剩余各帧分配低加权系数，获得这样的第二帘幕同步效果。
具体地，在图像数据帧#1到#7中，将高加权系数w7分配给图像数据帧#7，而将低加权系数w1到w6分配给剩余的图像数据帧#1到#6。然后，执行加权平均处理以生成组合图像数据GA1。因此，获得具有如图9所示的第二帘幕同步效果的组合图像。
组合图像数据GM可以是用于实现多闪光效果的组合图像数据。多闪光效果是通过在长时间曝光期间周期性激发闪光来提供被摄体的状态的清晰表示的图像捕获技术。
图10示出具有多闪光效果的组合图像的示例。
在此示例中，通过将高和低加权系数周期性分配到组合范围内的图像数据的连续帧并组合图像数据的连续帧，获得这样的多闪光效果。
例如，在图像数据帧#1到#7中，将高加权系数w1、w4和w7分配给图像数据帧#1、#4和#7，而将低加权系数w2、w3、w5和w6分配给图像数据帧#2、#3、#5和#6。然后，执行加权平均处理以生成组合图像数据GM1。因此，获得具有如图10所示的多闪光效果的组合图像。
当如图6所示在时间t7加载图像数据帧#7时，在步骤F105，CPU 31使用缓冲的图像数据帧#1到#7生成组合图像数据GL1、GS1、GA1和GM1。
然后，在步骤F106，CPU 31将组合图像数据GL1、GS1、GA1和GM1暂时存储到RAM 32的组合图像缓冲区32b。
然后，在步骤F107，CPU 31将组合图像数据GL1、GS1、GA1和GM1作为显示数据输出到显示控制器7，并且使得显示面板6执行预定的监视显示。下面将描述显示的示例。
接下来，在如图6所示的时间t8，将下一图像数据帧#8加载到RAM 32(步骤F104)。还在该情况下，CPU 31在步骤F105执行类似的组合处理。在此情况下，如图6所示的组合范围A2所示，包括最近的图像数据帧#8的7个图像数据帧(#2到#8)用于执行组合处理，以生成四类组合图像数据GL2、GS2、GA2和GM2。
然后，在步骤F106，CPU 31将组合图像数据GL2、GS2、GA2和GM2暂时存储到RAM 32的组合图像缓冲区32b。
然后，在步骤F107，CPU 31将组合图像数据GL2、GS2、GA2和GM2作为显示数据输出到显示控制器7，并且使得显示面板6执行预定的监视显示。
此外，在如图6所示的时间t9，将下一图像数据帧#9加载到RAM 32(步骤F104)。还在此情况下，CPU 31在步骤F105执行类似的组合处理。在此情况下，如图6所示的组合范围A3所示，包括最近的图像数据帧#9的7个图像数据帧(#3到#9)用于执行组合处理，以生成四类组合图像数据GL3、GS3、GA3和GM3。
然后，在步骤F106，CPU 31将组合图像数据GL3、GS3、GA3和GM3暂时存储到RAM 32的组合图像缓冲区32b。
然后，在步骤F107，CPU 31将组合图像数据GL3、GS3、GA3和GM3作为显示数据输出到显示控制器7，并且使得显示面板6执行预定的监视显示。
上述处理继续直到执行快门操作或直到执行终止实时图像组合模式的操作(切换到另一模式的操作)。
图5B示意性示出在步骤F106暂时加载到RAM 32的组合图像缓冲区32b的上述各类组合图像数据。当作为重复上述处理的结果组合图像缓冲区32b变满时，在删除最旧的组合图像数据的同时可暂时存储新的组合图像数据。
步骤F104到F107的处理重复一段时间，在该段时间期间，用户寻找拍摄机会。换句话说，用户在观看显示面板6的同时等待好的拍摄机会。
根据步骤F107的处理，将四类组合图像数据(GL、GS、GA和GM)提供到显示控制器7，作为用于显示的数据。显示控制器7使得显示面板6利用组合图像数据(GL、GS、GA和GM)执行例如如图11所示的显示。
在显示的图像当中，在选择图像区61中显示的图像以最大尺寸显示。
此外，并排显示对应于四类组合图像数据(GL、GS、GA和GM)的图像。具体地，显示基于组合图像数据GL的长时间曝光效果图像62、基于组合图像数据GS的第一帘幕同步效果图像63、基于组合图像数据GA的第二帘幕同步效果图像64、和基于组合图像数据GM的多闪光效果图像65。
此外，显示组合设置指示66。组合设置指示66可以是例如组合时间指示。例如，图11所示的“组合时间：2秒”指示对最近的帧和对应于过去两秒的在前帧执行上述组合处理。例如，如果以每秒30帧的帧频捕获图像，则执行60帧的组合处理。
用户可通过操作光标K，从四类图像效果的图像62、63、64和65当中选择期望的图像。尽管在图4所示的处理中没有示出，但是CPU 31根据用户的光标操作将光标K的显示位置发送到显示控制器7，使得使用光标K选择的对象可以表现在显示面板6上。
此外，当前正使用光标K选择的图像的放大视图可以显示在屏幕上的选择图像区61中。
例如，在图11中，当前正使用光标K选择长时间曝光效果图像62。在此情况下，将应用了长时间曝光效果的组合图像显示在选择图像区61中。
在图12中，当前正使用光标K选择第一帘幕同步效果图像63。在此情况下，将应用了第一帘幕同步效果的组合图像显示在选择图像区61中。
在图13中，当前正使用光标K选择第二帘幕同步效果图像64。在此情况下，将应用了第二帘幕同步效果的组合图像显示在选择图像区61中。
在图14中，当前正使用光标K选择多闪光效果图像65。在此情况下，将应用了多闪光效果的组合图像显示在选择图像区61中。
如上所述，在步骤F107的处理中，在每个帧时段将四类组合图像数据GL、GS、GA和GM输出到显示控制器7，作为显示数据。
具体地，在每个帧时段中使用组合图像数据GL1、GL2、GL3等以显示长时间曝光效果图像62。
在每个帧时段中使用组合图像数据GS1、GS2、GS3等以显示第一帘幕同步效果图像63。
在每个帧时段中使用组合图像数据GA1、GA2、GA3等以显示第二帘幕同步效果图像64。
在每个帧时段中使用组合图像数据GM1、GM2、GM3等以显示多闪光效果图像65。
因此，在显示面板6上，用作当前被摄体的监视器屏幕图像的实时运动图像(示出通过图像的被摄体场景的运动图像(实时取景))显示为应用了长时间曝光效果的图像、应用了第一帘幕同步效果的图像、应用了第二帘幕同步效果的图像和应用了多闪光效果的图像。
具有这些效果的图像之一由用户选择并显示在选择图像区61。
因此，用户可以实际观看到将作为应用了上述图像效果的结果获得的图像，同时等待好的拍摄机会。换句话说，用户可以在观看实际应用特效的结果的同时寻找拍摄机会。
如图14所示，当多闪光效果图像65被选择并显示在选择图像区61中时，可提供发光间隔指示67。
多闪光效果是通过周期性发射闪光获得的图像效果，并且图像的视觉印象依赖于发光间隔而不同。因此，期望的是用户可以修改发光间隔，例如，在本示例性操作中，在组合处理中按期望向其分配图10所示的高加权系数的帧的间隔。如图15所示，用户可以被允许来使用光标K选择发光间隔指示67，并执行预定操作以修改发光间隔。例如，可允许用户将发光间隔改变为0.5秒、0.75秒、1秒、1.25秒、1.5秒、2秒等。设置还可以以较小的时间步进而改变。
当改变发光间隔时，CPU 31改变当在图4所示的步骤F105中的组合处理中生成组合图像数据GM时分配高加权系数的间隔。因此，多闪光效果图像65的多闪光效果(当正选择它时，在选择图像区61中显示的图像)可以在显示器上调整，并可由用户观看到。
还期望用户被允许来通过使用光标K执行预定操作来修改组合设置指示66。例如，可允许用户将组合时间改变为0.5秒、1秒、1.5秒、2秒、2.5秒、3秒等。设置可以以较小的时间步进而改变。
当改变组合时间时，CPU 31根据改变的组合时间，改变在图4所示的步骤F105中的组合处理中使用的组合范围(帧的数目)。
如上所述，用户在实时观看显示在显示面板6上的、应用了长时间曝光效果等的被摄体场景的监视图像的同时，在期望的时刻执行快门操作。
当检测到用户的快门操作时，CPU 31将处理从步骤F102前进到步骤F108，并且执行将在快门释放时获得的组合图像记录到记录介质90上的处理。在快门释放时获得的组合图像可包括紧接在检测到快门操作前已经在步骤F105中生成的并且在步骤F106中暂时存储的组合图像数据GL、GS、GA和GM。
然后，例如，当前正由用户选择的组合图像(即，在显示面板6上的选择图像区61中显示的组合图像)用作要实际保存为静止图像的组合图像数据。例如，如图11所示，当当前正选择长时间曝光效果的组合图像时，CPU31将该长时间曝光效果的组合图像GL(x)传送到介质接口10以将组合图像GL(x)存储在记录介质90上。
因此，用户可将期望场景的长时间曝光效果的组合图像保存为一张照片(静止图像)。
在步骤F109，CPU 31控制显示控制器7将记录在记录介质90上的组合图像数据显示在显示面板6上，使得用户可以观看捕获的图像。记录的组合图像可以全屏显示例如大约2秒到大约5秒。
然后，当完成显示时，恢复步骤F102到F107的处理。
因此，再次将长时间曝光效果等的图像显示为实时监视图像，使得用户可以寻找下一拍摄机会。
当在步骤F103检测到终止实时图像组合模式的用户操作时，CPU 31终止图4所示的处理。
在步骤F108中记录捕获图像的处理还可以通过示例如下执行。
例如，不仅当前正显示在选择图像区61中的组合图像、而且所有四类组合图像都可以记录在记录介质90上。换句话说，长时间曝光效果、第一帘幕同步效果、第二帘幕同步效果以及多闪光效果的四张照片的静止图像数据可以通过单个快门操作记录到记录介质90上。
尽管在快门释放时获得的组合图像通过紧接在快门释放之前的步骤F105中生成的组合图像数据实现，但是包括紧接在步骤F102中检测到快门操作之后获得的帧的各帧也可用于生成组合图像数据GL、GS、GA和GM，并且组合图像数据GL、GS、GA和GM可记录到记录介质90上，作为在快门释放时获得的组合图像数据。
在此情况下，可以仅生成并记录当前正选择的组合图像。例如，如图14所示，如果当正选择长时间曝光效果图像时检测到快门操作，则在步骤F108，可使用紧接在快门操作后获得的帧作为最近的帧生成长时间曝光效果的组合图像数据GL，并且可以将其记录在记录介质90上。
此外，除了在快门释放时获得的组合图像之外，在一定时间范围内获得的组合图像数据也可以记录在记录介质90上。如图5B所示，在每个帧时段中生成的组合图像数据GL、GS、GA和GM暂时保存在组合图像缓冲区32b中。
因此，在快门释放之前一段时间已经获得的组合图像数据还可以记录到记录介质90上，作为捕获的图像。例如，可统一记录在快门释放之前已经获得的组合图像数据的若干帧。
此外，除了组合图像数据之外，在帧图像缓冲区32a中缓冲的图像数据(例如，从其生成要记录的组合图像数据的图像数据的多个帧)还可以记录到记录介质90上。
在本示例性操作中，作为图像捕获的结果获得的图像数据保存在记录介质90中。图像数据可保存闪存ROM 33中，而不是记录介质90。可使用将图像数据正常地记录到记录介质90、而当没有放置记录介质90时将其记录到闪存ROM 33上的另一操作方法。
利用上述本示例性操作，图像捕获装置1可以被配置为使得生成并显示具有如长时间曝光、第一帘幕同步、第二帘幕同步、或多闪光的应用的效果的组合图像，从而在用户执行图像捕获(或执行快门操作)前向用户呈现将通过执行图像组合实现的图像效果，使得用户可以针对图像效果来执行图像捕获操作。
此外，显示实时应用了上述每个效果的被摄体场景的图像，因此方便了用于实现长时间曝光、第一帘幕同步、第二帘幕同步和多闪光效果的最佳快门释放时间的识别。因此，即使没有经验的用户也可以适当地捕获各种特殊图像。
此外，可同时观看四类图像效果。这帮助用户根据用户的偏好或被摄体场景更精确地选择期望的效果。
此外，如上所述，组合图像数据还缓冲在组合图像缓冲区32b中。这允许根据快门操作记录在快门释放时获得的显示图像和在快门释放前后获得的组合图像。因此，可以提供被设计来更多地避免用户错过好的快门释放机会以获得特殊拍摄效果图像的相机。
在上述示例中，在步骤F105中的每个帧时段内生成四类组合图像数据。替代地，可生成应用了一个、两个、三个或多于四个图像效果的组合图像。
此外，步骤F105到F107的处理可以不必在每个帧时段执行。例如，步骤F105到F107的处理可以间断地(如两个帧时段一次，或三个帧时段一次)执行。具体地，在难以加速在组合处理中涉及的时间的情况下，优选地间断地执行步骤F105到F107的处理。
例如，在图6所示的示例中，使用组合范围A1执行组合处理，然后可以使用组合范围A3执行组合处理。
在组合范围中涉及的时间长的情况下，可以在帧图像缓冲区32a中累积对应于比在组合处理中涉及的时间更长的时间的图像数据。
此外，为了减少CPU 31对于组合处理和组合图像显示处理的处理负载，步骤F105到F107的处理可通过生成并显示低分辨率组合图像数据而实现。
替代地，显示在显示面板6上的长时间曝光效果图像62、第一帘幕同步效果图像63、第二帘幕同步效果图像64和多闪光效果图像65的每个可以是表现对应图像效果的预设图像(静止图像或运动图像)，并且被摄体场景的实际监视器图像可以仅在选择图像区61中显示。在此情况下，仅仅当前正使用光标K选择的一类组合图像数据可以处理为用于显示的数据。
尽管上述图14等中所示的显示在显示面板6上产生，但是例如，显示图像数据可从外部接口8传送到外部显示设备，并且图14等中所示的图像可以显示在所述显示设备上。
当图像捕获装置1通过数字单反镜头(SLR)相机实现时也可应用本示例性操作。如本领域共同的，在SLR相机中，被摄体光以成像光学系统的所谓“向下反射(mirror down)”状态导入取景器中，并且当执行快门操作时，引入“向上反射(mirror up)”状态，并且将被摄体光导入成像设备单元，使得对光线暴露成像设备单元。这里，当选择上述实时图像组合模式时，设置向下反射状态使得被摄体光可以导向成像元件单元，除非执行快门操作。然后，对通过成像元件单元获得的图像数据执行组合处理，并显示组合图像。因此，实现与上述类似的操作。下面的示例性操作也可应用到数字SLR相机。
3.实时图像组合模式的其他示例性操作
接下来，将参照图16、17和18描述实时图像组合模式下的另一示例性操作。
图16示出图像捕获模式选择屏幕。在上述示例性操作中，在图3所示的选择屏幕上选择“实时图像组合模式”以选择图像捕获模式。在此示例性操作中，如图16所示，除了正常的图像捕获模式(如自动模式和人像模式)以外，对于预先选择还可获得额外的模式，即“长时间曝光效果”、“第一帘幕同步效果”、“第二帘幕同步效果”和“多闪光效果”。用户操作光标K来选择期望的图像捕获模式。
例如，如图16所示，当将光标K定位到“长时间曝光效果”模式并执行模式设置操作时，CPU 31执行图17所示的长时间曝光效果模式处理。
现在将描述图17所示的处理。
例如，当用户执行选择“长时间曝光效果”模式的操作时，CPU 31开始图17所示的处理。首先，在步骤F201，CPU 31控制图像捕获操作的开始。CPU 31使得图像捕获系统2的每个单元和相机DSP 4开始图像捕获操作。因此，开始被摄体图像的图像数据的逐帧获取。
在步骤F202，CPU 31监视用户的快门操作。在步骤F203，CPU 31监视长时间曝光效果模式的终止操作。如果这些操作都没有出现，则CPU 31进行到步骤F204。
在步骤F204，将由图像捕获系统2捕获并由相机DSP 4处理的图像数据的一帧加载到RAM 32的帧图像缓冲区32a。
然后，CPU 31执行步骤F205的组合处理、步骤F206的组合的图像数据的缓冲、以及步骤F207的组合的图像数据的显示控制。然后，CPU 31再次通过步骤F202和F203执行步骤F204到F207的处理。
即，对于执行快门操作之前的时段，CPU 31在每个帧时段执行步骤F204到F207的处理。根据帧图像缓冲区32a的容量，图像数据的当前帧和图像数据的预定数目的在前帧缓冲在RAM 32的帧图像缓冲区32a中。
步骤F205到F207的处理通过示例如下执行。
首先，在步骤F205，利用当前暂时存储在帧图像缓冲区32a中的图像数据的各帧当中的、图像数据的最近的帧(步骤F204中加载的图像数据的帧)和图像数据的预定数目的在前帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
然后，在步骤F206，CPU 31将组合图像数据GL暂时存储到RAM 32的组合图像缓冲区32b中。
然后，在步骤F207，CPU 31将组合图像数据GL输出到显示控制器7作为显示数据，并且使得显示面板6执行预定监视显示。
上述处理继续直到已经执行快门操作或直到已经执行终止长时间曝光效果模式的操作(切换到另一模式的操作)。
步骤F204到F207的处理重复一段时间，在该段时间期间，用户寻找拍摄机会。换句话说，用户在观看显示面板6的同时等待好的拍摄机会。
根据步骤F207的处理，在每个帧时段将长时间曝光效果的组合图像数据GL提供到显示控制器7，作为用于显示的数据。例如，显示控制器7使得显示面板6利用组合图像数据GL执行例如如图18所示的显示。
在此情况下，对应于组合图像数据GL的图像全屏显示。
此外，显示例如组合时间的组合设置指示66。
因此，用户可以实际观看将作为应用长时间曝光效果的结果获得的图像同时等待好的拍摄机会。
用户在实时观看在显示面板6上显示的、应用了长时间曝光效果的被摄体场景的监视图像的同时，在预定时刻执行快门操作。
当检测到用户的快门操作时，CPU 31将处理从步骤F202前进到步骤F208，并且执行将在快门释放时获得的组合图像记录到记录介质90的处理。在快门释放时获得的组合图像可以是紧接在快门操作的检测之前在步骤F205生成的并且在步骤F206中暂时存储的组合图像数据GL。
CPU 31将该长时间曝光效果的组合图像GL(x)应用到介质接口10，以将组合图像GL(x)存储到记录介质90上。
因此，用户可将期望场景的长时间曝光效果的组合图像保存为一张照片(静止图像)。
在步骤F209，CPU 31控制显示控制器7将记录在记录介质90上的组合图像数据显示在显示面板6上预定时间段，以便允许用户检查捕获的图像。
然后，当完成显示时，继续步骤F202到F207的处理。
因此，长时间曝光效果的图像再次显示在实时监视图像中，使得用户可以寻找下一拍摄机会。
当在步骤F203检测到终止长时间曝光效果模式的用户操作时，CPU 31终止图17所示的处理。
还可以通过示例在下面执行步骤F208的记录捕获图像的处理。
尽管在快门释放时获得的组合图像通过紧接在快门释放之前在步骤F205已经生成的组合图像数据实现，但是，例如，包括紧接在步骤F202中检测快门操作后获得的帧的各帧也可用于生成组合图像数据GL，并且组合图像数据G1可记录到记录介质90上，作为在快门释放时获得的组合图像数据。
此外，除了在快门释放时获得的组合图像之外，在一定时间范围内获得的、此时已经暂时存储在组合图像缓冲区32b中的多条组合图像数据GL可以记录在记录介质90上。
此外，除了组合图像数据GL外，在帧图像缓冲区32a中缓冲的图像数据(例如，从其生成要记录的组合图像数据GL的图像数据的多个帧)也可以记录到记录介质90上。
尽管在图17所示的处理中，用户选择长时间曝光效果模式，但是当用户选择第一帘幕同步效果模式、第二帘幕同步效果模式和多闪光效果模式时，可执行与图17所示的处理类似的处理。例如，当用户选择第一帘幕同步效果模式时，可在步骤F205中的组合处理中生成第一帘幕同步效果的组合图像数据GS，并且可以图18所示的方式在步骤F207提供基于第一帘幕同步效果的组合图像数据GS的显示。
根据上述本示例性处理，生成和显示应用了用户选择的图像效果的组合图像。这允许用户在观看监视器显示的同时寻找拍摄机会，所述监视器显示在用户执行图像捕获(或执行快门操作)之前通过应用用户选择的图像效果而产生。因此，可以容易地获得应用了期望的图像效果的捕获图像。
具体地，与参照图4所述的处理相比，CPU 31上的处理负载可以极大地减少。这是因为仅生成和显示由用户预先选择的特定类型的组合图像数据。
而且，在该示例性处理中，不必在每个帧时段执行步骤F205到F207的处理。例如，可以间断地(如两帧时段一次或三帧时段一次)执行步骤F205到F207的处理。具体地，在难以加速组合处理中涉及的时间的情况下，优选地间断地执行步骤F205到F207的处理。
在组合处理中涉及的时间长的情况下，可以在帧图像缓冲区32a中累积对应于比在组合处理中涉及的时间更长的时间的图像数据。
此外，为了进一步减少CPU 31用于组合处理和组合图像显示处理的处理负载，可通过生成并显示低分辨率组合图像数据来实现步骤F205到F207的处理。
此外，尽管在显示面板6上产生上述图18所示的显示，但是例如显示图像数据可以从外部接口8传送到外部显示设备，并且图18所示的图像可显示在显示设备上。
4.特殊运动图像捕获模式中的示例性操作
接下来，将参照图19和20描述用于执行特殊运动图像捕获的示例性操作。这里使用的术语“特殊运动图像捕获”指将长时间曝光效果等的图像记录为运动图像。在上述示例性操作中，具有如长时间曝光效果的应用的效果的组合图像数据在每个帧时段显示，使得特效可以应用到被摄体场景的运动图像监视器显示上。在记录介质90上记录这种应用了特效的运动图像被称为“特殊运动图像捕获”。
将参照图20A和20B描述正常运动图像捕获和特殊运动图像捕获之间的差别。
图20B示出正常运动图像捕获。在正常运动图像捕获中，捕获帧图像#1、#2、#3等的每个是形成运动图像的一个帧的数据。
另一方面，在本示例性操作的特殊运动图像捕获中，如图20A所示，例如，应用了上述长时间曝光效果的组合图像数据GL1、GL2、GL3等的每个是形成运动图像的一个帧的数据。
通过执行如图20A所示的特殊运动图像记录，可以记录具有应用了如长时间曝光效果、第一帘幕同步效果、第二帘幕同步效果和多闪光效果的特效的运动图像。
图19示出当设置特殊运动图像捕获模式时的CPU 31的示例性处理。
这里，作为示例，用户执行对“长时间曝光效果”执行特殊运动图像记录的模式选择操作。
首先，在步骤F301，CPU 31控制图像捕获操作的开始。CPU 31使得图像捕获系统2的每个单元和相机DSP4开始图像捕获操作。因此，开始对于被摄体图像的图像数据的逐帧获取。
在步骤F302，CPU 31监视用户的记录开始操作。在步骤F303，CPU 31监视特殊图像捕获模式的终止操作。如果这些操作都没有出现，则CPU 31进行到步骤F304。
在步骤F304，将由图像捕获系统2捕获并由相机DSP 4处理的图像数据的一帧加载到RAM 32的帧图像缓冲区32a。
然后CPU 31执行步骤F305的组合处理和步骤F306的组合的图像数据的显示控制。然后，CPU 31再次通过步骤F302和F303执行步骤F304到F306的处理。
即，对于执行记录开始操作之前的时段(在记录待机时段期间)，CPU 31在每个帧时段执行步骤F304到F307的处理。
在步骤F305，使用当前暂时存储在帧图像缓冲区32a中的图像数据的各帧当中的、图像数据的最近的帧(步骤F304中加载的图像数据的帧)和预定数目的在前帧，执行组合处理。在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
然后，在步骤F206，CPU 31将组合图像数据GL输出到显示控制器7作为显示数据，并且使得显示面板6执行预定监视器显示。
通过在记录待机时段期间重复上述处理，将长时间曝光效果的组合图像数据GL在每个帧时段提供到显示控制器，作为用于显示的数据。
显示控制器7使得显示面板6利用组合图像数据GL执行例如如图18所示的显示。
用户在监视这样的应用了长时间曝光效果的被摄体场景的运动图像的同时寻找开始记录的机会。
当检测到用户的记录开始操作时，CPU 31从步骤F302进行到步骤F307，并且重复步骤F308到F311的处理，直到检测到记录结束操作。
在步骤F308，由图像捕获系统2捕获并由相机DSP 4处理的图像数据的一帧被加载到RAM 32的帧图像缓冲区32a。
在步骤F309，使用当前暂时存储在帧图像缓冲区32a中的图像数据的各帧当中的、图像数据的最近的帧(步骤F308中加载的图像数据的帧)和图像数据的预定数目的在前帧，执行组合处理。在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
在步骤F310，CPU 31将组合图像数据GL输出到显示控制器7作为显示数据，并且使得显示面板6执行预定监视显示。
然后，在步骤F311，组合图像数据GL传送到介质接口10，作为形成运动图像的一帧的数据，并且记录到记录介质90上。
因此，对于从当执行记录开始操作时到当执行记录结束操作时的时间段，如图20A所示，使用一条组合图像数据GL作为一帧的数据执行运动图像记录。
当在步骤F307检测到记录结束操作时，CPU 31返回到步骤F302。然后，CPU 31执行上述待机时段的处理。
当在步骤F303检测到终止长时间曝光效果模式的用户操作时，CPU 31结束图19所示的处理。
利用上述处理，实现应用了长时间曝光效果的运动图像的记录。因此，用户可以容易地实现在现有技术中没有实现的运动图像捕获。
此外，通过回放记录的运动图像，用户可以欣赏应用了长时间曝光效果等的运动图像。
图19示出基于长时间曝光效果的特殊运动图像捕获的处理。可执行与图19所示的处理类似的处理，以实现第一帘幕同步效果模式、第二帘幕同步效果模式或多闪光效果模式下的特殊运动图像捕获。例如，在第一帘幕同步效果模式下，可在步骤F305或F309中的组合处理中生成第一帘幕同步效果的组合图像数据GS，并且可以图18所示的方式在步骤F306或F310中提供基于第一帘幕同步效果的组合图像数据GS的显示。在步骤F311，第一帘幕同步效果的组合图像数据GS可被记录为运动图像的一帧。
注意，与基于组合图像数据的运动图像一起，如图20B所示的正常运动图像可记录到记录介质90上。
此外，尽管上述图18所示的显示在显示面板6上产生，但是例如显示图像数据可从外部接口8传送到外部设备，并且图18所示的图像可在显示设备上显示。
此外，特殊运动图像数据可记录到闪存ROM 33等上，而不是记录介质90上。
在上述运动图像捕获中，用户执行记录开始操作和记录结束操作。可例如如下实现记录开始操作和记录结束操作：
(1)用户执行快门操作以执行记录开始操作，并再次执行快门操作以执行记录结束操作。
(2)对于用户连续执行快门操作(或正按下快门按钮)的时段执行记录。即，用户开始快门操作以执行记录开始操作，并且释放快门按钮以执行记录结束操作。
5.信息处理装置的应用示例
在上述实施例中，使用图像捕获装置1执行图像捕获和组合处理。在本发明的实施例中，可使用除图像捕获装置1以外的设备。
图21示出根据本发明另一实施例的信息处理装置，例如，个人计算机(以下称为“PC”)200。
如图21所示，PC 200包括中央处理单元(CPU)211、存储器单元212、网络接口单元213、显示控制器214、输入设备接口单元215、硬盘驱动(HDD)接口单元216、键盘217、鼠标218、HDD 219、显示设备220、总线221、外部设备接口单元222、以及存储卡接口单元223。
CPU 211用作PC 200的主控制器，并且根据存储器单元212中存储的程序执行各种控制处理。CPU 211经由总线221连接到其他单元。
总线221上的每个设备具有唯一的存储器地址或输入/输出(I/O)地址，并且CPU 211可使用所述地址来寻址各设备。总线221的示例可以是外围组件互连(PCI)总线。
存储器单元212被配置为包括易失性存储器和非易失性存储器两者。存储器单元212包括用于存储程序的如ROM的非易失性存储器、用作计算工作区域或各种数据的暂时存储的RAM、以及电可擦除和可编程只读存储器(EEPROM)。
存储器单元212用于存储由CPU 211执行的程序代码或如对PC 200唯一的标识信息的其他信息，或用作通信数据的缓冲区或当其执行时用于工作数据的工作区。
网络接口单元213根据如以太网(注册商标)的预定通信协议，将PC 200连接到如因特网或局域网(LAN)的网络。CPU 211可以经由网络接口单元213与连接到网络的装置通信。
显示控制器214是用于实际处理由CPU 211发出的呈现命令的专用控制器。例如，显示控制器214支持对应于超级视频图形阵列(SVGA)或扩展图形阵列(XGA)标准的位图呈现功能。在显示控制器214中处理的呈现数据暂时写到例如帧缓冲器(未示出)，然后输出到显示设备220。显示设备220可以是例如有机EL显示器、阴极射线管(CRT)显示器、液晶显示器等。
输入设备接口单元215是用于将包括键盘217和鼠标218的用户输入设备连接到实现为PC 200的计算机系统的设备。
具体地，输入到PC 200的用户操作使用键盘217和鼠标218执行，并且将操作输入信息经由输入设备接口单元215提供到CPU 211。
HDD接口单元216执行用于对HDD 219执行写入/读取的接口处理。
HDD 219是这样的外部存储设备，其中如本领域所普遍的，用作存储介质的磁盘被固定地安装，并且比其他外部存储设备具有更大的存储容量和更高的数据传输率。将软件程序以可执行状态放置在HDD 219上被称为将程序“安装”到系统中。通常，HDD 219以非易失性状态存储由CPU 211执行的操作系统(OS)的程序代码、应用程序、设备驱动等。
例如当启动PC 200时或当启动用户层的应用程序时，存储到HDD 219中的程序展开到存储器单元212中。CPU 211基于存储器单元212中开发的程序执行处理。
外部设备接口单元222被配置为与根据如USB标准的标准连接的外部设备接口。
在本实施例中，外部设备的示例可包括例如数字照相机、摄像机、以及视频播放器。
PC 200可经由外部设备接口单元222，通过通信从数字照相机等获取图像数据。
外部设备接口单元222支持的标准不限于USB标准，而可以是如电气电子工程师协会(IEEE)1394的任何其他接口标准。
存储卡接口单元223被配置为从如存储卡的记录介质90读取数据/将数据写入如存储卡的记录介质90。
放置例如用作数字照相机的记录介质90、例如上述图像捕获装置1、摄像机等。然后，可从记录介质90读取图像数据。
在具有上述结构的PC 200中，执行基于CPU 211中的软件配置(即，如应用程序、OS、和设备驱动的软件)的算术处理/控制操作以执行各种操作。
在本实施例中，操作包括例如下面描述的图22和23中所示的处理。用于执行处理的程序安装到例如HDD 219中，并且当启动所述程序时展开到存储器单元212中。CPU 211根据在存储器单元212中展开的程序执行必要的算术处理或控制处理，以实现图22和23所示的处理。
用于使得CPU 211执行如图22和23所示的处理的程序可以预先记录到用作合并在如PC 200的装置中的记录介质的HDD，或在具有CPU的微计算机中的ROM、闪存等。
替代地，所述程序可以暂时或永久存储(记录)到可移除记录介质，如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为所谓的封装软件而提供。
所述程序可经由如LAN或因特网的网络从下载站点下载，以及从可移除记录介质安装到个人计算机等中。
在具有上述结构的PC 200中，例如，HDD 219可存储各种类型的图像内容。例如，由用户使用数字照相机或摄像机捕获的图像内容可被加载并存储到HDD 219中。因此，用户可欣赏使用PC 200回放的捕获的图像。
例如，PC 200的外部接口单元222可连接到图像捕获装置1的外部接口8，使得使用图像捕获装置1捕获的图像数据可传送并加载到PC 200。
在图像捕获装置1中使用的记录介质90(存储卡)还可放置在存储卡接口单元223中，使得PC 200可从记录介质90获取使用图像捕获装置1捕获的图像数据。
除了用户捕获的图像内容外，例如使用外部视频播放器等回放并从外部接口单元222获取的图像内容或使用网络接口单元213经由网络从外部服务器下载的图像内容还可存储到HDD 219中并被回放。
在本实施例中，当要回放运动图像内容时，执行图22和23所示的处理，以记录长时间曝光效果图像等的静止图像数据或记录上述特殊运动图像数据。
这里使用的术语“运动图像内容”指可在PC 200上回放的任何类型的运动图像数据。
运动图像内容的示例包括使用摄像机或具有运动图像捕获功能的数字照相机捕获并加载到PC 200中的运动图像数据、在网络上下载的运动图像数据、以及记录在记录介质90上的运动图像数据。
运动图像内容的另外的示例包括：当图21中未示出的DVD驱动、蓝光盘驱动等连接到PC 200时记录在如DVD或蓝光盘的光盘上的运动图像数据；以及电视广播调谐器等合并到或连接到PC 200时的运动图像数据。
即，可以使用PC 200回放并可以在显示设备220上显示的任何运动图像数据可以是下面将描述的“运动图像内容”，而无论运动图像数据的类型。
当回放运动图像内容时，CPU 211执行图22所示的处理。因此，用户可生成具有应用了如长时间曝光效果、第一帘幕同步效果、第二帘幕同步效果以及多闪光效果的效果的图像数据(静止图像数据)，并且可记录(保存)生成的图像数据。
现在将描述图22所示的处理。
这里，作为示例，用户输入指令以执行“长时间曝光效果”模式下的操作。在此情况下，CPU 211开始图22所示的处理。首先，在步骤F401，CPU211控制回放的开始。例如，CPU 211控制记录在HDD 219等上的运动图像内容的回放的开始。这里使用的术语“回放”不仅指从HDD 219等读取运动图像内容，而且指其他类型的回放，如在网络上流传输回放、从外部设备输入的图像的回放显示、以及在合并到PC 200中的调谐器接收的电视广播的运动图像的回放显示。
在步骤F402，CPU 211监视用户的捕获操作。在步骤F403，CPU 211监视回放的结束。回放的结束包括由于运动图像内容的回放完成的回放结束以及根据用户执行的回放结束操作的回放结束。
对于回放正在进行中的时段，CPU 211进行到步骤F404。
在步骤F404，缓冲通过回放获得的图像数据的一帧。图像数据的一帧存储到例如存储器单元212中形成的帧图像缓冲区。
然后，CPU 211执行步骤F405的组合处理、步骤F406的组合图像数据的缓冲、以及步骤F407的组合图像数据的显示控制。
然后，CPU 211再次通过步骤F402和F403执行步骤F404到F407的处理。
即，对于检测到捕获操作之前的时段，CPU 211在每个帧时段执行步骤F404到F407的处理。在存储器单元212的帧图像缓冲区中，对于正回放的运动图像内容，缓冲图像数据的当前帧和图像数据的预定数目的在前帧。
作为示例，如下所示执行步骤F405到F407的处理。
首先，在步骤F405，利用当前暂时存储在存储器单元212的帧图像缓冲区中的图像数据的各帧当中的、图像数据的最近的帧(步骤F404中加载的图像数据的帧)和图像数据的预定数目的之前的帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
然后，在步骤F406，CPU 211将组合图像数据GL暂时存储到存储器单元212的组合图像缓冲区中。
然后，在步骤F407，CPU 211将组合图像数据GL输出到显示控制器214作为显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
利用该处理，替代运动图像内容的正常回放显示，在显示设备220上执行对每帧应用了长时间曝光效果的运动图像回放显示。
用户在观看显示设备220的屏幕的同时寻找捕获机会。
当检测到用户的捕获操作时，CPU 211将处理从步骤F402前进到步骤F408，并且执行记录在捕获时获得的组合图像的处理。组合图像记录到例如HDD 219或记录介质90上。
在捕获时获得的组合图像可以是紧接在捕获操作的检测之前在步骤F405生成的并且在步骤F406中已经暂时存储的组合图像数据GL。
因此，用户可在观看回放的长时间曝光效果的图像的同时，将期望场景的图像保存为一条静止图像数据。
在步骤F409，CPU 211控制显示控制器214将记录在HDD 219等上的组合图像数据显示在显示设备220的屏幕上预定时间段，以便允许用户检查捕获的图像。
然后，当完成显示时，继续步骤F402到F407的处理。
当在步骤F403检测到回放结束时，CPU 211结束图22所示的处理。
图22示出当用户选择长时间曝光效果模式的图像。当用于选择第一帘幕同步效果模式、第二帘幕同步效果模式或多闪光效果模式时可执行与图22所示的处理类似的处理。例如，当用户选择第一帘幕同步效果模式时，在步骤F405的组合处理中可生成第一帘幕同步效果的组合图像数据GS，并且在步骤F407中可提供基于第一帘幕同步效果的组合图像数据GS的显示。
根据上述处理，用户可在选择和回放期望的运动图像内容的同时，获得应用了所选择的图像效果的某个场景的组合图像。因此，用户可以容易地生成和欣赏各种图像。
除了上述示例性处理外，如参照图4所描述的，可同时执行显示多个图像效果的图像的处理。
接下来，将描述图23所示的处理。
这里，将描述用于执行“长时间曝光效果”的特殊运动图像记录的处理。
首先，在步骤F501，CPU 211控制运动图像内容的回放的开始。在步骤F502，CPU 211监视用户的记录开始操作。在步骤F503，CPU 211监视运动图像内容的回放的结束。对于执行记录开始操作之前的时段，CPU 211将正回放的运动图像内容的图像数据的一帧加载到存储器单元212的帧图像缓冲区中。
在步骤F505，使用当前暂时存储在存储器单元212的帧图像缓冲区中的图像数据的各帧当中的、图像数据的最近的帧(步骤F504中加载的图像数据的帧)和图像数据的预定数目的在前帧，执行组合处理。
在此情况下，生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
然后，在步骤F506，CPU 211将组合图像数据GL输出到显示控制器214作为显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
对于执行记录开始操作之前的时段(在记录待机时段期间)，CPU 211在每个帧时段执行步骤F504到F506的处理。因此，替代运动图像内容的正常回放显示，在显示设备20上执行对每帧应用了长时间曝光效果的运动图像回放显示。
当检测到用户的记录开始操作时，CPU 211从步骤F502进行到步骤F507，并且重复步骤F509到F512的处理，直到检测到记录结束操作或直到在步骤F508中检测到回放的结束。
在步骤F509，当前正回放的运动图像内容的图像数据的一帧被加载到存储器单元212的帧图像缓冲区。
在步骤F510，使用当前暂时存储在存储器单元212的帧图像缓冲区中的图像数据的各帧当中的、图像数据的最近的帧(步骤F509中加载的图像数据的帧)和图像数据的预定数目的在前帧，执行组合处理，以生成用于实现长时间曝光效果的组合图像数据，作为组合图像数据GL。
在步骤F511，CPU 211将组合图像数据GL输出到显示控制器214作为显示数据，以在显示设备220上显示对应于组合图像数据GL的图像。
然后，在步骤F512，组合图像数据GL记录到例如HDD 219上，作为形成运动图像的一帧的数据。
因此，对于从当执行记录开始操作时到当执行记录结束操作时的时间段，如图20A所示，使用一条组合图像数据GL作为一帧的数据执行运动图像记录。
当在步骤F507检测到记录结束操作时，CPU 211返回到步骤F502。然后，CPU 211执行上述待机时段的处理。
此外，当在步骤F503或F508检测到回放结束时，CPU 211结束图23所示的处理。
利用上述处理，实现对当前正回放的运动图像内容应用了长时间曝光效果的运动图像记录。因此，用户可以创建在现有技术中没有实现的运动图像内容。
此外，通过回放记录的运动图像，用户可以欣赏具有长时间曝光效果等的运动图像。
图23示出基于长时间曝光效果的特殊运动图像记录的处理。可执行与图23所示的处理类似的处理，以实现第一帘幕同步效果模式、第二帘幕同步效果模式或多闪光效果模式下的特殊运动图像记录。例如，在第一帘幕同步效果模式下，可在步骤F505或F510中的组合处理中生成第一帘幕同步效果的组合图像数据GS，并且可在步骤F506或F511中提供基于第一帘幕同步效果的组合图像数据GS的显示。在步骤F512，第一帘幕同步效果的组合图像数据GS可被记录为运动图像的一帧。
因此，可使用PC 200回放运动图像内容，以从运动图像内容创建应用了如长时间曝光效果的图像效果的静止图像数据或运动图像数据。
在本实施例中，作为示例使用个人计算机作为信息处理装置。使用图像数据的其他各种信息处理装置(如移动电话、个人数字助理(PDA)、游戏单元、以及视频编辑器)可以与上述类似的方式执行图像组合。
本发明包含涉及于2008年4月7日向日本专利局提交的日本优先权专利申请JP 2008-099599所公开的主题，其全部内容通过应用合并于此。
本领域技术人员应当理解，取决于设计需求和其他因素可出现各种修改、组合、子组合和替代，只要它们在权利要求或其等效物的范围内。

Claims (19)

1.一种图像处理装置，包括：
图像获取单元，被配置为执行图像获取操作以获取在时间上具有连续性的图像数据的多个帧；
存储单元，被配置为暂时存储由图像获取单元在图像获取操作期间获取的图像数据的多个帧的每个；以及
算术操作控制单元，被配置为使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，所述组合图像数据用作用于显示的数据。
2.如权利要求1所述的图像处理装置，其中算术操作控制单元根据记录操作输入，执行将在记录操作输入时获取的组合图像数据作为静止图像数据记录到记录介质上的处理。
3.如权利要求2所述的图像处理装置，其中算术操作控制单元使用对每个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图像数据。
4.如权利要求3所述的图像处理装置，其中算术操作控制单元通过将相等的加权系数分配到要经历组合处理的图像数据的各帧来执行组合处理。
5.如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最近的帧、而将低加权系数分配到图像数据的剩余的帧，执行组合处理。
6.如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高加权系数分配到要经历组合处理的图像数据的各帧当中的图像数据的最旧的帧、而将低加权系数分配到图像数据的剩余的帧，执行组合处理。
7.如权利要求3所述的图像处理装置，其中算术操作控制单元通过将高加权系数和低加权系数周期性地分配到要经历组合处理的图像数据的各帧，执行组合处理。
8.如权利要求1所述的图像处理装置，其中算术操作控制单元使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成多类组合图像数据，所述生成的多类组合图像数据用作用于显示的数据。
9.如权利要求8所述的图像处理装置，其中算术操作控制单元根据记录操作输入，执行将在记录操作输入时生成的多类组合图像数据中的至少一些作为静止图像数据记录到记录介质上的处理。
10.如权利要求1所述的图像处理装置，其中算术操作控制单元使用在图像获取操作期间顺序存储在存储单元中的图像数据的多个帧执行图像组合处理，以生成组合图像数据，并且将生成的组合图像数据作为形成运动图像的一帧的图像数据记录到记录介质上。
11.如权利要求10所述的图像处理装置，其中算术操作控制单元使用记录的组合图像数据作为用于显示的数据。
12.如权利要求1所述的图像处理装置，其中图像获取单元包括图像捕获单元，其被配置为执行图像捕获操作以获取在时间上具有连续性的图像数据的多个帧。
13.如权利要求1所述的图像处理装置，其中图像获取单元包括回放单元，其被配置为执行回放操作以获取在时间上具有连续性的图像数据的多个帧。
14.如权利要求1所述的图像处理装置，其中图像获取单元包括接收单元，其被配置为执行接收操作以获取在时间上具有连续性的图像数据的多个帧。
15.如权利要求1所述的图像处理装置，还包括显示单元，被配置为显示基于由算术操作控制单元生成的组合图像数据的图像。
16.如权利要求1所述的图像处理装置，还包括发送单元，被配置为发送由算术操作控制单元生成的组合图像数据。
17.如权利要求1所述的图像处理装置，其中算术操作控制单元使用对每个预定时间段存储的图像数据的多个帧当中的包括图像数据的最近的帧的图像数据的预定数目的帧，生成组合图像数据，并且使用生成的组合图像数据作为用于显示的数据。
18.一种图像处理方法，包括下述步骤：
获取在时间上具有连续性的图像数据的多个帧；
暂时存储多个所获取的图像数据帧的每个；
使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数据；以及
输出组合图像数据作为用于显示的数据。
19.一种用于使得计算机执行图像处理方法的程序，所述图像处理方法包括下述步骤：
获取在时间上具有连续性的图像数据的多个帧；
暂时存储多个所获取的图像数据帧的每个；
使用多个顺序存储的图像数据帧执行图像组合处理，以生成组合图像数据；以及
输出组合图像数据作为用于显示的数据。
CN200910133078XA 2008-04-07 2009-04-07 图像处理装置和图像处理方法 Active CN101557468B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP099599/08 2008-04-07
JP2008099599A JP4544332B2 (ja) 2008-04-07 2008-04-07 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
CN101557468A true CN101557468A (zh) 2009-10-14
CN101557468B CN101557468B (zh) 2012-04-18

Family

ID=40786526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910133078XA Active CN101557468B (zh) 2008-04-07 2009-04-07 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (1) US8848097B2 (zh)
EP (1) EP2109307B1 (zh)
JP (1) JP4544332B2 (zh)
CN (1) CN101557468B (zh)
TW (1) TWI392346B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102487431A (zh) * 2010-11-30 2012-06-06 信泰伟创影像科技有限公司 摄影装置、摄影方法和程序
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
CN103916606A (zh) * 2013-01-04 2014-07-09 三星电子株式会社 数字拍摄装置及控制其的方法
CN105744143A (zh) * 2014-12-25 2016-07-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN108629296A (zh) * 2018-04-17 2018-10-09 广州视源电子科技股份有限公司 图像处理方法和装置
CN109361870A (zh) * 2018-11-28 2019-02-19 维沃移动通信有限公司 一种拍照方法及终端设备
CN113542650A (zh) * 2017-03-30 2021-10-22 索尼公司 成像装置、图像处理方法和程序

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103109523B (zh) * 2010-09-14 2016-06-15 富士胶片株式会社 成像装置和成像方法
US9007429B2 (en) * 2011-04-06 2015-04-14 Casio Computer Co., Ltd. Image processing device capable of generating wide-range image
JP5797003B2 (ja) * 2011-05-10 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101805626B1 (ko) * 2011-11-18 2017-12-08 삼성전자주식회사 디지털 촬영 장치 및 이의 연속 촬영 제어 방법
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
US9264630B2 (en) * 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
US10944917B2 (en) * 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
US8830367B1 (en) * 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
US9325876B1 (en) * 2014-09-08 2016-04-26 Amazon Technologies, Inc. Selection of a preferred image from multiple captured images
TWI592021B (zh) * 2015-02-04 2017-07-11 騰訊科技（深圳）有限公司 生成視頻的方法、裝置及終端
JP2016167767A (ja) * 2015-03-10 2016-09-15 オリンパス株式会社 撮像装置、合成撮影方法及び合成撮影プログラム
JP2016201627A (ja) * 2015-04-08 2016-12-01 オリンパス株式会社 撮像装置、合成撮影方法及び合成撮影プログラム
KR102465212B1 (ko) 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
WO2017169502A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
JP6597734B2 (ja) * 2017-08-17 2019-10-30 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
US10922551B2 (en) 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
JP2018057043A (ja) * 2017-12-27 2018-04-05 株式会社ニコン 撮像装置
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
WO2019171782A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US11503208B2 (en) 2018-03-26 2022-11-15 Huawei Technologies Co., Ltd. Intelligent assistant control method and terminal device for recommending a photographing mode to a user
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
JP7097248B2 (ja) 2018-07-05 2022-07-07 Ｏｍデジタルソリューションズ株式会社 撮像装置及び表示方法
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP6653845B1 (ja) * 2018-11-08 2020-02-26 オリンパス株式会社 撮影装置、撮影方法、及び、プログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112135059B (zh) * 2020-09-30 2021-09-28 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JPH10164472A (ja) * 1996-11-25 1998-06-19 Sega Enterp Ltd 画像情報処理方法及び電子カメラ
JP3411469B2 (ja) * 1997-04-14 2003-06-03 日本電信電話株式会社 フレーム多重画像作成方法
JPH1175118A (ja) * 1997-08-29 1999-03-16 Matsushita Electric Ind Co Ltd ビデオカメラ
US6529640B1 (en) * 1998-06-09 2003-03-04 Nikon Corporation Image processing apparatus
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP2001268439A (ja) * 2000-03-16 2001-09-28 Minolta Co Ltd 合成画像の作成方法
JP4503892B2 (ja) * 2001-08-22 2010-07-14 オリンパス株式会社 撮像装置
JP4418632B2 (ja) 2003-01-15 2010-02-17 キヤノン株式会社 撮影装置、合成画像生成方法およびプログラム
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP2005117395A (ja) * 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP2005354166A (ja) 2004-06-08 2005-12-22 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2006025312A (ja) * 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置、及び画像取得方法
JP2006060339A (ja) * 2004-08-18 2006-03-02 Sharp Corp 移動体通信端末及び静止画像抽出合成方法
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
WO2006046460A1 (ja) * 2004-10-26 2006-05-04 Nikon Corporation デジタルカメラおよび画像合成装置
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP2006253810A (ja) * 2005-03-08 2006-09-21 Canon Inc 撮像装置
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP2007189639A (ja) 2006-01-16 2007-07-26 Matsushita Electric Ind Co Ltd デジタルカメラ
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP4823743B2 (ja) * 2006-04-03 2011-11-24 三星電子株式会社 撮像装置，及び撮像方法
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US7940311B2 (en) * 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102487431A (zh) * 2010-11-30 2012-06-06 信泰伟创影像科技有限公司 摄影装置、摄影方法和程序
CN103477626A (zh) * 2012-04-19 2013-12-25 佳能株式会社 图像处理设备、图像处理方法、程序和存储介质
US9646397B2 (en) 2012-04-19 2017-05-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103477626B (zh) * 2012-04-19 2017-09-08 佳能株式会社 图像处理设备以及图像处理方法
CN103916606A (zh) * 2013-01-04 2014-07-09 三星电子株式会社 数字拍摄装置及控制其的方法
CN105744143A (zh) * 2014-12-25 2016-07-06 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN113542650A (zh) * 2017-03-30 2021-10-22 索尼公司 成像装置、图像处理方法和程序
CN113542650B (zh) * 2017-03-30 2024-04-16 索尼公司 成像装置、图像处理方法和记录介质
CN108629296A (zh) * 2018-04-17 2018-10-09 广州视源电子科技股份有限公司 图像处理方法和装置
CN109361870A (zh) * 2018-11-28 2019-02-19 维沃移动通信有限公司 一种拍照方法及终端设备

Also Published As

Publication number Publication date
JP2009253690A (ja) 2009-10-29
EP2109307A1 (en) 2009-10-14
CN101557468B (zh) 2012-04-18
US8848097B2 (en) 2014-09-30
US20090262218A1 (en) 2009-10-22
TWI392346B (zh) 2013-04-01
TW201004320A (en) 2010-01-16
JP4544332B2 (ja) 2010-09-15
EP2109307B1 (en) 2011-08-03

Similar Documents

Publication Publication Date Title
CN101557468B (zh) 图像处理装置和图像处理方法
CN101547308B (zh) 图像处理装置和图像处理方法
CN109218628B (zh) 图像处理方法、装置、电子设备及存储介质
US9167163B2 (en) Digital image processing apparatus that displays first content, generates second content based on an input signal, and generates third content related to the second content, and method of controlling the same
US8275212B2 (en) Image processing apparatus, image processing method, and program
US8553138B2 (en) Image capture apparatus and method for generating combined-image data
CN109729274B (zh) 图像处理方法、装置、电子设备及存储介质
JP5493455B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5493456B2 (ja) 画像処理装置、画像処理方法、プログラム
CN101742101B (zh) 成像设备和成像设备中的显示控制方法
CN105516611B (zh) 摄像装置和摄影方法
US20090244317A1 (en) Image capture apparatus and method
US9154700B2 (en) Apparatus and method for image capture using image stored in camera
CN102387303A (zh) 图像处理装置、图像处理方法以及摄像装置
CN102017597A (zh) 用于呈现突发图像的方法、装置和计算机程序产品
CN101910936A (zh) 基于图像捕捉设备呈现的用户推荐的引导摄影
JP6230386B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20100018334A (ko) 사용자가 원하는 메뉴 컨텐츠를 적용하는 디지털 영상 처리장치의 제어 방법, 상기 방법을 기록한 기록 매체 및 상기방법에 의해 동작하는 디지털 영상 처리 장치
US20050134722A1 (en) System and method for indicating exposure information during image capture
JP6555978B2 (ja) 画像処理装置、その制御方法およびプログラム
US20100123800A1 (en) Digital photographing apparatus, method of controlling the same, and recording medium having stored thereon computer program for implementing the method
KR101864318B1 (ko) 감시 이미지 처리 장치 및 방법
CN103179337A (zh) 数字拍摄设备及其控制方法
JP2006140993A (ja) 複数の画素位置によって定義されたフレームシーケンスの中の一つ以上の考慮対象領域を突き止めるための方法、フレームシーケンスの中の一つ以上の考慮対象領域を突き止めるための機器、複数の画素位置によって定義されたフレームシーケンスの中の一つ以上の考慮対象の領域を突き止めるための方法を実行するよう機器に指図するための命令プログラムを搬送する機器判読可能媒体
JP2018042149A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant