CN104754274A - 图像再现装置及其控制方法 - Google Patents

图像再现装置及其控制方法 Download PDF

Info

Publication number
CN104754274A
CN104754274A CN201410817315.5A CN201410817315A CN104754274A CN 104754274 A CN104754274 A CN 104754274A CN 201410817315 A CN201410817315 A CN 201410817315A CN 104754274 A CN104754274 A CN 104754274A
Authority
CN
China
Prior art keywords
image
moving image
rest
rest image
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410817315.5A
Other languages
English (en)
Other versions
CN104754274B (zh
Inventor
中濑雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104754274A publication Critical patent/CN104754274A/zh
Application granted granted Critical
Publication of CN104754274B publication Critical patent/CN104754274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Abstract

本发明提供一种图像再现装置及其控制方法。所述图像再现装置包括：选择单元，其被构造为从记录了多个静止图像及运动图像的记录介质中，选择要再现的静止图像、要再现的运动图像以及所述运动图像的再现范围；以及再现控制单元，其被构造为进行控制，以连续地再现由所述选择单元选择进行再现的所述静止图像以及所述运动图像的所述再现范围，所述选择单元进行控制，以使得静止图像以及运动图像的插入有所述静止图像的范围两者不都被选择进行再现。

Description

图像再现装置及其控制方法
技术领域
本发明涉及一种再现选择的图像的图像再现装置。
背景技术
日本特开平第10-224727讨论了如下的摄像装置，该摄像装置同时拍摄静止图像和运动图像，并且记录关联信息。
这样的摄像装置使得能够在再现图像时，从静止图像的回放起再现与静止图像相关联的运动图像的一部分。
发明内容
本发明旨在提供一种图像再现装置，该图像再现装置能够在从包括静止图像以及与静止图像相关联的运动图像的多个图像中、选择并再现再现目标图像时，防止静止图像和运动图像相互重叠的冗余再现。
根据本发明的一个方面，提供一种图像再现装置，该图像再现装置包括：确定单元，其被构造为从记录介质中记录的图像中确定要再现的多个图像，其中，所述确定单元确定静止图像或运动图像的部分作为要再现的图像；以及再现控制单元，其被构造为连续地再现由所述确定单元确定要再现的多个图像，其中，在所述记录介质中存储所述静止图像和包括插入了所述静止图像的部分的所述运动图像，其中，所述确定单元确定要再现的多个图像从而所述静止图像和插入所述静止图像的所述运动图像的部分两者不都被再现
根据本发明的另一个方面，提供一种图像再现装置，该图像再现装置包括：读取单元，其被构造为从记录有静止图像及运动图像的记录介质中，读取所述静止图像以及与所述静止图像相关联的所述运动图像，所述静止图像被插入于所述运动图像的时段的一部分中；以及再现控制单元，其被构造为从记录在所述记录介质中的多个静止图像以及运动图像中，选择要再现的静止图像、要再现的运动图像以及所述运动图像的再现时段，并且进行控制，以连续地再现被选择进行再现的所述静止图像以及所述运动图像的所述再现时段。所述再现控制单元以使得静止图像以及与所述静止图像相关联的运动图像的、插入有所述静止图像的时段两者不都被再现的方式，选择要再现的项目。
根据本发明的另一方面，提供一种图像再现装置的控制方法，该控制方法包括以下步骤：从记录介质中，确定要再现的多个图像，其中，确定静止图像或运动图像的部分作为要再现的图像；以及进行控制，以连续地再现所确定的所述要再现的多个图像，其中，在所述记录介质中存储所述静止图像和插入了所述静止图像的所述运动图像的部分，其中，在所述确定步骤中，进行控制，以使得静止图像以及运动图像的插入有所述静止图像的部分两者不都被选择进行再现。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明的摄像装置的外观的图。
图2是示出根据本发明的摄像装置的结构的图。
图3是示出在根据本发明的同时记录模式下的静止/运动图像拍摄的整个操作的流程图。
图4是示出在根据本发明的同时记录模式下的静止/运动图像拍摄中的摄影之后的操作的流程图。
图5A及图5B是示出在根据本发明的同时记录模式下的静止/运动图像拍摄中显示的显示示例的图。
图6A、图6B及图6C是示出在根据本发明的同时记录模式下的静止/运动图像拍摄中拍摄的图像的结构以及段落(chapter)参照信息的图。
图7是示出关于在根据本发明的同时记录模式下的静止/运动图像拍摄中拍摄的静止图像的静止图像信息的图。
图8是示出根据本发明的图像再现处理的操作的流程图。
图9是示出根据本发明的图像再现处理中的段落搜索处理的流程图。
图10A至图10E是示出在根据本发明的同时记录模式下的静止/运动图像拍摄中生成的段落状态信息的图。
图11是示出根据本发明的图像再现处理中的选择图像再现处理的流程图。
图12A、图12B及图12C是示出在根据本发明的段落再现处理中的段落跳转显示示例的图。
图13是示出运动图像记录模式的图。
图14是示出各种设置与运动图像记录模式之间的关系的图。
具体实施方式
下面，将参照附图来详细描述本发明的各种示例性实施例、特征及方面。
在本第一示例性实施例中，将描述数字照相机100，作为根据本发明的示例性实施例的摄像装置的示例。
<数字照相机100的外观>
图1例示了作为根据本发明的示例性实施例的摄像装置的示例的数字照相机100的背面图。
显示单元28显示图像以及各种类型的信息。快门按钮60是用于给出静止图像拍摄指令的操作单元。运动图像拍摄按钮70是用于给出运动图像拍摄指令的操作部件。操作单元62包括用于接受来自用户的各种操作的诸如各种开关及按钮等的操作部件。操作单元62包括用于接通/切断数字照相机100的电源的电源开关、用于切换数字照相机100的操作模式的模式改变开关、用于进行菜单设置的菜单按钮，以及用于指定菜单及设置的箭头键按钮。外部记录介质91是诸如存储卡及硬盘等的记录介质。盖92被配置为容纳记录介质91。
照相机模块104被配置为对正在对被摄体进行摄影的摄影者或者正在观看在显示单元28上显示的图像的观看者进行摄影。照相机模块104包括摄影镜头及图像传感器。在下文中，照相机模块104将被称为内照相机(in-camera)。
为了对观看者或摄影者进行摄影，内照相机104被布置为对数字照相机100的显示单元28所配设在的一侧进行摄影。图1是数字照相机100的、布置有显示单元28的背面侧的外观图。在数字照相机100的正面侧，布置了外照相机(out-camera)或者用于对被摄体侧进行摄影的摄像单元。外照相机和内照相机104具有几乎彼此平行的光轴(摄影方向)。外照相机的光轴(摄影方向)被设置为与内照相机104的光轴(摄影方向)相反。
<数字照相机100的结构>
图2是示出作为本发明的示例性实施例的数字照相机100的结构的框图。
保护单元10是作为如下挡板的保护手段，所述挡板覆盖包括数字照相机100的摄影镜头11的摄像单元，以防止摄像单元的沾污及损坏。快门12包括光圈功能。图像传感器13包括用于将光学图像转换为电信号的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)元件。模拟到数字(A/D)转换器15被配置为将图像传感器13的模拟信号输出转换为数字信号，以获得图像数据。挡板10、摄影镜头11、快门12及图像传感器13构成外照相机。
数字照相机100除了摄影镜头11之外还包括摄影镜头101。摄影镜头101是包括变焦透镜及聚焦透镜的透镜组，所述变焦透镜及聚焦透镜被安装在能够对使用数字照相机100的摄影者进行摄影的方向上。快门102包括光圈功能。图像传感器103包括用于将摄影者侧的光学图像转换为电信号的CCD或CMOS元件。摄影镜头101、快门102及图像传感器103构成内照相机104。
定时发生电路14向图像传感器13及103、A/D转换器15以及数字到模拟(D/A)转换器21提供时钟信号及控制信号。定时发生电路14被存储器控制电路22及系统控制单元50控制。
能够对内照相机104设置是启用还是禁用内照相机摄影功能。如果内照相机摄影功能被启用，则在外部记录介质91中，记录基于从图像传感器103读取的数据而生成的图像，即由内照相机104拍摄的图像。如果内照相机摄影功能被禁用，则不驱动图像传感器103，即内照相机104不进行摄影。作为另一选择，即使图像传感器103被操作来进行摄影，也不从图像传感器103读取数据，并且不在外部记录介质91中记录基于图像传感器103的输出的图像。
图像处理电路20对来自A/D转换器15的数据或者来自存储器控制电路22的数据，进行预定的像素插值处理及颜色转换处理。
图像处理电路20通过使用拍摄的图像数据进行预定的计算处理。基于获得的计算结果，系统控制单元50控制曝光控制单元40及测距控制单元(range finding control unit)41，以进行自动聚焦(AF)处理、自动曝光(AE)处理及电子闪光预发射(EF)处理。
图像处理电路20还通过使用拍摄的图像数据进行预定的计算处理，并且基于获得的计算结果来进行自动白平衡(AWB)处理。
此外，图像处理电路20读取存储在存储器25中的图像，通过联合图像专家组(JPEG)方法或运动图像专家组(MPEG)-4高级视频编码(AVC)/H.264方法进行压缩处理或解压缩处理，并且将处理过的数据写入至存储器25。
存储器控制电路22控制A/D转换器15、定时发生电路14、图像处理电路20、图像显示存储器24、D/A转换器21及存储器25。
来自A/D转换器15的数据经由图像处理电路20及存储器控制电路22，或者直接经由存储器控制电路22，被写入至图像显示存储器24或存储器25。
显示单元28包括薄膜晶体管(TFT)及液晶显示器(LCD)。显示单元28基于经由D/A转换器21被写入图像显示存储器24的显示图像数据，进行显示。通过使用显示单元28，拍摄的图像数据能够被顺序地显示，从而实现用于显示实时视频图像的电子取景器功能。以这样的方式，显示单元28被用来显示拍摄的图像，以及用于对菜单及设置进行改变的图形用户界面。显示单元28包括用于将视频信号输出到诸如电视机(TV)等的外部显示设备的端子。系统控制单元50不仅进行对显示单元28的显示控制，而且可以进行如下的控制，即在外部显示设备上显示拍摄的图像和/或图形用户界面。
存储器25被配置为存储拍摄的静止图像及运动图像。存储器25具有足以存储预定数量的静止图像以及预定时长的运动图像的存储容量。存储器25还能够用作系统控制单元50的工作区。
曝光控制单元40分别控制包括光圈功能的快门12及102。
测距控制单元41分别控制摄影镜头11及101的聚焦。变焦控制单元42分别控制摄影镜头11及101的变焦。挡板控制单元43控制挡板10的操作。
系统控制单元50控制整个数字照相机100。
非易失性存储器51是电可擦除和可记录的非易失性存储器。电可擦除可编程只读存储器(EEPROM)是这样的非易失性存储器51的示例。在非易失性存储器51中记录程序以及各种类型的设置信息。
当快门按钮60被操作一半(处于半按下状态)时，快门开关SW1被接通，并且SW1信号被输入至系统控制单元50。如果SW1信号被输入，则系统控制单元50发出开始诸如AF处理、AE处理、AWB处理及EF处理等的摄影准备操作的指令。当快门按钮60被完全操作(全按下)时，快门开关SW2被接通，并且SW2信号被输入至系统控制单元50。如果SW2信号被输入，则系统控制单元50向外照相机，发出开始用于拍摄和记录静止图像的操作的指令。如果发出了开始用于拍摄和记录静止图像的操作的指令，则首先进行曝光处理。在曝光处理中，从图像传感器13读取的信号通过A/D转换器15及存储器控制电路22，从而将图像数据写入至存储器25。然后，对被写入存储器25的图像数据，进行利用图像处理电路20及存储器控制电路22的计算的显影处理。显影处理后的图像数据被图像处理电路20压缩，并且被存储在存储器25中。然后，压缩的图像数据从存储器25中被读出，并且经由卡控制器90被写入至外部记录介质91。以这样的方式，根据SW2信号的输入，进行了用于拍摄和记录静止图像数据的一系列静止图像拍摄及静止图像记录操作。
操作单元62包括用于向系统控制单元50输入各种操作指令的各种按钮以及触摸屏。所述按钮包括电源按钮、菜单按钮、模式改变开关、箭头键以及设定按钮，所述模式改变开关用于在摄影模式、再现模式及其他特殊摄影模式之间进行切换。所述按钮还包括微距按钮(macrobutton)、多画面再现分页按钮、闪光灯设置按钮以及单拍/连拍/自拍切换按钮。所述按钮还包括菜单移动+(加)按钮、菜单移动-(减)按钮、再现图像移动+(加)按钮、再现图像移动-(减)按钮、拍摄图像质量选择按钮、曝光校正按钮以及日期/时间设置按钮。还可以使用语音辨识设备。可以单个地或者以多个组合来配置前述的按钮及触摸屏。
如果运动图像拍摄按钮70被操作(按下)，则系统控制单元50向外照相机发出开始拍摄运动图像的指令。如果发出了开始拍摄运动图像的指令，则从图像传感器13读取信号。A/D转换器15转换该信号，以获得图像数据。图像处理电路20进行运动图像压缩处理，并将所得到的数据存储在外部记录介质91中。周期性地执行运动图像压缩处理及记录处理，以将运动图像记录在外部记录介质91中。执行运动图像压缩处理及记录处理，直到运动图像拍摄按钮70被再次按下为止。如果运动图像拍摄按钮70被再次按下，则图像处理电路20结束运动图像压缩处理，并且到目前为止一直在记录的运动图像被作为单个运动图像文件，记录在外部记录介质91中。
数字照相机100包括电源控制单元81。
电源单元80包括诸如碱性电池及锂电池等的一次电池、诸如NiCd电池、NiMH电池及Li电池等的二次电池，和/或交流(AC)适配器。
卡控制器90在与诸如存储卡等的外部记录介质91之间发送和接收数据。
<静止/运动图像拍摄同时记录模式>
数字照相机100具有静止/运动图像拍摄同时记录模式，作为静止图像拍摄模式。在静止及运动图像拍摄同时记录模式下，如果快门按钮60被全按下，则外照相机拍摄并记录静止图像。同时，也把静止图像的拍摄之前由外照相机拍摄的运动图像，记录到外部记录介质91中。在静止/运动图像拍摄同时记录模式下，每次拍摄静止图像时，运动图像(短片)均被自动记录在背景中。始终在相同的运动图像文件中，记录在静止/运动图像拍摄同时记录模式下记录的运动图像(短片)。由此，能够自动生成当正在拍摄静止图像时的场景的运动图像，而无需用户的特定操作。这还能够产生摘要运动图像(digest moving image)，在该摘要运动图像中，能够以连续的方式观看通过多次静止图像拍摄而获得的运动图像(短片)。在下文中，将在静止/运动图像拍摄同时记录模式下记录运动图像(短片)的运动图像文件称为运动图像摘要文件。可以由用户通过使用操作单元62中包括的模式改变开关，来切换静止图像拍摄模式设置，从而设置静止/运动图像拍摄同时记录模式。
在静止/运动图像拍摄同时记录模式下，能够如上所述启用或禁用内照相机摄影功能。如果内照相机摄影功能被启用，则由内照相机104拍摄的图像能够与由外照相机拍摄的图像一起被记录、叠加并合成。可以通过由用户操作操作单元62，来启用或禁用内照相机摄影功能。替代内照相机摄影功能的设置，也可以通过用户操作的开(ON)关(OFF)切换，来进行由内照相机104拍摄的图像的显示的设置。在这样的情况下，如果内照相机图像的显示被切换为开，则内照相机摄影功能被启用。如果显示被切换为关，则内照相机摄影功能被禁用。
在静止/运动图像拍摄同时记录模式下，用户能够操作操作单元62，来将停格(stop motion)设置为开和关。如果停格为开，则通过将拍摄的静止图像转换为运动图像，来生成停格。把生成的停格，记录在用于静止/运动图像拍摄同时记录模式的运动图像文件中。定格是指静态的运动图像。通过重复将拍摄静止图像时获得的一幅图像数据转换为运动图像数据而生成确定的时间的定格。因为运动图像数据是从一幅图像数据生成的，因此获得了持续相同图像的不动的运动图像。继静止图像的拍摄前的运动图像(短片)之后记录停格。如果停格设置被设置为关，则不生成或记录停格。如果停格设置被设置为开，并且内照相机摄影功能被启用，则记录合成运动图像，该合成运动图像是通过将由内照相机104拍摄的运动图像与拍摄的静止图像的停格画面合成而获得的。
如果设置了静止/运动图像拍摄同时记录模式，并且运动图像拍摄按钮70被按下，则外照相机开始用于拍摄并记录运动图像的处理，而不拍摄静止图像。如果内照相机摄影功能被启用，则通过与由内照相机104拍摄的运动图像合成，来记录运动图像。如果内照相机摄影功能被禁用，则仅记录由外照相机拍摄的运动图像。
换言之，当设置了静止/运动图像拍摄同时记录模式时，如果由快门按钮60给出了拍摄静止图像的指令，则静止图像和运动图像两者均被记录。如果由运动图像拍摄按钮70给出了拍摄运动图像的指令，则记录运动图像，而不记录静止图像。
<静止图像/运动图像拍摄同时记录模式下的摄影处理>
图3及图4例示了在静止/运动图像拍摄同时记录模式下的数字照相机100的摄影操作。通过基于从非易失性存储器51中读取的程序来控制各种单元、进行运算处理并进行确定的系统控制单元50，来实现这样的处理。
首先，用户选择数字照相机100的静止/运动图像拍摄同时记录模式。在步骤S301中，基于在由曝光控制单元40控制的适当曝光下的图像传感器13的输出，系统控制单元50生成显示图像。换言之，基于由外照相机拍摄的主图像，来生成显示图像。在下文中，将由外照相机的图像传感器13的输出而生成的图像称为主图像。系统控制单元50将生成的显示图像临时存储在存储器25中。
在步骤S302中，系统控制单元50基于主图像(即外照相机的图像传感器13的输出)，生成用于记录运动图像的图像(主运动图像)。在下文中，将由外照相机的图像传感器13的输出而生成的运动图像称为主运动图像。系统控制单元50把生成的用于记录运动图像的图像，临时存储在存储器25中。
在步骤S303中，系统控制单元50检查在数字照相机100中进行的关于内照相机104的设置。如果内照相机摄影功能被启用(步骤S303：是)，则系统控制单元50进行到步骤S304，以进行步骤S304至S308的处理。如果内照相机摄影功能被禁用(步骤S303：否)，则系统控制单元50进行到步骤S309，而不进行步骤S304至S308的处理。
在步骤S304中，系统控制单元50从非易失性存储器51中，获得在数字照相机100中进行的、关于内照相机104的显示位置及显示大小的设置。在本示例性实施例中，用户能够从菜单中，指定内照相机104的显示位置及显示大小。在非易失性存储器51中存储关于所设置的显示位置及显示大小的信息。
在步骤S305中，基于在由曝光控制单元40控制的适当曝光下的图像传感器103的输出，系统控制单元50生成内照相机显示图像。基于在步骤S304中获得的显示大小，来生成内照相机显示图像的大小。
在步骤S306中，系统控制单元50把在步骤S301中生成的主图像的显示图像、与在步骤S305中生成的内照相机显示图像合成，以生成合成显示图像。图5B例示了在此生成的合成显示图像的示例，在该示例中，在主图像上叠加内照相机图像进行合成。如图5B所示，当内照相机显示图像501被布置为被叠加在显示主图像500上时，在与步骤S304中获得的关于内照相机104的显示位置的信息对应的位置处，叠加内照相机显示图像501。系统控制单元50把在步骤S306中生成的合成显示图像临时存储在存储器25中，以使得在步骤S301中存储在存储器25中的显示图像被覆写。换言之，用在步骤S306中生成的合成显示图像，来替换存储器25中存储的显示图像(即在步骤S301中生成的主图像)。在本示例性实施例中，如图5B所示，在主图像上叠加内照相机图像并进行合成。然而，也可以在内照相机图像上叠加小的主图像并进行合成。
在步骤S307中，基于在由曝光控制单元40控制的适当曝光下的图像传感器103的输出，系统控制单元50生成用于记录图像的内照相机运动图像。在下文中，将由内照相机的图像传感器103的输出而生成的运动图像称为内照相机运动图像。基于在步骤S304中获得的显示大小，来获得要生成的内照相机运动图像的大小。
在步骤S308中，系统控制单元50将在步骤S302中生成的用于记录运动图像的主运动图像、与在步骤S307中生成的用于记录运动图像的内照相机运动图像合成，以生成合成运动图像，作为用于记录运动图像的运动图像。为了在与内照相机显示图像的位置类似的位置，进行与用于运动图像记录的内照相机运动图像的合成，像步骤S306一样，根据关于内照相机104的显示位置的信息，在用于记录运动图像的记录主运动图像上叠加用于运动图像记录的内照相机运动图像，以生成合成图像。具体而言，在主图像和内照相机图像两者的图像大小方面，在步骤S301或S306中生成的显示图像以及在步骤S302或S308中生成的用于记录运动图像的图像均是不同的。然而，以使得主图像和内照相机图像具有相同的大小比率、并且使得显示的图像与记录的图像相同的方式，生成显示图像以及用于记录运动图像的图像。系统控制单元5将在步骤S308中生成的用于记录运动图像的合成运动图像，临时记录到存储器25中。换言之，利用在步骤S308中生成的合成运动图像，来替换记录在存储器25中的用于记录运动图像的图像(即在步骤S302中生成的主运动图像)。
在步骤S309中，系统控制单元50在显示单元28上，显示被临时存储在存储器25中的显示图像。具体而言，如果内照相机摄影功能被启用，则系统控制单元50显示在步骤S306中生成的合成显示图像，诸如图5B中所示的。如果内照相机摄影功能被禁用，则系统控制单元50显示在步骤S301中生成的主图像，诸如图5A中所示的。
在步骤S310中，系统控制单元50对用于记录运动图像的图像开始运动图像压缩处理。对用于记录运动图像的图像的运动图像压缩处理包括如下的步骤，即从存储器25中读取用于记录运动图像的图像，通过图像处理电路20进行运动图像压缩处理、以将用于记录运动图像的图像压缩为运动图像数据，以及将压缩的运动图像数据存储在存储器25中。如果内照相机摄影功能被启用，则系统控制单元50基于在步骤S308中生成的合成运动图像来生成运动图像数据，并且将运动图像数据存储在存储器25中。如果内照相机摄影功能被禁用，则系统控制单元50基于在步骤S302中生成的主运动图像来生成运动图像数据，并且将运动图像数据存储在存储器25中。随着运动图像数据的压缩，通过利用系统控制单元50中包括的声音压缩处理，对由未例示的麦克风输入的声音数据进行压缩并将其存储到存储器25中。在静止/运动图像拍摄同时记录模式期间，基本上是重复步骤S301至S310的处理。为此，以环形缓冲器的形式，在存储器25中存储最多4秒的压缩运动图像数据。
如上所述，在步骤S301至S310中，系统控制单元50进行用于生成并显示显示图像的处理，以及用于生成用于记录运动图像的图像并且压缩运动图像的处理(将运动图像临时记录到存储器25中)。此类处理并不限于前述的顺序。可以并行执行用于生成并显示显示图像的处理，以及用于记录运动图像的图像的生成及临时记录。
在步骤S311中，系统控制单元50确定静止/运动图像拍摄同时记录模式是否被改变。可能的模式改变包括：通过模式改变开关进行的至另一摄影模式的改变和至再现模式的改变、通过菜单按钮进行的至设置菜单的改变，以及电源开关的断电。如果确定静止/运动图像拍摄同时记录模式被改变(步骤S311：是)，则系统控制单元50进行到步骤S312。在步骤S312中，系统控制单元50结束运动图像压缩处理，丢弃存储器25中存储的运动图像数据及声音数据，并且结束静止/运动图像拍摄同时记录模式。在步骤S311中，如果确定静止/运动图像拍摄同时记录模式未改变(步骤S311：否)，则系统控制单元50进行到步骤S313。
在步骤S313中，系统控制单元50检查摄影设置是否被改变。要检查的摄影设置项目的改变包括：根据摄影时的被摄体和/或状况而需要被即刻切换的摄影条件。例如，检查白平衡、曝光校正值、诸如手动聚焦(MF)及微距摄影等的聚焦方法切换，以及静止图像的图像大小及压缩率。根据对操作单元62中包括的分配摄影设置改变按钮或者附设于显示单元28的触摸屏的用户操作，在显示有供用户改变摄影设置的图形用户界面(GUI)画面的画面上，临时地叠加诸如上述的摄影设置。在该GUI画面上，用户能够操作操作单元62或触摸屏，来改变摄影设置。如果确定摄影设置被改变(步骤S313：是)，则系统控制单元50进行到步骤S314。在步骤S314中，系统控制单元50根据用户进行的改变来改变摄影设置。如果摄影设置没有被改变(步骤S313：否)，则系统控制单元50进行到步骤S315。
在步骤S315中，系统控制单元50检查内照相机104的设置是否被改变。内照相机104的可能设置项目包括根据用户操作而可设置的项目。可设置的项目包括显示位置、显示大小，以及内照相机摄影功能在启用与禁用之间的切换。用户可以通过操作操作单元62或者附设于显示单元28的触摸屏，来改变关于内照相机104的设置项目的设置。
在步骤S315中，如果确定内照相机104的设置被改变(步骤S315：是)，则系统控制单元50进行到步骤S316。在步骤S316中，系统控制单元50停止运动图像压缩处理，并且丢弃存储器25中存储的运动图像数据及声音数据。这样做的目的是为了，防止由于当内照相机显示的设置被改变时，记录在到目前为止一直在记录的运动图像数据与要拍摄的运动图像数据之间的内照相机显示的切换，而导致运动图像数据的质量下降。在步骤S317中，系统控制单元50检查改变的内照相机104的设置是否为用于启用或禁用内照相机摄影功能的设置。在步骤S317中，如果确定内照相机摄影功能在启用与禁用之间切换(步骤S317：是)，则在步骤S318中，系统控制单元50根据用户的指令来启用或禁用内照相机摄影功能。然后，系统控制单元50返回到步骤S301，并且基于改变的设置，再次进行步骤S301及后续步骤的处理。在步骤S317中，如果确定改变的内照相机104的设置不是用于启用或禁用内照相机摄影功能，而是内照相机104的显示位置和/或显示大小(步骤S317：否)，则在步骤S319中，系统控制单元50根据用户的指令，改变内照相机104的显示位置和/或显示大小。然后，系统控制单元50进行到步骤S301，并且根据新的设置，再次进行步骤S301及后续步骤的处理。
如果内照相机104的设置没有被改变(步骤S315：否)，则系统控制单元50从步骤S315进行到步骤S320。在步骤S320中，系统控制单元50检查是否快门按钮60被半按下并且输入了SW1信号。如果未输入SW1信号(步骤S320：否)，则系统控制单元50进行到步骤S322，而不进行步骤S321的处理。如果输入了SW1信号(步骤S320：是)，则系统控制单元50进行到步骤S321。在步骤S321中，系统控制单元50根据在数字照相机100中设置的聚焦模式及曝光模式来进行聚焦及曝光处理，即前述的摄影准备操作。
在步骤S322中，系统控制单元50检查是否快门按钮60被全按下并且输入了SW2信号。如果未输入SW2信号(步骤S322：否)，则系统控制单元50返回到步骤S301，并且重复处理。在步骤S322中，如果确定输入了SW2信号(步骤S322：是)，则在步骤S323中，系统控制单元50暂停显示单元28的图像显示，并且暂停在步骤S310开始的运动图像压缩处理。此时，已经被存储在存储器25中的运动图像数据及声音数据被保持存储。
在步骤S324中，系统控制单元50基于外照相机的图像传感器13的输出，来拍摄静止图像数据(主静止图像)。在步骤S325中，系统控制单元50由在步骤S324中拍摄的静止图像数据(主静止图像)，生成用于图像检查的回放图像。在步骤S326中，通过使用图像处理电路20，系统控制单元50对在步骤S324中拍摄的静止图像数据(主静止图像)进行静止图像压缩处理，以生成用于记录的静止图像数据(JPEG数据)，并且将该用于记录的静止图像数据存储在存储器25中。在静止/运动图像拍摄同时记录模式下，不考虑用于启用或禁用内照相机摄影功能的设置，而仅把不具有合成内照相机图像的主图像，作为静止图像记录到外部记录介质91中。由此，对主静止图像进行静止图像压缩处理。
然后，系统控制单元50进行到图4中所示的步骤S401。
在步骤S401中，系统控制单元50将在步骤S326中存储在存储器25中的静止图像数据(JPEG数据)，作为静止图像文件(JPEG文件)记录到外部记录介质91中。
在步骤S402中，系统控制单元50进行如下的确定，即，确定存储在存储器25中的记录运动图像数据的运动图像的运动图像记录时间(拍摄时间)是否长于或等于预定时间t0。在本示例性实施例中，t0＝2秒。在步骤S402中，如果运动图像记录时间被确定为长于或等于2秒(步骤S402：是)，则系统控制单元50进行到步骤S403。如果确定运动图像记录时间短于2秒(步骤S402：否)，则系统控制单元50进行到步骤S404。
在步骤S403中，系统控制单元50把存储在存储器25中的运动图像数据及声音数据，记录到外部记录介质91中。此时，系统控制单元50以使得运动图像数据及声音数据被追加至外部记录介质91中记录的运动图像摘要文件的方式，来记录运动图像数据及声音数据。如果在外部记录介质91中不存在运动图像摘要文件，则系统控制单元50可以生成新的运动图像摘要文件，并且把从存储器25中读取的运动图像数据及声音数据记录在该新运动图像摘要文件中。如果摄影日期不同，或者运动图像数据的大小超过预定大小，则系统控制单元50可以生成并记录新的运动图像摘要文件。下面，将参照图6，来详细描述外部记录介质91中的运动图像数据的记录格式。在步骤S404中，系统控制单元50丢弃存储在存储器25中的运动图像数据及声音数据。换言之，如果运动图像记录时间(拍摄时间)短于2秒，则在步骤S324中的静止图像的拍摄之前已拍摄的、并且被临时保存至存储器25的运动图像数据及声音数据，既不被记录也不被保存至外部记录介质91中。这是因为，这样的运动图像过短，以致不能观察摄影时的状况。在本示例性实施例中，短于2秒的运动图像不被记录在外部记录介质91中。
在步骤S405中，系统控制单元50在显示单元28上显示在步骤S325中生成的回放图像。该显示使得用户能够检查拍摄的静止图像。
在步骤S406中，系统控制单元50确定内照相机摄影功能被启用还是被禁用。如果确定内照相机摄影功能被启用(步骤S406：是)，则系统控制单元50进行到步骤S407。在步骤S407至步骤S414中，系统控制单元50进行用于生成合成有内照相机图像的、具有拍摄的静止图像的运动图像的处理。如果内照相机摄影功能被禁用(步骤S406：否)，则系统控制单元50进行到步骤S415。
在步骤S407中，系统控制单元50由在步骤S324中外照相机拍摄的主静止图像生成用于记录运动图像的停格图像。换言之，系统控制单元50将主静止图像转换为运动图像数据。如果要记录在外部记录介质91中的静止图像和运动图像具有不同的纵横比，则系统控制单元50对主静止图像进行大小调整处理，以使得整个主静止图像均被包括在停格图像中。这样，生成了具有除主静止图像之外的黑色区域的停格图像。例如，如果静止图像具有4∶3的纵横比，并且运动图像具有16∶9的纵横比，则生成左右两侧区域为黑色的停格图像。
在步骤S408中，像步骤S305一样，系统控制单元50基于图像传感器103的输出来生成内照相机显示图像。
在步骤S409中，像步骤S306一样，系统控制单元50生成合成显示图像。在步骤S409中，系统控制单元50将步骤S408中生成的内照相机显示图像合成到步骤S324中由外照相机拍摄的主静止图像上，从而生成合成显示图像。
在步骤S410中，像步骤S307一样，系统控制单元50基于图像传感器103的输出，来生成用于运动图像记录的内照相机运动图像。
在步骤S411中，系统控制单元50在显示单元28上，显示步骤S409中生成的合成显示图像。在此情况下，将由内照相机104拍摄的图像作为运动图像，显示在由外照相机拍摄并被记录在外部记录介质91中的静止图像上。
在步骤S412中，像步骤S308一样，系统控制单元50生成合成有内照相机运动图像的运动图像，作为用于记录运动图像的图像。在步骤S412中，系统控制单元50通过将步骤S410中生成的用于运动图像记录的内照相机运动图像合成到步骤S407中生成的停格图像上，来生成用于记录运动图像的合成图像。
在步骤S413中，像步骤S310一样，系统控制单元50对步骤S412中生成的合成运动图像进行运动图像压缩处理，以生成运动图像数据，并且将该运动图像数据存储在存储器25中，作为在静止图像被拍摄后的运动图像数据。随着运动图像数据的压缩，系统控制单元50还通过利用系统控制单元50中包括的声音压缩处理，来压缩预先存储在非易失性存储器51中的快门声音数据，以及由未例示的麦克风输入的声音数据，并且将所得到的数据存储在存储器25中。
在步骤S414中，系统控制单元50进行如下的确定，即，确定步骤S413中生成的并被存储在存储器25中的、静止图像被拍摄后的运动图像数据的运动图像记录时间(拍摄时间)，是否长于或等于预定时间t1。在本示例性实施例中，t1＝2秒。如果静止图像被拍摄后的运动图像数据的运动图像记录时间被确定为长于或等于2秒(步骤S414：是)，则系统控制单元50进行到步骤S420。如果确定在静止图像被拍摄后的运动图像数据的运动图像记录时间短于2秒(步骤S414：否)，则系统控制单元50进行到步骤S408，以重复步骤S408至S414的处理。具体而言，如果内照相机摄影功能被启用，则静止图像的回放显示开始之后，内照相机104拍摄运动图像，直到静止图像被拍摄后的运动图像数据的运动图像记录时间达到2秒为止。通过将停格图像与内照相机运动图像合成而获得的图像的显示，以及合成图像的运动图像压缩处理被重复，直到在静止图像被拍摄后的运动图像数据的运动图像记录时间达到2秒为止。
在步骤S411中在显示由外照相机拍摄并被记录在外部记录介质91中的静止图像期间，内照相机104拍摄运动图像。由此，正在显示单元28上检查拍摄的静止图像的用户(摄影者)的面部表情能够被内照相机104拍摄，并与静止图像一起被记录。
在步骤S415中，系统控制单元50进行如下的确定，即，确定在静止图像的拍摄之前拍摄的记录运动图像数据的运动图像的运动图像记录时间(拍摄时间)，是否长于或等于t0。替代运动图像记录时间的确定，系统控制单元50也可以确定是否在步骤S404中进行了用于取消运动图像数据的处理。如果静止图像被拍摄前的运动图像记录时间(在静止图像的拍摄之前拍摄的记录运动图像数据的运动图像)短于t0，并且相应地，进行了取消处理(步骤S415：否)，则系统控制单元50返回到步骤S301，以从头开始重复处理。如果系统控制单元50确定静止图像被拍摄前的运动图像记录时间长于或等于t0，并且未进行取消处理(步骤S415：是)，则系统控制单元50进行到步骤S416。
在步骤S416中，系统控制单元50确定停格设置为开还是关。如果停格设置为开(步骤S416：是)，则系统控制单元50进行到步骤S417。如果停格设置为关(步骤S416：否)，则系统控制单元50返回到步骤S301。
在步骤S417中，像步骤S407一样，系统控制单元50生成停格图像。
在步骤S418中，系统控制单元50对在步骤S417中生成的停格图像进行运动图像压缩处理，并且将所得到的数据作为静止图像被拍摄后的运动图像数据存储在存储器25中。此时要压缩的声音数据包括：预先存储在非易失性存储器51中的快门声音数据及静音数据。
在步骤S419中，系统控制单元50进行如下的确定，即，确定在步骤S418中进行了运动图像压缩处理并被临时存储在存储器25中的、静止图像被拍摄后的运动图像数据的运动图像记录时间(拍摄时间)，是否长于或等于预定时间t2。在本示例性实施例中，t2＝1秒。直到在步骤S419中确定静止图像被拍摄后的运动图像数据的运动图像记录时间长于或等于1秒(步骤S419：是)为止，系统控制单元50一直重复运动图像压缩处理(步骤S418)，其中，利用步骤S417中生成的相同的定格图像，重复运动图像压缩处理(步骤S418)。通过该重复而最新生成的所得到的数据(运动帧)连续添加到在静止图像已经被存储到存储器25后的运动图像数据中。因此，通过重复运动图像压缩处理(步骤S418)，在静止图像后的运动图像数据的运动帧数据增加，静止图像后的运动图像数据的运动图像记录时间增加。由于利用相同定格图像生成的所得到的数据(运动帧)被重复记录，因此静止图像后的运动图像数据成为静态运动图像。
在步骤S420中，系统控制单元50将通过步骤S413或S419中的运动图像压缩处理而生成的、静止图像被拍摄后的运动图像数据，记录在外部记录介质91中。系统控制单元50以如下的方式记录静止图像被拍摄后的运动图像数据，即像步骤S403一样，使得静止图像被拍摄后的运动图像数据被追加至运动图像摘要文件的运动图像数据及声音数据。具体而言，如果在步骤S403中记录了静止图像的拍摄前的运动图像数据，则继静止图像被拍摄前的运动图像数据之后，记录静止图像被拍摄后的运动图像数据。
在步骤S421中，系统控制单元50进行如下的确定，即，确定步骤S420中的对静止图像被拍摄后的运动图像数据的记录是否完成。如果确定对静止图像被拍摄后的运动图像数据的记录完成(步骤S421：是)，则系统控制单元50删除被临时存储在存储器25中的运动图像数据，并且返回到步骤S301。
<各种设置以及要记录的运动图像的运动图像记录模式>
接下来，将参照图13及图14，来描述当在静止/运动图像拍摄同时记录模式下进行前述的摄影处理时、要被记录在外部记录介质91中的运动图像数据。
图13是用于描述运动图像记录模式的图。图14是示出如下四者之间的关系的图，所述四者分别是内照相机摄影功能的设置、在静止图像被拍摄前的运动图像数据的记录时间(拍摄时间)、停格设置，以及在静止/运动图像拍摄同时记录模式下被记录在外部记录介质91中的运动图像的模式。在此，静止图像被拍摄前的运动图像数据的记录时间是指，在静止图像的拍摄之前被临时记录在存储器25中的运动图像数据的运动图像记录时间(拍摄时间)。
下面，将参照图13来描述各运动图像记录模式。
在运动图像记录模式1下，记录2至4秒的静止图像被拍摄前的运动图像，以及2秒的静止图像被拍摄后的运动图像。在运动图像记录模式1下，记录通过将由内照相机104拍摄的内照相机运动图像与由外照相机拍摄的主运动图像合成而获得的运动图像，作为静止图像被拍摄前的运动图像。然后，记录通过将由内照相机104获得的内照相机运动图像与根据由外照相机拍摄的静止图像生成的停格合成而获得运动图像，作为静止图像被拍摄后的运动图像。记录由麦克风输入的环境声音，作为静止图像被拍摄前的运动图像的声音数据。对于静止图像被拍摄后的运动图像的声音数据，首先记录快门声音数据，随后是环境声音。
在运动图像记录模式2下，不记录静止图像被拍摄前的运动图像，而仅记录2秒的静止图像被拍摄后的运动图像。在运动图像记录模式2下，记录通过将由内照相机104拍摄的内照相机运动图像与根据由外照相机拍摄的静止图像生成的停格合成而获得运动图像，作为静止图像被拍摄后的运动图像。对于静止图像被拍摄后的运动图像的声音数据，首先记录快门声音数据，随后是环境声音。换言之，在运动图像记录模式2下，以与在运动图像记录模式1下记录的静止图像被拍摄后的运动图像相同的格式，来记录静止图像被拍摄后的运动图像的运动图像数据及声音数据。
在运动图像记录模式3下，记录2至4秒的静止图像被拍摄前的运动图像，以及1秒的静止图像被拍摄后的运动图像。在运动图像记录模式3下，记录由外照相机拍摄的、未合成有内照相机运动图像的主运动图像，作为静止图像被拍摄前的运动图像。然后，记录根据由外照相机拍摄的静止图像而生成的停格，作为静止图像被拍摄后的运动图像。
对于静止图像被拍摄前的运动图像的声音数据，记录由麦克风输入的环境声音。对于静止图像被拍摄后的运动图像的声音数据，仅记录快门声音数据，随后是静音。
在运动图像记录模式4下，仅记录2至4秒的静止图像被拍摄前的运动图像，而不记录静止图像被拍摄后的运动图像。在运动图像记录模式4下，记录由外照相机拍摄的、未合成有内照相机运动图像的主运动图像，作为静止图像被拍摄前的运动图像。对于静止图像被拍摄前的运动图像的声音数据，记录由麦克风输入的环境声音。具体而言，在运动图像记录模式4下，以与在运动图像记录模式3下记录的、静止图像被拍摄前的运动图像相同的格式，来记录要被记录的静止图像被拍摄前的运动图像的运动图像数据及声音数据。
由于在步骤S301至S310的处理中被临时存储在存储器25中的运动图像数据的最大时长被设置为4秒，因此，静止图像被拍摄前的运动图像是4秒或更短。在步骤S402至S404中，只有在静止图像被拍摄前的运动图像数据的记录时间长于或等于2秒的情况下，才将存储器25中存储的、静止图像被拍摄前的运动图像记录到外部记录介质91中。因此，静止图像被拍摄前的运动图像是2至4秒。
在运动图像记录模式1及2中，记录2秒的运动图像，作为静止图像被拍摄后的运动图像。在运动图像记录模式3下，记录1秒的运动图像，作为静止图像被拍摄后的运动图像。这是因为，在运动图像记录模式1及2中，将内照相机运动图像与停格(静态运动图像)合成，以记录表现出运动的合成运动图像。相反，在运动图像记录模式3下，不合成内照相机运动图像，仅记录停格(静态运动图像)。因此记录不动的运动图像。在本示例性实施例中，当像运动图像记录模式1及2一样、记录表现出运动的合成运动图像时，要记录的运动图像的时长被设置为2秒(t1)。当像运动图像记录模式3一样、记录不动的运动图像时，要记录的运动图像的时长被设置为1秒(t2)。1秒(t2)比记录表现出运动的合成运动图像的时间短。
接下来，将参照图14，来描述各种设置与运动图像记录模式之间的关系。
如果内照相机摄影功能被启用，则运动图像记录模式是运动图像记录模式1和2中的任意一者。具体而言，如果内照相机摄影功能被启用，则始终记录通过将内照相机运动图像与停格合成而获得的合成运动图像，作为静止图像被拍摄后的运动图像，而不考虑静止图像被拍摄前的运动图像数据的记录时间以及停格设置。由此，能够记录正在观看静止图像的摄影者的面部表情及反应。如果内照相机摄影功能被启用，则是否记录通过将内照相机运动图像与主运动图像合成而获得的合成图像、作为静止图像被拍摄前的运动图像，取决于静止图像被拍摄前的运动图像数据的记录时间是否大于或等于2秒。换言之，合成图像的记录取决于记录时间是否大于或等于预定时间t0。如果静止图像被拍摄前的运动图像数据的记录时间大于或等于2秒(t0)，则记录静止图像被拍摄前的运动图像。结果，能够记录紧接在静止图像的拍摄之前的被摄体及摄影者的状态和表情。如果静止图像被拍摄前的运动图像数据的记录时间小于2秒(t0)，则不记录静止图像被拍摄前的运动图像。
如果内照相机摄影功能被禁用，并且静止图像被拍摄前的运动图像数据的记录时间小于2秒(t0)，则不考虑停格设置，对运动图像(静止图像被拍摄前的运动图像或者在静止图像被拍摄后的运动图像)不进行记录。如在步骤S402至S404中描述的，由于静止图像被拍摄前的运动图像的记录时间小于2秒，所以不记录静止图像被拍摄前的运动图像。依据停格设置，能够记录停格作为静止图像被拍摄后的运动图像。然而，在内照相机拍摄功能被禁用的情况下，不将停格与内照相机运动图像合成。在不合成内照相机运动图像的情况下，所得到的运动图像将是不动的。如果内照相机摄影功能被禁用，并且静止图像被拍摄前的运动图像的记录时间小于2秒，则不考虑停格设置，因此也不记录静止图像被拍摄后的运动图像。
如果内照相机摄影功能被禁用，并且静止图像被拍摄前的运动图像数据的记录时间大于或等于2秒，则运动图像记录模式是运动图像记录模式3和4中的任意一者，并且记录静止图像被拍摄前的运动图像。由此，能够记录紧接在静止图像的拍摄之前的被摄体的状态以及面部表情的改变。根据停格设置，来确定是否记录静止图像被拍摄后的运动图像。如果停格设置为开，则运动图像记录模式是运动图像记录模式3。在这种情况下，记录停格作为静止图像被拍摄后的运动图像，而不合成内照相机运动图像。如果停格设置为关，则运动图像记录模式是运动图像记录模式4，在这种情况下，不记录静止图像被拍摄后的运动图像。在运动图像记录模式3下，记录不动的停格，作为静止图像被拍摄后的运动图像。通过记录静止图像被拍摄前的运动图像和停格两者，使得用户既能够检查静止图像拍摄之前的图像，也能够检查静止图像拍摄时的图像。因此，记录不动的停格。
如果静止图像被拍摄前的运动图像数据的记录时间大于或等于2秒(t0)，则运动图像记录模式是运动图像记录模式1、3或4，并且记录静止图像被拍摄前的运动图像，而不考虑其他设置。如果静止图像被拍摄前的运动图像数据的记录时间小于2秒(t0)，则或者运动图像记录模式是运动图像记录模式2，或者不记录运动图像。通常，如果静止图像被拍摄前的运动图像数据的记录时间小于2秒，则不记录运动图像(静止图像被拍摄前的运动图像和静止图像被拍摄后的运动图像)。如果内照相机摄影功能被启用，则能够在静止图像的拍摄之后获得内照相机运动图像。如同在运动图像记录模式2下一样，由此将通过将内照相机运动图像与停格图像合成而获得的合成运动图像，记录作为静止图像被拍摄后的运动图像。
如上所述，在静止/运动图像拍摄同时记录模式下，如上所述进行摄影处理，由此，能够根据图14中所示的设置，在适当的运动图像记录模式下记录运动图像。在静止/运动图像拍摄同时记录模式下，运动图像的运动图像记录模式以及是否记录运动图像的决定，取决于图14中所示的设置。同时，以设置的记录大小并且以设置的压缩率来记录静止图像，而不考虑图14中所示的设置。
<图像结构及运动图像段落参照信息>
图6A至图6C是用于描述如下图像的结构以及关于如下运动图像的段落参照信息的图，所述图像及所述运动图像是在静止/运动图像拍摄同时记录模式下记录的。图6A是示出在拍摄在静止/运动图像拍摄同时记录模式下记录的静止图像及运动图像时的时间序列关系的图。图6B是示出拍摄的静止图像及运动图像的记录格式的示意图。图6C例示了段落参照信息的结构示例。
下面，将参照图6A来描述摄像指令以及拍摄图像的时间序列。如上所述，在静止/运动图像拍摄同时记录模式下，用户全按下快门按钮60以给出静止图像拍摄指令(RELEASE(发布))，由此，输入SW2信号，拍摄静止图像及运动图像，并且记录拍摄的图像。根据RELEASE 1的静止图像拍摄指令，来拍摄静止图像P1。在拍摄静止图像P1之前，拍摄与静止图像P1相关联的运动图像M1。同样，分别根据RELEASE 2及3，来拍摄与静止图像P2及P3相关联的运动图像M2及M3。
下面，将参照图6B，来描述记录介质91上的、根据图6A中描述的拍摄操作而拍摄的静止图像P1至P3以及运动图像M1至M3的记录格式。在步骤S401的静止图像数据记录处理以及步骤S403及步骤S420的运动图像数据记录处理中，以下面描述的记录格式来记录静止图像文件及运动图像文件。
根据相机文件系统设计规则(DCF)规则，在记录介质91中，在具有表示摄影日期的目录名“100_1010”的目录621中，将通过RELEASE1拍摄的运动图像M1保存为运动图像文件“MDG_0001.MOV”622。后续的文件名也根据DCF规则来确定。同时拍摄的静止图像P1在相同目录621中被保存为静止图像文件“IMG_0002.JPG”627。在不记录停格图像的情况下，在图13的运动图像记录模式4下记录运动图像M1。运动图像M1作为运动图像流被记录在段落1(624)中。接下来，在运动图像文件“MDG_0001.MOV”622中，通过RELEASE 2拍摄的运动图像M2被追加为段落2(625)。同时拍摄的静止图像P2在相同目录621中被保存为静止图像文件“IMG_0003.JPG”629。在图13的运动图像记录模式1或3下记录运动图像M2。因此，在段落2中记录的运动图像包括在运动图像M2之后的、由静止图像P2生成的停格图像。接下来，像图13的运动图像记录模式2一样，不使用静止图像P3的拍摄之前通过RELEASE 3拍摄的运动图像M3，而记录静止图像P3的停格图像。在运动图像文件“MDG_0001.MOV”622中，静止图像P3的停格图像被追加为段落3(626)。同时拍摄的静止图像P3在相同目录621中被保存为静止图像文件“IMG_0004.JPG”629。运动图像流、声音数据及段落信息被记录在各段落中。摄影时间信息以字符串的形式被存储为段落信息。
当追加段落时，在运动图像文件“MDG_0001.MOV”622的头部分中，写入段落参照信息623。头部分能够被参照，以获得关于各段落的信息，而无需分析整个运动图像文件622。在静止/运动图像拍摄同时记录模式下，系统控制单元50根据摄影日期将静止图像及运动图像记录在目录中。如果不存在与摄影日期相对应的目录，则系统控制单元50生成所述目录。系统控制单元50首先在与摄影日期相对应的目录中生成运动图像文件，然后生成静止图像文件。因此，运动图像文件具有比静止图像文件的文件编号小的文件编号(DCF编号)。通常，按文件的生成顺序来分配文件编号(DCF编号)。因此，当像图4一样、在运动图像数据的记录之前首先记录静止图像数据时，系统控制单元50可以检查与摄影日期相对应的运动图像摘要文件的有无。如果不存在这样的运动图像摘要文件，则系统控制单元50可以在记录静止图像之前预先生成运动图像摘要文件。以这样的方式，当拍摄多个静止图像时拍摄的运动图像被记录在一个运动图像文件中。当拍摄静止图像时拍摄的运动图像被记录在分开的段落中，使得运动图像能够彼此区分。
下面，将参照图6C来描述在头部分中写入的信息。头部分包括运动图像文件大小631及运动总帧数632，作为关于运动图像文件的信息622，并且包括段落编号633、摄影日期时间信息634、段落起始帧635、帧数636、内照相机图像的有无及合成位置637以及停格信息638，作为段落参照信息623。在每次追加段落时，用在文件条目中写入的运动图像文件大小的值，来更新运动图像文件大小631。同样，在每次追加段落时，用总帧数来更新运动总帧数632。在每次追加段落时，针对各段落，将后述的各段落信息追加至段落编号633。在本示例性实施例中，在段落摄影日期时间634中，设置与相关的静止图像相同的摄影日期时间。由此，能够使用记录在静止图像文件中的关于静止图像的摄影日期时间信息704(图7)，以及段落参照信息623的摄影日期时间信息634，来使相关的静止图像和运动图像彼此关联。基于关于段落起始帧635的信息，能够直接再现各段落。基于关于各段落的帧数636的信息，能够确定在各段落中要再现的帧的数量。基于关于内照相机图像的有无及合成位置637的信息，能够进行根据内照相机图像的有无的再现控制，以及例如仅对包括内照相机图像的段落的连续再现。内照相机图像的合成位置能够被记录，以使得能够进行仅内照相机图像的裁剪再现。停格信息638表示停格的有无，以及插入有停格的帧的范围。停格信息638被表现为段落内的相对帧信息。关于段落1的停格信息638是0-0，这明确地表示停格不存在。关于段落2的停格信息638是90-179，这表示从段落的最前头起的第90帧至第179帧是停格。由于段落2的帧数是180，所以后半部是停格。关于段落3的停格信息638是0-179，这表示由于段落3具有180的帧计数，所以整个段落3均是停格。根据此类信息，能够确定各段落与相应的静止图像之间的关系，即停格的有无及帧位置。因此，通过选择并再现段落组和相应的静止图像组，能够控制再现帧(运动图像的再现范围)或静止图像，以进行无重叠的再现。在每次部分删除或者编辑运动图像时，在此所述的段落参照信息623还需要维护，以维持与运动图像流的一致性。根据本示例性实施例的摄像装置根据编辑的内容，来适当地维护信息631至638。同时，如果由不能够解释段落参照信息623的编辑装置，来编辑运动图像文件622，则段落参照信息622变得与运动图像流不一致，并且指定不正确的帧。因此，当根据本示例性实施例的摄像装置使用段落参照信息623时，摄像装置进行如下的确定，即，确定在段落参照信息623中写入的运动图像文件大小631，是否与在文件条目中写入的运动图像文件大小一致。如果运动图像文件大小不一致，则摄像装置确定段落参照信息623是不一致的，并且不使用段落参照信息623。作为另一选择，如果摄像装置确定运动图像文件大小不一致，则摄像装置可以由流中包括的段落信息，再次生成段落参照信息623。
<静止图像信息>
图7例示了在数字照相机100中采用的静止图像文件的结构示例。头部分701记述关于图像的属性信息。头部分701包括记录了图像的摄像装置的制造商名称702、记录了图像的摄像装置的型号名称703、关于图像的摄影日期时间信息704，以及能够据以确定拍摄图像的曝光过度及曝光不足的被摄体亮度705。对焦度706表示基于自动聚焦的聚焦操作的结果的精度。能够基于对焦度706来确定模糊图像。评级(rating)707根据用户指令给出图像的优先级。一般使用-1至5的数值，其中，-1代表不适宜的图像，0代表未分级的图像，并且1至5代表与数值成比例地增加的优先度。其他设置708包括例如缩略图及用户信息。头部分701之后是静止图像数据主体709。在步骤S401中，具有此种结构的静止图像文件被记录在外部记录介质91中。
<图像再现处理>
如果操作单元62的模式改变开关被操作，并且模式切换指令信号被输入到系统控制单元50，则系统控制单元50进入再现模式，并且开始图像再现处理。图8是示出图像再现处理的流程图。系统控制单元50基于从非易失性存储器51中读取的程序，来控制各种单元、进行运算处理并进行确定，由此实现图8的流程图。
在步骤S801中，当被置于再现模式下时，系统控制单元50设置要再现的初始图像。要再现的初始图像的示例为如下的图像，该图像在具有根据DCF标准的最大DCF目录编号的目录中，具有最大的DCF文件编号。具体而言，针对每次拍摄，使DCF文件编号递增来确定文件名，并且当在新的目录中进行摄影时，使DCF目录编号递增来确定目录名。在这样的情况下，要再现的初始图像是最后拍摄的图像。在步骤S802中，系统控制单元50对要再现的图像进行图像再现处理，并且在显示单元28上显示图像。在步骤S803、S804、S809、S811及S813中，用户经由操作单元62进行指令请求，并且系统控制单元50进行与这些指令请求相对应的处理。在步骤S803中，如果用户在操作单元62上的操作被确定为结束再现模式的指令(步骤S803：是)，则系统控制单元50退出再现模式的处理。在步骤S804中，如果确定用户在操作单元62上的操作是再现下一个或前一个图像的指令(图像前进指令)(步骤S804：是)，则在步骤S805中，系统控制单元50进行按DCF编号的顺序确定下一个或前一个图像作为要再现的图像的图像前进处理。然后，系统控制单元50返回到步骤S802，并且对在步骤S805中确定的再现目标图像进行图像再现处理。在步骤S804中，如果确定用户的操作不是图像前进指令(步骤S804：否)，则系统控制单元50进行到步骤S806的段落搜索处理。段落搜索处理是如下的处理，即识别当拍摄当前再现的(在显示单元28上显示的)静止图像时所拍摄的运动图像的追加单位(段落)。稍后，将参照图9来详细描述段落搜索处理。在步骤S807中，系统控制单元50确定作为步骤S806中的段落搜索处理的结果，是否查找到对应于与当前再现的静止图像相关联的运动图像的段落。在步骤S807中，如果作为步骤S806的结果，确定存在相应的段落(步骤S807：是)，则系统控制单元50进行到步骤S808。在步骤S808中，系统控制单元50呈现表示相应段落存在的显示。稍后，将参照图12来描述相应段落存在显示。在步骤S809中，系统控制单元50确定在步骤S809中的相应段落存在显示期间，是否给出了段落再现的指令。如果确定给出了段落再现的指令(步骤S809：是)，则系统控制单元50进行到步骤S810。在步骤S810中，系统控制单元50进行段落再现处理。在段落再现处理中，系统控制单元50从如下的初始帧起，将运动图像再现至相应的帧数，所述初始帧对应于通过步骤S806的段落搜索处理而识别的、与当前正在再现的(在显示单元28上显示的)静止图像相对应的运动图像文件的段落，并且，系统控制单元50在显示单元28上显示所述运动图像。在步骤S810中的相应段落的再现之后，系统控制单元50返回到步骤S802，以再现(显示)当前再现目标静止图像。如果在步骤S807中确定不存在相应段落(步骤S807：否)，或者如果在步骤S809中确定未给出段落再现的指令(步骤S809：否)，则系统控制单元50进行到步骤S811。在步骤S811中，系统控制单元50确定用户在操作单元62上的操作是否为选择图像再现的指令。如果确定用户的操作是选择图像再现的指令(步骤S811：是)，则在步骤S812中，系统控制单元50进行选择图像再现处理。稍后，将参照图11来描述选择图像再现处理。如果用户的操作被确定为不是选择图像再现指令(步骤S811：否)，则在步骤S813中，系统控制单元50确定是否存在任何其他处理指令。所述其他处理指令的示例有图像删除、图像编辑及图像发送。如果检测到任何其他处理指令(步骤S813：是)，则在步骤S814中，系统控制单元50根据指令进行处理。然后，系统控制单元50返回到步骤S803。
<段落搜索处理>
下面，将参照图9来描述用于识别与静止图像相对应的段落的段落搜索处理。在步骤S901中，系统控制单元50识别起点静止图像，并且获得关于该静止图像的信息。起点静止图像是指通过前一阶段中的处理而指定的静止图像。在图8的再现处理中，起点静止图像是指当前再现的静止图像。作为关于静止图像的信息，系统控制单元50获得关于静止图像所在的目录的DCF目录名以及DCF文件名的信息。在步骤S902中，系统控制单元50识别与在步骤S901中识别出的静止图像相对应的运动图像文件。在本示例性实施例中，如参照图6描述的，对于记录了与静止图像相关联的运动图像(当拍摄静止图像时记录的运动图像)，确定按DCF编号的顺序具有比静止图像小的编号的文件。由此，系统控制单元50可以通过从起点静止图像递减的方式，按DCF编号的降序来识别靠近的运动图像文件。在步骤S903中，系统控制单元50获得起点静止图像搜索关键字。在本示例性实施例中，使用摄影日期时间作为用于使静止图像和相应段落相关联的信息。在此，系统控制单元50获得如图7所示的在静止图像文件中被记录为属性信息的摄影日期时间信息704。在步骤S904中，系统控制单元50识别相应的段落。具体而言，系统控制单元50在图6C的段落参照信息表中，搜索具有相同的摄影日期时间634的段落。段落信息一般包括在运动图像文件的流中，并且，像步骤S904一样用于搜索相应信息的处理将花费长的时间，因为需要读取运动图像文件的流。然而，在本示例性实施例中，段落信息被表格化，并存储在如图6B及图6C所示的运动图像文件622的头部分中。这使得能够通过读取较少量的文件来进行高速搜索。在步骤S904中识别出具有相同摄影日期时间634的段落之后，在步骤S905中，系统控制单元50确定与该段落相对应的帧。具体而言，在图6C中，系统控制单元50识别与识别出的段落相对应的起始帧635及帧数636。
<段落状态信息>
图10A至图10E是表示段落状态的数据结构的概念表。例如，图10A例示了记录在摄影处理期间通过检测信息获取而获得的信息的格式。在拍摄运动图像的同时，定期地进行检测信息获取。由此，获得的信息能够被表示为时间序列转变数据。在此情况下，自动聚焦(AF)操作、变焦控制状态及旋转姿态被例示为在-3秒、-2秒及-1秒的时间点的各个检测信息，而静止图像拍摄的时间点是0。虽然在此例示了静止图像拍摄之前的状态，但是，也可以记录静止图像拍摄之后的停格期间的状态。
<图像选择再现处理>
下面，将参照图11，来描述在图8的再现处理的步骤S812中的选择图像再现处理。在选择图像再现处理中，用户选择具有相同摄影日期或相同特征的图像(静止及运动图像)，作为起点静止图像，即在显示单元28上显示的静止图像。然后，进行再现控制，以连续地再现(显示)选择的图像。图11是选择图像再现处理的流程图。通过基于从非易失性存储器51中读取的程序来控制各种单元、进行运算处理并进行确定的系统控制单元50，来实现该流程图。
在步骤S1101中，系统控制单元50进行如下的确定，即，确定用户在操作单元62上的操作，是否为具有与起点静止图像相同的摄影日期的图像的选择再现的指令。如果用户的操作被确定为是具有与起点静止图像相同的摄影日期的图像的选择再现的指令(步骤S1101：是)，则在步骤S1102中，系统控制单元50把搜索条件设置为是外部记录介质91中的、具有与起点静止图像相同的摄影日期的静止图像及运动图像段落。在步骤S1101中，如果用户的操作被确定为不是具有与起点静止图像相同的摄影日期的图像的选择再现的指令(步骤S1101：否)，则在步骤S1103中，系统控制单元50设置另一搜索条件。相应的示例有指定的摄影日期时间、指定的摄影日期时段，以及指定的人。除了摄影日期时间之外，静止图像的头部以及运动图像文件622的段落参照信息623还可以包括用于识别人的信息，作为被摄体信息。这使得能够通过指定人来进行选择再现处理。可以使用摄影日期时间和被摄体信息两者，以使得能够通过指定摄影日期和人来进行搜索。在步骤S1104中，系统控制单元50识别与搜索条件匹配的静止图像及运动图像段落，并且列举存储器25中的、关于识别出的静止图像的头信息以及关于识别出的运动图像段落的段落参照信息623，作为要再现的项目的列表。系统控制单元50可以通过参照关于静止图像的头信息以及关于运动图像段落的段落参照信息623，来识别与搜索条件匹配的静止图像及运动图像段落。当基于摄影日期来搜索图像时，系统控制单元50可以把在表示摄影日期的目录中包括的图像，识别为与搜索条件匹配的图像。这样的列举操作列出了关于与搜索条件匹配的静止图像的头信息(图7中的信息704至707)、关于与搜索条件匹配的运动图像段落的状态信息(图10A)，以及段落参照信息623(图6C)。为了减小搜索及列举处理的负荷，可以预先在外部记录介质91中记录如下的特征列表，该特征列表包括所需的关于静止图像的头信息以及关于运动图像段落的段落参照信息623。系统控制单元50可以使用这样的特征列表来识别(搜索)图像，并列出存储器25中的信息。在步骤S1105中，系统控制单元50进行失败图像排除处理。在失败图像排除处理中，系统控制单元50从要再现的项目的列表中，删除在步骤S1104中列出的头信息中具有极高或极低的被摄体亮度705的静止图像、具有低的对焦度706的静止图像以及具有-1的评级(707)的静止图像。在步骤S1106中，系统控制单元50从列表中，删除如图10B所示的、在摄影时段中AF操作保持操作中而不能对焦的运动图像段落，以从要再现的项目中排除这样的运动图像段落。系统控制单元50还从列表中，删除如图10C所示的、在摄影时段中变焦操作持续并且视角一直不稳定的运动图像段落，以从要再现的项目中排除这样的运动图像段落。系统控制单元50还从列表中，删除如图10D所示的、在摄影时段中照相机姿态变化、并且在再现时被摄体的角度不稳定的运动图像段落，以从要再现的项目中排除这样的运动图像段落。
在步骤S1107中，系统控制单元50将适宜的图像暂时确定为要选择并再现的项目。具体而言，例如，系统控制单元50暂时指定具有1或更高的评级(707)的一个或更多个静止图像，作为要再现的项目。系统控制单元50还暂时指定如图10E所示的、在摄影时段中检测到被摄体的笑脸的运动图像段落，作为要再现的项目。
在步骤S1108中，系统控制单元50进行重叠场景排除处理。在静止/运动图像拍摄同时记录模式下，可以在运动图像中插入停格。假设在步骤S1104至S1107中，静止图像及其对应的运动图像段落两者均保留在列表中，如果运动图像段落包括停格，则再现静止图像和段落两者导致冗余再现，包括重叠场景。因此，系统控制单元50通过使用关于被选择作为要选择并再现的项目的静止图像的摄影日期时间信息704，以及关于被暂时选择作为要选择并再现的项目的运动图像段落的摄影日期时间信息(634)和定格信息638，来进行用于检测并排除重叠场景的处理。如果被选择作为要选择并再现的项目的静止图像和运动图像段落具有相同的摄影日期时间信息，则该静止图像和该运动图像段落能够被确定为是相关联的图像。可以由停格信息638，来确定是否在运动图像段落中插入静止图像，以及静止图像的插入的范围。如果静止图像和运动图像段落具有相同的摄影日期时间信息，并且停格信息638表示插入有停格，则系统控制单元50确定该静止图像和该运动图像段落包括重叠场景。如果确定存在重叠场景，则系统控制单元50从要选择并再现的项目中，或者排除静止图像，或者排除插入有停格的运动图像段落的帧。
具体而言，例如，如果选择了图6的“IMG_0003.JPG”628以及与该静止图像相对应的段落2(625)，作为要选择并再现的项目，则系统控制单元50从段落2的再现范围中，排除帧90至179。也即，如果要选择静止图像，则系统控制单元50从要再现的项目中，排除与该静止图像相关联的运动图像段落中的、插入有静止图像的范围，使得仅未插入静止图像的范围用作再现范围。作为另一选择，系统控制单元50可以在维持整个段落2作为要再现的项目的同时，进行不再现“IMG_0003.JPG”628的排除控制。也即，如果要再现插入有静止图像的运动图像段落，则系统控制单元50阻止在运动图像段落中插入的静止图像被包括作为要再现的项目。作为另一示例，假设选择了图6的“IMG_0004.JPG”629以及与该静止图像相对应的段落3(626)，则从段落参照信息623的停格信息638中能够看出，重叠帧是帧0至179。然后，系统控制单元50进行排除处理，使得整个段落3和“IMG_0004.JPG”629中的任意一者被取消选择，从而不被再现。如果例如选择了“IMG_0002.JPG”627以及与该静止图像相对应的段落1(624)，则从段落参照信息623中能够看出，不存在重叠帧。在这样的情况下，可以选择段落1和“IMG_0002.JPG”627两者作为要再现的项目。
在步骤S1109中的连续再现中，系统控制单元50连续地再现通过前述处理而选择的静止图像及运动图像段落。在连续再现中，对于在步骤S1101至步骤S1108中选择的静止图像，以及运动图像段落确定再现顺序，在确定的再现顺序中，顺序地再现图像。当结束再现顺序的再现时，可以从再现顺序的开始重复再现图像，或者可以仅执行一次再现。当再现静止图像时，系统控制单元50以预定的时段(例如，2秒)来显示静止图像。
这样，系统控制单元50能够进行失败图像排除处理、适宜图像的选择以及重叠场景排除处理，以进行最佳的选择再现。
在本示例性实施例中，系统控制单元50选择静止图像、运动图像段落以及再现范围，使得要连续再现的图像均不包括重叠场景。然而，也可以利用附加的开头(opening)和结尾(ending)，来连续地再现如上所述被选择进行再现的主要部分，在这种情况下，重叠场景可以作为整体而被选择。例如，在开头和/或结尾中，可以选择再现在主要部分中使用的静止图像及运动图像段落，或者作为重叠场景而被排除的静止图像或运动图像段落。换言之，虽然系统控制单元50从主要部分区间内排除重叠场景，但是，系统控制单元50可以在主要部分区间以外，即在开头与主要部分之间、在主要部分与结尾之间和/或在开头与结尾之间，来选择重叠场景。
<段落跳转显示的示例>
图12A至图12C例示了在图8的步骤S810中的段落再现处理中的静止图像的显示示例。
图12A例示了当不存在与静止图像相对应的运动图像时的显示示例。仅显示了静止图像。
图12B例示了当存在与静止图像相对应的段落时的显示示例。显示了用于再现所有相应的运动图像的GUI按钮1202，以及用于显示相应段落的GUI按钮1203。当操作GUI按钮1203时，在存储关于显示的静止图像1201的运动图像的运动图像文件中，仅显示对应于显示的静止图像1201的运动图像的段落。当操作GUI按钮1202时，显示包括关于静止图像1201的运动图像的整个视频文件。在静止/运动图像拍摄同时记录模式中，在相同运动文件中记录同一天拍摄的关于静止图像的多个运动图像。因此，以串联对应于多个静止图像拍摄的多个运动图像的方式再现运动图像。
图12C例示了当存在与静止图像相对应的运动图像、但不存在相应的段落时的显示示例。显示了用于显示所有相应的运动图像的GUI按钮1202。如果还存在相应的段落，则也可以使用这样的显示。例如，本摄像装置能够在段落上叠加并记录内照相机图像，并且能够在叠加与不叠加之间切换。可以仅在存在叠加了内照相机图像的相应段落的情况下，才显示GUI按钮1203。如果在相应段落上没有叠加内照相机图像，则可以隐藏GUI按钮1203。
其他示例性实施例
以上，描述了本发明的示例性实施例。本发明并不限于这样的示例性实施例，并且，可以在不背离本发明的要旨的范围内进行各种变型及改变。
通过使用应用本发明的摄像装置作为示例，而描述了前述的示例性实施例。然而，本发明的示例性实施例也可以应用于诸如配备摄像头的移动电话以及便携式游戏机等的电子装置。可以不通过单个装置而是通过多个装置，来实现前述示例性实施例的功能。例如，可以通过如下的系统来实现前述示例性实施例的功能，在所述系统中，连接了具有多个摄像单元的摄像装置、包括显示单元的显示装置，以及包括CPU、ROM及DRAM的用于控制所述摄像装置及所述显示装置的控制装置。可以不由摄像装置，而是由能够获得由摄像装置拍摄的图像的图像再现装置，来进行图像再现处理。可以通过任意的组合来实现前述示例性实施例的一部分。
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能、和/或包括用于执行上述实施例中的一个或更多的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或多个的功能、和/或控制所述一个或多个电路执行上述实施例中的一个或多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或多个。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限定于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以便涵盖所有这些修改以及等同的结构和功能。

Claims (19)

1.一种图像再现装置，该图像再现装置包括：
确定单元，其被构造为从记录介质中记录的图像中确定要再现的多个图像，其中，所述确定单元确定静止图像或运动图像的部分作为要再现的图像；以及
再现控制单元，其被构造为连续地再现由所述确定单元确定要再现的多个图像，
其中，在所述记录介质中存储所述静止图像和包括插入了所述静止图像的部分的所述运动图像，
其中，所述确定单元确定要再现的多个图像从而所述静止图像和插入所述静止图像的所述运动图像的部分两者不都被再现。
2.根据权利要求1所述的图像再现装置，该图像再现装置还包括：
静止图像记录单元，其被构造为将静止图像记录在所述记录介质中；以及
运动图像记录单元，其被构造为将与由所述静止图像记录单元记录的所述静止图像相关联的运动图像记录在所述记录介质中，其中所述运动图像记录单元被构造为记录插入所述静止图像的所述运动图像。
3.根据权利要求1所述的图像再现装置，其中，所述确定单元能够在确定了静止图像进行再现的情况下，确定未插入所确定的静止图像的运动图像的部分作为要再现的图像。
4.根据权利要求1所述的图像再现装置，其中，所述确定单元能够在确定了要再现插入了所述静止图像的运动图像的部分的情况下，确定插入到所述运动图像的部分的静止图像作为要再现的图像。
5.根据权利要求1所述的图像再现装置，其中，将表示插入有静止图像的部分的信息记录在所述记录介质中。
6.根据权利要求1所述的图像再现装置，该图像再现装置还包括：
接收单元，其被构造为接收来自用户的要再现的图像的条件，并且，
其中，所述确定单元被构造为根据所述接收单元接收的所述条件，来确定要再现的多个图像。
7.根据权利要求1所述的图像再现装置，其中，被摄体信息被附加至所述多个静止图像和运动图像中的各个，并且，
其中，所述确定单元被构造为基于所述被摄体信息来确定要再现的多个图像。
8.根据权利要求1所述的图像再现装置，其中，摄影日期时间信息被附加至所述多个静止图像和运动图像中的各个，并且，
其中，所述确定单元被构造为基于所述摄影日期时间信息来确定要再现的多个图像。
9.根据权利要求1所述的图像再现装置，其中，将分别插入多个静止图像的多个运动图像作为运动图像文件，记录在所述记录介质中。
10.根据权利要求9所述的图像再现装置，其中，在所述运动图像文件中，各个运动图像以能够彼此区分的方式被记录。
11.根据权利要求10所述的图像再现装置，其中，各个运动图像以被划分为各个段落的方式被记录。
12.根据权利要求9所述的图像再现装置，其中，在所述运动图像文件中，记录有关于在所述运动图像中是否插入有所述静止图像的信息。
13.根据权利要求12所述的图像再现装置，其中，在所述运动图像文件中，记录有关于在所述运动图像中插入有所述静止图像的部分的信息。
14.根据权利要求12所述的图像再现装置，其中，在所述运动图像文件的头部分中，记录有关于在所述运动图像中是否插入有所述静止图像的所述信息。
15.根据权利要求1所述的图像再现装置，其中，所述运动图像被记录为运动图像文件，并且，关于是否插入所述静止图像的信息被记录在所述运动图像文件的头部分中。
16.根据权利要求1所述的图像再现装置，其中，所述确定单元基于关于静止图像的摄影日期时间信息以及关于运动图像的摄影日期时间信息，来确定所述静止图像和所述运动图像是否彼此关联。
17.根据权利要求1所述的图像再现装置，其中，所述确定单元基于与运动图像一起被记录的、关于插入有静止图像的部分的信息，来确定所述运动图像的插入有所述静止图像的时段。
18.根据权利要求1所述的图像再现装置，其中，所述确定单元在多个图像的连续再现的期间确定要再现的多个图像，以使得在所述连续再现的预定区间中，所述静止图像以及所述运动图像的、插入有所述静止图像的部分两者不都被再现，并且在所述预定区间之外，所述静止图像以及所述运动图像的、插入有所述静止图像的部分两者能够被再现。
19.一种图像再现装置的控制方法，该控制方法包括以下步骤：
从记录介质中，确定要再现的多个图像，其中，确定静止图像或运动图像的部分作为要再现的图像；以及
进行控制，以连续地再现所确定的所述要再现的多个图像，
其中，在所述记录介质中存储所述静止图像和插入了所述静止图像的所述运动图像的部分，
其中，在所述确定步骤中，进行控制，以使得静止图像以及运动图像的插入有所述静止图像的部分两者不都被选择进行再现。
CN201410817315.5A 2013-12-26 2014-12-24 图像再现装置及其控制方法 Active CN104754274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-269683 2013-12-26
JP2013269683A JP6324063B2 (ja) 2013-12-26 2013-12-26 画像再生装置及びその制御方法

Publications (2)

Publication Number Publication Date
CN104754274A true CN104754274A (zh) 2015-07-01
CN104754274B CN104754274B (zh) 2018-01-02

Family

ID=53372119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410817315.5A Active CN104754274B (zh) 2013-12-26 2014-12-24 图像再现装置及其控制方法

Country Status (5)

Country Link
US (1) US9848159B2 (zh)
JP (1) JP6324063B2 (zh)
CN (1) CN104754274B (zh)
DE (1) DE102014019255A1 (zh)
GB (1) GB2523452B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110050468A (zh) * 2017-11-14 2019-07-23 三星电子株式会社 显示设备及其控制方法和记录介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136061B2 (en) * 2015-01-30 2018-11-20 Microsoft Technology Licensing, Llc Automatic processing of automatic image capture parameter adjustment
CN105993163B (zh) * 2015-07-02 2018-12-14 深圳市大疆创新科技有限公司 图像处理系统、图像数据处理方法、装置及相关设备
KR102339178B1 (ko) * 2015-08-27 2021-12-14 엘지전자 주식회사 이동단말기 및 그 제어방법
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US9973696B1 (en) 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US9792709B1 (en) 2015-11-23 2017-10-17 Gopro, Inc. Apparatus and methods for image alignment
US9848132B2 (en) 2015-11-24 2017-12-19 Gopro, Inc. Multi-camera time synchronization
US9667859B1 (en) 2015-12-28 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US10298853B2 (en) * 2016-01-13 2019-05-21 Canon Kabushiki Kaisha Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
US9922387B1 (en) 2016-01-19 2018-03-20 Gopro, Inc. Storage of metadata and images
US9967457B1 (en) 2016-01-22 2018-05-08 Gopro, Inc. Systems and methods for determining preferences for capture settings of an image capturing device
US9665098B1 (en) 2016-02-16 2017-05-30 Gopro, Inc. Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle
US9743060B1 (en) 2016-02-22 2017-08-22 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
KR20170131101A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
US10268896B1 (en) 2016-10-05 2019-04-23 Gopro, Inc. Systems and methods for determining video highlight based on conveyance positions of video content capture
US9973792B1 (en) 2016-10-27 2018-05-15 Gopro, Inc. Systems and methods for presenting visual information during presentation of a video segment
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
US10187607B1 (en) 2017-04-04 2019-01-22 Gopro, Inc. Systems and methods for using a variable capture frame rate for video capture

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829287A (zh) * 2005-03-04 2006-09-06 索尼株式会社 图像处理方法和图像处理设备
US7228061B2 (en) * 2000-11-17 2007-06-05 Canon Kabushiki Kaisha Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses
CN101184160A (zh) * 2006-11-15 2008-05-21 三星Techwin株式会社 在再现运动画面期间捕获静止图像的方法
US20100247063A1 (en) * 2008-09-16 2010-09-30 Konica Minolta Business Technologies, Inc. Moving image recording/reproducing apparatus, moving image recording/reproducing method, and computer readable recording medium having moving image recording/reproducing program recorded thereon
US20110025865A1 (en) * 2009-07-30 2011-02-03 Keiji Kunishige Camera and camera control method
US20110055296A1 (en) * 2008-05-09 2011-03-03 Hiroaki Shimazaki Link information generation apparatus, picture recording apparatus, picture reproduction apparatus, recording medium, link information generation method, picture recording method, picture reproduction method, program, and integrated circuit
CN102006416A (zh) * 2009-08-28 2011-04-06 株式会社尼康 静止图像文件的数据结构、图像文件生成装置、图像重放装置及电子相机
US20120098839A1 (en) * 2010-10-21 2012-04-26 Sanyo Electric Co., Ltd. Image reproduction device, image reproduction method and program
CN102630001A (zh) * 2011-02-02 2012-08-08 佳能株式会社 图像数据记录设备及其控制方法
CN102860031A (zh) * 2010-04-09 2013-01-02 索尼公司 用于识别运动图像内容中包含的静止图像的装置和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2245794B (en) * 1990-07-03 1994-03-30 Sony Corp Video signal generation
JP3339980B2 (ja) * 1994-02-18 2002-10-28 松下電器産業株式会社 画像合成装置
JPH10224727A (ja) 1997-02-12 1998-08-21 Minolta Co Ltd 画像再生装置及び画像制御方法
JP2006165767A (ja) * 2004-12-03 2006-06-22 Nikon Corp デジタルカメラ
JP4724577B2 (ja) * 2005-05-11 2011-07-13 キヤノン株式会社 撮像装置及びその制御方法
JP4574489B2 (ja) * 2005-08-12 2010-11-04 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
US8049678B2 (en) * 2005-09-09 2011-11-01 Lg Electronics, Inc. Image capturing and displaying method and system
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
JP2008154099A (ja) * 2006-12-19 2008-07-03 Toshiba Corp カメラ装置およびカメラ装置における静止画生成方法
TWM396413U (en) * 2010-08-27 2011-01-11 Digilife Technologies Co Ltd Image capture device
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
JP2012249175A (ja) * 2011-05-30 2012-12-13 Olympus Imaging Corp 撮像装置、表示方法およびプログラム
JP6206699B2 (ja) * 2012-03-14 2017-10-04 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータプログラム
JP2013239796A (ja) * 2012-05-11 2013-11-28 Canon Inc 画像処理装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228061B2 (en) * 2000-11-17 2007-06-05 Canon Kabushiki Kaisha Image display system, image reproducing apparatus, digital television apparatus, image display method, and storage medium for controlling image display based on additional information read from multiple image recording apparatuses
CN1829287A (zh) * 2005-03-04 2006-09-06 索尼株式会社 图像处理方法和图像处理设备
CN101184160A (zh) * 2006-11-15 2008-05-21 三星Techwin株式会社 在再现运动画面期间捕获静止图像的方法
US20110055296A1 (en) * 2008-05-09 2011-03-03 Hiroaki Shimazaki Link information generation apparatus, picture recording apparatus, picture reproduction apparatus, recording medium, link information generation method, picture recording method, picture reproduction method, program, and integrated circuit
US20100247063A1 (en) * 2008-09-16 2010-09-30 Konica Minolta Business Technologies, Inc. Moving image recording/reproducing apparatus, moving image recording/reproducing method, and computer readable recording medium having moving image recording/reproducing program recorded thereon
US20110025865A1 (en) * 2009-07-30 2011-02-03 Keiji Kunishige Camera and camera control method
CN102006416A (zh) * 2009-08-28 2011-04-06 株式会社尼康 静止图像文件的数据结构、图像文件生成装置、图像重放装置及电子相机
CN102860031A (zh) * 2010-04-09 2013-01-02 索尼公司 用于识别运动图像内容中包含的静止图像的装置和方法
US20120098839A1 (en) * 2010-10-21 2012-04-26 Sanyo Electric Co., Ltd. Image reproduction device, image reproduction method and program
CN102630001A (zh) * 2011-02-02 2012-08-08 佳能株式会社 图像数据记录设备及其控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110050468A (zh) * 2017-11-14 2019-07-23 三星电子株式会社 显示设备及其控制方法和记录介质
US11234042B2 (en) 2017-11-14 2022-01-25 Samsung Electronics Co., Ltd. Display device, control method therefor and recording medium

Also Published As

Publication number Publication date
GB2523452B (en) 2018-08-29
JP2015126388A (ja) 2015-07-06
CN104754274B (zh) 2018-01-02
US9848159B2 (en) 2017-12-19
JP6324063B2 (ja) 2018-05-16
DE102014019255A1 (de) 2015-07-02
US20150189221A1 (en) 2015-07-02
GB2523452A (en) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104754274A (zh) 图像再现装置及其控制方法
CN101312502B (zh) 图像拍摄装置、图像再现装置以及图像拍摄方法
JP6460783B2 (ja) 画像処理装置及びその制御方法
CN104754194B (zh) 摄像装置及其控制方法
JP6180285B2 (ja) 撮像装置、撮像方法、及びプログラム
US11437073B2 (en) Image processing apparatus capable of properly editing moving image file, image capture apparatus, image processing method, and storage medium
JP2007036587A (ja) 撮像装置及びその制御方法
JP7213657B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2010049658A (ja) 画像検索装置、画像検索方法、プログラム及び記録媒体
JP2018152699A (ja) デジタルカメラ
JP2021129200A (ja) 動画再生装置
JP6702698B2 (ja) 撮像装置及び情報処理方法
JP5207880B2 (ja) 撮像装置、その制御方法及びプログラム
JP2015171115A (ja) 撮像装置
JP2016082276A (ja) 撮像装置
JP2019110383A (ja) 撮像装置及び撮像装置の制御方法
JP6238735B2 (ja) 撮像装置およびその制御方法
JP2015126390A (ja) 撮像装置およびその制御方法
JP2021093700A (ja) 撮像装置
JP5289101B2 (ja) 画像処理装置、方法及びプログラム
JP2013150280A (ja) 撮像装置及びその制御方法
JP2018207418A (ja) 撮像装置
JP2005130392A (ja) 画像処理装置
JP2019087954A (ja) 撮像装置
JP2016063242A (ja) 撮像装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant