CN101299801A - 摄像设备及其控制方法 - Google Patents

Abstract

本发明提供一种摄像设备及其控制方法。响应于正在进行运动图像捕获操作时用以开始静止图像捕获操作的输入指令，摄像设备控制静止图像捕获操作以将静止图像文件记录在记录介质上，中断运动图像捕获操作，生成运动图像，并且将所生成的运动图像记录在记录介质上，其中，在该运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断运动图像捕获操作时段相对应的运动图像的图像。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种摄像设备及其控制方法。更具体地，本发明涉及一种用于在记录介质上记录利用摄像单元所捕获的图像数据的摄像设备和该摄像设备的控制方法。

背景技术

传统数字照相机将利用电荷耦合装置(CCD)等图像传感器所捕获的图像的图像信号转换成数字信号，将数字信号处理成包括亮度信号和色差信号的数字视频信号，然后将数字视频信号压缩成联合图像专家组(JPEG)编码的图像数据，并且将压缩的图像数据记录在记录介质上。近年来，数字照相机中的传统图像传感器具有10,000,000像素或更高的高分辨率。

同时，传统数字照相机在读取图像信号时可以跳过读取其图像传感器的一些水平行和垂直行来读取图像信号，并且高速将所读取的图像信号记录为运动图像。此外，近年来，传统数字照相机具有两种图像捕获模式，即静止图像捕获模式和运动图像捕获模式。用户可以在这两种图像捕获模式之间进行切换。

近年来，如在日本特开2004-201282号公报中所讨论的，在运动图像的记录的同时，可以捕获静止图像。日本特开2004-201282号公报中所讨论的方法减少了下面的现象的发生：在运动图像的记录的同时捕获静止图像的情况下，可能将基于运动图像捕获模式中所捕获的图像数据所生成的压缩的运动图像数据文件跨静止图像文件分割成两个文件，其中，中断了运动图像捕获模式以开始捕获静止图像。更具体地，日本特开2004-201282号公报中所讨论的方法如下来减少分割运动图像数据文件的现象，即：通过使用位于紧挨在静止图像捕获时段之前的运动图像数据的一个帧作为替代帧，并且连续一段时间将同一替代帧存储在运动图像数据文件中，连续存储的时间长度与捕获静止图像的时段相同。

此外，特开2004-201282号公报讨论了这样一种方法，该方法用于将恢复为了开始捕获静止图像而一度被中断的摄像单元的运动图像捕获处理的定时与中断前所进行的运动图像捕获处理中的捕获运动图像帧的周期同步。另外，日本特开2003-8948号公报讨论了一种使用特殊图像数据或无显示图像(solidimage)作为替代丢失的运动图像帧的替代帧。

然而，在上述传统方法中，由于这些方法对黑图像(黑视图像：blackout image)或替代帧(定格图像：stop motion image)进行复制，并将该黑图像或替代帧插入运动图像数据文件中，因而运动图像数据文件的文件大小可能变大。

此外，在上述传统方法中，当将相同定格图像输入图像编解码器中时，参考图像的质量可能变得低于输入图像。因此，压缩比可能不会如期望的高。

发明内容

本发明涉及一种摄像设备，该摄像设备能够降低在被中断以开始捕获静止图像的运动图像记录处理的中断期间所插入的运动图像数据的大小，从而降低将图像数据写到记录介质上的负荷。

根据本发明的一个方面，一种摄像设备，用于将由摄像单元所捕获的图像数据记录在记录介质上，所述摄像设备包括：运动图像捕获控制单元，用于对用于将通过所述摄像单元的连续图像捕获操作所获得的运动图像记录在记录介质上的运动图像捕获操作进行控制；以及静止图像捕获控制单元，用于对用于将通过所述摄像单元的图像捕获操作所获得的静止图像作为静止图像文件记录在记录介质上的静止图像捕获操作进行控制；其中，响应于正在进行所述运动图像捕获操作时用以开始所述静止图像捕获操作的输入指令，所述静止图像捕获控制单元对所述静止图像捕获操作进行控制，以将所述静止图像文件记录在记录介质上，所述运动图像捕获控制单元中断所述运动图像捕获操作，生成如下运动图像并将所生成的运动图像记录在所述记录介质上：在所述运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断所述运动图像捕获操作的时段相对应的运动图像的图像。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包括在说明书中并构成说明书的一部分的附图，示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1示出根据本发明的典型实施例的数字照相机的结构的例子；

图2是示出根据本发明的典型实施例在运动图像记录操作期间所进行的用于捕获静止图像的处理的例子的流程图；

图3是示出根据本发明的典型实施例在进行静止图像捕获操作时所进行的用于生成运动图像文件的处理的例子的流程图；

图4A～4D示出根据本发明的典型实施例在运动图像记录操作期间进行静止图像捕获操作时所进行的序列；

图5示出根据本发明的第一典型实施例在运动图像记录操作期间进行静止图像捕获操作的情况下的运动图像文件的数据结构的例子；

图6是示出根据本发明的第二典型实施例在进行静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图；

图7示出根据本发明第二典型实施例在运动图像记录操作期间进行静止图像捕获操作的情况下的运动图像文件的数据结构的例子；

图8是示出根据本发明的第三典型实施例在进行静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图；

图9示出根据本发明的第三典型实施例在运动图像记录操作期间进行静止图像捕获操作的情况下的运动图像文件的数据结构的例子；

图10是示出根据本发明的第四典型实施例在进行静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图；

图11示出根据本发明的第四典型实施例在运动图像记录操作期间进行静止图像捕获操作的情况下的运动图像文件的数据结构的例子。

具体实施方式

这里将参考附图详细说明本发明的各种典型实施例、特征和方面。应该注意，除非特别说明，否则，这些实施例中所提出的组件的相对布置、数值表达式和数值不是旨在限制本发明的范围。

第一典型实施例

下面说明本发明的第一典型实施例。图1示出根据典型实施例的用作摄像设备的数字照相机100的结构的例子。

参考图1，摄影镜头6包括一个或多个透镜元件。曝光控制单元8包括光圈和快门，并根据被摄体的亮度水平调整曝光水平。用作摄像单元的图像传感器10包括电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，并具有数百万像素的分辨率。图像传感器10输出通过捕获图像所获得的各颜色成分的模拟图像信号。

模拟-数字(A/D)转换器12将来自图像传感器10的模拟信号转换成数字信号。动态随机存取存储器(DRAM)14临时存储来自A/D转换器12的数字图像信号，并临时缓冲信号处理的图像数据或压缩的图像数据(后面将详细说明该处理)。设置有存储器控制器(未示出)以将数据写到DRAM 14上和从DRAM 14读取数据。

信号处理单元16将通过A/D转换器12所获得的数字图像信号转换成亮度信号和色差信号以生成YUV数据。图像编解码器单元18将来自信号处理单元16的YUV数据压缩成JPEG或运动图像专家组(MPEG)图像数据，或者将JPEG或MPEG压缩的图像数据解压缩成YUV数据。

记录介质接口20将压缩的图像数据写到闪存(CompactFlash，CF)卡或安全数字(Secure Digital，SD)卡并从闪存卡或安全数字卡读取压缩的图像数据。记录介质21包括CF卡或SD卡等可移动记录介质。可以使用可随机存取的任何记录介质作为记录介质21。例如，可以使用数字多功能光盘(DVD)等光盘或硬盘作为记录介质21。

显示单元22包括彩色液晶显示器(LCD)。显示单元22可以用于基于所捕获的图像进行取景器显示或查阅显示(reviewdisplay)，并用于再现和显示解压缩的图像。显示单元22包括用于将视频信号输出给电视机等外部显示设备的输出端子。

调整大小单元(resizing unit)24将从信号处理单元16输出的YUV数据的大小调整成任意确定的大小。中央处理单元(CPU)26控制上述各处理单元和数据流(后面将详细说明)。

只读存储器(ROM)27存储用于CPU 26的处理的程序、各种信息和数据。更具体地，ROM 27存储后面将详细说明的MPEG编码后的黑视图像(blackout image)数据、跳过的宏块图像数据(skipped macroblock image data)和伪快门声音(pseudoshutter sound)的WAVE数据。图像传感器10、A/D转换器12、DRAM 14、信号处理单元16、调整大小单元24、图像编解码器单元18、记录介质接口20、显示单元22、CPU 26和ROM 27通过系统总线33相互进行通信。

此外，在各单元与DRAM 14之间设置直接存储器存取(DMA)控制器(未示出)，DMA控制器用于DMA数据传送，而不需要使用CPU 26的数据传送。而且，在A/D转换器12和信号处理单元16之间、在信号处理单元16和图像编解码器单元18之间、以及在信号处理单元16和调整大小单元24之间设置用于直接传输数据的路径(未示出)，而不需要使用CPU 26或DMA控制器的数据传送。

音频处理单元28记录和再现音频数据。在记录音频数据中，可以使用麦克风30来输入音频数据。扬声器32可以再现记录的音频数据。音频处理单元28对音频数据进行A/D和数字-模拟(D/A)转换处理，并记录和再现音频数据。

操作单元23包括各种按钮和释放开关23a和运动图像记录开关23b等拨盘开关。用户可以操作释放开关23a以生成用于启动捕获静止图像的指令。用户可以操作运动图像记录开关23b以生成用于启动或中断(停止)运动图像记录处理的指令。

下面说明根据典型实施例的运动图像捕获操作。在本典型实施例中，CPU 26具有运动图像捕获控制功能。即，CPU 26对图1中的各单元进行控制，以进行运动图像记录操作。

通过摄影镜头6的光束到达包括光圈和快门的曝光控制单元8。曝光控制单元8控制光束的曝光。然后，光束到达图像传感器10以形成图像。在运动图像捕获模式中，快门(曝光控制单元8的机械组件)打开，并且曝光控制单元8的光圈控制曝光。图像传感器10对被摄体图像进行光电转换。图像传感器10将模拟图像信号发送给A/D转换器12。

A/D转换器12将所接收的模拟图像信号转换成数字图像信号。A/D转换器12通过系统总线33将数字图像信号传送给信号处理单元16。在运动图像捕获模式中，不是从图像传感器10读取所有像素。即，根据记录帧频读取在水平方向和垂直方向上稀疏(thin out)后的像素，从而降低调整大小单元24的负荷。信号处理单元16根据运动图像捕获模式进行水平和垂直方向上的滤波处理、光圈校正处理和伽马校正处理。然后将这样处理后的图像信号传送给调整大小单元24。

调整大小单元24将图像信号的大小调整成视频图形阵列(Video Graphics Array，VGA)格式大小(640(水平)×480(垂直)行)，并将调整大小后的图像信号传送给DRAM 14。然后将存储在DRAM 14上的VGA图像数据传送给显示单元22，以在电视机(未示出)或数字照相机100的LCD上显示为直通图像(throughimage)。在本典型实施例中，将直到进行显示处理时的数字照相机100的状态称为“运动图像捕获准备状态”。

当用户在运动图像捕获准备状态中按下操作单元23的运动图像记录按钮23b时，CPU 26对各单元进行控制，以启动运动图像记录操作。

即，与利用图像编解码器单元18将DRAM 14上的VGA图像数据转换成MPEG数据并行地，音频处理单元28将通过麦克风30所捕获的音频数据转换成WAVE音频数据。然后，CPU 26向MPEG数据和WAVE数据添加头，以生成音频视频交织(AudioVideo Interleaving，AVI)运动图像数据文件。然后通过记录介质接口20将这样生成的运动图像文件记录在记录介质21上。运动图像记录处理继续直到用户再次按下运动图像记录开关23b为止。

以下，在本典型实施例中，将包括运动图像捕获准备状态和运动图像记录状态这两种状态的状态称为“运动图像捕获操作状态”。记录运动图像文件的格式不局限于AVI格式。即，可以使用MOV格式或MPEG格式记录运动图像数据。此外，可以使用压缩的音频数据。

下面说明根据本典型实施例的静止图像捕获操作。在本典型实施例中，CPU 26具有静止图像捕获控制功能。即，CPU 26对图1中的各单元进行控制，以进行静止图像捕获操作。

在静止图像捕获准备状态下，处理基本上类似于在上述运动图像捕获准备状态下所进行的处理。因此，将利用图像传感器10所捕获的图像的直通图像显示在显示单元22上。

操作单元23的释放开关23a包括两级开关。当用户半按下释放开关23a时，接通开关SW1。当用户完全按下释放开关23a，则接通开关SW2。当开关SW1接通时，数字照相机100切换到图像捕获准备状态。当开关SW2接通时，数字照相机100切换到静止图像捕获操作状态。

更具体地，在开关SW1接通的图像捕获准备状态下，CPU26进行进行静止图像捕获操作所需的自动调焦(AF)处理和自动测光(自动曝光：AE)处理。当用户按下开关SW2，并因此数字照相机100从准备状态切换到静止图像捕获工作状态时，关闭第一帘幕电子快门，然后中断从图像传感器10读取图像信号，然后数字照相机100将图像传感器10的模式切换到曝光模式。然后，CPU 26根据基于图像捕获准备状态下的被摄体的亮度水平计算出的曝光设置值，设置光圈值。然后，CPU 26在清除图像传感器10上的残余电荷后所以计算出的快门速度打开和关闭快门。

当快门完全关闭时，CPU 26将图像传感器10的模式从曝光模式切换到读取模式。在读取模式中，CPU 26读取多个场中的所有像素的数据。

A/D转换器12将这样所读取的信号转换成数字信号。然后，CPU 26通过系统总线33将RAW数据从A/D转换器12传送给DRAM 14。当完成了从图像传感器10的读取时，CPU 26启动显影处理。

在显影处理中，CPU 26从DRAM 14读取RAW数据，并将所读取的数据传送给信号处理单元16。信号处理单元16在静止图像捕获模式中进行水平/垂直滤波处理、光圈校正处理和伽马校正处理。在进行这些处理之后，CPU 26将这样生成的YUV数据传送给图像编解码器单元18。图像编解码器单元18将所接收的YUV数据转换成JPEG数据。然后，图像编解码器单元18将JPEG数据写到DRAM 14上。

显影处理包括从用于从DRAM 14读取RAW数据的处理开始到用于将JPEG数据写到DRAM 14上的处理为止的处理。

将这样所生成的静止图像数据(JPEG数据)写到记录介质21上，作为静止图像文件。还将正经过显影处理的来自信号处理单元16的YUV数据传送给调整大小单元24。调整大小单元24将所接收的YUV数据的大小调整成与VGA大小一样的大小，以显示查阅图像。然后，CPU 26将调整大小后的数据写到DRAM14上。在完成显影处理后，CPU 26将VGA大小的YUV数据传送给显示单元22，以显示图像捕获时用于确认的查阅图像。将所传送的YUV数据作为查阅图像显示在电视机或数字照相机100的LCD上。

如上说明了根据本典型实施例的运动图像捕获操作和静止图像捕获操作。此外，数字照相机100可以在运动图像记录操作期间捕获静止图像。即，数字照相机100可以与运动图像记录处理并行地进行静止图像捕获处理和静止图像记录处理。下面参考图2所示的流程图说明CPU 26所进行的、用于在运动图像记录处理期间捕获静止图像的处理。

参考图2，在步骤S200，CPU 26根据上述运动图像捕获操作捕获运动图像，并且记录所捕获的运动图像。即，在步骤S200，用户按下操作单元23的运动图像记录开关23b，CPU 26根据用户按下运动图像记录开关23b来生成AVI文件(运动图像)，并将其记录在记录介质21上。

在步骤S202，CPU 26监视并判断在运动图像的记录期间用户是否按下了释放开关23a的半按下检测开关SW1。如果在步骤S202判断为开关SW1断开(步骤S202为“否”)，则CPU 26继续运动图像记录操作。

当用户半按下释放开关23a从而开关SW1接通时，处理进入步骤S204。在步骤S204，CPU 26与运动图像的记录并行地进行静止图像捕获准备处理(AF处理和AE处理)。

在步骤S206，CPU 26监视开关SW1以判断用户是否按下了开关SW1(用户是否半按下了释放开关23a)。如果在步骤S206判断为开关SW1接通(步骤S206为“是”)，则CPU 26继续AF处理和AE处理。另一方面，如果在步骤S206判断为开关SW1断开(步骤S206为“否”)，则CPU 26结束静止图像捕获准备操作。在这种情况下，CPU 26返回到步骤S202以继续运动图像记录处理。

当开关SW1接通且完成了静止图像捕获准备处理时，处理进入步骤S208。在步骤S208，CPU 26监视开关SW2以判断用户是否完全按下了释放开关23a(开关SW2是否接通)。

如果在步骤S208判断为开关SW2断开且开关SW1接通(步骤S208为“否”)，则CPU 26继续AF处理和AE处理。另一方面，如果在步骤S208判断为开关SW2接通(步骤S208为“是”)，则处理进入步骤S210。在步骤S210，CPU 26进行静止图像捕获操作。

步骤S210中的静止图像捕获操作基本上类似于上述静止图像捕获操作。步骤S210中的静止图像捕获操作与上述静止图像捕获操作的不同点在于：在步骤S210，CPU 26临时中断运动图像的记录以在运动图像的记录期间捕获静止图像。此时，CPU26切换图像传感器10的驱动模式。因此，CPU 26不能基于运动图像生成运动图像帧。

在本典型实施例中，插入替代帧和跳过的宏块图像来替代丢失的运动图像帧。后面将参考图3所示的用于在捕获静止图像的同时生成运动图像文件的处理的流程图，详细说明用于插入替代帧和跳过的宏块图像的处理。

当完成了静止图像捕获操作时，然后在步骤S212，CPU 26进行用于已被中断的运动图像捕获操作的准备操作。在步骤S214，CPU 26返回到步骤S200以再次进行运动图像捕获操作。

现参考图3的流程图说明用于生成运动图像文件的处理。基本上与静止图像捕获操作并行地进行图3中的处理。

参考图3，如果在步骤S208判断为开关SW2接通(步骤S208为“是”)，则开始步骤S301中的处理。在步骤S301，CPU 26中断运动图像捕获操作，并开始该处理。

在步骤S302，CPU 26开始计数黑视图像的数量N1，其被先前设置为与中断运动图像捕获操作以捕获静止图像的时段相对应的值。这里，将数量N 1的初始值i设置为1。

在步骤S303，为了插入黑视图像和跳过的宏块图像作为运动图像帧中的第一替代帧，CPU 26判断替代帧是否是图片组(group of picture，GOP)的第一帧。

如果在步骤S303判断为替代帧是GOP的第一帧(步骤S303为“是”)，则处理进入步骤S304。在步骤S304，CPU 26输出已被图像编解码器单元18编码的黑视图像I帧。

另一方面，如果在步骤S303判断为替代帧不是GOP的第一帧(步骤S303为“否”)，则处理进入步骤S305。在步骤S305，CPU26判断是否值i＝1。如果在步骤S305判断为值i＝1(步骤S305为“是”)，则处理进入步骤S306。在步骤S306，CPU 26输出已被图像编解码器单元18编码的黑视图像P帧。

如果在步骤S303判断为替代帧不是GOP的第一帧(步骤S303为“否”)，并且在步骤S305判断为i≠1(步骤S305为“否”)，则处理进入步骤S307。在步骤S307，CPU 26输出跳过的宏块图像(SMB图像)。

这里，“I帧”是指作为关键帧的帧内编码帧。此外，“P帧”是指作为差异帧(包括B帧)的预测帧。“黑视图像”是无显示黑MPEG数据(solid black MPEG data)。因为黑视图像是MPEG压缩的无显示黑图像，因而黑视图像的数据大小非常小。

这里，SMB图像是包括关于帧间的差异的信息的帧间编码的(压缩的)图像。例如，SMB图像是运动矢量为0的图像。SMB图像的数据大小非常小。即，例如，如果被调整成VGA大小，则SMB图像的大小约数十字节。这里提及的SMB图像是存储在ROM 27(图1)上的SMB图像27b。以VGA大小对SMB图像27b进行MPEG编码。

从ROM 27读取SMB图像27b，然后将其插入运动图像文件(AVI数据)作为第一替代帧。

如果定格图像(后面说明)为P帧，则由于在这种情况下需要黑视图像作为参考帧，所以CPU 26利用图像编解码器单元18生成黑视图像。

图5示出根据典型实施例在运动图像的记录期间捕获静止图像的同时所记录的运动图像文件的结构的例子。

参考图5，在生成编号为8的帧的定格图像P帧时，需要获取和使用关于编号为7的帧的信息。同样，对于编号为7的帧，需要获取和使用关于编号为6的帧的信息。相似地，对于编号为6的帧，需要获取和使用关于编号为5的帧的信息，并且对于编号为5的帧，需要获取和使用关于编号为4的帧的信息。

因此，由于在生成编号为8的帧的定格图像P帧时需要获取和使用关于编号为4的帧的信息，因而CPU 26利用图像编解码器单元18生成编号为4的帧的黑视图像P帧。可选地，CPU 26为了利用图像编解码器单元18生成定格图像P帧，临时存储关于编号为4的帧的信息。

由于编号为5～7的帧是SMB图像27b，因而CPU 26使用关于编号为4的帧的信息而不使用关于编号为7的帧的信息，生成编号为8的帧。

在定格图像是I帧的情况下，不需要黑视图像作为参考帧。因此，在这种情况下，图像编解码器单元18不生成黑视图像。此外，在这种情况下，CPU 26从ROM 27读取MPEG编码的黑视图像27a(图1)，并且将所读取的黑视图像27a插入运动图像文件(AVI数据)中，作为第一替代帧。可选地，CPU 26可以生成黑视图像27a，而不是从ROM 27读取MPEG编码的黑视图像27a。

第一替代帧的长度(时段)等于照相机绿色模式(自动模式)下的最大曝光时间，约为1/8秒(125毫秒)。在以30帧/秒的速度捕获运动图像的情况下，1/8秒中的帧的数量为4。

因此，CPU 26向AVI文件中插入一个黑视图像27a(从ROM27读取的)(或利用图像编解码器单元18生成的一个黑视图像)和三个SMB图像27b。这里，CPU 26可以插入包括“捕获静止图像...”等消息的图像，替代黑视图像。

在步骤S308，CPU 26判断黑视图像的数量是否达到了值N1。如果在步骤S308判断为黑视图像的数量没有达到值N1(步骤S308为“否”)，则处理进入步骤S309。在步骤S309，CPU 26将值i递增，然后返回到步骤S303。另一方面，如果在步骤S308判断为黑视图像的数量达到了值N1(步骤S308为“是”)，则处理进入步骤S310。

在步骤S310，CPU 26从ROM 27读取伪快门声音数据27c(图1)，并将所读取的伪快门声音数据27c插入运动图像文件(AVI文件)中，作为音频数据。另外，在步骤S310，CPU 26将伪快门声音数据27c输出给音频处理单元28，以利用扬声器32再现伪快门声音数据27。设置伪快门声音数据27c的时间长度基本上与上述黑视图像数据的时间长度相同。

此时，如果伪快门声音数据27c突然替换了通过麦克风30所记录的音频数据，则音频数据的突然替换可能导致生成高频分量，并且可能由于混叠而生成噪声数据。

在这点上，在利用伪快门声音数据27c替代音频数据的时段中(即，在利用扬声器32再现伪快门声音数据27c的时段中)，音频处理单元28不检测音频信息(使待再现的音频数据静音)。然后，CPU 26在静音后的音频数据上插入伪快门声音数据27c。因此，可以将高质量的伪快门声音数据27c插入音频数据，而不会生成可能由于混叠而产生的高频噪声。

在步骤S311，CPU 26等待直到完成上述静止图像捕获操作中的静止图像显影处理为止。当静止图像显影处理完成时，处理进入步骤S312。

在静止图像显影处理完成之后，CPU 26利用图像编解码器单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2)中的处理一样，并且基于JPEG编码的数据生成一个静止图像文件。将这样生成的静止图像文件与运动图像文件分开存储在记录介质21上。

与上述处理并行、或在上述处理完成之后，在步骤S312，CPU 26基于显影后的静止图像，利用调整大小单元24生成VGA大小的查阅图像。然后，CPU 26开始计数定格图像的数量N2。这里，数量N2的初始计数值j为1。

在步骤S313，CPU 26判断替代图像(定格图像)是否是GOP的第一帧。如果在步骤S313判断为替代图像是GOP的第一帧(步骤S313为“是”)，则在步骤S314，CPU 26利用图像编解码器单元18将查阅图像数据编码成定格图像I帧，并输出定格图像I帧。

另一方面，如果在步骤S313判断为替代图像不是GOP的第一帧(步骤S313为“否”)，则处理进入步骤S315。在步骤S315，CUP 26判断是否值j＝1。如果在步骤S315判断为值j＝1(步骤S315为“是”)，则处理进入步骤S316。在步骤S316，CPU 26利用图像编解码器单元18将查阅图像数据编码成定格图像P帧，并输出定格图像P帧。

另一方面，如果在步骤S313判断为替代帧不是GOP的第一帧(步骤S313为“否”)且在步骤S315判断为值j≠1(步骤S315为“否”)，则处理进入步骤S317。在步骤S317，CPU 26输出SMB图像。

在步骤S318，CPU 26判断值j是否达到了定格图像的数量N2。如果在步骤S318判断为值j没有达到定格图像的数量N2(步骤S318为“否”)，则处理进入步骤S319。在步骤S319，CPU 26将j值递增，然后返回到步骤S313。另一方面，如果在步骤S318判断为值j达到了定格图像的数量N2(步骤S318为“是”)，则处理进入步骤S320。在步骤S320，处理进入步骤S212(图2)。

VGA大小的编码的图像(定格图像)是第二替代帧数据。CPU 26使用数量等于在显影处理时段期间记录被中断的运动图像帧的数量的SMB图像或定格图像，利用与黑视图像(第一替代帧)连续的第二替代帧对AVI文件进行插值。即，CPU 26向AVI文件中插入第二替代帧适当次数。

在插入第二替代帧的时段期间，在利用音频处理单元28基于通过麦克风30所输入的音频数据生成WAVE数据之后，CPU26将音频数据插入AVI文件。即，当再现AVI文件时，在中断运动图像记录以捕获静止图像的时段中的第一替代帧的黑视图像时段期间，再现包括伪快门声音数据27c和所记录的音频数据的组合的音频数据。在第二替代帧的定格图像时段中，再现与在静止图像捕获操作期间实际捕获的静止图像相对应的帧，并且还再现在第二替代帧的定格图像时段期间所记录的音频数据。

在步骤S320，如上所述，CPU 26返回到步骤S212(图2)，并准备恢复运动图像捕获操作。更具体地，在步骤S212，CPU 26切换图像传感器10的模式以读取运动图像，将信号处理单元16、调整大小单元24和图像编解码器单元18的设置切换成用于处理运动图像的设置，并且切换数据路径。在步骤S214，CPU 26返回到步骤S200以再次开始运动图像捕获操作，从而连续进行待记录的运动图像的捕获。

图4A～4D示出运动图像的记录期间所进行的用于捕获静止图像的序列。更具体地，图4A示出图像捕获操作期间切换数字照相机100的操作状态的序列。图4B示出图像捕获操作期间用于改变在显示单元22上显示的直通图像(through image)的序列。图4C示出与图像捕获操作和图像记录操作的序列相对应的用于记录所生成的运动图像文件(AVI文件)的状态。即，图4C示出在再现运动图像文件(AVI文件)时用于改变在数字照相机100的LCD或电视机的监视器上显示的图像的序列。图4D示出用于将所生成的AVI文件写到记录介质21上的假定时序。

如后面更加详细的说明的，运动图像捕获操作和静止图像捕获操作中用于将图像数据记录在记录介质21上的处理与图4A中的时序不一致。这里，在图4A～4D的各图中，从各图的最左部分到释放开关23a的开关SW1接通的定时的时段表示：正在进行运动图像捕获操作。

参考图4A，时段S400对应于正在进行运动图像捕获操作的时段。当在时段S400期间正在捕获运动图像的同时，在时段S418(图4B)，CPU 26将所捕获的运动图像的直通图像显示在显示单元22上，在时段S428(图4C)，CPU 26将运动图像和音频数据记录为运动图像文件。

在从接通开关SW1的时刻开始到接通开关SW2的时段为止的时段S402(图4A)，CPU 26在捕获运动图像并记录所捕获的运动图像的同时，进行静止图像捕获准备处理(AF处理和AE处理)。

在时段S420(图4B)，CPU 26将在静止图像捕获准备操作中所进行的AE处理和AF处理的序列期间所捕获的运动图像显示在显示单元22上。在时段S430(图4C)，CPU 26将在静止图像捕获准备操作中所进行的AE处理和AF处理的序列期间所捕获的运动图像记录为运动图像文件。

这里，在接通开关SW2之前的时段，图4A、4B和4C中的定时相互一致。然而，在接通开关SW2之后，图4A、4B和4C中的时序相互一致。下面说明接通开关SW2之后进行的序列。

在时段S404(图4A)，在接通开关SW2之后图像传感器10的模式立即被改变。更具体地，图像传感器10的模式被从运动图像读取模式切换到静止图像曝光模式。随后的时段S406(图4A)是静止图像的曝光时段。在本典型实施例中，对于曝光时段，CPU 26在1/2000秒～1/8秒的范围中可变地控制被摄体图像的曝光。

在时段S408(图4A)，CPU 26从图像传感器10读取多个场中的静止图像的所有像素。该读取处理需要约300毫秒时间。

在时段S410(图4A)，CPU 26对静止图像进行显影处理。显影处理包括从DRAM 14读取RAW数据和将JPEG编码的数据写到DRAM 14上。

在时段S412(图4A)，CPU 26生成查阅图像。这里，CPU 26利用调整大小单元24将从信号处理单元16传送的具有上述内容的YUV数据调整成VGA大小。此外，CPU 26将调整大小后的图像作为查阅图像写到DRAM 14上。

在与时段S422相对应的时段S404～S412期间(图4B中的黑视时段)，CPU 26在显示单元22上显示黑视图像(无显示图像)。

显示黑视图像以清楚地通知用户：数字照相机100当前正在捕获静止图像，并且对所捕获的静止图像进行显影处理。更具体地，在S404～S412的时段，CPU 26显示不同于EVF直通图像的无显示图像。即，这里所显示的图像与在正常静止图像捕获操作中所显示的图像相同。

在时段S414(图4A)，CPU 26基于在时段S412中生成的查阅图像，生成待插入运动图像文件中的第二替代帧的数据。在时段S414，CPU 26利用图像编解码器单元18将VGA大小的YUV压缩成MPEG数据。此外，CPU 26插入SMB图像作为丢失的运动图像帧的替代帧，并且生成包括此时所获得的音频数据的运动图像文件。

在与时段S414(图4A)相对应的时段S424(图4B)，CPU 26在显示单元22上显示查阅图像。

在时段S432(图4C)，CPU 26利用黑视图像和SMB图像(无显示图像)对运动图像文件的记录期间捕获静止图像时从S404(用于改变图像传感器10的模式的时段)到S406(曝光期)的时段进行插值。

曝光时间可以基于被摄体的亮度水平而变化。在本典型实施例中，将黑视时段S432设置成最大曝光时间(即，50+80＝130毫秒)。CPU 26在时段S432期间插入伪快门声音数据。

在时段S434(图4C)，CPU 26插入基于在时段S412中所生成的查阅图像所生成的替代帧数据和SMB图像，以替代丢失的运动图像帧。时段S434是运动图像文件定格时段。时段S434在黑视(第一替代帧)时段之后立即开始，并且在返回到运动图像捕获操作之前结束。

CPU 26在捕获静止图像之后进行下面的序列。在时段S416(图4A)，CPU 26恢复运动图像捕获操作。在时段S426(图4B)，CPU 26再次在显示单元22上显示运动图像的直通图像。在时段S436(图4C)，CPU 26将运动图像记录在运动图像文件中。

通常，静止图像捕获操作期间的快门的实际操作包括打开关闭的快门。为了在运动图像文件上显示静止图像捕获操作，需要按照以下顺序进行操作：“运动图像→关闭快门→显示静止图像定格图像→关闭快门→打开快门→运动图像”。

然而，在运动图像捕获操作期间，在记录运动图像中，在用户识别出静止图像定格图像之后返回到运动图像捕获操作是更为有用的。因此，序列“运动图像→关闭快门→显示静止图像定格图像→运动图像”最有用，而不是在显示静止图像定格图像之后进行快门关闭/打开操作。

关于快门的关闭，尽管插入黑视图像作为替代帧和SMB图像，但是将定格图像显示预定的固定时长是有用的。

此外，在用于显示定格图像的时段中，用户确认所捕获的图像。然而，如果将定格图像显示过长时段，则可能阻碍运动图像捕获操作。因此，显示定格图像第二预定时长是有用的。这里，考虑到数字照相机100的平稳操作，将第二预定时长设置为用于处理静止图像的时段(恢复捕获运动图像之前的时段)的长度是有用的。

即，在运动图像捕获操作被中断的时段期间，利用静止图像定格图像替代除替代帧外的黑视图像的帧。

在本典型实施例中，基于上述原因，将运动图像记录操作期间所捕获的静止图像作为定格图像显示约600毫秒的时段。

现参考图4D说明用于将图像记录在记录介质21上的处理。在本典型实施例中，运动图像AVI文件具有每隔一秒设置视频数据和音频数据的数据结构。CPU 26基于DRAM 14的AVI缓冲区域中的AVI数据生成运动图像文件，并且将用以生成AVI文件的所生成的运动图像文件写到记录介质21上。

在时段S440(图4D)，CPU 26将在运动图像捕获操作中所生成的AVI数据写到记录介质21上。时段S442(图4D)是在接通开关SW1的定时之后用于运动图像的记录的时段。正如在时段S440中一样，CPU 26在时段S442中还继续记录运动图像AVI文件。在接通开关SW2的定时，即，在中断从图像传感器10读取运动图像和生成运动图像AVI数据的定时，不结束时段S442。

这是因为：在该定时，AVI数据仍剩余在DRAM 14的AVI缓冲区域中，因此CPU 26继续将剩余在AVI缓冲区域中的AVI数据写到记录介质21上。

在将AVI缓冲区域中的数据完全写到记录介质21上的定时，序列从时段S442进入到时段S444(图4D)。在时段S444(图4D)，CPU 26将与黑视时段(时段S432)相对应的黑视图像数据和SMB图像数据写到记录介质21上。

在接通开关SW2之后立即生成用于显示黑视图像的AVI数据。因此，CPU 26可以在写完保持在AVI缓冲区域中的AVI数据之后立即写用于显示黑视图像的AVI数据。

此外，如果将数据写到记录介质21上的速度足够高以与生成AVI文件基本上相同的时间写AVI数据，则没有数据残留在AVI缓冲区域中。因此，CPU 26可以在接通开关SW2之后，在时段S444中立即写包括黑视图像数据和SMB图像数据的AVI数据。

插入了黑视图像数据和SMB图像数据的AVI数据的大小小。因此，CPU 26可以在相对短的时段写AVI数据。这里，写数据的速度可能因为作为记录介质21所使用的介质的各种类型而不同。

如果写速度高，则在时段S444中将包括黑视图像数据和SMB图像数据的AVI数据写到记录介质21之后直到下一时段S446为止的时段期间，没有要写到记录介质21上的数据残留。即，CPU 26在该期间不进行数据写。

在时段S446(图4D)，CPU 26将通过对在静止图像捕获操作期间所捕获的静止图像进行JPEG编码所获得的JPEG数据的文件(即，包括作为根据记录模式所进行的显影处理的结果所获得所有像素的静止图像文件)写到记录介质21上。在时段S410已生成了JPEG编码的静止图像数据。因此，在时段S410后将JPEG数据写到记录介质21上。在时段S446将JPEG编码的静止图像数据写到记录介质21之后(即，在时段S448(图4D))，CPU 26立即将基于静止图像捕获操作之后所生成的查阅图像而生成的AVI数据写到记录介质21上。

在用于记录查阅图像AVI数据的时段S448中，CPU 26记录等于第二替代帧时段(时段S434)的图像。在时段S448写完查阅图像AVI数据之后，将在时段S416中所生成的运动图像的AVI数据累积在DRAM 14的AVI缓冲区域中。因此，CPU 26在时段S450的定时将所累积的运动图像AVI数据写到记录介质21上。

根据上述序列，在运动图像记录操作期间捕获静止图像的情况下，CPU 26将数据写到记录介质21上。通过根据上述序列再现这样记录的AVI数据，用户可以容易地识别在运动图像记录操作期间捕获静止图像的操作状态。

如果半按下释放开关23a，即，如果开关SW1接通，并且开关SW2断开，则数字照相机100可以在显示当前所捕获的运动图像的画面的角部显示表示释放开关23a的图标。在这种情况下，可以在由于在运动图像再现操作期间开始静止图像捕获操作而显示黑视图像之前，立即通知用户静止图像捕获操作即将开始。

下面参考图5说明在运动图像记录操作期间捕获静止图像的情况下的运动图像文件的结构。如上所述，运动图像文件具有这样的数据结构：在其头部存在等于一秒的音频数据，并且在该音频数据后存在运动图像帧。

在本典型实施例中，CPU 26对每15帧生成GOP的第一I帧。当在运动图像捕获操作期间接通释放开关23a的开关SW2时，中断运动图像捕获操作。然后，图像编解码器单元18输出黑视图像P帧。然后，CPU 26将一个黑视图像P帧插入AVI文件，然后CPU 26将三个SMB图像插入AVI文件(黑视时段)。

当图像编解码器单元18在静止图像捕获操作期间完成了显影处理时，图像编解码器单元18基于查阅图像生成定格图像P帧，并且将这样生成的定格图像P帧插入AVI文件中。

然后，CPU 26在定格时段期间继续插入SMB图像。对于定格时段期间的GOP的第一帧，图像编解码器单元18基于查阅图像生成定格图像I帧，并且CPU 26将这样所生成的定格图像I帧插入AVI文件中。

当结束了定格时段，并且因此恢复运动图像捕获操作时，CPU 26返回到正常运动图像捕获操作，并且连续将运动图像帧和音频数据记录在AVI文件中。

如上所述，本典型实施例利用SMB图像替代通过在运动图像捕获操作期间捕获静止图像所生成的运动图像文件的冗余帧。利用该文件结构，可以降低运动图像文件的大小。此外，可以降低将数据写到存储介质的负荷。

第二典型实施例

下面说明本发明的第二典型实施例。本典型实施例中的数字照相机类似于第一典型实施例中所述的图1中的数字照相机100。在运动图像捕获操作期间捕获静止图像的情况下进行的处理类似于第一典型实施例中根据图2的流程图进行的处理。

图6是示出根据本典型实施例进行在步骤S210中的静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图。

参考图6，在步骤S601，CPU 26中断运动图像捕获操作。在步骤S602，CPU 26开始计数定格图像的数量N2(计数初始值j＝1)。

在步骤S603，CPU 26判断替代帧是否是GOP的第一帧。如果在步骤S603判断为替代帧是GOP的第一帧(步骤S603为“是”)，则处理进入步骤S604。在步骤S604，CPU 26将紧挨在开始静止图像捕获操作之前捕获的帧的图像数据编码成VGA大小的定格图像I帧，然后输出该定格图像I帧。

另一方面，如果在步骤S603判断为替代帧不是GOP的第一帧(步骤S603为“否”)，则处理进入步骤S605。在步骤S605，CPU26从ROM 27输出VGA大小的SMB图像27b。

在步骤S606，CPU 26判断值j是否达到数量N2。如果在步骤S606判断为值j没有达到数量N2(步骤S606为“否”)，则处理进入步骤S607。在步骤S607，CPU 26将j值递增，然后返回到步骤S603。另一方面，如果在步骤S606判断为值j已达到数量N2(步骤S606为“是”)，则处理进入步骤S608。在步骤S608，CPU 26结束该处理，并进入步骤S212。

VGA大小的编码的图像(定格图像I帧)是替代帧数据。可以基于查阅图像或紧挨在运动图像捕获操作中断之前所捕获的图像生成替代帧。此外，替代帧可以是任意图像。

图7示出根据本典型实施例在运动图像捕获操作期间捕获静止图像的情况下的运动图像文件的结构的例子。在本典型实施例中，运动图像文件具有这样的数据结构：在其头部存在等于一秒的音频数据，并且在该音频数据之后存在运动图像帧。

参考图7，当接通开关SW2时中断运动图像捕获操作(编号为4的帧)，并且在等于定格时段的时段期间将用于跳过前一帧(编号为3的帧)的SMB图像存储在运动图像文件中。

定格时段期间存在的GOP的第一帧是编号为16的帧。这里，一个GOP包括十五个帧。CPU 26基于紧挨在运动图像捕获操作中断之前生成的帧(编号为3的帧)，利用图像编解码器单元18为编号为16的帧生成I帧。

当定格时段结束时，CPU 26从编号为20的帧开始恢复运动图像捕获正常操作，并且利用图像编解码器单元18生成运动图像帧。在定格时段期间，CPU 26可以记录音频数据或者插入伪快门声音数据。

如上所述，本典型实施例利用SMB图像替代在运动图像捕获操作期间通过捕获静止图像所生成的运动图像文件的冗余帧。利用该文件结构，可以降低运动图像文件的大小。此外，可以降低将数据写到存储介质的负荷。

而且，本典型实施例在定格时段期间为各GOP插入I帧。因此，用户可以基于使用户能够容易地进行图像文件的编辑的固定编辑单元编辑图像文件。在本典型实施例中，使用I帧和P帧。然而，可以使用逐场图像，来替代I帧或P帧。在本典型实施例中，运动图像数据是MPEG编码的数据。然而，本发明不局限于此。即，运动图像数据可以是H.264(MPEG-4P art-10：AVC(ISO/IEC 14496-10“Part-10 Advanced Video Coding”))编码的数据。

第三典型实施例

下面说明本发明的第三典型实施例。本典型实施例中的数字照相机类似于第一典型实施例中所述的图1中的数字照相机100。在运动图像捕获操作期间捕获静止图像的情况下进行的处理类似于第一典型实施例中根据图2的流程图进行的处理。

图8是示出根据本典型实施例进行步骤S210(图2)中的静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图。

下面参考图8说明用于生成运动图像文件的处理的流程。基本上与静止图像捕获操作并行地进行图8中的处理。如果在步骤S208判断为开关SW2接通(步骤S208为“是”)，则开始步骤S801中的处理。

在步骤S801，CPU 26中断运动图像捕获操作。在步骤S802，CPU 26开始计数定格图像的数量N1(计数初始值i＝1)。这里，与中断运动图像捕获操作以捕获静止图像的时段相对应，预先设置数量N1。

在步骤S803，CPU 26判断替代帧是否是GOP的第一帧，以将黑视图像和SMB图像作为第一替代帧插入运动图像帧中。

如果在步骤S803判断为替代帧是GOP的第一帧(步骤S803为“是”)，则处理进入步骤S804。在步骤S804，CPU 26将紧挨在开始静止图像捕获操作之前所捕获的帧的图像数据编码成黑视图像I帧，然后输出该黑视图像I帧。

另一方面，如果在步骤S803判断为替代帧不是GOP的第一帧(步骤S803为“否”)，则处理进入步骤S805。在步骤S805，CPU26判断是否值i＝1。如果在步骤S805判断为值i＝1(步骤S805为“是”)，则处理进入步骤S806。在步骤S806，CPU 26输出利用图像编解码器单元18编码的黑视图像P帧。

如果在步骤S803判断为替代帧不是GOP的第一帧(步骤S803为“否”)，并且在步骤S805判断为i≠1(步骤S805为“否”)，则处理进入步骤S807。在步骤S807，CPU 26输出SMB图像。可以利用CPU 26预先生成黑视图像I帧和黑视图像P帧。

从ROM 27读取SMB图像27b，然后将SMB图像27b作为第一替代帧插入运动图像文件(AVI数据)中。

如果定格图像是I帧，则由于在这种情况下不需要将黑视图像作为参考帧，因而CPU 26不利用图像编解码器单元18生成黑视图像。

图9示出根据本典型实施例在运动图像的记录期间捕获静止图像的同时所记录的运动图像文件的结构的例子。

参考图9，在生成恢复运动图像捕获操作时所需的编号为26的帧的运动图像P帧中，需要获取并使用关于编号为16的帧的信息。插入SMB图像作为编号为17～25的帧。

如果定格图像是I帧(编号为16的帧)，则由于在这种情况下不需要黑视图像作为参考帧，因而CPU 26不利用图像编解码器单元18生成黑视图像。此外，在这种情况下，CPU 26从ROM 27读取MPEG编码的黑视图像27a(图1)，并且将所读取的黑视图像27a作为第一替代帧插入运动图像文件(AVI数据)中。这里，本发明典型实施例不局限于此。即，CPU 26可以生成黑视图像27a，而不从ROM 27读取MPEG编码的黑视图像27a。

在步骤S808，CPU 26判断黑视图像的数量是否达到了数量N1，并且判断替代帧是否是GOP的最后帧。如果在步骤S808判断为黑视图像的数量没有达到数量N1或者替代帧不是GOP的最后帧(步骤S808为“否”)，则处理进入步骤S809。在步骤S809，CPU 26将i值递增，然后返回到步骤S803。另一方面，如果在步骤S808判断为黑视图像的数量达到了数量N1，并且替代帧是GOP的最后帧(步骤S808为“是”)，则处理进入步骤S810。

在步骤S810，CPU 26从ROM 27读取伪快门声音数据27c(图1)，并且将所读取的伪快门声音数据27c作为音频数据插入运动图像文件(AVI文件)。另外，在步骤S810，CPU 26将伪快门声音数据27c输出给音频处理单元28，以利用扬声器32再现伪快门声音数据27c。设置伪快门声音数据27c的时长为基本上与上述黑视图像数据的时长相同。

此时，如果突然利用伪快门声音数据27c替换通过麦克风30所记录的音频数据，则音频数据的突然替换可能导致生成高频分量，并且可能由于混叠而生成噪声数据。

在这点上，在利用伪快门声音数据27c替代音频数据的时段中(即，在用于利用扬声器32再现伪快门声音数据27c的时段中)，音频处理单元28不检测音频信息(使待再现的音频数据静音)。更具体地，CPU 26插入伪快门声音数据27c作为静音后的音频数据。因此，可以将高质量伪快门声音数据27c插入音频数据，而不会生成由于混叠可能生成的高频噪声。

在步骤S811，CPU 26等待直到完成上述静止图像捕获操作中的静止图像显影处理为止。当静止图像显影处理完成时，处理进入步骤S812。

在静止图像显影处理完成之后，CPU 26利用图像编解码器单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2)中的处理一样，并且基于JPEG编码的数据生成一个静止图像文件。将这样生成的静止图像文件与运动图像文件分开存储在记录介质21上。

与上述处理并行地、或在完成上述处理后，在步骤S812，CPU 26基于显影后的静止图像，利用调整大小单元24生成VGA大小的查阅图像。然后，CPU 26开始计数定格图像的数量N2。这里，初始计数值j为1。

在步骤S813，CPU 26判断替代图像(定格图像)是否是GOP的第一帧。如果在步骤S813判断为替代图像是GOP的第一帧(步骤S813为“是”)，则CPU 26利用图像编解码器单元18将查阅图像数据编码为定格图像I帧，然后进入步骤S814。在步骤S814，CPU 26输出定格图像I帧。

另一方面，如果在步骤S813判断为替代图像不是GOP的第一帧(步骤S813为“否”)，则处理进入步骤S815。在步骤S815，CPU 26输出SMB图像。

在步骤S816，CPU 26判断值j是否达到了定格图像的数量N2。如果在步骤S816判断为值j没有达到定格图像的数量N2(步骤S816为“否”)，则处理进入步骤S817。在步骤S817，CPU 26将j值递增，然后返回到步骤S813。另一方面，如果在步骤S816判断为值j达到了定格图像的数量N2(步骤S816为“是”)，则处理进入步骤S818。在步骤S818，CPU 26结束该处理，并且进入步骤S212(图2)。

如上所述，本典型实施例利用SMB图像替代在运动图像捕获操作期间通过捕获静止图像所生成的运动图像文件的冗余帧。利用该文件结构，可以降低运动图像文件的大小。此外，可以降低将数据写到存储介质上的负荷。

而且，本典型实施例在定格时段期间插入各GOP的I帧。因此，用户可以基于使用户能够容易地进行图像文件的编辑的固定编辑单元，对图像文件进行编辑。另外，在本典型实施例，CPU 26生成各GOP的黑视图像。因此，对于定格图像，由于仅需要不使用黑视图像作为参考帧的I帧，因而CPU 26没有必要生成P帧。利用该结构，本典型实施例可以降低图像编解码器单元18的负荷。

GOP的数量不局限于一个，而是可以使用一个或多个GOP。在本典型实施例中，使用I帧和P帧。然而，可以使用交错图像替代I帧和P帧。

在本典型实施例中，运动图像数据是MPEG编码数据。然而，本发明不局限于此。即，只要运动图像文件可以进行帧间编码，运动图像数据可以是H.264编码的数据。

而且，正如在第一时段的情况下一样，可以为各GOP生成第二时段中的定格图像。利用该结构，即使当定格图像和在恢复曾被中断的运动图像捕获操作之后所捕获的运动图像之间的相关度低时，也可以容易地进行速率控制，从而以I帧开始恢复运动图像的记录。

第四典型实施例

下面说明本发明的第四典型实施例。本典型实施例中的数字照相机类似于第一典型实施例中所述的图1中的数字照相机100。在运动图像捕获操作期间捕获静止图像的情况下所进行的处理类似于第一典型实施例中参考图2的流程图所进行的处理。

图10是示出根据本典型实施例在步骤S210(图2)中的进行静止图像捕获操作的情况下用于生成运动图像文件的处理的例子的流程图。

下面参考图10说明用于生成运动图像文件的处理的流程。基本上与静止图像捕获操作并行地进行图10中的处理。如果在步骤S208判断为开关SW2接通(步骤S208为“是”)，则开始步骤S1001中的处理。

在步骤S1001，CPU 26中断运动图像捕获操作。在步骤S1002，CPU 26开始计数定格图像的数量N1(计数初始值i＝1)。这里，针对中断运动图像捕获操作以捕获静止图像的时段，预先设置数量N1。

在步骤S1003，CPU 26判断替代帧是否是GOP的第一帧，以将黑视图像作为第一替代帧插入运动图像帧中。

如果在步骤S1003判断为替代帧是GOP的第一帧(步骤S1003为“是”)，则处理进入步骤S1004。在步骤S1004，CPU 26将紧挨在开始静止图像捕获操作之前所捕获的帧的图像数据编码成黑视图像I帧，然后输出该黑视图像I帧。

另一方面，如果在步骤S1003判断为替代帧不是GOP的第一帧(步骤S1003为“否”)，则处理进入步骤S1005。在步骤S1005，CPU 26输出已利用图像编解码器单元18编码的黑视图像P帧的帧间宏块(帧间MB)。这里，“帧间MB”是图像的帧间压缩P帧，在帧间MB中，使用P帧中的所有宏块作为帧内宏块，对于帧内宏块不进行基于其它帧的预测编码。

通常，在P帧中，记录帧间的差异信息。并且，以宏块为单位计算当前帧和前一帧的帧间差异，并且将计算结果定义为帧间MB。这里，在差异信息为0的情况下，如前一实施例中所述，将帧间宏块切换到跳过的宏块。

但是，在本实施例的处理中，将预先编码的P帧的各宏块定义为不参考前向帧的宏块，换句话说，定义为在一个帧中所计算的帧内宏块。由于该帧间宏块不参考前向帧，因而可以预先保留黑视图像P帧。

可以利用CPU 26预先生成黑视图像I帧和黑视图像P帧。

从ROM 27读取黑视图像，然后将其插入在运动图像文件(AVI数据)中，作为第一替代帧。

图11示出根据本典型实施例在运动图像的记录期间捕获静止图像的同时所记录的运动图像文件的结构的例子。

参考图11，编号为1～3的帧是在中断运动图像捕获操作之前所捕获的图像。作为在中断运动图像捕获操作之后插入的黑视图像的编号为4～7的帧均由P帧的帧间MB构成。

对于编号为4的帧，图像编解码器单元18生成黑视图像P帧的帧间MB。

第一替代帧的长度(时段)等于照相机绿色模式(自动模式)下的最大曝光时间，并且约为1/8秒(125毫秒)。在以30帧/秒的速度捕获运动图像的情况下，1/8秒中的帧的数量为4。

因此，CPU 26在AVI文件中插入4个黑视图像27a(从ROM27读取的)(或者利用图像编解码器单元18所生成的四个黑视图像)。这里，CPU 26可以插入包括“捕获静止图像...”等消息的图像，替代黑视图像。

在步骤S1006，CPU 26判断黑视图像的数量是否达到了数量N1。如果在步骤S1006判断为黑视图像的数量没有达到数量N1(步骤S1006为“否”)，则处理进入步骤S1007。在步骤S1007，CPU 26将i值递增，然后返回到步骤S1003。另一方面，如果在步骤S1006判断为黑视图像的数量达到了数量N1(步骤S1006为“是”)，则处理进入步骤S1008。

在步骤S1008，CPU 26从ROM 27读取伪快门声音数据27c(图1)，并且将所读取的伪快门声音数据27c插入运动图像文件(AVI文件)中，作为音频数据。另外，在步骤S1008，CPU 26将该伪快门声音数据27c输出给音频处理单元28，以利用扬声器32再现伪快门声音数据27c。设置伪快门声音数据27c的时长基本上与上述黑视图像数据的时长相同。

此时，如果突然以伪快门声音数据27c替代通过麦克风30所记录的音频数据，则音频数据的突然替换可能导致生成高频分量，并且可能由于混叠而生成噪声数据。在这点上，在用于利用伪快门声音数据27c替代音频数据的时段中(即，在利用扬声器32再现伪快门声音数据27c的时段中)，音频处理单元28不检测音频信息(使待再现的音频数据静音)。更具体地，CPU 26插入伪快门声音数据27c作为静音后的音频数据。因此，可以将高质量的伪快门声音数据27c插入音频数据中，而不会生成由于混叠而可能生成的高频噪声。

在步骤S1009，CPU 26等待直到完成上述静止图像捕获操作中的静止图像显影处理。当静止图像显影处理完成时，处理进入步骤S1010。

在静止图像显影处理完成后，CPU 26利用图像编解码器单元18对显影后的静止图像进行JPEG编码，如步骤S210(图2)中的处理一样，并且基于JPEG编码的数据生成一个静止图像文件。将这样所生成的静止图像文件与运动图像文件分开存储在记录介质21上。

与上述处理并行地、或在完成上述处理之后，在步骤S1010，CPU 26基于显影后的静止图像，利用调整大小单元24生成VGA大小的查阅图像。然后，CPU 26开始计数定格图像的数量N2。这里，初始计数值j为1。

在步骤S1011，CPU 26判断替代图像(定格图像)是否是GOP的第一帧。如果在步骤S1011判断为替代图像是GOP的第一帧(步骤S1011为“是”)，则CPU 26利用图像编解码器单元18将查阅图像数据编码成定格图像I帧，然后进入步骤S1012。在步骤S1012，CPU 26输出该定格图像I帧。

另一方面，如果在步骤S1011判断为替代图像不是GOP的第一帧(步骤S1011为“否”)，则处理进入步骤S1013。在步骤S1013，CPU 26利用图像编解码器单元18将查阅图像数据编码成定格图像P帧的帧间MB，并且输出该定格图像P帧的帧间MB。

在步骤S1014，CPU 26判断值j是否达到了定格图像的数量N2。如果在步骤S1014判断为值j没有达到定格图像的数量N2(步骤S1014为“否”)，则处理进入步骤S1015。在步骤S1015，CPU 26将j值递增，然后返回到步骤S1011。另一方面，如果在步骤S1014判断为值j达到了定格图像的数量N2(步骤S1014为“是”)，则处理进入步骤S1016。在步骤S1016，CPU 26结束该处理，并且进入步骤S212(图2)。

如上所述，本典型实施例利用SMB图像替代在运动图像捕获操作期间通过捕获静止图像所生成的运动图像文件的冗余P帧。利用该文件结构，由于不需要参考图像，因而可以降低图像编解码器单元18的负荷。

在本典型实施例中，使用I帧和P帧。然而，可以替代I帧和P帧，使用交错图像。在本典型实施例中，运动图像数据是MPEG编码数据。然而，本发明不局限于此。即，运动图像数据可以是H.264编码数据，只要运动图像文件可以进行帧间编码。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (23)

1.一种摄像设备，其用于将由摄像单元所捕获的图像数据记录在记录介质上，所述摄像设备包括：

运动图像捕获控制单元，用于对用于将通过所述摄像单元的连续图像捕获操作所获得的运动图像记录在记录介质上的运动图像捕获操作进行控制；以及

静止图像捕获控制单元，用于对用于将通过所述摄像单元的图像捕获操作所获得的静止图像作为静止图像文件记录在记录介质上的静止图像捕获操作进行控制；

其中，响应于正在进行所述运动图像捕获操作时用以开始所述静止图像捕获操作的输入指令，所述静止图像捕获控制单元对所述静止图像捕获操作进行控制，以将所述静止图像文件记录在记录介质上，所述运动图像捕获控制单元中断所述运动图像捕获操作，生成如下运动图像并将所生成的运动图像记录在所述记录介质上：在所述运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断所述运动图像捕获操作的时段相对应的运动图像的图像。

2.根据权利要求1所述的摄像设备，其特征在于，所述差异信息为0的帧间压缩图像包括跳过的宏块图像。

3.根据权利要求1所述的摄像设备，其特征在于，还包括生成单元，所述生成单元用于如果被插入所述运动图像中的图像以图片组的第一帧开始，则生成紧挨在开始所述静止图像捕获操作之前所获得的图像或预定图像，作为帧内编码帧。

4.根据权利要求1所述的摄像设备，其特征在于，所述运动图像捕获操作被中断的时段至少包括：在所述静止图像捕获操作期间从由所述摄像单元中读取静止图像的图像数据的时刻到完成显影处理的时刻的时段。

5.根据权利要求1所述的摄像设备，其特征在于，还包括：

显示单元，用于显示所捕获的图像；以及

查阅图像生成单元，用于在捕获所述静止图像之后，基于通过所述静止图像捕获操作所获得的图像数据，生成将由所述显示单元显示的查阅图像；

其中，使用所述查阅图像作为所述运动图像捕获操作被中断的时段的替代图像。

6.根据权利要求1所述的摄像设备，其特征在于，所述运动图像捕获控制单元在进行所述静止图像捕获操作的时段中的第一时段期间，将预定替代帧和差异信息为0的所述帧间压缩图像插入所述运动图像中，并且在进行所述静止图像捕获操作的时段中的所述第一时段后的第二时段期间，将相当于通过所述静止图像捕获操作所获得的所述静止图像的图像和差异信息为0的所述帧间压缩图像插入所述运动图像中。

7.根据权利要求6所述的摄像设备，其特征在于，还包括音频输入单元，所述音频输入单元用于输入音频信息；

其中，所述运动图像捕获操作包括用于将所述运动图像与通过所述音频输入单元所输入的所述音频信息一起记录在记录介质上的操作。

8.根据权利要求7所述的摄像设备，其特征在于，所述运动图像捕获控制单元在所述第一时段期间记录伪快门声音的音频信息，在所述第二时段期间记录通过所述音频输入单元所输入的所述音频信息。

9.根据权利要求8所述的摄像设备，其特征在于，在所述第一时段中记录所述伪快门声音的音频信息的时段期间，所述运动图像捕获控制单元停止从所述音频输入单元输入任何音频信息。

10.根据权利要求6所述的摄像设备，其特征在于，所述运动图像捕获控制单元在所述第二时段期间，将通过所述静止图像捕获操作所获得的静止图像数据调整成大小适合于记录为运动图像的图像，并且记录调整大小后的图像数据。

11.根据权利要求6所述的摄像设备，其特征在于，所述第一时段具有固定时长。

12.根据权利要求6所述的摄像设备，其特征在于，所述第一时段至少包括在所述静止图像捕获操作中所述摄像单元打开快门的曝光时段。

13.根据权利要求6所述的摄像设备，其特征在于，所述第二时段至少包括：在所述静止图像捕获操作期间从由所述摄像单元中读取静止图像的图像数据的时刻到完成显影处理的时刻的时段。

14.根据权利要求6所述的摄像设备，其特征在于，还包括：

显示单元，用于显示所捕获的图像；以及

查阅图像生成单元，用于在捕获所述静止图像之后，基于通过所述静止图像捕获操作所获得的图像数据，生成将由所述显示单元显示的查阅图像；

其中，使用所述查阅图像作为将在所述第二时段期间插入的图像数据。

15.根据权利要求6所述的摄像设备，其特征在于，在所述第一时段期间插入的所述预定替代帧包括黑视图像。

16.根据权利要求6所述的摄像设备，其特征在于，在所述第一时段期间为各图片组输出所述替代帧。

17.根据权利要求6所述的摄像设备，其特征在于，所述运动图像捕获控制单元进行控制，从而使得所述第一时段对应于图片组的数量。

18.根据权利要求6所述的摄像设备，其特征在于，所述运动图像捕获控制单元进行控制，从而使得所述第二时段对应于图片组的数量。

19.根据权利要求6所述的摄像设备，其特征在于，所述第一时段期间插入的所述帧间压缩图像包括不进行基于其它帧的预测编码的帧间宏块图像。

20.根据权利要求19所述的摄像设备，其特征在于，所述第二时段期间插入的所述帧间压缩图像包括所述帧间宏块图像。

21.根据权利要求1所述的摄像设备，其特征在于，针对各图像大小，将差异信息为0的所述帧间压缩图像存储在只读存储器中。

22.根据权利要求1所述的摄像设备，其特征在于，针对各图像大小，通过中央处理单元生成差异信息为0的所述帧间压缩图像。

23.一种摄像设备的控制方法，所述摄像设备具有进行运动图像捕获操作和静止图像捕获操作的功能，所述运动图像捕获操作用于将通过摄像单元的连续图像捕获操作所获得的运动图像记录在记录介质上，所述静止图像捕获操作用于将通过所述摄像单元的图像捕获操作所获得的静止图像作为静止图像文件记录在所述记录介质上，所述控制方法包括：

响应于正在进行所述运动图像捕获操作时用以开始所述静止图像捕获操作的输入指令，中断所述运动图像捕获操作；

控制所述静止图像捕获操作，以将所述静止图像文件记录在所述记录介质上；

生成如下运动图像：在所述运动图像中，插入差异信息为0的帧间压缩图像作为至少一个用于替代与中断所述运动图像捕获操作的时段相对应的运动图像的图像；以及

将所生成的运动图像记录在所述记录介质上。

Images