CN1606877A - 数据处理装置 - Google Patents

Abstract

数字摄像机(10)包括麦克风(34)。当将通过麦克风(34)和A/D转换器(36)取得的声音数据和由JPEG图像压缩扩展装置(32)生成的多个画面的JPEG数据并行进行记录处理时，由CPU(52)按每30帧计算声音数据的实际处理量(＝8043字节/秒)和虚拟处理量(＝8040字节/秒)的误差。若所计算的误差大于阈值，则通过抽取/插补来调整记录于记录介质(50)中的JPEG数据的帧数。

Description

数据处理装置

技术领域

本发明涉及数据处理装置，尤其涉及例如适用于摄像机、且并行处理彼此相关的声音数据和多个画面的静止图像数据的数据处理装置。

背景技术

在摄像机中，若选择了拍摄模式，则将由图像传感器拍摄的动态图像数据和从麦克风取得的声音数据并行执行记录处理，若选择了再生模式，则将从记录介质再生的动态图像数据和声音数据并行执行再生处理。

但是，在现有技术中，在设计关系上，在基于硬件的实际处理和软件的计算之间声音数据的取样频率产生了偏差。具体地讲，相对于硬件方面的实际取样频率为8043Hz，软件方面在计算中所用的取样频率为8040Hz。因此，在现有技术中，利用声音数据的抽取/插补来确保动态图像数据和声音数据的同步。然而，若对声音数据进行抽取/插补，则存在声音噪音产生而给观众带来不愉快感觉的问题。

发明内容

因此，本发明的主要目的在于，提供一种可确保图像数据和声音数据的同步，且可防止声音噪声的发生的数据处理装置。

根据本发明，一种并行处理彼此相关的声音数据和多个画面的静止图像数据的数据处理装置，其特征在于，包括：计算机构，其在所定周期内计算声音数据的实际处理量和虚拟处理量之间的误差；和调整机构，其根据由计算机构计算出的误差来调整静止图像数据的画面数。

在并行处理彼此相关的声音数据和多个画面的静止图像数据时，由计算机构在所定周期内计算声音数据的实际处理量和虚拟处理量的误差。调整机构根据所计算出的误差来调整静止图像数据的画面数。

即，在本发明中，与调整声音数据的现有技术不同，调整静止图像数据的画面数。因此，不仅防止声音噪声的发生，而且确保图像数据与声音数据的同步。

优选由计数机构计数处理过的静止图像数据的画面数，由累计机构按每一画面期间累计声音数据的实际处理量。这时，计算机构求出根据基于计数机构的计数值累计相当于一个画面的虚拟处理量的第一累计值和由累计机构求出的第二累计值的差值。

优选调整机构将所计算的误差与相当于N(N为1或其以上的整数)画面的声音数据的虚拟处理量相比较，并根据比较结果来进行调整。

在画面调整中，详细地讲，当累计值为不充分数值时，增加画面数；当累计值为剩余数值时，减小画面数。

在将多个画面的静止图像数据暂时存储到存储器、且以按照处理顺序信息的顺序来读出存储在存储器中的静止图像数据的情况下，最好通过根据比较结果来生成该处理顺序信息，以调整画面数。

优选由第一记录机构将声音数据和多个画面的静止图像数据记录在记录介质中，由第二记录机构将各画面的静止图像数据的索引信息记录在所述记录介质上。这时，调整执行机构根据比较机构的比较结果，对由第二记录机构所记录的索引信息进行抽取/插补。通过索引信息的抽取/插补，从而能调整所再生的静止图像数据的画面数。

优选虚拟处理量表示与所述实际处理量相近似且适合于软件计算的数值。

从参照附图说明的下面的实施例中可进一步理解本发明的上述目的、其他目的、特征和优点。

附图说明

图1是表示本发明的一实施例的框图。

图2是表示SDRAM的映射状态的一例的图解图。

图3是表示SDRAM的映射状态的另一例的图解图。

图4是表示指示列表的构成的一例的图解图。

图5是表示访问信息表的构成的一例的图解图。

图6是表示记录介质的构成的一例的图解图。

图7是表示空白区域表格的构成的一例的图解图。

图8是表示完成状态的电影文件的构成的图解图。

图9(A)是表示索引信息的生成处理的一部分的图解图。

图9(B)是表示索引信息的生成处理的另一部分的图解图。

图9(C)是表示索引信息的生成处理的又一部分的图解图。

图10(A)是表示访问信息表的生成处理的一部分的图解图。

图10(B)是表示访问信息表的生成处理的另一部分的图解图。

图10(C)是表示访问信息表的生成处理的又一部分的图解图。

图11(A)是表示索引信息的生成处理的一部分的图解图。

图11(B)是表示索引信息的生成处理的另一部分的图解图。

图11(C)是表示索引信息的生成处理的又一部分的图解图。

图12(A)是表示访问信息表的生成处理的一部分的图解图。

图12(B)是表示访问信息表的生成处理的另一部分的图解图。

图12(C)是表示访问信息表的生成处理的又一部分的图解图。

图13是表示进行拍摄处理任务时的CPU动作的一部分的流程图。

图14是表示进行拍摄处理任务时的CPU动作的另一部分的流程图。

图15是表示进行拍摄处理任务时的CPU动作的又一部分的流程图。

图16是表示进行拍摄处理任务时的CPU动作的再一部分的流程图。

图17是表示进行拍摄处理任务时的CPU动作的又一部分的流程图。

图18是表示进行拍摄处理任务时的CPU动作的又一部分的流程图。

图19是表示进行拍摄处理任务时的CPU动作的又一部分的流程图。

图20是表示进行BG任务时的CPU动作的一部分的流程图。

图21是表示进行BG任务时的CPU动作的另一部分的流程图。

具体实施方式

参照图1，本实施例的数字摄像机10包括图像传感器12。在图像传感器12的前方配置了图中未示出的光圈单元及光学透镜，被拍摄物的光学像经这些部件照射到图像传感器12上。

若通过模式切换开关62选择了拍摄模式，则将对应的状态信号从系统控制器56提供给CPU52。CPU52是μITRON等装载了多任务OS的多任务CPU，在拍摄模式中，并行执行拍摄处理任务、拍摄条件控制任务、BG(背景)处理任务等多个任务。具体地讲，根据预先设置的优先顺序，且响应于后述的垂直同步信号，分时执行各个任务。

在拍摄处理任务中，操作者可根据菜单键60的操作从多个拍摄模式中选择所希望的拍摄模式。在各拍摄模式中，拍摄图像的分辨率、帧频以及取得声音的音响方式、比特率和取样率的任何一种都不相同。若选择了所希望的拍摄模式，则将对应的信息信号从系统控制器56提供给CPU52。CPU52将表示所选拍摄模式的拍摄模式信息(分辨率、帧频、音响方式、比特率、取样率)和由此生成的电影文件的文件名存储到寄存器rgst中。

另外，CPU52命令定时脉冲发生器(TG，timing generator)14进行拍摄模式信息所示的分辨率和帧频下的拍摄。TG14根据由信号生成器(SG)输出的垂直同步信号和水平同步信号，生成基于希望拍摄模式(分辨率、帧频)的定时信号，并以光栅扫描方式驱动图像传感器12。从图像传感器12开始，以所希望的帧频输出具有所希望分辨率的原始图像信号(电荷)，所输出的原始图像信号经CDS/AGC电路18和A/D转换器20，作为属于数字信号的原始图像数据输入到信号处理电路22中。

在所设置的变焦倍率为“1.0”时，信号处理电路22对从A/D转换器20输入的原始图像数据实施白平衡调整、颜色分离、YUV转换等一系列信号处理后，生成1.0倍的YUV数据。当所设置的变焦倍率未达到“1.0”时，从A/D转换器20输入的原始图像数据首先由变焦电路22a进行缩小焦距，并在缩小焦距后，实行上述一系列的信号处理。将通过这些处理所生成的YUV数据经总线B1和存储控制电路26存储到SDRAM26中。

另一方面，在所设置的变焦倍率大于“1.0”时，即，需要进行扩大焦距处理时，变焦电路22a首先将从A/D转换设备20输入的原始图像数据通过总线B1和存储控制电路24暂时写入到SDRAM26中。变焦电路22a接着通过总线B1和存储控制电路24读出放大处理所需的一部分区域的原始图像数据，并对所读出的一部分区域的原始图像数据实施扩大焦距处理。将放大后的原始图像数据通过上述一系列信号处理变换为YUV数据。由此，生成倍率比“1.0”大的YUV数据。将所生成的YUV数据经总线B1和存储控制电路26存储到SDRAM26中。

视频编码器28通过总线B1和存储控制电路24从SDRAM26中读出YUV数据，并将所读出的YUV数据编码为复合图像信号。将编码后的复合图像信号提供给监视器30，结果，由监视器30显示被拍摄物的实时动态图像(直通(through)图像)。

在拍摄条件控制任务中，CPU52控制光圈量、曝光时间、白平衡调整增益、电子变焦倍率等拍摄条件。具体地讲，根据被拍摄物的亮度来调整光圈量和曝光时间，根据被拍摄物的颜色来校正白平衡调整增益，并且，根据表示变焦键64的操作状态的状态信号的改变来调整电子变焦倍率。结果，防止直通图像的亮度和颜色的改变，并响应于变焦键64的操作来改变直通图像的变焦倍率。

另外，当由变焦键64选择了大于“1.0”的变焦倍率时，执行将上述的原始图像数据暂时存储到SDRAM26中的处理。

若操作者按下快门按钮58，且从系统控制器56提供了对应的状态信号，则CPU52在记录介质50上生成存储了所拍动态图像的电影文件。这里，记录介质50是装卸自由的记录介质，当装载在槽48中时，通过I/F46能进行存取。在记录介质50上设置CPU50a、缓存50b及硬盘50c，如图6所示，在硬盘50c上形成了FAT区域501c、根目录区域502c以及数据区域503c。经缓存50b每次以所定量进行向数据区域503c的数据写入。

在记录动态图像时，CPU52启动BG处理任务。这时，生成如图4所示的指示列表52a，以使其在拍摄处理任务和BG处理任务之间平滑地进行处理。

在指示列表52a中，首先设置分别对应于“BG处理开始”、“文件生成”、“表格生成”和“打开文件”的命令和参数。利用“BG处理开始”开始BG处理任务，利用“文件生成”将电影文件的文件名和表示为“0”的大小信息写入到图6所示的根目录区域502c中。在“表格生成”中，生成图7所示的空白区域表格52c。根据图7，按大小从大到小的顺序设置数据区域503c上形成的各个空白区域的开头地址和所空大小。在“打开文件”中，生成用来特定写入数据的电影文件的名称(handle)序号。

这样，若写入数据的准备完成，则CPU52应生成电影文件头，并在下一帧期间进行索引图像(thumbnail)的取得处理以及头信息的生成处理。首先，命令信号处理电路22进行抽取处理，并命令JPEG图像压缩扩展装置(codec)32进行压缩处理。信号处理电路22除上述YUV转换之外，还进行抽取处理，并将由此生成的索引图像YUV数据通过总线B1和存储控制电路24写入到SDRAM26中。JPEG图像压缩扩展装置32通过总线B1和存储控制电路24从SDRAM26中读出索引图像YUV数据，并对所读出的索引图像YUV数据进行JPEG压缩。其后，JPEG图像压缩扩展装置32将由JPEG压缩而生成索引图像的JPEG原始数据Rth通过总线B1和存储控制电路24写入到SDRAM26中。

另外，CPU46自动生成索引图像的JPEG头Hth，并通过总线B1和存储控制电路24将所生成的JPEG头Hth写入到SDRAM26中。CPU46进一步自动生成包含上述拍摄模式信息的头信息Hinf，并通过总线B1和存储控制电路24将所生成的头信息Hinf写入到SDRAM26中。由此，如图2所示，将JPEG原始数据Rth，JPEG头Hth和头信息Hinf映射(mapping)到SDRAM26中。

在指示列表52a中设置“文件写入”。通过由BG处理执行该“文件写入”，从而自SDRAM26中读出JPEG原始数据Rth、JPEG头Hth和头信息Hinf，并经总线B1和I/F电路46提供给记录介质50。由此，在图6所示的数据区域503c中生成图7所示的电影文件头。另外，利用JPEG头Hth和JPEG原始数据Rth，形成图7所示的JPEG数据TH。

若电影文件头的生成完成，则CPU52在每次产生垂直同步信号时进行图像取得处理和声音取得处理。

在图像取得处理中，通过总线B1和存储控制电路24将自动生成的JPEG头写入到SDRAM26中，同时，向JPEG图像压缩扩展装置32提供压缩命令。JPEG图像压缩扩展装置32在被提供压缩命令时，通过总线B1和存储控制电路24从SDRAM26中读出当前帧的YUV数据，并将所读出的YUV数据压缩到目标大小。若通过压缩处理生成了当前帧的JPEG原始数据，则JPEG图像压缩扩展装置32通过总线B1和存储控制电路24将该JPEG原始数据写入到SDRAM26中。

在这里，根据记录到记录介质50的记录状况来变更JPEG压缩时的目标大小。即，若记录处理速度慢，则由于因瓶颈效应而可能存在处理破绽，故周期性地检测出记录介质50的记录状况，并根据检测结果来变更JPEG压缩时的目标大小。后面详细说明该目标大小的变更处理。

在声音取得处理中，向信号处理电路38提供处理命令。信号处理电路38在被提供处理命令时，通过总线B1和存储控制电路38a将存储在SRAM38a中的相当于一帧的声音数据写入到SDRAM26中。在每一帧期间内进行这种图像取得处理和声音取得处理的结果是各帧的JPEG头、JPEG原始数据和声音数据如图2那样映射到SDRAM26中。

而且，在图2中，虽然按每一帧对JPEG头和JPEG原始数据附加了连续序号0，1，2，...，但是按每三帧对声音数据附加了连续序号0，1，2...。另外，利用附加了同一序号的JPEG头和JPEG原始数据形成一帧JPEG数据，并如图8所示，在各帧的JPEG数据的前端和末尾分配了标记SOI(Start Of Image)和EOI(End Of Image)。

另外，CPU52每经过一帧期间，就生成JPEG原始数据的访问信息、JPEG头的访问信息和JPEG数据的索引信息，每经过三帧期间，就生成声音数据的访问信息和声音数据的索引信息。

JPEG原始数据的访问信息由各帧的数据大小和SDRAM26中的前端地址构成，JPEG头的访问信息也由各帧的数据大小和SDRAM26中的前端地址构成。JPEG数据的索引信息由各帧的数据大小和到写入记录介质50时的电影文件的前端的距离构成。

另外，声音数据的访问信息由相当于三帧的数据大小和SDRAM26中的前端地址构成，声音数据的索引信息由相当于三帧的数据大小和到写入记录介质50时的电影文件的前端的距离构成。

在图5所示的访问信息表52b中生成访问信息，以图3所示的方法在SDRAM26中生成索引信息。根据图5，彼此相关地附加三帧JPEG原始数据的SDRAM地址和数据大小、三帧JPEG头的SDRAM地址和数据大小、相当于三帧的声音数据的SDRAM地址和数据大小。另外，根据图3，相当于三帧的声音数据的位置信息和大小信息与三帧JPEG数据的位置信息和大小信息相交互地映射在SDRAM26中。

另外，在声音信息的取样频率中，有时在基于硬件的实际处理和软件计算之间产生偏差。在本实施例中，应补偿该偏差，而对JPEG数据的索引信息和访问信息进行抽取/插补。后面详细说明该抽取/插补处理。

CPU52应将相当于三帧的声音数据和三帧JPEG数据写入记录介质50中，并根据上述访问信息在指示列表52a中设置“文件写入”。通过由BG处理执行该“文件写入”，从而自SDRAM26中读出相当于三帧的声音数据和三帧JPEG数据，并经总线B1和I/F电路46提供给记录介质50。在记录介质50的数据区域503c中记录由相当于三帧的声音数据构成的声音块(chunk)和由三帧JPEG数据构成的图像块。如图8所示，在电影文件上交互映射声音块和图像块。

若再次按下快门按钮58，则CPU52中止图像取得和声音取得，而在指示列表52a上设置应以图3所示的方法将在SDRAM26上生成的索引信息记录到记录介质50内的“文件写入”。通过由BG处理任务执行该“文件写入”，从而自SDRAM26中读出索引信息，并经总线B1和I/F电路46提供给记录介质50。结果，在电影文件末尾形成图8所示的索引块。在索引块中，按每相当于三帧的时间管理声音数据在文件上的位置和大小，按每一帧管理JPEG数据在文件上的位置和大小。

若索引块的生成完成，则CPU52计算这次生成的电影文件的总大小值，并在指示列表52a上设置应将所计算的总大小值写入到电影文件头中的“文件写入”。通过由BG处理任务来执行该文件写入，而将总大小值补写到电影文件头的头信息Hinf上，由此，完成了满足QuickTime标准的电影文件的生成。

接着，CPU52在指示列表52a中设置“关闭文件”和“BG处理终止”。若通过BG处理执行“关闭文件”，则更新写入根目录区域502c中的大小信息和写入FAT区域501c的FAT信息。具体地讲，从目录入口检测出这次生成的电影文件的文件名，并将分配给所检测出文件名的大小信息从“0”更新为总大小值。另外，更新FAT信息，使得在这次生成的电影文件的写入区域(簇)中形成链接。利用“BG处理终止”来终止BG处理。

若通过模式切换开关62选择了再生模式，且通过菜单键60选择了所希望的电影文件，则将对应的状态信号提供给系统控制器56。CPU52从记录介质50中检测出所选电影文件，并再生所检测电影文件内的声音数据和JPEG数据。这时，再生顺序基于电影文件内的索引信息。

当电影文件中存在以图3所示的方法生成的索引信息时，以声音数据0、JPEG数据0～2、声音数据1、JPEG数据3～5、...的顺序从记录介质50中读出声音数据和JPEG数据。所读出的声音数据和JPEG数据首先通过存储控制电路24存储到SDRAM26中。CPU52以基于JPEG数据索引信息的顺序将解压命令提供给JPEG图像压缩扩展装置32，并以基于声音数据索引信息的顺序将处理命令提供给信号处理电路40。

JPEG图像压缩扩展装置32通过总线B1和存储控制电路24从SDRAM26中读出形成所希望帧的JPEG数据的JPEG原始数据，并对所读出的JPEG原始数据进行JPEG解压。通过总线B1和存储控制电路24将JPEG解压生成的YUV数据存储到SDRAM26，之后，通过总线B1和存储控制电路24提供给视频编码器28。结果，在监视器30上显示对应的再生图像。

信号处理电路40通过总线B1和存储控制电路24从SDRAM26中读出所希望的相当于三帧的声音数据，并将所读出的声音数据存储到SRAM40a中。存储在SRAM40a中的声音数据之后由D/A转换器42转换为模拟声音信号，并从扬声器44中输出转换后的声音信号。

通过重复这种处理，从而在监视器30中显示再生动态图像，从扬声器44中输出同步于该再生动态图像的声音信号。

当选择了拍摄模式时，CPU52根据存储在ROM54中的控制程序，执行图13～图19所示的拍摄处理任务和图20～图21所示的BG处理任务。

首先，参照图13，在步骤S1中进行拍摄模式决定处理。具体地讲，在监视器30上显示表示多个拍摄模式的菜单，并响应于菜单键52的操作决定所希望的拍摄模式。若决定了拍摄模式，则进入到步骤S3，生成表示所决定拍摄模式的拍摄模式信息。设置信息例如为“分辨率：VGA”，“帧频：30fps”，“音响方式：单声道”，“比特率：8比特”，“取样率：8040Hz”。在步骤S5中，决定由这次拍摄处理生成的电影文件的文件名。文件名例如为“VCLP0003.MOV”。将所生成/决定的拍摄模式信息和文件名登录到寄存器rgst上。

在步骤S7中，初始化各种变量。具体地讲，分别将变量i，frmcnt，flsz，BG_RemData，pre_flsz，t_sz和aud_sz设为“0”，将变量trgt_sz设为最大值MAX，并且，将变量audsz_fps设为理论值LG。

这里，变量i和frmcnt都是表示帧序号的变量。变量i响应于垂直同步信号不断增加，变量frmcnt响应于垂直同步信号在“0”～“3”之间循环更新。变量frmcnt在所取数值“0”～“3”中，实际具有意义的为“0”～“2”。如上所述，由三帧JPEG数据形成一个图像块。变量frmcnt用于特定关注的JPEG数据是图像块的第几个数据。

变量flsz是表示由JPEG压缩生成的JPEG原始数据的总大小值的变量。变量BG_RemData是表示虽然在图4所示的指示列表52a上设置了“文件写入”指示，但是还没有记录到记录介质50上的JPEG原始数据的大小的变量。变量pre_flsz是表示已记录在记录介质50上的JPEG原始数据的总大小值的变量。

变量trgt_sz是表示压缩各帧YUV数据时的目标大小值的变量，变量t_sz是用于计算该目标大小值的变量。

变量aud_sz是表示所取声音数据的总大小值(字节)的变量，变量audsz_fps是表示相当于一帧的声音数据的大小值的变量。但是，作为变量audsz_fps而设定的理论值LG是根据软件计算上的取样率来决定的相当于一帧声音数据的大小值。例如，若所决定拍摄模式的实际取样率为8043Hz，软件计算上的取样率为8040Hz，则理论值LG为268(＝8040/30)字节。另外，8040Hz的数值基于以一个码字(word＝4字节)为单位执行硬件方面的数据传送和可由整数来表现理论值LG。

在步骤S9中，应进行直通图像显示，并分别对TG14、信号处理电路22和视频编码器29提供处理命令。在监视器30上显示被拍摄物的直通图像。若在显示直通图像的状态下操作者按下了快门按钮58，则通过步骤S11～S19分别在图4所示的指示列表52a的列表序号“0”～“3”上设置“BG处理开始”、“文件生成”、“表格生成”和“打开文件”。

【表1】

种类	命令	参数1	参数2	参数3	参数4
						BG处理开始	FILE_STRT	---------	---------	---------	---------
文件生成	FILE_CREATE	驱动序号	文件经过	---------	---------
						表格生成	FILE_SET_ALLOC	驱动序号	---------	---------	---------
打开文件	FILE_OPEN	驱动序号	文件经过	---------	---------
						文件写入	FILE_WRITE	名称序号	SDRAM地址	大小(字节)	数据类别
关闭文件	FILE_CLOSE	---------	---------	---------	---------
						BG处理终止	FILE_END	---------	---------	---------	---------

参照表1，在“BG处理开始”中将FILE_STRT设置为命令，在“文件生成”中设置FILE_CREATE、驱动序号(驱动记录介质44的驱动器的序号)和文件经过来作为命令、参数1和2。另外，在“表格生成”中设置FILE_SET_ALLOC和驱动序号来作为命令和参数1，在“打开文件”中设置FILE_OPEN、驱动序号和文件经过来作为命令、参数1和2。在“文件生成”中所设置的文件经过中包括大小信息和步骤S25中决定的文件名，将该大小信息和文件名写入到目录入口中。但是，由于电影文件未完成，所以大小信息表示为“0”。

在完成步骤S19的处理后，若从SG16中输出垂直同步信号，则在步骤S21中判断为YES，并在步骤S23中判断变量i的值。这里，若变量i为“1”或其以上的值，则直接进入到步骤S31，但是若变量i为“0”，则经过步骤S25～S29的处理后进入到步骤S31。

在步骤S25中，进行索引图像的取得处理。具体地讲，在将自动生成的JPEG头Hth写入到SDRAM26中的同时，分别命令信号处理电路22和JPEG图像压缩扩展装置32进行抽取处理和压缩处理。

信号处理电路22在一帧期间内进行YUV数据的抽取处理，并通过总线B1和存储控制电路24将由此生成的索引图像YUV数据写入到SDRAM26中。JPEG图像压缩扩展装置32通过总线B1和存储控制电路24从SDRAM26中读出该索引图像YUV数据，并对所读出的索引图像YUV数据进行JPEG压缩处理后生成JPEG原始数据Rth，再通过总线B1和存储控制电路24将JPEG原始数据Rth写入到SDRAM26中。如图2所示，将JPEG头Hth和JPEG原始数据Rth映射到SDRAM26中。

接着，在步骤S27中，生成包括上述拍摄模式信息(分辨率、帧频、音响方式、比特率、取样率)的头信息Hinf，并通过总线B1和存储控制电路24将该头信息Hinf写入到SDRAM26中。如图2所示，将头信息Hinf映射到JPEG头Hth上面。

这样，若在SDRAM26中存储了形成电影文件头的头信息Hinf、JPEG头Hth和JPEG原始数据Rth，则在步骤S29中在图4所示的列表52a的列表序号“4”和“5”栏中设置“文件写入”。由表1可以看出，在“文件写入”中设置FILE_WRITE、名称序号(由打开文件处理获得)、SDRAM地址、数据大小和数据类别来作为命令、参数1、2、3与4。设置两个“文件写入”是因为在SDRAM26中头信息Hinf和JPEG头Hth是连续的，而JPEG原始数据被存储在分开的位置上。

在列表序号为“4”的栏中，设置头信息Hinf的开始地址来作为SDRAM地址，设置头信息Hinf和JPEG头Hth的总大小来作为数据大小，并且，设置“电影文件头”来作为数据类别。另外，在列表序号为“5”的栏中，设置JPEG原始数据Rth的起始地址来作为SDRAM地址，设置JPEG原始数据Rth的大小来作为数据大小，并且，设置“电影文件头”来作为数据类别。结果，在图8所示的电影文件头上，头信息Hinf、JPEG头Hth和JPEG原始数据Rth以该顺序连续排列。另外，如上所述，利用JPEG头Hth和JPEG原始数据Rth形成JPEG数据TH。

在步骤S31中，向JPEG图像压缩扩展装置32提供压缩处理命令。该压缩处理命令中包含基于变量trgt_sz的目标大小值。JPEG图像压缩扩展装置32通过总线B1和存储控制电路24从SDRAM26中读出一帧的YUV数据，并对读出的YUV数据进行压缩处理后，生成大小接近于目标大小的JPEG原始数据，并且，通过总线B1和存储控制电路24将所生成的JPEG原始数据写入到SDRAM26中。将JPEG原始数据以图2所示的方法映射到SDRAM26上。如上所述，通过由同一帧得到的JPEG头和JPEG原始数据形成该帧的JPEG数据，并将标记SOI和EOI写入到该JPEG数据的前端和末尾。

在步骤S33中，应进行相当于一帧的声音数据的取得处理，并将处理命令提供给信号处理电路38。信号处理电路38通过总线B1和存储控制电路24将从A/D转换器36提供且在SRAM38a中保持的相当于一帧的声音数据写入到SDRAM26中。以图2所示的方法将声音数据映射到SDRAM26中。信号处理电路38还将写入到SDRAM26中的声音数据的大小值，即所取得的大小值返回到CPU52中。因此，在步骤S35中执行基于算式1的运算，并将所返回的取得大小值与变量aud_sz相累计。

【算式1】

aud_sz＝aud_sz+取得大小值

若算式1的运算完成，则在步骤S37中判断JPEG压缩有无完成。若基于步骤S31的压缩命令的JPEG压缩完成，则JPEG图像压缩扩展装置32将所生成的JPEG原始数据的大小即压缩大小值和压缩完成信号返回到CPU46中。因此在步骤S37中，当返回了压缩完成信号时，判断为YES。

在步骤S39中，应将所返回的压缩大小值与变量flsz相加，来执行算式2的运算。

【算式2】

flsz＝flsz+压缩大小值

在步骤S41中，通过总线B1和存储控制电路24将自动生成的JPEG头写入到SDRAM26中，接着，在步骤S43中，通过总线B1和存储控制电路24将当前帧的JPEG数据的索引信息写入到SDRAM26中。以图2所示的方法将JPEG头映射到SDRAM26中，以图3所示的方法将索引信息映射到SDRAM26中。

如上所述，在电影文件的索引块中，按每一帧来管理JPEG数据在文件上的位置和大小。因此，在步骤S43中，生成一帧JPEG数据的位置信息和大小信息来作为索引信息。另外，在电影文件上利用三帧JPEG数据形成一个图像块。因此，在步骤S43中，由变量frmcnt特定当前帧是连续三帧的第几帧，由此，决定在SDRAM26的哪个位置上生成索引信息。

在步骤S45中，在图5所示的访问信息表52b内生成当前帧的JPEG原始数据和JPEG头的访问信息。即，生成存在于SDRAM26中的当前帧的JPEG原始数据的前端地址信息和大小信息来作为当前帧的JPEG原始数据的访问信息，生成存在于SDRAM26中的当前帧的JPEG头的前端地址信息和大小信息来作为当前帧的JPEG头的访问信息。并且，将所生成的各个访问信息分配给在访问信息表52b中设置的变量i。

若步骤S45的处理完成，则在步骤S47中将变量i与当前拍摄模式的帧频值FPS相比较。若当前拍摄模式的帧频为30fps，则帧频值FPS取30，将变量i与“30”相比较。并且，若i＜FPS，则直接进入到步骤S83，但是若i≥FPS，则在经过步骤S49～81的处理后进入步骤S81。

在步骤S49中，判断变量frmcnt是否未达到“2”，若为YES，则在步骤S51中判断是否满足算式3的条件。另一方面，若变量frmcnt为“2”或其以上，则在步骤S59中判断是否满足算式4的条件。

【算式3】

aud_sz-(audsz_fps*(i+1))＞audsz_fps

【算式4】

(audsz_fps*(i+1))-aud_sz＞audsz_fps

audsz_sz是实际取得的声音数据的总大小值，audsz_fps*(i+1)是取得开始时的帧数和理论值LG的相乘值。算式3和算式4都将两个数值的差值与理论值LG相比较。并且，仅在差值为理论值LG或其以下的情况下直接进入步骤S63，若差值大于理论值LG，则在经过步骤S53～S57后，或者经过步骤S61后，进入步骤S63。

例如，若实际取样率为8043Hz，软件计算方面的取样率为8040Hz，则两者的误差为3Hz。这样，在相当于1秒的声音数据的大小值上产生了3字节的偏差。由于理论值LG为268字节，所以在大约90秒内以1次的比例满足了算式3的条件，处理步骤S53～S57。另外，若实际取样率为8034Hz，软件计算方面的取样率为8040Hz，则两者的误差为6Hz。这时，在大约45秒内以1次的比例满足了算式4的条件，执行步骤S61的处理。

在步骤S53中，分别增加变量i和frmcnt。在步骤S55中，在SDRAM26内生成与前次相同的图像索引信息，即，与之前的步骤S43中生成的索引信息相同的索引信息，在步骤S57中，在访问信息表52b内生成与前次相同的访问信息，即与之前的步骤S45中所生成的访问信息相同的访问信息。若步骤S57的处理完成，则进入步骤S63。另一方面，在步骤S61中分别减小变量i和frmcnt，之后，进入步骤S63。

因此，在以图9(A)所示的方法在SDRAM26中设置索引信息且以图10(A)所示的方法在访问信息表52b中设置了访问信息后，满足了算式3所示的条件的情况下，利用步骤S53～S57的处理，如图9(B)所示那样在SDRAM26中设置同一JPEG数据的索引信息，并如图10(B)所示那样在访问信息表52b中设置形成同一JPEG数据的JPEG原始数据和JPEG头的访问信息。

根据图9(A)，在SDRAM26中设置JPEG数据P的索引信息。在该状态下，增加变量frmcnt，且由于使之前的步骤S43中所生成的索引信息再次有效，故如图9(B)所示，插补JPEG数据P的索引信息。在插补过JPEG数据P的索引信息后，如图9(C)所示，设置JPEG数据P+1的索引信息。

根据图10(A)，将JPEG原始数据P和JPEG头P的访问信息分配给变量i(＝P)。在该状态下，增加变量i，且由于使之前的步骤S45中所生成的访问信息再次有效，故如图10(B)所示，将JPEG原始数据P和JPEG头P的访问信息分配给变量i(＝P+1)。在插补过JPEG原始数据P和JPEG头P的访问信息后，如图10(C)所示，将JPEG原始数据P+1和JPEG头P+1的访问信息分配给i(＝P+2)。

另一方面，在以图11(A)所示的方法在SDRAM26中设置索引信息，且以图12(A)所示的方法在访问信息表52b中设置访问信息后，满足了算式4所示的条件的情况下，利用步骤S61的处理，如图11(B)所示，由后续的索引信息上移覆盖索引信息的一部分，如图12(B)所示，由后续的访问信息上移覆盖访问信息的一部分。

根据图11(A)，在SDRAM26中设置JPEG数据P的索引信息和JPEG数据P+1的索引信息。由于在该状态下减去变量frmcnt，故通过下次的步骤S43的处理，如图11(B)所示，由JPEG数据P+2的索引信息上移覆盖JPEG数据P+1的索引信息。由此，抽取出JPEG数据P+1的索引信息。如图11(C)所示，接着JPEG数据P+2的索引信息，设置JPEG数据P+3的索引信息。

根据图12(A)，在访问信息表52b中设置JPEG原始数据P及JPEG头P的访问信息与JPEG原始数据P+1及JPEG头P+1的访问信息。由于在该状态下减小变量i，故利用下次的步骤S45的处理，如图12(B)所示，由JPEG原始数据P+2及JPEG头P+2的访问信息上移覆盖JPEG原始数据P+1及JPEG头P+1的访问信息。由此，抽取出JPEG数据P+1的访问信息。如图12(C)所示，接着JPEG原始数据P+2及JPEG头P+2的访问信息，设置JPEG原始数据P+3及JPEG头P+3的访问信息。

而且，通过在步骤S53中增加变量i，而在下次的以后步骤S51中继续判断为NO。另外，通过在步骤S61中减小变量i，而在下次的以后步骤S59中继续判断为NO。

在步骤S63中，判别变量i除以帧频值FPS时的余数(＝i％FPS)。这里，若余数不为“0”，则直接进入步骤S83，但是若余数为“0”，则在经过步骤S65～S81的处理后，进入步骤S83。由于余数为“0”每30帧发生一次，所以以30帧一次的比例来执行步骤S65～S81的处理。

在步骤S65中，对变量flsz和pre_flsz实施基于算式5的运算，在步骤S67中，对由算式5求出的差值Δflsz、变量BG_RemData与帧频值FPS实施基于算式6的运算。

【算式5】

Δflsz＝flsz-pre_flsz

【算式6】

t_sz＝(Δflsz-BG_RemData)/FPS

在算式5中，变量flsz是通过JPEG压缩而得到的JPEG原始数据的总大小值，变量pre_flsz是已经记录在记录介质50中的JPEG原始数据的总大小值。如后所述，变量pre_flsz仅以30帧一次的比例更新，由于基于算式5的运算也仅以30帧一次的比例更新，所以差值Δflsz表示最新30帧生成的JPEG原始数据的总大小。

在算式6中，变量BG_RemData是在指示列表52a中设置了“文件写入”的指示但还没有记录在记录介质50中的JPEG原始数据的总大小值。“文件写入”处理所需的时间越短，该变量BG_RemData越小，相反，“文件写入”处理所需时间越长该变量越大。从差值Δflsz中减去该变量BG_RemData后的相减值反映了当前时刻的“文件写入”处理速度，将该相减值除以帧频值FPS后的相除值为在规定范围内容纳当前时刻的处理速度下的变量BG_RemData的改变量的压缩大小值。计算该压缩大小值以作为变量t_sz。

这里，作为“文件写入”的处理速度的改变因素，除了CPU50a的处理速度或缓存50b的容量等记录介质50的特性之外，还考虑总线B1的占有率或BG处理任务之外的任务处理状况等。

如上所述，若通过变焦键64的操作选择了比“1”大的变焦倍率，则将原始图像数据暂时存储到SDRAM26后，输入到信号处理电路22中。这时，经总线B1将原始图像数据提供给SDRAM26，并经总线B1返回到信号处理电路22中。通过原始图像数据的转送处理提高总线B1的占有率，由此，降低了“文件写入”的处理速度。

另外，若通过摄像机的摇摄(panning)和俯仰拍摄(tilting)大大改变了被拍摄物的亮度和颜色，则启动拍摄条件控制任务，调整光圈量、曝光时间、白平衡调整增益等。由于不能同时执行各个任务，故若启动了拍摄条件控制任务，则BG处理任务中断，由此，降低了“文件写入”的处理速度。

在该实施例中，考虑该“文件写入”处理速度的改变，并周期性地更新变量t_sz。变量t_sz的更新的结果，如后所述更新目标大小值，甚至更新JPEG压缩率。

在步骤S69中，将计算出的变量t_sz与变量trgt_sz相比较，若t_sz＜trgt_sz，则在步骤S71中将变量t_sz与最小值MIN相比较。并且，若t_sz≥MIN，则直接进入步骤S79，但是，若t_sz＜MIN，则在步骤S73中将变量t_sz更新为最小值MIN后，进入步骤S79。另一方面，在步骤S69中若判断为t_sz≥trgt_sz，则在步骤S75中将变量t_sz与最大值MAX相比较。并且，若t_sz≤MAX，则直接进入步骤S79，但是若t_sz＞MAX，则在步骤S77中将变量t_sz更新为最大值MAX后，进入步骤S79。在步骤S79中，设置变量t_sz而作为变量trgt_sz。

根据算式6，若变量BG_RemData大，则变量t_sz小，相反，若变量BG_RemData小，则变量t_sz大。因此，“t_sz＜trgt_sz”的意思为未记录的JPEG数据量多，即“文件写入”的处理速度慢。另外，“t_sz≥trgt_sz”的意思是未记录的JPEG数据量少，即记录介质50的记录特性好。

因此，当变量t_sz小于变量trgt_sz时，应在下一个1秒内使更小的目标大小值(更高的JPEG压缩率)有效，而将变量t_sz设置为变量trgt_sz。由此，使下一个一秒内所生成的JPEG数据大小比当前一秒内生成的JPEG数据小，避免了因“文件写入”的处理速度降低而引起的处理破绽。

另一方面，当变量t_sz为变量trgt_sz或其以上时，应在下一个一秒内使更大的目标大小值(更低的JPEG压缩率)有效，并将变量t_sz设置为变量trgt_sz。由此，使下一个一秒内所生成的JPEG数据大小比当前一秒内所生成的JPEG数据大，减小了因压缩处理而引起的图像质量劣化。

在步骤S81中，对变量flsz和BG_RemData实施算式7的运算，从而更新变量pre_flsz。

【算式7】

pre_flsz＝flsz-BG_RemData

根据算式7，从之前生成的JPEG原始数据的总大小值中减去未记录的JEPG原始数据的总大小值。由于也是每30帧执行一次该运算，故以30帧一次的比例更新变量pre_flsz。下一次，即在30帧后的算式5的运算中，从最新的变量flsz中减去这样更新后的变量pre_flsz。

在步骤S83中增加变量frmcnt，接着在步骤S85中判断增加后的变量frmcnt的值。并且，若变量frmcnt为“1”或“2”，则直接进入步骤S95，但是，若变量frmcnt为“3”，则在经过步骤S87～S93的处理后进入步骤S95。

在步骤S87中，将声音数据的索引信息写入SDRAM26中。在图7所示的电影文件上，由相当于三帧时间的声音数据形成一个声音块。另外，在索引块中，按每相当于三帧的时间来管理声音数据在文件上的位置和大小。因此，在步骤S85中，生成相当于最新三帧声音数据的位置信息和大小信息，并如图3所示，将所生成的索引信息写入SDRAM26中。

接着，在步骤S89中，将声音数据的访问信息写入访问信息表52b中。即，生成存在于SDRAM26中的相当于三帧的声音数据的前端地址信息和大小信息而作为访问信息，并将所生成的访问信息写入访问信息表52b中。这时，与关注的三帧JPEG数据的访问信息相关联地附加访问信息。

在步骤S91中，参照访问信息表52b中设置的三帧份死的JPEG原始数据、三帧份的JPEG头的访问信息和相当于三帧的声音数据的访问信息，在图4所示的指示列表52a上设置“文件写入”。如图2所示，虽然相当于三帧的声音数据在SDRAM26上连续，但是三帧份的JPEG原始数据和JPEG头在SDRAM26上离散分布。因此，在步骤S91中，在指示列表52a上总共设置了7个“文件写入”。

在该7个“文件写入”中设置为第一个的“文件写入”中，SDRAM地址表示相当于所关注的三帧声音数据的起始地址，数据大小表示相当于所关注的三帧声音数据的大小，并且，数据类别表示声音块。在这里，起始地址和数据大小等于形成步骤S87中所生成的访问信息的SDRAM地址和数据大小。

在设置为第2、第4和第6的“文件写入”中，SDRAM表示所关注的三帧JPEG头的起始地址，数据大小表示所关注的三帧JPEG头的大小，并且，数据类别表示JPEG头。这里，起始地址和数据大小等于形成步骤S45或S57中所生成的最新三帧的JPEG头的访问信息的SDRAM地址和数据大小。

在设置为第3、第5和第7的“文件写入”中，SDRAM表示所关注的三帧JPEG原始数据的起始地址，数据大小表示所关注的三帧JPEG原始数据的大小，并且，数据类别表示JPEG原始数据。在这里，起始地址和数据大小等于形成步骤S45或S57中所生成的最新三帧的JPEG原始数据的访问信息的SDRAM地址和数据大小。

通过由BG处理任务来执行该指示列表52a的指示，从而经存储控制电路24从SDRAM26中读出相当于三帧的声音数据和三帧JPEG数据，并通过总线B1和I/F电路46提供给记录介质50。结果，在图8所示的电影文件上交互分布声音块和图像块。

在步骤S93中，应将步骤S91中在指示列表52a中所设置的三帧JPEG原始数据的大小值与变量BG_RemData相加，从而执行算式8的运算。

【算式8】

BG_RemData＝BG_RemData+JPEG原始数据大小值

在步骤S95中，增加帧序号i，接着在步骤S97中判断有无快门按钮58的操作。仅在没有按下快门按钮58的情况下重复步骤S21～S95的处理，将各帧中所生成的JPEG头、JPEG原始数据和声音数据以图2所示的方法映射到SDRAM26上。

若按下了快门按钮58则进入步骤S99，判断变量frmcnt的值。这里，若变量frmcnt的值为“3”，则直接进入步骤S103，若变量frmcnt为“1”或“2”，则在步骤S101中在指示列表52a上设置了“文件写入”后，进入步骤S103。

在变量frmcnt为“1”的情况下，由一帧的声音数据和JPEG数据形成最后的声音块和图像块，并在指示列表52a上总共设置三个“文件写入”。在变量frmcnt为“2”的情况下，由两帧的声音数据和JPEG数据形成最后的声音块和图像块，并在指示列表52a上总共设置5个“文件写入”。由此，在电影文件上形成了由一帧或两帧声音数据形成的声音块和由一帧或两帧JPEG数据形成的图像块。

在步骤S103中，应将图3所示的索引信息写入电影文件中，并在指示列表52a上设置“文件写入”。这里所设置的SDRAM地址和数据大小表示图3所示的索引信息的起始地址和合计大小，数据类别表示电影文件头。通过由BG处理来执行该“文件写入”，从而在电影文件的末尾形成包括图3所示的所有索引信息的索引块。

在步骤S105中，根据在索引信息中所包含的大小信息计算电影文件的总大小，并将所计算的总大小数据写入到SDRAM26中。接着在步骤S107～S111中，在指示列表52a上设置“文件写入”、“关闭文件”和“BG处理终止”。在“文件写入”中设置的SDRAM地址和数据大小表示总大小数据的前端地址和数据大小，数据类别表示电影文件头。另外，在“关闭文件”中设置FILE_CLOSE以作为命令，在“BG处理终止”中设置FILE_END以作为命令。

通过由BG处理来执行“文件写入”，从而将总大小值追加到电影文件头的大小信息中。另外，通过由BG处理来执行“关闭文件”，而将目录入口的大小信息(根据步骤S15的处理所写入的大小信息)从“0”更新为总大小值，且更新FAT区域501c的FAT信息，以使在这次生成的电影文件的写入区域中形成链接。通过“BG处理终止”来终止BG处理。

另外，为了将总大小值写入到电影文件头，需要更新写入目标地址，实际上，在步骤S105的“文件写入”的设置之前，在指示列表52a上设置“查找(seek)处理”。

根据图20～图21的流程图进行BG处理任务。首先，在步骤S121中将读出对象的列表序号L设置为“0”，接着在步骤S123中判断从列表序号L中读出的命令是否为FILE_STRT。这里，若为YES，则在步骤S125中增加列表序号L，并分别在步骤S127、S131、S135、S139、S147中判断从增加后的列表序号L中读出的命令内容。

若所读出的命令为FILE_CREATE，则在步骤S127中判断为YES，并在步骤S129中进行文件生成处理。具体的，由设置在参数1中的驱动序号来特定记录介质50，并根据设置在参数2中的文件经过将表示文件名和大小0的大小信息写入记录介质50的目录入口。若终止了处理，则返回到步骤S125。

若所读出的命令为FILE_SET_ALLOC，则在步骤S131中判断为YES，并在步骤S133中进行表格生成处理。即，由在参数1中设置的驱动序号来特定记录介质50，并参考FAT信息生成图7所示的空白区域表52c。若处理终止，则返回到步骤S125。

若所读出的命令为FILE_OPEN，则从步骤S135进入步骤S137，进行打开文件处理。即，由在参数1中设置的驱动序号特定记录介质50，并根据在参数2中设置的文件经过特定文件，并且，生成分配给该文件的名称序号。将所生成的名称序号用于拍摄处理。若处理终止，则返回到步骤S125。

若所读出的命令为FILE_WRITE，则从步骤S139进入步骤S141，从而进行文件写入处理。具体地讲，由在参数1中设置的名称序号来特定写入对象的电影文件，并根据在参数2和3中设置的SDRAM地址和数据大小特定读出起始地址和读出大小。并且，根据读出起始地址和读出大小以码字为单位从SDRAM26中读出数据，并将读出数据和写入对象的电影文件信息一起提供给记录介质50的CPU50a。

若在参数3中设置的读出大小比在记录介质50中设置的缓存50b还大，则在缓存50b满的时刻将BUSY信号从CPU50a返回到CPU52中。响应于BUSY信号而中断步骤S141的处理。若通过从缓存50b向硬盘50c的数据传送而确保了缓存50b中具有充分的空余容量，则将READY信号从CPU50a返回到CPU52中。响应于该READY信号重新开始步骤S141的处理。

若参数3中设置的相当于读出大小的数据向记录介质50的传送完成，则在累计该读出大小的同时，每完成一簇(cluster)份的写入，就生成表示写入簇的链接状态的FAT信息。将数据大小的累计值和FAT信息保持到SDRAM26中。

在步骤S143中，判断在参数4中设置的数据类别。这里，若数据类别不为“JPEG原始数据”，则直接返回步骤S125，但是若数据类别是“JPEG原始数据”，则在步骤S145中执行基于算式9的运算后，返回步骤S125。

【算式9】

BG_RemData＝BG_RemData-JPEG原始数据大小值

根据算式9，从变量BG_RemData中减去参数3中所设置的数据大小。由此，变量BG_RemData表示设置在指示列表52a中，但还没有记录在记录介质50中的JPEG原始数据的大小。

若所读出的命令为FILE_CLOSE，则从步骤S147进入步骤S149，进行关闭文件处理。具体地讲，利用在SDRAM26中保持的总大小值更新分配给打开电影文件的文件名的大小信息，并通过由SDRAM26保持的FAT信息更新FAT区域501c的FAT信息。若处理完成，则返回步骤S125。

若所读出的命令为FILE_END，则在步骤S147中判断为NO，而返回步骤S121。BG处理移动至待机状态。

从上述说明可以看出，当并行记录处理彼此关联的声音数据和多个画面的JPEG数据时，由CPU52按每30帧计算声音数据的实际处理量(＝8043字节/秒)和虚拟处理量(＝8040字节/秒)的误差(S51，S59)。若所计算的误差大于阈值，则调整记录于记录介质50内的JPEG数据的帧数(S53～S57，S61)。具体地讲，利用索引信息和访问信息的抽取/插补来调整帧数。因此，不仅防止声音噪声的发生，而且可确保再生动态图像和再生声音的同步。

另外，在本实施例中，虽然以JPEG方式进行图像压缩，但是也可代替JPEG方式，而采用MPEG方式，以GOP为单位来更新目标大小值。

此外，在本实施例中，虽然按每30帧来更新目标大小值，但是为了使软件计算容易，也可按32帧、64帧、128帧等相当于2的幂乘的帧数来更新目标大小。

再有，在本实施例中，虽然将用于判断是否调整帧数的阈值设置为相当于一帧的声音数据量(＝268字节)，但是该阈值也可以是268字节的整数倍。

另外，在本实施例中，虽然在进行记录处理时，调整JPEG数据的帧数，但是也可在再生处理时进行帧数的调整。

进而，在本实施例中，虽然对访问信息和索引信息两者进行抽取/插补处理，但是在仅根据索引信息来控制JPEG数据的再生顺序的情况下，也可仅对索引信息进行抽取/插补。由此，可防止因访问信息的抽取处理而产生的JPEG数据的丢失。

还有，在本实施例中，虽然采用FAT方式来作为动态图像信号的记录方式，但是也可代替此，而采用UDF(Universal Disk Format)方式。

进一步，在本实施例中，虽然使用数字摄像机来进行说明，但是当然本发明也可适用于例如录像TV节目的固定式硬盘录像机。

虽然详细说明、图示了本发明，但是其仅仅用作图解和一例，应明白其不应解释为限定，仅通过所附加的技术方案的文字来限定本发明的精神和范围。

Claims (8)

1.一种数据处理装置，其并行处理彼此相关的声音数据和多个画面的静止图像数据，其特征在于，包括：

计算机构，其在所定周期内计算所述声音数据的实际处理量和虚拟处理量之间的误差；和

调整机构，其根据由所述计算机构计算出的误差来调整所述静止图像数据的画面数。

2.根据权利要求1所述的数据处理装置，其特征在于，还包括：

计数机构，其计算处理过的静止图像数据的画面数；和

累计机构，其按每一画面期间累计所述声音数据的实际处理量，

所述计算机构求出根据所述计算机构的计算值而累计了相当于一个画面的虚拟处理量的第一累计值和由所述累计机构所求出的第二累计值的差值。

3.根据权利要求1或2所述的数据处理装置，其特征在于，所述调整机构包括：

比较机构，其将所述误差与相当于N(N为1或其的整数)个画面的声音数据的虚拟处理量相比较；和

调整执行机构，其根据所述比较机构的比较结果来进行调整。

4.根据权利要求3所述的数据处理装置，其特征在于，所述调整执行机构包括：

增加机构，其当所述误差为不充分的数值时，使所述静止图像数据的画面数增加；和

减小机构，其当所述误差为剩余数值时，使所述静止图像数据的画面数减小。

5.根据权利要求3或4所述的数据处理装置，其特征在于，还包括：

暂时存储所述多个画面的静止图像数据的存储器；和

以基于处理顺序信息的顺序来读出存储在所述存储器中的静止图像的数据读出机构，

所述调整执行机构根据所述比较机构的比较结果，生成所述处理顺序信息。

6.根据权利要求3～5中任一项所述的数据处理装置，其特征在于，还包括：

第一记录机构，其在记录介质中记录所述声音数据和所述多个画面的静止图像数据；和

第二记录机构，其在所述记录介质上记录各画面的静止图像数据的索引信息，

所述调整执行机构根据所述比较机构的比较结果，对由所述第二记录机构记录的索引信息进行抽取/插补。

7.根据权利要求1～6中任一项所述的数据处理装置，其特征在于，所述虚拟处理量表示与所述实际处理量相近似且适合于软件计算的数值。

8.一种摄像机，其特征在于，具备权利要求1～7中任一项所述的数据处理装置。

Images