CN1497945A - 图像生成设备和图像生成方法 - Google Patents

Abstract

为了充分利用拍摄的图像的特性例如高分辨率和高速摄取(高帧频)来生成动画图像数据，一种摄像设备包括一个摄像机装置，以按预定时间间隔对一个景物拍摄，并且生成摄像数据；和一个编码装置，以将摄像数据编码成具有一个基于预定时间间隔的图像速度的动画图像数据。按照摄像机装置中的拍摄像素数及图像速度，通过改变由编码装置所输出的编码动画图像数据的输出模式，输出一个最优动画流。

Description

图像生成设备和图像生成方法

技术领域

本发明涉及一种图像生成设备和一种图像生成方法的技术，用于以可变帧频摄取一幅动画，并且生成压缩编码的图像数据。

背景技术

有各种各样的数字照相机和数字摄像机，作为能够对一幅图像拍摄并且记录和再生该图像的装置。最近由于先进的制造技术而使摄像元件使用增加的像素数，从而使得应用这些摄像元件的数字照相机和数字摄像机所拍摄的图像质量都得到极大地改进(使图像的分辨率增加)。

当使用上述摄像机生成一幅具有高分辨率的图像时，虽然摄像机的拍摄能力、图像压缩能力、记录能力以及其他类似能力由于大量图像数据而受到极大影响，但是通过限制处理时间和处理数据量，按照各自摄像机及其模式来最优地设置摄像机的操作条件。

例如，有一种数字摄像机，它在假定将一幅动画输出到TV监视器的动画记录模式下，以30帧/秒的速度在NTSC下记录480×720像素的摄取数据，或在PAL下记录576×720像素的摄取数据(对应于VGA下的640×480方形像素)，并且它在静止图像记录模式下，记录123万像素的摄取数据(对应于SXVGA下的方形像素1280×960像素)。

此外，有一种流行类型的数字照相机，它记录一幅300万像素(对应于QXGA下的2048×1536像素)或更多像素的静止图像，并且以约2帧/秒的速度对一幅动画连续地拍摄。

然而，一般地，即使具有一个包括大量像素的摄像元件的数字摄像机和数字照相机，也仅能在一个按照用户设置的拍摄模式和图像尺寸所唯一确定的固定像素范围内，拍摄和记录一幅图像，并且难以任选地获得一幅特别是对动画具有高分辨率的拍摄图像。

相反，对于数字摄像机，除希望增加像素数外，用户还希望以高速执行拍摄。例如，甚至当正在对一幅动画拍摄的时候，需要将帧频变为高速侧。然而，增加帧频不仅使各自处理电路上的负载增加，而且可能使得当再生画面时，再生装置或显示装置不能处理按改变的帧频所拍摄的动画。因此，当实际作为产品制造一种满足这种需要的数字摄像机时，这些问题必须解决。鉴于以上问题，例如，如USP No.5,640,202和5,786,851所公开，想到一种动画拍摄系统，它通过用一台与摄像机等连接的主计算机来控制该系统，使得有可能以不同帧频记录一幅动画。

然而，记录动画所实际使用的帧频是一个按照TV监视器的系统及其他类似系统所设置的预定帧频，或如以上US专利所公开，是一个在主计算机的控制下所设置的帧频，并且不能实现由操作摄像机的用户而能任选地改变帧频。

如上所述，在常规技术中，按照预定图像尺寸确定拍摄图像的分辨率。此外，在常规系统中，由于每秒处理的帧数及其他类似参数由摄像元件的读出时间、图像压缩装置的处理时间，以及记录装置的数据传输速度及其他类似参数所唯一地确定，所以不能在摄像机侧选择分辨率和帧频。

发明内容

本发明的一个目的是解决上述问题。

本发明的另一个目的是提供一种图像生成设备和一种图像生成方法，它们能够以任选分辨率或任选帧频生成一幅图像，特别是一幅动画。

作为实现这样目的的一个优选实施例，本发明的一种图像生成设备包括摄像装置，以按预定时间间隔摄取一幅物像并且生成摄像数据；编码装置，以将摄像数据编码成具有基于预定时间间隔的图像速度的动画图像数据；输出装置，以输出编码的动画图像数据；以及控制装置，以按照摄像装置所摄取的摄像数据的像素数及图像速度，控制输出装置。

此外，本发明的一种图像生成方法包括如下步骤，按预定时间间隔摄取一幅物像并且生成摄像数据；将摄像数据编码成具有基于预定时间间隔的图像速度的动画图像数据；输出编码的动画图像数据；以及按照摄像步骤所摄取的摄像数据的像素数及图像速度，控制输出步骤。

由以下实施例的详细描述，本发明的其他目的及其优点将变得非常显而易见。

附图说明

图1是作为本发明的图像生成设备的一个实施例的数字摄像机100的方框图；

图2说明由一个CMOS摄像元件执行的读出；

图3是说明一个对其应用了本发明的摄像机单元10’的方框图；

图4A和图4B说明由一个CCD摄像元件执行的读出；

图5A和图5B是由CCD摄像元件执行的读出的时间图；

图6是说明一个对其应用了本发明的编码单元40的方框图；

图7说明像素数与帧处理时间之间的关系；

图8说明JPEG 2000的分波段；

图9是表示像素数与帧处理时间之间的关系的表；以及

图10是说明数字摄像机100的操作的流程图，它包括图10A和图10B。

具体实施模式

现在将参考附图，在以下详细地描述本发明的优选实施例。

图1表示一个数字摄像机100的整个系统的方框图，作为本发明的图像生成设备的一例。

在图1中，标号1表示一个摄像元件，以将光信息转换成电信号；标号2表示一个读出处理单元，以从摄像元件1读出图像信号；标号3表示一个ACG和A/D转换单元，以使读出的图像信号经受增益校正，然后将图像信号转换成数字数据；标号4表示一个校正转换单元，以使读出的数字数据经受校正处理，例如γ校正及其他类似校正，并且将数字数据转换成亮度色差形式(Y，Cr，Cb)的图像数据；标号5表示一个效果合成单元，以使校正转换单元4处理过的图像数据经受算术运算，以便使图像数据添加图像效果；标号6表示一个由RAM及其他类似元件所组成的工作存储器，以暂时存储各个单元3至5的处理数据；以及标号10表示一个摄像机单元，它由各个单元1至6和以下将要描述的ROM7所组成。注意ROM 7存储关于摄像机单元10的图像处理能力(拍摄能力)的信息。

此外，标号30表示一个编码处理单元，以使对其输入的图像数据经受压缩编码处理；以及标号31表示一个由RAM及其他类似元件组成的工作存储器，其中编码处理单元30暂时将正在处理的数据存储于其中。注意编码处理单元30使用JPEG 2000系统(包括Motion-JPEG 2000)将图像压缩编码，JPEG 2000系统是一种图像压缩格式。此外，标号40表示一个编码单元，它由编码处理单元30、工作存储器31和以下将要描述的ROM 32的各自块所组成。注意ROM 32存储关于编码处理单元30的图像编码能力的信息。

此外，标号50表示一个输出单元，以输出在编码处理单元30中经受过压缩编码处理的压缩图像数据；标号51表示一个记录单元，以记录从输出单元50输出的压缩图像数据；以及标号52表示一个外部输入输出终端，以从外部输入和输出从输出单元50输出的压缩图像数据、其他必要信息以及其他类似信息。对外部输入输出终端52连接一个外部记录单元、监视器、个人计算机(PC)、服务器以及其他类似单元。标号53表示一个状态检测单元，以检测记录单元51的状态和外部记录单元及其他类似与外部输入输出终端52连接的单元的状态。

标号60表示一个由微型计算机及其他类似单元组成的控制单元，以控制数字摄像机100的各个单元；以及标号61表示一个操作单元，以输入各种命令。控制单元60按照从操作单元61输入的用户命令，从各自ROM输入的信息，从状态检测单元53输入的信息，以及其他类似信息，控制各个单元的操作。

其次，将参考图1详细地说明图1所示的数字摄像机100的操作。将参考图1说明生成图像数据的处理流程。

首先，通过一个透镜(未示出)将一个物体的图像会聚在摄像元件1上，并且转换成电信号。此时，将所有摄像元件(传感器)的各输入转换成各像素的电信号。其次，按照控制单元60所输入的指定像素数(P)和读出时间(T)的控制信号，读出处理单元2读出电信号，从而生成图像信号。

其次，使图像信号经受增益调整，并且在ACG和A/D转换单元3中转换成数字数据。将数字数据一次存储在工作存储器6中。

当在工作存储器6中存储了预定量的数据时(例如，一帧的图像的数据量)，校正转换单元4开始校正并转换工作存储器6中所存储的数字数据。校正转换单元4从工作存储器6中顺序地读出数字数据，使其经受光电压转换校正(γ校正)，进一步使数字数据经受图像数据转换，成为亮度和色差格式(Y，Cb，Cr)，并且按基于读出处理单元2的读出时间的定时，输出数字数据。在校正转换单元4转换数字数据之后，将数字数据按需要暂时存储在工作存储器6中。

效果合成单元5根据校正转换单元4的输出定时开始操作。效果合成单元5是一个通过使取自工作存储器6的图像数据(Y，Cb，Cr数据)经受数字算术运算，以提供更好看的图像数据的部分。当校正转换单元4中的处理完成时，效果合成单元5从工作存储器6中读出YCbCr数据，使数据经受数字效果处理，以通过改变Y、Cb、Cr的比而使整幅图像的颜色为深褐色，或使其经受算术运算处理，以通过将数字数据与先前图像合成，提供一个具有擦去效果的场景变化部分，并且其后将图像数据传送到编码单元40。注意效果合成单元5中的处理可以当用户选择或设置它时任选地执行。当效果合成单元5中的处理没有执行时，经过校正转换单元4处理的图像数据从工作存储器6中读出，并且传送到编码单元40，使效果合成单元5中的处理旁路。

从而按照控制单元60供给的控制信息来指定分辨率和帧处理时间，编码单元40中的编码处理单元30将接收的图像数据压缩编码。虽然在处理步骤生成的中间代码暂时存储在工作存储器31中，但是最后压缩编码的图像数据传送到输出单元50，并且记录在记录单元51中，或从外部输入输出终端52传送到外部单元。

此外，状态检测单元53是一个用于检测和监视记录单元51的记录状态，或与外部输入输出终端52连接的外部单元的接收/记录状态的块。根据需要将检测状态信号传送到控制单元60，并且用来控制各个单元。

其次，将在以下说明本发明的操作特征。

首先，在本实施例的数字摄像机100中，能用操作单元61将拍摄模式设为“分辨率优先模式”和“高速摄取优先模式”。当用户指定分辨率优先模式和高速摄取优先模式中的任何一个时，将指示信息从操作单元61传送到控制单元60。

然后，控制单元60从存储摄像机单元10的能力信息的ROM 7中读出摄像机单元10的性能。这里所述的摄像机单元10的性能用能读出的最大像素数(Pmax)，读出最大像素数(Pmax)时的读出时间(Tmax)，在高速下执行读出时的读出时间(Tmin)，以及在高速读出下所能读出的像素数(Pmin)的信息来表示。

这里将用图2和图3来说明当将一个CMOS传感器用作摄像元件1时所使用的读出图像数据的方法。

图2说明在一个摄像元件中的像素的布置。图3是一个摄像机单元10’的方框图，详细地表示图1的摄像机单元10的布置的一部分。首先，将用图3的方框图说明读出图像数据的方法。

摄像机单元10’包括一个用作摄像元件的CMOS传感器单元1’；一个读出单元11，一个加法单元12和一个地址生成单元15，它们用作读出处理单元2的详细布置；一个AGC单元13和一个A/D转换单元14，它们用作AGC和A/D转换单元3的详细布置；一个像素指定单元16和一个读出速度指定单元17，它们用作控制单元60的详细布置；一个由其他控制系统组成的控制单元60’；以及还有校正转换单元4。

将说明图3的摄像机单元10’的操作。

当在控制单元60’的控制下由像素指定单元16指定像素数时，将指定要读出的像素的信息传送到地址生成单元15。

如果这里指定读出所能读出的最大像素数，地址生成单元15生成一个地址，它使电信号从CMOS传感器1’的所有像素顺序地读出到读出单元11。此时，在图2中，如Pi，j；Pi，j+1；…；Pi+1，j；Pi+1，j+1；…所示的所有像素的电信号被顺序地读出。在这种情况下，由于所有像素被读出，所以需要最大时间Tmax来读出一幅图像。

此外，如果指定读出四分之一的最大像素数，地址生成单元15生成一个地址，以按四个像素为单位将CMOS传感器1’的像素读出到读出单元11。此时，在图2中，按照对此确定的规则从Pi，j；Pi，j+1；Pi+1，j；Pi+1，j+1中读出一个信号，以便从相邻四个像素中读出一个像素(例如，从Pi，j；Pi，j+1；Pi+1，j；Pi+1，j+1中仅读出Pi，j)。也就是，由于一幅图像的所有像素按四个像素为单位读出，所以它们能以最大时间Tmax的四分之一的读出时间被读出。

如上所述，读出单元11根据指定像素数读出电信号，并且读出的电信号被加法单元12相加，在AGC单元13中经受增益调节，并且在A/D转换单元14中转换成数字数据。由于电信号在加法单元12中相加，这样提供如一个半波段低通过滤器处理电信号的情况相同的结果，从而消除在偏移取样时所引起的混叠畸变的影响。

如上所述，由于读出较小像素数(P)使一幅图像的读出时间(T)减少，所以在控制单元60的控制下改变由读出速度指定单元17所指定的速度值。也就是，读出速度指定单元17生成与一幅图像的当前读出时间相对应的定时信号。A/D转换单元14响应定时信号执行处理，以及将处理开始定时通知校正转换单元4。

如上所述，像素数(P)和读出时间(速度)(T)近似具有以下表达式(1)所示的关系：

P×T＝常数                                     (1)

因此，当P或T由用户设定时，则相互成对的T或P能由摄像元件的最大能力确定。

例如，参考图9，为了说明一个具有300万像素的摄像元件的像素数(P)和速度(T)，将速度设置为普通动画下的30帧/秒(VGA尺寸)。然而，如上所述，当将4个像素一起读出时，由于像素数减小到1/4，所以有可能以120帧/秒的速度读出像素。相反，当一个摄像元件具有如VGA两倍那样多的像素数时，则能以7.5帧/秒的速度读出一幅具有130万最大像素数的图像(SXVGA)。

如上所述，由于CMOS传感器具有最大读出像素(Pmax)和最大读出时间(Tmax)作为其性能，所以用户能在本系统中任意地选择最大像素数和最大读出时间或中间像素数和中间读出时间中的任何一个。

其次，将参考图4A和图4B及图5A和图5B，说明当摄像元件1由CCD摄像元件组成时所使用的读出方法。

参考图4A，将说明用于读出一幅普通整幅图像的操作。

在CCD摄像元件中累积的电荷通过一个用作摄像元件表面的CCD光接收单元20，在一个定时发生器(TG)22所产生的定时被垂直地传送。垂直传送的电荷通过一个水平传送单元21传送到线路单元中的ACG和A/D转换单元3。如上所述，CCD摄像元件使用这样一个传送系统，以便所有像素垂直地传送，然后水平地传送。注意CCD光接收单元20其全部用作一个读出区。

图5A按时间序列表示垂直同步信号(VD)、水平同步信号(HD)、像素读出信号(PD)、用作其参考信号的时钟信号(Clk)、在A/D转换中能够按3Clk读出A/D转换数据的操作信号，以及读出A/D转换数据的定时(RD)。

如图4A所示，在与图5所示的垂直同步信号VD和水平同步信号HD同步的定时PD，读出光接收单元20的像素(m×n)数据，并且在定时RD经受A/D转换。注意图7表示一幅图像，其中所有图像102的数据在垂直同步信号VD的定时读出。

其次，参考图4B说明一种情况，其中CCD摄像元件读出具有不同分辨率(不同像素数)的数据。在图4B中，当读出区(m’×n’)23由CCD光接收单元20中一个包括像素指定单元16所指定的像素数的区域组成时，将在以下说明将读出该读出区(m’×n’)23的数据的方法。注意图5B表示按时间序列执行处理的定时。

首先，在图4B中，当像素沿垂直方向传送时，位于读出区23之下的像素(在垂直方向上k行的像素)与时钟信号Clk(图5B中的PD1，2，…，k)同步地以高速跳过。然后，当包括读出区23中的数据的行数据(k+1)由水平传送单元21传送到ACG和A/D转换单元3时，最初j像素以高速跳过(图5 B中的Clk1，2，…，i)，并且读出区23中的像素j+1至j+n’与时钟Clk(图5B的PD1，2，…，n’)同步地经受A/D转换处理。剩余的i个像素以类似于j像素的高速率跳过(图5B的Clk1，…，i)。对m’行重复上述操作(图5B中的PDn’+1，n’+2，…，m’n’及Clk1，…，i)，并且剩余h行的像素与k行类似地以高速垂直跳过(图5B中的PD1，2，…，h)。注意图7表示一幅图像，其中为所有图像102的数据的一部分的像素区101的数据，以比摄取所有像素的定时较短的垂直同步信号VD的定时，由上述处理读出。

如上所述，在CCD摄像元件中，因为像素被部分地读出以代替稀疏读出，所以不会引起由于取样引起的混叠畸变。相反，以高速跳过的部分要求一点额外处理时间。然而，由于在CCD摄像元件中除有效读出区23中以外的像素数据同样以高速传送，所以如果读出少数像素(P＝n×m)，则能在短时间(T)内读出一幅图像，从而能与CMOS摄像元件类似地使表达式(1)成立。

此外，由CCD摄像元件执行的部分读出的特征之一在于，能从CCD摄像元件中不同地相对任意地设置所剪裁的像素(n×m)，其中各按4倍改变分辨率。因此，有可能构造一种如图9所示能够相对任意地选择像素数的摄像机系统。

由以上所述，用户能选择拍摄模式，以便在CMOS和CCD摄像元件的任何一个下，使像素数和速度具有互补关系。此外，能读出一幅图像，以便摄像元件能表现其最大能力。

其次，将参考图6特别地说明如上所述在图1中的编码单元40中，将从摄像元件读出的图像数据进行压缩和编码的布置。

在图6中，作为其详细布置，编码单元40包括工作存储器31；一个分时分波变换电路33；一个量化电路34；一个熵编码电路35；一个代码流生成电路36；和一个包控制电路37。注意上述单元33至37是用于构成上述编码处理单元30的处理块。

首先，设置编码单元40中的帧处理时间和处理像素数，以便按照用户是选择上述的分辨率优先模式还是高速捕获模式，根据控制单元60所确定的像素数(P)和读出时间(T)，执行操作。

本实施例假定编码单元40能处理摄像机单元10的性能，即最大读出像素数(Pmax)和最短帧读出时间(Tmin)。也就是，编码单元40备有工作存储器31的尺寸和各自块中的算术运算能力，它们这样设置，以便能实时处理一幅具有像素数(P)和帧读出时间(T)的帧图像，这里像素数(P)和帧读出时间(T)按照摄像机单元10的性能根据表达式(1)唯一地实时设置。

分时分波变换电路33使输入图像数据按照设置像素数和处理时间经受分波段编码。按照这里所用的使用JPEG 2000系统的分时分波变换电路33，将图像数据沿水平方向和垂直方向两维分波段编码为L分量和H分量，并且转换成LL、LH、HL和HH分波段系数。这些分量的LL分量再经受两维分时分波变换，从而获得2LL、2LH、2HL和HH分波段系数。此外，当使2LL分量再经受两维分时分波变换的递归处理执行预定次数时，重要数据集中在LL分量，并且噪声分量集中在HH分量。当利用上述特征由量化电路34适应地量化图像数据时，能压缩图像数据。

图8概念地表示当执行三次两维分时分波变换时，分波段系数与图像数据之间的关系。如上所述，在JPEG 2000系统的分时分波变换中，关于分辨率编码的数据按分辨率的可量测性结构编码，以便对图像数据递归地编码。特别地，如下所示生成各减少四分之一的像素数(分辨率)的编码数据。

所有图像＞1LL＞2LL，…＞nLL

其中，(n-1)LL＝nLL+nHL+nLH+nHH。

其次，熵编码电路35进一步将经受了分时分波变换的中间编码图像数据压缩。虽然这里没有详细地描述熵编码，但是它将量化数据按相邻像素块(代码块)为单位分为位明码，并且各位明码的二进制数据根据上下文模型算术编码。通过最优地设置编码序，使用各自位明码编码的数据有助于改进所传输的再生图像的质量。也就是，将各自代码块的编码数据分成多个层，这些层与所传输的再生图像的质量相关。

如上所述编码的数据微小地分成多个代码块的层，并且根据预定字符将编码数据成包安排，生成一个代码流。字符安排编码数据，它作为一个包定位在类似位置并且具有类似图像质量。代码流的包由代码流生成电路36生成。

此外，当使用JPEG 2000系统时，通过不同地安排代码流的包，能实现一些特征功能。例如，当按较高层的次序(按良好SN比的次序)优先地安排包时，使代码流顺序地解码，以便使一幅粗糙质量图像(具有不良SN比的图像)逐渐成为一幅平滑图像(具有优良SN比的图像)。此外，当按上述分时分波变换的分波段的层次次序优先地安排包时，使代码流顺序地解码，以便使一幅模糊图像(具有不良分辨率的图像)成为一幅清晰图像(具有优良分辨率的图像)。如上所述的可量测性功能称为SN可量测性和分辨率可量测性。

在本实施例中，代码流生成电路36按照由控制单元60设置的像素数和速度来改变可量测性。特别地，在高分辨率图像(高像素密度图像)下，其中一幅动画的帧频为30帧/秒或较小，则将代码流的包按SN可量测性次序安排，并且输出到包控制电路37，而在具有超过30帧/秒的帧频的高速图像下，代码流的包按分辨率可量测性次序安排，并且输出到包控制电路37。

包控制电路37是一个在如上所述生成的代码流的模式输出到后级的输出单元50之前，用于控制代码流的模式的电路。虽然包控制电路37通常按原样输出生成的代码流，但是当从控制单元60输出按照记录状态的控制信号时，包控制电路37按照控制信息输出代码流。以下将说明用于按照控制信息输出代码流的布置。

如图1所示，本实施例的数字摄像机100包括状态检测单元53，以检测和监视记录单元51或与外部输入输出终端52连接的外部单元的记录状态或接收状态；和控制单元60，以按照这里检测的状态信息控制各个单元的操作。例如，当记录单元51忙碌时，即使由编码单元40所生成的代码流从输出单元50输出，它也不能被记录。因此，当记录状态检测单元53检测到记录单元51的忙碌状态时，它将忙碌状态作为信息通知控制单元60。当控制单元60接收到这个状态信息时，包控制电路37停止按帧单位的代码流的包的传输，并且执行控制，以便执行预定帧图形结束序列。也就是，当记录单元51忙碌时，控制单元60执行控制，以便不输出各自帧的所有编码数据，而仅输出预定数的包，并且停止超过预定包数的包的传送。

能同样地对与外部输入输出终端52连接的外部记录单元和显示单元，以及记录单元51执行相同的控制。当记录状态检测单元53通过命令通信由外部输入输出终端52接收到外部单元的状态，例如接收/记录状态及其他类似状态，并且将状态信息输出到控制单元60时，控制单元60能按照外部单元的状态来控制包控制电路37的输出。

由于按包的次序设置JPEG 2000的可量测性功能，即使中途取消各自帧的编码数据，也能将一幅具有适当质量的图像解码。特别地，由于在具有高图像质量和低速度的动画中使用SN可量测性，即使中途取消图像的各自帧的编码数据，也可能再生一幅具有最优图像质量的图像，并且能使图像的质量的变劣最小化。相反，由于在具有低像素密度和高速的动画中使用分辨率可量测性，即使中途取消图像的各自帧的编码数据，也可能均匀地再生一幅完整图像，从而能摄取一个几乎不能预测的物体的高速移动。

在本实施例中，注意在控制单元60的存储区中存储并保持标题信息(Motion JPEG 2000文件格式的标题信息，以及其他类似信息)，标题信息是在记录单元51中记录代码流之后执行的编排处理，以及取消包的传送时所必需的信息。在完成流信息的记录之后，将标题信息传送到记录单元51，并且生成一个文件格式，从而完成记录。当标题信息输出到外部记录单元时，类似地执行上述处理。

注意虽然本发明描述在完成一系列动画记录操作之后，对记录单元51生成文件格式，但是也可能利用Motion JPEG 2000的moor Box功能，在每个预定时间写入文件标题。

虽然所描述的是假定编码单元40能处理最大读出像素数(Pmax)和最短帧读出时间(Tmin)时所执行的处理，但是以下将描述在其他情况下执行的处理。

这里，将描述当编码单元40的性能比摄像机单元10的性能差时所执行的处理。特别地，这种情况假定编码单元40没有备有工作存储器40的尺寸，以及能够实时处理具有像素数(P)和帧读出时间(T)的帧图像的算术运算处理能力，像素数(P)和帧读出时间(T)按照摄像机单元10的性能根据表达式(1)唯一地设置。

参考图1将描述上述情况下的操作。

首先，当用户设置分辨率优先模式和高速摄取优先模式中的任何一个时，控制单元60接收这个信息，并且从ROM 7中读出摄像机单元10的性能信息(Pmax，Tmax)。控制单元60还从ROM 32中读出编码单元40的编码性能信息(P’max，T’min)。编码性能信息由编码单元40中各自块的处理速度、工作存储器31的容量以及其他类似方面来表示。

这里，当用户指定的拍摄模式是分辨率优先模式时，选择下列表达式(2)所表示的P。

P＝Min(Pmax，P’max)                              (2)

也就是，选择能由编码单元40和摄像机单元10两者所处理的像素数的最大值。然后，根据表达式(1)计算处理速度T，并且对摄像机单元10和编码单元40设置像素数和速度。随后操作与上述各自块的操作相同。

相反，当用户选择高速摄取优先模式时，由下列表达式(3)选择处理速度T。

T＝Max(Tmin，T’min)                              (3)

也就是，选择能由编码单元40和摄像机单元10两者所处理的处理速度的最小值。然后，根据表达式(1)选择像素数P，并且对摄像机单元10和编码单元40设置像素数和处理速度。随后操作与上述各自块的操作相同。

如上所说明，由于在本实施例中在ROM中分开地存储并保持摄像机单元10和编码单元40的处理能力，所以当有其他兼容摄像机单元时，通过按相同模式比较其性能，有可能表现作为一个系统的最大能力。

此外，在本实施例的系统中，由于摄像机单元10能执行部分读出以及其他类似操作，所以用户能选择拍摄模式。然而，当将不能执行部分读出以及其他类似操作的其他高像素密度摄像机单元与上述编码单元40结合时，则在分辨率优先模式下自动地生成代码流，而相反地当将能以高速执行读出的低像素密度摄像机单元与编码单元40结合时，则在高速摄取优先模式下自动地生成代码流，该系统能按最优模式生成代码流，而无需用户来选择模式。

参考图10的流程图，将说明上述操作。也就是，图10表示数字摄像机100的操作流程。

在图10中，首先，控制单元60确定摄像机单元10是否能从所有像素中部分地读出P像素，以及一帧(P像素)的读出时间(T)是否可变(步骤S1000)。

当在步骤S1000的确定为“可变”时，即当读出的像素数(P)和帧频(T)为可变时，从ROM 7中读出摄像机性能信息(Pmax，Tmax)，以及从ROM 32中读出编码性能信息(P’max，T’min)(步骤S1010)。

其次，控制单元60确定由用户用操作单元61所指定的拍摄模式是由于高像素密度的分辨率优先模式，还是高速摄取优先模式(步骤S1020)  。

当控制单元60确定拍摄模式指定为“分辨率优先模式”时，根据表达式(2)确定能由摄像机单元10和编码单元40两者所处理的最大像素数，并且根据表达式(1)计算与像素数(P)对应的速度(T)(步骤S1030)。

相反，当控制单元60确定拍摄模式指定为“高速摄取优先模式”时，根据表达式(3)确定能由摄像机单元10和编码单元40两者所处理的最小处理时间，并且根据表达式(1)计算与帧处理时间(T)对应的像素数(P)(步骤S1032)。

其次，对摄像机单元10和编码单元40设置如上所述由控制单元60所确定的像素数(P)和处理时间(T)(步骤S1040)。

上述处理在其中像素数(P)和帧处理时间(T)可变的摄像机单元中执行。然而，当在步骤S1000确定像素数(P)和帧处理时间(T)为“固定”时，即在摄像机单元10中，其中像素数(P)和帧处理时间(T)中的任何一个为固定，则控制单元60检测摄像机单元10的性能(步骤1002)。也就是，控制单元60通过检测摄像机单元10的摄取像素数和处理时间，自动地确定像素数(P)和帧处理时间(T)。

在这种情况下，不使用其中用户指定拍摄模式的处理，并且控制单元60设置一个参数，以自动地和唯一地确定高分辨率模式或高速摄取模式。特别地，确定帧处理时间(T)，它用作根据高分辨率模式和高速摄取模式而改变的后处理的一个确定判据，并且当控制单元60确定摄像机单元10对分辨率提供优先时，将帧处理时间(T)设置为1/30秒或较大，而当控制单元60确定摄像机单元10能以高速读出数据时，虽然具有低像素密度，也将帧处理时间(T)设置为小于1/30秒。应用上述布置，能自动地改变后处理。

其次，控制单元60对编码单元40设置由摄像机单元10所自动设置的像素数(P)和帧处理时间(T)(步骤S1004)，从而完成摄像机单元10中的设置处理。

如上所述，虽然根据摄像机单元的性能是可变还是固定，由稍微不同的处理来设置像素数(P)和帧处理时间(T)，但是如上所述对其设置了像素数(P)和帧处理时间(T)的摄像机单元10，用预定的像素数(P)和帧处理时间(T)读出一隔帧图像，并且编码单元40执行图像压缩处理(步骤S1050)。

这里，在图像压缩处理的最后步骤，如下所述通过控制单元60的确定来再安排包。首先，控制单元60确定帧处理时间(T)(步骤S1060)。当在步骤S1060的确定为“NO”时，即当确定帧处理时间(T)为1/30秒或更大时，生成代码流，以便与SN可量测性相对应地安排JPEG 2000的包(步骤S1070)。相反，当在步骤1060的确定为“YES”时，即当确定帧处理时间(T)小于1/30秒时，生成代码流，以便与分辨率可量测性相对应地安排JPEG的包(步骤S1072)。

其次，控制单元60按照状态检测单元53所检测的状态信息，对接收和记录由上述处理所生成的代码流的记录单元51或与外部输入输出终端52连接的外部单元，确定它们的状态(步骤S1080)。特别地，控制单元60确定记录单元51或外部单元是否在“忙碌”状态，并且作为忙碌状态的例子，考虑记录操作是否溢出，传输通路是否忙碌，以及各种数据是否能被接收。在对其安装了本发明的图像生成设备及记录单元51的数字摄像机(或数字照相机)的例子下，重要的是检测记录单元51是否溢出记录速度。

当在步骤S1080确定状态为“正常”时，即当确定记录单元51的接收/记录状态为正常时，将代码流按原样连续地输出(步骤S1090)，并且连续地监视接收状态，直到帧完成为止(步骤S1100)，然后从步骤S1080重复该过程。

相反，当在步骤S1080确定接收/记录状态为“忙碌”时，代码流的输出立即停止，直到下一帧的代码流输出为止(步骤S1092)。然后，当下一帧开始时，只要没检测到摄像机单元10的处理结束，就从步骤S1050重复代码流生成改变操作(步骤S1110)。

当在步骤S1110确定由摄像机单元10执行的处理结束时，控制单元60传送标题信息及其他类似信息，并且完成记录操作，然后执行生成文件格式的处理(步骤S1120)，从而结束这个流程的操作。

以上描述了图10A和图10B的流程图。

由于如上所述摄像机单元10和编码单元40所执行的处理在分辨率优先模式与高速摄取优先模式之间改变，所以与分辨率优先模式相对应，在分辨率优先模式下生成的代码流能尽可能高地保持图像质量，以及与高速摄取优先模式相对应，在高速摄取优先模式下生成的代码流能尽可能多地按其全部来摄取一个物体的瞬间移动。

应该注意虽然已经在本实施中作为对其输出代码流的单元，主要说明了记录单元，但是即使将外部输入输出终端52举例为对其输出代码流的单元，也能实现相同布置。此外，即使与外部输入输出终端52连接的单元是一个网络，例如Internet，通过TCP/IP协议来检测网络的忙碌状态，以控制代码流的输出，也能获得相同效果。

此外，如在数字摄像机和数字照相机中那样，即使构成本实施例的图像生成设备的摄像机单元10和编码单元40与记录单元51一起集成，以及即使摄像机单元10、编码单元40和记录单元51相互完全地或部分地分开，也能类似地实现本发明。

注意记录单元51包括一种盘状记录介质，例如Blu-ray、DVD及其他类似介质；一种存储卡，例如SD卡、紧凑快闪卡及其他类似卡；一种记录介质，例如硬盘、磁带及其他类似记录介质；以及其记录单元。此外，记录单元51可以具有重放功能。

此外，不用说本发明的目的也能这样实现，对一个系统或一个设备供给一种记录介质，其中记录软件的程序代码，以实现如上所述的本发明的实施例的功能，并且通过该系统或设备的计算机(或CPU或MPU)，读出并执行该记录介质中所存储的程序代码。

在这种情况下，上述实施例的功能由从记录介质读出的程序代码本身来实现，并且存储程序代码的记录介质构成本发明。

此外，不用说本发明也包括这种情况，其中不仅上述实施例的功能通过执行计算机读出的程序代码来实现，而且响应程序代码的指令，在计算机上操作的操作系统(OS)部分地或完全地执行实际处理步骤，以便实现上述实施例的功能。

如上所述，按照本发明，有可能生成一幅动画的流，它按照处理图像帧的时间间隔和图像帧的像素数，通过改变流的输出，充分利用一幅图像的特征，例如高分辨率和高速摄取。

在不违反本发明的精神和范围下，可以构成本发明的许多大不相同的实施例。除所附权利要求所限定外，应该理解本发明不限于本说明书所述的特定实施例。

Claims (17)

1.一种图像生成设备，包括：

摄像装置，以按预定时间间隔摄取一幅物像，并且生成摄像数据；

编码装置，以将摄像数据编码成具有一个基于预定时间间隔的图像速度的动画图像数据；

输出装置，以输出编码的动画图像数据；以及

控制装置，以按照摄像装置所摄取的摄像数据的像素数及图像速度，控制输出装置。

2.按照权利要求1的设备，还包括检测装置，以检测一个用于接收从输出装置所输出的动画图像数据的接收装置的状态，其中控制装置按照基于检测装置所检测的接收装置的状态的状态信息，控制输出装置。

3.按照权利要求2的设备，其中控制装置控制从输出装置所输出的动画图像数据，以便使动画图像数据的输出开始或停止。

4.按照权利要求2的设备，其中控制装置按各幅画面模式控制从输出装置所输出的动画图像数据。

5.按照权利要求2的设备，其中检测装置检测接收装置的接收状态。

6.按照权利要求2的设备，其中接收装置是一个记录装置，并且检测装置检测记录装置的记录状态。

7.按照权利要求1的设备，还包括读出装置，以选择和读出由摄像装置所摄取的像素范围，并且按照读出装置所选择的像素范围中的像素数，设置编码装置中的时间间隔和图像速度。

8.按照权利要求1的设备，其中控制装置按照摄像装置所摄取的摄像数据的像素数及图像速度，改变由输出装置所输出的动画图像数据的输出模式。

9.按照权利要求8的设备，其中编码装置用分波段编码系统来执行编码，并且输出装置能至少将一种类型的可量测性选择为动画图像数据的输出模式。

10.按照权利要求9的设备，其中输出装置能将分辨率可量测性或SN可量测性选择为动画图像数据的输出模式。

11.按照权利要求1的设备，还包括第一存储装置，以存储关于摄像装置的摄像能力的信息；第二存储装置，以存储关于编码装置的编码能力的信息；以及设置装置，以用第一和第二存储装置中存储的各自信息中的至少一种，设置摄像装置和编码装置。

12.一种图像生成方法，包括如下步骤：

按预定时间间隔摄取一幅物像，并且生成摄像数据；

将摄像数据编码成具有一个基于预定时间间隔的图像速度的动画图像数据；

输出编码的动画图像数据；以及

按照摄像步骤所摄取的摄像数据的像素数及图像速度，控制输出步骤。

13.按照权利要求12的方法，还包括如下步骤，检测一个用于接收在输出步骤所输出的动画图像数据的接收装置的状态，其中控制步骤按照基于检测步骤中所检测的接收装置的状态的状态信息，控制输出步骤。

14.按照权利要求12的方法，还包括读出步骤，选择和读出在摄像步骤所摄取的像素范围，并且按照在读出步骤所选择的图像范围中的像素数，设置编码步骤中的时间间隔和图像速度。

15.按照权利要求12的方法，其中控制步骤按照在摄像步骤所摄取的摄像数据的像素数及图像速度，改变输出步骤的动画图像数据的输出模式。

16.一种存储介质，存储一个可由一个数据处理设备所执行的程序，该程序包括用于实现权利要求12所述的图像生成方法的程序代码。

17.一种存储介质，存储可由一个数据处理设备所执行的程序，该程序包括用于实现权利要求13所述的图像生成方法的程序代码。

Images