CN1291596C - 图像处理设备和方法以及图像处理系统 - Google Patents

Abstract

本发明提供了一种创建文件的再现设备，所述文件作为单个文件包括了通用运动画面文件格式的静止画面图像和语音，因此即使在没有必要的特殊格式或专用功能的再现设备中，也能够同时再现静止画面图像和语音。在具有运动画面编码器、语音编码器和多路复用器的记录设备中，在运动画面编码器和多路复用器之间提供了数据处理部分。该数据处理部分将信息加入由运动画面编码器编码的静止画面图像数据中，以使运动画面再现设备能够按照与运动画面编码器的运动画面编码方案相对应的格式，以连续再现静止画面图像指定的时间，并对其进行输出。

Description

图像处理设备和方法以及图像处理系统

技术领域

本发明涉及一种图像处理设备和方法以及使用该设备和方法的图像处理系统及程序，更具体地，本发明涉及一种用于创建文件以便对静止画面图像及语音同时执行再现处理的图像处理方法。

背景技术

存在着需要对静止画面图像及与其相关的语音同时执行再现处理的情况。例如，某些作为移动终端的蜂窝电话具有拍摄图像的摄像机，并且需要将利用该摄像机拍摄的静止画面图像发送到对方的蜂窝电话或PC(个人计算机)，其中静止画面图像中加入了用于说明该静止画面图像的语音。此外，相反，给静止画面图像加入语音，然后将其从PC发送到蜂窝电话或另一个PC。

如专利文献1所示，在这种技术中，为了获取静止画面图像以及与其相关的语音信息，频率多路复用作为静止画面图像的一帧运动画面信号和用于说明这一帧运动画面信号并且沿着时间轴被压缩的语音信号，然后将其存储于记录介质的相同区域中。随后，在再现过程中，在时间轴上延伸该信号以覆盖原始的语音信息，并在重复再现运动画面图像期间输出该语音信号，从而能够同时输出静态画面图像的说明以及对应的静态画面图像。

此外，在作为其它方法的第一种方法中，利用特定的方法将静止画面图像和与其相关的语音采集到单个文件中，然后使用与该特定方法对应的再现设备再现该静止画面图像和语音数据。还有第二种方法，其中彼此独立地处理静止画面图像和与其相关的语音数据，并且向再现设备提供了同时再现这二者的专用功能。

[专利文献1]

日本专利申请待审公开No.64-86364(第3页，图1)

在上述专利文献1公开的技术中，当再现时，在与语音信号再现时间相对应的时间内重复再现静止画面图像，从而与静止画面图像的重复成正比地增加信息量。因此，在上述蜂窝电话或PC的再现侧，增大了再现的信息量并且产生了处理能力的问题。

此外，针对上述第一种方法，需要与特定方法对应的专用再现设备。因此，与该方法不对应的再现设备(过去存在的再现设备或其它)就不能执行再现，从而不能与目前的蜂窝电话或PC相协调。

此外，在上述第二种方法中，可以将广泛使用的格式用于静止画面图像数据和语音数据，从而能够分别再现静止画面图像数据和语音数据。但是，在没有考虑到同时再现的再现设备中，不仅不能执行同时再现，而且还不能同时处理静止画面图像和语音。因此，第二种方法不能与目前的蜂窝电话或PC相协调。

本发明的一个目的是提供一种用于图像处理的设备和方法以及一种图像处理系统和程序，即使再现设备与特定格式不符或不具有专用功能，该方法也能够同时再现静止画面图像和与其相关的语音。

本发明的另一个目的是提供一种用于图像处理的设备和方法以及一种图像处理系统和程序，该方法能够同时再现静止画面图像和与其相关的语音而无需增大信息量。

发明内容

根据本发明的一种图像处理设备具有：运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；以及数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与该静止画面图像数据相关的语音数据的再现时间相同的时间。此外，该图像处理设备还具有多路复用装置，用于多路复用并输出数据处理装置的输出和语音数据。所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息。或者，所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中。

根据本发明的一种图像处理方法具有：运动画面编码步骤，其中利用指定的运动画面编码方案编码静止画面图像数据；以及数据处理步骤，其中将时间延长信息按照与运动画面编码方案相对应的格式加入到所述编码输出中，以使再现时间延长到与该静止画面图像数据相关的语音数据的再现时间相同的时间。此外，该图像处理方法还具有多路复用步骤，其中多路复用并输出数据处理之后的输出和语音数据。所述数据处理步骤包括：提取步骤，用于从所述运动画面编码步骤的输出中提取对应于所述静止画面图像数据的一帧数据；和添加步骤，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息。或者，所述数据处理步骤包括：提取步骤，用于从所述运动画面编码步骤的输出中提取对应于所述静止画面图像数据的一帧数据；和添加步骤，用于将所述时间延长信息加入提取出的数据中。

根据本发明的一种图像处理系统具有：图像处理设备，该图像处理设备包括：运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入到所述运动画面编码装置的输出中，以使再现时间延长到与静止画面图像数据相关的语音数据的再现时间相同的时间；以及多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据。此外，该图像处理系统还具有再现设备，该再现设备包括：运动画面解码装置，用于接收来自图像处理设备的多路复用输出，并使用与所述运动画面编码方案对应的解码方法解码由数据处理装置处理的数据；以及同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息。或者，所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中。

根据本发明的再现设备是一种接收并再现来自所述图像处理设备的多路复用输出的再现设备，该再现设备包括：运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与该静止画面图像数据相关的语音数据的再现时间相同的时间；以及多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据。该再现系统包括：运动画面解码装置，用于使用与所述运动画面编码方案对应的解码方法解码由所述数据处理装置处理的数据；以及同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息。或者，所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中。

下面将讨论本发明的操作。针对使用指定运动画面编码方案编码的静止画面图像数据，按照与该运动画面编码方案相对应的格式加入了使运动画面再现设备能够持续(时间延长)静止画面图像的再现指定时间的信息并创建文件。在这种情况下，如果只对静止画面图像数据进行了编码，则使用运动画面再现设备在再现过程中非常短的时间内完成该静止画面图像的显示。因此，如果在运动画面再现设备中再现通过多路复用只进行了编码的静止画面图像数据和与其相对应的语音数据而获取的运动画面文件，则不能同时再现该静止画面图像的显示和语音的再现。即，在语音的再现期间不能持续静止画面图像的显示。

如上所述，在本发明中，针对使用指定运动画面编码方案编码的静止画面图像数据，加入了时间延长信息，以便使再现时间延长与语音数据的再现时间相同的时间，从而当在运动画面再现设备中再现时，通过加入到已编码静止画面图像数据中的时间延长信息，能够使静止画面图像的显示持续指定的时间。

因此，当在运动画面再现设备再现通过多路复用这种静止画面图像数据和与其相对应的语音数据而获取的运动画面文件时，在语音数据的再现期间能够持续静止画面图像的显示。

附图说明

图1示出了根据本发明实施例的记录设备和再现设备的结构；

图2示出了根据本发明实施例的运动画面文件创建过程；

图3A和3B示出了用于说明通用运动画面文件格式和通用编码方案的画面；

图4A至4E示出了图1所示数据处理部分6中所产生的、调整了再现时间的运动画面数据的结构示例；

图5示出了本发明数据处理部分6中操作示例的流程图；

图6示出了本发明数据处理部分6中另一操作示例的流程图；

图7示出了本发明数据处理部分6中另一操作示例的流程图；

图8示出了本发明的数据处理部分6中不同类型操作示例的流程图；

图9示出了静止画面图像的类型与运动画面编码方案的对应关系的示例；

图10示出了根据本发明另一个实施例的记录设备的结构；

图11示出了根据本发明另一个实施例的记录设备的结构；

图12示出了图11所示记录设备1中数据处理部分6的操作示例的流程图；以及

图13A至13E示出了根据图12所示操作示例产生的调整了再现时间的运动画面数据的结构示例。

具体实施方式

下面，将参考附图对本发明的实施例进行说明。图1示出了本发明实施例的系统结构。参考图1，记录设备1和再现设备11通过网络10相连。记录设备1是PC或移动信息终端，并且再现设备11也是PC或移动信息处理终端。

记录设备1具有静止画面图像文件2和语音文件3。此外，该记录设备1还具有用于输入来自静止画面图像文件2的静止画面图像数据并产生运动画面数据的运动画面编码器4以及用于输入来自语音文件3的语音数据并产生与运动画面数据对应的语音数据的语音编码器5。此外，记录设备1还具有数据处理部分6，该数据处理部分6输入运动画面编码器4的输出以及来自语音编码器5的语音再现时间信息，并将静止画面图像作为具有由语音再现时间信息指示的时间长度的运动画面数据进行处理。

记录设备1具有多路复用数据处理部分6和语音编码器5的输出或是多路复用运动画面和语音并产生运动画面文件的功能。在记录设备1中，除数据处理部分6之外的其它部分具有与具有多路复用运动画面文件和语音文件并产生运动画面文件的功能的通用运动画面记录设备相同的结构。然后，通过网络10将多路复用器7的多路复用输出发送到再现设备11。

再现设备11再现通过网络10发送的运动画面文件，由此再现设备11具有多路分解器12，用于多路分解多路复用后的运动画面和语音并分别对其进行提取。此外，再现设备11还具有运动画面解码器13和语音解码器14，这两个解码器分别输入运动画面和语音并具有与记录设备1一侧的运动画面编码器4和语音编码器5的各种编码方法相对应的解码方法。将解码输出发送到显示部分15和扬声器16，然后同时再现静止画面图像和与其对应的说明语音。

再现设备11能够利用上述功能再现运动画面文件，但是，这是没有配备同时再现静止画面图像和语音的特殊专用功能的通用运动画面再现设备。

图2示出了在本发明中产生运动画面文件的过程。在图2中，与图1中相同的部分用相同的代码表示。参考图2，在记录设备1中，数据处理部分6将静止画面图像编码为运动画面以创建运动画面文件D。因此，创建了其中记录了一帧运动画面的运动画面文件。即，将静止画面图像文件2的静止画面图像数据输入到运动画面编码器，然后执行针对一帧的编码。在这一点产生的运动画面数据A只有一帧，因此再现时间非常短(一帧画面的再现时间是几十分之一秒)。将用于一帧的数据A输入到数据处理部分6，并执行延长再现时间的调整处理，从而使一帧数据的再现时间与语音文件3的再现时间相同。随后，将已处理运动画面数据B和通过使用语音编码器5编码语音文件3获取的语音数据C输入到多路复用器7并产生运动画面文件D。

使用上述方法，在再现设备11中再现了在记录设备1中产生的运动画面文件，然后将通过运动画面解码器13解码的静止画面图像的内容显示于再现设备11的显示部分15并从扬声器16再现通过语音解码器14解码的语音。在这种情况下，运动画面数据只是一帧的数据，然而以通过数据处理部分6的时间长度(时间延长)调整处理处理该数据，从而使该运动画面数据的长度变得与运动画面文件的长度(即对应于原始语音文件3再现时间的长度)相同。结果，在短时间内没有完成该静止画面图像的显示并且在语音再现期间一直持续。

按照这种方式，在本发明中，将静止画面图像作为运动画面进行编码处理并调整其长度，然后将其多路复用为运动画面文件。在具有运动画面文件再现功能的再现设备11中，能够实现静止画面图像和语音的同时再现而无需增加特殊的功能。

参考图3A和3B，图3A示出了通用运动画面文件的格式。如图3A所示，运动画面文件基本上由作为运动画面部分的运动画面数据和作为语音部分的语音数据组成。此外，该运动画面文件具有多路复用信息(头标)，该头标包括用于调整运动画面和语音的再现速度的信息以及用于在与记录相同的定时再现运动画面和语音的信息。该头标还包括用于指示语音再现时间的再现时间信息。此外，取决于多路复用方法，除了运动画面和语音之外，还可以包括诸如字符信息，即用于字幕的文本信息和各种命令信息之类的其它信息。

作为通用的多路复用方法，有MP4(MPEG-4系统)和ASF(高级流格式)。

通常使用特定的编码方案对运动画面数据进行编码。这是因为如果直接存储了每一帧运动画面的信息(将其作为静止画面图像)，则运动画面的尺寸较大并且不易处理。此外，在通用的编码方案中，使用了不但简单地压缩每一帧的信息，而且还使用了运动画面所特有的特征的编码方法。图3B示出了通用的运动画面编码方案。

在通用编码方案中，使用了其中使用了在运动画面的相邻帧之间存在较小差异的特征的编码方法。在组成运动画面的帧中，将第一帧和在场景一变化之后就出现的那一帧按照与静止画面图像相同的方式进行压缩。将该静止画面图像称为I帧(通常I是内编码的缩写)。此I帧随着数据量的增加而变大，但可以独立再现。

如果与相邻前一帧的差异很小，则对其进行检测然后压缩。将这种差异称之为P帧(通常，P是预编码的缩写)。在此P帧中，只包括与相邻前一帧存在差异的部分，作为信息，因此压缩之后的尺寸变得非常小，但是在再现时需要相邻前一帧的信息。

此外，在某些编码方法中，通过得到之前帧与之后帧的差异进一步地减少了信息量，然后执行压缩。这被称之为B帧(通常B是双向预编码的缩写)。这种B帧能够使尺寸比P帧更小，但是当再现时需要之前帧和之后帧的信息。此外，当再现时需要之前帧和之后帧的信息，因此当压缩时，需要对这些帧进行排序。

得到之前帧和之后帧之间的差异以及每一帧的压缩方法取决于编码方案。通常，很少插入I帧，而几乎全都是P帧和B帧的情况。作为通用的编码方案，有MPEG-2、MPEG-4视频以及H.263(与IP电话相关的ITUT建议)。

与运动画面数据的方式相同，通常也使用特定的编码方案对语音数据进行编码。在语音的情况下，将恒定时间的语音信息作为一帧进行处理，并采用在每帧压缩的方法。针对帧的长度，存在着其中所有帧长度相同的方法或其中每次帧长度不同的方法。在许多方法中，帧的平均长度是大约10毫秒。作为通用的编码方案，有mp3(MPEG音频层III)、AAC(高级音频编码)以及WMA(Windows媒体音频)。

在本发明中，作为运动画面的编码方案，将上述I帧和P帧用于压缩(可以使用或不使用B帧)。

下文中，将详细说明本发明实施例的操作。如上所述，在图1中，除数据处理部分6之外的部分具有通常已知的结构和操作，因此省略对它们的详细说明。将只说明数据处理部分6的操作。图4A至4E示出了由数据处理部分6产生的、调整了再现时间的运动画面数据的结构示例：图4A是普通运动画面数据的示例，而图4B是静止画面数据文件2的示例。

在本发明中，在数据处理部分6中用于运动画面数据的再现时间调整方案的示例对应于运动画面编码器4中的编码方法，并且与每一种运动画面编码方案#1到#3相对应，采用了三种再现时间调整方案。即，图4C是根据对应于编码方法＃1的再现时间调整方案的运动画面数据的结构示例，图4D是根据对应于编码方法#2的再现时间调整方案的运动画面数据的结构示例，以及图4E是根据对应于编码方法#3的再现时间调整方案的运动画面数据的结构示例。

图5示出了表示数据处理部分6的操作的流程图，其中数据处理部分6产生了图4C所示的与对应着编码方法#1的再现时间调整方案相一致的运动画面数据的结构。首先，从输入的运动画面数据(从运动画面编码器4输出)中提取出第一个I帧(步骤S1)。在这里，如果输入的运动画面数据中包括剩余信息(时间长度信息)，则将其去除。如果运动画面编码器4的输出中只有I帧，则跳过步骤S1。本实施例对应于这种情况(参考图4B)。

在对应于编码方法#1的再现时间调整方案中，连续插入无效的P帧。在这种情况下的编码方法#1中，帧的插入时间间隔(插入周期)是受到限制的，并且需要以恒定的周期插入指定帧。

随后，输出在步骤S1提取出的I帧(步骤S2)，然后以恒定周期(即15秒的时间间隔)输出无效的P帧(步骤S4)，直到输出数据的再现时间达到了目标再现时间(步骤S3)。

在这种情况下，这种无效的P帧是不具有真实运动画面数据的P帧。由于对静止画面图像进行了编码，在紧随第一I帧之后的那一帧中，并不存在这些帧之间的差异。因此，插入表示了不存在差异的P帧。该P帧具有不取决于运动画面内容的相同内容，从而不需要在运动画面编码器4中产生，并且需要输出预先存储在存储器中数据的方法。

诸如MPEG-4视频之类的一些编码方法具有能够以特定的短数据表示不具有差别的无效P帧的装置(在MPEG-4视频的情况下是未编码帧)。在编码方法具有这种装置的情况下，使用这种方法是理想的。

此外，目标再现时间是语音再现所需的时间，并且由语音编码器5提供语音再现时间信息。当目标再现时间结束时，该处理完成。在要输出的无数据的段中，不输出数据。图4C示出了使用此方法调整并输出其再现时间的运动画面数据的示例。

图6示出了表示数据处理部分6的操作的流程图，其中数据处理部分6产生了图4D所示的与对应于编码方法#2的再现时间调整方案相一致的运动画面数据的结构。首先，从输入的运动画面数据(从运动画面编码器4输出)中提取出第一个I帧(步骤S1)。在这里，如果输入的运动画面数据中包括剩余信息(时间长度信息)，则将其去除。如果运动画面编码器4的输出中只有I帧，则跳过步骤S1。本实施例对应于这种情况(参考图4B)。

下一步，在本方法中，将无效的P帧插入到最后。与使用图4C和图5说明的方法(对应于编码方法1#的再现时间调整方案)不同，在这种编码方法的情况下，不限制帧插入时间间隔，使用该方法是理想的。在该方法中，在输出了在步骤S1提取出的I帧(步骤S2)之后，将无效的P帧插入到最后(步骤S5)。图4D示出了使用该方法输出的调整了再现时间的运动画面数据的示例。

图7示出了表示数据处理部分6的操作的流程图，其中数据处理部分6产生了与对应于编码方法#3的再现时间调整方案相一致的运动画面数据的结构。在该再现时间调整方案中，无需利用无效的P帧延长再现时间，而是通过提供作为信息T的再现时间延长再现时间。将该再现时间嵌入运动画面数据或多路复用的信息中。此方法只能够用于保证再现设备确定地参考了嵌入到运动画面数据或多路复用的信息中的信息T的情况。

在本方法中，在输出了在步骤S1提取出的I帧(步骤S2)之后，输出再现时间信息T(步骤S6)。实现步骤S6的方法取决于嵌入再现时间信息T的位置。在将其嵌入运动画面数据中的情况下，修改在步骤S2输出的数据，而在将其嵌入多路复用的信息中的情况下，将再现时间信息T发送到多路复用器7。图4E示出了使用该方法输出的调整了再现时间的运动画面数据的示例。

在记录设备1一侧，输出图4C至4E所示的、通过每一种再现时间调整方案获得的运动画面文件，因此在再现设备11一侧，必须配备有取决于与每一种再现时间调整方法相对应的每一种运动画面编码方案#1至#3的运动画面解码器13。

图8示出了数据处理部分6的操作的流程图，该流程图表示了对应于所有运动画面编码方案#1至#3的再现时间调整方案。与图5至7相同的步骤用相同的代码表示。在这种情况下，在步骤S1的处理(用于提取第一个I帧的处理)之后，对应于运动画面编码器4中的编码方案#1至#3，选择与图5至7中上述流程图相一致的再现时间调整方案。为了实现这些，加入了步骤S7，而在步骤S7之后，执行与每一方案#1至#3对应的处理(图5至7所示步骤S3之后的处理)。

作为步骤S7中的方案选择方法，存在着由发送方指定的方法(手动或自动)、与发送方相对应地指定的方法(地址)以及与静止画面图像类型相对应地手动或自动指定的方法。作为选择对应于静止画面图像类型方案的方法示例，预先确定的方案如图9所示。例如，如果静止画面图像是照片，则选择MPEG-2作为编码方案#1，如果是画面，则选择MPEG-4作为编码方案#2，而如果是名片、信件或便签之类的字符，则选择H.263作为编码方案#3。但是，并不局限于上述选择。

在发送侧的记录设备1中，将指定编码方案#1至#3之一的信息加入运动画面文件的头标中，并且接收侧的再现设备1中的运动画面解码器13读取该信息，以便确定编码方案并选择各种方法。

如上所述，在上述实施例中，静止画面图像和语音组成了运动画面文件，从而在再现设备中能够实现静止画面图像和语音的同时再现功能而无需加入特殊的功能。因此，作为再现设备，可以原样使用通用的运动画面再现设备。

此外，在记录设备中只需通过将数据处理部分6的功能加入运动画面的记录功能中就能够实现本发明，因此易于实现具有语音的静止画面图像的再现处理系统。能够使用与运动画面记录功能中所使用的那些相同的运动画面编码器、语音编码器以及多路复用器。

本发明中创建的运动画面文件的大小(容量)基本上与I帧(静止画面图像的一帧)的大小和语音数据大小的总和相等，因此数据大小较小。这是因为当作为运动画面编码静止画面时，使用时间上没有变化的图像尽可能得压缩了剩余数据的出现，因此，通信数据量较小。

图10是本发明另一个实施例中的记录设备1的功能框图，其中与图1中相同的部分用相同的代码表示。在图10中，将本发明应用于带有摄像机的移动终端(即蜂窝电话)并提供了摄像机8和话筒9以取代静止画面图像文件2和语音文件3。

通过直接将摄像机8拍摄的画面图像和话筒9采集的语音分别提供给运动画面编码器4和语音编码器5，在通常拍摄运动画面的情况下，产生了包括现场运动画面(静止画面图像)和语音的运动画面文件。因此，当摄像机拍摄静止画面图像时，能够同时记录语音，并通过在通用运动画面再现设备中再现所产生的运动画面文件，能够同时再现静止画面图像和语音。

此外，图11中示出了本发明的另一个实施例。在此实施例中，取代了将静止画面图像文件和语音文件存储在记录设备1中，将多路分解器21、运动画面解码器22以及语音解码器23加入了再现设备的功能中，并转换任意(arbitral)运动画面文件以便提取静止画面图像以及与其相关的语音。在此实施例中，在运动画面解码器22之后提供了帧提取部分24，并且针对运动画面，从运动画面编码器22的输出中提取一帧作为静止画面图像。在这种情况下，认为提取的帧是诸如第一帧、最后一帧或中间帧之类的特定帧。因此，从任意运动画面文件中提取静止画面图像和语音，并能够创建存储了该静止画面图像和语音的新运动画面文件。

即，在图11所示的示例中，使用多路分解器21、运动画面解码器22、语音解码器23以及帧提取部分24(语音提取部分25)执行从运动画面到静止画面图像的转换，然后从任意运动画面文件中提取所需的静止画面图像。随后，按照与之前实施例相同的方式处理提取出的带有语音的静止画面以便创建运动画面文件。

此外，如图11中的虚线所示，提供了用于语音的语音提取部分25，并且从语音解码器23的输出中提取任意部分，然后通过加入将这些部分输入语音编码器5的处理，从任意运动画面文件的任意位置提取静止画面图像和语音，以便使这些部分组成单个的运动画面文件。在通用语音编码方案的情况下，语音提取是一种简单的帧单元处理并且不存在任何问题，因此语音提取部分25执行简单的数据处理。

图12示出了本发明不同类型实施例的操作流程图，其中与图8中相同的步骤用相同的代码表示。在此实施例中，改变了数据处理部分6的功能，并且将多个静止画面图像嵌入到单个的运动画面文件中。即，在此实施例中，将语音说明加入了多个静止画面图像中，因此该方法适用于创建文字画面表示(paper picture show)型的文件。

图13示出了本实施例中产生的运动画面数据的示例。在此实施例中，在图1示出的、表示了记录设备1中数据处理部分6的操作的流程图中加入了图12所示的步骤S8，并改变该流程，从而多次执行对I帧的嵌入。此外，准备了多个记录设备的静止画面图像文件2，然后在运动画面编码器4中将这些文件编码为I帧。随后，在数据处理部分6依次将I帧并入运动画面数据。

如图13所示，在这种运动画面数据中，将多个I帧嵌入单个运动画面数据中，并且能够同文字画面表示一样地依次显示静止画面图像的内容。对于所准备的静止画面图像文件，需要使用通过摄像机连续拍摄功能连续拍摄到的画面图像。

可选地，可以将图12所示的步骤S8加入图5到7所示的每一个流程图的最后。

针对上述每一个实施例中数据处理部分6的操作，将操作过程作为程序预先存储于记录介质中并由计算机(CPU)读取并执行。

根据本发明，针对使用指定运动画面编码方案编码的静止画面图像数据，按照与该运动画面编码方案相对应的格式加入了使运动画面再现设备能够持续(时间延长)再现静止画面图像指定时间的信息并创建文件，从而如果在运动画面再现设备再现该文件，则使用加入到已编码静止画面图像中的信息，能够使该静止画面图像的显示持续指定的时间。结果，如果在运动画面再现设备再现通过多路复用此文件和对应的语音数据而获取的运动画面文件，能够在语音再现期间持续该静止画面图像的显示。

即，在再现设备侧，能够再现带有语音的静止画面图像，而无需加入特殊的静止画面图像再现功能。此外，数据量基本上为一帧数据和语音数据的总和，因此数据量较小并且从记录设备侧到再现设备侧的发送数据量较小。此外，不会发生通信网络的拥塞，并且能够提高再现设备侧处理的速度。

Claims (34)

1.一种图像处理设备，包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与所述运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与所述静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和第一添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息；以及

多路复用装置，用于多路复用并输出所述数据处理装置的输出和所述语音数据。

2.根据权利要求1所述的图像处理设备，其特征在于还包括：

语音编码装置，用于利用特定的语音编码方案编码所述语音数据。

3.根据权利要求1所述的图像处理设备，其特征在于

所述数据处理装置接收与由所述语音编码装置获取的所述语音数据的再现时间有关的信息，并获取所述时间延长信息。

4.根据权利要求1所述的图像处理设备，其特征在于所述数据处理装置还包括：

第二添加装置，用于将所述时间延长信息加入提取出的数据中；以及

选择装置，用于选择第一和第二添加装置之一。

5.根据权利要求1或4所述的图像处理设备，其特征在于

所述数据处理装置还包括控制装置，用于在完成所述第一或第二添加装置的处理之后，持续控制所述第一或第二添加装置处理预定的次数。

6.根据权利要求1所述的图像处理设备，其特征在于还包括：

摄像机，用于产生所述静止画面图像数据；以及

话筒，用于产生所述语音数据。

7.根据权利要求6所述的图像处理设备，其特征在于

所述图像处理设备是蜂窝电话。

8.根据权利要求1所述的图像处理设备，其特征在于还包括：

提取装置，用于从加入了语音数据的运动画面数据中提取所需的静止画面图像数据和与其相关的语音数据，其中

将提取出的静止画面图像数据提供给所述数据处理装置。

9.一种图像处理设备，包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与所述运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与所述静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中；以及

多路复用装置，用于多路复用并输出所述数据处理装置的输出和所述语音数据。

10.根据权利要求9所述的图像处理设备，其特征在于还包括：

语音编码装置，用于利用特定的语音编码方案编码所述语音数据。

11.根据权利要求9所述的图像处理设备，其特征在于

所述数据处理装置接收与由所述语音编码装置获取的所述语音数据的再现时间有关的信息，并获取所述时间延长信息。

12.根据权利要求9所述的图像处理设备，其特征在于

所述数据处理装置还包括控制装置，用于在完成所述添加装置的处理之后，持续控制所述添加装置处理预定的次数。

13.根据权利要求9所述的图像处理设备，其特征在于还包括：

摄像机，用于产生所述静止画面图像数据；以及

话筒，用于产生所述语音数据。

14.根据权利要求13所述的图像处理设备，其特征在于

所述图像处理设备是蜂窝电话。

15.根据权利要求9所述的图像处理设备，其特征在于还包括：

提取装置，用于从加入了语音数据的运动画面数据中提取所需的静止画面图像数据和与其相关的语音数据，其中

将提取出的静止画面图像数据提供给所述数据处理装置。

16.一种图像处理方法，包括：

运动画面编码步骤，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理步骤，用于将时间延长信息按照与所述运动画面编码方案相对应的格式加入到所述运动画面编码装置的输出中，以使再现时间延长到与所述静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理步骤包括：提取步骤，用于从所述运动画面编码步骤的输出中提取对应于所述静止画面图像数据的一帧数据；和第一添加步骤，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息；以及

多路复用步骤，用于多路复用并输出数据处理之后的输出和语音数据。

17.根据权利要求16所述的图像处理方法，其特征在于还包括：

语音编码步骤，用于利用特定的语音编码方案编码所述语音数据。

18.根据权利要求16所述的图像处理方法，其特征在于

所述数据处理步骤接收与由所述语音编码步骤获取的所述语音数据的再现时间有关的信息，并获取所述时间延长信息。

19.根据权利要求16所述的图像处理方法，其特征在于

所述数据处理步骤还包括：

第二添加步骤，用于将所述时间延长信息加入提取出的数据中；以及

选择步骤，用于选择第一和第二添加步骤之一。

20.根据权利要求16或19所述的图像处理方法，其特征在于

所述数据处理步骤还包括控制步骤，用于在完成所述第一或第二添加步骤的处理之后，持续控制所述第一或第二添加步骤处理预定的次数。

21.根据权利要求16所述的图像处理方法，其特征在于还包括：

通过摄像机产生所述静止画面图像数据的步骤；以及

通过话筒产生所述语音数据的步骤。

22.根据权利要求21所述的图像处理方法，其特征在于

使用了蜂窝电话。

23.根据权利要求16所述的图像处理方法，其特征在于还包括：

提取步骤，用于从加入了语音数据的运动画面数据中提取所需的静止画面图像数据和与其相关的语音数据，其中

将提取出的静止画面图像数据提供给所述数据处理步骤。

24.一种图像处理方法，包括：

运动画面编码步骤，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理步骤，用于将时间延长信息按照与所述运动画面编码方案相对应的格式加入到所述运动画面编码装置的输出中，以使再现时间延长到与所述静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理步骤包括：提取步骤，用于从所述运动画面编码步骤的输出中提取对应于所述静止画面图像数据的一帧数据；和添加步骤，用于将所述时间延长信息加入提取出的数据中；以及

多路复用步骤，用于多路复用并输出数据处理之后的输出和语音数据。

25.根据权利要求24所述的图像处理方法，其特征在于还包括：

语音编码步骤，用于利用特定的语音编码方案编码所述语音数据。

26.根据权利要求24所述的图像处理方法，其特征在于

所述数据处理步骤接收与由所述语音编码步骤获取的所述语音数据的再现时间有关的信息，并获取所述时间延长信息。

27.根据权利要求24所述的图像处理方法，其特征在于

所述数据处理步骤还包括控制步骤，用于在完成所述添加步骤的处理之后，持续控制所述添加步骤处理预定的次数。

28.根据权利要求24所述的图像处理方法，其特征在于还包括：

通过摄像机产生所述静止画面图像数据的步骤；以及

通过话筒产生所述语音数据的步骤。

29.根据权利要求28所述的图像处理方法，其特征在于

使用了蜂窝电话。

30.根据权利要求24所述的图像处理方法，其特征在于还包括：

提取步骤，用于从加入了语音数据的运动画面数据中提取所需的静止画面图像数据和与其相关的语音数据，其中

将提取出的静止画面图像数据提供给所述数据处理步骤。

31.一种图像处理系统，包括：

图像处理设备，包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入到所述运动画面编码装置的输出中，以便将再现时间延长到与静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息；以及

多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据，以及

再现设备，包括：

运动画面解码装置，用于接收来自图像处理设备的多路复用输出，并使用与所述运动画面编码方案对应的解码方法解码由所述数据处理装置处理的数据；以及

同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。

32.一种图像处理系统，包括：

图像处理设备，包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入到所述运动画面编码装置的输出中，以便将再现时间延长到与静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中；以及

多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据，以及

再现设备，包括：

运动画面解码装置，用于接收来自图像处理设备的多路复用输出，并使用与所述运动画面编码方案对应的解码方法解码由所述数据处理装置处理的数据；以及

同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。

33.一种接收并再现来自图像处理设备的多路复用输出的再现设备，所述图像处理设备包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与该静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于在与所述语音数据再现对应的时间之后，添加无效帧，作为所述时间延长信息；以及

多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据，

所述再现设备包括：

运动画面解码装置，用于使用与所述运动画面编码方案对应的解码方法解码由所述数据处理装置处理的数据；以及

同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。

34.一种接收并再现来自图像处理设备的多路复用输出的再现设备，所述图像处理设备包括：

运动画面编码装置，用于利用指定的运动画面编码方案编码静止画面图像数据；

数据处理装置，用于将时间延长信息按照与运动画面编码方案相对应的格式加入所述运动画面编码装置的输出中，以使再现时间延长到与该静止画面图像数据相关的语音数据的再现时间相同的时间，其中所述数据处理装置包括：提取装置，用于从所述运动画面编码装置的输出中提取对应于所述静止画面图像数据的一帧数据；和添加装置，用于将所述时间延长信息加入提取出的数据中；以及

多路复用装置，用于多路复用并输出数据处理装置的输出以及语音数据，

所述再现设备包括：

运动画面解码装置，用于使用与所述运动画面编码方案对应的解码方法解码由所述数据处理装置处理的数据；以及

同时再现装置，用于同时再现多路复用输出和运动画面解码装置的语音数据。

Images