CN101467460B - 运动图像编解码设备及方法、记录设备与程序和数据结构 - Google Patents

运动图像编解码设备及方法、记录设备与程序和数据结构 Download PDF

Info

Publication number
CN101467460B
CN101467460B CN200780022237.8A CN200780022237A CN101467460B CN 101467460 B CN101467460 B CN 101467460B CN 200780022237 A CN200780022237 A CN 200780022237A CN 101467460 B CN101467460 B CN 101467460B
Authority
CN
China
Prior art keywords
image
frame
decoding
display
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780022237.8A
Other languages
English (en)
Other versions
CN101467460A (zh
Inventor
村木淳
栗山祐司
中込浩一
水野公靖
岩田宪一
望月诚二
今冈连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
NEC Electronics Corp
Original Assignee
Casio Computer Co Ltd
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd, Renesas Electronics Corp filed Critical Casio Computer Co Ltd
Publication of CN101467460A publication Critical patent/CN101467460A/zh
Application granted granted Critical
Publication of CN101467460B publication Critical patent/CN101467460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开一种编解码器(CODEC)5，其对在MPEG格式下以240Q)S的高速帧率捕获的运动图像进行压缩和编码。所述CODEC？5将每帧中的图像划分为I图像、主帧P图像(P4，P8，P12)和其它子帧P图像(pi，p2，p3，…)。在对主帧P图像进行编码时，该CODEC？5使用在时间轴上紧邻的I图像或其它主帧的P图像作为基准图像。使用具有60fps运动图像重放性能的重放设备，为了执行重放时间等于图像捕获时间的实际速度重放，仅对主帧进行重放，在这种情况下，不需要对子帧的P图像进行解码处理。

Description

运动图像编解码设备及方法、记录设备与程序和数据结构
技术领域
本发明涉及使用帧间预测技术的运动图像编码设备、运动图像编码方法、运动图像解码设备、运动图像解码方法、运动图像记录设备、程序以及数据结构。
背景技术
目前，运动图像MPEG(运动图像专家组)格式被广泛用作用于压缩编码的技术，并且该数据结构是公知的。例如，在日本未审查的专利申请公开No.2003-179931中描述了MPEG格式的数据结构。
为了描述概要，在MPEG格式中，构成运动图像的每一帧(图像)被划分为三种类型的图像并且随后对其进行编码，该三种类型的图像为：I图像(节点编码图像或帧内编码图像)、P图像(预测编码图像)和B图像(双向预测编码图像)。
I图像为设置在GOP(图像组)中的至少一个图幅的图像，其中收集图像数据的预定图幅以维持GOP的独立性。该I图像仅由该帧的信息进行编码(帧内编码)而不使用帧间预测。另一方面，P图像为通过将过去的I图像或P图像作为基准图像构成的预测图像(帧间预测编码)，根据该基准图像来预测单向运动用于编码。此外，B图像为通过将位于时间轴上的先前的或随后的I图像或P图像作为基准图像构成的预测图像(双向预测图像)，根据该基准图像来预测双向运动用于编码。更加准确地，P图像和B图像由运动矢量(MV)和数据表示，其中所述运动矢量(MV)通过具有16×16像素的微模块单元获得，并且所述数据为在将预测图像与相同时序的帧(实际图像)进行比较时差分图像(预测误差)的编码DCT(离散余弦变换)系数。
在已经被以MPEG格式压缩编码的运动图像的重放时间期间，对于I图像，执行解码以还原(return)为原始时间轴上的图像数据。而对于P图像和B图像，通过解码和反向DCT变换而获得预测误差，并且同时，通过将先前解码的其它帧(P图像中的过去帧、B图像中的过去帧和未来帧)作为基准图像，使用该基准图像和运动矢量(MV)来产生预测图像。根据产生的预测图像和预测误差来产生原始时间轴的图像数据。
发明内容
如上所述，在已经被以MPEG格式压缩编码的运动图像的重放时间期间，为了使P图像和B图像成为可显示的图像数据，不可避免地要执行诸如解码、反向DCT变换以及对于从I图像开始的一系列帧产生预测图像的处理，该预测图像的产生直接或间接地参照这些帧(图像)作为开始点。
因此，在通过帧细化(thinning)显示的情况下，对于那些实际上不用于显示的不必要的帧(P图像和/或B图像)也要执行解码处理等。换句话说，在伴随有帧细化的运动图像重放的情况下，存在极其低的处理效率的问题。
图24A到24C为描述这些问题的概念图。图24A示出了I图像(I0)、使用该I图像作为开始点的P图像(P1、P2、P3、……)以及编码每一个P图像要作为基准的基准图像，所有这些图像都位于基于MPEG格式的运动图像的编码数据内。图24B示出了解码处理的存在/不存在以及在记录和重放时帧率都为240fps(在没有执行帧细化时)的情况下每一帧的显示。图24C示出了解码处理的存在/不存在以及在重放时帧率为60fps(在执行帧细化时)的情况下每一帧的显示。而且，图24A到24C是不存在B图像的帧部分的示例。尽管未示出，在产生B图像的情况下，以在时间轴上位于之前和之后的I图像或者P图像的帧作为基准。
如图24B和24C所示，当通过执行帧细化而进行运动图像重放时，由于相当于(equivalentto)不执行帧细化情况的数据处理需要浪费的电功率消耗，而且在通过CPU(中央处理单元)等使用预定的软件执行具有帧细化的运动图像重放的结构中，CPU等的处理负荷很大，因此，限制了可以与运动图像重放并行执行的其它处理，这导致需要维持CPU等的额外处理能力以使预定的处理可以与运动图像重放并行执行。
本发明考虑上述这些传统问题，并且本发明的目的在于提供一种能够获得可以有效地执行伴随有帧细化的运动图像重放的运动图像的编码数据的运动图像编码设备和运动图像编码方法、能够解码上述编码数据的运动图像解码设备和运动图像解码方法、能够将所捕获的运动图像记录为如上所述的编码数据的运动图像记录设备以及用于实现上述这些的程序和数据结构。
为了解决这些问题，根据本发明第一方面的运动图像编码设备是具有如下特征的运动图像编码设备：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，和
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，所述编码控制部件用于在通过所述编码部件对所述指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像。
而且，根据本发明第二方面的运动图像编码设备的特征在于包括：
编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对以预定帧率捕获的运动图像中将要被分别输入的一系列帧图像进行编码，和
编码控制部件，将具有每隔预定帧间隔的图像作为指定图像，在通过使所述重放时间与所述图像捕获时间相匹配并且以在所述运动图像的所述编码之后低于所述图像捕获时的所述帧率的帧率进行所述显示时，所述指定图像将成为所述显示目标，当通过所述编码部件对所述指定图像进行帧间预测编码时，所述编码控制部件用于将所述基准图像限于其它指定图像。而且，根据本发明第三方面的运动图像解码方法是具有如下特征的运动图像解码方法：
经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对包括以预定图像捕获帧率捕获的一系列帧图像的运动图像的各个帧图像进行编码，和
假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，在对所述指定图像进行所述帧间预测编码时，将其它指定图像用作基准图像。
而且，根据本发明第四方面的程序是具有使包含在运动图像编码设备中的计算机用作如下部件的特征：
编码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对包括以预定图像捕获帧率捕获的一系列帧图像的运动图像进行编码，和
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率显示所述运动图像的情况下，所述指定图像将成为所述显示目标，当通过所述编码部件对所述指定图像进行帧间预测编码时，所述编码控制部件用于将所述基准图像限于其它指定图像。
而且，根据本发明第五方面的运动图像记录设备的特征在于包括：
图像捕获部件，用于拍取运动图像，
编码部件，用于输入包括通过所述图像捕获部件以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对各个帧图像进行编码，
记录部件，用于记录包括已经通过所述编码部件进行编码的所述运动图像的运动图像数据，和
编码控制部件，假设每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的所述图像为指定图像，在以低于所述图像捕获帧率的预定显示帧率并且基于记录在所述记录部件中的所述运动图像数据而显示所述运动图像的情况下，所述指定图像将成为所述显示目标，当通过所述编码部件对所述指定图像进行帧间预测编码时，所述编码控制部件用于将所述基准图像限于其它指定图像。
而且，根据本发明第六方面的运动图像解码设备是用于对其中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码的运动图像数据进行解码的运动图像解码设备，其特征在于包括：
解码部件，用于输入所述编码运动图像并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述解码目标仅限于具有每隔通过所述图像捕获帧率和预定显示帧率确定的预定帧间隔的指定图像，在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述显示目标，并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像。
而且，根据本发明第七方面的运动图像解码设备是用于对其中以预定图像捕获帧率捕获的运动图像已经被编码的运动图像数据进行解码的运动图像解码设备，其特征在于包括：
解码部件，用于经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述运动图像数据进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的所述解码目标仅限于具有每隔预定帧间隔的指定图像，在使所述重放时间与所述图像捕获时间相匹配的同时在进行编码之后以低于所述捕获图像时的所述帧率的帧率显示运动图像的情况下，所述指定图像将成为所述显示目标，并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像。
而且，根据本发明第八方面的运动图像解码方法是用于对运动图像数据进行解码，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码，其特征在于，
经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对包括在所述运动图像数据中的所述编码运动图像的各个帧图像进行解码，并且进行所述解码处理的所述解码目标仅限于具有每隔通过所述图像捕获帧率和预定显示帧率确定的预定帧间隔的指定图像，在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述显示目标，并且在对所述指定图像进行帧间预测解码时，使用不同于所述解码目标的其它指定图像作为基准图像。
而且，根据本发明第九方面的程序是具有使包含在运动图像解码设备中的计算机用作如下部件的程序，该运动图像解码设备用于对运动图像数据进行解码，在运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码：
解码部件，用于输入所述运动图像数据并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对各个帧图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述解码目标仅限于具有每隔通过所述图像捕获帧率和预定显示帧率确定的预定帧间隔的指定图像，在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述显示目标，并且还用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像。
而且，根据本发明第十方面的数据结构是其中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码并且还将通过运动图像解码设备被解码的运动图像数据的数据结构，其特征在于包括：
编码数据，将其它指定图像作为基准图像而对所述编码数据进行帧间预测编码，其中具有每隔通过所述图像捕获帧率和显示帧率确定的预定帧间隔的指定图像的编码数据，通过使用所述运动图像解码设备进行解码，在以低于所述图像捕获帧率的所述显示帧率显示运动图像的情况下，所述指定图像将成为所述显示目标；和
基准图像表示信息，表示在对所述指定图像进行解码时将要成为基准图像的其它指定图像。
附图说明
本发明的这些和其它方面和优点将通过阅读下文中详细的描述以及附图而会变得更加清楚和明显，在附图中：
图1是表示关于本发明的并且对于每个实施例都普遍适用的运动图像记录设备的方框图；
图2是所述运动图像记录设备在记录模式下的动作(操作)流程图；
图3是所述运动图像记录设备在慢速重放模式下的动作流程图；
图4是所述运动图像记录设备在正常速度重放模式下的动作流程图；
图5A和图5B是所述运动图像记录设备在变速重放模式下的动作流程图；
图6A是表示在记录模式下记录的运动图像数据的构成概念图；
图6B是表示在慢速重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图6C是表示在正常速度重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图7是表示第二实施例的编解码器(CODEC)的构成方框图；
图8A和8B是表示在记录模式下第二实施例的所述运动图像记录设备的动作流程图；
图9是表示CODEC的编码过程的时序图；
图10A是表示H.264流的概略构成的概念图；
图10B是表示H.264流的概略构成的概念图；
图11A是表示在记录模式下记录的运动图像数据的构成概念图；
图11B是表示在四倍慢速重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图11C是表示在正常速度重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图11D是表示在二倍慢速重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图12是表示在正常速度重放模式下所述第二实施例的运动图像记录设备的动作流程图；
图13是表示在二倍慢速重放模式下所述第二实施例的运动图像记录设备的动作流程图；
图14是表示在正常速度提取编辑模式下所述第二实施例的运动图像记录设备的动作流程图；
图15是表示第三实施例中记录的MP4文件的概略构成图；
图16是表示用于所有帧重放的索引信息和用于正常速度重放的索引信息与图15所示的MP4文件中的访问单元之间的关系图；
图17A和17B是表示在记录模式下所述第二实施例的运动图像记录设备的动作流程图；
图18A是表示当子帧模式为3时在记录模式下所记录的运动图像数据的构成概念图；
图18B是表示当子帧模式为1时在记录模式下所记录的运动图像数据的构成概念图；
图18C是表示当子帧模式为0时在记录模式下所记录的运动图像数据的构成概念图；
图19是表示在所有帧重放模式下所述第二实施例的运动图像记录设备的动作流程图；
图20是表示在正常速度重放模式下所述第二实施例的运动图像记录设备的动作流程图；
图21A是表示通过子帧模式在所有帧重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图21B是表示通过子帧模式在正常速度重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图22A是表示通过子帧模式在1/2细化重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图22B是表示通过子帧模式在二倍快速重放模式下的重放期间每一帧的解码和显示的存在和不存在的概念图；
图23是表示重放模式、重放速度和基准轨道(trak)之间的关系图；
图24A是描述现有技术的问题的概念图；
图24B是描述现有技术的问题的概念图；以及
图24C是描述现有技术的问题的概念图。
具体实施方式
下面根据附图描述本发明的优选实施例。
(第一实施例)
首先描述第一实施例。图1为表示根据本实施例的运动图像记录设备(数码相机)的电子结构概要的方框图。运动图像记录设备包括运动图像的记录功能和重放功能并且设置有如下部件。
换句话说，运动图像记录设备具有用于捕捉运动图像的图像捕捉部件(设备)1。该图像捕捉部件1为图像捕捉部分，该部分由诸如用于将通过从光学系统进入的物光L的光学图像转换为电信号的CCD、CMOS等的图像传感器以及用于将来自图像传感器的输出信号转换为数字信号的A/D转换器等。图像捕捉部件1将转换后的数字信号，即图像捕捉信号，输出到图像产生部件2。
图像产生部件(设备)2根据由图像捕捉部件1输出的图像捕捉信号以预定的帧率连续地产生图像数据。这里产生的图像数据由亮度分量Y以及色差分量Cb和Cr组成。经由存储器总线3将该图像数据作为构成运动图像的一系列帧数据而连续地存储在存储器4中。在记录时，将已经存储在存储器4中的图像数据顺序输入到CODEC5。而且，将相当于多个帧的图像数据存储在存储器4中。
该CODEC5是用于通过运动补偿使用帧间预测技术由编码系统对运动图像数据进行编码并且用于对编码数据进行解码的编码部件和解码部件。更明确地，该CODEC5由正交转换电路、量化电路、运动检测电路、前向预测电路、编码电路、解码电路、反正交转换电路、帧存储器等组成，用于将作为以MPEG格式(MPEG-1、MPEG-2、MPEG-4、H.264等等)的I图像(帧内编码图像)和P图像(帧间预测编码图像)构成运动图像的一系列帧(图像数据)进行编码并且对该编码数据进行解码。
在记录时，CODEC5对从存储器4连续输入的图像数据(一系列帧数据)进行编码。当该CODEC5对I图像进行编码时，仅使用该帧的信息执行编码(帧内编码)过程并将其输出到存储器4。其中，该CODEC5将该图像数据作为在编码接下来帧的P图像时将要使用的图像数据(基准图像)而存储在存储器4中。
而且，当该CODEC5对P图像进行编码时，将在对先前帧编码时为了基准目的而存储在存储器4中的图像数据(基准图像)读出并且使用该基准图像和相关帧的图像执行编码(帧间预测编码)过程以将其输出到存储器4中。而且，这里输出的编码数据包括运动矢量(MV)。此外，如后面将会提到的，对于相关的编码数据，会增加属性信息和在解码时表示基准帧的基准帧信息，该属性信息例如为显示编码数据为哪一种图像，I图像或P图像，的图像类型信息。
而且，当CODEC5对P图像编码时，该帧的图像数据作为在编码接下来帧的P图像时将要使用的基准图像而存储在存储器4中。更确切地，该CODEC5对已编码的P图像执行本地解码并将该本地解码的图像数据作为基准图像数据而存储在存储器4中。而且，前述的I图像和P图像(编码数据)和基准图像(图像数据)彼此分别地存储在预定区域中以在存储器4中确保安全。
如上所述，当由CPU8增加属性信息并且由存储器卡控制部件(控制器)9记录在存储器卡10中时，由该CODEC5产生并且存储在存储器4中的编码数据成为图像数据文件。
而且，由图像产生部件2产生并且存储在存储器4中的图像数据在记录时通过显示控制部件6读出并且也被发送到LCD(液晶显示器)7以在该LCD上进行屏幕显示。
另一方面，在存储器卡10中记录的运动图像文件在重放时通过存储器卡控制部件9读出并且在通过CPU8取出编码数据部分后传送到该CODEC5。被传送的编码数据(运动图像数据)由先前描述的CODEC5通过按照后面将要描述的三种类型的重放模式(正常速度重放模式、慢速重放模式和变速重放模式)的动作而进行解码。解码的运动图像被存储在存储器4中，通过显示控制部件6连续地对每一帧进行读出，而且还被发送到LCD7以作为运动图像进行屏幕显示。
在连续地检测按键输入部件12中的按键操作状态的同时，CPU8根据存储在程序存储器11中的预定程序而控制每一个部件，并且根据预定的按键操作进行控制，所述按键输入部件12包括为用户设置的用于操作运动图像记录设备的各种类型的操作按键。
在记录时，CPU8使图像捕获部件1、图像产生部件2和CODEC5以240fps的帧率进行动作并且执行高速图像捕获，也使显示控制部件6以60fps的恒定帧率(以下将其称为显示帧率)进行动作。而且，在记录在存储器卡10中的运动图像的重放时间，在运动图像记录设备中，CPU8通过使该CODEC5以与显示帧率相同的60fps帧率动作，并且通过根据后面将要描述的三种类型重放模式(正常速度重放模式、慢速重放模式和变速重放模式)进行控制而用作解码控制部件。
程序存储器11为诸如EEPROM或Flush存储器等非易失性存储器，该存储器允许重写，其中除了前面描述的预定程序，也存储由用户设置或修改的关于设备的各个功能的其它指定数据。
按键输入部件12中设置有模式切换键和操作键等，其中模式切换键使用户在记录模式和重放模式之间切换运动图像记录设备的动作模式，而操作键用于指示记录模式下的记录开始和记录停止以及重放模式下的重放开始和重放停止。
而且，作为在本发明实施例中的重放模式，提供了前述的三种类型，即正常速度重放模式、慢速重放模式和变速重放模式。正常速度重放模式是运动图像的运动速度(以下将其称为重放速度)与记录目标的实际运动速度(以下将其称为正常速度)相同的模式，而慢速重放模式是重放速度比正常速度慢1/4的模式。以上两种重放模式在运动图像的重放速度固定在上述速度状态下的情况中使用。与正常速度重放模式和慢速重放模式不同，变速重放模式是在重放期间，运动图像的重放速度被适当地改变到正常速度或正常速度的1/4速度的模式。而且，各重放模式均可在运动图像重放之前设置，这允许用户有选择地在运动图像重放之前通过操作模式切换键而设置任何重放模式。
而且，在按键输入部件12中提供有速度切换键以允许用户在变速重放模式下的运动图像重放期间在正常速度和正常速度的1/4速度之间切换运动图像的重放速度，而且该操作部件通过按键输入部件12实现。
以下将描述本发明实施例的运动图像记录设备的动作(操作或过程)。(记录动作)
首先描述当运动图像被拍取和在记录模式下被记录时的动作。图2是表示CODEC5通过CPU8的控制内容的流程图。在运动图像被拍取和记录时，CPU8使图像捕获部件1、图像产生部件2和CODEC5以240fps的帧率动作，而且也根据帧的单位来同步各个部件。
然后，在开始图像拍取和记录时，CPU8首先初始化帧号码(i)(步骤SA1)。而且，帧号码的缺省值(第一帧的号码)为“0”。此后，CPU8等待相当于一帧的图像数据到存储器4的输入(存储)(步骤SA2)，而且在对于每一帧使帧号码(i)增加1的同时，使CODEC5执行下面将要描述的编码过程。
首先，包括在动作刚刚开始之后的第一帧(i＝0)，如果CPU8判断帧号码(i)为120(步骤SA3中的是)的倍数，则将此时存储在存储器4中的图像数据读出并输入到CODEC5中，使CODC5对I图像进行编码。换句话说，CODEC5仅仅基于输入的图像数据执行帧内编码并将编码数据输出到存储器4(步骤SA4)。然后CODEC5执行本地解码，并且将该本地解码的图像数据以与编码数据分离的方式存储在存储器4中，作为在对接下来帧的P图像进行编码时将要使用的图像数据(基准图像)。而且，CPU8对编码数据增加先前所述的属性信息(步骤SA5)。
然后，当CPU8判断图像捕获还没有完成时(步骤SA6中的否)，在使帧号码(i)增加1(步骤SA7)之后，通过返回到步骤SA2而重复上述过程。换句话说，每次当帧号码(i)为“120”的倍数时，CPU8使CODEC5对以每0.5秒作为I图像输入的图像数据进行编码，因为帧率是240fps。
而且，在重复上述过程的同时，如果CPU8判断输入到存储器4中的图像数据的帧号码(i)不是120的倍数，而同时是4的倍数(步骤SA3中的否和步骤SA8中的是)，则将在四帧之前的帧的编码过程情况下存储在存储器4中的基准图像和此时存储在相同存储器4中的图像数据读出并且输入到CODEC5，以在执行对P图像编码时(步骤SA9)由CODEC5使用。换句话说，CPU8使CODEC5通过执行具有运动补偿的前向帧内预测编码而执行编码，其中，在三帧之后，将四帧之前的帧图像用作基准图像，并且使CODEC5将编码数据输出到存储器4。然后，CODEC5对于编码的P图像执行先前描述的本地解码，而且将该本地解码的图像数据以与编码数据分离的方式存储在存储器4中，作为在对下一帧(注意，P图像)进行编码时将要使用的基准图像数据。而且，CPU8为该编码数据增加先前描述的属性信息(步骤SA5)。
另一方面，如果CPU8判断输入到存储器4中的图像数据的帧号码(i)不是4的倍数(在步骤SA3和在步骤SA8中都为否)，则将在紧接先前帧的编码过程的情况下存储在存储器4中的基准图像和此时存储在相同的存储器4中的图像数据读出并输入到CODEC5，上述基准图像和图像数据在执行对P图像的编码时由CODEC5使用，并且然后将编码数据输出到存储器4(步骤SA10)。换句话说，通过具有运动补偿的帧内预测编码来执行编码。而且，也是在此时，CODEC5对于编码的P图像执行先前描述的本地解码，而且该本地解码数据以与编码数据独立的方式存储在存储器4中，作为在对下一帧(注意，P图像)编码时将要使用的基准图像数据。而且，CPU8为编码数据增加先前描述的属性信息(步骤SA5)。
之后，当CPU8判断还没有完成图像拍取时(步骤SA6中的否)，则重复上述所有过程，并且当其判断图像拍取结束时(步骤SA6中的是)，记录动作结束。而且，将存储在存储器4中的一系列编码数据以及为每一帧增加的属性信息通过存储器卡控制部件9传送到存储器卡10以作为运动图像文件而被记录。上述过程通过在图像捕获部件1和图像产生部件2之间的帧的单位同步。
图6A概念性地描述了通过上述过程产生的编码数据61以及要增加到其上的属性信息62，即，图像类型信息62a和基准帧信息62b。而且，在H.264中，上面的编码数据61作为片数据体(sliceddatabody)而被存储在运动图像文件中。另一方面，图像类型信息62a作为表示各个图像类型的片类型而被存储在片头中，而基准帧信息62b作为表示在对各个图像进行解码时的基准图像的基准图像指定信息而与编码数据61一起被存储在片数据体中。而且，作为基准图像指定信息(基准帧信息62b)，随着移动远离该帧，提供其值逐渐增加。例如，如果该基准图像是紧接先前的基准图像(将要作为基准的图像)，则其值为“0”。在基准图像之前的一个图像时，其值为“1”，而且如果基准图像是再之前的一个图像，则其值为“2”，依此类推。
而且，在图中所示的编码数据61中，“I”指I图像，“P”指不同于I图像的帧号码(i)是4的倍数的帧的P图像，“p”指帧号码(i)不是4的倍数的帧的P图像。在本实施例中，“I”和“P”是具有预定帧间隔的特定图像。而且，箭头所示的帧为在对各P图像进行编码时的基准帧(基准图像)。另外，在接下来的描述中，“I”和“P”帧均被称为主帧，而“p”被称为子帧。
而且，在上述的编码数据61中，对于每一帧增加一个值作为图像类型信息62a，例如对于I图像是“I”，P图像是“P”。而且，对于P图像的帧，增加较早描述的预定值作为基准帧信息62b。换句话说，作为基准帧信息62b，对于所有子帧(p1，p2，p3等)，分别增加表示紧接先前的基准图像(将要作为基准的图像)的“0”，而对于主帧(P4，P8，P12)，分别增加在帧顺序上表示四帧之前的基准帧(将要作为基准的图像)的“3”。
(重放动作)
接下来，参照图3到5描述在根据上述各重放模式(正常速度重放模式、慢速重放模式和变速重放模式)的重放期间的动作。
这里，假定要对通过上述记录动作记录在存储器卡10中的运动图像(运动图像文件)进行重放。而且，在各重放模式中，首先CPU8读出记录在存储器卡10中而且通过存储器卡控制部件9由用户进行可选地选择的运动图像文件。然后CPU8取出已被读出的运动图像文件的编码数据部分，而且通过开始以60fps的帧率向CODEC5传送编码数据部分，开始运动图像的重放。
(重放动作，慢速)
首先，根据图3中的流程图描述慢速重放模式中的动作。当用户设置慢速重放模式时，CPU8使CODEC5和显示控制部件6以60fps的帧率动作。
然后，在开始重放时，CPU8首先初始化帧号码(i)(步骤SB1)。而且，该帧号码的初始值与记录时相同，为“0”。
接下来，CPU8读出增加到帧号码(i)的编码数据的属性信息62(图像类型信息62a，基准帧信息62b)(步骤SB2)以判断由图像类型信息62a表示的图像类型是否为I图像(步骤SB3)。这里，与重放的开始类似，如果CPU8判断该图像为I图像(步骤SB3为是)，则该I图像由CODEC5进行解码。换句话说，CPU8通过帧内解码使CODEC5对该图像数据进行解码以向存储器4输出图像数据(步骤SB4)。
另外，如果CPU8判断该帧号码(i)的编码数据不是I图像(步骤SB3为否)，则其使CODC5对P图像(主帧或子帧的编码数据)进行解码。换句话说，CPU8通过帧间预测解码对该图像数据进行解码，其中在基准帧信息62b中表示的基准帧图像已经在步骤SB2中被读出，即在主帧P图像的情况下，存储在存储器4中的四帧之前的图像，并且在子帧P图像的情况下，存储在存储器4中的一帧之前的图像，分别被用作基准图像。然后，CPU8使CODEC5向存储器4输出图像数据(步骤SB5)。
在CPU8以1/60秒的显示帧率等待下一次显示时序之后(步骤SB6)，该解码图像数据被从存储器4中读出并且该图像数据被传送到显示控制部件6。因而，CPU8使显示控制部件6根据显示帧率在显示时序中更新在LCD7上的显示图像(步骤SB7)。
之后，当CPU8判断最后一帧的处理还未完成时(步骤SB8为否)，在使帧号码(i)增加1后(步骤SB9)，通过返回到步骤SB2而重复先前描述的过程。当CPU8判断对整个编码数据(全部帧的显示)的解码完成时(步骤SB8为是)，则重放完成。
从而，如图6B所示，CPU8使CODEC5对已经取出并且以240fps记录的所有帧进行解码，而且通过以60fps在LCD7上显示所有已经记录的帧的图像数据，运动图像以正常速度的1/4速度进行慢速播放。
(重放动作，正常速度重放)
接下来，按照图4所示的流程图描述正常速度重放模式中的动作。即使当用户设定正常速度重放模式时，CPU8也使CODEC5和显示控制元件6以60fps的帧率动作。
然后，在开始重放时，CPU8首先初始化帧号码(i)(步骤SB101)。而且，该帧号码的初始值与记录时相同，为“0”。
接下来，CPU8判断帧号码(i)是否为4的倍数(包括初始值“0”)，即，是否为上面提到的主帧(步骤SB102)。这里，与紧接开始重放之后的类似，当CPU8判断该帧号码(i)为4的倍数时(步骤SB102为是)，随后从编码数据中读出属性信息(步骤SB103)以判断由该属性信息表示的图像类型是否为I图像(步骤SB104)。
然后，如同上面提到的慢速重放模式的步骤SB4到SB9，当CPU8判断其是类似于重放开始时的初始帧的I，在I图像的情况下(步骤SB104为是)，则该I图像由CODEC5进行解码。换句话说，CPU8使CODEC5通过帧内解码对图像数据进行解码而且将图像数据输出到存储器4(步骤SB105)。此外，当CPU8判断其不是I图像时，(步骤SB104为否)，则通过CODEC5对P图像进行解码。换句话说，CPU8使CODEC5通过帧内预测解码使用在步骤SB103中读出的属性信息所表示的基准帧图像(四帧之前并且被存储在存储器4中的图像＝紧接着先前主帧的图像)作为基准图像来对图像数据进行解码，而且将图像数据输出到存储器4(步骤SB106)。然而，与慢速重放模式不同，这里要被解码的P图像限于主帧的P图像。
在CPU8以1/60秒的显示帧率等待时序之后(步骤SB107)，该解码图像数据被从存储器4中读出并且将图像数据传送到显示控制部件6。因而，CPU8使显示控制部件6根据显示帧率在显示时序中更新LCD7上的显示图像(步骤SB108)。
当CPU8判断最后一帧的处理还未完成时(步骤SB109为否)，则在使帧号码(i)增加1后(步骤SB110)，通过返回到步骤SB102而重复先前描述的过程。
同时，当CPU8判断步骤SB102中的辨别结果为否并且新的帧号码(i)不是4的倍数—即，当其判断将要作为下一个处理目标的编码数据为先前描述的子帧的P图像时—该帧号码(i)的编码数据被跳过。换句话说，CPU8跳过了从运动图像文件中取出的编码数据到CODEC5的传送动作(步骤SB111)，使帧号码实际上增加1(步骤SB112)而且返回到步骤SB102，重复步骤SB111和SB112的过程直到帧号码(i)成为4的倍数。
当帧号码(i)再次成为4的倍数时，CPU8执行先前描述的步骤SB103到SB108的过程，使CODEC5对下一个主帧的编码数据(I图像或P图像)进行解码并且在LCD7上显示解码图像。
之后，当CPU8判断最后帧的处理还未完成(步骤SB109为否)，则在使帧号码(i)增加1后(步骤SB110)，通过返回到步骤SB102重复先前描述的过程。换句话说，如图6C所示，CPU8使CODEC5对于每四帧(三帧之后)显示(解码)运动图像。换句话说，CPU8通过将要被显示(解码)的帧细化到1/4而以正常速度播放运动图像。当CPU8判断最后一帧的处理完成(步骤SB109为是)，则重放完成。而且，当CPU8在先前描述的步骤SB112中使帧号码(i)增加1，如果其判断超过最后一帧的帧号码(i)，则很明显在改点处完成重放。
这里，在以上述正常重放模式重放运动图像期间，在实际显示的主帧编码数据中，I图像为帧内编码图像而P图像为帧间预测编码图像。然而，P图像通过将I图像或主帧的P图像作为基准图像进行编码。因此，正如较早所述，CPU8在不需要对不显示的子帧的编码数据(P图像)进行解码的情况下，就能毫无问题地对各主帧进行显示。换句话说，伴随帧细化，CPU8可以有效地执行以正常重放模式对运动图像进行重放。因此，与过去相比，能够降低整个数据处理量和功耗。
(重放动作，变速重放)
接下来，根据图5A和5B所示的流程图对变速重放模式的动作进行描述。即使当用户设置了变速重放模式，CPU8也使CODEC5和显示控制部件6以60fps的帧率动作。
然后，在开始重放时，CPU8首先初始化重放模式值(m)，该值是调节CODEC5的重放动作的参数(步骤SB201)。换句话说，CPU8确定重放模式类型。这里，重放模式值(m)具有两种类型，也就是“1”或“4”。“1”代表慢速重放模式而“4”代表正常速度重放模式，而且CPU8在初始化情况下对重放模式值(m)设置为“1”(慢速重放模式)。而且，CPU8初始化帧号码(i)(步骤SB202)。此外，该帧号码的初始值与记录时相同，为“0”。
其后，CPU8判断帧号码(i)是否为重放模式值(m)的倍数(假设也包括“i＝0”)(步骤SB203)。由于在紧接着开始重放之后i＝0且m＝1，因此CPU8判断为是并且读出增加到编码数据的属性信息62(图像类型信息62a，基准帧信息62b)(步骤SB204)以判断由图像类型信息62a表示的图像类型是否为I图像(步骤SB205)。在紧接着开始重放之后(第一帧)，CPU8判断编码数据为I图像(步骤SB205为是)并且使CODEC5对I图像进行解码(帧内解码)而且将解码的图像数据输出到存储器4(步骤SB206)。
在CPU8以1/60秒的显示帧率等待时序之后(步骤SB207)，将解码图像数据从存储器4中读出并且将该图像数据传送到显示控制部件6。而且，CPU8使显示控制部件6根据显示帧率在显示时序中更新LCD7上的显示图像(步骤SB208)。
当CPU8判断最后一帧的处理还未完成时(步骤SB209为否)，则在使帧号码(i)增加1后(步骤SB210)，该CPU8判断帧号码(i)是否为4的倍数(步骤SB211)。因为紧接着开始重放之后i＝1，因此这里CPU8判断为否，实际上通过返回到步骤SB203而重复前述处理。
由于这里i＝1且m＝1，因此CPU8判断步骤SB203为是并且读出增加到编码数据的属性信息62(步骤SB204)以判断其是否为I图像(步骤SB205)。第二帧(i＝1)为子帧且解码目标的编码数据为P图像(步骤SB205为否)。因此，CPU8读出在伴随帧号码(i)的编码数据的基准帧信息62b中表示的基准图像，即，来自存储器4的一帧之前的图像，而且使CODEC5通过将由该基准帧信息62b表示的基准图像作为基准图像而对P图像进行解码并将其输出到存储器4(步骤SB212)。在CPU8以1/60秒的显示帧率等待时序之后(步骤SB207)，CPU8从存储器4中读出解码的图像数据。CPU8将该图像数据传送到显示控制部件6，使显示控制部件6根据显示帧率在显示时序中更新LCD7上的显示图像(步骤SB207和SB208)。而且，关于第三帧和第四帧的编码数据，如在第二帧中，CPU8使用一帧之前的图像执行解码处理并且使该解码的图像数据显示在LCD7上。
这里，紧接着第四帧的图像显示之后，CPU8判断在步骤SB210中增加1之后的帧号码(i)为“4”(步骤SB211为是)而且立即检验用户是否操作了速度变化键，而且如果没有操作速度变化键(步骤SB213为否)，则返回到步骤SB203。第五帧(i＝4)为主帧，而且解码目标的编码数据为P图像(步骤SB205为否)。因此，CPU8从存储器4中读出增加到帧号码(i)的编码数据的属性信息中表示的基准图像，即四帧之前的图像(最初主帧的图像)，而且使CODEC5对该P图像进行解码(帧间预测解码)并通过使用该CODEC5而将其输出到存储器4(步骤SB212)。然后，CPU8使图像数据显示在LCD7上(步骤SB207和SB208)。
其后，CPU8重复步骤SB203到步骤SB213的处理，而且如图6B所示，通过对所有待显示的帧进行解码，如在重放开始时用户设定慢速重放模式的情况一样，运动图像以正常速度的1/4的慢速进行播放。而且，同时，CPU8对于每四帧，即，在对主帧的编码数据进行处理之前，检验速度变化键操作的存在与否。
如果CPU8判断在此期间在任何检验时序中存在对速度变化键的任何操作(步骤SB213为是)，则在该点将重放模式值(m)由“1”切换到“4”后，通过返回到步骤SB203而完成到正常重放模式的转换。
紧接着转换到正常重放模式之后，CPU8判断步骤SB203为是，而且在步骤SB204读取增加到帧i的编码数据的属性。如果CPU8判断步骤SB205为否，则其从存储器4中读出四帧之前的图像(最初主帧的图像)并使CODEC5通过将其作为基准图像而进行解码(帧间预测解码)，之后接着在LCD7上显示该解码图像。此外，如果CPU8判断步骤SB205为是，则其使CODEC5对I图像进行解码(帧内解码)，之后接着在LCD7上显示该解码数据。
之后，当CPU8判断帧号码(i)不是4的倍数(步骤SB203为否)，则其在该点跳过该帧的编码数据(P图像)，即，子帧。换句话说，CPU8跳过对从运动图像文件中获取的编码数据到CODEC5的传送动作(步骤SB215)，在使帧号码(i)增加1后(步骤SB216)返回到步骤SB203，以上就是重复的处理。另一方面，当CPU8判断帧号码(i)是4的倍数时(步骤SB203为是)，则执行步骤SB204之后的处理。换句话说，如果CPU8判断步骤SB205为否，则从存储器4中读出四帧之前的图像(最初主帧的图像)，而且在由CODEC5将该图像作为基准图像而对主帧的编码数据(P图像)进行解码(帧间预测解码)之后，在LCD7上显示解码的图像数据。此外，如果CPU8判断步骤SB205为是，则在由CODEC5对I图像进行解码(帧间解码)之后，将该解码的图像数据显示在LCD7上。
接下来，通过重复相同的步骤，与设置正常速度重复模式的情况相似，如图6C所示，通过每四帧(每第四帧)显示(解码)运动图像(将帧细化到1/4以被显示)，CPU8以正常速度播放运动图像。此外，同时，每四帧—即在处理下一主帧的编码数据之前的时序—CPU8检查是否操作了速度变化键(步骤SB213)。
之后，如果CPU8判断在任何指定的时序操作了速度变化键(步骤SB213为是)，则在其将重放模式值(m)由“4”切换到“1”后(步骤SB214)，通过返回到步骤SB203而在该点转换到慢速重放模式并且继续重放动作。当CPU8判断最后一帧的处理完成时(步骤SB209为是)，则重放结束。此外，当在上述的步骤SB216中使帧号码(i)增加1时，如果判断其超出了最后一帧的帧号码(i)，则重放应该结束。
如上所述，在变速重放模式中，即使在运动图像的重放期间，当用户在希望点操作速度变化键，则可以将运动图像的重放模式，即，重放速度(移动速度)，实时地切换到正常速度和正常速度的1/4。
而且，当将重放速度设置为正常速度时，如上所述，可以在不对不将显示的子帧的编码数据(P图像)进行解码的情况下，有效地显示每四帧中的主帧。因此，与传统方式相比，全部数据处理量和功耗就可以减少。
此外，由于如在本实施例中仅包括I图像和P图像的运动数据以H.264方式接收，而H.264是运动图像压缩的国际标准，因而如果配置能够保证运动图像数据的重放遵守H.264，则可以通过任意的运动图像重放设备进行播放。
(第二实施例)
下面描述本发明的第二实施例。与第一实施例类似，本实施例涉及包括压缩和记录以240fps的高速帧率捕获的运动图像的记录功能和解码所记录的运动图像数据并以60fps的显示帧率将其显示的重放功能的运动图像记录设备。
本发明的基本配置与第一实施例中所示的运动图像记录设备(图1)中的相同，但是CODEC5配置如图7所述。
图7是示出本实施例中CODEC5的配置的方框图。如图7所示，CODEC5主要由总线控制部件51、基准缓冲器52和并行放置的第一CODEC53到第四CODEC56构成。
第一CODEC53到第四CODEC56是包括用于编码和解码运动图像数据的主处理部件的元件，而且每一个具有相同的规格和处理能力，使得能够以60fps的处理速度对VGA大小(640×480像素)的图像数据进行编码和解码。换句话说，第一CODEC53到第四CODEC56由正交转换电路、量化电路、运动检测电路、前向预测电路、编码电路、解码电路和反正交转换电路构成，其各构成均与第一实施例中描述的CODEC5的配置相同。
这里，在本实施例中用于使用CODEC5编码运动图像的方法与H.264兼容，在第一实施例中提到H.264为国际标准。此外，H.264是一种在2003年由JVT(联合视频编码组)标准化的图像压缩编码的方法，JVT是ITU-T(国际电信同盟—电信标准部分)和MPEG(运动图像专家组)的联合标准化委员会。H.264由ITU-T标准化为H.264并且由MPEG标准化为MPEG-4部分10高级视频编码(AVC)，并且也被称为H.264/MPEG-4Avc。
基准缓冲器52对应于第一实施例中描述的帧存储器。基准缓冲器52读取在第一CODEC53到第四CODEC56根据处理需要而对来自存储器4(图1)的每帧图像数据进行编码和解码时所需的部分基准图像并且随后将其存储，将公共图像数据传送到第一CODEC53到第四CODEC56。特别地，作为对于每一处理的宏块的相同位置的宏块以及运动开发和运动预测所需的部分图像数据均被临时存储。
总线控制部件51根据第一CODEC53到第四CODEC56的需要而控制图像数据和编码数据对于存储器4的输入和输出。在本实施例中，基于来自CPU8的指令的总线控制部件51的控制使第一CODEC53到第四CODEC56独立地对不同类型的图像进行编码和解码，例如第一CODEC53用于I图像而其它用于P图像。
此外，基准帧的图像数据必须经由基准缓冲器52传送到该第一CODEC53到第四CODEC56。因此，所有被同时编码的P图像总是成为具有作为基准帧(基准图像)的相同帧的图像。
在本实施例中CODEC5的配置也与第一实施例中描述的配置有所不同。
下面描述本实施例的运动图像记录设备的动作或操作。
(记录动作)
下面描述记录模式下运动图像拍取和记录的动作。图8A和8B是表示在运动图像拍取和记录中通过CPU8的CODEC5的控制内容的流程图。图9是在第一CODEC53到第四CODEC56中对运动图像数据进行编码处理的时序图。图10A和10B是在运动图像拍取和记录期间产生的一系列运动图像数据，即，表示H.264流的概要配置的概念图。图11A到11C是对应于第一实施例中图6A到6C的图。图11D是表示在两倍慢速重放模式下的重放期间各个帧的解码和显示存在与不存在的概念图。
首先，在明确地描述动作之前，在图11A到11D中描述与第一实施例的区别。图11A是表示在本实施例中记录的运动图像中产生的运动图像数据的结构概念图。与图6A类似，在图11A中，“I”指I图像，“P”指P图像而不是帧号码(i)为4的倍数的I图像，“p”指帧号码(i)不是4的倍数的P图像，而且各个帧以与编码类型(I图像/P图像)和帧号码(初始帧为“0”)的组合进行表示。此外，箭头所示方向是各个P图像作为基准的目的地。而且，在本实施例中插入的I图像的时间间隔也是0.5秒(每120帧)。
在运动图像记录中，与第一实施例类似，CPU8对初始帧0进行编码作为I图像(I0)，对主帧的帧4编码作为P图像(P4)，其以最初主帧的I图像(I0)作为基准图像，并且类似地，以各自最初主帧的P图像(P4，P8)作为基准图像而对帧8，12的P图像(P8，P12)进行编码。
同时，在本实施例中，CPU8还对作为子帧的帧1到3的P图像(p1，p2，p3)进行编码，其以最初主帧的I图像(I0)作为基准图像。类似地，以最初主帧的P图像(P4，P8)作为基准图像，CPU8也对另一子帧的帧5到7的P图像(p5，p6，p7)和帧9到11的P图像(p9，p10，p11)进行编码。换句话说，CPU8以I图像或最初主帧的P图像作为基准图像对所有子帧的P图像(p1，p2，p3)进行编码。
将参照图8A和8B描述主要与本实施例中上述编码处理相关的在运动图像拍取动作中的具体内容。这里，运动图像的大小以VGA大小进行记录。此外，在记录中，CPU8以240fps的帧率操作图像捕获部件1和图像产生部件2并且以帧同步各个部件。然而，CODEC5以四帧并且以60fps的帧率同步。
如图8A和8B所示，CPU8首先在记录的开始初始化帧号码(i)(步骤SC1)。帧号码(i)的缺省值(初始帧的号码)为“0”。接下来，CPU8等待要输入(聚集)到存储器4中的一帧的图像数据(步骤SC2)并且判断帧号码(i)是否为4的倍数(步骤SC3)。当CPU判断帧号码(i)不是4的倍数(步骤SC3为否)，则其仅重复使帧号码(i)增加1(步骤SC4)。另一方面，当CPU判断帧号码(i)是4的倍数(步骤SC3为是)，则其使CODEC5执行下述的编码处理。然而，紧接着动作开始之后的第一帧(i＝0)被例外地判断为具有4的倍数的帧号码(i)。
首先，当CPU8判断第一帧的图像数据输入到存储器4中时(步骤SC3和SC5为是)，其读出存储在存储器4中的第一帧的图像数据并且将其输入到CODEC5的第四CODEC56，而且输入到CODEC56的图像数据通过帧间编码而作为I图像输出到存储器4(步骤SC6)。此时，因为第一帧是非基准帧，因此CPU8使第四CODEC56为编码的I图像执行本地解码并且将该本地解码的图像数据作为基准图像数据而输出到存储器4中的预定区域。
接着，CPU8将作为片类型的“I”、作为nal_ref_idc的“3”、作为frame_num的“0”和作为POC的“0”增加到在上述步骤SC6中存储到存储器4中的编码数据(步骤SC7到SC10)。
这里，增加(以H.264流的形式写入)到编码数据的片类型是作为在第一实施例中描述的图像识别信息62a的图像参数，而nal_ref_idc、frame_num和POC是由H.264标准(特别地，“用于通用视听服务的ITU-T推荐H.264高级视频编码”)规定的图像参数。
特别地，nal_ref_idc是能够取0到3范围内值的参数，其被规定为将要作为基准的图像定义非“0”而将不会作为基准的图像定义为“0”。此外，nal_ref_idc被规定为作为标准技术规范的包的“相对优先级”，例如，当通过H.264编码的数据经由在由IETF(互联网工程任务组)公布的“RFC3984：H.264视频的RTP有效载荷格式”中的RTP(实时传输协议)传送时。换句话说，按照降序优先级的顺序，例如3，2，和1，“0”被规定为最低优先级。
frame_num被规定为对于以其它帧作为基准的帧取非0值的参数，而且其由H.264规定为：
累加每个基准图像(紧接基准图像的图像)。
基本以1增加，其中仅顺序有意义，而与时间无关。
POC(图像顺序计数)是表示图像输出顺序的参数，其由H.264规定为：
以IDR(即时解码器刷新)图像作为基础(0)，取与图像抽样时间成比例的值(*NOTE2在8.2.1)。
要求大小作为输出顺序(*C.4.5.3)
使用与实际时间成比例的值(*8.4.1.2.3)。
此外，上面括号中*后面的数字是在H.264标准中章节的号码。而且，该IDR图像被规定为“I图像和在解码顺序中不需要以其先前图像作为基准而可以解码在解码顺序中位于其后的所有图像的图像”。
接下来，当CPU8判断输入到存储器4的图像数据的帧号码(i)是4的倍数时(步骤SC3为是和步骤SC5为否)，则其首先检查帧号码(i)是否为120的倍数。当CPU8判断该帧号码(i)不是120的倍数，例如4，8，16，...116时(步骤SC12为否)，存储在存储器中的具有帧号码(i-3)到(i-1)的帧图像经由总线控制部件51被读出并且被输入到第一CODEC53到第三CODEC55。使用被存储在存储器4中并且根据处理将通过宏块存储到基准缓冲器52中的具有帧号码(i-4)的基准图像的图像数据，CPU8使第一CODEC53到第三CODEC55以与具有帧号码(i-3)到(i-1)的子帧的帧图像并行地将各图像编码为P图像，并且将每一组编码数据输出到存储器4。
同时，CPU8读出存储在存储器4中的具有帧号码(i)的帧图像并且经由总线控制部件51将其输入到第四CODEC56。CPU8使第四CODEC56使用具有帧号码(i-4)的基准图像，即最初主帧的图像数据，而将具有帧号码(i)的新主帧图像编码为P图像并且将编码数据输出到存储器4。而且，CPU8使第四CODEC56对编码的P图像执行本地解码并且将该本地解码的图像数据作为基准图像数据输出到存储器4的预定区域(步骤SC19)。
换句话说，CPU8使具有连续帧号码的三帧的子帧和随后的主帧的四帧图像共同地(并行地)由CODEC5以四帧进行编码。例如，当如图9所示将第四帧图像输入到存储器4时，CPU8共同地对具有帧号码1到3的P图像(p1，p2，p3)和具有帧号码4的P图像(P4)进行编码。
接下来，CPU8向从第一CODEC53到第四CODEC56输出的所有编码数据增加“P”作为片类型而且将其存储在存储器4中(步骤SC20)，向从第一CODEC53到第三CODEC55输出的每组编码数据增加“0”作为nal_ref_idc而且将其存储在存储器4中，并且向从第四CODEC56输出的编码数据增加“2”作为nal_ref_idc而且将其存储在存储器4中(步骤SC21)。
此外，CPU8以增加相应的帧号码的顺序将从int(i/4)、int((i+1)/4)、int((i+2)/4)、int((i+3)/4)得到的值作为frame_num增加到从第一CODEC53到第四CODEC56输出的每一组编码数据中并且将其分别存储在存储器4中(而且，int(n)是取小于自变量n的最大的整数的函数)。例如，CPU8向具有帧号码1到4的图像分别增加1、1、1、1，并且向帧号码5到8的图像分别增加2、2、2、2。换句话说，CPU8增加值，其中对于初始帧是0而且在所有帧中以每四帧加1的方式递增，对于每组编码数据，1为缺省值(同一个值)(步骤SC22)。
而且，对于每组编码数据，作为POC，以增加相应的帧号码的顺序，CPU8分别增加从(i-3)×2、(i-2)×2、(i-1)×2和(i)×2得到的值(相应于每组编码数据的帧号码的两倍的值)。例如，CPU8在帧号码为1到4时分别增加2、4、6、8。换句话说，对于每组编码数据，CPU8在所有帧中以每帧以2递增的方式增加值，以0作为缺省值增加(步骤SC23)。
而且，对于每组编码数据，作为表示在解码每组编码数据时要作为基准的基准图像信息的值(基准图像表示信息)，CPU8增加“0”，该值表示各图像(帧)的最初基准图像(作为基准的图像)(步骤SC24)。这里，各图像的最初基准图像是位于每一图像之前的图像中其帧号码最接近于该图像的帧号码的图像(即，I图像或P图像，四个图像之前)，并且各自图像被增加非“0”值作为nal_ref_idc。基准表示信息的值是由在第一实施例中提到的H.264规定的值。在H.264中，该值被规定为独立于帧而增加，其中如上所述，最初基准图像的值为“0”，表示一帧之前的基准图像的值为“1”，而且表示一帧再之前的基准图像的值为“2”。
另一方面，当CPU8判断输入到存储器4中的图像数据具有帧号码(i)，该帧号码为120的倍数时(步骤SC12为是)，则CPU8读出存储在存储器中的具有帧号码(i-3)到(i-1)的帧图像并且通过总线控制部件51将这些图像输入到第一CODEC53到第三CODEC55。与上述步骤SC19类似，根据处理需要，读出存储在存储器4中的具有帧号码(i-4)并且也将经由宏块而被存储在基准缓冲器52中的基准图像的图像数据，第一CODEC53到第三CODEC55对具有帧号码(i-3)到(i-1)的子帧的帧图像进行编码，并行地作为子帧的P图像并且将各组编码数据输出到存储器4。
此外，CPU8读出存储在存储器4中的具有帧号码(i)的帧图像并且经由总线控制部件51将其输入到第四CODEC56。为了使具有帧号码(i)的帧成为I图像，与上述步骤SC6类似，CPU8使第四CODEC56对该输入图像数据执行帧内编码并且将编码数据输出到存储器4。而且，CPU8使第四CODEC56对该编码的I图像执行本地解码并且将该本地解码数据作为基准图像数据输出到存储器4的预定区域(步骤SC13)。
接下来，CPU8向从第一CODEC53到第四CODEC56输出的各组编码数据增加“P”作为片类型而且将其存储在存储器4中，并且向从第四CODEC56输出的编码数据增加“I”作为片类型并将其存储在存储器4中(步骤SC14)。
此外，CPU8向从第一CODEC53到第三CODEC55输出而且被存储在存储器4中的每组编码数据增加“0”作为nal_ref_idc，向从第四CODEC56输出而且被存储在存储器4中的编码数据增加“3”作为nal_ref_idc(步骤SC15)。
在与上述SC22和SC23相同的处理中，对于由第一CODEC53到第三CODEC55输出而且被存储在存储器4中的每组编码数据，CPU8依次计算作为frame_num和POC的值并且向各组编码数据增加该计算值(SC16和SC17)。
而且，CPU8向由第一CODEC53到第三CODEC55输出而且仅被存储在存储器4中的每组编码数据增加“0”，该值作为基准图像表示信息而表示最初基准图像(作为基准的图像)(步骤SC18)。
此外，在如上所述被连续地从CODEC5输出到存储器4之后，增加有各种图像参数的编码数据通过存储器卡控制部件9而被输出到存储器卡10并且被记录作为运动图像文件。
此后，所有上述处理在运动图像拍取和记录期间进行重复。因此，在存储器卡10中，如上所述，所有子帧的P图像以最初主帧的I图像或P图像作为基准图像进行编码，而且作为图像参数(片类型、nal_ref_idc、frame_num、POC和基准图像表示信息)，如图10A所示，向每一帧输出增加有这些值的H.264流。
当CPU8判断存在通过预定的按键操作以结束记录的指令时，则记录动作结束(步骤SC11为是)。随着该动作，遵守H.264的运动图像文件被记录在存储器卡10中。
此外，在本实施例中上述POC的增量是2，但是在H.264标准中也可以是1，因为通过下述的重放动作进行解码的运动图像被假设通过具有60字段和30帧的隔行扫描方法进行显示。
这里，在本实施例中，如图7所示，CODEC5由基准缓冲器52和平行放置的第一CODEC53到第四CODEC56组成。在上述记录期间，以子帧和接下来的主帧的多个图像数据作为一对，以来自存储在基准缓冲器52中的相同帧的图像为基准图像而对图像数据的相关对进行共同编码。
因此，在运动图像记录设备中，存储器总线3的带宽可以减小，这是因为被读出作为基准帧的图像数据可以减少并行数量那么多。
(重放动作)
下面描述对通过本实施例中上述的记录动作记录在存储器卡10中的运动图像(运动图像文件)进行播放的动作。
这里，在本实施例中，显示控制组件6的性能为60fps，而且在运动图像重放期间，CPU8读出存储在存储器卡10中并且由用户通过存储器卡控制部件9以60fps的帧率选择的任意的运动图像文件数据，并且顺序地将编码数据传送到CODEC5。
而且，在本实施例中，将四倍慢速重放模式(具有正常速度的1/4的重放速度的模式)、正常速度重放模式(重放速度与图像拍取的正常速度相同的模式)和二倍慢速重放模式(具有正常速度的1/2的重放速度的模式)设置为重放模式。下面描述通过模式的动作。此外，图11B到11D是表示在各种重放模式下的重放期间对于每一帧的编码数据的解码和显示的存在和不存在的概念图。
(重放动作：四倍慢速重放)
四倍慢速重放模式是与第一实施例中的慢速重放模式相同的模式。在四倍慢速重放模式中，在图7所示的第一CODEC53到第四CODEC56之中，仅使用第一CODEC53。通过在图3显示和概括的第一实施例的相同动作，如图11B所示，所有以240fps记录的帧被连续地以60fps进行解码，并且随后显示该图像数据。换句话说，运动图像以1/4速度被慢动作播放。
然而，在本实施例中，如图11A所示，与第一实施例不同，不仅在对于主帧的P图像(P4，P8，...)而且在对于子帧的P图像(p1，p2，p3，...)的解码处理中，最初主帧的图像(I0，P4，...)均被用作基准图像。此外，在对编码数据的解码处理中，不仅使用第一CODEC53，而且也可以使用第二CODEC54到第四CODEC56中的一个。
(重放模式：正常速度重放)
图12是表示在本实施例中具有正常速度重放模式的动作流程图。而且，在正常速度重放模式中，仅使用第一CODEC53到第四CODEC56中的第一CODEC53对编码数据进行解码。在正常速度重放模式中，执行与第一实施例中如图4所示几乎相同内容的动作(步骤SD1到SD12)。
其中，与第一实施例不同，CPU8读出在步骤SD2中提到的图像参数，并且在接下来的步骤SD3，基于在图像参数中的nal_ref_idc的值，CPU8判断是否每一帧应该是解码目标。当该值不是“0”时—其表示非基准帧(不作为基准的帧)，即，仅当CPU8判断其为主帧时—该帧才可以是解码目标。此外，在步骤SD6，参照基准图像表示信息，对于主帧的P图像，与第一实施例类似，执行以最初主帧的I图像或P图像作为基准图像的解码处理。这里，在本实施例中，也对所有子帧的P图像执行以最初主帧的I图像或P图像作为基准图像的解码处理。
从而，在正常速度重放模式中，与第一实施例类似，如图11C所示，在所有以240fps记录的帧之中，只有每四帧(每第四帧)的主帧(I图像或P图像)以60fps被解码并显示。换句话说，通过对显示帧的1/4细化，运动图像以正常速度播放。
因而，在正常速度重放模式中，与第一实施例类似，不需要对不显示的子帧的编码数据进行解码，作为主帧的所有P图像可以被显示，所以整个数据处理量和功耗能够减小。
(重放模式：二倍慢速重放)
图13是表示在本实施例中具有二倍慢速重放模式的动作的流程图。也是在二倍慢速重放模式中，涉及该实施例的运动图像记录设备仅使用第一CODEC53到第四CODEC56中的第一CODEC53对编码数据进行解码。从图13中可以清楚地看出，与图12所示的正常速度重放模式的动作的唯一区别在于，在步骤SD13，仅仅是具有帧号码(i)为2的倍数(然而，例外的0也被处理为2的倍数)的帧可以成为解码目标。
从而，在二倍慢速重放模式中，如图11D所示，所有以240fps记录的帧中每两帧(每第二帧)以60fps被解码并且显示。换句话说，通过对显示帧进行1/2细化，运动图像可以以正常速度的1/2的慢速播放。
在本实施例中，在运动图像记录中，不仅主帧的P图像而且子帧的P图像也以最初主帧的I图像或P图像作为基准图像被编码。因此，也是当运动图像以上述正常速度的1/2的慢速播放时，要显示的子帧的编码数据可以在不需要对不会显示的子帧的编码数据进行解码的情况下进行解码。因而，在有关情况下可以有效地执行，而且整个数据处理量和功耗可以在这些情况下减少。
(正常速度提取编辑动作)
另一方面，在本实施例的运动图像记录设备中，除了记录模式和重放模式外(四倍慢速重放模式、正常速度重放模式和二倍慢速重放模式)，正常速度提取编辑模式也提供作为动作模式。该正常速度提取编辑模式是这样一种模式，其中仅以如图10B所示的正常速度重放模式显示的主帧(正常速度重放帧)的流部分从通过记录动作作为运动图像文件记录在存储器卡10中的运动图像数据中提取出来—即，以240fps高速捕获的具有VGA大小的运动图像流—而且生成由以60fps并且具有VGA大小的提取部分构成的新运动图像流并被记录在存储器卡10中。
图14是表示当以正常速度提取编辑模式编辑记录在存储器卡10中的任意运动图像数据时CPU8的处理流程图。
在编辑开始时，CPU8首先初始化处理帧号码(i)而且开始读出高速捕获的运动图像流，该运动图像流是来自存储器卡10的编辑目标(步骤SD201)。此外，处理帧号码(i)的缺省值是“0”。
此后，对于高速捕获流，CPU8判断每一帧中写入该流的nal_ref_idc的值(步骤SD202)。当CPU8判断nal_ref_idc的值为“0”时(步骤SD202为是)，则跳过此时具有帧号码(i)的流(步骤SD203)。仅当CPU8判断nal_ref_idc的值不是“0”时(步骤SD202为否)，其将具有帧号码(i)的帧的流写入到存储器卡10中(步骤SD204)。
此后，当CPU8判断要处理的帧不是最后的帧时(步骤SD205为否)，在使帧号码(i)增加1(步骤SD206)之后，重复上述处理(步骤SD202到SD204)。当CPU8判断对于最后一帧(跳过或写入)的处理完成时(步骤SD205为是)，则所有处理完成。
因而，通过使用正常速度提取编辑模式，涉及本实施例的运动图像记录设备能自动地生成包括如图10B所示的运动图像流结构的新运动图像，其中运动图像具有60fps的重放性能并且可以以正常速度在其它设备中显示。
(第三实施例)
以下描述本发明的第三实施例。与较早描述的第一和第二实施例类似，本实施例涉及包括记录功能和重放功能的运动图像记录设备，记录功能压缩和记录以240fps的高速帧率捕获的运动图像，重放功能对记录的运动图像数据进行解码并且以60fps的显示帧率进行播放。
本实施例中的运动图像记录设备的基本配置与第一实施例中描述的并如图1所示的运动图像记录设备类似，并且CODEC5具有能够以240fps的处理速度对具有VGA大小(640点×480点)的图像数据进行编码和解码的处理能力。此外，通过CODEC5的运动图像编码方法(运动图像流配置)遵守H.264，与第二实施例类似。
本实施例的运动图像记录设备将通过CODEC5编码的运动图像数据作为运动图像文件以MP4格式(此后将其称为MP4文件)记录在存储器卡10上，该格式由ISO(国际标准化组织)标准化为记录MPEG4图像和音频数据的标准格式。此外，运动图像文件的具体配置是由ISO/IEC14496-12，“音频-视觉目标的信息技术编码—部分12：ISO基础媒体文件格式”规定的配置。
图15是表示本实施例中记录在存储器卡10中的MP4文件的概略构成图。如图15所示，MP4文件是多个盒信息的集合体并且由诸如“ftyp”和“uuid”、“mdat”、“moov”的各自盒构成，其中“ftyp”存储有表示相关文件兼容性的信息，并且“uuid”、“mdat”和“moov”存储有编码器特定的扩展信息。
“mdat”是存储有编码图像数据的“媒体数据盒”，而且存储有相关盒的数据大小、识别码(‘mdat’)和视频流组。视频流组由以帧为单位(byframe)的多个访问单元构成，并且每一个访问单元由诸如相关访问单元的数据尺寸、AU定界符(该访问单元的边界代码)、H.264片数据(编码数据)和相关H.264片数据的大小的各自数据组成。
H.264片数据是由NAL(网络抽象层)头111和片数据112构成的NAL单元，并且该NAL单元的片数据112进一步由片头121和片数据体122组成。在该NAL头111中存储有例如NAL单元类型的属性信息，而且这里，存储有第二实施例中描述的nal_ref_idc。此外，对于除了nal_ref_idc之外的图像参数，片类型(第一实施例中的图像表示信息62a)、frame_num和POC存储在片头121中，而基准图像表示信息(基准帧信息62b)连同在运动图像记录中从CODEC5输出的I图像的编码数据一起存储在片数据体122中。
此外，存储在片数据体122中的I图像的编码数据是宏块的集合，而且该基准图像表示信息实际上是由宏块存储，而且要作为基准图像的信息通过宏块作为基准。然而，这里为了简化叙述，这里描述为基准图像表示信息与片数据(图像)作为单元进行存储。
而且，“moov”为“电影盒”并且由相关盒的数据大小、该盒的识别码(‘moov’)、索引数据和udta组成，其中存储有解码H.264所需的信息。
索引数据由两种类型的轨道组成。各轨道是在重放中存储索引信息的“轨道盒”，而且各轨道由相关盒的数据大小、识别码(‘轨道’)和表示要被解码的访问单元的视频索引信息101，102组成。
在两种类型的轨道之一中，运动图像的所有帧的所有信息被存储为视频索引信息101，而且在另一轨道中，仅从初始帧到第四帧的运动图像的主帧的索引信息存储为视频索引信息。在接下来的叙述中，将一个轨道称为用于所有帧重放的轨道，并且存储在其中的视频索引信息101是对于所有帧重放的索引信息，而将另一轨道称为用于正常速度重放的轨道，并且存储在其中的视频索引信息102是对于正常速度重放的索引信息，从而将二者区分开。图16是表示对于所有帧重放的索引信息101和对于正常速度重放的索引信息102与访问单元之间的关系图。
此外，包括“电影盒”的udta是其中存储有各种类型的用户信息的“用户数据盒”。
下面描述本实施例的运动图像记录设备的动作或操作。
(记录动作)
下面描述在记录模式中运动图像拍取和记录的动作。图17A和17B是表示在运动图像拍取和记录中通过CPU8的CODEC5的控制内容流程图。图18A到18C是表示以记录模式记录的运动图像数据的配置概念图，对应于第一实施例中示出的图6A和第二实施例中示出的图11A。
首先，在对该动作进行具体描述之前，与第一和第二实施例的区别在图18A到18C中描述。图18A到18C是表示以记录模式记录的运动图像数据的配置概念图。
在本实施例，在记录中存在于主帧之间的子帧号码可以被设置作为子帧模式。可以设置的子帧号码为3、1中的一个或0，而且各子帧号码在记录时作为表示子帧类型的值而存储在“用户数据盒”中。
此外，可以包括子帧模式以使得在记录运动图像之前或之后基于预定的情况经由用户按键操作而在任意点被自动地设置，但是这里为了方便，可以包括子帧以在开始记录之前提前由用户使用按键操作进行设置。
当如图18A所示将子帧模式设置为3时，初始帧被编码为I图像(I0)，并且之后，具有帧号码(i)为4的倍数的帧以最初主帧的I图像或P图像作为基准图像进行编码。然而，在本实施例中，具有帧号码(i)为8的倍数的帧以主帧八帧的I图像或P图像作为基准图像进行预-编码。而且，与第二实施例类似，所有子帧的P图像以最初主帧的I图像或P图像作为基准图像进行编码。
此外，当如图18B所述将子帧模式设置为1时，并不将所有子帧的P图像作为编码目标，仅仅具有帧号码(i)为2的倍数的帧是编码目标。而且，当如图18C所示将子帧模式设置为0时，所有子帧均被排除在编码目标之外。
在本实施例中，记录运动图像的动作的更多具体内容将结合图17A和17B进行描述。此外，也在本实施例中，将要被记录的运动图像的大小是VGA大小，而且在记录时，CPU8以240fps的帧率操作图像捕获部件1、图像生成部件2和CODEC5并且通过帧同步各部件。
如图17A和17B所示，在记录开始时，CPU8首先初始化帧号码(i)(步骤SE1)。帧号码(i)的缺省值(初始帧的号码)为“0”。之后，CPU8等待输入(聚集)到存储器4中的一帧的图像数据(步骤SE2)而且之后当判断帧号码(i)为120的倍数，包括0，时(步骤SE3中为是)，读出存储在存储器4中的图像数据以被输入到CODEC5中。CPU8通过对输入到CODEC5中的相关帧的图像数据进行帧内编码而作为I图像输出到存储器4中(步骤SE4)。此外，这里，CODEC5存储本地解码图像，其中在存储器4中与编码数据分离地解码该编码数据，作为在编码后续P图像中使用的图像数据(基准图像)。
接下来，对于编码数据，CPU8增加作为片类型的“I”和作为nai_ref_idc的“3”。而且，CPU8将从“int((i+3)/4)”中获得并且对于所有帧每四帧增加1的值，其中初始帧的值为0而缺省值为1，增加作为frame_num，并且进一步，将从“i×2”中获得并且对于所有帧每帧增加2的值，缺省值为0，增加作为POC(步骤SE5)。此外，其中并不增加基准图像表示信息。
之后，CPU8在用于正常速度重放的轨道中(步骤SE6)并且进一步在用于所有帧重放的轨道中(步骤SE7)增加此时关于帧号码(i)的主帧的索引信息。之后，当CPU8判断没有经由预定的按键操作的完成记录的指令时(步骤SE8为否)，使帧号码(i)增加1(步骤SE9)并返回到步骤SE2，并且等待要输入的用于下一帧的图像数据。
此外，当判断帧号码(i)不是120的倍数而是8的倍数时(步骤SE3为否且步骤SE10为是)，CPU8读出此时存储在存储器4中的图像数据并将其输入到CODEC5。CPU8使CODEC5使用存储在存储器中的8帧之前的具有帧号码(i-8)的基准图像的图像数据将相关帧的图像数据编码为P图像，并且将其输出到存储器4(步骤SE11)。而且，在对相关的P图像进行编码时，CODEC5存储本地解码图像，其中在存储器4中与编码数据相分离地解码此时的编码数据以作为在对接下来的四帧P图像和后面的八帧图像进行编码时使用的图像数据(基准图像)。
接下来，CPU8将作为片类型的“P”、作为nal_ref_idc的“2”，作为frame_num的可以从“int((i+3)/4”中获得的值(每帧增加2的值)以及作为POC的从“i×2”中获得的值(每帧增加2的值)增加到输出到存储器4的编码数据。此外，作为基准图像表示信息，CPU8增加“1”，该值表示两个图像之前的基准图像，即，增加8帧之前的具有帧号码(i)的图像(步骤SE12)。
此外，当CPU8判断帧号码(i)是4的倍数而不是8的倍数时(步骤SE10为否且步骤SE13为是)，读出此时存储在存储器4中的图像数据并将该数据输入到CODEC5。使用存储在存储器中具有帧号码(i-4)的帧的图像，即，四帧之前的图像作为基准图像，CPU8使CODEC5将输入作为P图像的相关帧的图像数据进行编码，并且将其输出到存储器4(步骤SE14)。而且，在对相关的P图像进行编码中，CODEC5存储本地解码图像，其中在存储器4中以与编码数据相分离的方式解码所述编码数据作为在对随后的三帧P图像进行编码时使用的图像数据(基准图像)。
接下来，对于输出到存储器4中的编码数据，CPU8增加与帧号码(i)为8的倍数的值相同的值作为片类型、nal_ref_idc、frame_num和POC。而且，作为基准图像表示信息，CPU8增加“0”—表示最初基准图像的值，即，四帧之前的图像(步骤SE15)。
之后，当帧号码(i)是8或4的倍数时，CPU8向用于正常速度重放的轨道和用于所有帧重放的轨道(步骤SE6和步骤SE7)增加关于此时具有帧号码(i)的主帧的索引信息。之后，如果CPU8判断没有经由预定按键操作的完成记录的指令(步骤SE8为否)，则使帧号码(i)增加1(步骤SE9)以返回到步骤SE2，并且等待要输入的用于下一帧的图像数据。
此外，当CPU8判断步骤SE13的辨别结果为否并且帧号码(i)不是4的倍数时，根据子帧模式的类型执行以下处理。
首先，当CPU8判断子帧模式(S)被设置为3时(步骤SE16为是)，则读出此时存储在存储器4中的图像数据并将其输入到CODEC5。CPU8使CODEC5以存储在存储器中的最初主帧作为基准图像而将相关帧的输入图像数据编码为P图像并且将其输出到存储器4(步骤SE17)。接下来，对于输出到存储器4的编码数据，CPU8分别通过对于上述主帧相同的过程增加作为片类型的“P”、作为nal_ref_idc的“0”frame_jum和POC，而且作为基准图像表示信息，增加表示最初基准图像的值“0”(步骤SE18)。之后，CPU8仅对用于所有帧重放的轨道增加关于此时具有帧号码(i)的子帧的索引信息(步骤SE7)。
此外，当CPU8判断子帧模式(S)被设置为1时(步骤SE16为否且步骤SE19为是)，如果判断帧号码(i)为2的倍数(步骤SE19为是)，则执行与帧模式为3共用的上述处理(步骤SE17，步骤SE18和步骤SE7)。
而且，当CPU8判断子帧模式(S)没有被设置为1(步骤SE19为否)且当CPU8判断子帧模式被设置为1但帧号码(i)不是2的倍数时(步骤SE20为否)，则CPU8立即判断是否存在预定的按键操作。如果CPU8判断没有经由预定的按键操作的记录表示完成(步骤SE8为否)，则使帧号码(i)增加1(步骤SE8)，返回到步骤SE2以等待要输入的用于下一帧的图像数据。
此外，如上所述在从CODEC5顺序输出到存储器4中后，增加有图像参数的编码数据、对于所有帧重放的索引信息101以及对于正常速度重放的索引信息102被顺序地通过存储器卡控制部件9输出到存储器卡10以被记录为运动图像文件(MP4文件)。
之后，在运动图像记录期间，CPU8重复上述所有处理，而且当其判断存在经由预定按键操作的记录完成的指令时(步骤SE8为是)，则记录动作结束。从而，在记录在存储器卡10中的MP4文件中，作为上述视频流组，存储有与子帧模式的设置值相对应的帧的一系列编码数据。此外，如图15和16所示，在用于所有帧重放的轨道中，存储有关于所有编码帧的用于所有帧重放的索引信息101，而且在用于正常速度重放的轨道中，仅存储有关于主帧的用于正常速度重放的索引信息102。
(重放动作)
下面描述在本实施例中播放通过上述记录动作记录在存储器卡10中的运动图像(MP4文件)的动作。
也在本实施例中，显示控制部件6的性能是60fps，而且在运动图像重放中，CPU8读出记录在存储器卡10中并且由用户以60fps的帧率通过存储器卡控制部件9选择的任意MP4文件并且之后将该编码数据部分传送到CODEC5。
此外，在本实施例中，作为重放模式，设计了四种类型的模式—所有帧重放模式、正常速度重放模式、1/2细化重放模式和2倍快速重放模式。下面参照图23描述重放模式。图23是表示重放模式、重放速度和基准轨道之间的关系图。
所有帧重放模式是其中基本上播放被记录为运动图像数据的所有帧的模式，而且在记录时子帧模式被设置为3的运动图像的重放速度为正常速度的1/4。此外，1/2细化重放模式是基本上播放被记录为运动图像数据的所有帧中每隔一帧的模式，而且在记录时子帧模式被设置为3的运动图像的重放速度为正常速度的1/2。而且，正常速度重放模式为与记录时相同的正常速度，而与在记录时设置的子帧模式类型无关，并且2倍快速重放模式为重放速度是记录速度(正常速度)的两倍的模式，而与记录时设置的子帧模式类型无关。下面通过上述模式描述本实施例中的重放动作。
(重放动作：所有帧重放)
图19是表示在所有帧重放模式下的动作流程图。图21A是表示在运动图像记录中通过子帧模式设置在所有帧重放模式下各帧的解码和显示的存在和不存在的概念图。
如图19所示，在所有帧重放模式下，在记录开始时，CPU8首先初始化重放帧号码(j)(步骤SF1)。重放帧号码(j)的缺省值为“0”。接下来，CPU8从存储有用于所有帧重放的索引信息101的用于所有帧重放的轨道中读出帧号码(j)的索引信息f(步骤SF2)，而且根据读出的索引信息，将用于视频流组的读取指针设置给帧号码(j)的访问单元(编码数据)(步骤SF3)。
接下来，在CPU8在帧号码(j)的编码数据的片头121中读取信息之后(步骤SF4)，如果CPU8判断通过片头信息中的片类型表示的图像类型为I图像(步骤SF5为是)，则CPU8使CODEC5通过帧间解码对该I图像进行解码，而且将该图像数据输出到存储器4(步骤SF6)。
而且，如果CPU8判断通过片头信息中的片类型表示的图像类型不是I图像(步骤SF5为否)，则CPU8使CODEC5通过帧间预测编码使用由与编码数据一起存储在片数据体122中的基准图像表示信息所表示的作为基准的帧图像作为基准图像而对P图像进行解码，而且将该图像数据输出到存储器4(步骤SF7)。
这里，进行解码的P图像是记录的所有P图像，但是如图21A所示，单个P图像的内容根据记录运动图像时设置的子帧模式而变化。换句话说，如果在记录运动图像时子帧模式被设置为3，则与第一实施例中的慢速重放和第二实施例中的四倍慢速重放模式类似，在记录运动图像时捕获的所有主帧和子帧的P图像都进行解码。而且，如果子帧模式为1，对在记录运动图像时捕获的所有主帧的P图像和在记录运动图像时帧号码(i)为偶数的子帧进行解码。进一步地，如果子帧模式为0，则对在记录运动图像时捕获的所有主帧的P图像进行解码。
此外，如图18所示，对于解码各个P图像时要作为基准的帧，无论记录运动图像时的子帧模式如何，当具有帧号码(i)的帧为子帧时，基准帧总是最初主帧。而且，当该帧是主帧并且是帧号码(i)的P图像之前的八帧主帧时，对于具有帧号码(i)在记录运动图像时是8的倍数的P图像，并且对于具有帧号码(i)在记录运动图像时是4的倍数而不是8的倍数的P图像，基准帧总是最初主帧。
在CPU8以1/60秒的显示帧率等待时序之后(步骤SF8)，CPU8从存储器4中读出解码图像数据并且将该图像数据传送到显示控制部件6。从而，CPU8使显示控制部件6在通过显示帧率显示时序的同时更新LCD7上的显示图像(步骤SF9)。
之后，当CPU8判断最后帧的处理还未完成(步骤SF10为否)，则在使重放帧号码(j)增加1(步骤SF11)之后，返回到步骤SF2重复上述处理。当CPU8判断所有编码数据的解码和显示均完成时(步骤SF10为是)，则重放结束。
从而，如图21A所示，运动图像记录设备解码帧并显示图像数据。换句话说，对于在记录时具有子帧模式3的运动图像，该运动图像记录设备依次对所有以240fps记录的帧进行解码，并且通过显示以60fps记录的所有帧的图像数据，运动图像以正常速度的1/4进行慢速播放。此外，对于在记录时具有子帧模式1的运动图像，该运动图像记录设备以60fps细化并且每隔一帧地显示所有图像数据，并且从而以正常速度的1/2播放运动图像。而且，对于在记录时具有子帧模式0的运动图像，运动图像记录设备以60fps细化并且以每隔三帧地显示所有图像数据，并且从而以正常速度播放运动图像。
此外，在图21A中，仅对于记录有编码数据的帧(记录帧)，示出了在运动图像记录时的图像类型(I，P，p)和帧号码。而且，使用加黑轮廓示出的帧是其中用于所有帧重放的索引信息101被保存在重放中使用的用于所有帧的重放轨道中的帧。
这样，在所有帧重放模式中，运动图像记录设备使用用于所有帧重放的索引信息101执行解码处理，并且从而如图23所示，记录的运动图像根据在记录时设置的子帧模式类型而以四倍慢速、二倍慢速(正常速度的1/2)或正常速度进行播放。
(重放动作：正常速度重放)
图20是表示在本实施例中在正常速度重放模式下的动作流程图。图21B是表示通过在记录运动图像时设置的子帧模式而在正常速度重放模式下各帧的解码和显示的存在和不存在的概念图。
如图20所示，在正常速度重放模式下，在记录开始时，在CPU8首先初始化重放帧号码(j)之后(步骤SF101)，与所有帧重放模式不同，CPU8从用于正常速度重放的轨道中读出帧号码(j)的索引信息f，该轨道中仅存储有关于主帧的用于正常速度重放的索引信息(步骤SF102)。之后，CPU8执行与在所有帧重放模式中图19的步骤SF3到SF11相同的处理。
从而，如图21B所示，无论在记录时设置的子帧模式类型如何，通过仅以60fps显示包括初始帧在内的每隔四帧的主帧，运动图像以正常速度播放。此外，图21B中所示的具有加黑轮廓的帧是其中用于正常速度重放的索引信息102存储在重放中使用的用于正常速度重放的轨道中的帧。
(重放动作：1/2细化重放)
图22A是表示通过记录运动图像时设置的子帧模式在1/2细化重放模式下各帧的解码和显示的存在和不存在的概念图。
在1/2细化重放模式下，CPU8执行几乎与所有帧重放模式相同的处理。换句话说，(图中未示出)将图19所示的步骤SF11的程序改变为使帧号码(j)增加两次的处理。
因此，如图22A所示，运动图像记录设备解码帧并显示图像数据。换句话说，对于在记录时具有子帧模式3的运动图像，该运动图像记录设备依次对所有以240fps记录的每隔一帧细化的帧进行解码，并且通过以60fps进行显示，运动图像以正常速度的1/2进行播放。此外，对于在记录时具有子帧模式1的运动图像，依次对每隔一帧细化的编码数据进一步进行每隔一帧的细化和解码，并且该运动图像记录设备以60fps进行显示，因此运动图像以正常速度进行播放。而且，对应于在记录时具有子帧模式0的运动图像，依次对每第四帧细化的编码数据进一步进行每隔一帧的细化和解码，并且该运动图像记录设备以60fps进行显示，从而运动图像以二倍快速进行播放(以记录时速度的二倍进行播放)。
此外，还在图22A中，对于记录有编码数据的帧(记录帧)，示出了记录运动图像时的图像类型(I，P，p)和帧号码。而且，以加黑轮廓示出的帧是其中对于所有帧重放的索引信息101存储在重放中使用的用于所有帧重放的轨道中的帧。
因而，在1/2细化重放模式下，运动图像记录设备使用对于所有帧重放的索引信息101执行解码处理，并且从而根据记录时设置的子帧模式类型而以二倍慢速、正常速度或二倍快速播放所记录的运动图像。
(重放动作：二倍快速重放)
图22B是表示通过记录运动图像时设置的子帧模式在二倍快速重放模式下各帧的解码和显示的存在和不存在的概念图。
在二倍快速重放模式下，CPU8执行与正常速度重放模式几乎相同的处理。换句话说，(图中未示出)将图20所示的步骤SF111的程序改变为使帧号码(j)增加两次的处理。
因此，如图22B所示，无论记录时设置的子帧模式类型如何，通过仅以60fps显示包括初始帧在内的每隔八帧的主帧，运动图像以二倍快速播放。此外，图22B中所示的具有加黑轮廓的帧是其中用于正常速度重放的索引信息102存储在重放中使用的用于正常速度重放的轨道中的帧。
这里，在如上所述的本实施例中，当记录运动图像时，使用最初主帧或8帧之前的P图像的I图像作为基准图像而对主帧的P图像和子帧的P图像进行编码。因此，在显示运动图像时，如果运动图像以上述的任何重放模式播放，则无论在记录运动图像时的子帧模式如何，不用对不显示的子帧的编码数据进行解码就能对要显示的子帧的编码数据进行解码。
因而，当运动图像以正常速度的1/2的慢速或正常速度进行播放时，根据记录时设置的子帧模式类型，可以有效执行，并且整个数据处理量和功耗能够因此减少。
此外，在本实施例中，通过使用二倍快速模式，无论记录时设置的子帧模式如何，运动图像能以二倍快速播放。对于在记录时具有子帧模式0的运动图像，以1/2细化重放模式的重放也使运动图像以二倍快速播放。
而且，在记录运动图像时，对于具有帧号码(i)为8的倍数的帧的P图像，设计不使用最初主帧的I图像或P图像而是使用八帧之前的主帧的I图像或P图像作为基准图像进行编码。因此，也在以二倍快速播放运动图像时，在不需要对不要显示的主帧的编码数据进行解码的情况下，对要显示的主帧的编码数据进行解码。这样，也在以二倍快速播放运动图像时，可以有效地执行，而且对于这种情况，整个数据处理量和功耗能够减少。
此外，在本实施例中，设计具有帧号码(i)为8的倍数的帧的P图像使用8帧之前的主帧的I图像或P图像作为基准图像进行编码。然而，例如，具有帧号码(i)为16的倍数的帧的P图像可以使用16帧之前的主帧的I图像或P图像作为基准图像进行编码。换句话说，可以使用用于对该帧的其它P图像进行编码的基准图像进行编码，该帧的其它P图像以n帧的P图像最接近于该相关的P图像。换句话说，在n＝16的情况下，四倍快速的重放是可能的。
此外，在本实施例中，在记录运动图像的同时，可以设置存在于主帧之间的子帧数量作为子帧模式。因此，在记录运动图像时，通过根据物体运动的速度变化而设置子帧模式—例如如果在图像捕获部件1中捕获的物体具有慢速运动则将子帧模式设置为0—可以省略通过帧细化对于显示运动图像不必要的该帧图像的编码处理。这样，整个数据处理量和功耗能够减少。同时，存储器卡10的存储器消耗量也能减少。
此外，在本实施例中，在记录运动图像的同时，作为表示要被解码的访问单元(编码数据)的索引信息，用于所有帧重放的索引信息101和用于正常速度重放的索引信息102均被设计为被记录。从而，通过分别使用这些组索引信息，在以所有帧重放和正常速度重放来播放运动图像时，通过分别使用这些组索引信息，可以实现基于相同运动图像文件的以正常速度的1/4的速度播放运动图像。而且，在能够播放MP4文件的所有目的运动图像重放设备中也是可能的。
此外，在本实施例中，对于CODEC5具有与第一实施例所述运动图像记录设备类似配置的情况进行了描述。然而并不局限于此，与第二实施例中描述的运动图像记录设备类似，CODEC5由如图7所示的总线控制部件51、基准缓冲器52和并行排列的第一CODEC53到第四CODEC56组成。而且，在此情况下，通过在以图18所示的记录模式下对预定帧图像进行编码，可以得到与本实施例类似的效果。而且，相关点也与第一实施例中的类似。
(变型示例)
这里，在上述第一到第三实施例中，对具有用于编码和解码运动图像的CODEC5的运动图像记录设备进行了描述。然而，也可以包括通过CPU8使用预定软件执行运动图像的编码和解码。而且，在这种情况下，在使用与上述正常速度播放运动图像时类似的细化帧的运动图像重放中，由于可以有效地执行，因此整体数据处理量和功耗能够减少。因而，在这种情况下，与运动图像的正常速度重放并行地，不需要对CPU8维持额外的处理能力，较大量的数据处理就可以由CPU8执行。
而且，在第一到第三实施例中，运动图像记录设备是具有运动图像解码设备的功能的配置，而且对于在以运动图像记录设备记录的运动图像通过运动图像记录设备进行播放的情况进行了叙述。然而，也可以在记录的运动图像以具有播放(解码)运动图像功能的其它设备或仅具有重放(解码)功能的设备进行播放(解码)的情况下，可以减少重放(解码)时的整体数据处理量和功耗。
基于此，例如运动图像记录设备，那些对以240fps捕获的运动图像具有处理和编码能力的设备，基本上能够以240fps解码和显示记录的运动图像。这是因为编码包括被称为本地解码的解码处理，以在与上述MPEG方法类似的解码时产生相同的预测图像。
这样，在如上所述的重放中减少数据处理量的效果和与之一起获得的效果—即，将预定软件用于解码运动图像时的效果—在接下来的情况中将变得更加显著。换句话说，例如当将本发明的运动图像解码方法应用到具有支持正常显示帧率(例如，60fps)的能力作为对运动图像数据的解码处理能力的普通重放设备中时，对以240fps记录的运动图像以正常速度重放进行播放时，效果变得更加有效。
换句话说，在第一到第三实施例中，在记录模式中记录时的帧率为240fps。然而除此之外，在记录时的帧率(60fps)可以是重放期间显示帧率的整数倍(n)。在这种情况下，在对运动图像进行编码和解码的同时，当每隔n帧作为主帧进行编码和解码时，运动图像的重放速度可以是正常速度，与上述在各实施例中的正常速度重放模式类似(包括第一实施例中在变速重放模式下的正常速度重放期间)。
此外，在记录模式进行记录的同时，当对运动图像进行编码时I图像的插入时间间隔为0.5秒(每隔120帧)，但是该插入时间间隔可以是任何秒数并且可以是不规律的。而且，I图像不仅可以存在于在正常速度重放模式下的主帧中而且可以存在于在正常速度重放模式下不显示的子帧中。
而且，包括重放模式以使得可以选择除了正常速度重放模式之外的重放模式，但是也可以包括重放模式以使得运动图像重放仅在正常速度重放模式下执行。
换句话说，在第一到第三实施例中，对于在包括CODEC5以仅在记录运动图像时生成I图像和P图像的情况进行了描述。然而，并不限于此，也可包括双向预测电路而且也可包括在编码时生成B图像(双向预测编码图像)。在这种情况下，在记录运动图像时，可以在对应于子帧(在图6A、11A和18中的“p”帧)的帧位置中插入B图像。然而，在这种情况下，为了生成B图像需要双向图像数据，而且需要处理的信息和处理量会变成双倍，并且由于一系列输入(图像获取)和输出(显示)顺序以及编码和解码顺序不同，因此处理变得复杂。
此外，在第一到第三实施例中，在对拍得的运动图像进行编码时，对将一系列帧图像编码为I图像和P图像的情况进行了描述。然而，在本发明中，当运动图像以其它方法进行编码时，可以应用使用帧间预测编码技术的方法，在其它帧是基准图像例如P图像(或B图像)时，该方法将帧的图像数据编码为不同的信息。例如，I图像(或B图像)以非运动补偿帧间预测编码技术进行编码。换句话说，可以是，其中仅生成差分信息的编码数据，而不包括运动矢量(MV)，并且将每一帧转换为中间数据而不是被编码的DCT系数。
而且，运动图像记录设备也描述为不仅记录拍取的运动图像而且具有播放所记录的图像数据的功能，但本发明可以应用到不具有重放功能的运动图像记录设备。
而且，如果运动图像被编码，本发明并不限于通过图像拍取获得的运动图像。例如，本发明可以应用于各种设备，该设备具有用于对从其它设备输入的运动图像进行编码的配置，例如，通过广播传输的以及已经记录在存储器中的运动图像。
此外，在第一和第二实施例中，在使用基准图像编码主帧中的基准帧是最初主帧，但是也可以使用该主帧之前的帧。例如，具有帧号码(i)的主帧的基准帧，在“8”之后，可以是八帧之前的主帧。而且，多个主帧，特别地在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可以将主帧编码为B图像。
此外，在第三实施例中，在使用基准图像编码主帧时基准帧是最初二倍快速帧—即要以二倍快速重放模式显示的帧(主帧)—但是也可以使用在此之前的二倍快速帧。而且，多个二倍快速帧，特别地在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可以将主帧编码为B图像。
此外，在第一实施例中，在使用基准图像编码子帧中的基准帧为最初帧，但是也可以使用之前或之后的帧。而且，多个帧，特别是在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可以将子帧编码为B图像。
此外，在第二和第三实施例中，在使用基准图像编码子帧中的基准图像是最初主帧，但是也可以使用之前或之后的帧。而且，多个主帧，特别地在时间轴上相关帧之前和之后的帧可以用作基准帧。换句话说，可以将主帧编码为B图像。
此外，在第一和第二实施例中，与在第三实施例中相同，使用MP4格式的运动图像文件格式以使得用于所有帧重放的索引信息101和用于正常速度重放的索引信息102增加到编码数据，可以在播放(解码)运动图像时有选择地使用用于所有帧重放的索引信息101和用于正常速度重放的索引信息102来执行重放动作。
此外，还是对于第三实施例，与在第二实施例中相同，在播放(解码)运动图像的同时，可以使用图像参数(片类型、nal_ref_idc、frame_num、POC和基准图像表示信息)而不是使用用于所有帧重放的索引信息101和用于正常速度重放的索引信息102来执行重放动作。
在不偏离本发明的精神和范围的情况下，可以对本发明做出各种实施例和变化。上述实施例意欲解释本发明，并不限制本发明的范围。本发明的范围通过所附的权利要求书而不是实施例表示。在本发明的权利要求书及其等同物范围内的各种修改被认为是在本发明的范围内。
工业实用性
本发明可以用作对运动图像进行编码的运动图像编码设备或对编码的运动图像进行解码的运动图像解码设备。例如，本发明可以应用于运动图像记录和重放设备，其对编码的运动图像进行解码以进行重放。

Claims (12)

1.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，在进行帧间预测编码时，所述编码部件仅使用在先前侧上的帧图像作为基准图像，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
2.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，根据在对运动图像进行编码时设置的操作模式类型，通过所述编码部件以帧中除所述指定图像之外的图像作为目标，所述编码控制部件控制帧间预测编码的存在/不存在，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
3.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中所述运动图像编码设备还包括基准图像增加部件，用于向包括已经通过所述编码部件进行编码的一系列编码图像的运动图像数据增加基准图像表示信息，所述基准图像表示信息用于表示在解码所述指定图像时作为基准图像的其它指定图像，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
4.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，所述运动图像编码设备还包括解码目标信息增加部件，用于向包括已经通过所述编码部件进行编码的一系列编码图像的运动图像数据增加解码目标信息，所述解码目标信息表示仅所述指定图像作为解码目标图像，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
5.根据权利要求4所述的运动图像编码设备，其中所述解码目标信息增加部件增加索引信息，所述索引信息表示仅由所述指定图像中的一部分指定图像构成的一系列图像作为所述解码目标信息。
6.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，所述运动图像编码设备还包括索引信息增加部件，用于向包括已经通过所述编码部件进行编码的一系列图像的运动图像数据增加第一索引信息和第二索引信息作为表示将要成为解码目标的一系列图像的索引信息，所述第一索引信息表示已经通过所述编码部件进行编码的全部帧图像，并且所述第二索引信息表示仅由所述指定图像构成的一系列图像，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
7.一种运动图像编码设备，包括：
编码部件，用于输入包括以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理而对各个帧图像进行编码，以及
编码控制部件，用于在通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中所述编码部件包括：
基准图像存储部件，用于暂时存储所述基准图像；以及
与所述预定帧间隔的数目相对应的多个独立编码部件，其中经由使用暂时存储在所述基准图像存储部件中的相同基准图像的同步编码处理对多个连续帧图像进行独立编码，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
8.一种用于记录已经被捕获的运动图像的运动图像记录设备，包括：
图像捕获部件，用于拍取运动图像，
编码部件，用于输入包括通过所述图像捕获部件以预定图像捕获帧率捕获的一系列帧图像的运动图像，并且用于经由包括使用其它帧图像作为基准图像的帧间预测编码的编码处理对各个帧图像进行编码，
记录部件，用于记录包括已经通过所述编码部件进行编码的所述运动图像的运动图像数据，和
编码控制部件，用于当通过所述编码部件对指定图像进行帧间预测编码时，将所述基准图像限于其它指定图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示记录在记录部件中的所述运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，所述运动图像记录设备进一步包括记录控制部件，用于根据在记录运动图像时设置的记录模式类型，相对于所述记录部件，控制除所述指定图像之外的未指定图像的编码图像的所述记录的存在/不存在，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
9.一种用于对运动图像数据进行解码的运动图像解码设备，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码，所述运动图像解码设备包括：
解码部件，用于输入编码运动图像并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的解码目标仅限于指定图像并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，在对所述指定图像进行帧间预测解码时，所述解码控制部件使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像，所述不同于所述解码目标的其它指定图像在已经增加到所述运动图像数据的基准图像表示信息中表示，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
10.一种用于对运动图像数据进行解码的运动图像解码设备，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码，所述运动图像解码设备包括：
解码部件，用于输入编码运动图像并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的解码目标仅限于指定图像并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，所述解码控制部件将通过所述解码部件的所述运动图像数据的解码目标仅限于在已经增加到所述运动图像数据的解码目标信息中表示的所述指定图像，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
11.根据权利要求10所述的运动图像解码设备，其中，所述解码控制部件将通过所述解码部件的所述运动图像数据的所述解码目标仅限于在所述指定图像中在已经增加到所述运动图像数据的所述解码目标信息中表示的所述指定图像。
12.一种用于对运动图像数据进行解码的运动图像解码设备，在所述运动图像数据中包括以预定图像捕获帧率捕获的一系列帧图像的运动图像已经被编码，所述运动图像解码设备包括：
解码部件，用于输入编码运动图像并且经由包括使用其它帧图像作为基准图像的帧间预测解码的解码处理对所述编码运动图像进行解码，和
解码控制部件，用于将通过所述解码部件的所述运动图像数据的解码目标仅限于指定图像并且用于在进行帧间预测解码时使所述解码部件使用不同于所述解码目标的其它指定图像作为基准图像，其中，所述指定图像是每隔预定帧间隔的、并且在以低于图像捕获帧率的预定显示帧率显示运动图像的情况下将成为显示目标的图像，所述预定帧间隔通过所述图像捕获帧率和所述显示帧率确定，
其中，在通过所述解码部件的解码处理时，通过有选择地使用初始增加到所述运动图像数据的第一索引信息和第二索引信息中的任何一个，当操作模式是第一重放模式时，所述解码控制部件使所述解码部件以全部帧为目标执行解码处理，并且当所述操作模式是第二重放模式时，所述解码控制部件使所述解码部件仅以指定图像为目标执行解码处理，其中所述第一索引信息和第二索引信息中的每一个表示与由所述第一索引信息和所述第二索引信息中的另一个表示的图像不同的图像作为解码目标，
其中，所述图像捕获帧率是单位时间从成像单元输出的帧图像的数量，以及，所述显示帧率是单位时间输出到显示单元的帧图像的数量。
CN200780022237.8A 2006-06-16 2007-06-18 运动图像编解码设备及方法、记录设备与程序和数据结构 Active CN101467460B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP166778/2006 2006-06-16
JP2006166778 2006-06-16
JP108794/2007 2007-04-18
JP2007108794A JP5248802B2 (ja) 2006-06-16 2007-04-18 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
PCT/JP2007/062638 WO2007145381A2 (en) 2006-06-16 2007-06-18 Motion picture encoding device, motion picture encoding method, motion picture decoding device, motion picture decoding method, motion picture recording device, program and data structure

Publications (2)

Publication Number Publication Date
CN101467460A CN101467460A (zh) 2009-06-24
CN101467460B true CN101467460B (zh) 2016-03-23

Family

ID=38832219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780022237.8A Active CN101467460B (zh) 2006-06-16 2007-06-18 运动图像编解码设备及方法、记录设备与程序和数据结构

Country Status (7)

Country Link
US (1) US8699569B2 (zh)
EP (1) EP2033446A2 (zh)
JP (1) JP5248802B2 (zh)
KR (1) KR100988210B1 (zh)
CN (1) CN101467460B (zh)
TW (1) TWI368186B (zh)
WO (1) WO2007145381A2 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4678015B2 (ja) 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
US8526489B2 (en) * 2007-09-14 2013-09-03 General Instrument Corporation Personal video recorder
WO2009045683A1 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Video compression and tranmission techniques
US9407925B2 (en) * 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5395621B2 (ja) * 2009-11-05 2014-01-22 株式会社メガチップス 画像生成方法および画像再生方法
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP5054175B2 (ja) * 2010-09-08 2012-10-24 キヤノン株式会社 撮像装置およびその制御方法、撮影制御装置、撮影制御方法
JP5170264B2 (ja) * 2011-01-18 2013-03-27 オンキヨー株式会社 映像処理装置及び映像処理プログラム
WO2013000058A1 (en) * 2011-06-29 2013-01-03 Nortel Networks Limited Method and apparatus for encoding video to play at multiple speeds
TWI447670B (zh) * 2011-07-11 2014-08-01 Aspeed Technology Inc 具有高速傳輸功能之基板管理控制器及其傳輸方法
US9635374B2 (en) * 2011-08-01 2017-04-25 Apple Inc. Systems and methods for coding video data using switchable encoders and decoders
JP6012149B2 (ja) * 2011-08-25 2016-10-25 キヤノン株式会社 通信装置及びその制御方法、並びにプログラム
EP2805506A4 (en) 2012-01-20 2015-09-16 Nokia Technologies Oy VIDEO ENCODING METHOD AND APPARATUS, COMPUTER PROGRAM PRODUCT, CORRESPONDING SYSTEM AND MODULE
JP6000763B2 (ja) * 2012-08-31 2016-10-05 キヤノン株式会社 画像処理装置及び画像処理方法
TWI474201B (zh) * 2012-10-17 2015-02-21 Inst Information Industry Construction system scene fragment, method and recording medium
WO2014163464A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 현재 영상이 참조 영상이 되는지 여부를 결정하는 방법과 그 장치
KR20170013083A (ko) * 2015-07-27 2017-02-06 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102602690B1 (ko) * 2015-10-08 2023-11-16 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
CN106416247A (zh) * 2015-12-25 2017-02-15 王晓光 视频软件的编码方法及系统
US9996894B2 (en) 2016-05-18 2018-06-12 Realtek Singapore Pte Ltd Image processing device, video subsystem and video pipeline
US9967465B2 (en) 2016-05-18 2018-05-08 Realtek Singapore Pte Ltd Image frame processing method
CN112437345B (zh) * 2020-11-20 2023-03-14 北京字跳网络技术有限公司 视频倍速播放方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0763944A2 (en) * 1995-09-18 1997-03-19 Oki Electric Industry Company, Limited Video coder, decoder and transmission system
US6591014B1 (en) * 1998-07-13 2003-07-08 Nec Corporation Apparatus for coding moving picture
CN1767652A (zh) * 2005-11-08 2006-05-03 上海广电（集团）有限公司中央研究院 码流转换中编码速度和视频质量的自适应联合控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2050752B (en) * 1979-06-07 1984-05-31 Japan Broadcasting Corp Motion compensated interframe coding system
US5949948A (en) * 1995-11-20 1999-09-07 Imedia Corporation Method and apparatus for implementing playback features for compressed video data
US6144698A (en) * 1996-10-31 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Digital video decoder and method of decoding a digital video signal
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
US6709387B1 (en) * 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
JP2002320203A (ja) * 2001-04-19 2002-10-31 Matsushita Electric Ind Co Ltd 映像信号記録装置および映像信号再生装置
EP1401214A4 (en) * 2001-10-17 2006-08-02 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING IMAGES
US20030112366A1 (en) * 2001-11-21 2003-06-19 General Instrument Corporation Apparatus and methods for improving video quality delivered to a display device
JP2003179931A (ja) 2001-12-10 2003-06-27 Akuseru:Kk 動画符号化装置及びその方法並びに動画符号化プログラム
JP2004040518A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 撮像記録装置と再生装置
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP4140709B2 (ja) * 2003-02-05 2008-08-27 松下電器産業株式会社 画像信号再生装置および画像信号再生方法
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7991053B2 (en) * 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
JP2006033393A (ja) * 2004-07-15 2006-02-02 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP4416796B2 (ja) * 2004-09-13 2010-02-17 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム
JP4366277B2 (ja) * 2004-09-21 2009-11-18 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0763944A2 (en) * 1995-09-18 1997-03-19 Oki Electric Industry Company, Limited Video coder, decoder and transmission system
US6591014B1 (en) * 1998-07-13 2003-07-08 Nec Corporation Apparatus for coding moving picture
CN1767652A (zh) * 2005-11-08 2006-05-03 上海广电（集团）有限公司中央研究院 码流转换中编码速度和视频质量的自适应联合控制方法

Also Published As

Publication number Publication date
JP5248802B2 (ja) 2013-07-31
CN101467460A (zh) 2009-06-24
WO2007145381A3 (en) 2008-04-03
TW200813893A (en) 2008-03-16
US20070291841A1 (en) 2007-12-20
JP2008022532A (ja) 2008-01-31
EP2033446A2 (en) 2009-03-11
KR20090017501A (ko) 2009-02-18
TWI368186B (en) 2012-07-11
WO2007145381A2 (en) 2007-12-21
KR100988210B1 (ko) 2010-10-18
US8699569B2 (en) 2014-04-15

Similar Documents

Publication Publication Date Title
CN101467460B (zh) 运动图像编解码设备及方法、记录设备与程序和数据结构
JP6780080B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN103220531B (zh) 图像信息解码设备和方法、图像信号编码设备和方法
CN101895765B (zh) 代码转换器、记录装置和代码转换方法
WO2006027880A1 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
JP2001258031A (ja) 信号処理方法、画像符号化装置及び画像復号装置
JP4284370B2 (ja) ビデオサーバ及びビデオ編集システム
JP4771986B2 (ja) 画像符号化装置およびそれを用いた撮像装置
JP3496604B2 (ja) 圧縮画像データ再生装置および圧縮画像データ再生方法
JP4850111B2 (ja) 画像表示装置およびそれを搭載した撮像装置
KR100676723B1 (ko) 영상 재생 장치
KR20100091614A (ko) 키프레임 정지영상 저장 및 재생 장치 및 그 동작 방법
JP2008283276A (ja) 撮像装置
CN1487738B (zh) 数字视频信号的记录和重放设备及其记录和重放的方法
JP2007109329A (ja) 画像データ記録装置、画像データ再生装置、画像データ記録方法、プログラム及び記録媒体
JP2009071365A (ja) 動画像復号装置およびその方法
JP3663559B2 (ja) リアルタイム逆方向再生用動画像符号化方式
CN100563321C (zh) 图像处理装置
US20040240552A1 (en) Moving picture processing apparatus
JP2005159832A (ja) 信号処理装置
KR100299609B1 (ko) 엠펙디코더및제어방법
WO1997004598A1 (en) Device for decoding encoded video signal and storing and decoding device using it
JPH08130715A (ja) 画像再生装置
JP5423166B2 (ja) 映像再生装置、映像再生プログラム、映像再生方法
JP2001069464A (ja) 映像信号再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC CORP.

Free format text: FORMER OWNER: RENESAS TECHNOLOGY CORP.

Effective date: 20140708

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: CASIO COMPUTER Co.,Ltd.

Applicant after: Renesas Electronics Corp.

Address before: Tokyo, Japan

Applicant before: CASIO COMPUTER Co.,Ltd.

Applicant before: NEC ELECTRONICS Corp.

TA01 Transfer of patent application right

Effective date of registration: 20140708

Address after: Tokyo, Japan

Applicant after: CASIO COMPUTER Co.,Ltd.

Applicant after: NEC ELECTRONICS Corp.

Address before: Tokyo, Japan

Applicant before: CASIO COMPUTER Co.,Ltd.

Applicant before: Renesas Technology Corp.

C14 Grant of patent or utility model
GR01 Patent grant