CN101677385B - 运动图像再现设备和运动图像再现方法 - Google Patents

运动图像再现设备和运动图像再现方法 Download PDF

Info

Publication number
CN101677385B
CN101677385B CN2009101718846A CN200910171884A CN101677385B CN 101677385 B CN101677385 B CN 101677385B CN 2009101718846 A CN2009101718846 A CN 2009101718846A CN 200910171884 A CN200910171884 A CN 200910171884A CN 101677385 B CN101677385 B CN 101677385B
Authority
CN
China
Prior art keywords
frame
image
data
unit
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101718846A
Other languages
English (en)
Other versions
CN101677385A (zh
Inventor
池田平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101677385A publication Critical patent/CN101677385A/zh
Application granted granted Critical
Publication of CN101677385B publication Critical patent/CN101677385B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种运动图像再现设备和运动图像再现方法。该运动图像再现设备基于对动画的分析来判断动画的一帧是否具有与前一帧的图像相同的图像，将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元，使由解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示，并且使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据不被输入至解压缩单元。

Description

运动图像再现设备和运动图像再现方法
技术领域
本发明涉及用于对数字压缩后的运动图像进行解压缩以再现解压缩后的运动图像的运动图像再现设备、运动图像再现方法、程序和记录介质。
背景技术
近年来，随着用于对数字视频进行高效编码和压缩的技术的发展，不仅个人计算机(PC)而且数字照相机和移动电话都能够对编码和压缩后的数字视频进行解压缩和解码以再现数字视频。
在数字视频用的普通编码和压缩方法中，例如在H.264和运动图像专家组(Moving Picture Experts Group，MPEG)中，将构成视频的每个图像(下文中称为帧)分割成小的矩形块(下文中称为宏块(macroblock，MB))。将空间相关或时间相关用于每个MB以生成预测数据。然后，在对从与MB有关的图像数据和预测数据之间的差异的正交变换所得的变换系数(差异系数)进行量化(quantization)和扫描转换之后，进行可变长度编码，并且空间冗余度降低以实现较高的编码效率。
然而，为了再现经过编码和压缩的这种数字视频，需要进行大量计算并进行存储器传送。因此，从处理能力和电力消耗的观点来看，经常将对分辨率、帧频和比特率等的限制应用于可再现的视频数据。
在这种情况下，提出了能够降低存储器传送量并降低电力消耗的运动图像再现设备。例如，日本特开2000-115777号公报和日本特开2007-67526号公报公开了以下技术：如果对输入的比特流进行解码，并且基于输出的编码信息而进行解压缩的MB满足特定条件，则不更新预测帧存储器和/或显示帧存储器，以降低存储器传送量。
另外，近年来，可以在记录运动图像期间拍摄静止图像。在拍摄运动图像期间记录静止图像时，可以创建插入了黑视图像(blackout image)和/或静止图像的替代帧的运动图像文件，使得在由于拍摄静止图像中断了运动图像的记录的情况下，该运动图像文件不会因中间夹杂了静止图像的拍摄而被分割成两部分。公开了能够降低运动图像数据的数据大小以减轻对记录介质进行写入的负荷的摄像设备(日本特开2008-053415号公报(日本特开2008-301475号公报))。在日本特开2008-053415号公报中公开的摄像设备生成图6所示的运动图像数据。参考图6，将在由于拍摄静止图像中断了运动图像的记录的情况下所插入的多个帧的黑视图像和多个帧的静止图像替代图像(定格图像(stop motion image))表示为跳过的宏块图像(下文中称为SMB图像)。在每个SMB图像中，全部的MB都是SMB。SMB图像是帧间压缩图像的一种，并且表示与帧之间的差异有关的信息。例如，SMB图像不具有运动矢量。SMB图像是即使在视频图形阵列(Video Graphics Array，VGA)中也仅具有几十字节等级的非常小的数据大小的图像数据。SMB图像表示显示与在前一帧中所显示的图像完全相同的图像。
然而，在再现图6所示的运动图像数据时，为了再现SMB图像，针对每一MB需要参考前一帧。因此，存储器传送量极大地增加，从而引起处理负荷和电力消耗的增大。因此，期望降低存储器传送量和电力消耗。
发明内容
本发明提供了一种能够降低存储器传送量和电力消耗的运动图像再现设备。
根据本发明的典型实施例，一种运动图像再现设备，包括：属性分析单元，用于分析动画的属性；判断单元，用于基于由所述属性分析单元进行的分析，判断所述动画的一帧是否具有与前一帧的图像相同的图像；输入单元，用于将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元；显示控制单元，用于使由所述解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示；以及控制单元，用于使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据在正常再现期间不被输入至所述解压缩单元。
根据本发明的另一典型实施例，一种运动图像再现方法，包括以下步骤：属性分析步骤，用于分析动画的属性；基于在所述属性分析步骤中进行的分析，判断所述动画的一帧是否具有与前一帧的图像相同的图像；将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元；使由所述解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示；以及使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据在正常再现期间不被输入至所述解压缩单元。
根据本发明的又一典型实施例，计算机可读记录介质存储使计算机执行计算机可执行指令的程序。该程序包括：用于分析动画的属性的计算机可执行指令；用于基于分析来判断所述动画的一帧是否具有与前一帧的图像相同的图像的计算机可执行指令；用于将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元的计算机可执行指令；用于使由所述解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示的计算机可执行指令；以及用于使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据不被输入至所述解压缩单元的计算机可执行指令。
根据本发明，可以降低在再现SMB图像时的存储器传送量和电力消耗。
本发明内容未必描述了全部必要特征，本发明还可以是这些所描述的特征的子组合。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显，其中，在整个附图中，相同的附图标记表示相同或类似的部件。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例，并和说明书一起用来解释本发明的原理。
图1A是根据本发明典型实施例的运动图像再现设备的外观图，图1B是示出根据本发明典型实施例的运动图像再现设备的结构的示例的框图。
图2是示出根据本发明典型实施例的通过内部总线相互连接的图像解压缩电路和DRAM的结构的示例的框图。
图3是示出根据本发明典型实施例的再现处理的示例的流程图。
图4是示出根据本发明典型实施例的用于显示再现开始帧的处理的示例的流程图。
图5是示出根据本发明典型实施例的解压缩处理的示例的流程图。
图6示出相关技术中的运动图像数据的结构的示例。
具体实施方式
以下将参考附图来详细说明本发明的典型实施例。
注意，以下典型实施例仅是用于实现本发明的例子，并且可以根据应用了本发明的设备的个体结构和各种条件进行适当变形或改变。因而，本发明决不局限于以下典型实施例。
图1A是根据本发明典型实施例的运动图像再现设备10的外观图。参考图1A，显示单元13显示图像和/或各种信息。连接器112用于将运动图像再现设备10与连接线缆相连接。操作单元14包括接收来自用户的各种操作的各种开关和按钮以及触摸面板等的操作构件。记录介质20是例如存储卡或硬盘。将记录介质20安装到记录介质插槽201中。安装在记录介质插槽201中的记录介质20能够与运动图像再现设备10进行通信。记录介质插槽201具有盖203。
图1B是示出根据本发明典型实施例的运动图像再现设备10的结构的示例的框图。参考图1B，运动图像再现设备10包括通过内部总线19相互连接的中央处理单元(CPU)11、只读存储器(ROM)12、显示单元13、操作单元14、动态随机存取存储器(DRAM)15、记录介质接口16、图像解压缩电路17、图像处理电路18和摄像单元21。
CPU 11用作控制以下所述的各处理单元和数据流的控制单元。ROM 12存储与CPU 11的处理过程有关的程序(固件)和各种信息。
显示单元13是例如彩色液晶显示器。显示单元13用于显示所再现的图像和图形用户界面。可以通过连接器112(图1B中未示出)或通过无线通信将显示单元13中所显示的视频提供至电视机等的外部显示设备，从而在外部显示设备中显示该视频。
操作单元14包括接收来自用户的指令的如各种按钮、十字光标、控制轮和拨盘开关等的操作构件。
使用DRAM 15作为CPU 11的工作区域。DRAM 15具有展开(extract)各种程序的功能以及临时存储图像数据、显示数据和对图像进行解码所得的数据等的缓冲器功能。通常通过存储器控制器(未示出)将数据写入DRAM 15中以及从DRAM 15读出该数据。尽管图1B中未示出，在各处理单元和DRAM 15之间设置有直接存储存取(direct memory access，DMA)控制器。利用DMA控制器，CPU在读取/写入操作期间开始传送并且在传送正在进行时进行其它操作，而不是被传送完全占据。
记录介质接口16是这样一种接口：通过该接口，将图像数据写入致密闪存(CF)卡或安全数字(SD)卡等的记录介质中以及从该记录介质读出图像数据。记录介质20是CF卡或SD卡等的可移除记录介质。记录介质20可以是支持随机存取的任意的记录介质。例如，记录介质20可以是光盘(数字多功能盘(DVD))或硬盘。
图像解压缩电路17将以例如H.264格式压缩后的图像数据解压缩成YUV数据。以下将参考图2来说明图像解压缩电路17。
图像处理电路18将在图像解压缩电路17中解压缩后的YUV数据调整成任意大小，转动该YUV数据，并且/或者对该YUV数据进行颜色转换。
摄像单元21包括镜头、光圈、快门以及电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等的摄像装置。摄像单元21拍摄被摄体的图像。
图2是示出通过内部总线19相互连接的图像解压缩电路17和DRAM 15的结构的示例的框图。该结构包括：图像解压缩电路17，其对输入比特流进行解压缩和解码以输出图像数据；以及DRAM 15，其将解压缩后的图像数据存储为预测数据。图像解压缩电路17包括可变长度解码器171、扫描转换器172、逆量化器173、逆离散余弦变换器174、运动补偿图像再现器175和存储器控制器176。DRAM 15包括存储有输入比特流的缓冲存储器151、预测帧存储器152和显示帧存储器153。
预测帧存储器152和显示帧存储器153各自具有用于存储分别与多个帧相对应的解压缩后的图像和显示数据的容量。对预测帧存储器152和显示帧存储器153进行控制，以使得正用于解压缩的预测帧存储器和数据正被显示的显示帧存储器没有覆盖。
可变长度解码器171对从缓冲存储器151中所存储的输入比特流读出的并被输入至图像解压缩电路17中的与一帧相对应的比特流进行可变长度解码。另外，可变长度解码器171将表示例如从可变长度解码所得的运动矢量和变换系数的信息提供至扫描转换器172和运动补偿图像再现器175。在从可变长度解码器171输出的变换系数中，按顺序排列直流(DC)分量、低频分量和高频分量。由于没有对全部的比特流进行可变长度编码，因此可变长度解码器171还对定长码进行解码。
扫描转换器172将从可变长度解码器171提供的变换系数的顺序转换成光栅扫描顺序，并将从扫描转换所得的变换系数提供至逆量化器173。
逆量化器173对从扫描转换器172提供的并经过了扫描转换的变换系数进行逆量化，并将逆量化后的变换系数提供至逆离散余弦变换器174。
逆离散余弦变换器174对从逆量化器173提供的并经过了逆量化的变换系数进行逆离散余弦变换，并将从逆离散余弦变换所得的变换系数提供至运动补偿图像再现器175。
运动补偿图像再现器175基于从可变长度解码器171提供的表示运动矢量等的信息(编码信息)，通过存储器控制器176读出预测帧存储器152中所存储的解压缩后的图像(预测数据)。运动补偿图像再现器175将该预测数据与从逆离散余弦变换器174提供的并经过了逆离散余弦变换的变换系数相加，以生成解压缩后的数据。通过存储器控制器176将所生成的解压缩后的数据写入预测帧存储器152的适当地址中，使得解压缩后的数据不覆盖读出的预测数据，并且向外部输出该解压缩后的数据。将向外部输出的解压缩后的图像数据处理成显示大小和格式，并将处理后的数据写入显示帧存储器153中。
图3是示出根据本发明典型实施例的运动图像再现设备10中的再现处理的示例的流程图。由CPU 11来实现再现处理中的各步骤，其中CPU 11在DRAM 15中展开例如ROM 12中所存储的程序，并且执行所展开的程序。
当通过操作单元14指示开始再现运动图像时，在步骤S101中，CPU 11读出记录介质20中所记录的运动图像文件的报头，并将所读出的运动图像文件的报头写入DRAM 15中。运动图像文件的报头具有记录在其上的如记录时间、文件大小、帧频和各帧的数据大小等的属性信息。代替将运动图像文件中的属性信息记录在该运动图像文件的报头中，还可以将该属性信息记录在缩略图文件或其它文件中。在这种情况下，代替从运动图像文件的报头中读出包括属性信息的部分，CPU 11从记录有与运动图像文件有关的属性信息的文件中读出该部分，并将所读出的部分写入DRAM 15中。
在步骤S102中，CPU 11使图像解压缩电路17对开始再现的帧(下文中称为再现开始帧)进行解压缩，并且使图像处理电路18将再现开始帧调整为显示大小，以将该再现开始帧写入DRAM 15中的显示帧存储器153中。在显示单元13中显示该再现开始帧。以下将参考图4来说明用于显示再现开始帧的处理。
在步骤S102中显示了再现开始帧之后，然后在步骤S103中，CPU 11判断自开始前一计时器测量起是否经过了与一帧相对应的时间。如果CPU 11判断为自开始前一计时器测量起没有经过与一帧相对应的时间(步骤S103中为“否”)，则处理重复步骤S103以进入等待状态，直到经过了与一帧相对应的时间为止。如果CPU 11判断为自开始前一计时器测量起经过了与一帧相对应的时间(步骤S103中为“是”)，则处理进入步骤S104。如果帧频是30帧每秒(fps)，则与一帧相对应的时间是约33ms。
在步骤S104中，CPU 11使计时器开始测量。如果在步骤S104之前已经开始计时器测量，则CPU 11清除该测量，并且再次开始计时器测量。
在步骤S105中，CPU 11从记录介质20中所记录的运动图像文件中读出写入了DRAM 15的最后位置起的预定大小的运动图像数据，并将所读出的运动图像数据写入DRAM 15中的缓冲存储器151中。
在步骤S106中，CPU 11判断要解压缩的帧n是否具有预定的数据大小。在步骤S106中判断作为动画的一帧的帧n中的全部MB是否都是SMB。由于作为SMB的MB具有特定数据大小，因此全部MB都是SMB的SMB图像具有根据记录像素数而唯一限定的固定数据大小。因此，如果帧n具有固定数据大小(预定的数据大小)，则将帧n判断为是SMB图像。通过分析在步骤S101中读出的运动图像文件中的属性信息来获取帧n的数据大小(属性分析)。
如果CPU 11判断为帧n不具有预定的数据大小，即帧n中不是全部MB都是SMB(步骤S106中为“否”)，则处理进入步骤S107。在步骤S107中，CPU 11将与帧n有关的压缩后的帧数据输入至对该压缩后的帧数据进行解压缩的图像解压缩电路17，并且CPU 11使图像处理电路18将该帧数据调整至显示大小。CPU 11进行解压缩处理，以将帧数据写入DRAM 15中的显示帧存储器153中。以下将参考图5来说明步骤S107中的解压缩处理。
在步骤S108中，CPU 11更新显示以将在步骤S107中解压缩后的帧n显示在显示单元13中(显示控制)，并且处理进入步骤S109。
如果CPU 11判断为帧n具有预定的数据大小，即帧n中的全部MB都是SMB(步骤S106中为“是”)，则处理跳过步骤S107中的解压缩和步骤S108中的显示更新，并且进入步骤S109。具体地，不对SMB图像进行由图像解压缩电路17进行的可变长度解码、扫描转换、逆量化、逆离散余弦变换和运动补偿图像再现，并且继续显示在前一帧中已显示的图像。
在步骤S109中，CPU 11判断帧n是否是正在再现的运动图像文件的最末帧Z。如果n＝Z，则由于完成了直到最末帧的再现，因此再现处理终止。如果n≠Z，则由于没有完成直到最末帧的再现，因此处理进入步骤S110。在步骤S110中，CPU 11设置n＝n+1。然后，处理返回步骤S103以处理下一帧。
如上所述，在本实施例中的运动图像的再现处理中，不对与帧有关的压缩后的帧数据进行解压缩，而基于属性信息判断要再现的帧是否是SMB图像。如果要再现的帧是SMB图像，则不将与帧有关的压缩后的帧数据提供至图像解压缩电路17，并且不进行解压缩和显示更新。由于SMB图像与在前一帧中所显示的图像完全相同，因此在对作为SMB图像的压缩后的帧数据不进行处理或者几乎不进行处理的状态下继续前一帧的显示，以将前一帧的图像作为当前帧的图像而呈现。因此，可以极大减少存储器传送量和电力消耗。
尽管在判断帧是否是SMB图像时使用了要再现的帧的数据大小，但判断方法不限于使用数据大小，只要在不对与帧有关的压缩后的帧数据进行解压缩的情况下通过分析属性信息能够判断要再现的帧是否是SMB图像即可。例如，如果作为SMB图像的不同的帧具有相同的记录像素数，则它们具有相同的校验和(checksum)或哈希值。因此，可以在不对与帧有关的压缩后的帧数据进行解压缩的情况下通过分析属性信息来获取要再现的帧的校验和或哈希值，并且如果校验和或哈希值等于预定值，则可以判断为该帧是SMB图像。可选地，例如在记录运动图像时，可以将作为SMB图像的帧的帧编号作为属性信息而记录，并且可以通过参考帧编号判断为该帧是SMB图像。
在快进或快退再现等的特殊再现(不是正常再现)时，即使要再现的帧是SMB图像，也未必使用前一帧中已显示的图像。因此，可以将压缩后的帧数据提供至图像解压缩电路17，以进行解压缩和显示更新。
图4是示出图3中的步骤S102中用于显示再现开始帧的处理的示例的流程图。由CPU 11来实现用于显示再现开始帧的处理中的各步骤，其中CPU 11在DRAM 15中展开例如ROM 12中所存储的程序，并且执行所展开的程序。
参考图4，在步骤S201中，CPU 11判断再现开始帧X是否是I帧。再现开始帧X可以是在前一再现时最后显示的帧的下一帧，或者可以是运动图像文件的第一帧。I帧表示在不使用帧内预测的情况下被编码的内帧。如果CPU 11判断为再现开始帧X是I帧(步骤S201中为“是”)，则处理进入步骤S202。如果CPU11判断为再现开始帧X不是I帧(步骤S201中为“否”)，则处理进入步骤S203。
在步骤S202中，CPU 11从记录介质20上所记录的运动图像文件中读出自再现开始帧X起与预定时间相对应的运动图像数据，并将所读出的运动图像数据写入DRAM 15中的缓冲存储器151中。在步骤S204中，CPU 11将要解压缩的帧n设置为再现开始帧X，并且处理进入步骤S206。
在步骤S203中，CPU 11从记录介质20上所记录的运动图像文件中读出从紧挨在再现开始帧X之前的I帧Y到再现开始帧X的运动图像数据以及自再现开始帧X起与预定时间相对应的运动图像数据，并将所读出的运动图像数据写入DRAM 15中的缓冲存储器151中。这是因为，如果再现开始帧X不是I帧，则仅当从前一I帧Y开始顺次进行解压缩时才能够对再现开始帧X进行解压缩。在步骤S205中，CPU 11将要解压缩的帧n设置为紧挨在再现开始帧X之前的I帧Y，并且处理进入步骤S206。
在步骤S206中，CPU 11判断要解压缩的帧n是否具有预定的数据大小。与在图3中的步骤S106中一样，在步骤S206中判断帧n中的全部MB是否都是SMB。
如果CPU 11判断为帧n不具有预定的数据大小，即帧n中不是全部MB都是SMB(步骤S206中为“否”)，则处理进入步骤S207。在步骤S207中，CPU 11将与帧n有关的压缩后的帧数据输入至对该压缩后的帧数据进行解压缩的图像解压缩电路17，并且处理进入步骤S208。步骤S207中的解压缩处理与图3中的步骤S107类似，并且以下将参考图5进行说明。
如果CPU 11判断为帧n具有预定的数据大小，即帧n中的全部MB都是SMB(步骤S206中为“是”)，则处理跳过步骤S207中的解压缩并且进入步骤S208。
在步骤S208中，CPU 11设置n＝n+1。在步骤S209中，CPU判断是否n＞X，即判断是否完成了直到再现开始帧X的解压缩。
如果CPU 11判断为n≤X，即没有完成直到再现开始帧X的解压缩(步骤S209中为“否”)，则处理返回步骤S206，以处理下一帧。
如果CPU 11判断为n＞X，即完成了直到再现开始帧X的解压缩(步骤S209中为“是”)，则在步骤S210中，CPU 11在显示单元13中显示在步骤S207中解压缩后的帧n，以开始显示。
如上所述，同样当进行了直到再现开始帧X的解压缩时，不将比特流提供至图像解压缩电路17，并且如果要解压缩的帧是SMB图像，则不进行解压缩，由此降低了存储器传送量和电力消耗。
图5是示出图3中的步骤S107中和图4中的步骤S207中的解压缩处理的示例的流程图。由CPU 11来实现解压缩处理中的各步骤，其中CPU 11在DRAM 15中展开例如ROM 12中所存储的程序，并且执行所展开的程序以控制图像解压缩电路17和图像处理电路18。
参考图5，在步骤S301中，CPU 11从缓冲存储器151中所存储的运动图像数据中读出与一帧相对应的比特流(与帧n有关的压缩后的帧数据)，并将所读出的比特流输入至图像解压缩电路17中。
在步骤S302中，可变长度解码器171对在步骤S301中输入的与一帧相对应的比特流进行可变长度解码，并将变换系数等的信息提供至扫描转换器172。
在步骤S303中，扫描转换器172将在步骤S302中从可变长度解码器171提供的变换系数转换成光栅扫描顺序，并将该变换系数提供至逆量化器173。
在步骤S304中，逆量化器173对在步骤S303中从扫描转换器172提供的并经过了扫描转换的变换系数进行逆量化，并将逆量化后的变换系数提供至逆离散余弦变换器174。
在步骤S305中，逆离散余弦变换器174对在步骤S304中从逆量化器173提供的并且经过了逆量化的变换系数进行逆离散余弦变换，并将从逆离散余弦变换所得的变换系数提供至运动补偿图像再现器175。
在步骤S306中，运动补偿图像再现器175将解压缩后的图像(预测数据)与在步骤S305中从逆离散余弦变换器174提供的并且经过了逆离散余弦变换的变换系数相加，以生成解压缩后的数据。将该解压缩后的数据写入预测帧存储器152中，并将其从图像解压缩电路17输出。步骤S306中的处理是基于从可变长度解码器171提供的运动矢量等的信息(编码信息)的。通过存储器控制器176从预测帧存储器152读出解压缩后的图像(预测数据)。
在步骤S307中，图像处理电路18将从图像解压缩电路17输出的解压缩后的图像数据处理成显示大小和格式，并将处理后的数据写入显示帧存储器153中。
在以上说明中，如果帧n中的全部MB都是SMB(如果帧n是SMB图像)，则不进行解压缩而继续显示前一图像。然而，确定不进行解压缩而继续显示前一图像的帧的方法不限于以上方法。本发明的典型实施例可应用于在不对压缩后的帧数据进行解压缩的情况下通过分析属性信息能够判断为具有与前一帧的图像相同的图像的动画的一帧。即使要再现的帧不是SMB图像，也不对被判断为具有与前一帧的图像相同的图像的帧进行解压缩，并且在该帧中继续显示前一图像，由此降低了存储器传送量和电力消耗。
可以通过以下过程来实现本发明：将存储有实现根据以上实施例的功能的软件程序代码的存储介质提供至系统或设备，该系统或设备中的计算机(或CPU或微处理单元(MPU))读出并执行存储介质中所存储的程序代码。在这种情况下，从存储介质读出的程序代码本身实现了根据以上实施例的功能，并且本发明可应用于存储该程序代码的存储介质。提供该程序代码的存储介质可以是例如软盘、硬盘、光盘、磁光盘(MO)、致密盘只读存储器(CD-ROM)、可记录致密盘(CD-R)、磁带、非易失性存储卡或ROM。
执行所读出的程序代码的计算机实现了上述实施例的功能。另外，运行在计算机上的操作系统(OS)等可以基于该程序代码中的指令执行全部或部分实际处理，从而实现上述实施例的功能。
可选地，在已将从存储介质读出的程序代码写入设置在计算机中所包括的功能扩展板或连接至计算机的功能扩展单元中的存储器中之后，该功能扩展板或功能扩展单元中的CPU等可以基于程序代码中的指令来执行全部或部分实际处理，从而实现上述实施例的功能。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种运动图像再现设备，包括：
属性分析单元，用于分析动画的属性；
判断单元，用于基于由所述属性分析单元进行的分析，判断所述动画的一帧是否具有与前一帧的图像相同的图像；
输入单元，用于将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元；
显示控制单元，用于使由所述解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示；以及
控制单元，用于使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据在正常再现期间不被输入至所述解压缩单元。
2.根据权利要求1所述的运动图像再现设备，其特征在于，
所述显示控制单元被配置为在判断为帧具有与前一帧的图像相同的图像的情况下，使由所述显示控制单元所显示的前一帧中的图像作为被判断为具有与前一帧的图像相同的图像的帧的图像而继续显示。
3.根据权利要求1或2所述的运动图像再现设备，其特征在于，
帧包括多个宏块，以及
所述判断单元基于由所述属性分析单元进行的分析，判断所述动画的一帧中的全部宏块是否都是跳过的宏块。
4.根据权利要求3所述的运动图像再现设备，其特征在于，
所述属性分析单元被配置为从所述属性中获取所述动画的一帧的数据大小，以及
所述判断单元被配置为如果所述一帧的数据大小等于预定值，则判断出所述一帧中的全部宏块都是跳过的宏块。
5.根据权利要求3所述的运动图像再现设备，其特征在于，
所述属性分析单元被配置为从所述属性中获取所述动画的一帧的校验和，以及
所述判断单元被配置为如果所述一帧的校验和等于预定值，则判断出所述一帧中的全部宏块都是跳过的宏块。
6.根据权利要求3所述的运动图像再现设备，其特征在于，
所述属性分析单元被配置为从所述属性中获取所述动画的一帧的哈希值，以及
所述判断单元被配置为如果所述一帧的哈希值等于预定值，则判断出所述一帧中的全部宏块都是跳过的宏块。
7.根据权利要求1所述的运动图像再现设备，其特征在于，
所述控制单元被配置为当对所述动画进行快进或快退再现时，使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至所述解压缩单元。
8.一种运动图像再现方法，包括以下步骤：
属性分析步骤，用于分析动画的属性；
基于在所述属性分析步骤中进行的分析，判断所述动画的一帧是否具有与前一帧的图像相同的图像；
将与被判断为不具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据输入至解压缩单元；
使由所述解压缩单元解压缩后的帧数据中的图像作为至少一帧而显示；以及
使与被判断为具有与前一帧的图像相同的图像的帧有关的压缩后的帧数据在正常再现期间不被输入至所述解压缩单元。
CN2009101718846A 2008-09-16 2009-09-16 运动图像再现设备和运动图像再现方法 Expired - Fee Related CN101677385B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008236315A JP5294767B2 (ja) 2008-09-16 2008-09-16 動画再生装置、動画再生方法、プログラム及び記録媒体
JP2008-236315 2008-09-16
JP2008236315 2008-09-16

Publications (2)

Publication Number Publication Date
CN101677385A CN101677385A (zh) 2010-03-24
CN101677385B true CN101677385B (zh) 2012-05-23

Family

ID=41630860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101718846A Expired - Fee Related CN101677385B (zh) 2008-09-16 2009-09-16 运动图像再现设备和运动图像再现方法

Country Status (4)

Country Link
US (1) US8107534B2 (zh)
EP (1) EP2166770B1 (zh)
JP (1) JP5294767B2 (zh)
CN (1) CN101677385B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013055532A (ja) * 2011-09-05 2013-03-21 Canon Inc 撮像装置及びプログラム
US9014255B2 (en) * 2012-04-03 2015-04-21 Xerox Corporation System and method for identifying unique portions of videos with validation and predictive scene changes
US20160165230A9 (en) * 2012-04-16 2016-06-09 Texas Instruments Incorporated Color Component Checksum Computation in Video Coding
KR102453803B1 (ko) 2015-09-10 2022-10-12 삼성전자주식회사 이미지 처리 방법 및 장치
JP2017069617A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 半導体装置および画像符号化方法
US9883137B2 (en) * 2015-11-03 2018-01-30 Qualcomm Incorporated Updating regions for display based on video decoding mode

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1440583A2 (en) * 2001-10-19 2004-07-28 Koninklijke Philips Electronics N.V. Method and system for skipping decoding of overlaid areas of video
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
KR20080052344A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3345475B2 (ja) * 1993-09-10 2002-11-18 富士通株式会社 画像データの符号化方法及び復元方法並びに装置
US5959690A (en) * 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
EP0885520A1 (en) * 1996-03-05 1998-12-23 Telefonaktiebolaget Lm Ericsson Progressive image coding
US5835151A (en) * 1996-05-15 1998-11-10 Mitsubishi Electric Information Technology Center America Method and apparatus for down-converting a digital signal
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
KR100323441B1 (ko) * 1997-08-20 2002-06-20 윤종용 엠펙2동화상부호화/복호화시스템
JP2000115777A (ja) 1998-10-01 2000-04-21 Hitachi Ltd 画像処理方法および画像処理装置
JP2000278692A (ja) * 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
JP3519673B2 (ja) * 2000-07-07 2004-04-19 松下電器産業株式会社 動画データ作成装置及び動画符号化装置
JP2003070002A (ja) 2001-08-28 2003-03-07 Matsushita Electric Ind Co Ltd 画像符号化装置
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2007067526A (ja) 2005-08-29 2007-03-15 Sharp Corp 画像処理装置
CN101848391B (zh) * 2005-09-26 2014-11-26 三菱电机株式会社 运动图像编码装置以及运动图像译码装置
JP5164610B2 (ja) 2007-05-02 2013-03-21 キヤノン株式会社 撮像装置及びその制御方法
US8743227B2 (en) * 2007-05-02 2014-06-03 Canon Kabushiki Kaisha Imaging apparatus and control method for reducing a load of writing image data on a recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1440583A2 (en) * 2001-10-19 2004-07-28 Koninklijke Philips Electronics N.V. Method and system for skipping decoding of overlaid areas of video
CN1332563C (zh) * 2003-12-31 2007-08-15 中国科学院计算技术研究所 一种视频图像跳过宏块的编码方法
KR20080052344A (ko) * 2006-12-06 2008-06-11 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법

Also Published As

Publication number Publication date
EP2166770B1 (en) 2017-01-04
US20100067880A1 (en) 2010-03-18
US8107534B2 (en) 2012-01-31
CN101677385A (zh) 2010-03-24
JP2010074241A (ja) 2010-04-02
EP2166770A3 (en) 2011-07-06
EP2166770A2 (en) 2010-03-24
JP5294767B2 (ja) 2013-09-18

Similar Documents

Publication Publication Date Title
CN101018328B (zh) 编码装置、使用它的摄像机装置及编码方法
JP4682102B2 (ja) 画像符号化装置及び画像符号化方法
EP1879388B1 (en) Video information recording device, video information recording method, video information recording program, and recording medium containing the video information recording program
KR101640872B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
EP0982950A2 (en) Electronic video camera comprising an MPEG encoder
CN101677385B (zh) 运动图像再现设备和运动图像再现方法
CN101594535A (zh) 图像处理装置
US20130216150A1 (en) Image processing device, image processing method, and program
WO2012046366A1 (ja) 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム
KR101606931B1 (ko) 키프레임 정지영상 저장 및 재생 장치 및 그 동작 방법
US20040091159A1 (en) Image compression device and method for performing a frame skipping process
JP2009118226A (ja) メモリ制御装置および制御方法
JP4181701B2 (ja) 画像処理装置
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
US20110249719A1 (en) Video compression
JP4293151B2 (ja) 映像符号化方法及び映像記録装置
KR100896278B1 (ko) 가정용 방범 기능이 부가된 하드디스크를 이용한 티브이녹화장치
JP4312070B2 (ja) デジタルカメラ
KR20060099026A (ko) 영상의 확대 처리 방법
JPH09331528A (ja) 画像符号化機能付復号装置
JP2004357191A (ja) 映像データ記録装置、映像データ記録方法及び映像データ記録制御用プログラム
KR100203265B1 (ko) 영상데이타 복호장치
JP4338725B2 (ja) 画像処理装置
JP4338727B2 (ja) 画像処理装置
WO1999067947A1 (en) Image sensing/storing method and image sensing device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20190916