CN102577364A - 动态图像再现装置、动态图像再现程序以及动态图像再现方法 - Google Patents

动态图像再现装置、动态图像再现程序以及动态图像再现方法 Download PDF

Info

Publication number
CN102577364A
CN102577364A CN2009801614686A CN200980161468A CN102577364A CN 102577364 A CN102577364 A CN 102577364A CN 2009801614686 A CN2009801614686 A CN 2009801614686A CN 200980161468 A CN200980161468 A CN 200980161468A CN 102577364 A CN102577364 A CN 102577364A
Authority
CN
China
Prior art keywords
frame
dynamic image
moving area
image data
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801614686A
Other languages
English (en)
Other versions
CN102577364B (zh
Inventor
大柜敏郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102577364A publication Critical patent/CN102577364A/zh
Application granted granted Critical
Publication of CN102577364B publication Critical patent/CN102577364B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

本申请涉及动态图像再现装置等，为了以比较小的运算能力降低动态图像数据的帧频，在取得第一帧频的第一动态图像数据并生成比所述第一帧频低的第二帧频的第二动态图像数据时，根据构成第一动态图像数据的多个帧内的、描绘了运动体的移动区域及该移动区域的移动量，计算构成第二动态图像数据的插值帧的、描绘了运动体的新移动区域和该新移动区域的移动量，将该新移动区域的图像与背景图像进行合成而对插值帧整个区域的图像进行再现。

Description

动态图像再现装置、动态图像再现程序以及动态图像再现方法
技术领域
本申请涉及降低所取得的动态图像数据的帧频，并显示基于降低了帧频的动态图像数据的动态图像的动态图像再现装置、动态图像再现方法以及使运算装置作为动态图像再现装置工作的动态图像再现程序。
背景技术
近年来，个人计算机(以下简单记作“PC”)的低价趋向增强，为了抑制PC的价格，而抑制用在该PC中的部件的价格，相应地也抑制了PC的性能。例如，在低价格段的笔记本型个人计算机(以下简单记作“笔记本PC”)中，对于具有液晶显示画面等显示设备也不能使用价格高的部件，大多选择其响应速度只有50fps(帧/秒)的显示设备。因此，即使将该笔记本PC连接到互联网并在该笔记本PC上再现显示互联网上的某一60fps的动态图像HD(High Definition：高清晰度)内容，该笔记本PC的显示设备也只能以50fps进行显示，显示速度每秒落后10帧，从而产生丢帧显示这样的缺点。
为了应对该问题，考虑降低动态图像的帧频，使得即使在该低功能的显示设备上也能够进行显示(参照专利文献1～4)。在此，动态图像内容大多采用MPEG格式、尤其是MPEG2格式。在该MPEG2格式中以15帧形成一个组。将该组称作GOP(Groupof Picture：图像组)。在MPEG2格式中，以该GOP为单位进行解码处理，因此难以为了降低帧频而单纯地对帧进行间疏(間引く)。此外，由于低价，搭载有例如工作速度为1.6GHz等工作速度慢的CPU(Central Processing Unit)，难以进行需要较大的处理能力的运算来降低帧频。
现有技术文献
专利文献
专利文献1：日本特开2002-94947号公报
专利文献2：日本特开2003-309834号公报
专利文献3：日本特开2006-319784号公报
专利文献4：日本特表2007-520741号公报
发明内容
发明所要解决的课题
鉴于上述情况，本申请公开的动态图像再现装置、动态图像再现程序以及动态图像再现方法的课题在于，以比较小的运算能力来降低所取得的动态图像数据的帧频。
用于解决课题的手段
本申请公开的动态图像再现装置具有动态图像取得部、动态图像再现部和动态图像显示部。
动态图像取得部取得多个帧以第一帧频循环反复而得到的第一动态图像数据，该多个帧包含以下两方的帧：具有背景图像和运动体图像这两者信息的帧、和具有除了背景图像以外的运动体图像的信息的帧。动态图像再现部根据由动态图像取得部所取得的第一动态图像数据，对比所述第一帧频低的第二帧频的第二动态图像数据进行再现。动态图像显示部根据由动态图像再现部所再现的第二动态图像数据，显示动态图像。
此处，动态图像再现部具有插值数据计算部和帧图像再现部。
插值数据计算部根据构成上述第一动态图像数据的多个帧的、描绘了运动体的移动区域内的图像及该移动区域的移动量，计算构成上述第二动态图像数据的插值帧的、描绘了运动体的新移动区域内的图像及该新移动区域的移动量。
帧图像再现部通过根据由插值数据计算部计算出的插值帧的新移动区域的移动量，对该新移动区域内的图像和背景图像进行合成，对插值帧整个区域内的图像进行再现。
本申请包含将上述动态图像再现装置的思想体现为动态图像再现程序和动态图像再现方法的情况。
发明效果
根据本申请公开的动态图像再现装置、动态图像再现程序以及动态图像再现方法，能够以比较小的运算能力来降低所取得的动态图像数据的帧频。
附图说明
图1是示出构建本申请的一个实施方式的笔记本PC的一例的外观立体图。
图2是示出在图1中示出外观的笔记本PC的硬件结构概要的框图。
图3是动态图像再现用程序(再现应用程序)的流程图(一部分)。
图4是动态图像再现用程序(再现应用程序)的流程图(剩余部分)。
图5是示出了在图3、图4的再现应用程序起动时显示在显示画面上的菜单画面的一例的图。
图6是示出在图5所示的菜单画面上选择了“视频A”时的显示画面例的图。
图7是作为MPEG2格式下的预测法的代表例的双向预测(A)和前向预测(B)的说明图。
图8是示出MPEG2解码处理的概要的图。
图9是示出本申请的一个实施方式中的解码处理的概要的图。
图10是示出移动区域和移动量的图。
图11是示出了通常的MPEG解码运算处理(A)和插值运算处理后的MPEG解码运算处理(B)的图。
具体实施方式
以下说明本申请的实施方式。
图1是示出构建本申请的一个实施方式的笔记本PC的一例的外观立体图。
该图1所示的笔记本PC 10具有主体单元20和显示单元30。主体单元20在内部具有CPU和硬盘驱动器(以下简单记作“HDD”)等，并且在上表面具有键盘21和作为点击设备的一种的触摸板22等。此外，显示单元30经由铰链40与主体单元10联结并相对于主体单元20构成为开闭自如，在处于打开状态时的前表面具有显示画面31。
图2是示出在图1中示出外观的笔记本PC的硬件结构概要的框图。
此处，示出了CPU 51、主存储器52、非易失性存储器53、在图1中也示出的键盘21以及包含图形模块541和图1的显示画面31而构成的显示部54。并且此处，还示出了通信接口55、HDD 56、在图1中也示出的触摸板22以及包含音频接口571和扬声器572而构成的声音输出部57。这些各要素21、27、51～57经由总线50相互连接。
通信接口55与互联网连接而进行经由互联网的通信。此处，尤其接收依据MPEG2的动态图像内容。HDD 56是大容量存储装置，此处，存储有包含作为本申请的一个实施方式的动态图像再现程序的各种程序、和经由互联网输入的动态图像内容等。触摸板22是点击设备的一种，其移动构成显示部54的显示画面31(参照图1)上的光标并点击显示画面31上的任意图标等。声音输出部57接收声音数据，由音频接口571转换为模拟的声音信号并由扬声器572输出声音。
此外，CPU 51是执行程序的中央运算处理装置。在本实施方式中使用的笔记本PC中，采用了工作速度比较慢的工作速度为1.6GHz的CPU。主存储器52是为了CPU 51中的执行而展开从HDD 56读出的程序的存储器。并且，该主存储器52还被用作由CPU 51执行程序时的数据的临时存储场所。在非易失性存储器53中，存储有对该笔记本PC10通电时最初执行的程序即BIOS(Basic Input Output System：基本输入输出系统)。此外，键盘21是操作者进行各种信息和指示输入用的工具。
显示部54接收显示用数据并在显示画面31(参照图1)上显示与该数据对应的图像。此处，特别地，接收动态图像数据，由图形模块541转换为显示用的动态图像数据，并在显示画面31上显示动态图像。此处，该显示部54具有对显示速度比较慢的、最大50fps的动态图像进行显示的能力。此外，构成该显示部54的显示画面31(参照图1)是1024×574像素的显示画面。
此处，由通信接口55接收经由互联网传送来的MPEG2格式的动态图像内容。在由通信接口55接收到动态图像内容时，该动态图像内容被临时保管到HDD 56中。之后，在该动态图像内容为被指定为以60fps的帧频进行显示的动态图像内容时，利用在CPU 51中执行的动态图像再现程序降低该动态图像内容的帧频，并将该降低了帧频的动态图像数据发送到显示部54。于是，在图形模块541中根据该发送来的动态图像内容描绘动态图像，并将该动态图像显示在显示画面31(参照图1)上。
此外，将该动态图像内容中的声音数据发送到声音输出部57，由声音输出部57输出与动态图像在显示画面31上的显示同步的声音。
图3和图4是动态图像再现用的程序(此处称作“再现应用程序”)的流程图。
此外，图5是示出了在图3、图4的再现应用程序起动时显示在显示画面31(参照图1)上的菜单画面的一例的图，图6是示出在图5所示的菜单画面上选择了“视频A”时的显示画面例的图。
在起动图3、图4所示的再现应用程序时，显示表示从互联网上下载并存储在HDD 56中的动态图像内容一览的、例如图5所示的菜单画面。在该菜单画面上例如选择“视频A”时，显示图6所示的画面。在该图6所示的画面上选择“再现”时，开始视频A的再现。另一方面，在该图6所示的画面上选择“转入主菜单”时，返回图5所示的菜单画面。
沿着图3、图4所示的再现应用程序的流程图进行说明。
在起动再现应用程序后，首先由用户判定是否选择了60fps的动态图像再现(步骤S01)。待再现的动态图像的选择如参照图4、图5所说明那样。在选择60fps的动态图像再现时，接着从存储在非易失性存储器53(参照图2)中的BIOS信息等设备信息中检测承担该动态图像再现的笔记本PC(此处，为图1、图2所示的笔记本PC10)的显示部的响应速度(步骤S02)。在此次要再现的动态图像为60fps且显示部的响应速度小于60fps时，直接显示的话不能避免丢帧，因此进入到图4所示的流程图，变更帧频(步骤S03)。但是，此处先针对如下情况进行说明：此次作为要再现的图像而被选择的动态图像是以不足60fps的帧频进行显示的动态图像或者显示部的响应速度为60fps以上而不需要帧频的变更。
在步骤S01中，选择了不足60fps的帧频的动态图像或者即使在选择了60fps的动态图像的情况下也判定为显示部的响应速度在60fps以上时，进行到步骤S04。在步骤S04中，判定动态图像再现处理是否中断或结束。在再现此次的动态图像直至最后的情况下、或由用户指示了中断的情况下等，产生处理的中断/结束。在产生了处理的中断/结束时，该再现应用程序结束。在没有产生处理的中断/结束时，以GOP为单位从HDD 56读出动态图像内容并输入到主存储器52(步骤S05)，执行MPEG2解码处理(步骤S06～S08)。
此处，针对MPEG2的帧格式说明概要。依据MPEG2格式的动态图像内容具有I帧(Intra-coded Frame：内部编码帧)、P帧(Predicted Frame：预测帧)、B帧(Bi-directional PredictedFrame：双向预测帧)，由I1-B2-B3-P4-B5-B6-P7-B8-B9-P10-B11-B12-P13-B14-B15这15个帧构成了一个GOP(Group ofPicture：图像组)。I帧、P帧和B帧的每帧的平均数据量大致为I∶P∶B＝4∶2∶1左右。I帧是不使用帧间预测进行编码的帧，P帧是仅使用前向预测进行编码的帧，B帧是选择前向预测、后向预测和双向预测中的任意一个进行编码的帧。在该MPEG2中，采用了被称作帧间预测的技术。所谓帧间预测，是在动态图像中利用前一帧和当前帧非常类似的情况而根据前一帧预测当前帧的技术。在帧间预测中，只要对输入图像和预测图像的差分进行编码即足够，因此能够得到较高的压缩率。在MPEG2中，为了进一步提高压缩效率，并用被称作运动补偿(MC；Motion Compensation)的技术。所谓运动补偿，是指在帧间预测中对前一帧和当前帧之间的帧内的物体运动进行补偿的技术。即，在预测当前帧的情况下，使用偏离了帧内物体运动的量的位置的图像。为了进行该运动补偿，对估计图像的运动量的运动矢量、和仅用该运动矢量不能充分表现的包含差分数据的帧数据进行编码。
图7是作为MPEG2中的预测法的代表例的双向预测(A)和前向预测(B)的说明图。
在图7(A)的双向预测的情况下，根据前方的I帧或P帧预测P帧，关于B帧，根据前方的I帧或P帧和后方的P帧双方进行预测。
在图7(B)的前向预测的情况下，关于B帧，也始终根据前方的帧进行预测。
关于MPEG2的帧格式等是广泛公知的技术，此处只作以上的说明。
图8是示出MPEG2解码处理的概要的图。MPEG2解码处理也是广泛公知的技术，因此，此处参照该图8和图3的流程图，仅对与后述的包含降低帧频的处理的解码处理(参照图9)的对比所需的方面进行说明。此处，以双向预测为前提进行说明。其中，在图8中，为了避免图示的烦杂，示出了基于前向预测的箭头。
对于I1帧，仅由该I1帧进行解码从而再现F1帧。该F1帧是由背景和该I1帧内的移动区域N1构成的帧。
此外，对于P4帧，由该P4帧和I1帧进行解码从而再现F4帧。该F4帧是由背景和该P4帧内的移动区域构成的帧。
接I1帧之后的B1帧和接该B1帧之后的B2帧是分别仅对移动区域N1、N2进行了编码的帧，根据B1帧、B2帧的数据计算移动区域N2、N3内的图像数据和各移动区域N2、N3的移动量(步骤S06)，并且与由I1帧和P4帧再现的背景帧进行合成，对F2帧和F3帧进行再现(步骤S07)。还同样再现接着F4帧的F5帧、F6帧、...。
在完成由15个帧构成的一个GOP的再现后(步骤S08)，以GOP(15帧)为单位发送到显示部(步骤S09)。显示部显示基于发送到显示画面31(参照图1)上的动态图像数据的动态图像。
图9是示出本申请的一个实施方式中的解码处理的概要的图。
在图3的步骤S01中选择待以60fps再现的动态图像，并且在步骤S03中判定为显示部的显示速度小于60fps时，转入图4的步骤S11。此处，为了降低动态图像内容的帧频，从HDD 56将构成该再现应用程序的一个程序部件即插值帧构建引擎读入到主存储器52上。接着步骤S11的步骤S12～S14是分别与图3的步骤S03～S06相同的处理，因而省略重复说明。
在步骤S15中，通过在步骤S11中读入的插值帧构建引擎，对移动区域的移动量进行平均来计算作为平均的移动量Vm，在步骤S16中，根据移动区域N生成新移动区域M。具体而言，计算从I1帧内的移动区域N1到B2帧的移动区域N2的移动量Vn2的1/2移动量Vm1、和从B2帧的移动区域N2到B3帧的移动区域N3的移动量Vn3的1/2移动量Vm2，并且生成处于I1帧的移动区域N1与B2帧的移动区域N2的中间位置(移动量Vm1的位置)处的新移动区域M1的图像数据、和处于B2帧的移动区域N2与B3帧的移动区域N3的中间位置(移动量Vm2的位置)处的新移动区域M2的图像数据。
图10是示出移动区域和移动量的图。
该图10中假想示出了在背景帧F上配置了I1帧的移动区域N1和B2帧的移动区域N2后的状态。对于新移动区域M1，生成具有从移动区域N1到移动区域N2的移动量Vn2的一半移动量Vm1＝Vn2/2的新移动区域M1。例如在移动区域N1的坐标为(00，00)，移动区域N2的坐标为(10，10)时，从移动区域N1到移动区域N2的移动量Vn2为Vn2＝(10，10)，新移动区域M1的移动量Vm1为Vm1＝(05，05)。此外，在两个移动区域N1、N2为尺寸相互不同的移动区域时，该新移动区域M1具有这两个移动区域N1、N2的中间尺寸。例如，在移动区域N1的面积为10且移动区域N2的面积为30时，新移动区域M1的面积例如为20。并且此处，移动区域N1、N2以及新移动区域M1均用长方形的框示出，但是也可以不必要是长方形，而为变形后的形状的区域。
返回图9继续说明。
如图9所示，在生成新移动区域M1、M2时，通过MPEG解码运算处理，各新移动区域M1、M2与根据I1帧和P4帧再现的背景图像进行合成，对各插值帧F1、F2整个区域的图像进行再现。还同样生成、再现之后接着的新移动区域M4、M5...和插值帧F4、F5...。
如上所述那样结束15帧的处理(图4的步骤S18)并生成10帧的插值帧后(图4的步骤S19)，将插值帧发送到以GOP(10帧)为单位的显示部54(参照图2)。在显示部54中，根据由发送来的插值帧的连续构成的动态图像数据，用图形模块541进行描绘而将动态图像显示在显示画面31上。
在本实施方式中，如上所述，使用移动区域那样的、对于整个帧区域的图像而言的较窄的一部分图像区域来计算新移动区域并与背景图像进行合成，因此与生成整个帧区域的图像再生成插值帧的情况相比能够大幅度削减运算量。
接着，示出能够利用本实施方式的方法以60fps的帧频进行动态图像显示的估算。
图11是示出了通常的MPEG解码运算处理(A)和插值运算处理后的MPEG解码运算处理(B)的图。针对帧合成已完成说明，因此，此处不进行合成的说明而仅针对移动区域的平均化进行说明。
如前所述，此处的前提为CPU的工作速度为1.6GHz，显示画面31的显示能力为1024×574的画面尺寸、24位色、最大帧频50fps。
如前所述，MPEG数据以I1→B2→B3→P4→B5→B6→...→B14→B15→I16→...连续。通过插值运算新生成的新移动区域M1是对I1帧内的移动区域N1和由B2帧表示的移动区域N2进行平均而得到的区域。即，根据从移动区域N1移动到移动区域N2时的移动量Vn2对移动区域N1的位置和移动区域N2的位置进行平均，设为对该位置进行平均后的移动量Vm1＝Vn2/2，在该坐标处配置新移动区域M1。此处，作为背景的图像数据由以往那样的MPEG解码生成，直接对其复制即可，不需要用于该背景的图像数据生成的新处理。在以往的MPEG解码处理中，为了对1张帧图像进行解码，能够用5.6msc的时间进行处理。这根据所输入的图像数据的格式而不同，但是该值为根据实机验证的现有处理中的平均处理时间。在本实施方式中，除了以往的MPEG解码处理以外，新追加了用于生成新移动区域M1、M2、...的处理。在该新移动区域M1、M2、...的生成时，根据移动区域N1、N2、...和移动量Vn2、Vn3、...生成新移动区域M1、M2、...，因此生成一个新移动区域不需要5.6msec。生成该新移动区域所需的时间大致如下所述。
B帧的信息量为I帧的信息量的1/4、P帧的信息量为I帧的信息量的1/2，因此
(I帧数+B帧数/4+P帧数/2)×5.6msec
＝(1+10/4+4/2)×4×5.6＝123.2msec
该123.2msec是图9的“插值运算处理”所需的时间，“移动区域计算处理”和“MPEG解码运算处理”所需的时间包含在每1帧5.6msec中。因此，再现60帧的图像所需的运算时间为：
5.6×60+123.2＝459.2msec，
该时间大大小于1秒，且即使追加上述插值运算处理也能够正常显示动态图像。
此外，在本实施方式的情况下，成为40fps的显示，因此实际上成为40fps/60fps的处理时间，处理时间与上述估计相比成为更短的时间。
此外，还存在所输入的动态图像数据自身为30fps、且每帧显示两次来实现60fps的显示的动态图像内容。此时，处理时间与上述估计相比也成为更短的时间。
由此，根据本实施方式，能够足够高速地、即以较少的运算量降低动态图像数据的帧频来进行动态图像显示。
此外，此处针对通过根据3帧生成2帧来将帧频降低为2/3的例子进行了说明，但是本申请不仅能够应用于将帧频降低为2/3的情况，还能够广泛应用于降低帧频的情况。
此外，此处，以MPEG2格式的动态图像数据为例进行了说明，但是也可以是MPEG2格式以外的MPEG格式。并且，还可以是MPEG格式以外，通过伴随运动补偿的帧间预测进行解码后的动态图像数据。另外，只要是包含以下两种帧的多个帧循环重复的动态图像数据，则能够应用本申请，即，具有背景图像和运动体的图像这两者信息的帧、和具有除了背景图像以外的运动体的图像信息的帧。
标号说明
10：笔记本PC；20：主体单元；21：键盘；22：触摸板；30：显示单元；31：显示画面；40：铰链；50：总线；51：CPU；52：主存储器；53：非易失性存储器；54：显示部；55：通信接口；56：硬盘驱动器；57：声音输出部；541：图形模块；571：音频接口；572：扬声器。

Claims (12)

1.一种动态图像再现装置，其特征在于，该动态图像再现装置具有：
动态图像取得部，其取得多个帧以第一帧频循环反复而得到的第一动态图像数据，该多个帧包含以下两方的帧：具有背景图像和运动体图像这两者信息的帧、和具有除了背景图像以外的运动体图像的信息的帧；
动态图像再现部，其根据由所述动态图像取得部所取得的第一动态图像数据，对比所述第一帧频低的第二帧频的第二动态图像数据进行再现；以及
动态图像显示部，其根据由所述动态图像再现部进行了再现的第二动态图像数据，显示动态图像，
所述动态图像再现部具有：
插值数据计算部，其根据构成所述第一动态图像数据的多个帧的、描绘了运动体的移动区域内的图像和该移动区域的移动量，计算构成所述第二动态图像数据的插值帧的、描绘了运动体的新移动区域内的图像和该新移动区域的移动量；以及
帧图像再现部，其根据由所述插值数据计算部计算出的插值帧的新移动区域的移动量对该新移动区域内的图像和背景图像进行合成，由此对该插值帧的整个区域内的图像进行再现。
2.根据权利要求1所述的动态图像再现装置，其特征在于，所述动态图像取得部取得通过伴随运动补偿的帧间预测而编码的第一帧频的第一动态图像数据。
3.根据权利要求2所述的动态图像再现装置，其特征在于，
所述动态图像取得部取得具有MPEG格式的第一帧频的第一动态图像数据，
所述动态图像再现部对所述第二动态图像数据进行再现，所述第二动态图像数据通过交替配置位于构成所述第一动态图像数据的I帧或P帧与该接该I帧或P帧之后的第一B帧中间的第一插值帧的图像、和位于该第一B帧和接该第一B帧之后的第二B帧中间的第二插值帧的图像而得到。
4.根据权利要求3所述的动态图像再现装置，其特征在于，
所述插值数据计算部进行位于构成所述第一动态图像数据的I帧或P帧与接该I帧或P帧之后的第一B帧中间的、第一插值帧的新移动区域内的图像和该新移动区域的移动量的计算，并且进行位于该第一B帧和接该第一B帧之后的第二B帧中间的、第二插值帧的新移动区域内的图像以及该新移动区域的移动量的计算，
所述帧图像再现部进行所述第一插值帧和所述第二插值帧这两者的图像再现。
5.一种动态图像再现程序，其在运算装置内执行，该运算装置具有取得动态图像数据的动态图像取得部、显示动态图像的动态图像显示部、和执行程序的程序执行部，在该运算装置内构建动态图像再现部，该动态图像再现部根据所述动态图像取得部取得通过包含具有背景图像和运动体图像这两者信息的帧、和具有除了背景图像以外的运动体图像的信息的帧这两者的帧的多个帧以第一帧频循环重复而得到的第一动态图像数据时的该第一动态图像数据，对比该第一帧频低的第二帧频的第二动态图像数据进行再现，并使所述动态图像再现部显示基于该第二动态图像数据的动态图像，该动态图像再现程序的特征在于，
在所述运算装置内构建动态图像再现部，该动态图像再现部具有：
插值数据计算部，其根据构成所述第一动态图像数据的多个帧的、描绘了运动体的移动区域内的图像和该移动区域的移动量，计算构成所述第二动态图像数据的插值帧的、描绘了运动体的新移动区域和该新移动区域的移动量；以及
帧图像再现部，其通过根据由所述插值数据计算部计算出的插值帧的新移动区域的移动量，对该新移动区域内的图像和背景图像进行合成，对该插值帧整个区域内的图像进行再现。
6.根据权利要求5所述的动态图像再现程序，其特征在于，所述动态图像再现部根据所述动态图像取得部取得通过伴随运动补偿的帧间预测而编码的第一帧频的第一动态图像数据时的该第一动态图像数据，对比该第一帧频低的第二帧频的第二动态图像数据进行再现。
7.根据权利要求6所述的动态图像再现程序，其特征在于，所述动态图像再现部对所述第二动态图像数据进行再现，所述第二动态图像数据通过交替配置位于构成所述动态图像取得部取得具有MPEG格式的第一帧频的动态图像数据时的该第一动态图像数据的I帧或P帧与该接该I帧或P帧之后的第一B帧中间的第一插值帧的图像、和位于该第一B帧和接该第一B帧之后的第二B帧中间的第二插值帧的图像而得到。
8.根据权利要求7所述的动态图像再现程序，其特征在于，
所述插值数据计算部进行位于构成所述第一动态图像数据的I帧或P帧与该接该I帧或P帧之后的第一B帧中间的第一插值帧的新移动区域内的图像和该新移动区域的移动量的计算、和位于该第一B帧和接该第一B帧之后的第二B帧中间的第二插值帧的新移动区域内的图像以及该移动区域的移动量的计算，
所述帧图像再现部进行所述第一插值帧和所述第二插值帧这双方的图像再现。
9.一种动态图像再现方法，其特征在于，该动态图像再现方法具有：
动态图像取得步骤，取得多个帧以第一帧频循环反复而得到的第一动态图像数据，该多个帧包含以下两方的帧：具有背景图像和运动体图像这两者信息的帧、和具有除了背景图像以外的运动体图像的信息的帧；
动态图像再现步骤，根据在所述动态图像取得步骤中所取得的第一动态图像数据，对比所述第一帧频低的第二帧频的第二动态图像数据进行再现；
动态图像显示步骤，根据在所述动态图像再现步骤中所再现的第二动态图像数据，显示动态图像，
所述动态图像再现步骤具有：
插值数据计算步骤，根据构成所述第一动态图像数据的多个帧的、描绘了运动体的移动区域内的图像和该移动区域的移动量，计算构成所述第二动态图像数据的插值帧的、描绘了运动体的新移动区域内的图像和该新移动区域的移动量；以及
帧图像再现步骤，通过根据在所述插值数据计算步骤中计算出的插值帧的新移动区域的移动量对该新移动区域内的图像和背景图像进行合成，由此对该插值帧整个区域内的图像进行再现。
10.根据权利要求9所述的动态图像再现方法，其特征在于，
所述动态图像取得步骤是取得通过伴随运动补偿的帧间预测而编码的具有第一帧频的第一动态图像数据的步骤，
所述动态图像再现步骤是如下步骤：根据在所述动态图像取得步骤中所取得的第一动态图像数据，对具有比所述第一帧频低的第二帧频的第二动态图像数据进行再现。
11.根据权利要求10所述的动态图像再现方法，其特征在于，
所述动态图像取得步骤是取得具有MPEG格式的第一帧频的第一动态图像数据的步骤，
所述动态图像再现步骤是对所述第二动态图像数据进行再现的步骤，所述第二动态图像数据通过交替配置位于构成所述第一动态图像数据的I帧或P帧与接该I帧或P帧之后的第一B帧中间的第一插值帧的图像、和位于该第一B帧和接该第一B帧之后的第二B帧中间的第二插值帧的图像而成。
12.根据权利要求11所述的动态图像再现方法，其特征在于，
所述插值数据计算是如下步骤：进行位于构成所述第一动态图像数据的I帧或P帧与接该I帧或P帧之后的第一B帧中间的第一插值帧的新移动区域内的图像和该新移动区域的移动量的计算、和位于该第一B帧和接该第一B帧之后的第二B帧中间的第二插值帧的新移动区域内的图像以及该新移动区域的移动量的计算，
所述帧图像再现步骤是进行所述第一插值帧和所述第二插值帧这双方的图像再现的步骤。
CN200980161468.6A 2009-09-16 2009-09-16 动态图像再现装置及动态图像再现方法 Expired - Fee Related CN102577364B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/066142 WO2011033617A1 (ja) 2009-09-16 2009-09-16 動画再生装置、動画再生プログラム、および動画再生方法

Publications (2)

Publication Number Publication Date
CN102577364A true CN102577364A (zh) 2012-07-11
CN102577364B CN102577364B (zh) 2015-03-04

Family

ID=43758244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980161468.6A Expired - Fee Related CN102577364B (zh) 2009-09-16 2009-09-16 动态图像再现装置及动态图像再现方法

Country Status (5)

Country Link
US (1) US8787466B2 (zh)
JP (1) JP5333593B2 (zh)
KR (1) KR101271692B1 (zh)
CN (1) CN102577364B (zh)
WO (1) WO2011033617A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496534A (zh) * 2020-03-20 2021-10-12 阿里巴巴集团控股有限公司 动态位图合成方法、装置、电子设备及计算机存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120081514A (ko) * 2011-01-11 2012-07-19 삼성전자주식회사 동영상 촬영 방법 및 장치
WO2015088265A1 (en) * 2013-12-13 2015-06-18 Samsung Electronics Co., Ltd. Storage medium, reproducing apparatus and method for recording and playing image data
EP3808086A1 (en) * 2018-08-14 2021-04-21 Huawei Technologies Co., Ltd. Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
CN115150548B (zh) * 2022-06-09 2024-04-12 山东信通电子股份有限公司 一种基于云台输出输电线路全景图像的方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1130848A (zh) * 1994-12-29 1996-09-11 大宇电子株式会社 用于低比特率图象信号编码器中检测前景区的装置
US20080084925A1 (en) * 2006-10-10 2008-04-10 Mobixell Networks Ltd. Control of video compression based on file size constraint
WO2008078419A1 (ja) * 2006-12-22 2008-07-03 Sharp Kabushiki Kaisha 画像表示装置及び方法、画像処理装置及び方法
CN101589614A (zh) * 2006-12-27 2009-11-25 夏普株式会社 图像显示装置及方法、图像处理装置及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123370A (ja) * 1982-12-29 1984-07-17 Sony Corp テレビジヨン信号の方式変換装置
JP2560119B2 (ja) 1989-10-18 1996-12-04 株式会社レンタルのニッケン 車輛の転倒防止機構
JPH0422073A (ja) 1990-05-16 1992-01-27 Casio Comput Co Ltd 電池パック装置及び電池状態報知装置
JP3132452B2 (ja) * 1998-01-29 2001-02-05 日本電気株式会社 動画像復号装置
CN1306649A (zh) * 1998-06-19 2001-08-01 赤道技术公司 把具有第一分辨率的编码图像直接解码为具有第二分辨率的解码图像
EP1083750A3 (en) * 1999-09-10 2009-09-23 NTT DoCoMo, Inc. Method and apparatus for transcoding coded video image data
EP1296525A4 (en) * 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
JP2002094947A (ja) 2000-09-12 2002-03-29 Matsushita Electric Ind Co Ltd 高速映像再生装置、高速映像再生方法および記録媒体
JP4066235B2 (ja) 2002-04-15 2008-03-26 富士フイルム株式会社 動画送信装置及び動画合成プログラム
JP2004080327A (ja) * 2002-08-16 2004-03-11 Sony Corp 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP2004172690A (ja) * 2002-11-18 2004-06-17 Matsushita Electric Ind Co Ltd 情報処理装置、及び情報処理方法
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
US7506267B2 (en) 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
JP2006319784A (ja) 2005-05-13 2006-11-24 Olympus Corp 画像処理装置および撮像装置
WO2007124491A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and system for video encoding and transcoding
JP5174329B2 (ja) * 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
JP4518111B2 (ja) * 2007-07-13 2010-08-04 ソニー株式会社 映像処理装置、映像処理方法、及びプログラム
JP4958758B2 (ja) * 2007-12-14 2012-06-20 三星電子株式会社 記録装置、再生装置、記録方法、再生方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1130848A (zh) * 1994-12-29 1996-09-11 大宇电子株式会社 用于低比特率图象信号编码器中检测前景区的装置
US20080084925A1 (en) * 2006-10-10 2008-04-10 Mobixell Networks Ltd. Control of video compression based on file size constraint
WO2008078419A1 (ja) * 2006-12-22 2008-07-03 Sharp Kabushiki Kaisha 画像表示装置及び方法、画像処理装置及び方法
CN101589614A (zh) * 2006-12-27 2009-11-25 夏普株式会社 图像显示装置及方法、图像处理装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496534A (zh) * 2020-03-20 2021-10-12 阿里巴巴集团控股有限公司 动态位图合成方法、装置、电子设备及计算机存储介质
CN113496534B (zh) * 2020-03-20 2024-04-19 阿里巴巴集团控股有限公司 动态位图合成方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN102577364B (zh) 2015-03-04
KR101271692B1 (ko) 2013-06-04
JP5333593B2 (ja) 2013-11-06
WO2011033617A1 (ja) 2011-03-24
KR20120043769A (ko) 2012-05-04
US20120170918A1 (en) 2012-07-05
US8787466B2 (en) 2014-07-22
JPWO2011033617A1 (ja) 2013-02-07

Similar Documents

Publication Publication Date Title
US20070206917A1 (en) Data processing apparatus, data processing method, and program
CN102224545B (zh) 相同事件的视频和静态画面基于该视频的全局运动矢量的合并
JPWO2007111206A1 (ja) 画像処理装置及び画像処理方法
KR20120079442A (ko) 사용자 인터페이스 제공 장치 및 방법
CN102577364A (zh) 动态图像再现装置、动态图像再现程序以及动态图像再现方法
CN110675841A (zh) 图像装置及其方法、记录介质
JP5454604B2 (ja) 動画再生方法、動画再生装置及びプログラム
WO2022116962A1 (zh) 视频播放方法、装置及电子设备
JP2011014956A (ja) 記録再生装置
CN103155581B (zh) 动图像再现装置、信息处理装置及动图像再现方法
CN103098118A (zh) 描绘装置及方法
US8743127B2 (en) Information processing apparatus, information processing method, and program
JP6307716B2 (ja) 画像情報処理方法
JP2012253712A (ja) 映像コンテンツ再生装置、映像コンテンツ再生方法、プログラム、及び記録媒体
JP2010166386A (ja) 動画再生装置及びプログラム
JP2008072182A (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP5598540B2 (ja) 動画出力装置、動画出力方法、および動画出力プログラム
JP5238849B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
JP7252444B2 (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP5617270B2 (ja) 動画再生装置、動画処理方法、および動画処理プログラム
JP4668051B2 (ja) 動画生成装置、動画生成方法、及びプログラム
JP2006197256A (ja) 画像処理装置
JP2012175264A (ja) 画像処理制御装置、画像処理制御方法、及びプログラム
JP5553533B2 (ja) 画像編集装置およびその制御方法およびプログラム
CN117544893A (zh) 音频调节方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190221

Address after: Kanagawa

Patentee after: Fujitsu Personal Computer Co., Ltd.

Address before: Kawasaki, Kanagawa, Japan

Patentee before: Fujitsu Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150304

Termination date: 20190916