CN1774929A - 动态图像编码或解码处理系统以及动态图像编码或解码处理方法 - Google Patents

动态图像编码或解码处理系统以及动态图像编码或解码处理方法 Download PDF

Info

Publication number
CN1774929A
CN1774929A CNA2004800101219A CN200480010121A CN1774929A CN 1774929 A CN1774929 A CN 1774929A CN A2004800101219 A CNA2004800101219 A CN A2004800101219A CN 200480010121 A CN200480010121 A CN 200480010121A CN 1774929 A CN1774929 A CN 1774929A
Authority
CN
China
Prior art keywords
frame
operand
decoding processing
operating frequency
moving picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800101219A
Other languages
English (en)
Inventor
吉本雅彦
川上健太郎
金森美和子
大平英雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa University Technology Licensing Organization (KUTLO)
Original Assignee
Kanazawa University Technology Licensing Organization (KUTLO)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa University Technology Licensing Organization (KUTLO) filed Critical Kanazawa University Technology Licensing Organization (KUTLO)
Publication of CN1774929A publication Critical patent/CN1774929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的目的在于提出与现有技术相比可以实现低消耗功率化的动态图像编码或解码处理系统以及动态图像编码或解码处理方法。计算在一个帧的编码或解码中所必要的必要运算量Kp，决定在预先分配给该一个帧的编码或解码处理的时间Te内可以进行该一个帧的编码或解码处理的工作频率F，使该处理器工作在该工作频率F以及适合于该工作频率F的工作电压V的同时进行该一个帧的编码或解码处理，并且，包括一个或一个以上的失败避免单元，其避免在必要运算量Kp比实际需要的运算量小的情况下引起的失败现象。

Description

动态图像编码或解码处理系统以及动态图像编码或解码处理方法
技术领域
本发明涉及使用工作频率和工作电压可变的处理器进行动态图像的编码或解码的动态图像编码或解码处理系统以及动态图像编码或解码处理方法。
背景技术
近年来，可以通过传送线路进行动态图像的收发，可以把动态图像存储在存储介质。一般，因为动态图像的信息量大，所以在利用限定传送比特速率的传送线路传送动态图像的情况下、或在限定存储容量的存储介质中存储动态图像的情况下，动态图像的编码、解码技术是必不可少的。作为动态图像的编码、解码方式，有ISO/IEC推进标准化的MPEG(Moving Picture ExpertsGroup)或H.26X。这些就是进行构成动态图像的随时间变化的连续多个帧的编码或解码的技术，是进行利用了动态图像的时间相关和空间相关的冗余性的削减，由此减少动态图像的信息量后编码并将编码后的动态图像再次解码成原来的动态图像的技术。
该编码/解码技术适用于内置个人计算机或微型计算机的移动电话等信息终端机器，根据记述了编码/解码方法的程序使计算机的处理器等工作，由此，在发送动态图像等情况下作为动态图像编码处理系统发挥功能，在接收动态图像等情况下作为动态图像解码处理系统发挥功能。但是，由于该动态图像编码或解码处理的运算量大，因此有消耗功率变大的倾向，使用比硬件通用性还高的软件来实现编码/解码处理中的低消耗功率化成为一个很大的课题。
下面，对使用了软件的动态图像编码或解码处理系统中的现有的低消耗功率化的方法进行说明。作为现有的低消耗功率化方法，例如在下述的非专利文献1中公开。
(非专利文献1)IEEE International Symposium on Circuits and System2001(May，2001)的初稿集pp918-921“An LSI for VDD-hopping and MPEG4System Based on the Chip”(H.Kawaguchi，G.Zhang，S.Lee，and T.Sakurai)
图10是表示在非专利文献1中表示的、关于动态图像(动态图像)编码处理系统进行现有的低消耗功率化的方法的图。此外，低消耗功率化的方法在动态图像解码处理系统中也一样。
在本现有例中，表示在可以动态地变更工作电压和工作频率的处理器中，用来进行处理动态图像编码(特别是MPEG)时的低消耗功率化的工作电压和工作频率的控制方法。即，如图11所示，在本现有例中，在进行动态图像编码的情况下，根据动态图像内的动作的激烈程度等，以帧为单位的动态图像编码或解码的运算量不同的情况引人注目，控制处理器的工作频率和工作电压来实现低消耗功率化。
编码处理需要将一帧的处理时间由编码方式(MPEG等)的规定等限制在时间Tf，并且在该处理时间Tf内完成一帧的编码处理。对于一帧的处理时间Tf(秒)，将其以一定的间隔分割为N个，将一个一个的间隔(时间)定义为时隙Tslot(Tslot＝Tf/N)，另外，将从时隙Tslot1开始到时隙Tsloti结束的时候的剩余时间TRi定义为TRi＝Tf-Tslot×i。设在一个时隙Tslot进行处理的动态图像的块数(动态图像的编码以块为单位进行处理)为R(即R×N为一个帧的块数)，设在(R×i)块处理中消耗的时间(即对从时隙Tslot1开始到时隙Tsloti为止应处理的块群实际地进行处理时消耗的时间)为Tacc(i+1)。在电压发生变化的情况下，设工作电压和工作频率到稳定为止的时间为Trd。此外，实时隙RTsloti表示对于在时隙Tsloti内应完成的处理实际需要的处理时间。在图10中，首先，对于分配给时隙Tslot1和时隙Tslot2的块群的处理，在负荷最大的情况下也是在该时隙Tslot1、Tslot2内以可充分地完成处理的时钟频率fmax来工作。在该处理中消耗的时间Tacc3为Tacc3＜(Tf-TR2)的情况下，即在被分配的块群在时隙Tslot1，Tslot2内完成处理的情况下，在分配给下一个时隙Tslot3的块群的处理中可使用的处理时间Ttar为Ttar3＝Tf-Tacc3-TR3-Trd，只要在该处理时间Ttar3内完成分配给Tslot3的块群的处理就可以，因此对于该块群减小工作频率地工作。图10的处理时间Tf1，Tf2，Tf3表示在时隙Tslot3中负荷最大的情况下，以各工作频率f1，f2，f3来工作时的处理时间。作为工作频率，在图10中如果选择f2＝fmax/2的工作频率，则在负荷最大的情况下，从时隙Tslot1开始到时隙Tslot3为止应完成的处理时间在(Tf-TR3)以内的、处理进入下一个时隙Tslot4的情况是没有的。另一方面，在选择工作频率f3＝fmax/3的情况下，处理时间Tf3超过处理时间Ttar3。因此，对在该时隙Tslot3中应处理的块群，以f2＝fmax/2的工作频率以及适合该工作频率的工作电压来工作。同样，在每时隙Tslot进行该处理。
由此，在动态地变更动作时钟频率以及工作电压时，从在规定时间内可处理规定数量的块群的工作频率中选择最小工作频率，由此综合地减小工作频率和工作电压地工作，根据处理控制电压，由此实现低消耗功率化。
但是，对于在某一定处理时间(例如，在这里一帧的处理时间Tf)应完成的处理(例如，在这里一帧的处理)，优选经过一帧的处理时间后使处理器以一定的工作电压和工作频率工作。即，如果设一帧的处理时间为Tf(秒)，设运算量为Kf(周期)，设工作频率为Ff，则工作频率为Ff＝Kf/Tf(周期/秒)，经过一帧的处理时间Tf后使处理器以一定的工作频率Ff工作，由此与在该处理时间Tf内几次变更工作频率Ff的情况相比，更有可能实现低消耗功率化。在后述的第一实施方式中对该证明进行说明。
但是，在本现有例中，尽管与处理时间Tf同步的单位为一帧，却在一帧内最多进行N次工作电压和工作频率的变更，一直都没有达到低消耗功率的目的。即，如本现有例，分多个阶段可控制工作电压和工作频率的处理器中的动态图像编码或解码处理的低消耗功率化需要在一帧的处理中变更好几次工作电压和工作频率。另一方面，如上所述，处理时间的限制的单位为帧，因此优选在一帧的处理中以可进行处理的最低限度的一定频率进行控制。因此，在一帧的处理中最多变更N次工作电压和工作频率的本现有例中，不能实现充分的低消耗功率化。
因此本发明解决如上所述的课题，提出一种与所述现有技术相比可以实现大幅度地降低消耗功率的动态图像编码或解码处理系统以及动态图像编码或解码处理程序。
发明内容
即，本发明的动态图像编码或解码处理系统的特征在于：具有以帧为单位对由多个帧构成的动态图像进行编码或解码的处理器，计算一个帧的编码或解码中必要的必要运算量Kp，决定在预先分配给该一个帧的编码或解码处理的时间Te内可以对该必要运算量Kp进行编码或解码处理的工作频率F，使该处理器以该工作频率F以及适合于该工作频率F的工作电压V工作，同时进行该一个帧的编码或解码处理，并且，还具有一个或一个以上的、避免在必要运算量Kp比实际需要的运算量小的情况下引起的失败现象的失败避免单元。另外，本发明的动态图像编码或解码方法，使用以帧为单位对由多个帧构成的动态图像进行编码或解码的处理器，计算一个帧的编码或解码处理中所必要的必要运算量Kp，决定在预先分配给该一个帧的编码或解码处理的时间Te内可以对该必要运算量Kp进行编码或解码处理的工作频率F，使该处理器以该工作频率F以及适合于该工作频率F的工作电压V工作，同时进行该一个帧的编码或解码处理，并且，还具有一个或一个以上的、避免在必要运算量Kp比实际需要的运算量小的情况下发生的失败现象的失败避免步骤。
在编码/解码方式(MPEG)的规定中，对当前的帧预先分配处理时间。根据本发明，计算一个帧的编码或解码中所必要的必要运算量Kp，决定在预先分配给该一个帧的编码或解码处理的时间Te内可以对该必要运算量Kp进行编码或解码处理的工作频率F，使处理器固定地以该工作频率F以及适合于该工作频率的工作电压V工作，同时进行编码或解码处理。因此，使处理器固定地以每个帧的编码或解码中所必要的最低限度的工作电压以及工作频率工作，同时进行编码或解码处理，对分割帧而形成的规定数量的每个块决定工作频率和工作电压，由此与在一个帧的编码/解码处理中变更好几次工作电压和工作频率的现有技术相比，可以实现低消耗功率化。并且，在必要运算量Kp的值比实际需要的运算量小的情况下，在预先规定的时间内没有完成当前帧的编码或解码处理，发生图像恶化的失败现象，但是由于本发明具有避免失败现象的一个或一个以上的失败避免单元，因此可以避免失败现象的发生。
本发明的动态图像编码或解码处理系统/方法的特征在于：如果在连续的多个帧中将所述一个帧之前进行编码处理的帧作为前帧，则在进行动态图像编码处理的情况下，使用下列要素中的一个或一个以上的要素计算必要运算量Kp，所述要素有：所述一个帧和前帧的移动量、所述一个帧的活动量、前帧的活动量、前帧的量化步长的平均值、前帧的量化步长的平均值和其前一帧的量化步长的平均值的差、前帧的宏模块(macro block)匹配的次数、前帧的有效块数量、前帧的有效系数的数量、对前帧进行编码时实际需要的运算量、前帧的发生比特数、所述一个帧的编码比特速率、对所述一个帧进行的是帧内编码或帧间编码的种类、前帧的必要运算量。
本发明的动态图像编码或解码处理系统/方法的特征在于：如果在连续的多个帧中将在所述一个帧之前进行解码的帧作为前帧，则在进行动态图像解码处理的情况下，使用下列要素中的一个或一个以上的要素计算必要运算量Kp，所述要素有：所述一个帧的编码数据的比特数、所述一个帧是被帧内编码或者是被帧间编码的种类、所述一个帧或者前帧的移动矢量大小的平均值、所述一个帧或者前帧的移动矢量大小的方差、所述一个帧或者前帧的有效块数量、所述一个帧或者前帧的有效系数的数量、所述一个帧或者前帧的比特速率、所述一个帧或者前帧的编码量、所述一个帧或者前帧的量化步长的平均值、量化步长的平均值的差(所述一个帧和一个之前的帧的量化步长的差，或者一个之前的帧的量化步长和两个之前的帧的量化步长的差)、对前帧进行解码时实际需要的运算量、前帧的必要运算量。
所述多个要素分别对编码或者解码处理的运算量带来影响。根据本发明，由于从所述要素中使用一个或一个以上的要素计算必要运算量Kp，因此计算出的必要运算量Kp更接近实际进行了编码或解码处理时的运算量。因此，可以降低由于必要运算量Kp比现实的运算量小从而在时间内未完成编码或解码处理的失败现象的发生率。另外，计算出的必要运算量Kp比现实的运算量大的多从而阻碍低消耗功率化的可能性变小。
本发明的动态图像编码或者解码处理系统/方法的特征在于，作为所述失败避免单元/步骤，具有增加必要运算量Kp的第一失败避免单元/步骤。
根据本发明，由于失败避免单元使必要运算量增加规定值，因此计算出的必要运算量Kp满足现实的运算量的可能性变大，可以避免失败现象。
所述第一失败避免单元/步骤的特征在于，使必要运算量Kp增加m倍(m是大于等于1的实数)或将必要运算量Kp加上比0大的实数n。
根据本发明，第一失败避免单元/步骤使必要运算量Kp增加m倍或在必要运算量Kp加上n，因此通过调整m或n的值，可以使计算出的必要运算量Kp的值比实际的运算量大且接近实际的运算量，可以避免失败。
本发明的动态图像编码或者解码处理系统/方法的特征在于：作为所述失败避免单元/步骤，至少具有一个或一个以上的第二失败避免单元/步骤，其在预先分配给所述一个帧的编码或者解码处理的时间内未完成该一个帧的编码处理的情况下进行避免失败现象的处理。
在上述第一失败避免单元/步骤中，不管失败现象发生的有无，通过增加必要运算量Kp来进行避免失败现象的处理。根据本发明，通过第二失败避免单元/步骤，在预先分配给所述一个帧的编码或解码处理的时间内未完成该一个帧的编码处理的情况下进行避免失败现象的处理，因此仅在发生失败现象的情况下进行避免失败现象的处理，可以高效率地避免失败现象。
所述第二失败避免单元/步骤的特征在于，按照规定的定时进行对编码处理的插入，在存在未进行编码的宏模块的情况下，对该宏模块进行无效块化处理。另外，在解码处理中不进行无效块化处理。
例如，在分配给一个帧的编码处理的时间Te中，在剩余对所有的宏模块进行无效块化的处理时间的规定定时，在存在未进行编码的宏模块的情况下，由于所述计算出来的必要运算量Kp比实际需要的运算量小，因此发生失败现象的可能性高。根据本发明，通过第二失败避免单元/步骤，例如，按照上述的定时进行对动态图像编码或解码处理的插入，在存在未进行编码的宏模块的情况下，判断为在时间Te内未完成该一个帧的编码处理而发生失败现象，对该宏模块进行无效块化处理，因此可以避免失败现象。
所述第二失败避免单元/步骤的特征在于，按照规定的定时进行对编码或解码处理的插入，在该插入的时刻，在必要运算量Kp的剩余量比在编码或解码处理中实际需要的运算量小的情况下，至少具有提高处理器的工作频率和工作电压的运算剩余量判断单元。
在编码或解码处理的途中，在计算出来的必要运算量Kp的剩余量比在编码或者解码处理中实际需要的运算量的剩余量小的情况下，由于所述计算出来的必要运算量Kp比在编码或者解码处理中实际需要的运算量小，因此发生失败现象的可能性高。因此，通过第二失败避免单元/步骤，按照规定的定时进行对动态图像编码或者解码处理的插入，比较上述剩余量。而且，在与实际需要的运算量相比必要运算量Kp的剩余量小的情况下，判断为在时间Te内未完成编码或者解码处理而发生失败现象，提高处理器的工作频率和工作电压。由此，处理器的计算速度变大，因此可处理的处理量增加，可以避免失败现象。如果插入的次数为多次，可以根据处理状态阶段地提高工作频率和工作电压，进而提高可以避免失败现象的可能性。
所述处理器的特征在于，r阶段地(r为大于等于2的整数)预先准备可工作的可工作频率，用Fe＝Kp/Te计算在所述时间Te内处理必要运算量KD所必要的工作频率Fe，所述处理器在可工作的可工作频率中决定大于等于所述必要的工作频率Fe且最接近其工作频率Fe的工作频率F。
根据本发明，用Fe＝Kp/Te计算在时间Te内处理必要运算量Kp所必要的工作频率Fe之后，所述处理器在可工作的可工作频率中决定大于等于所述必要的工作频率Fe且最接近其工作频率Fe的工作频率F，并且，决定适合于被决定的工作频率F的工作电压V，处理器以该工作频率F和工作电压V工作的同时进行编码或者解码。即，处理器在可工作的可工作频率和工作电压中，根据在时间Te内可处理必要运算量Kp的最小工作频率F以及工作电压V，使处理器工作的同时，在该处理器上进行上述一个帧的编码或者解码处理，因此使用阶段性地准备可工作频率的处理器也可以高效率地进行低消耗功率化。
附图说明
图1是表示本发明的第一实施方式的动态图像编码处理系统的动作的概略框图。
图2是表示上述实施方式的动态图像编码处理系统的实用例的图。
图3是表示作为上述实施方式的动态图像编码处理系统使计算机实现功能的动态图像编码处理程序和由此实现的动态图像编码处理方法的概略流程图。
图4是表示上述实施方式的动态图像编码处理系统中的编码处理时间和运算剩余量的关系的图。
图5是表示在上述实施方式的动态图像编码处理系统中使用的处理器的工作电压/工作频率的概念图。
图6是说明本发明的有效性的图。
图7是表示本发明的第二实施方式的动态图像编码处理系统的动作的概略框图。
图8是表示作为上述实施方式的动态图像编码处理系统使计算机实现功能的动态图像编码处理程序的概略流程图。
图9是表示本发明的第三实施方式的动态图像解码处理系统的动作的概略框图。
图10表示对动态图像编码处理系统进行现有的低消耗功率化的方法的图。
图11是表示以帧为单位动态图像编码或者解码的运算量不同的状态的概念图。
具体实施方式
下面，关于本发明的动态图像编码或者解码处理系统以及处理方法，分成编码处理和解码处理进行说明。
(第一实施方式)
本发明的第一实施方式的动态图像编码处理系统，是例如通过内置微型计算机的移动电话或作为个人计算机等信息终端机器的计算机来实现，特别是在该计算机内作为多媒体信号处理部等的一部分来实现功能的系统，对由连续的规定数量的帧构成的动态图像以帧单位进行顺次编码。
图1是表示本实施方式的动态图像编码处理系统S1的动作的概略框图。动态图像编码处理系统S1是计算机(特别是计算机内的多媒体信号处理部)，其至少包括以下部分：r阶段(r是大于等于2的整数)地准备工作电压和工作频率(即，可以在r阶段的工作电压和工作频率工作)并且通过程序可以变更工作电压和工作频率的处理器1；具有DC-DC变换器或PLL等而且控制所述处理器1的工作电源电压和工作频率的工作电压/工作频率控制单元4；作为存储规定的数据的存储区域的局部解码帧存储器6；输入帧存储器7；要素存储器8；处理完成宏模块数寄存器10。其中，关于局部解码存储器6和输入帧存储器7等，也可以通过工作电压/工作频率控制单元4，与处理器1一样控制工作电压/工作频率。在本实施方式中，关于在用虚线表示的控制区域CA中包含的要素(处理器1、局部解码帧存储器6、要素存储器8、处理完成宏模块数寄存器10、输入帧存储器7a和7b等)，控制工作频率和工作电压。
作为在处理器1工作的单元，处理器1具有必要运算量单元2、工作电压/工作频率计算单元3、动态图像编码单元5、两个失败避免单元9和11。两个失败避免单元9、11是用来避免失败现象的单元，该失败现象是在用必要运算量计算单元2计算出来的必要运算量比基于编码单元5的编码处理中实际需要的运算量还小的值的情况下起因的失败现象，是作为必要运算量计算单元2的一部分实现功能的第一失败避免单元11和作为第二失败避免单元的处理结述判断单元9。此外，符号101是输入图像数据、符号102是工作电压和工作频率指示、符号103是前帧的局部解码数据、符号105是工作电压/工作频率供给、符号106是帧的编码数据、符号107是前帧的量化步长的平均值的信息、符号108是表示对各帧进行帧内编码还是进行帧间编码的种类、符号109是动态图像的编码比特速率的信息、符号110是前帧的活动量、符号111是前帧的宏模块匹配次数、符号112是前帧的有效块数、符号113是前帧的有效系数的数量、符号114是前帧的量化步长的平均值和其前一帧的量化步长的平均值的差、符号115是前帧的编码中实际需要的处理量、符号116是通过必要运算量计算单元2计算出来的前帧的必要运算量、符号117是作为编码处理结束的宏模块数的处理宏模块数。要素存储器8是存储在后述的必要运算量计算单元2中使用的多个要素中的一部分要素(表示帧内编码还是帧间编码的种类108、编码比特速率109、帧的活动量110、通过必要运算量计算单元2计算出来的必要运算量116)的存储区域。处理结束宏模块数寄存器10暂时地存储编码处理结束的宏模块数117的信息。在动态图像编码单元5作为编码方法使用MPEG-4，但是也可以使用H.26X或MPEG-1、MPEG-2等其他编码方式。
图2表示动态图像编码处理系统S1的实施例。系统S1主要通过硬件来实现，该硬件具有处理器1、作为周边装置的各种存储器MR、7a、7b或各种接口CI、DI、BI，工作电压/工作频率控制线路4a等。上述各构成要素通过总线B1，B2可以互相进行通信。
处理器1具有处理器核心部分1a、命令高速缓冲存储器1b、数据高速缓冲存储器1c。根据需要在存储器核心部分1a上实行存储在存储器MR的程序，由此实现必要运算量计算单元2、工作电压/工作频率决定单元3、动态图像编码单元5、失败避免单元9和11。命令高速缓冲存储器1b和数据高速缓冲存储器1c是为了实现在处理器核心部分1a上实行的程序的处理的高速化设置的高速缓冲存储器。
局部解码帧存储器6、要素存储器8、处理结束宏模块数寄存器10被汇集在图2的存储器MR的同时，前帧的量化步长的平均值107、表示关于各帧进行帧内编码还是进行帧间编码的种类108、动态图像编码的比特速率109、前帧(过去的帧)的活动量110、前帧的宏模块匹配次数111、前帧的有效块数112、前帧的有效系数的数量113、前帧的量化步长的平均值和其前一帧的量化步长的平均值的差114、前帧的编码中实际需要的处理量115、通过必要运算量计算单元计算出来的前帧的必要运算量116和处理结数宏模块数117作为数据存储在存储器1f。局部解码数据103作为信号100j、100k、100l通过总线控制器BC在存储器MR和处理器核心部分1a之间被收发。
两个输入帧存储器7a和7b相当于图1的帧存储器7。由照相机接口CI输入的视频数据(输入图像数据101)通过总线B2被输入到输入帧存储器7a(或者输入帧存储器7b)。输入帧存储器(#0)7a和输入帧存储器(#1)7b在每次结束一个帧的处理时改换用途。即，在第i个帧的处理中，通过信号100h在输入帧存储器(#1)7b写入输入图像数据、为了基于动态图像编码处理单元的编码处理通过信号100o从输入帧存储器(#0)7a读出了输入图像数据时，在第(i+1)个帧的处理中，通过信号100i在输入帧存储器(#0)7a写入输入图像数据、为了基于动态图像编码处理单元的编码处理通过信号100p从输入帧存储器(#1)读出输入图像数据。因此，当通过信号100h在输入帧存储器(#1)7b中写入输入图像数据时，信号100p不发生，反之当通过信号100p读出图像时信号100h不发生。同样，当通过信号100i在输入帧存储器(#0)7a中写入输入图像数据时，信号100o不发生，当通过信号100o从输入帧存储器(#0)7a读出输入图像数据时，信号100i不发生。此时，在第i个帧的处理中输入帧存储器(#0)7a成为工作频率和工作电压的控制对象，在第(i+1)个帧的处理中，输入帧存储器(#1)7b成为工作频率和工作电压的控制对象。如上所述，准备两帧的输入帧存储器，使能够独立地设定各个工作频率，由此可以始终互相无妨碍地进行来自作为一定工作频率的照相机接口CI的输入图像数据的写入动作、和根据必要运算量的计算值变更工作频率的输入图像数据的读出动作。
工作电压/工作频率控制线路4a可以和PLL4b、DC-DC变换器4c互相收发信号，这些作为工作电压/工作频率控制单元4来实现功能。工作电压/工作频率控制线路4a通过来自处理器核心部分1a的信号100e接受工作电压/工作频率指示102，根据该指示102对PLL4b发送信号100u，对DC-DC变换器4c发送信号100v。PLL4b根据信号100u发送工作频率信号100a，DC-DC变换器4c根据信号100v提供工作电压100b。由此，关于图2中用虚线表示的控制区域中包含的要素(处理器1、存储器MR、输入帧存储器7a和7b、总线控制器BC等)，控制工作频率和工作电压。根据PLL4b输出的工作频率信号100a、DC-DC变换器4c输出的电源电压供给100b的值，信号100e、100j、100k、100l、100m、100o、100p、100q、100r、100s变化频率和信号等级。
基于在处理器1上工作的动态图像编码单元5的编码后的编码数据106通过总线B1，作为信号100m发送到比特流接口BI之后作为信号100n被输出，并且，被发送到作为局部解码帧存储器6来实现功能的存储器MR。另外，图像数据等作为信号100q通过总线B1从存储器被读出，被发送到显示器接口DI。被显示器接口DI接收到的信号100q作为基于信号100t的视频数据被输出。视频数据通过与显示器接口DI连接的监控器，输出显示成动态图像。
工作电压/工作频率控制线路4a、显示器接口DI、比特流接口BI始终工作在一定的工作电压，但是在其之间收发的信号100e、100q、100m根据包含在控制区域CA中的要素(处理器1或存储器MR或输入帧存储器7a、7b等)的工作电压的变更，变动信号等级。为了吸收该影响，优选工作电压/工作频率控制线路4a、显示器接口DI、比特流接口BI具有修正接收到的信号100e、100q、100m的信号等级的等级变换器。
下面，按照图1对本实施方式的动态图像编码处理系统S1的动作进行说明。通过动态图像编码处理程序Prg1使计算机(特别是计算机内的多媒体信号处理部)作为下述的规定的单元来实现功能，由此实现动态图像编码处理系统S1。下面，设在依次被编码的帧中接下来被编码的任意一个帧作为现帧(即，以某一个帧被进行编码的时间点作为基准的话是下一个被编码的帧，换言之，在该时间点未进行编码处理的、将要进行编码处理的帧)、设现帧之前被进行编码了的一个帧(过去被编码了的帧)作为前帧，来说明对现帧进行编码的处理，但是对于任何一个帧都进行同样的处理。
图3是表示该动态图像编码处理程序Prg1的概略流程图。在后面所述的步骤1到步骤5中，动态图像编码处理程序Prg1使计算机作为下述的各单元实现功能。(步骤1)将现帧的图像信息输入到输入帧存储器7。(步骤2)作为计算现帧的必要计算量Kp的必要运算量计算单元2实现功能。(步骤3)作为根据计算出来的必要运算量Kp计算处理器的工作频率F和工作电压V的工作电压/工作频率计算单元3实现功能。(步骤4)作为进行使处理器1以计算出来的工作频率F和工作电压V工作的控制的工作电压/工作频率控制单元4实现功能。(步骤5)作为对现帧的图像信息进行编码的动态图像编码单元5实现功能。以上，按照输入到输入帧存储器7的帧的顺序(即，被进行编码的顺序)对所有的帧进行步骤1到步骤5的处理，由此进行动态图像的编码。下面详细进行说明。
(步骤1)由于被输入的输入图像数据与帧同步，因此存储在作为暂时地存储帧的存储区域的输入帧存储器7中。
(步骤2)必要运算量计算单元2访问输入帧存储器7取得现帧的输入图像数据101，计算在现帧的编码处理中所必要的必要运算量Kp。必要运算量Kp的计算方法有各种方法，例如，优选使用一个或一个以上的对现帧的编码处理的运算量带来影响的要素来计算。注意到在动态图像编码处理中在处理内容为移动补偿的情况下，在剧烈移动的映像中运算量大，另一方面在移动少的映像中运算量少这一情况，作为现帧和前帧的移动量，作为要素，例如，有作为现帧和前帧的移动量用差分绝对值和计算的失真值、作为各个帧的活动量用邻接像素差分绝对值和计算出来的值、宏模块匹配次数、有效块数、有效系数的数量、编码比特速率、发生比特数、在前帧的编码中实际需要的运算量、通过必要运算量计算单元2计算出来的前帧的必要运算量。这里，关于各个要素，在假定只有一个要素的值发生变化、其他的要素的值没有发生变化时，该一个要素的值大的情况与小的情况相比必要运算量相对地大，该一个要素的值小的情况与大的情况相比必要运算量相对地小。另外，现帧被进行帧内编码的情况与进行帧间编码的情况相比必要运算量Kp相对地小，进行帧间编码的情况与进行帧内编码的情况相比必要运算量Kp相对地大。即，这些要素对现帧的编码处理所必要的必要运算量带来影响，因此必要运算量计算单元2进行计算使得根据这些要素增减必要运算量Kp(周期)，由此必要运算量计算单元2计算出来的必要运算量Kp的值更接近实际进行编码处理时的运算量。
例如，在本实施方式中，使用函数G计算，比较存储在输入帧存储器7中的现帧的输入图像数据101和存储在局部解码帧存储器6中的已被解码的前帧的局部解码数据103，进行输入图像的移动大小的预测(计算)。该前帧的局部解码数据103在现帧之前被进行编码的前帧的编码处理中，用局部译码器解码，由此形成对前帧的编码形成的前帧的编码数据106，并存储在局部解码帧存储器6中。作为移动大小的预测(计算)的一个例子，例如使用差分绝对值和。以下，对差分绝对值和∑和必要运算量Kp的计算方法进行说明。此外，作为前帧的图象数据，可以使用解码后通过局部译码器解码的局部解码数据106，也可以使用被输入的前帧的输入图像数据本身。
如果将在输入帧存储器7中存储的现帧的输入图像数据101设为X(i，j)(i是图像的水平方向的坐标、j是垂直方向的坐标)、将在后述的局部解码帧存储器6中存储的前帧的局部解码数据103设为Y(i，j)(i是图像的水平方向的坐标、j是垂直方向的坐标)，则现帧和前帧的移动量通过对所有的(或者采样的)像素计算差份绝对值和Z＝∑|X(i，j)-Y(i，j)|得出。将该差分绝对值和的值设为Z。另一方面，在X(i，j)中对所有的(或者采样的)输入图像计算邻接像素差分绝对值和W，即，水平方向Wh＝∑|X(i，j)-X(i-1，j)|、垂直方向Wv＝∑|X(i，j)-X(i，j-1)|，由此求出帧的移动量。将该邻接像素差分绝对值和的值(即各帧的移动量)设为W。
设差分绝对值和为Z、设现帧的移动量为Wa、设前帧(过去的帧)的移动量为Wb、设前帧的平均量化步长(量化步长的平均值)为Qprev、设前帧的宏模块匹配次数为M、设前帧的有效块数为B、设前帧的有效系数的数量为C、设在前帧的解码中实际需要的处理量为S、设现帧的解码比特速率为BR、设前帧的量化步长的平均值和其一个之前的帧的量化步长的平均值的差为ΔQprev、设前帧的实际发生比特数为D、设计算出的前帧的必要运算量为Kp’，使用这些要素中的一个或一个以上，用Kp＝G(Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’)…(式1)计算必要运算量Kp。其中G是从Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’中的一个或一个以上的要素导出的函数。作为其一个例，有Kp＝j+αM+βB+γC+δZ+εΔQprev...(式2)，但是并不限于这些。另外，作为在必要运算量Kp的计算中的要素，使用表示现帧是被进行帧内编码还是被进行帧间编码的种类I。在现帧为帧内编码的情况下的必要运算量Kp是小值、在是帧间编码的情况下的必要运算量Kp是大值。即，必要运算量计算单元2在使用差分绝对值和Z时，计算差分绝对值和Z＝∑|Xij-Yij|之后，计算必要运算量Kp＝G(Z、Wa、Wb、Qprev、M、B、C、S、BR、ΔQprev、D、Kp’)。
以下，对上述函数G进行说明。在前帧和现帧之间图像变化大(小)的情况下，即在差分绝对值和Z大(小)的情况下，在现帧执行的宏模块匹配的次数变大(小)，在现帧的移动检测处理中需要的运算量(依赖于被执行的宏模块匹配次数)变大(小)。另外，在现帧的活动量Wa大(小)的情况下，意味着现帧包含的图像的高频成分多(少)，此时，在现帧的编码处理中发生的有效块数、有效系数的数量变大(小)，在现帧的IDCT处理中所必要的运算量(依赖于发生的有效块数)、在IQ处理中所必要的运算量(依赖于发生的有效系数的数量)、在VLC处理中所必要的运算量(依赖于发生的有效系数的数量)变大(小)。因此，上述函数G在Z、Wa等参数大(小)的情况下，设定Hp为大(小)。
由于动态图像在连续的帧间的相关大，因此在编码处理中执行的宏模块匹配次数、在编码处理中发生的有效块数、有效系数的数量、在编码处理中所必要的运算量、活动量的值在时间上连续的帧间非常接近。因此，在M、B、C、S、Wb大(小)的情况下，在现帧也是宏模块匹配次数、有效块数、有效系数的数量、在编码处理中所必要的运算量、活动量变大(小)的概率大。进而，在用必要运算量计算单元计算出的预测运算量的值接近在实际的编码处理中需要的运算量的情况下，SHp’。因此，上述函数G在M、B、C、S、Wb、Hp’等参数大(小)的情况下，设定Hp为大(小)。
在目标比特速率大(小)的情况下，设定量化步长的值为小(大)。其结果是，在编码处理中发生的有效块数、有效系数的数量变大(变小)。另外，在前帧的发生比特数与目标比特速率相比大(小)的情况下，设定现帧的量化步长的值为小(大)，在编码处理中发生的有效块数、有效系数的数量变小(大)。因此，上述函数G在现帧的编码比特速率BR大(小)的情况下，设定Hp为大(小)，在前帧的实际发生比特数D与BR相比大(小)的情况下，设定Hp为小(大)。进而，考虑到前帧的平均量化步长Qprev或前帧的量化步长的平均值和其一个帧之前的帧的量化步长的平均值的差ΔQprev，上述函数G可以使计算出的Hp的值接近在实际对现帧进行编码时所必要的运算量。
(第一失败避免步骤)另外，还由于很难产生失败现象，因此在必要运算量计算单元2中包含的第一失败避免单元11使必要运算量Kp的值增加规定量，进行使计算出的必要运算量Kp有余量的处理。具体地说，使必要运算量Kp增加m倍(m为大于等于1的实数)。例如，若m＝1.1，则对计算出的必要运算量Kp，可以具有10％的余量。另外，可以在必要运算量Kp加上实数n(n为大于等于0的实数)，与计算出来的必要运算量的值无关可以以一定值具有余量。利用上述的例子，则最终计算出的必要运算量Kp通过
Kp＝G(Z)×m…(式3)
Kp＝G(Z)+n…(式4)
求出。也可以与式2组合成
Kp＝G(Z)×m+n…(式5)。
但是，如果计算出的必要运算量Kp还比在实际现帧的必要运算量Km小，则通过在作为后述的第二失败避免单元的处理结束判断单元9中进行处理，来避免失败现象。
此外，动态图像编码比特速率109、表示对现帧和前帧进行帧内编码还是进行帧间编码的种类108、前帧的活动量110、通过必要运算量计算单元计算出的前帧的必要运算量116被事先存储在作为存储要素的存储区域的要素存储器8，在计算必要运算量Kp时被必要运算量计算单元2读入并被使用。前帧的量化步长的平均值107、前帧的宏模块匹配次数111、前帧的有效块数112、前帧的有效系数的数量113、前帧的量化步长的平均值和其一个帧之前的帧的量化步长的平均值的差114以及在帧的编码中实际需要的处理量115在进行了前帧的编码处理时，从动态图像编码单元5被反馈到必要运算量计算单元2。在必要运算量计算单元2，在这些要素中可以只使用一个要素，也可以将多个要素组合起来使用。
(步骤3)工作电压/工作频率计算单元3根据必要运算量Kp的值，进行预测对现帧处理的工作频率Fe(周期/秒)的计算。即，通过编码方式规定处理时间的最小单位为1帧，若设分配给现帧的编码处理的时间为Te(秒)，则在现帧所必要的工作频率Fe(周期/秒)即在时间Te(秒)内可以对所述必要运算量Kp进行编码处理的工作频率Fe(周期/秒)用Fe＝Kp/Te表示，由此工作电压/工作频率计算单元3计算工作频率Fe＝Kp/Te。其中，分配给规定帧的编码处理的时间Te是从一帧处理的限制时间Tf引入预测对规定帧的运算量的时间Tp和变更处理器的工作频率/工作电压/基板偏置电压的时间Tp的时间。如图5所示，在包含处理器1和(或)局部解码存储器6等的周边装置支持的工作电压/工作频率可用r(r为大于等于2的整数)阶段变更的情况下，工作电压/工作频率计算单元3进行选择F(r)＞Fe且F(r-1)＜Fe的工作频率F(r)作为进行现帧的编码处理的工作频率的计算，进行选择适合于该工作频率F(r)的工作电压V(r)的计算，向工作电压/工作频率向工作电压/工作频率控制单元4指示，以使包含处理器1和(或)局部解码存储器6等的周边装置以该工作频率F(r)和工作电压V(r)工作(符号102)。
(步骤4)工作电压/工作频率控制单元4将从工作电压/工作频率计算单元3接收到指示的工作电压V(r)和工作频率F(r)的值提供给包含处理器1和(或)局部解码存储器6等的周边装置(符号105)，进行使处理器1固定地以该工作电压V(r)和工作频率F(r)工作的控制。由此，包含处理器1和(或)局部解码存储器6等的周边装置就以一定的工作电压V(r)和工作频率F(r)工作。
(步骤5)动态图像编码单元5是通过动态图像编码处理程序Prg1在计算机的处理器1上实现的单元，是使用处理器1以进行动态图像编码的单位访问存储在输入帧存储器7中的输入图像数据，并进行编码处理的单元。即，动态图像编码单元5从输入帧存储器7取得现帧的输入图像数据101，进行编码生成编码数据106。在步骤4，由于包含处理器1和(或)局部解码存储器6等的周边装置处于以由工作电压/工作频率控制单元4提供的一定的工作电压V(r)和工作频率F(r)工作的状态，因此在步骤5，工作电压/工作频率控制单元4使包含处理器1和(或)局部解码存储器6等的周边装置固定地以该工作频率F(r)和工作电压V(r)工作，同时使用该处理器1进行编码的动态图像编码单元5进行现帧的编码。例如，对于剧烈移动的图像(现帧的输入图像数据101)使包含处理器1和(或)局部解码存储器6等的周边装置固定地以高频工作，对于移动少的图像使包含处理器1和(或)局部解码存储器6等的周边装置固定地以低频工作，由此可以实现低消耗功率化。并且，动态图像编码单元5包括具有对编码数据106进行解码的功能的局部译码器，现帧的编码数据106被局部译码器解码并作为局部解码数据103存储在局部解码帧存储器6中。在对现帧之后被进行编码的帧计算必要运算量Kp时使用该现帧的局部解码数据103。现帧的编码数据106通过传送线路被发送，或存储在存储介质。
(第二失败避免步骤)进而，在用上述必要运算量计算单元2计算出的必要运算量Kp比实际现帧的必要运算量还小的情况下，在分配给现帧的处理的时间Te内未完成处理，发生失败现象。因此，本系统S1具有在预先分配给所述一个帧的编码或解码处理的时间Te内未完成该一个帧的编码处理的情况下进行避免失败现象的处理的第二失败避免单元。在本实施方式中，作为第二失败避免单元具有处理结束判断单元9。处理结束判断单元9在步骤5，在动态图像编码单元5执行现帧的输入图像数据101的编码处理例行程序(routine)时，按照规定的定时进行对编码处理例行程序的插入，在处理时间内暂时地中断，判断现帧的编码处理是否结束。在存在未被进行编码的宏模块的情况下，可以判断为用所述必要运算量计算单元计算出的必要运算量比实际需要的运算量还小、在时间Te内未完成处理从而发生失败现象的可能性高，因此对该宏模块进行无效块化处理。在这里，通过处理结束判断单元9，如果至少在不发生失败现象的时间点进行插入时未完成编码处理，则进行变更为可以大幅度地削减剩下的处理等的无效块化处理，由此可以避免在时间内不能完成编码处理的失败现象。
以下，具体地说明处理结束判断单元9。图4表示进行插入时的时间和运算剩余量的关系。在分配给工作在工作频率F的现帧处理的时间Te内，设一帧的宏模块数为MB、设将一个宏模块作为无效宏模块进行处理时必要的运算量为Ks。其中，在作为无效宏模块进行处理时所必要的运算量Ks的值与在一宏模块的通常的处理中需要的运算量相比明显地小，对哪一个帧的宏模块都进行同样的处理。处理结束判断单元9用Ti＝Te-Ks×MB/F计算进行分配的时间Ti。进行插入的时间可以由所述工作电压/工作频率计算单元3计算。然后，处理结束判断单元9按照时间Ti的定时进行对编码处理例行程序的插入，从处理完成宏模块数寄存器10中读出编码处理结束的宏模块数MBi(符号117)，判断MBi＝MB还是MBi＜MB，判断编码处理结束的有无。如果MBi＝MB，则现帧的编码处理结束，因此就终止插入程序，回到编码处理例行程序。如果MBi＜MB，则现帧的编码处理未结束，因此判断为用必要运算量计算单元2计算出的必要运算量比实际需要的运算量还小，将未进行编码处理的全部宏模块作为无效快进行处理，回到编码处理例行程序。在按照时间Ti的定时进行分配的时间点，至少确保将所有的宏模块作为无效块进行处理的运算量，因此一定可以避免失败现象。
此外，换成无效块化处理，如后面所述可以通过提高处理器1的工作频率和工作电压，来避免失败现象。在这种情况下，在预先分配给现帧的编码处理的时间内，按照留出可以对未进行编码处理的所有的宏模块进行编码的时间的定时进行插入。
(证明)
以下，一边多次变更处理器的工作电压和工作频率一边与对一帧进行编码的现有技术进行比较，证明通过本发明可以实现低消耗功率化。例如，在某特定的时间Tt进行某特定的运算量Kt的情况下，如果在该特定的时间之间用同一个频率进行控制并且设频率Ft为
Ft＝Kt/Tt…(式6)的话可以实现低消耗功率化。例如，处理器1的工作电压和工作频率如图5所示，在P阶段可变，设任意的一个帧的必要运算量为Kt，设分配给该帧的处理的时间为Tt。如图6所示，设工作频率为Ft，设使处理器1工作在工作频率Ft时的工作电压为VDD，设在时间Tt必要运算量Kt的处理结束的情况(即，工作频率一定的情况)为Case1，如图6(b)所示，设初始值的工作频率为h*Ft，设使处理器工作在工作频率h*Ft时的工作电压为V1，在经过时间T1的时间点将处理器的工作频率变更为h*Ft/2，设使处理器1工作在工作频率h*Ft/2时的工作电压为V2，设在时间T1+T2必要运算量Kt的处理结束的情况(即进行一次工作频率的切换的情况)为Case2，关于各Case1，Case2考虑对所述任意的一个帧进行编码的情况。在任何一种情况下运算量一样，即为Kt(周期)。另一方面，消耗功率用下列式表示：
p＝α×C×f×VDD2×t…(式7)
α：系数、C：处理器的晶体管数
f：工作频率、VDD：工作电压、t：工作时间
利用这些式计算Case1的消耗功率Pa和Case2的消耗功率Pb，则成为
Pa＝α×C×Ft×V2×Tt…(式8)
Pb＝α×C×(h×Ft)×V12×T1+α×C×(h×Ft/2)×V22×T2…(式9)，
Pa∶Pb＝V2×Tt∶(h×V12×T1+(h/2)×V22×T2)…(式10)。
这里，例如设h＝1.5、T1＝1/3×Tt、Tb＝2/3×Tt、V＝1、V1＝1.5、V2＝0.75，则成为
Pa∶Pb＝12∶(1.5×1.52/3+(1.5/2)×0.752×(2/3)1∶1.41…(式11)
Pa＜Pb。即，在将被决定的运算量在一定时间处理的情况下，尽管是同一个运算量Kt，如Case1的情况，可以看出：根据在该时间内可完成处理的最小频率、通过该处理时间后使处理器固定地工作在该频率比如传统的在处理时间中变更工作频率的Case2的情况消耗功率更低。因此根据一边使处理器1工作在一定的工作电压和工作频率一边进行一个帧的编码处理的本发明，可以看出由于对每一块决定工作电压和工作频率，因此与在一个帧的编码中几次变更工作电压和工作频率的现有技术相比，更容易实现低消耗功率化。
(第二实施方式)
图7是表示第二实施方式的动态图像编码处理系统S2的动作的概略框图。本实施方式的动态图像编码处理系统2至少具有运算剩余量判断单元29，代替在所述第一实施方式的动态图像编码处理系统S2中作为第二失败避免单元的处理结束判断单元9和处理完成宏模块数寄存器10。图8是表示该动态图像编码处理程序Prg2和由它实现的动态图像编码处理方法的概略流程图。程序Prg2是使计算机作为具有各单元的动态图像编码处理系统S2来实现功能的程序，包括插入在编码处理(步骤5)中执行的第二失败避免步骤。动态图像编码处理系统S2与所述动态图像编码处理系统S1不同，进行变更动态工作电压/工作频率控制，该动态工作电压/工作频率是使包含处理器1和(或)局部解码存储器6等的周边装置工作的工作频率和工作电压的动态工作电压/工作频率，由此解决上述问题。以下，详细说明动态工作电压/工作频率控制。
对现帧处理的工作频率和工作电压是根据由必要运算量计算单元2计算出的值，由工作电压/工作频率计算单元3计算。但是，在计算出的必要运算量Kp的值比在现帧处理中实际需要的必要运算量Km小的情况下，根据必要运算量Kp值计算出的工作频率和工作电压也会比适合实际的现帧处理的工作频率和工作电压小。
(第二失败避免步骤)在动态图像编码处理系统S2中，与所述动态图像编码处理系统S1一样，在动态图像编码单元5等间隔地设N次插入处理后暂时地中断编码处理，在该插入的时间点，运算剩余量判断单元29比较作为用必要运算量计算单元2计算出的现帧的必要运算量剩余量的运算剩余量Ki和在基于动态图像编码单元5的规定的帧的处理中实际需要的运算量剩余的运算量。即，在第i次插入处理中，运算剩余量判断单元29测定分配给现帧处理的剩余时间Ti和处理器1的工作频率F，用式Ki＝Ti×F计算运算剩余量Ki。另外，运算剩余量判断单元29保持从第一次到第(i-1)次的插入处理时刻T1，T2，...，T(i-1)以及在各插入时刻的处理器的工作频率F1，F2，...，F(i-1)，根据这些值，用式Kpm＝∑Fj×(T(j+1)-Tj)计算从现帧处理开始时刻到第i次插入处理发生时刻为止在现帧处理中消耗的运算量Kpm。其中，F0是在现帧的处理开始时设定的处理器的工作频率，j＝0，1，...，(i-1)。接着，运算剩余量判断单元29判断Ki≥Kpm×(MB-MBi)/MBi还是Ki＜Kpm×(MB-MBi)/MBi。当计算出的运算剩余量Ki和在现帧处理中消耗的运算量Kpm满足式Ki≥Kpm×(MB-MBi)/MBi时，插入处理结束后回到编码处理例行程序。动态图像编码单元5在第(i+1)次插入处理发生时刻为止，继续进行现帧的处理。运算剩余量判断单元29，当计算出的运算剩余量Ki和在现帧处理中消耗的运算量Kpm满足式Ki＜Kpm×(MB-MBi)/MBi时，判断为用必要运算量计算单元2计算出的必要运算量比实际需要的运算量还小，指示工作电压/工作频率控制单元4将工作电压和工作频率上升一阶段(符号104)。这里，也可以指示使工作电压和工作频率上升两个阶段。此外，MB表示在现帧中包含的宏模块总数，MBi表示第i次插入处理发生时刻的现帧编码处理完成宏模块数。通过设置以上处理，可以在现帧的处理途中使处理器的工作频率上升，因此即使现帧的处理开始时在处理器设定的工作频率比实现在现帧处理中需要的运算量的必要工作频率小，也可以不产生失败现象地完成现帧处理。此外，向动态图像编码单元5的插入时刻不局限于等间隔的N次，也可以在任意间隔的N次进行。另外，也可以用Ki≥Kpm×(BL-BLi)/BLi和Ki≥Kpm×(BL-BLi)/BLi代替式Ki≥Kpm×(MB-MBi)/MBi和Ki＜Kpm×(MB-MBi)/MBi。此处，BL表示包含在现帧的块总数，BLi表示在第i次插入处理发生时刻的现帧的处理完成块数。此外，本系统S2也可以具有第一失败避免单元11。
(第三实施方式)
本发明的第三实施方式的动态图像解码处理系统S3是对被进行编码的动态图像进行解码的系统。图9是表示动态图像解码处理系统S3的动作的概略框图。本实施方式的动态图像解码处理系统S3r阶段地准备工作电压和工作频率，并且包括通过程序可变更工作电压和工作频率的处理器1、控制所述处理器1的工作电压和工作频率的工作电压/工作频率控制单元4、存储前帧的解码数据的局部解码帧存储器36和在处理器1上工作的运算剩余量判断单元39。其中，局部解码存储器36可以与处理器1一样通过工作电压/工作频率控制单元4控制工作电压/工作频率。处理器1包括在处理器1上工作的必要运算量计算单元32、在处理器1上工作的工作电压/工作频率计算单元3、在处理器1上工作的动态图像解码单元35。符号301是输入编码数据、符号102是工作电压/工作频率指示、符号105是工作电压/工作频率供给、符号306是解码数据，和第一实施方式一样的符号是表示具有同样的功能或相当的功能的部分。不编码而进行解码这一方面以及下述以外的方面与第2实施方式相同。
按照图9，对动态图像解码处理系统S3的动作进行说明。以下，在依次被进行解码的帧中，将接下来开始解码的任意一个帧(即，以某一个帧被进行了解码的时间点作为基准的话是下一个被进行解码的帧，换言之，是在该时间点未进行解码处理的、将要进行解码处理的帧)作为现帧、将现帧之前被解码的一个帧(过去被解码的帧)为前帧，说明对现帧进行解码的处理，但是对任意一个帧都进行同样的处理。使计算机作为动态图像解码处理系统S3实现功能的动态图像解码处理程序Prg3与所述动态图像编码处理程序Prg1大致一样，但是在步骤5，使计算机(详细地说是内置在计算机的处理器1)作为解码现帧的编码数据的动态图像解码单元35来实现功能。对动态图像解码处理系统S3输入的输入编码数据301被输入到必要运算量计算单元32。必要运算量计算单元32计算编码数据301的一个帧(即现帧的编码数据301)的发生信息量(比特数)FB，进行预测必要运算量Kp的计算。必要运算量Kp用下列式表示。
Kp＝G(FB、MVa、MVv、B、C、BR、Q、ΔQ、I、E、P)…(式11)这里，FB表示现帧或前帧的编码数据的比特数、MVa表示现帧或前帧的移动矢量大小的平均值、MVv表示现帧或前帧的移动矢量大小的方差、B表示现帧或前帧的有效块数、C表示现帧或前帧的有效系数的数量、BR表示现帧或前帧的比特速率、Q表示现帧或前帧的量化步长的平均值、ΔQ表示现帧或前帧的量化步长的平均值的差或前帧和再前帧的量化步长的平均值的差、I是表示现帧是I图像、P图像还是B图像的种类、E表示在前帧的解码中实际需要的运算量、P表示通过必要运算量计算单元计算出的前帧的必要运算量。
在现帧的解码中所必要的运算量依赖于在现帧的解码中执行的IDCT处理、IQ处理、VLD处理的执行次数。另外，IDCT处理的执行次数依赖于包含在现帧的有效块数，IQ处理和VLD处理的执行次数依赖于包含在现帧的有效系数的数量。即，在包含在现帧的有效块数或有效系数的数量大(小)的情况下，在解码处理中所必要的运算量变大(小)。因此，上述函数G在B、C大(小)的情况下，设定Hp为大。
在前帧和现帧之间的图像的变化大(小)的情况下，移动矢量大小的平均值MVa或移动矢量大小的方差MVv变大(小)，但是此时现帧的有效块数或有效系数的数量变大(小)，在编码处理中所必要的运算量变大(小)。因此，上述函数G在MVa或MVv大(小)的情况下，设定Hp为大(小)。
在现帧为I图像的情况下，在生成解码数据时不进行预测图像和差分图像的加法运算，因此在解码处理中所必要的运算量变小。因此，上述函数G在现帧为I图像的情况下，设定Hp为大。
在编码数据的比特数FB或帧速率BR大(小)的情况下，有效块数或有效系数的数量变大(小)。因此，上述函数G在FB或BR大(小)的情况下，设定Hp为大(小)。另外，量化步长在比特速率的控制时其值发生变化，因此例如在Q或ΔQ大(小)的情况下，如设定Hp为小(大)，考虑量化步长的平均值Q或量化步长的平均值的差ΔQ，由此上述函数G可以使Hp的值接近在解码现帧时实际所必要的运算量。
由于动态图像是在连续的帧间的相关大，因此MVa、MVv、B、C、BR、FB、Q在现帧和前帧其值接近。因此，在上述函数G使用这些参数的情况下，可以使用在现帧的值，也可以使用在前帧的值。在使用在现帧的值的情况下，接收到输入编码数据后，对该数据的一部分进行解码，读取其值并使用。此时，有通过使用在现帧的值可以使预测运算量Hp更接近在实际的解码处理中所必要的运算量的优点。在使用前帧中的值的情况下，接收现帧的输入编码数据之前可以计算出预测运算量Hp，因此有可以接收输入编码数据的同时对接收完的数据部分进行解码处理的优点。
另外，由于动态图像在连续的帧间的相关大，因此在现帧的解码处理中所必要的运算量的值接近在前帧的解码处理中实际所必要的运算量E。进而，在用必要运算量计算单元计算出的预测运算量的值接近在实际的解码处理中需要的运算量的情况下，PE。因此，如设现帧的必要运算量为按照FB、Mva、MVv、B、C、BR、Q、ΔQ等参数的大小增减E或P的值等，考虑E或P，上述函数G可以使计算出的Hp的值接近在实际对现帧进行解码时所必要的必要运算量。
在必要运算量计算单元32中，在这些要素中可以只使用一个要素，也可以将多个组合起来使用。即，由于这些多个要素对在现帧的解码处理中所必要的必要运算量带来影响，因此必要运算量计算单元32进行计算，以使根据这些要素增减必要运算量Kp(周期)，由此使通过必要运算量计算单元32计算出的必要运算量Kp的值更接近实际进行了解码处理时的运算量。
工作电压/工作频率计算单元3和工作电压/工作频率控制单元4与所述第一实施方式一样。动态图像解码单元35对现帧的输入编码数据301进行解码后生成解码数据306。在通过动态图像解码单元35进行解码处理时，通过工作电压/工作频率控制单元4使处理器1以一定的工作电压和工作频率工作，同时进行解码处理。对每个帧，在该帧的解码处理之前计算出必要的必要运算量，使处理器以适应该必要运算量的一定的工作频率和工作电压工作，同时进行该帧的解码，因此，与对把帧分割而形成的规定数量的每个块来变更工作频率和工作电压的现有技术相比，更容易实现低消耗功率化。解码数据306作为动态图像被显示在移动电话或个人计算机的图像显示部，也可以被存储在硬盘等存储介质。
在动态图像解码处理系统S3中也作为第二失败避免单元具有运算剩余量判断单元39。运算剩余量判断单元39大致与上述的第二实施方式一样，但是不同点在于不是判断编码处理的运算量而是判断解码处理的运算量。通过运算剩余量判断单元39可以避免失败现象。此外，如上述第一实施方式，也可以作为第一失败避免单元具有处理结束判断单元。此外，在解码处理中不具有处理结束判断单元，不进行无效块化处理。
本发明的动态图像编码处理系统可以分别单独具有第一失败避免单元11、作为第二失败避免单元的处理结束判断单元9、作为第二失败避免单元的运算剩余量判断单元29和39，还可以具有将各单元适当地组合。例如，具有全部第一和各第二失败避免单元，在通过第一失败避免单元11增加必要运算量也不能避免失败的情况下，通过作为第二失败避免单元的运算剩余量判断单元29和39提高工作电压和工作频率，进而，还不能避免失败现象的情况下，也可以进行通过作为第二失败避免单元的处理结束判断单元9简化编码处理等失败避免处理。另外，上述动态图像编码处理程序可以用具有和程序同样功能的硬件来实现。
(实施例1)
对第一实施方式的动态图像编码系统S1的实施例1进行说明。作为编码对象，使用由75个帧构成的动态图像数据，作为被进行编码的帧，以第32个帧为例进行说明。各帧由144行176列的像素阵列构成。作为编码处理，使用MPEG-4。动态图像编码系统S1的处理器1使每工作频率189MHz～405MHz、工作电压1.06V～1.80V和工作频率27MHz、工作电压0.0925V等间隔地在9阶段可变。
首先，动态图像编码系统S1访问输入帧存储器7，取得第32个帧，通过必要运算量计算单元2计算该帧的必要运算量Kp。具体地说，必要运算量Kp，首先作为前帧使用第31个帧，通过以下式计算差分绝对值和Z。
Z＝∑|Xij-Yij|＝202752
然后，通过以下式计算作为现帧的第32个帧的活动量W。
水平方向Wh＝∑|X(i，j)-X(i-1，j)|＝76032
垂直方向Wv＝∑|X(i，j)-X(i，j-1)|＝126720
进而，得出前帧的宏模块匹配次数M＝1580、前帧的平均量化步长(量化步长的平均值)Qprev＝4、前帧的有效块数B＝399、前帧的有效系数的数量C＝6011、在前帧的编码中实际需要的处理量S＝15447105、现帧的编码比特速率BR＝65536。另外，计算出前帧的量化步长的平均值和其一个之前的第30个帧的量化步长的平均值的差ΔQprev＝-1。另外，得出前帧的实际发生比特数D＝56797。接着，使用各要素通过以下式计算必要运算量Kp。
Kp＝j+αM+βB+γC+δZ+εΔQprev
由此在本实施例1中可以得出必要运算量Kp＝14481056。
进而，由根据各要素计算出的上述必要运算量Kp＝14481056，用以下式进行增加必要运算量Kp的计算。此外，在这里，以上述式3为例进行说明。
Kpf＝14481056×1.1＝15929162
接着，用以下式计算工作频率。
Fe＝Kpf/Te＝15929162/(1/15)＝239MHz
计算F(r)＞Fe并且F(r-1)＜Fe的F(r)，在处理器1的可在9个阶段变化的工作频率中，作为满足该工作频率的工作频率，选择工作频率243MHz和工作电压1.25V。指示工作电压/工作频率控制单元4，以使处理器1至少以工作频率F(r)＝243MHz和对应的工作电压V(r)＝1.25V工作。工作电压/工作频率控制单元4进行使处理器至少在工作电压243MHz和工作频率1.25V一定地工作的控制。动态图像编码单元5从输入帧存储器7取得帧F，使用处于在工作频率243MHz和工作电压1.25V一定地工作的状态的处理器1，进行编码处理、生成编码数据。
进而，在执行编码处理例行程序时，处理结束判断单元9通过以下式计算插入时间，进行插入。
Ti＝Te-Ks×MB/F
  ＝0.06666-37×99/(243000000)
  0.06665
进而，处理结束判断单元9在该插入的定时判断是否为Mbi＜MB。在本实施例中，在Ti＝0.06665的定时，Mbi＜MB，由于现帧的编码处理未结束，因此将剩下的宏模块全部作为无效块来进行处理，回到编码处理例行程序。
(实施例2)
说明关于第二实施方式的动态图像编码系统S2的实施例2。在本实施例2中，设在编码处理中进行4次插入。运算剩余量判断单元29在第一次和第二次插入时，计算Ki＝Ti×F和Kpm＝∑Fj×(T(j+1)-Tj)，进而作为实际需要的运算量的剩余量计算Kpm×(MB-MBi)，判断Ki≥Kpm×(MB-MBi)/MBi还是Ki＜Kpm×(MB-MBi)/MBi。在本实施例2中，由于Ki≥Kpm×(MB-MBi)/MBi，因此完成插入，到第3次插入为止，动态图像编码单元5继续进行编码处理。在下一个插入的第3次插入时也进行同样的计算和判断。在本实施例2中，由于Ki＜Kpm×(MB-MBi)/MBi，所以将使工作频率和工作电压上升了一个阶段的频率Fp+1＝270MHz和电压Vp+1＝1.34作为工作频率和工作电压，指示工作电压/工作频率控制单元4。
产业上的可利用性
如上所述，通过本发明的动态图像编码或解码处理系统和动态图像编码或解码处理方法，对接下来进行编码或解码的现帧(将要进行编码或解码的帧)，进行预测在编码或解码中需要的必要运算量的计算，在分配给该现帧处理的时间内以最小限度的工作频率大致一定地进行控制，由此以帧为单位在定时控制工作电压/工作频率，因此可以实现低消耗功率。
另外，由于具有失败避免单元，因此可以避免在计算出来的必要运算量比实际需要的运算量小的情况下引起的失败现象，可以防止被进行编码或解码处理的动态图像恶化。

Claims (18)

1.一种动态图像编码或解码处理系统，其特征在于，
具备对由多个帧构成的动态图像以帧为单位进行编码或解码的处理器；
计算在一个帧的编码或解码中所必要的必要运算量Kp；
决定在预先分配给该一个帧的编码或解码处理的时间Te内可以对该必要运算量Kp进行编码或解码处理的工作频率F；以及
使该处理器以该工作频率F和适合该工作频率F的工作电压V工作的同时，进行该一个帧的编码或解码处理；
具备一个或一个以上的、避免在必要运算量Kp比实际需要的运算量小的情况下引起的失败现象的失败避免单元。
2.根据权利要求1所述的动态图像编码或解码处理系统，其特征在于，
如果设在连续的多个帧中在所述一个帧之前被进行编码处理的帧为前帧，则在进行动态图像编码处理的情况下，使用下列要素中的一个或一个以上的要素计算必要运算量Kp，该要素有：所述一个帧和前帧的移动量、所述一个帧的活动量、前帧的活动量、前帧的量化步长的平均值、前帧的量化步长的平均值和其前一个帧的量化步长的平均值的差、前帧的宏模块匹配次数、前帧的有效块数、前帧的有效系数的数量、在前帧的编码中实际需要的运算量、前帧的发生比特数、所述一个帧的编码比特速率、对所述一个帧进行的是帧内编码还是帧间编码的种类、前帧的必要运算量。
3.根据权利要求1所述的动态图像编码或解码处理系统，其特征在于，
如果设在连续的多个帧中在所述一个帧之前被进行解码处理的帧为前帧，则在进行动态图像解码处理的情况下，使用下列要素中的一个或一个以上的要素计算必要运算量Kp，该要素有：所述一个帧的编码数据的比特数、表示对所述一个帧进行的是帧内编码还是帧间编码的种类、所述一个帧或前帧的移动矢量大小的平均值、所述一个帧或前帧的移动矢量大小的方差、所述一个帧或前帧的有效块数、所述一个帧或前帧的有效系数的数量、所述一个帧或前帧的比特速率、所述一个帧或前帧的编码量、所述一个帧或前帧的量化步长的平均值、量化步长的平均值的差(所述一个帧和前一个帧的量化步长的差或者一个帧之前的帧的量化步长和两个帧之前的帧的量化步长的差)、在前帧的解码中实际需要的运算量、前帧的必要运算量。
4.根据权利要求1至权利要球3中的任意一项所述的动态图像编码或解码处理系统，其特征在于，
作为所述失败避免单元，具有增加必要运算量Kp的第一失败避免单元。
5.根据权利要求4所述的动态图像编码或解码处理系统，其特征在于，
所述第一失败避免单元使必要运算量Kp增加m倍(m是大于等于1的实数)或将必要运算量Kp加上比0大的实数n。
6.根据权利要求1至权利要球5中的任意一项所述的动态图像编码或解码处理系统，其特征在于，
作为所述失败避免单元，具有第二失败避免单元，其在预先分配给所述一个帧的编码或解码处理的时间Te内未完成该一个帧的编码处理的情况下，进行避免失败现象的处理。
7.根据权利要求6所述的动态图像编码或解码处理系统，其特征在于，
所述第二失败避免单元按规定的定时进行向编码处理的插入，在存在未进行编码的宏模块的情况下，对该宏模块进行无效块化处理。
8.根据权利要求6所述的动态图像编码或解码处理系统，其特征在于，
所述第二失败避免单元按规定的定时进行向编码或解码处理的插入，在该插入时间点，在必要运算量Kp的剩余量比在编码或解码处理中实际需要的运算量的剩余量小的情况下，提高处理器的工作频率和工作电压。
9.根据权利要求1至权利要求8中任意一项所述的动态图像编码或解码处理系统，其特征在于，
所述处理器r阶段地(r为大于等于2的整数)准备可工作的可工作频率，利用Fe＝Kp/Te计算在所述时间Te内处理必要运算量Kp所必要的工作频率Fe，所述处理器从可工作的可工作频率中决定大于等于所述必要的工作频率Fe并且最接近该工作频率Fe的工作频率F。
10.一种动态图像编码或解码处理方法，其特征在于，
使用对由多个帧构成的动态图像以帧为单位进行编码或解码的处理器，计算在一个帧的编码中所需要的必要运算量Kp，决定在预先分配给该一个帧的编码或解码处理的时间Te内可以对该必要运算量Kp进行编码或解码处理的工作频率F，使处理器以该工作频率F和适合于该工作频率F的工作电压V工作的同时，进行该一个帧的编码或解码处理，
包括一个或一个以上的失败避免步骤，其避免在必要运算量Kp比实际需要的运算量小的情况下引起的失败现象。
11.根据权利要求10所述的动态图像编码或解码处理方法，其特征在于，
如果设连续的多个帧中在所述一个帧之前被进行编码处理的帧为前帧，则在进行动态图像编码处理的情况下，使用一个或一个以上的以下要素计算必要运算量Kp，该要素有：所述一个帧和前帧的移动量、所述一个帧的活动量、前帧的活动量、前帧的量化步长的平均值、前帧的量化步长的平均值和其前一帧的量化步长的平均值的差、前帧的宏模块匹配次数、前帧的有效块数、前帧的有效系数的数量、在前帧的编码中实际需要的运算量、前帧的发生比特数、所述一个帧的编码比特速率、对所述一个帧进行的是帧内编码还是帧间编码的种类、前帧的必要运算量。
12.根据权利要求10所述的动态图像编码或解码处理方法，其特征在于，
如果设连续的多个帧中在所述一个帧之前被进行解码处理的帧为前帧，则在进行动态图像解码处理的情况下，使用一个或一个以上的以下要素计算必要运算量Kp，该要素有：所述一个帧的编码数据的比特数、对所述一个帧进行的是帧内编码还是帧间编码的种类、所述一个帧或前帧的移动矢量大小的平均值、所述一个帧或前帧的移动矢量的大小的方差、所述一个帧或前帧的有效块数、所述一个帧或前帧的有效系数的数量、所述一个帧或前帧的比特速率、所述一个帧或前帧的编码量、所述一个帧或前帧的量化步长的平均值、量化步长的平均值的差(所述一个帧和其前一帧的量化步长的差、或者一个帧之前的帧的量化步长和两个帧之前的帧的量化步长的差)、在前帧的解码中实际需要的运算量、前帧的必要运算量。
13.根据权利要求10至权利要求12中的任意一项所述的动态图像编码或解码处理方法，其特征在于，
作为所述失败避免步骤，包括增加必要运算量Kp的第一失败避免步骤。
14.根据权利要求13所述的动态图像编码或解码处理方法，其特征在于，
在所述第一失败避免步骤中，所述第一失败避免单元使必要运算量Kp增加m倍(m为大于等于1的实数)或将必要运算量Kp加上比0大的实数n。
15.根据权利要求10至权利要求14中的任意一项所述的动态图像编码或解码处理方法，其特征在于，
作为所述失败避免步骤，包括第二失败避免步骤，其在预先分配给所述一个帧的编码或解码处理的时间Te内未完成该一个帧的编码处理的情况下进行避免失败现象的处理。
16.根据权利要求15所述的动态图像编码或解码处理方法，其特征在于，
所述第二失败避免步骤，按规定的定时进行向编码处理的插入，在存在未进行编码的宏模块的情况下，对该宏模块进行无效块化处理。
17.根据权利要求15或权利要求16所述的动态图像编码或解码处理方法，其特征在于，
所述第二失败避免步骤，按规定的定时进行向编码或解码处理的插入，在该插入时间点，在必要运算量Kp的剩余量比在编码或解码处理中实际需要的运算量小的情况下，提高处理器的工作频率和工作电压。
18.根据权利要求10至权利要求17中的任意一项所述的动态图像编码或解码处理方法，其特征在于，
所述处理器r阶段地(r为大于等于2的整数)准备可工作的可工作频率，利用Fe＝Kp/Te计算在所述时间Te内处理必要运算量Kp所必要的工作频率Fe，所述处理器从可工作的可工作频率中决定大于等于所述必要的工作频率Fe且最接近该工作频率Fe的工作频率F。
CNA2004800101219A 2003-04-15 2004-04-15 动态图像编码或解码处理系统以及动态图像编码或解码处理方法 Pending CN1774929A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP110824/2003 2003-04-15
JP2003110824 2003-04-15

Publications (1)

Publication Number Publication Date
CN1774929A true CN1774929A (zh) 2006-05-17

Family

ID=33295966

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800101219A Pending CN1774929A (zh) 2003-04-15 2004-04-15 动态图像编码或解码处理系统以及动态图像编码或解码处理方法

Country Status (8)

Country Link
US (1) US20060174303A1 (zh)
EP (1) EP1615438A4 (zh)
JP (1) JPWO2004093458A1 (zh)
KR (1) KR20060009840A (zh)
CN (1) CN1774929A (zh)
AU (1) AU2004229732A1 (zh)
CA (1) CA2522870A1 (zh)
WO (1) WO2004093458A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051899A (zh) * 2012-12-31 2013-04-17 青岛中星微电子有限公司 一种视频解码的方法及装置
CN104854535A (zh) * 2012-10-16 2015-08-19 雷蛇(亚太)私人有限公司 计算系统及用于控制计算系统的方法
CN113115039A (zh) * 2021-04-13 2021-07-13 展讯通信（上海）有限公司 工作频率确定方法、装置和电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100591796B1 (ko) * 2005-11-11 2006-06-26 엠텍비젼 주식회사 이미지 처리 방법 및 장치
JP2007251553A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd リアルタイム処理装置及びその方法
US20080056373A1 (en) * 2006-08-29 2008-03-06 Newlin John B Method and system for dynamic frequency adjustment during video decoding
EP2490103A3 (en) * 2006-08-31 2015-06-24 ATI Technologies ULC Video decoder and/or battery-powered device with reduced power consumption and methods thereof
US8112640B2 (en) * 2006-10-02 2012-02-07 Samsung Electronics Co., Ltd. Method of controlling voltage of power supplied to 3D graphics data processor and the 3D graphics data processor using the method
US20090180701A1 (en) * 2008-01-10 2009-07-16 Seungyeob Choi Video Data Encoding System
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
JP5056600B2 (ja) * 2008-06-10 2012-10-24 富士通株式会社 画像復号装置
US8442111B2 (en) * 2008-11-24 2013-05-14 Nvidia Corporation Optimal power usage in encoding data streams
US8880789B2 (en) * 2008-12-10 2014-11-04 Nvidia Corporation Optimal power usage in decoding a content stream stored in a secondary storage
US11949877B2 (en) * 2021-10-01 2024-04-02 Microsoft Technology Licensing, Llc Adaptive encoding of screen content based on motion type

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0254317A (ja) * 1988-08-19 1990-02-23 Asahi Optical Co Ltd 電子制御カメラのｃｐｕ動作速度制御装置
JP3569961B2 (ja) * 1994-07-07 2004-09-29 株式会社日立製作所 ディジタル映像信号復号装置
JPH099251A (ja) * 1995-06-20 1997-01-10 Hitachi Ltd 並列画像符号化方法およびその装置
JPH10248063A (ja) * 1997-03-04 1998-09-14 Toshiba Corp 携帯型情報端末装置
JPH1168881A (ja) * 1997-08-22 1999-03-09 Sony Corp データストリーム処理装置及び方法
JP3296758B2 (ja) * 1997-09-01 2002-07-02 株式会社日立製作所 動画像符号化装置及び動画像符号化／再生装置
JPH11239352A (ja) * 1997-12-10 1999-08-31 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置、並びにデータ記憶媒体
FR2774487B1 (fr) * 1998-02-05 2000-09-29 Alsthom Cge Alcatel Systeme d'alimentation optimisee pour circuit electronique
JPH11252549A (ja) * 1998-02-27 1999-09-17 Toshiba Corp 画像符号化／復号化装置
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
JP2001045491A (ja) * 1999-08-03 2001-02-16 Hitachi Ltd 符号化画像の復号・表示装置
JP2001197149A (ja) * 2000-01-05 2001-07-19 Mitsubishi Electric Corp マルチメディア情報通信装置、およびマルチメディア情報通信方法
JP2002010271A (ja) * 2000-04-20 2002-01-11 Matsushita Electric Ind Co Ltd ビデオ符号化装置
JP2003078770A (ja) * 2001-08-30 2003-03-14 Canon Inc 画像処理方法及びその装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104854535A (zh) * 2012-10-16 2015-08-19 雷蛇(亚太)私人有限公司 计算系统及用于控制计算系统的方法
US9454943B2 (en) 2012-10-16 2016-09-27 Razer (Asia-Pacific) Pte. Ltd. Computing systems and methods for controlling a computing system
US10466764B2 (en) 2012-10-16 2019-11-05 Razer (Asia-Pacific) Pte. Ltd. Computing systems and methods for controlling a computing system
CN103051899A (zh) * 2012-12-31 2013-04-17 青岛中星微电子有限公司 一种视频解码的方法及装置
CN103051899B (zh) * 2012-12-31 2015-12-02 青岛中星微电子有限公司 一种视频解码的方法及装置
CN113115039A (zh) * 2021-04-13 2021-07-13 展讯通信（上海）有限公司 工作频率确定方法、装置和电子设备
CN113115039B (zh) * 2021-04-13 2022-12-02 展讯通信（上海）有限公司 工作频率确定方法、装置和电子设备

Also Published As

Publication number Publication date
EP1615438A4 (en) 2007-05-02
EP1615438A1 (en) 2006-01-11
WO2004093458A1 (ja) 2004-10-28
CA2522870A1 (en) 2004-10-28
JPWO2004093458A1 (ja) 2006-07-13
KR20060009840A (ko) 2006-02-01
AU2004229732A1 (en) 2004-10-28
US20060174303A1 (en) 2006-08-03

Similar Documents

Publication Publication Date Title
CN1774929A (zh) 动态图像编码或解码处理系统以及动态图像编码或解码处理方法
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
JP5738950B2 (ja) ビデオ処理における電力及び計算負荷管理技法
CN1920781A (zh) 任务执行装置及方法
CN1119386A (zh) 图像编码译码装置
CN1497941A (zh) 视频编码方法、视频译码方法、视频编码设备、视频译码设备、视频编码程序和视频译码程序
CN1507589A (zh) 用于传送内容数据的内容服务器和方法、程序及记录介质
US20210360047A1 (en) Video coding method and video decoding method
CN105264892A (zh) 针对高帧率和可变帧率捕获来调整视频压缩
CN1271835C (zh) 运动图像数据的记录再生方法和装置
CN1933600A (zh) 用于h.264/avc编码器的运动估计方法
CN1629774A (zh) 信息处理装置以及操作系统
JP2012500603A (ja) ビデオ処理における電力及び計算負荷管理技法
CN109413427A (zh) 一种视频帧编码方法及终端
CN1306726A (zh) 视频译码器
CN101755462A (zh) 图像编码装置以及图像编码方法
US9258622B2 (en) Method of accessing a spatio-temporal part of a video sequence of images
CN1262934C (zh) 具有不同资源访问方案的系统集成代理程序
CN1813478A (zh) 用于手持设备的编码的方法
CN1695378A (zh) 处理媒体系统上的媒体信号
CN1112654C (zh) 图像处理装置
CN101272497B (zh) 一种视频编码方法
Jin et al. Hilbert transform-based workload prediction and dynamic frequency scaling for power-efficient video encoding
Finchelstein et al. Multicore processing and efficient on-chip caching for H. 264 and future video decoders
CN1286323C (zh) 帧场视频解码中运动矢量存取的控制装置及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20060517