JP2003324735A - 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】 従来技術と比較して低消費電力化を図ること
ができる動画像符号化又は復号化処理システム及び動画
像符号化又は復号化処理プログラムを提案する。 【解決手段】 所定フレームの符号化又は復号化に必要
な必要演算量を計算する必要演算量計算手段２と、所定
フレームの符号化処理又は復号化処理に予め割り当てら
れている時間内に前記必要演算量を符号化処理又は復号
化処理可能な動作電圧及び動作周波数を計算する動作電
圧・動作周波数計算手段３と、前記動作電圧・動作周波
数計算手段により算出された動作周波数及び動作電圧で
プロセッサを動作させる動作電圧・動作周波数制御手段
４とを備え、前記動作電圧・動作周波数制御手段４が前
記算出された動作周波数及び動作電圧でプロセッサを一
定に動作させながら、動画像符号化又は復号化手段５が
所定フレームの符号化又は復号化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動作周波数及び動
作電圧が変更可能なプロセッサを使用して、動画像の符
号化又は復号化を行う動画像符号化又は復号化処理シス
テム及び動画像符号又は化復号化処理プログラムに関す
る。

【０００２】

【従来の技術】近年、伝送路を通じて動画像の送受信を
行うことや、動画像を蓄積メディアに蓄積することが可
能となっている。一般に、動画像は情報量が大きいた
め、伝送ビットレートの限られた伝送路を用い動画像を
伝送する場合、あるいは蓄積容量の限られた蓄積メディ
アに動画像を蓄積する場合には、動画像を符号化・復号
化する技術が必要不可欠である。動画像の符号化・復号
化方式として、ISO/IECが標準化を進めているＭＰＥＧ
(Moving Picture Experts Group)やＨ.２６Ｘがある。
これらは動画像を構成する経時的に連続した複数のフレ
ームの符号化又は復号化を行うものであり、動画像の時
間的相関、空間的相関を利用した冗長性の削減を行うこ
とにより動画像の情報量を減らして符号化し、符号化さ
れた動画像を再度元の動画像に復号化する技術である。

【０００３】かかる符号化・復号化技術はパーソナルコ
ンピュータやマイクロコンピュータを内蔵する携帯電話
等の情報端末機器等に適用されており、符号化・復号化
の手段を記述したプログラムに基づいてコンピュータの
プロセッサ等を動作させることにより、動画像を送信等
する場合は動画像符号化処理システムとして、動画像を
受信等する場合は動画像復号化処理システムとして機能
させている。しかしながら、かかる動画像符号化又は復
号化処理は比較的に演算量が多いため消費電力が大きく
なる傾向にあり、ハードウエアよりも汎用性の高いソフ
トウエアを使用して、符号化・復号化処理における低消
費電力化を図ることが大きな課題となっている。

【０００４】以下に、ソフトウエアを使用した動画像符
号化又は復号化処理システムにおける従来の低消費電力
化の手段を説明する。従来の低消費電力化の手段として
は、例えば下記の非特許文献１に開示されている。

【０００５】

【非特許文献１】IEEE International Symposium on Ci
rcuits and System 2001(May,2001)の予稿集pp918-921
" An LSI for VDD-Hopping and MPEG4 System Based o
n the Chip"(H. Kawaguchi, G. Zhang, S. Lee, and T.
Sakurai)

【０００６】図７は、非特許文献１で示された、動画像
（動画像）符号化処理システムについて従来の低消費電
力化を行う手法を示した図である。なお、低消費電力化
の手段は、動画像復号化処理システムにおいても同様で
ある。

【０００７】本従来例では、動的に動作電圧及び動作周
波数を変更可能なプロセッサ上で、動画像符号化（特に
MPEG）を処理する場合の低消費電力化を行うための動作
電圧及び動作周波数の制御方法を示している。すなわち
本従来例は、図８に示すように、動画像符号化を行う場
合に、動画像内の動きの激しさなどによりフレーム単位
に動画像符号化又は復号化の演算量が異なることに注目
し、プロセッサの動作周波数及び動作電圧を制御して低
消費電力化を図るものである。

【０００８】符号化処理は、１フレームの処理時間が符
号化方式（MPEGなど）の規定などにより時間Ｔfに制約
されており、その処理時間Ｔf内に１フレームの符号化
処理が完了することが必要とされる。１フレームの処理
時間Ｔf（秒）に対して、それを一定間隔にＮ個に分割
し、一つ一つの間隔（時間）をタイムスロットＴslot
（Ｔslot＝Ｔf／Ｎ）と定義し、また、タイムスロット
Ｔslot１からタイムスロットＴslotｉが終了した時点の
残時間ＴＲiをＴＲi＝Ｔf−Ｔslot＊ｉと定義する。一
つのタイムスロットＴslotで処理する動画像のブロック
数（動画像の符号化はブロック単位に処理が行われる）
をＲ（すなわちＲ＊Ｎが１フレームのブロック数とな
る）とし、（Ｒ＊ｉ）ブロック処理にかかった時間（す
なわちタイムスロットＴslot１からタイムスロットＴsl
otｉまでに処理すべきブロック群に対して実際に処理に
かかった時間）をＴacc(i+1)とする。電圧変更した場合
に動作電圧及び動作周波数が安定するまでの時間をＴrd
とする。なお、実タイムスロットＲＴslotｉはタイムス
ロットＴslotｉ内に完了されるべき処理に対して実際に
要した処理時間を示す。図７では、まずタイムスロット
Ｔslot１及びタイムスロットＴslot２に割り当てられた
ブロック群の処理に対しては、負荷が最大の場合でもそ
のタイムスロットＴslot１，Ｔslot２内に十分に処理が
完了可能なクロック周波数ｆmaxで動作させる。その処
理にかかった時間Ｔacc３がＴacc３＜（Ｔf−ＴＲ２）
である場合、すなわち、割り当てられたブロック群がタ
イムスロットＴslot１,Ｔslot２内で処理が完了した場
合、次のタイムスロットＴslot３に割り当てられたブロ
ック群の処理に使用可能な処理時間Ｔtar３はＴtar３＝
Ｔf−Ｔacc３−ＴＲ３−Ｔrdであり、この処理時間Ｔta
r３内にＴslot３に割り当てられたブロック群の処理が
完結すればよいので、このブロック群に対しては動作周
波数を下げて動作させる。図７の処理時間Ｔf1，Ｔf2，
Ｔf3は、タイムスロットＴslot３において負荷が最大の
場合に、各動作周波数ｆ１，ｆ２，ｆ３で動作させたと
きの処理時間を示す。動作周波数としては、図７におい
てｆ２＝ｆmax／２の動作周波数を選択すれば、負荷が
最大の場合でもタイムスロットＴslot１からタイムスロ
ットＴslot３までに完了されるべき処理時間が（Ｔf−
ＴＲ３）以内である、次のタイムスロットＴslot４に処
理が入り込むことはない。一方、動作周波数ｆ３＝ｆma
x／３を選択した場合は、処理時間Ｔf3が処理時間Ｔtar
３を超えてしまう。したがって、このタイムスロットＴ
slot３で処理すべきブロック群に対してはｆ２＝ｆmax
／２の動作周波数及びその動作周波数に適する動作電圧
で動作させる。同様にして、タイムスロットＴslot毎に
この処理を行う。

【０００９】これにより、動的に動作クロック周波数及
び動作電圧を変更するに際し、所定時間内に所定数のブ
ロック群を処理可能な動作周波数のうち最小の動作周波
数を選択することにより、総合的に動作周波数及び動作
電圧を下げて動作させ、必要処理に応じて電圧を制御す
ることにより、低消費電力化が図られている。

【００１０】

【発明が解決しようとする課題】ところで、ある一定の
処理時間（例えば、ここでは１フレームの処理時間Ｔ
f）に完了すべき処理（例えば、ここでは１フレームの
処理）に対しては、１フレームの処理時間を通してプロ
セッサを一定の動作電圧及び動作周波数で動作させて処
理することが好ましい。すなわち、１フレームの処理時
間をＴf（秒）とし、演算量Ｋf（サイクル）とし、動作
周波数Ｆｆとすると、動作周波数Ｆｆ＝Ｋf／Ｔf（サイ
クル／秒）に設定し、１フレームの処理時間Ｔfを通し
てプロセッサを一定の動作周波数Ｆｆで動作させること
により、その処理時間Ｔｆ内で動作周波数Ｆｆを何回も
変動させる場合と比較して、より低消費電力化が可能と
なる。この証明は後述する第１の実施の形態で行う。

【００１１】しかしながら、本従来例では、処理時間Ｔ
fの同期する単位が１フレームであるにもかかわらず、
１フレーム内で最大Ｎ回の動作電圧及び動作周波数の変
更が行われており、低消費電力が十分に図られていなか
った。すなわち、本従来例のように多段階に動作電圧及
び動作周波数を制御可能なプロセッサでの動画像符号化
又は復号化処理の低消費電力化は、１フレームの処理中
に何回も動作電圧及び動作周波数を変更する必要があっ
た。一方、上述のように、処理時間の制約の単位がフレ
ームであるため、１フレームの処理中は処理を可能にす
る最低限の一定の周波数で制御するのが好ましい。その
ため、１フレームの処理中に最大Ｎ回動作電圧及び動作
周波数が変更される本従来例では十分な低消費電力化が
できていなかった。

【００１２】そこで本発明は、前記のような課題を解決
するためのものであり、前記従来技術と比較して大幅に
低消費電力化を図ることができる動画像符号化又は復号
化処理システム及び動画像符号化又は復号化処理プログ
ラムを提案することにある。

【００１３】

【課題を解決するための手段】すなわち、本発明の請求
項１記載の動画像符号化又は復号化処理システムは、動
作周波数及び動作電圧が変更可能なプロセッサと、その
プロセッサを使用して、連続する複数のフレームから構
成される動画像をフレーム単位で順次符号化又は復号化
する動画像符号化又は復号化手段を有するシステムにお
いて、これから符号化又は復号化される任意の一のフレ
ームを所定フレームとすると、所定フレームの符号化又
は復号化に必要な必要演算量を計算する必要演算量計算
手段と、所定フレームの符号化処理又は復号化処理に予
め割り当てられている時間内に前記必要演算量を符号化
処理又は復号化処理可能な動作電圧及び動作周波数を計
算する動作電圧・動作周波数計算手段と、前記動作電圧
・動作周波数計算手段により算出された動作周波数及び
動作電圧でプロセッサを動作させる動作電圧・動作周波
数制御手段とを備え、前記動作電圧・動作周波数制御手
段が前記算出された動作周波数及び動作電圧でプロセッ
サを一定に動作させながら、動画像符号化又は復号化手
段が所定フレームの符号化又は復号化処理を行うことを
特徴とする。また、請求項５記載の動画像符号化又は復
号化処理プログラムは、動作周波数及び動作電圧が変更
可能なプロセッサを有するコンピュータを、そのプロセ
ッサを使用して、連続する複数のフレームから構成され
る動画像をフレーム単位で順次符号化又は復号化する動
画像符号化又は復号化手段を有するシステムとして機能
させるプログラムにおいて、任意の一のフレームを所定
フレームとすると、所定フレームの符号化又は復号化に
必要な必要演算量を計算する必要演算量計算手段と、所
定フレームの処理に対して予め割り当てられている時間
内に前記必要演算量を処理可能な動作電圧及び動作周波
数を計算する動作電圧・動作周波数計算手段と、前記動
作電圧・動作周波数計算手段により算出された動作周波
数及び動作電圧でプロセッサを動作させる動作電圧・動
作周波数制御手段とを備え、前記動作電圧・動作周波数
制御手段が前記算出された動作周波数及び動作電圧でプ
ロセッサを一定に動作させながら、動画像符号化又は復
号化手段が所定フレームの符号化又は復号化処理を行う
ように、コンピュータを機能させることを特徴とする。

【００１４】符号化・復号化方式（MPEG等）の規定にお
いては、所定フレームに対して予め処理時間が割り当て
られている。請求項１又は請求項５記載の発明によれ
ば、必要演算量計算手段により所定フレームの符号化又
は復号化に必要な必要演算量が計算され、動作電圧・動
作周波数計算手段により所定フレームの符号化処理又は
復号化処理に予め割り当てられている時間内に前記必要
演算量を符号化処理又は復号化処理可能な動作電圧及び
動作周波数が計算され、動作電圧・動作周波数制御手段
により前記動作電圧・動作周波数計算手段により算出さ
れた動作周波数及び動作電圧でプロセッサが動作し、前
記動作電圧・動作周波数制御手段により前記算出された
動作周波数及び動作電圧でプロセッサを一定に動作させ
ながら、動画像符号化又は復号化手段により所定フレー
ムの符号化又は復号化処理が行われる。したがって、フ
レームごとに一定の動作電圧及び動作周波数でプロセッ
サを動作させながら、そのプロセッサにより符号化又は
復号化処理が行われることとなり、フレームを分割して
成る所定数のブロックごとに動作周波数及び動作電圧が
決定されることで一のフレームの符号化・復号化処理中
に何度も動作電圧及び動作周波数が変更される従来技術
と比較して、低消費電力化を図ることができる。

【００１５】本発明の請求項２記載の動画像符号化又は
復号化処理システムは、前記請求項１記載の動画像符号
化又は復号化処理システムを前提として、連続する複数
のフレームのうち前記所定フレームより前に符号化処理
されるフレームを前フレームとすると、動画像符号化処
理システムである場合は、前記必要演算量計算手段は、
所定フレームと前フレームとの動き量、所定フレームの
アクティビティの量、前フレームのアクティビティの
量、前フレームの量子化ステップサイズの平均値、前フ
レームの量子化ステップサイズの平均値とその一つ前の
フレームの量子化ステップサイズの平均値の差、前フレ
ームのマクロブロックマッチング回数、前フレームの有
効ブロック数、前フレームの有効係数の数、前フレーム
の符号化に実際に要した演算量、前フレームの発生ビッ
ト数、所定フレームの符号化ビットレート、所定フレー
ムについてフレーム内符号化又はフレーム間符号化のい
ずれであるかの種類、必要演算量計算手段により算出さ
れた前フレームの必要演算量のうち、一つ以上の要素を
使用して必要演算量を予測する計算を行うことを特徴と
する。本発明の請求項６記載の動画像符号化又は復号化
処理プログラムは、前記請求項５記載の動画像符号化又
は復号化処理プログラムを前提として、連続する複数の
フレームのうち前記所定フレームより前に符号化処理さ
れるフレームを前フレームとすると、動画像符号化処理
プログラムである場合は、前記必要演算量計算手段は、
所定フレームと前フレームとの動き量、所定フレームの
アクティビティの量、前フレームのアクティビティの
量、前フレームの量子化ステップサイズの平均値、前フ
レームの量子化ステップサイズの平均値とその一つ前の
フレームの量子化ステップサイズの平均値の差、前フレ
ームのマクロブロックマッチング回数、前フレームの有
効ブロック数、前フレームの有効係数の数、前フレーム
の符号化に実際に要した演算量、前フレームの発生ビッ
ト数、所定フレームの符号化ビットレート、所定フレー
ムについてフレーム内符号化又はフレーム間符号化のい
ずれであるかの種類、必要演算量計算手段により算出さ
れた前フレームの必要演算量のうち、一つ以上の要素を
使用して必要演算量を予測する計算を行うように、コン
ピュータを機能させることを特徴とする。

【００１６】本発明の請求項３記載の動画像符号化又は
復号化処理システムは、前記請求項１記載の動画像符号
化又は復号化処理システムを前提として、連続する複数
のフレームのうち前記所定フレームより前に復号化処理
されるフレームを前フレームとすると、動画像復号化処
理システムである場合は、前記必要演算量計算手段は、
所定フレームの符号化データのビット数、前記所定フレ
ームがフレーム内符号化されたものであるか又はフレー
ム間符号化されたものであるかの種類、動きベクトルの
大きさの平均値(所定フレームの，もしくは前フレーム
のもの)、動きベクトルの大きさの分散 (所定フレーム
の，もしくは前フレームのもの)、有効ブロック数(所定
フレームの，もしくは前フレームのもの)、有効係数の
数(所定フレームの，もしくは前フレームのもの)、ビッ
トレート(所定フレームの，もしくは前フレームのも
の)、符号量(所定フレームの，もしくは前フレームのも
の)、量子化ステップサイズの平均値(所定フレームの，
もしくは前フレームのもの)、量子化ステップサイズの
平均値の差(所定フレームと１つ前のフレームの量子化
ステップサイズの差，もしくは１つ前のフレームの量子
化ステップサイズと２つ前のフレームの量子化ステップ
サイズの差)、前フレームの復号化に実際に要した演算
量、必要演算量計算手段により算出された前フレームの
必要演算量のうち一つ以上の要素を使用して必要演算量
を計算することを特徴とする。本発明の請求項７記載の
動画像符号化又は復号化処理プログラムは、前記請求項
５記載の動画像符号化又は復号化処理プログラムを前提
として、連続する複数のフレームのうち前記所定フレー
ムより前に復号化処理されるフレームを前フレームとす
ると、動画像復号化処理プログラムである場合は、前記
必要演算量計算手段は、所定フレームの符号化データの
ビット数、前記所定フレームがフレーム内符号化された
ものであるか又はフレーム間符号化されたものであるか
の種類、動きベクトルの大きさの平均値(所定フレーム
の，もしくは前フレームのもの)、動きベクトルの大き
さの分散 (所定フレームの，もしくは前フレームのも
の)、有効ブロック数(所定フレームの，もしくは前フレ
ームのもの)、有効係数の数(所定フレームの，もしくは
前フレームのもの)、ビットレート(所定フレームの，も
しくは前フレームのもの)、符号量(所定フレームの，も
しくは前フレームのもの)、量子化ステップサイズの平
均値(所定フレームの，もしくは前フレームのもの)、量
子化ステップサイズの平均値の差(所定フレームと１つ
前のフレームの量子化ステップサイズの差，もしくは１
つ前のフレームの量子化ステップサイズと２つ前のフレ
ームの量子化ステップサイズの差)、前フレームの復号
化に実際に要した演算量、必要演算量計算手段により算
出された前フレームの必要演算量のうち一つ以上の要素
を使用して必要演算量を計算するように、コンピュータ
を機能させることを特徴とする。

【００１７】前記複数の要素はそれぞれ符号化又は復号
化処理において必要演算量に影響を与える要素である。
請求項２、請求項３、請求項６、請求項７に記載の発明
によれば、前記要素のうち一つ以上が必要演算量計算手
段の要素として使用されて必要演算量が計算されるた
め、必要演算量計算手段により計算される必要演算量が
現実に符号化又は復号化処理を行ったときの演算量によ
り近い値となる。したがって、算出された必要演算量が
現実の演算量よりも大き過ぎて低消費電力化が阻害され
たり、必要演算量が現実の演算量よりも小さ過ぎて処理
が時間内に完了しないという問題が生じにくい。

【００１８】本発明の請求項４記載の動画像符号化又は
復号化処理システムは、前記請求項１乃至請求項３記載
の動画像符号化又は復号化処理システムを前提として、
前記プロセッサは、動作可能な可能動作周波数がｎ段階
（ｎは２以上の整数）に用意されており、前記動作電圧
・周波数計算手段は、前記必要演算量計算手段により算
出された前記所定フレームの必要演算量Ｋと、所定フレ
ームの処理に割り当てられる時間Ｔfとから、時間Ｔfで
必要演算量Ｋを処理するに必要な動作周波数ＦfをＦf＝
Ｋ／Ｔfで計算し、前記プロセッサが動作可能な可能動
作周波数から前記必要な動作周波数Ｆf以上であり且つ
その動作周波数Ｆfに最も近い動作周波数Ｆを選択する
計算を行うとともに、選択された動作周波数Ｆに適する
動作電圧Ｖを計算することを特徴とする。本発明の請求
項８記載の動画像符号化又は復号化処理プログラムは、
前記請求項５乃至請求項７記載の動画像符号化又は復号
化処理プログラムを前提として、前記プロセッサは動作
可能な可能動作周波数がｎ段階（ｎは２以上の整数）に
用意されており、前記動作電圧・周波数計算手段は、前
記必要演算量計算手段により算出された前記所定フレー
ムの必要演算量Ｋと、所定フレームの処理に割り当てら
れる時間Ｔfとから、時間Ｔfで必要演算量Ｋを処理する
に必要な動作周波数ＦfをＦf＝Ｋ／Ｔfで計算し、前記
プロセッサが動作可能な可能動作周波数から前記必要な
動作周波数Ｆf以上であり且つその動作周波数Ｆfに最も
近い動作周波数Ｆを選択する計算を行うとともに、その
選択された動作周波数Ｆに適する動作電圧Ｖを計算する
ように、コンピュータを機能させることを特徴とする。

【００１９】請求項４又は請求項８記載の発明によれ
ば、時間Ｔfで必要演算量Ｋを処理するに必要な動作周
波数ＦfがＦf＝Ｋ／Ｔfで計算された後に、前記プロセ
ッサが動作可能な可能動作周波数から前記必要な動作周
波数Ｆf以上であり且つその動作周波数Ｆfに最も近い動
作周波数Ｆを選択する計算が行われるとともに、選択さ
れた動作周波数Ｆに適する動作電圧Ｖが計算され、プロ
セッサがその算出（選択）された動作周波数Ｆ及び動作
電圧Ｖで一定に動作しながら動画像符号化又は復号化手
段により所定フレームの符号化又は復号化が行われる。
すなわち、プロセッサが動作可能な可能動作周波数及び
動作電圧のうち、所定フレームに割り当てられた時間Ｔ
f内に必要演算量Ｋを処理可能な最小の動作周波数Ｆ及
び動作電圧Ｖにより、プロセッサを一定に動作させなが
ら、そのプロセッサ上で動作する符号化又は復号化手段
により所定フレームの符号化又は復号化処理が行われる
ため、可能動作周波数が段階的に用意されたプロセッサ
が使用されても、低消費電力化が効率的に行われる。

【００２０】

【発明の実施の形態】以下、本発明の動画像符号化又は
復号化処理システムについて動画像符号化処理システム
と動画像復号化処理システムに分けて詳述する。

【００２１】（第１の実施の形態）本発明の第１の実施
の形態の動画像符号化処理システムは、例えばマイクロ
コンピュータが内蔵された携帯電話やパーソナルコンピ
ュータ等の情報端末機器であるコンピュータ内において
マルチメディア信号処理部などの一部として機能するシ
ステムであり、連続する所定数のフレームから構成され
る動画像をフレーム単位で順次符号化を行うシステムで
ある。図１は、本実施の形態の動画像符号化処理システ
ムＳ１の動作を示した概略ブロック図である。動画像符
号化処理システムＳ１は、動作電圧及び動作周波数がｎ
段階（ｎは２以上の整数）に用意され（すなわち、ｎ段
階の動作電圧及び動作周波数で動作可能であり）且つプ
ログラムにより動作電圧及び動作周波数を変更可能なプ
ロセッサ１と、ＤＣ−ＤＣコンバータやＰＬＬなどを備
えて前記プロセッサ１の動作電圧及び動作周波数を制御
する動作電圧・動作周波数制御手段４と、所定のデータ
を記憶する記憶領域である局部復号フレームメモリ６と
入力フレームメモリ７と要素メモリ８とを少なくとも備
えるコンピュータ（特にコンピュータ内のマルチメディ
ア信号処理部）である。ただし、局部復号メモリ６およ
び入力フレームメモリ７は動作電圧・動作周波数制御手
段４により，プロセッサ１と同様に動作電圧・動作周波
数が制御されてもよい。プロセッサ１は、プロセッサ１
上で動作する必要演算量計算手段２と、プロセッサ１上
で動作する動作電圧・動作周波数計算手段３と、プロセ
ッサ１上で動作する動画像符号化手段５とを備える。な
お、符号１０１は入力画像データ、符号１０２は動作電
圧及び動作周波数指示、符号１０３は前フレームの局部
復号データ、符号１０５は動作電圧及び動作周波数供
給、符号１０６はフレームの符号化データ、符号１０７
は前フレームの量子化ステップサイズの平均値の情報、
符号１０８は各フレームについてフレーム内符号化であ
るかフレーム間符号化であるかの種類、符号１０９は動
画像の符号化ビットレートの情報である。要素メモリ８
は、後述する必要演算量計算手段２において使用される
複数の要素のうち一部の要素（フレーム内符号化である
かフレーム間符号化であるかの種類１０８や符号化ビッ
トレート１０９）が記憶される記憶領域である。動画像
符号化手段５には符号化方式としてＭＰＥＧ−４が使用
されるが、Ｈ．２６ＸやＭＰＥＧ−１、ＭＰＥＧ−２な
どの他の符号化方式が使用されていても良い。

【００２２】次に、図１に従って本実施の形態の動画像
符号化処理システムＳ１の動作を説明する。動画像符号
化処理システムＳ１は、動画像符号化処理プログラムＰ
ｒｇ１によりコンピュータ（特にコンピュータ内のマル
チメディア信号処理部）を所定の手段として機能させる
ことにより実現される。以下、順次符号化されるフレー
ムのうちこれから符号化される任意の一のフレームを所
定フレーム（すなわち、あるフレームが符号化された時
点を基準とすると次に符号化されるフレームであり、換
言すると、その時点において未だに符号化処理されてお
らず未来に符号化処理が行われる予定であるフレー
ム）、所定フレームより前に符号化された一のフレーム
（過去に符号化されたフレーム）を前フレームとし、所
定フレームを符号化する処理について説明するが、いず
れのフレームについても同様の処理が行われる。

【００２３】図２はその動画像符号化処理プログラムＰ
ｒｇ１の概略フローチャートを示す図である。動画像符
号化処理プログラムＰｒｇ１は、後述するステップ１か
らステップ５においてコンピュータを各手段として機能
させる。（ステップ１）所定フレームの画像情報を入力
フレームメモリ７に入力する。（ステップ２）所定フレ
ームの必要演算量Ｋを計算させる必要演算量計算手段２
として機能させる。（ステップ３）算出された必要演算
量Ｋに応じてプロセッサの動作周波数Ｆ及び動作電圧Ｖ
を計算させる動作電圧・動作周波数計算手段３として機
能させる。（ステップ４）算出された動作周波数Ｆ及び
動作電圧Ｖでプロセッサ１を動作させる制御を行わせる
動作電圧・動作周波数制御手段４として機能させる。
（ステップ５）所定フレームの画像情報を符号化させる
動画像符号化手段５として機能させる。以上、ステップ
１からステップ５の処理を入力フレームメモリ７に入力
されるフレームの順番（すなわち、符号化される順番）
に、すべてのフレームに対して行うことで、動画像の符
号化を行う。以下、詳細に説明する。

【００２４】（ステップ１）入力された入力画像データ
は、フレームの同期をとるため、フレームを一時的に記
憶する記憶領域である入力フレームメモリ７に一旦格納
される。

【００２５】（ステップ２）必要演算量計算手段２は、
入力フレームメモリ７にアクセスして所定フレームの入
力画像データ１０１を取得し、所定フレームの符号化処
理に必要な必要演算量Ｋを計算する。必要演算量Ｋの計
算方法は様々な方法が考えられるが、たとえば、動画像
符号化処理において、処理内容が動き補償である場合
は、動きの激しい映像では演算量が多く、一方、動きの
少ない映像では演算量が少ないことに注目して、所定フ
レームと前フレームとの動き量として差分絶対値和で計
算される歪み値を算出し、動き量が大きいフレームに対
しては必要演算量Ｋ（サイクル）を大きく、動き量が小
さいフレームに対しては必要演算量Ｋ（サイクル）を小
さくしたり、所定フレームがフレーム内符号化である場
合は必要演算量を小さく、フレーム間符号化である場合
は必要演算量Ｋを大きくしたり、符号化ビットレートが
大きい場合は必要演算量Ｋを大きく、符号化ビットレー
トが小さい場合は必要演算量Ｋを小さくするなどのよう
に、各要素に合わせて必要演算量Ｋ（サイクル）を増減
させる。すなわち、これらの複数の要素は所定フレーム
の符号化処理のために必要な必要演算量に影響を与える
要素であるため、必要演算量計算手段２が、これらの要
素に応じて必要演算量Ｋ（サイクル）を増減させるよう
に計算を行うことにより、必要演算量計算手段２により
計算される必要演算量Ｋが現実に符号化処理を行ったと
きの演算量により近い値となる。本実施の形態では、関
数Ｇを使用して計算し、入力フレームメモリ７に記憶さ
れている所定フレームの入力画像データ１０１と、局部
復号フレームメモリ６に蓄積されている復号化された前
フレームの局部復号データ１０３とを比較して、入力画
像の動きの大きさの予測（計算）を行う。この前フレー
ムの局部復号データ１０３は、所定フレームよりも前に
符号化が行われる前フレームの符号化処理において、前
フレームを符号化して形成した前フレームの符号化デー
タ１０６を、ローカルデコーダで復号化することにより
形成され、局部復号フレームメモリ６に記憶されてい
る。動きの大きさの予測（計算）の一例として、例えば
差分絶対値和を用いる。以下に、差分絶対値和Σと必要
演算量Ｋの求め方を説明する。なお、前フレームの画像
データとしては、符号化後にローカルデコーダにより復
号化された局部復号データ１０６を使用しても良いが、
入力された前フレームの入力画像データをそのまま使用
しても良い。

【００２６】入力フレームメモリ７に蓄積された所定フ
レームの入力画像データ１０１をＸ(i,j)（iは画像の水
平方向の座標、jは垂直方向の座標）、後述する局部復
号フレームメモリ６に蓄積された前フレームの局部復号
データ１０３をＹ(i,j)（iは画像の水平方向の座標、j
は垂直方向の座標）とすると、所定フレームと前フレー
ムとの動き量は、差分絶対値和Ｚ＝Σ｜Ｘ(i,j)−Ｙ(i,
j)｜をすべての（またはサンプルした）画素に対して計
算する。この差分絶対値和の値をＺ、前フレームの平均
量子化ステップサイズ（量子化ステップサイズの平均
値）をＱprev、所定フレームの符号化ビットレートをＢ
Ｒとおくと、これらの要素のうち一つ以上の要素を使用
して、必要演算量Ｋは、 Ｋ＝Ｇ（Ｚ，Ｑprev，ＢＲ）・・・（数式１） で計算される。ただし、ＧはＺ，Ｑprev，ＢＲのうち、
一以上の要素から導き出される関数である。その一例と
しては、 Ｋ＝ｊ＋δＺ＋ε△Ｑprev・・・（数式２） が挙げられるが、これに限られるわけではない。また、
必要演算量Ｋの計算に使用される要素として、所定フレ
ームがフレーム内符号化であるかフレーム間符号化であ
るかの種類Ｉが使用される。所定フレームがフレーム内
符号化である場合の必要演算量Ｋは小さい値と、フレー
ム間符号化である場合の必要演算量Ｋは大きい値とな
る。すなわち、必要演算量計算手段２は、差分絶対値和
Ｚを使用するときは差分絶対値和Ｚ＝Σ｜Ｘij−Ｙij｜
を計算した後に、必要演算量Ｋ＝Ｇ（Ｚ，Ｑprev，Ｂ
Ｒ）を計算する。なお、動画像の符号化ビットレート１
０９や、所定フレーム及び前フレームについてフレーム
内符号化であるかフレーム間符号化であるかの種類１０
８は要素が記憶される記憶領域である要素メモリ８に予
め記憶されており、必要演算量Ｋの計算時に必要演算量
計算手段２に読み込まれて使用される。前フレームの量
子化ステップサイズの平均値１０７は前フレームの符号
化処理が行われたときに動画像符号化手段５から必要演
算量計算手段２にフィードバックされる。必要演算量計
算手段２においては、これらの要素のうち一つの要素の
みを使用しても良いし、複数の要素を組み合わせて使用
しても良い。

【００２７】以下、上記関数Ｇについて説明する。上記
関数Ｇを簡単に説明するため省略してＫ＝Ｇ（Ｚ）と記
載する。所定フレームの動き量Ｚａであり、前フレーム
の動き量Ｚｂとであるとき、前フレームの必要演算量Ｋ
ａ＝Ｇ（Ｚａ）であり所定フレームの必要演算量Ｋｂ＝
Ｇ（Ｚｂ）となり、Ｚａ＞ＺｂならＫａ＞Ｋｂとなるよ
うに、Ｚａ＜ＺｂならＫａ＜Ｋｂとなるように、必要演
算量Ｋ（サイクル）が設定される関数Ｇを用いる。

【００２８】（ステップ３）動作電圧・動作周波数計算
手段３は、必要演算量Ｋの値をもとに、所定フレームの
処理に対する動作周波数Ｆf（サイクル／秒）を予測す
る計算を行う。すなわち、符号化方式により処理時間が
規定されている最小単位は１フレームであり、所定フレ
ームの符号化処理に割り当てられた時間をＴf（秒）と
すると、所定フレームに必要とされる動作周波数Ｆf
（サイクル／秒）、すなわち時間Ｔf（秒）内に前記必
要演算量Ｋを符号化処理可能な動作周波数Ｆｆ（サイク
ル／秒）はＦf＝Ｋ／Ｔfで表されることから、動作電圧
・動作周波数計算手段３は動作周波数Ｆｆ＝Ｋ／Ｔfを
計算する。図３に示すように、プロセッサ１および（又
は）局部復号メモリ６等を含めた周辺装置がサポートす
る動作電圧・動作周波数がＰ段階（Ｐは２以上の整数）
で変更可能な場合、動作電圧・動作周波数計算手段３
は、Ｆ（ｎ）＞Ｆｆであり、且つＦ（ｎ−１）＜Ｆｆと
なる動作周波数Ｆ（ｎ）を所定フレームの符号化処理を
行う動作周波数として選択する計算を行い、その動作周
波数Ｆ（ｎ）に適する動作電圧Ｖ（ｎ）を選択する計算
を行い、プロセッサ１および（又は）局部復号メモリ６
等を含めた周辺装置をその動作周波数Ｆ（ｎ）と動作電
圧Ｖ（ｎ）で動作させるように、動作電圧・動作周波数
を動作電圧・動作周波数制御手段４に指示する（符号１
０２）。

【００２９】（ステップ４）動作電圧・動作周波数制御
手段４は、動作電圧・動作周波数計算手段３から指示を
受けた動作電圧Ｖ（ｎ）及び動作周波数Ｆ（ｎ）の値を
プロセッサ１および（又は）局部復号メモリ６等を含め
た周辺装置に供給し（符号１０５）、その動作電圧Ｖ
（ｎ）及び動作周波数Ｆ（ｎ）でプロセッサ１を一定に
動作させる制御を行う。これにより、プロセッサ１およ
び（又は）局部復号メモリ６等を含めた周辺装置は、一
定の動作電圧Ｖ（ｎ）及び動作周波数Ｆ（ｎ）で動作す
ることになる。

【００３０】（ステップ５）動画像符号化手段５は、動
画像符号化処理プログラムＰｒｇ１によりコンピュータ
のプロセッサ１上で実現される手段であり、プロセッサ
１を使用して入力フレームメモリ７に格納された入力画
像データを動画像符号化を行う単位でアクセスし、符号
化処理を行う手段である。すなわち、動画像符号化手段
５は、入力フレームメモリ７から所定フレームの入力画
像データ１０１を取得し、符号化して符号化データ１０
６を生成する。ステップ４において、プロセッサ１およ
び（又は）局部復号メモリ６等を含めた周辺装置は動作
電圧・動作周波数制御手段４から供給された一定の動作
電圧Ｖ（ｎ）及び動作周波数Ｆ（ｎ）で動作している状
態となっているため、ステップ５では、動作電圧・動作
周波数制御手段４がその動作周波数Ｆ（ｎ）及び動作電
圧Ｖ（ｎ）でプロセッサ１および（又は）局部復号メモ
リ６等を含めた周辺装置を一定に動作させながら、その
プロセッサ１を使用して符号化を行う動画像符号化手段
５が所定フレームの符号化を行うこととなる。たとえば
動きの激しい画像（所定フレームの入力画像データ１０
１）に対してはプロセッサ１および（又は）局部復号メ
モリ６等を含めた周辺装置を高い周波数で一定に動作さ
せ、動きの少ない画像に対しては低い周波数で一定に動
作させることにより低消費電力化を図ることが可能にな
る。さらに、動画像符号化手段５は、符号化データ１０
６を復号する機能を有するローカルデコーダを備えてお
り、所定フレームの符号化データ１０６はローカルデコ
ーダにより復号されて局部復号フレームメモリ６に局部
復号データ１０３として蓄積される。この所定フレーム
の局部復号データ１０３は所定フレームの次に符号化さ
れるフレームについて必要演算量Ｋを計算する際に使用
される。所定フレームの符号化データ１０６は伝送路を
通じて送信されたり、蓄積メディアに蓄積される。

【００３１】以下に、プロセッサの動作電圧及び動作周
波数を複数回変更しながら一のフレームを符号化する従
来技術と比較して、本願発明がより低消費電力化を図る
ことができることを証明する。たとえば、ある特定の時
間Ｔtにある特定の演算量Ｋtを行う場合、その特定の時
間の間は、同一周波数で制御を行い、周波数Ｆtを Ｆt＝Ｋt／Ｔt・・・（数式３） に設定すると低消費電力を実現できる。たとえば、プロ
セッサ１の動作電圧及び動作周波数は図３に示すように
Ｐ段階に可変とし、任意の一のフレームの必要演算量を
Ｋtとし、そのフレームの処理に割り当てられる時間を
Ｔtとする。図４（ａ）に示すように、動作周波数をＦt
と設定し、プロセッサ１を動作周波数Ｆtで動作させる
ときの動作電圧をＶａとし、時間Ｔtで必要演算量Ｋtの
処理が終了する場合（すなわち、動作周波数が一定の場
合）をCase１とし、図４（ｂ）に示すように、初期値の
動作周波数をｈ＊Ｆtと設定し、プロセッサを動作周波
数ｈ＊Ｆtで動作させるときの動作電圧をＶｂとし、時
間Ｔt/ｈで必要演算量Ｋtの処理が終了する場合（すな
わち、動作周波数の切り替えが１回行われる場合）をCa
se２とし、各Case1,Case2について前記任意の一のフレ
ームを符号化する場合を考えてみる。どちらも同一の演
算量、すなわちＫt（サイクル）となる。一方、消費電
力は、 Ｐ＝α×Ｃ×ｆ×Ｖ²×ｔ・・・（数式４） α：係数、Ｃ：プロセッサのトランジスタ数 ｆ：動作周波数、Ｖ：動作電圧、ｔ：動作時間 で表される。これを用いてCase１の消費電力ＰａとCase
２の消費電力Ｐｂを計算すると、 Ｐａ＝α×Ｃ×Ｆt×Ｖａ²×Ｔt・・・（数式５） Ｐｂ＝α×Ｃ×（ｈ×Ｆt）×Ｖｂ²×（Ｔt／ｈ） ＝α×Ｃ×Ｆt×Ｖｂ²×Ｔt・・・（数式６） となり、 Ｐａ：Ｐｂ＝Ｖａ²：Ｖｂ²・・・（数式７） となり、Ｖａ＜Ｖｂであるため、Ｐａ＜Ｐｂとなる。す
なわち、決められた演算量を一定時間で処理する場合、
同一演算量Ｋｔにもかかわらず、Case１の場合のよう
に、その時間内で処理が終了可能な最小の動作周波数に
より、その処理時間を通してプロセッサを一定に動作さ
せるほうが、従来のように処理時間中に動作周波数を変
更するCase２場合よりも低消費電力であることがわか
る。したがって、一定の動作電圧及び動作周波数でプロ
セッサ１を動作させながら一のフレームの符号化処理を
行う本発明によれば、ブロックごとに動作電圧及び動作
周波数が決定されるため一のフレームの符号化中に何度
も動作電圧及び動作周波数が変更される従来技術と比較
して、低消費電力化が図られることがわかる。

【００３２】（第２の実施の形態）図５は、第２の実施
の形態の動画像符号化処理システムＳ２の動作を示した
概略ブロック図である。本実施の形態の動画像符号化処
理システムＳ２は、前記第１の実施の形態の動画像符号
化処理システムＳ１に、さらに必要演算量計算手段２で
使用する要素を多くして精度を高めたものである。コン
ピュータを動画像符号化処理システムＳ２として機能さ
せる動画像符号化処理プログラムＰｒｇ２は、前記動画
像符号化処理プログラムＰｒｇ１とほぼ同様である。た
とえば、符号化の処理内容が逆量子化の場合は有効係数
のみ復号化すれば良いため有効係数の数に比例した演算
量となり、逆ＤＣＴ（ＩＤＣＴ）の場合は無効ブロック
に対して演算する必要がないため、無効ブロックの多い
フレームに対しては演算量を少なくすることが可能であ
り、可変長符号化に対しては有効係数の数が演算量と比
例するため有効係数の数により演算量が異なること等に
注目して要素を追加する。

【００３３】差分絶対値和の値Ｚ、前フレームの量子化
ステップサイズの平均値１０７、符号化ビットレート１
０９、所定フレームがフレーム内符号化であるかフレー
ム間符号化であるかの種類１０８のほかに、所定フレー
ムのアクティビティの量、前フレーム（過去のフレー
ム）のアクティビティの量２０９、前フレームのマクロ
ブロックマッチング回数２０２、前フレームの有効ブロ
ック数２０３、前フレームの有効係数の数２０４、前フ
レームの符号化に実際に要した演算量２０５、必要演算
量計算部により算出された前フレームの必要演算量２０
６、前フレームの量子化ステップサイズの平均値とその
一つ前のフレームの量子化ステップサイズの平均値の差
２１０、前フレームの実際の発生ビット数などを要素と
して、所定フレームの必要演算量Ｋを予測する計算を行
う。必要演算量計算手段２においては、これらの要素の
うち一つの要素のみを使用しても良いし、複数の要素を
組み合わせて使用しても良い。

【００３４】フレームのアクティビティの量は、例えば
隣接画素差分絶対値和などで計算する。入力フレームメ
モリ７に蓄積された所定フレームの入力画像データ１０
１をＸ(i,j)（iは画像の水平方向の座標であり、jは垂
直方向の座標）とすると、隣接画素差分絶対値和Ｗは水
平方向Ｗｈ＝Σ｜Ｘ(i,j)−Ｘ(i-1,j)｜、垂直方向Ｗｖ
＝Σ｜Ｘ(i,j)−Ｘ(i,j-1)｜を計算することにより求め
られ、すべての（またはサンプルした）入力画像に対し
て計算することにより各フレームのアクティビティの量
が求められる。この隣接画素差分絶対値和の値（すなわ
ち各フレームのアクティビティの量）をＷとする。

【００３５】所定フレームのアクティビティの量をＷ
ａ、前フレーム（過去のフレーム）のアクティビティの
量をＷｂ、前フレームの量子化ステップサイズの平均値
をＱprev、前フレームのマクロブロックマッチング回数
をＭ、前フレームの有効ブロック数をＢ、前フレームの
有効係数の数をＣ、所定フレームの符号化ビットレート
をＢＲ、前フレームの量子化ステップサイズの平均値と
その一つ前のフレームの量子化ステップサイズの平均値
の差をΔＱprev、前フレームの実際の発生ビット数Ｄ、
前フレームの符号化に実際に要した演算量をＳ、必要演
算量計算部２により算出された前フレームの必要演算量
をＰとおくと、必要演算量Ｋは、 Ｋ＝Ｇ（Ｚ，Ｗａ，Ｗｂ，Ｑprev，Ｍ，Ｂ，Ｃ，ＢＲ，Ｓ，Ｐ，ΔＱprev， Ｄ）・・・（数式８） で表される。ただし関数ＧはＺ，Ｗａ，Ｗｂ，Ｑprev，
Ｍ，Ｂ，Ｃ，ＢＲ，Ｓ，Ｐ，ΔＱprev，Ｄのうち一つ以
上の要素から導き出される関数である。その一例として
は、 Ｋ＝ｊ＋αＭ＋βＢ＋γＣ＋δＺ＋ε△Ｑprev・・・（数式９） が挙げられるが、これに限られるわけではない。すなわ
ち、必要演算量計算手段２は、前記複数の要素のうち一
つ以上の要素を使用し、Ｋ＝Ｇ（Ｚ，Ｗａ，Ｗｂ，Ｑpr
ev，Ｍ，Ｂ，Ｃ，ＢＲ，Ｓ，Ｐ，ΔＱprev，Ｄ）の計算
を行うことにより所定フレームの必要演算量Ｋを算出す
る。

【００３６】なお、前フレームのアクティビティの量２
０９及び必要演算量計算部により算出された前フレーム
の必要演算量２０６は、前フレームの必要演算量計算の
処理において算出された値が要素メモリ８に記憶されて
おり、その値が読み込まれて使用される。前フレームの
量子化ステップサイズの平均値１０７、前フレームのマ
クロブロックマッチング回数２０２、前フレームの有効
ブロック数２０３、前フレームの有効係数の数２０４、
前フレームの符号化に実際に要した演算量２０５は、前
フレームの符号化処理に要した時間Ｔと符号化処理を行
っていたときのプロセッサの動作周波数ＦからＦ×Ｔで
計算され、前フレームの符号化処理の際に動画像符号化
手段５から必要演算量計算手段２にフィードバックされ
る。

【００３７】（第３の実施の形態）本発明の第３の実施
の形態の動画像復号化処理システムＳ３は、符号化され
た動画像を復号化するシステムである。図６は動画像復
号化処理システムＳ３の動作を示した概略ブロック図で
ある。本実施の形態の動画像復号化処理システムＳ３
は、動作電圧及び動作周波数がｎ段階（ｎは２以上の整
数）に用意され且つプログラムにより動作電圧及び動作
周波数を変更可能なプロセッサ１と、前記プロセッサ１
の動作電圧及び動作周波数を制御する動作電圧・動作周
波数制御手段４と、前フレームの復号化データを記憶す
る局部復号フレームメモリ３６とを備える。ただし，局
部復号メモリ３６は動作電圧・動作周波数制御手段４に
より，プロセッサ１と同様に動作電圧・動作周波数が制
御されてもよい。プロセッサ１は、プロセッサ１上で動
作する必要演算量計算手段３２と、プロセッサ１上で動
作する動作電圧・動作周波数計算手段３と、プロセッサ
１上で動作する動画像復号化手段３５とを備える。符号
３０１は入力符号化データ、符号１０２は動作電圧・動
作周波数指示、符号１０５は動作電圧・動作周波数供
給、符号３０６は復号化データであり、第１の実施の形
態と同一符号は同一機能又はそれ相当の機能を有する部
分である。符号化ではなく復号化を行う点及び下記以外
の点は第１の実施の形態と同様である。

【００３８】図６に従って、動画像復号化処理システム
Ｓ３の動作を説明する。以下、順次復号化されるフレー
ムのうちこれから復号化される任意の一のフレーム（す
なわち、あるフレームが復号化された時点を基準とする
と次に復号化されるフレームであり、換言すると、その
時点において未だに復号化処理されておらず未来に復号
化処理が行われる予定であるフレーム）を所定フレー
ム、所定フレームより前に復号化された一のフレーム
（過去に復号化されたフレーム）を前フレームとし、所
定フレームを復号化する処理について説明するが、いず
れのフレームについても同様の処理が行われる。コンピ
ュータを動画像復号化処理システムＳ３として機能させ
る動画像復号化処理プログラムＰｒｇ３は、前記動画像
符号化処理プログラムＰｒｇ１とほぼ同様であるが、ス
テップ５において、所定フレームの符号化データを復号
化させる動画像復号化手段３５としてコンピュータ（詳
しくはコンピュータに内蔵されるプロセッサ１）を機能
させる。動画像復号化処理システムＳ３に入力されてき
た入力符号化データ３０１は、必要演算量計算手段３２
に入力される。必要演算量計算手段３２は符号化データ
３０１の一フレーム分（すなわち、所定フレームの符号
化データ３０１）の発生情報量（ビット数）ＦＢを計算
し、必要計算量Ｋを予測する計算を行う。必要演算量Ｋ
は、 Ｋ＝Ｇ（ＦＢ，ＭＶａ，ＭＶｖ，Ｂ，Ｃ，ＢＲ，Ｄ，Ｑ，ΔＱprev，Ｉ，Ｅ ，Ｐ）・・・（数式１０） で表される。ＦＢは一フレーム分の発生情報量（ビット
数）である。ただし、関数Ｇは要素ＦＢ，ＭＶａ，ＭＶ
ｖ，Ｂ，Ｃ，ＢＲ，Ｄ，Ｑ，ΔＱprev，Ｉ，Ｅ，Ｐの一
つ以上の要素を用いて導き出される関数である。必要演
算量Ｋは、所定フレームに必要と予測される演算性能
（周波数，サイクル）であり、所定フレーム内のビット
数ＦＢが大きければ高い値と、ビット数ＦＢが小さけれ
ば低い値となる。また、必要演算量Ｋを予測する計算で
ある必要演算量計算手段３２の要素として、所定フレー
ムがフレーム内符号化であるかフレーム間符号化である
かの種類も使用することが可能であり、所定フレームが
フレーム内符号化である場合の必要演算量Ｋは小さい値
と、フレーム間符号化である場合の必要演算量Ｋは大き
い値となる。さらに、必要計算量Ｋは、動きベクトルの
大きさの平均値(これから復号化するフレームの，もし
くは前フレームのもの)ＭＶａ、動きベクトルの大きさ
の分散 (これから復号化するフレームの，もしくは前
フレームのもの)ＭＶｖ、有効ブロック数(これから復号
化するフレームの，もしくは前フレームのもの)Ｂ、有
効係数の数(これから復号化するフレームの，もしくは
前フレームのもの)Ｃ、ビットレート(これから復号化す
るフレームの，もしくは前フレームのもの)ＢＲ、符号
量(これから復号化するフレームの，もしくは前フレー
ムのもの)Ｄ、量子化ステップサイズの平均値(これから
復号化するフレームの，もしくは前フレームのもの)
Ｑ、量子化ステップサイズの平均値の差(これから復号
化するフレームのＱと1つ前のフレームのＱの差，もし
くは1つ前のフレームのＱと2つ前のフレームのＱの差)
ΔＱ、ＩピクチャであるかＰピクチャであるかＢピクチ
ャであるかの種類Ｉ、前フレームの復号化に実際に要し
た演算量Ｅ、前フレームの復号化に必要な演算量の予測
値（すなわち、必要演算量計算手段により算出された前
フレームの必要演算量）Ｐにも影響され、これらを必要
演算量計算手段３２において要素として使用しても良
い。例えば、動きベクトルの大きさの平均値(これから
復号化するフレームの，もしくは前フレームのもの)Ｍ
Ｖａが大きい場合は必要演算量Ｋが大きくなるように、
小さい場合は必要演算量Ｋが小さくなるように、動きベ
クトルの大きさの分散 (これから復号化するフレーム
の，もしくは前フレームのもの)ＭＶｖが大きい場合は
必要演算量Ｋが大きくなるように、小さい場合は必要演
算量Ｋが小さくなるように、有効ブロック数(これから
復号化するフレームの，もしくは前フレームのもの)Ｂ
が大きい場合は必要演算量Ｋが大きくなるように、小さ
い場合は必要演算量Ｋが小さくなるように、有効係数の
数(これから復号化するフレームの，もしくは前フレー
ムのもの)Ｃが大きい場合は必要演算量Ｋが大きくなる
ように、小さい場合は必要演算量Ｋが小さくなるように
する。必要演算量計算手段３２においては、これらの要
素のうち一つの要素のみを使用しても良いし、複数組み
合わせて使用しても良い。すなわち、これらの複数の要
素は所定フレームの復号化処理のために必要な必要演算
量に影響を与える要素であるため、必要演算量計算手段
３２が、これらの要素に応じて必要演算量Ｋ（サイク
ル）を増減させるように計算を行うことにより、必要演
算量計算手段３２により計算される必要演算量Ｋが現実
に復号化処理を行ったときの演算量により近い値とな
る。

【００３９】動作電圧・動作周波数計算手段３及び動作
電圧・動作周波数制御手段４は、前記第１の実施の形態
と同様である。動画像復号化手段３５は、所定フレーム
の入力符号化データ３０１を復号化して復号化データ３
０６を生成する。動画像復号化手段３５による復号化処
理に際しては、動作電圧・動作周波数制御手段４により
一定の動作電圧及び動作周波数でプロセッサ１を動作さ
せながら復号化処理が行われる。フレームごとに、その
フレームの復号化処理の前に必要な必要演算量が算出さ
れ、その必要演算量に応じた一定の動作周波数及び動作
電圧でプロセッサを動作させながらそのフレームの復号
化が行われるため、フレームを分割して成る所定数のブ
ロックごとに動作周波数及び動作電圧を変更する従来技
術と比較して、低消費電力化を図ることができる。復号
化データ３０６は、携帯電話やパソコンの画像表示部に
動画像として表示されたり、ハードディスク等の記憶媒
体に記憶される。

【００４０】

【発明の効果】以上説明したように、本発明の動画像符
号化又は復号化処理システムと動画像符号化又は復号化
処理プログラムによれば、これから符号化又は復号化す
る所定フレーム（未来に符号化又は復号化するフレー
ム）に対して、符号化又は復号化に要する必要演算量を
予測する計算を行い、その所定フレームの処理に割り当
てられた時間内は一定の動作周波数で制御することによ
り、フレーム単位に動作電圧・動作周波数がダイナミッ
クに制御されるため、低消費電力を実現することができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の動画像符号化処理
システムの動作を示した概略ブロック図。

【図２】上記実施の形態の動画像符号化処理システムと
してコンピュータを機能させる動画像符号化処理プログ
ラムの概略フローチャートを示す図。

【図３】上記実施の形態の動画像符号化処理システムに
使用されるプロセッサの動作電圧・動作周波数を示す概
念図。

【図４】本発明の有効性を説明する図。

【図５】本発明の第２の実施の形態の動画像符号化処理
システムの動作を示した概略ブロック図。

【図６】本発明の第３の実施の形態の動画像復号化処理
システムの動作を示した概略ブロック図。

【図７】動画像符号化処理システムについて従来の低消
費電力化を行う手法を示した図。

【図８】フレーム単位に動画像符号化又は復号化の演算
量が異なる状態を示す概念図。

【符号の説明】

Ｓ１，Ｓ２ 動画像符号化処理システム Ｓ３ 動画像復号化処理システム １ プロセッサ ２ 必要演算量計算手段 ３ 動作電圧・動作周波数計算手段 ４ 動作電圧・動作周波数制御手段 ５ 動画像符号化手段 ６ 局部復号フレームメモリ ７ 入力フレームメモリ ８ 要素メモリ １０１ 入力画像データ １０２ 動作電圧・動作周波数指示 １０３ 局部復号データ １０５ 動作電圧・動作周波数供給 １０６ 符号化データ １０７ 前フレームの量子化ステップサイズの平均
値、 １０８ 各フレームについてフレーム内符号化であ
るかフレーム間符号化であるかの種類 １０９ 動画像の符号化ビットレート ２０９ 前フレーム（過去のフレーム）のアクティ
ビティの量 ２０２ 前フレームのマクロブロックマッチング回
数 ２０３ 前フレームの有効ブロック数 ２０４ 前フレームの有効係数の数 ２０５ 前フレームの符号化に実際に要した処理量 ２０６ 必要演算量計算部により算出された前フレ
ームの必要演算量 ２１０ 前フレームの量子化ステップサイズの平均
値とその一つ前のフレームの量子化ステップサイズの平
均値の差 ３５ 動画像復号化手段 ３６ 局部復号フレームメモリ ３０１ 入力符号化データ ３０６ 復号化データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大平 英雄 神奈川県藤沢市湘南台３丁目１番地４号プ ランヴェール湘南台602号 Ｆターム(参考） 5C059 KK49 MA00 MA05 MA14 MA23 MC11 MC38 ME01 PP05 PP06 PP07 TA00 TC00 TC10 TC12 TC18 TC27 TC37 TC41 TC42 TD03 TD04 TD05 TD06 TD07 TD16 UA02 UA05 UA09 UA32 UA38 5J064 AA00 BA04 BA16 BB03 BC01 BC02 BC08 BC29 BD04

Claims (8)

【特許請求の範囲】
1. 【請求項１】 動作周波数及び動作電圧が変更可能なプ
   ロセッサと、そのプロセッサを使用して連続する複数の
   フレームから構成される動画像をフレーム単位で順次符
   号化又は復号化する動画像符号化又は復号化手段を有す
   るシステムにおいて、これから符号化又は復号化される
   任意の一のフレームを所定フレームとすると、 所定フレームの符号化又は復号化に必要な必要演算量を
   計算する必要演算量計算手段と、所定フレームの符号化
   処理又は復号化処理に予め割り当てられている時間内に
   前記必要演算量を符号化処理又は復号化処理可能な動作
   電圧及び動作周波数を計算する動作電圧・動作周波数計
   算手段と、前記動作電圧・動作周波数計算手段により算
   出された動作周波数及び動作電圧でプロセッサを動作さ
   せる動作電圧・動作周波数制御手段とを備え、 前記動作電圧・動作周波数制御手段が前記算出された動
   作周波数及び動作電圧でプロセッサを一定に動作させな
   がら、動画像符号化又は復号化手段が所定フレームの符
   号化又は復号化処理を行うことを特徴とする動画像符号
   化又は復号化処理システム。
2. 【請求項２】 連続する複数のフレームのうち前記所定
   フレームより前に符号化処理されるフレームを前フレー
   ムとすると、動画像符号化処理システムである場合は、
   前記必要演算量計算手段は、所定フレームと前フレーム
   との動き量、所定フレームのアクティビティの量、前フ
   レームのアクティビティの量、前フレームの量子化ステ
   ップサイズの平均値、前フレームの量子化ステップサイ
   ズの平均値とその一つ前のフレームの量子化ステップサ
   イズの平均値の差、前フレームのマクロブロックマッチ
   ング回数、前フレームの有効ブロック数、前フレームの
   有効係数の数、前フレームの符号化に実際に要した演算
   量、前フレームの発生ビット数、所定フレームの符号化
   ビットレート、所定フレームについてフレーム内符号化
   又はフレーム間符号化のいずれであるかの種類、必要演
   算量計算手段により算出された前フレームの必要演算量
   のうち、一つ以上の要素を使用して必要演算量を計算す
   ることを特徴とする前記請求項１記載の動画像符号化又
   は復号化処理システム。
3. 【請求項３】 連続する複数のフレームのうち前記所定
   フレームより前に復号化処理されるフレームを前フレー
   ムとすると、動画像復号化処理システムである場合は、
   前記必要演算量計算手段は、所定フレームの符号化デー
   タのビット数、前記所定フレームがフレーム内符号化さ
   れたものであるか又はフレーム間符号化されたものであ
   るかの種類、動きベクトルの大きさの平均値(所定フレ
   ームの，もしくは前フレームのもの)、動きベクトルの
   大きさの分散 (所定フレームの，もしくは前フレーム
   のもの)、有効ブロック数(所定フレームの，もしくは前
   フレームのもの)、有効係数の数(所定フレームの，もし
   くは前フレームのもの)、ビットレート(所定フレーム
   の，もしくは前フレームのもの)、符号量(所定フレーム
   の，もしくは前フレームのもの)、量子化ステップサイ
   ズの平均値(所定フレームの，もしくは前フレームのも
   の)、量子化ステップサイズの平均値の差(所定フレーム
   と１つ前のフレームの量子化ステップサイズの差，もし
   くは１つ前のフレームの量子化ステップサイズと２つ前
   のフレームの量子化ステップサイズの差)、前フレーム
   の復号化に実際に要した演算量、必要演算量計算手段に
   より算出された前フレームの必要演算量のうち一つ以上
   の要素を使用して必要演算量を計算することを特徴とす
   る前記請求項１記載の動画像符号化又は復号化処理シス
   テム。
4. 【請求項４】 前記プロセッサは、動作可能な可能動作
   周波数がｎ段階（ｎは２以上の整数）に用意されてお
   り、前記動作電圧・周波数計算手段は、前記必要演算量
   計算手段により算出された前記所定フレームの必要演算
   量Ｋと、所定フレームの処理に割り当てられる時間Ｔf
   とから、時間Ｔfで必要演算量Ｋを処理するに必要な動
   作周波数ＦfをＦf＝Ｋ／Ｔfで計算し、前記プロセッサ
   が動作可能な可能動作周波数から前記必要な動作周波数
   Ｆf以上であり且つその動作周波数Ｆfに最も近い動作周
   波数Ｆを選択する計算を行うとともに、選択された動作
   周波数Ｆに適する動作電圧Ｖを計算することを特徴とす
   る前記請求項１乃至請求項３記載の動画像符号化又は復
   号化処理システム。
5. 【請求項５】 動作周波数及び動作電圧が変更可能なプ
   ロセッサを有するコンピュータを、そのプロセッサを使
   用して連続する複数のフレームから構成される動画像を
   フレーム単位で順次符号化又は復号化する動画像符号化
   又は復号化手段を有するシステムとして機能させるプロ
   グラムにおいて、任意の一のフレームを所定フレームと
   すると、 所定フレームの符号化又は復号化に必要な必要演算量を
   計算する必要演算量計算手段と、所定フレームの符号化
   処理又は復号化処理に対して予め割り当てられている時
   間内に前記必要演算量を符号化処理又は復号化処理可能
   な動作電圧及び動作周波数を計算する動作電圧・動作周
   波数計算手段と、前記動作電圧・動作周波数計算手段に
   より算出された動作周波数及び動作電圧でプロセッサを
   動作させる動作電圧・動作周波数制御手段とを備え、 前記動作電圧・動作周波数制御手段が前記算出された動
   作周波数及び動作電圧でプロセッサを一定に動作させな
   がら、動画像符号化又は復号化手段が所定フレームの符
   号化又は復号化処理を行うように、 コンピュータを機能させることを特徴とする動画像符号
   化又は復号化処理プログラム。
6. 【請求項６】 連続する複数のフレームのうち前記所定
   フレームより前に符号化処理されるフレームを前フレー
   ムとすると、動画像符号化処理プログラムである場合
   は、前記必要演算量計算手段は、所定フレームと前フレ
   ームとの動き量、所定フレームのアクティビティの量、
   前フレームのアクティビティの量、前フレームの量子化
   ステップサイズの平均値、前フレームの量子化ステップ
   サイズの平均値とその一つ前のフレームの量子化ステッ
   プサイズの平均値の差、前フレームのマクロブロックマ
   ッチング回数、前フレームの有効ブロック数、前フレー
   ムの有効係数の数、前フレームの符号化に実際に要した
   演算量、前フレームの発生ビット数、所定フレームの符
   号化ビットレート、所定フレームについてフレーム内符
   号化又はフレーム間符号化のいずれであるかの種類、必
   要演算量計算手段により算出された前フレームの必要演
   算量のうち、一つ以上の要素を使用して必要演算量を計
   算するように、 コンピュータを機能させることを特徴とする前記請求項
   ５記載の動画像符号化又は復号化処理プログラム。
7. 【請求項７】 連続する複数のフレームのうち前記所定
   フレームより前に復号化処理されるフレームを前フレー
   ムとすると、動画像復号化処理プログラムである場合
   は、前記必要演算量計算手段は、所定フレームの符号化
   データのビット数、前記所定フレームがフレーム内符号
   化されたものであるか又はフレーム間符号化されたもの
   であるかの種類、動きベクトルの大きさの平均値(所定
   フレームの，もしくは前フレームのもの)、動きベクト
   ルの大きさの分散 (所定フレームの，もしくは前フレ
   ームのもの)、有効ブロック数(所定フレームの，もしく
   は前フレームのもの)、有効係数の数(所定フレームの，
   もしくは前フレームのもの)、ビットレート(所定フレー
   ムの，もしくは前フレームのもの)、符号量(所定フレー
   ムの，もしくは前フレームのもの)、量子化ステップサ
   イズの平均値(所定フレームの，もしくは前フレームの
   もの)、量子化ステップサイズの平均値の差(所定フレー
   ムと１つ前のフレームの量子化ステップサイズの差，も
   しくは１つ前のフレームの量子化ステップサイズと２つ
   前のフレームの量子化ステップサイズの差)、前フレー
   ムの復号化に実際に要した演算量、必要演算量計算手段
   により算出された前フレームの必要演算量のうち一つ以
   上の要素を使用して必要演算量を計算するように、 コンピュータを機能させることを特徴とする前記請求項
   ５記載の動画像符号化又は復号化処理プログラム。
8. 【請求項８】 前記プロセッサは動作可能な可能動作周
   波数がｎ段階（ｎは２以上の整数）に用意されており、
   前記動作電圧・周波数計算手段は、前記必要演算量計算
   手段により算出された前記所定フレームの必要演算量Ｋ
   と、所定フレームの処理に割り当てられる時間Ｔfとか
   ら、時間Ｔfで必要演算量Ｋを処理するに必要な動作周
   波数ＦfをＦf＝Ｋ／Ｔfで計算し、前記プロセッサが動
   作可能な可能動作周波数から前記必要な動作周波数Ｆf
   以上であり且つその動作周波数Ｆfに最も近い動作周波
   数Ｆを選択する計算を行うとともに、その選択された動
   作周波数Ｆに適する動作電圧Ｖを計算するように、 コンピュータを機能させることを特徴とする前記請求項
   ５乃至請求項７記載の動画像符号化又は復号化処理プロ
   グラム。