JP2001177826A

JP2001177826A - 動画像符号化方法および装置

Info

Publication number: JP2001177826A
Application number: JP35914499A
Authority: JP
Inventors: Toshio Hikima; 寿夫引間
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1999-12-17
Filing date: 1999-12-17
Publication date: 2001-06-29

Abstract

(57)【要約】【課題】動きが激しい画像のように、その圧縮率が低
い部分でも、フレームレートを落とさないようにするこ
とで、動きの滑らかな映像を再生することができる動画
像符号化方法および装置を提供する。【解決手段】制御部１０６により、符号化されてバッ
ファ１０５に保持されたフレームの発生符号量が検出さ
れ、その後に符号化すべきフレームの発生符号量を一定
範囲内にするように、符号化すべきフレームのフレーム
サイズを切り換える切換信号がフレーム変倍部１０３に
出力される。フレーム変倍部１０３により、入力される
切換信号に従って符号化すべきフレームのフレームサイ
ズが切り換えられ、前記符号化すべきフレームが変倍さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル動画像
を符号化する動画像符号化方法および装置に関するもの
である。

【０００２】

【従来の技術】従来、デジタル動画像を符号化する動画
像符号化方法および装置において、発生符号量に応じて
フレームレートを制御する動画像符号化方法および装置
が知られている。ここでいうフレームレートとは、動画
像符号化装置から出力される単位時間当たりのフレーム
数をいう。

【０００３】一般に、動画像を符号化する場合、画像の
内容に応じてデータ圧縮率が変化する。例えば、動きの
激しい画像を符号化すると、発生符号量が増加し、デー
タ圧縮率が低下する。一方、動画像符号化装置により符
号化された画像ストリームが出力される伝送路の帯域
は、通常一定である。このため、各フレームの発生符号
量に応じてフレームレートを変化させて、伝送路を有効
に利用している。すなわち、発生符号量が小さいときに
は、フレームレートを大きくし、発生符号量が大きいと
きには、フレームレートを小さくしている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
動画像圧縮方法および装置では、発生符号量に応じてフ
レームレートを変化させていたため、フレームレートの
低い画像を復号すると、動きがぎこちない映像が再生さ
れてしまうといった欠点があった。特に、動きが激しい
画像ほど、発生符号量が大きくなり、フレームレートが
小さくなるため、ぎこちない動きがいっそう目立ってし
まうといった問題があった。

【０００５】この発明は、かかる問題点を解決するため
になされたものであり、その目的は、動きが激しい画像
のように、その圧縮率が低い部分でも、フレームレート
を落とさないようにすることで、動きの滑らかな映像を
再生することができる動画像符号化方法および装置を提
供することにある。

【０００６】

【課題を解決するための手段】請求項１に記載の動画像
符号化方法は、動画像を構成する各フレームを符号化す
る動画像符号化方法において、符号化されたフレームの
発生符号量を検出する符号量検出工程と、前記符号量検
出工程で検出された発生符号量に基づいて、その後に符
号化すべきフレームの発生符号量を一定範囲内にするよ
うに、前記符号化すべきフレームのフレームサイズを切
り換え、切り換えられたフレームサイズに従って前記符
号化すべきフレームを変倍するフレーム変倍工程とを含
むことを特徴とするものである。

【０００７】請求項２に記載の動画像符号化装置は、動
画像を構成する各フレームを符号化する動画像符号化装
置において、符号化されたフレームの発生符号量を検出
する符号量検出手段と、前記符号量検出手段により検出
された発生符号量に基づいて、その後に符号化すべきフ
レームの発生符号量を一定範囲内にするように、前記符
号化すべきフレームのフレームサイズを切り換え、切り
換えられたフレームサイズに従って前記符号化すべきフ
レームを変倍するフレーム変倍手段とを備えたことを特
徴とするものである。

【０００８】請求項３に記載の動画像符号化装置は、請
求項２に記載の動画像符号化装置において、前記フレー
ム変倍手段は、前記符号量検出手段により検出された発
生符号量があらかじめ設定された第１の設定値より大き
いとき、フレームサイズを小さくし、前記符号量検出手
段により検出された発生符号量が前記第１の設定値より
小さいあらかじめ設定された第２の設定値より小さいと
き、フレームサイズを大きくすることを特徴とするもの
である。

【０００９】請求項４に記載の動画像符号化装置は、請
求項２に記載の動画像符号化装置において、符号化され
た各フレームを所定のフレームレートで出力する出力手
段と、前記符号量検出手段により検出された発生符号量
を、前記出力手段により出力可能な１フレーム当たりの
符号量と比較する比較手段とを有し、前記フレーム変倍
手段は、前記比較手段の比較結果に基づいて符号化すべ
きフレームのフレームサイズを切り換えることを特徴と
するものである。

【００１０】請求項５に記載の動画像符号化装置は、請
求項４に記載の動画像符号化装置において、前記比較手
段は、符号量検出手段により検出された発生符号量を、
前記出力手段により出力可能な１フレーム当たりの符号
量で除算する算出手段を有し、前記フレーム変倍手段
は、前記算出手段の算出結果が１より大きいとき、フレ
ームサイズを小さくし、前記算出手段の算出結果が１よ
り小さいあらかじめ設定された設定値より小さいとき、
フレームサイズを大きくすることを特徴とするものであ
る。

【００１１】請求項６に記載の動画像符号化方法は、音
声データを含む動画像を構成する各フレームを符号化す
る動画像符号化方法において、符号化すべき現フレーム
の平均音声レベルと、この現フレームより時間的に前の
既に符号化済みの参照フレームの平均音声レベルとを入
力する入力工程と、前記入力工程で入力された現フレー
ムの平均音声レベルと参照フレームの平均音声レベルと
を比較する比較工程と、前記比較工程の比較結果に基づ
いて、現フレームの発生符号量を一定範囲内にするよう
に、現フレームのフレームサイズを切り換え、切り換え
られたフレームサイズに従って現フレームを変倍するフ
レーム変倍工程とを含むことを特徴とするものである。

【００１２】請求項７に記載の動画像符号化装置は、音
声データを含む動画像を構成する各フレームを符号化す
る動画像符号化装置において、符号化すべき現フレーム
の平均音声レベルと、この現フレームより時間的に前の
既に符号化済みの参照フレームの平均音声レベルとを入
力する入力手段と、前記入力手段により入力された現フ
レームの平均音声レベルと参照フレームの平均音声レベ
ルとを比較する比較手段と、前記比較手段の比較結果に
基づいて、現フレームの発生符号量を一定範囲内にする
ように、現フレームのフレームサイズを切り換え、切り
換えられたフレームサイズに従って前記符号化すべきフ
レームを変倍するフレーム変倍手段とを備えたことを特
徴とするものである。

【００１３】請求項８に記載の動画像符号化装置は、請
求項７に記載の動画像符号化装置において、前記比較手
段は、入力された現フレームの平均音声レベルと参照フ
レームの平均音声レベルとの差を算出する算出手段と、
前記算出手段により算出された平均音声レベルの差があ
らかじめ設定された設定範囲内にあるか否かを判定する
判定手段とを有し、前記フレーム変倍手段は、前記判定
手段により前記平均音声レベルの差が前記設定範囲内に
ないと判定されたとき、フレームサイズを小さくするこ
とを特徴とするものである。

【００１４】請求項９に記載の動画像符号化装置は、請
求項８に記載の動画像圧縮装置において、前記フレーム
変倍手段は、前記判定手段により前記平均音声レベルの
差が前記設定範囲内にあると所定回数連続して判定され
たとき、フレームサイズを大きくすることを特徴とする
ものである。

【００１５】請求項１０に記載の動画像符号化方法は、
動画像を構成する各フレームを符号化する動画像符号化
方法において、符号化すべき現フレームを既に符号化済
みの参照フレームに基づいて予測するのに用いられ、現
フレーム上の位置と参照フレーム上の位置との変位によ
り特定される動きベクトルを探索する動きベクトル探索
工程と、前記動きベクトル探索工程で探索された現フレ
ームの各動きベクトルのうち、現フレームを代表する複
数の動きベクトルの平均値を算出する平均動きベクトル
算出工程と、前記平均動きベクトル算出工程で算出され
た動きベクトルの平均値に基づいて、現フレームの発生
符号量を一定範囲内にするように、現フレームのフレー
ムサイズを切り換え、切り換えられたフレームサイズに
従って現フレームを変倍するフレーム変倍工程とを含む
ことを特徴とするものである。

【００１６】請求項１１に記載の動画像符号化装置は、
動画像を構成する各フレームを符号化する動画像符号化
装置において、符号化すべき現フレームを既に符号化済
みの参照フレームに基づいて予測するのに用いられ、現
フレーム上の位置と参照フレーム上の位置との変位によ
り特定される動きベクトルを探索する動きベクトル探索
手段と、動きベクトル探索手段により探索された現フレ
ームの各動きベクトルのうち、前記現フレームを代表す
る複数の動きベクトルの平均値を算出する平均動きベク
トル算出手段と、平均動きベクトル算出手段により算出
された動きベクトルの平均値に基づいて、現フレームの
発生符号量を一定範囲内にするように、現フレームのフ
レームサイズを切り換え、切り換えられたフレームサイ
ズに従って現フレームを変倍するフレーム変倍手段とを
備えたことを特徴とするものである。

【００１７】請求項１２に記載の動画像符号化装置は、
請求項１１に記載の動画像符号化装置において、前記フ
レーム変倍手段は、前記平均動きベクトル算出手段によ
り算出された動きベクトルの平均値があらかじめ設定さ
れた第１の設定値より大きいとき、フレームサイズを小
さくし、前記平均動きベクトル算出手段により算出され
た動きベクトルの平均値が前記第１の設定値より小さい
あらかじめ設定された第２の設定値より小さいとき、フ
レームサイズを大きくするものである。

【００１８】請求項１３に記載の動画像符号化方法は、
既に符号化済みの参照フレームに基づいて複数の現画像
ブロックからなる現フレームを符号化する動画像符号化
方法であって、各現画像ブロック毎に、参照フレーム上
に現画像ブロックと同一サイズの複数の候補ブロックを
含む探索領域を設定する探索領域設定工程と、前記探索
領域設定工程で設定された探索領域に含まれる各候補ブ
ロックと現画像ブロックとの間の画像の類似性を表すデ
ィストーションをそれぞれ算出するディストーション算
出工程と、前記ディストーション算出工程で算出された
複数のディストーションを比較して、前記複数の候補ブ
ロックの中から現画像ブロックに類似する類似ブロック
を特定する類似ブロック特定工程と、前記類似ブロック
特定工程で特定された類似ブロックの参照フレーム上の
位置と現画像ブロックの現フレーム上の位置との変位を
求め、動きベクトルを算出する動きベクトル算出工程と
を含む動画像符号化方法において、前記ディストーショ
ン算出工程で算出され、前記類似ブロック特定工程で類
似ブロックが特定された各現画像ブロックとそれぞれの
類似ブロックとの間の複数のディストーションのうち、
現フレームを代表する複数のディストーションの平均値
を算出する平均ディストーション算出工程と、前記平均
ディストーション算出工程で算出されたディストーショ
ンの平均値に基づいて、現フレームの発生符号量を一定
範囲内にするように、現フレームのフレームサイズを切
り換え、切り換えられたフレームサイズに従って現フレ
ームを変倍するフレーム変倍工程とを含むことを特徴と
するものである。

【００１９】請求項１４に記載の動画像符号化装置は、
既に符号化済みの参照フレームに基づいて複数の現画像
ブロックからなる現フレームを符号化する動画像符号化
装置であって、各現画像ブロック毎に、参照フレーム上
に現画像ブロックと同一サイズの複数の候補ブロックを
含む探索領域を設定する探索領域設定手段と、前記探索
領域設定手段により設定された探索領域に含まれる複数
の候補ブロックと現画像ブロックとの間の画像の類似性
を表すディストーションをそれぞれ算出するディストー
ション算出手段と、前記ディストーション算出手段によ
り算出された複数のディストーションを比較して、前記
複数の候補ブロックの中から現画像ブロックに類似する
類似ブロックを特定する類似ブロック特定手段と、前記
類似ブロック特定手段により特定された類似ブロックの
参照フレーム上の位置と現画像ブロックの現フレーム上
の位置との変位を求め、動きベクトルを算出する動きベ
クトル算出手段とを有する動画像符号化装置において、
前記ディストーション算出手段により算出され、前記類
似ブロック特定手段により類似ブロックが特定された各
現画像ブロックとそれぞれの類似ブロックとの間の複数
のディストーションのうち、現フレームを代表する複数
のディストーションの平均値を算出する平均ディストー
ション算出手段と、前記平均ディストーション算出手段
により算出されたディストーションの平均値に基づい
て、現フレームの発生符号量を一定範囲内にするよう
に、現フレームのフレームサイズを切り換え、切り換え
られたフレームサイズに従って現フレームを変倍するフ
レーム変倍手段とを備えたことを特徴とするものであ
る。

【００２０】請求項１５に記載の動画像符号化装置は、
請求項１４に記載の動画像符号化装置において、前記フ
レーム変倍手段は、前記平均ディストーション算出手段
により算出されたディストーションの平均値があらかじ
め設定された第１の設定値より大きいとき、フレームサ
イズを小さくし、前記平均ディストーション算出手段に
より算出されたディストーションの平均値が前記第１の
設定値より小さいあらかじめ設定された第２の設定値よ
り小さいとき、フレームサイズを大きくすることを特徴
とするものである。

【００２１】

【発明の実施の形態】以下、この発明に係る動画像符号
化方法および装置の好ましい実施の形態を図面を参照し
て説明する。実施の形態１．図１は、この発明に係る実施の形態１の
動画像符号化装置の構成図である。この動画像符号化装
置は、ＮＴＳＣ（National Television System Committ
ee）信号を、ＩＴＵ−Ｔ（International Telecommunic
ation Union −Telecommunication Standardization Se
ctor）勧告Ｈ２６３に規定される動画像符号化方法によ
り圧縮して符号化する。

【００２２】ＮＴＳＣ信号は、Ｙ（輝度）信号およびＣ
（色差）信号を多重化したアナログ信号であり、ビデオ
カメラやビデオレコーダの出力信号に使用されている。
勧告Ｈ２６３は、ＴＶ電話、ＴＶ会議等の通信系におい
て動画像を比較的低いビットレートで圧縮し、リアルタ
イムで伝送することを前提に作成された規格である。な
お、カラー画像信号は、ＮＴＳＣ信号に限るものではな
い。また、動画像圧縮方法も、Ｈ２６３に限るものでは
ない。

【００２３】図１に示すように、この動画像符号化装置
は、画像入力部１０１、画像コマ落とし部１０２、フレ
ーム変倍部１０３、画像圧縮符号化部１０４、バッファ
１０５および制御部１０６を備える。

【００２４】画像入力部１０１は、ＮＴＳＣ信号を入力
し、入力されたアナログ信号をデジタル信号に変換し、
変換された動画像を一定のフレームレート、例えば、３
０フレーム／秒で出力する。画像コマ落とし部１０２
は、画像入力部１０１から出力された動画像に対し、い
わゆるコマ落としを行う。画像コマ落とし部１０２は、
入力された動画像の中から一定の間隔（フレーム枚数）
で１枚のフレームを取り除き、動画像のフレームレート
を低減する。１枚のフレームを取り除く間隔は、可変で
あり、この間隔を変化させることで、動画像の発生符号
量を制御することができる。画像入力部１０１から出力
される動画像のフレームレートが３０フレーム／秒のと
きには、画像コマ落とし部１０２から出力されるフレー
ムレートは、３０フレーム／秒以下になる。

【００２５】フレーム変倍部１０３は、画像コマ落とし
部１０２から出力される各フレームのフレームサイズ
を、既に符号化されたフレームの発生符号量に基づいて
切り換え、切り換えられたフレームサイズに従って、符
号化すべきフレームを変倍する。フレームサイズとは、
１枚のフレームの水平方向の画素数および垂直方向のラ
イン数をいい、フレームを変倍するとは、フレームの画
素数およびライン数を変えて、フレームを拡大または縮
小することをいう。

【００２６】フレームを拡大する方法としては、例え
ば、隣接する２画素間の画素値の平均値や２画素間の画
素値の傾き（差分）を求め、これらの間の画素を内挿す
る等の方法がある。また、フレームを縮小する方法とし
ては、例えば、水平方向の画素および垂直方向の画素を
それぞれ一定の周期で間引く方法や、近傍の複数の画素
の平均値を求め、これらの画素を代表する１つの画素を
生成する方法等がある。

【００２７】ＩＴＵ−Ｔ勧告Ｈ２６３においては、ＣＩ
Ｆ（Common Intermediate Format）と呼ばれる５種類の
画像フォーマット（フレームサイズ）ｓｕｂＱＣＩＦ：１２８画素× ９６ライン、ＱＣＩＦ：１７６画素× １４４ライン、ＣＩＦ：３５２画素× ２８８ライン、４ＣＩＦ：７０４画素× ５７６ライン、１６ＣＩＦ：１４０８画素×１１５２ラインが規定され、さらに、画素数が４〜２０４８画素の４の
倍数であり、ライン数が４〜１１５２ラインまでの４の
倍数である、制限付きの任意のフレームサイズの画像フ
ォーマットが規定されている。

【００２８】フレーム変倍部１０３は、例えば、入力画
像が前記５種類の画像フォーマットの場合には、入力画
像と等倍のフレームサイズ（等倍モード）、入力画像よ
り１サイズ大きいフレームサイズ（拡大モード）、並び
に、入力画像より１サイズ小さいフレームサイズ（縮小
モード）のうち何れかのフレームサイズを選択する。例
えば、入力画像がＣＩＦのときには、等倍モードはＣＩ
Ｆ、拡大モードは４ＣＩＦ、縮小モードはＱＣＩＦとな
る。

【００２９】また、フレーム変倍部１０３は、例えば、
入力画像が前記任意のサイズの画像フォーマットの場合
には、入力画像と等倍のフレームサイズ（等倍モー
ド）、画素数およびライン数がそれぞれ入力画像の２倍
のフレームサイズ（拡大モード）、並びに、画素数およ
びライン数がそれぞれ入力画像の１／２倍のフレームサ
イズ（縮小モード）のうちの何れかのフレームサイズを
選択する。

【００３０】なお、フレームサイズの切換方法は、これ
に限るものではない。等倍モード、拡大モードおよび縮
小モードの変倍モードの種類も、これらに限るものでは
なく、入力画像の変倍倍率も、これらに限るものではな
い。

【００３１】画像圧縮符号化部１０４は、フレーム変倍
部１０３から出力される各フレームを圧縮して符号化す
る。バッファ１０５は、画像圧縮符号化部１０４により
符号化された各フレームの符号データを一時的に保持す
る。バッファ１０５に保持された各フレームの符号デー
タは、伝送路により伝送可能な一定のフレームレートで
出力される。なお、バッファ１０５に保持された符号デ
ータを伝送路に出力する代わりに、記録媒体に記録する
ようにしてもよい。

【００３２】制御部１０６は、これらの各部を制御す
る。制御部１０６は、バッファ１０５に保持される各フ
レームの発生符号量を監視し、監視される発生符号量に
応じてフレームサイズ（等倍モード、拡大モードおよび
縮小モード）を切り換えるための制御信号をフレーム変
倍部１０３に出力する。

【００３３】制御部１０６は、例えば、符号化された１
枚のフレームがバッファ１０５に保持される前後のバッ
ファ１０５の符号量を検出し、１枚のフレームがバッフ
ァ１０５に保持される前の符号量Ａと、１枚のフレーム
がバッファ１０５に保持された後の符号量Ｂとの差分Ｃ
（＝Ｂ−Ａ）を求め、この差分Ｃをあらかじめ設定され
た第１の設定値Ｓ１および第２の設定値Ｓ２と比較す
る。第１の設定値Ｓ１と第２の設定値Ｓ２との関係は、
Ｓ１＞Ｓ２である。

【００３４】第１の設定値Ｓ１および第２の設定値Ｓ２
は、例えば、Ｓ１＝Ｔ／Ｆ、Ｓ２＝（１／２）×（Ｔ／Ｆ）、ここで、Ｔは、伝送路の帯域Ｔ（bit／秒）、Ｆは、出力画像のフレームレートＦ（枚／秒）のように定義される。Ｔ／Ｆは、伝送路に送出可能な１
フレーム当たりの符号量を意味する。

【００３５】制御部１０６は、前記差分Ｃ（符号化され
た１フレームの符号量）が、第１の設定値Ｓ１より大き
いときには、現在のフレームサイズより１サイズ小さい
フレームサイズに切り換える制御信号をフレーム変倍部
１０３に出力し、前記差分Ｃが第２の設定値Ｓ２より小
さいときには、現在のフレームサイズより１サイズ大き
いフレームサイズに切り換える制御信号をフレーム変倍
部１０３に出力し、前記差分Ｃが第１の設定値Ｓ１およ
び第２の設定値Ｓ２の範囲内にあるときには、現在のフ
レームサイズを維持する制御信号をフレーム変倍部１０
３に出力する。フレーム変倍部１０３は、制御部１０６
から出力されたこれらの制御信号に従ってフレームサイ
ズを切り換える。

【００３６】図２は、実施の形態１の動画像符号化装置
の概略動作を示すフローチャートである。ＮＴＳＣ信号
が画像入力部１０１に入力されると、画像入力部１０１
によりアナログ信号がデジタル信号に変換され、３０フ
レーム／秒のフレームレートの動画像が出力される（ス
テップＳ１）。この動画像は、画像コマ落とし部１０２
により一定間隔でコマ落としが行われ、３０フレーム／
秒以下のフレームレートの動画像が出力される（ステッ
プＳ２）。この動画像を構成する各フレームは、制御部
１０６から出力されるフレームサイズの切換信号に従っ
て、フレーム変倍部１０３により等倍モード、拡大モー
ドおよび縮小モードの何れかの変倍モードで変倍される
（ステップＳ３）。変倍された各フレームは、画像圧縮
符号化部１０４により圧縮符号化され（ステップＳ
４）、バッファ１０５に保持される（ステップＳ５）。
バッファ１０５に保持された各フレームの符号データ
は、伝送路により伝送可能な一定のフレームレートで出
力される（ステップＳ６）。

【００３７】図３は、図２に示されたステップＳ３にお
けるフレームサイズ切換動作のフローチャートである。
１枚のフレームが画像圧縮符号化部１０４により符号化
され、バッファ１０５に記憶されると、制御部１０６に
より、１枚のフレームがバッファ１０５に保持される前
の符号量Ａと、１枚のフレームがバッファ１０５に保持
された後の符号量Ｂとの差分Ｃ（＝Ｂ−Ａ）が算出され
（ステップＳ１１）、算出された差分Ｃが第１の設定値
Ｓ１（＝Ｔ／Ｆ）で除算され、伝送路に送出可能な１フ
レーム当たりの符号量Ｔ／Ｆに対するフレームの符号量
Ｃの比率Ｒ（＝Ｃ／（Ｔ／Ｆ））が算出される（ステッ
プＳ１２）。

【００３８】この算出された比率Ｒに基づいてフレーム
サイズを切り換える制御信号が制御部１０６により以下
の手順で決定される。比率Ｒは、第１の設定値Ｓ１に対
応する「１」と比較される（ステップＳ１３）。比率Ｒ
が１より大きいときには、バッファ１０５から伝送路に
出力可能な符号データのフレームレートに対し、符号化
されたフレームの発生符号量が大きいため、現在のフレ
ームサイズより１サイズ小さいフレームサイズに切り換
える制御信号が制御部１０６により出力される（ステッ
プＳ１４）。フレーム変倍部１０３により、現在の変倍
モードが等倍モードのときには、変倍モードが縮小モー
ドに切り換えられ、現在の変倍モードが拡大モードのと
きには、変倍モードが等倍モードに切り換えられる（ス
テップＳ１５）。

【００３９】一方、ステップＳ１３で、比率Ｒが１以下
のときには、比率Ｒが第２の設定値Ｓ２に対応する
「０．５」と比較される（ステップＳ１６）。比率Ｒが
０．５より小さいときには、バッファ１０５から伝送路
に出力可能な符号データのフレームレートに対し、符号
化されたフレームの発生符号量が小さいため、現在のフ
レームサイズより１サイズ大きいフレームサイズに切り
換える制御信号が制御部１０６により出力される（ステ
ップＳ１７）。フレーム変倍部１０３により、現在の変
倍モードが等倍モードのときには、変倍モードが拡大モ
ードに切り換えられ、現在の変倍モードが縮小モードの
ときには、変倍モードが等倍モードに切り換えられる
（ステップＳ１８）。

【００４０】一方、ステップＳ１６で、比率Ｒが０．５
以上のときには、バッファ１０５から伝送路に出力可能
な符号データのフレームレートに対し、符号化されたフ
レームの発生符号量が適正範囲に保たれているため、現
在のフレームサイズを維持する制御信号が制御部１０６
により出力される（ステップＳ１９）。フレーム変倍部
１０３により、現在の変倍モードが維持される（ステッ
プＳ２０）。

【００４１】以上のように、実施の形態１によれば、符
号化されたフレームの発生符号量に応じてフレーム変倍
部１０３のフレームサイズを切り換え、切り換えられた
フレームサイズに従って符号化すべきフレームを変倍す
る。これにより、各フレームの発生符号量を一定範囲内
に保持することができるので、画像コマ落とし部１０２
によりフレームレートを大きく変化させることなく、動
画像を符号化することができる。したがって、各フレー
ムの画像の内容にかかわらず、略一定のフレームレート
で動画像を符号化することができるので、動きの激しい
映像のように、画像圧縮率が低い部分では、フレームレ
ートを落とさずに、動きの滑らかな映像を再生すること
ができる。また、画像圧縮率が高い部分では、高画質の
映像を再生することができる。

【００４２】実施の形態２．一般に動画像は、音声とと
もに符号化される場合が多い。映像の動きが激しく、画
像の内容が大幅に変化するときには、音声も大幅に変化
する場合が多い。例えば、映像の動きが激しい顕著な場
面は、シーンチェンジのときである。シーンチェンジの
ときには、現在の時刻の画像の内容と、その１つ前の時
刻の画像の内容とは全く異なる。このとき、音声もシー
ンチェンジ前は静かであったが、シーンチェンジ後は、
急激に大きくなる等の変化が起こる。実施の形態２で
は、この音声の変化を利用して、映像の動きの激しい部
分を検出し、これにより、符号化すべきフレームのフレ
ームサイズを切り換える。

【００４３】図４は、実施の形態２の動画像符号化装置
の構成図である。図４に示すように、実施の形態２の動
画像符号化装置は、画像入力部１０１、画像コマ落とし
部１０２、フレーム変倍部１０３、画像圧縮符号化部１
０４、バッファ１０５、音声入力部２０１、音声コマ落
とし部２０２および制御部２０６を備える。ここで、図
に示された実施の形態１の動画像符号化装置の各部と同
様の構成には、同一符号を付し、その説明を省略する。

【００４４】音声入力部２０１は、画像入力部１０１に
入力される各フレームに対応する音声信号を入力し、音
声コマ落とし部２０２に出力する。音声コマ落とし部２
０２は、画像入力部１０１によりコマ落としが行われた
フレームと同時刻の音声信号のコマ落としを行い、残さ
れた各フレームの平均音声レベルを求め、制御部２０６
に出力する。

【００４５】なお、画像入力部１０１に入力される各フ
レームの平均音声レベルをあらかじめ用意しておき、音
声入力部２０１は、画像入力部１０１に入力される各フ
レームに対応する平均音声レベルを入力し、音声コマ落
とし部２０２は、画像入力部１０１によりコマ落としが
行われるフレームに対応する平均音声レベルのコマ落と
しを行うように構成してもよい。

【００４６】制御部２０６は、図１に示された制御部１
０６と同様に、実施の形態２の動画像符号化装置の各部
を制御するが、音声コマ落とし部２０２から出力された
各フレームの平均音声レベルに基づいて、フレーム変倍
部１０３のフレームサイズ（変倍モード）を切り換える
ための制御信号を出力する点が制御部１０６と異なる。

【００４７】制御部２０６は、符号化すべき現フレーム
の平均音声レベルと、このフレームよりも時間的に前の
参照フレーム（例えば、３フレーム前のフレーム）の音
声レベルとを比較する。制御部２０６は、例えば、現フ
レームの平均音声レベルと参照フレームの平均レベルと
の差が一定範囲にないときには、映像の動きが激しいと
判定し、現在のフレームサイズより１サイズ小さいフレ
ームサイズに切り換える制御信号をフレーム変倍部１０
３に出力し、現フレームの平均音声レベルと参照フレー
ムの平均レベルとの差が一定範囲にあるときには、映像
の動きが適当な範囲にあると判定し、通常は、現在のフ
レームサイズを維持する制御信号をフレーム変倍部１０
３に出力する。

【００４８】さらに、制御部２０６は、フレームサイズ
が切り換えられた後、現フレームの平均音声レベルと参
照フレームの平均レベルとの差が一定範囲にあると、一
定時間（所定回数）連続して判定されたときには、映像
の動きが少ないと判定し、現在のフレームサイズより１
サイズ大きいフレームサイズに切り換える制御信号をフ
レーム変倍部１０３に出力する。フレーム変倍部１０３
は、制御部２０６から出力されたこれらの制御信号に従
ってフレームサイズを切り換える。

【００４９】実施の形態２の動画像符号化装置の概略動
作は、図２に示された実施の形態１の動画像符号化装置
と同様であるが、ステップＳ１において、音声入力部２
０１により動画像を構成する各フレームに対応する音声
が入力される動作が、ステップＳ２において、画像コマ
落とし部１０２によりコマ落としが行われたフレームに
対応する音声のコマ落としが行われ、残された各フレー
ムの平均音声レベルが求められる動作が加わる。また、
ステップＳ３において、制御部２０６によりフレーム切
換信号を決定する動作が制御部１０６の動作と異なるた
め、これについて説明する。

【００５０】図５は、実施の形態２のフレームサイズ切
換動作のフローチャートである。制御部２０６により、
現フレームの平均音声レベルＡと、参照フレーム（３フ
レーム前のフレーム）の平均音声レベルＢとの差分Ｃ
（＝Ｂ−Ａ）が算出され（ステップＳ２１）、算出され
た差分Ｃの絶対値が設定値Ｓの範囲内にあるか否かが判
定される（ステップＳ２２）。

【００５１】差分Ｃの絶対値が設定値Ｓの範囲を超える
ときには、映像の動きが激しく、符号化されるフレーム
の発生符号量が大きいため、現在のフレームサイズより
１サイズ小さいフレームサイズに切り換える制御信号が
制御部１０６により出力される（ステップＳ２３）。フ
レーム変倍部１０３により、現在の変倍モードが等倍モ
ードのときには、変倍モードが縮小モードに切り換えら
れ、現在の変倍モードが拡大モードのときには、変倍モ
ードが等倍モードに切り換えられる（ステップＳ２
４）。

【００５２】一方、差分Ｃの絶対値が設定値Ｓの範囲内
にある（ステップＳ２２、ＹＥＳ）とＰ回連続して判定
されたときには（ステップＳ２５、ＹＥＳ）、映像の動
きが少なく、符号化されるフレームの発生符号量が小さ
いため、現在のフレームサイズより１サイズ大きいフレ
ームサイズに切り換える制御信号が制御部１０６により
出力される（ステップＳ２６）。フレーム変倍部１０３
により、現在の変倍モードが等倍モードのときには、変
倍モードが拡大モードに切り換えられ、現在の変倍モー
ドが縮小モードのときには、変倍モードが等倍モードに
切り換えられる（ステップＳ２７）。

【００５３】一方、差分Ｃの絶対値が設定値Ｓの範囲内
にある（ステップＳ２２、ＹＥＳ）と判定された回数が
Ｐ回に達しないときには（ステップＳ２５、ＮＯ）、映
像の動きが適当な範囲にあり、符号化されるフレームの
発生符号量も適正範囲にあるため、現在のフレームサイ
ズを維持する制御信号が制御部１０６により出力される
（ステップＳ２８）。フレーム変倍部１０３により、現
在の変倍モードが維持される（ステップＳ２９）。

【００５４】以上のように、実施の形態２によれば、符
号化すべき現フレームと既に符号化済みの参照フレーム
との音声の変化を検出し、検出された音声の変化から映
像の動きに応じた現フレームの発生符号量を推定し、フ
レーム変倍部１０３のフレームサイズを切り換える。こ
れにより、実施の形態１と同様の効果を得ることができ
る。

【００５５】実施の形態３．動画像の符号化では、一般
に、動き補償を用いたフレーム間符号化が行われる。動
き補償フレーム間符号化では、符号化すべき現フレーム
上のある位置の画像が、既に符号化済みの参照フレーム
上の元の位置からどの程度移動したか（変位）を特定す
る動きベクトルを探索し、探索された動きベクトルおよ
び参照フレーム上の元の位置の画像から現フレームを予
測する。そして、現フレームと予測フレームとの差分画
像に対し画像圧縮を行うことで、高い圧縮率の符号デー
タを得ている。例えば、画像内の物体が平行移動を行う
フレーム間の符号化の際には、特にその効果が発揮され
る。実施の形態３では、動きの大きさを示す動きベクト
ルを利用し、符号化すべき現フレームのフレームサイズ
を切り換える。

【００５６】図６は、実施の形態３の動画像符号化装置
の構成図である。図６に示すように、実施の形態３の動
画像符号化装置は、画像入力部１０１、画像コマ落とし
部１０２、フレーム変倍部１０３、画像圧縮符号化部１
０４、バッファ１０５および制御部３０６を備える。こ
こで、図１に示された実施の形態１の動画像符号化装置
の各部と同様の構成には、同一符号を付し、内容が重複
する事項に関してはその説明を省略する。

【００５７】画像圧縮符号化部１０４は、動き検出／動
き補償部３０１およびＤＣＴ／量子化／ＶＬＣ部３０２
を備える。動き検出／動き補償部３０１は、既に符号化
済みの参照フレームを参照し、現フレームを予測するた
めの動きベクトルを探索する。動き検出／動き補償部３
０１は、現フレームを、例えば１６画素×１６ラインの
マクロブロックに分割し、分割された各マクロブロック
毎に動きベクトルを求める。動きベクトルの探索は、従
来良く知られるように、例えば、次のように行われる。

【００５８】動き検出／動き補償部３０１は、現フレー
ム上の現マクロブロックに対し、参照フレーム上に現マ
クロブロックと同一サイズの複数の候補ブロックを含む
探索領域を設定する。動き検出／動き補償部３０１は、
各候補ブロックと現マクロブロックとの間に、それぞれ
画像の類似性を表すディストーションを算出する。動き
検出／動き補償部３０１は、これらのディストーション
を比較し、現マクロブロックに類似する類似ブロック
（１つの候補ブロック）を特定する。動き検出／動き補
償部３０１は、特定された類似ブロックの参照フレーム
上の位置と現フレーム上の現マクロブロックの位置との
変位を求め、動きベクトルを算出する。

【００５９】動き検出／動き補償部３０１は、各マクロ
ブロックの動きベクトルと、これらの動きベクトルのそ
れぞれに対応する参照フレームの類似ブロックとから現
フレームの予測フレームを生成して動き補償を行い、現
フレームと予測フレームとの差分画像をＤＣＴ／量子化
／ＶＬＣ部３０２に出力する。なお、動き検出／動き補
償部３０１は、フレーム内（イントラ）符号化のときに
は、入力画像をそのままＤＣＴ／量子化／ＶＬＣ部３０
２に出力する。

【００６０】ＤＣＴ／量子化／ＶＬＣ部３０２は、入力
された各マクロブロックに対し、ＤＣＴ（Discrete Cos
ine Transfom；離散コサイン変換）、量子化およびＶＬ
Ｃ（Variable Length Coding）を行い、ヘッダ等の付随
情報を付加して符号データを生成する。

【００６１】制御部３０６は、図１に示された制御部１
０６と同様に、実施の形態３の動画像符号化装置の各部
を制御するが、動き検出／動き補償部３０１により探索
された動きベクトルＭＶに基づいて、フレーム変倍部１
０３のフレームサイズ（変倍モード）を切り換えるため
の制御信号を出力する点が制御部１０６と異なる。

【００６２】制御部３０６は、符号化すべき現フレーム
の動きベクトルのうち、現フレームを代表する複数の動
きベクトルの平均値Ａを算出して、正規化する。現フレ
ームを代表する複数の動きベクトルは、現フレームの全
てのマクロブロックの動きベクトルでもよく、現フレー
ムの一部のマクロブロックの動きベクトルでもよい。現
フレームの一部の動きベクトルとしては、例えば、現フ
レームの中央部（画面中央）の動きベクトルや、値が大
きい上位数個の動きベクトルとすることができる。現フ
レームの全ての動きベクトルの平均値を算出する場合に
は、現フレームの正確な平均値を得ることができる。一
方、現フレームの一部の動きベクトルの平均値を算出す
る場合には、演算処理を高速に行うことができる。

【００６３】制御部３０６は、算出された動きベクトル
の平均値Ａをあらかじめ設定された第１の設定値Ｓ１お
よび第２の設定値Ｓ２と比較する。第１の設定値Ｓ１と
第２の設定値Ｓ２との関係は、Ｓ１＞Ｓ２である。

【００６４】第１の設定値Ｓ１および第２の設定値Ｓ２
は、例えば、Ｓ１＝ＢＳ２＝１／２×Ｂのように定義される。

【００６５】制御部３０６は、動きベクトルの平均値Ａ
が第１の設定値Ｓ１より大きいときには、現在のフレー
ムサイズより１サイズ小さいフレームサイズに切り換え
る制御信号をフレーム変倍部１０３に出力し、動きベク
トルの平均値Ａが第２の設定値Ｓ２より小さいときに
は、現在のフレームサイズより１サイズ大きいフレーム
サイズに切り換える制御信号をフレーム変倍部１０３に
出力し、動きベクトルの平均値Ａが第１の設定値Ｓ１お
よび第２の設定値Ｓ２の範囲内にあるときには、現在の
フレームサイズを維持する制御信号をフレーム変倍部１
０３に出力する。フレーム変倍部１０３は、制御部３０
６から出力されたこれらの制御信号に従ってフレームサ
イズを切り換える。

【００６６】実施の形態３の動画像符号化装置の概略動
作は、図２に示された実施の形態１の動画像符号化装置
と同様であるが、ステップＳ３において、制御部３０６
によりフレーム切換信号を決定する動作が制御部１０６
と異なるため、これについて説明する。

【００６７】図７は、実施の形態３のフレームサイズ切
換動作のフローチャートである。動き検出／動き補償部
３０１により符号化すべき現フレームの全ての動きベク
トルＭＶが探索されると、制御部３０６により、これら
の動きベクトルＭＶの平均値Ａが算出され（ステップＳ
３１）、算出された動きベクトルの平均値ＡがＢで除算
され、比率Ｒ（＝Ａ／Ｂ）が求められる（ステップＳ３
２）。

【００６８】この算出された比率Ｒに基づいてフレーム
サイズを切り換える制御信号が制御部３０６により以下
の手順で決定される。比率Ｒは、第１の設定値Ｓ１に対
応する「１」と比較される（ステップＳ３３）。比率Ｒ
が１より大きいときには、映像の動きが激しく、符号化
すべき現フレームの発生符号量が大きいため、現在のフ
レームサイズより１サイズ小さいフレームサイズに切り
換える制御信号が制御部３０６により出力される（ステ
ップＳ３４）。フレーム変倍部１０３により、現在の変
倍モードが等倍モードのときには、変倍モードが縮小モ
ードに切り換えられ、現在の変倍モードが拡大モードの
ときには、変倍モードが等倍モードに切り換えられる
（ステップＳ３５）。

【００６９】一方、ステップＳ３３で、比率Ｒが１以下
のときには、比率Ｒが第２の設定値Ｓ２に対応する
「０．５」と比較される（ステップＳ３６）。比率Ｒが
０．５より小さいときには、映像の動きが少なく、符号
化すべき現フレームの発生符号量が小さいため、現在の
フレームサイズより１サイズ大きいフレームサイズに切
り換える制御信号が制御部３０６により出力される（ス
テップＳ３７）。フレーム変倍部１０３により、現在の
変倍モードが等倍モードのときには、変倍モードが拡大
モードに切り換えられ、現在の変倍モードが縮小モード
のときには、変倍モードが等倍モードに切り換えられる
（ステップＳ３８）。

【００７０】一方、ステップＳ３６で、比率Ｒが０．５
以上のときには、映像の動きが適正な範囲内にあり、符
号化すべき現フレームの発生符号量が適正範囲に保たれ
ているため、現在のフレームサイズを維持する制御信号
が制御部３０６により出力される（ステップＳ３９）。
フレーム変倍部１０３により、現在の変倍モードが維持
される（ステップＳ４０）。

【００７１】なお、上記の例では、同じフレームサイズ
を維持する上での動きベクトルの平均値Ａの適正範囲を０．５≦Ａ／Ｂ≦１となるように設定しているが、動きベクトルの平均値Ａ
の適正範囲の設定方法は、これに限るものではない。例
えば、Ｓ１＝ＣＳ２＝０．３×Ｃとし、０．３≦Ａ²／Ｂ≦１を適正範囲とすることもできる。

【００７２】以上のように、実施の形態３によれば、動
き検出／動き補償部３０１により探索された現フレーム
の動きベクトルの平均値Ａを求め、この動きベクトルの
平均値Ａから、映像の動きに応じた現フレームの発生符
号量を推定し、フレーム変倍部１０３のフレームサイズ
を切り換える。これにより、実施の形態１と同様の効果
を得ることができる。

【００７３】実施の形態４．前述のように、動き検出／
動き補償部３０１により動きベクトルを探索する際に
は、探索領域内の各候補ブロックと現画像ブロックとの
間で、画像の類似性を表すディストーションが算出さ
れ、これらのディストーションが比較されて、現マクロ
ブロックに類似する類似ブロック（１つの候補ブロッ
ク）が特定される。実施の形態４では、動きベクトルの
代わりにディストーションを利用し、符号化すべき現フ
レームのフレームサイズを切り換える。

【００７４】なお、ディストーションとは、現マクロブ
ロックと候補ブロックとの位置的に対応する画素間の差
分値をそれぞれ算出し、これらの差分値が正負で相殺さ
れないように、差分値の絶対値演算または二乗演算を行
い、総和したものである。計算の容易さの点から差分値
の絶対値の総和が頻繁に用いられる。ディストーション
の値が小さいほど、２つの画像ブロック間の画像の類似
性が高いことになる。

【００７５】図８は、実施の形態４の動画像符号化装置
の構成図である。図８に示すように、実施の形態４の動
画像符号化装置は、図６に示された実施の形態３の動画
像符号化装置の制御部３０６を制御部４０６に置き換え
たものである。ここで、図６に示された実施の形態３の
動画像符号化装置の各部と同様の構成には、同一符号を
付し、その説明を省略する。

【００７６】制御部４０６は、図６に示された制御部３
０６と同様に、実施の形態４の動画像符号化装置の各部
を制御するが、動き検出／動き補償部３０１により算出
されたディストーションＤＩＳに基づいて、フレーム変
倍部１０３のフレームサイズの変倍モードを切り換える
ための制御信号を出力する点が制御部３０６と異なる。

【００７７】制御部４０６は、動き検出／動き補償部３
０１により符号化すべき現フレームの動きベクトルを探
索する際に算出された各マクロブロックとそれぞれの類
似ブロックとの間のディストーションのうち、現フレー
ムを代表する複数のディストーションの平均値Ａを算出
して、正規化する。

【００７８】現フレームを代表するディストーション
は、現フレームの全てのマクロブロックのディストーシ
ョンでもよく、現フレームの一部のマクロブロックに対
応するディストーションでもよい。現フレームの一部の
ディストーションとしては、例えば、現フレームの中央
部（画面中央）のディストーションや、値が大きい上位
数個のディストーションとすることができる。現フレー
ムの全てのディストーションの平均値を算出する場合に
は、正確な平均値を得ることができる。一方、現フレー
ムの一部のディストーションの平均値を算出する場合に
は、演算処理を高速に行うことができる。

【００７９】制御部４０６は、算出されたディストーシ
ョンの平均値Ａをあらかじめ設定された第１の設定値Ｓ
１および第２の設定値Ｓ２と比較する。第１の設定値Ｓ
１と第２の設定値Ｓ２との関係は、Ｓ１＞Ｓ２である。

【００８０】第１の設定値Ｓ１および第２の設定値Ｓ２
は、例えば、Ｓ１＝ＢＳ２＝１／２×Ｂのように定義される。

【００８１】制御部４０６は、ディストーションの平均
値Ａが第１の設定値Ｓ１より大きいときには、現在のフ
レームサイズより１サイズ小さいフレームサイズに切り
換える制御信号をフレーム変倍部１０３に出力し、ディ
ストーションの平均値Ａが第２の設定値Ｓ２より小さい
ときには、現在のフレームサイズより１サイズ大きいフ
レームサイズに切り換える制御信号をフレーム変倍部１
０３に出力し、ディストーションの平均値Ａが第１の設
定値Ｓ１および第２の設定値Ｓ２の範囲内にあるときに
は、現在のフレームサイズを維持する制御信号をフレー
ム変倍部１０３に出力する。フレーム変倍部１０３は、
制御部４０６から出力されたこれらの制御信号に従って
フレームサイズを切り換える。

【００８２】実施の形態４の動画像符号化装置の動作
は、実施の形態３の動画像符号化装置の動作と同様であ
り、図７に示されるステップＳ３１における動きベクト
ルの平均値Ａの算出をディストーションの平均値Ａの算
出に置き換えることで実現されるため、その詳細な説明
を省略する。

【００８３】以上のように、実施の形態４によれば、動
き検出／動き補償部３０１により現フレームの動きベク
トルを探索するために算出された各マクロブロックとそ
れぞれの類似ブロックとの間のディストーションの平均
値Ａを求め、このディストーションの平均値Ａから、映
像の動きに応じた現フレームの発生符号量を推定し、フ
レーム変倍部１０３の変倍モードを切り換える。これに
より、実施の形態１と同様の効果を得ることができる。

【００８４】なお、実施の形態１における発生符号量の
検出手段、実施の形態２における音声レベルの変化量の
検出手段、実施の形態３における動きベクトルの平均値
の検出手段および実施の形態４におけるディストーショ
ンの平均値の検出手段を任意に組み合わせ、これらの検
出値に基づいてフレーム変倍部１０３のフレームサイズ
を切り換えるようにしてもよい。

【００８５】また、上記各実施の形態の動画像符号化方
法を実行するプログラムを作成し、ＣＤ−ＲＯＭ、ハー
ドディスク等の記録媒体に記録することができる。これ
らのプログラムを実行することで、各実施の形態の動画
像符号化装置のそれぞれの動作を実現することができ
る。

【発明の効果】この発明によれば、符号化されたフレー
ムの発生符号量を検出し、検出された発生符号量に基づ
いて、その後に符号化すべきフレームの発生符号量を一
定範囲内にするように、前記符号化すべきフレームのフ
レームサイズを切り換え、切り換えられたフレームサイ
ズに従って前記符号化すべきフレームを変倍する。これ
により、各フレームの発生符号量を一定範囲内に保持す
ることができるので、フレームレートを大きく変化させ
ることなく、動画像を符号化することができる。したが
って、各フレームの画像の内容にかかわらず、略一定の
フレームレートで動画像を符号化することができるの
で、動きの激しい映像のように、画像圧縮率が低い部分
では、フレームレートを落とさずに、動きの滑らかな映
像を再生することができる。また、画像圧縮率が高い部
分では、高画質の映像を再生することができる。

【００８６】また、この発明によれば、符号化すべき現
フレームと既に符号化済みの参照フレームとの音声の変
化を検出し、検出された音声の変化から、映像の動きに
応じた現フレームの発生符号量を推定し、これにより、
符号化すべき現フレームのフレームサイズを切り換え、
切り換えられたフレームサイズに従って現フレームを変
倍する。したがって、上記の符号化されたフレームの発
生符号量を検出する場合と同様の効果を得ることができ
る。

【００８７】さらに、この発明によれば、現フレームの
動きベクトルの平均値を求め、この動きベクトルの平均
値から、映像の動きに応じた現フレームの発生符号量を
推定し、これにより、符号化すべき現フレームのフレー
ムサイズを切り換え、切り換えられたフレームサイズに
従って現フレームを変倍する。したがって、上記の符号
化されたフレームの発生符号量を検出する場合と同様の
効果を得ることができる。

【００８８】また、この発明によれば、現フレームの動
きベクトルを探索する際に算出される各現画像ブロック
とそれぞれの類似ブロックとの間のディストーションの
平均値を求め、このディストーションの平均値から、映
像の動きに応じた現フレームの発生符号量を推定し、こ
れにより、符号化すべき現フレームのフレームサイズを
切り換え、切り換えられたフレームサイズに従って現フ
レームを変倍する。したがって、上記の符号化されたフ
レームの発生符号量を検出する場合と同様の効果を得る
ことができる。

【図面の簡単な説明】

【図１】この発明に係る実施の形態１の動画像符号化
装置の構成図である。

【図２】実施の形態１の動画像符号化装置の概略動作
を示すフローチャートである。

【図３】フレームサイズ切換動作のフローチャートで
ある。

【図４】実施の形態２の動画像符号化装置の構成図で
ある。

【図５】実施の形態２のフレームサイズ切換動作のフ
ローチャートである。

【図６】実施の形態３の動画像符号化装置の構成図で
ある。

【図７】実施の形態３のフレームサイズ切換動作のフ
ローチャートである。

【図８】実施の形態４の動画像符号化装置の構成図で
ある。

【符号の説明】

１０１画像入力部１０２画像コマ落とし部１０３フレーム変倍部１０４画像圧縮符号化部１０５バッファ１０６制御部２０１音声入力部２０２音声コマ落とし部２０６制御部３０１動き検出／動き補償部３０２ＤＣＴ／量子化／ＶＬＣ部３０６制御部４０６制御部

Claims

【特許請求の範囲】

【請求項１】動画像を構成する各フレームを符号化す
る動画像符号化方法において、符号化されたフレームの発生符号量を検出する符号量検
出工程と、前記符号量検出工程で検出された発生符号量に基づい
て、その後に符号化すべきフレームの発生符号量を一定
範囲内にするように、前記符号化すべきフレームのフレ
ームサイズを切り換え、切り換えられたフレームサイズ
に従って前記符号化すべきフレームを変倍するフレーム
変倍工程とを含むことを特徴とする動画像符号化方法。
【請求項２】動画像を構成する各フレームを符号化す
る動画像符号化装置において、符号化されたフレームの発生符号量を検出する符号量検
出手段と、前記符号量検出手段により検出された発生符号量に基づ
いて、その後に符号化すべきフレームの発生符号量を一
定範囲内にするように、前記符号化すべきフレームのフ
レームサイズを切り換え、切り換えられたフレームサイ
ズに従って前記符号化すべきフレームを変倍するフレー
ム変倍手段とを備えたことを特徴とする動画像符号化装
置。
【請求項３】請求項２に記載の動画像符号化装置にお
いて、前記フレーム変倍手段は、前記符号量検出手段により検
出された発生符号量があらかじめ設定された第１の設定
値より大きいとき、フレームサイズを小さくし、前記符
号量検出手段により検出された発生符号量が前記第１の
設定値より小さいあらかじめ設定された第２の設定値よ
り小さいとき、フレームサイズを大きくすることを特徴
とする動画像符号化装置。
【請求項４】請求項２に記載の動画像符号化装置にお
いて、符号化された各フレームを所定のフレームレートで出力
する出力手段と、前記符号量検出手段により検出された発生符号量を、前
記出力手段により出力可能な１フレーム当たりの符号量
と比較する比較手段とを有し、前記フレーム変倍手段は、前記比較手段の比較結果に基
づいて符号化すべきフレームのフレームサイズを切り換
えることを特徴とする動画像符号化装置。
【請求項５】請求項４に記載の動画像符号化装置にお
いて、前記比較手段は、符号量検出手段により検出された発生
符号量を、前記出力手段により出力可能な１フレーム当
たりの符号量で除算する算出手段を有し、前記フレーム変倍手段は、前記算出手段の算出結果が１
より大きいとき、フレームサイズを小さくし、前記算出
手段の算出結果が１より小さいあらかじめ設定された設
定値より小さいとき、フレームサイズを大きくすること
を特徴とする動画像符号化装置。
【請求項６】音声データを含む動画像を構成する各フ
レームを符号化する動画像符号化方法において、符号化すべき現フレームの平均音声レベルと、この現フ
レームより時間的に前の既に符号化済みの参照フレーム
の平均音声レベルとを入力する入力工程と、前記入力工程で入力された現フレームの平均音声レベル
と参照フレームの平均音声レベルとを比較する比較工程
と、前記比較工程の比較結果に基づいて、現フレームの発生
符号量を一定範囲内にするように、現フレームのフレー
ムサイズを切り換え、切り換えられたフレームサイズに
従って現フレームを変倍するフレーム変倍工程とを含む
ことを特徴とする動画像符号化方法。
【請求項７】音声データを含む動画像を構成する各フ
レームを符号化する動画像符号化装置において、符号化すべき現フレームの平均音声レベルと、この現フ
レームより時間的に前の既に符号化済みの参照フレーム
の平均音声レベルとを入力する入力手段と、前記入力手段により入力された現フレームの平均音声レ
ベルと参照フレームの平均音声レベルとを比較する比較
手段と、前記比較手段の比較結果に基づいて、現フレームの発生
符号量を一定範囲内にするように、現フレームのフレー
ムサイズを切り換え、切り換えられたフレームサイズに
従って前記符号化すべきフレームを変倍するフレーム変
倍手段とを備えたことを特徴とする動画像符号化装置。
【請求項８】請求項７に記載の動画像符号化装置にお
いて、前記比較手段は、入力された現フレームの平均音声レベルと参照フレーム
の平均音声レベルとの差を算出する算出手段と、前記算出手段により算出された平均音声レベルの差があ
らかじめ設定された設定範囲内にあるか否かを判定する
判定手段とを有し、前記フレーム変倍手段は、前記判定手段により前記平均
音声レベルの差が前記設定範囲内にないと判定されたと
き、フレームサイズを小さくすることを特徴とする動画
像符号化装置。
【請求項９】請求項８に記載の動画像符号化装置にお
いて、前記フレーム変倍手段は、前記判定手段により前記平均
音声レベルの差が前記設定範囲内にあると所定回数連続
して判定されたとき、フレームサイズを大きくすること
を特徴とする動画像符号化装置。
【請求項１０】動画像を構成する各フレームを符号化
する動画像符号化方法において、符号化すべき現フレームを既に符号化済みの参照フレー
ムに基づいて予測するのに用いられ、現フレーム上の位
置と参照フレーム上の位置との変位により特定される動
きベクトルを探索する動きベクトル探索工程と、前記動きベクトル探索工程で探索された現フレームの各
動きベクトルのうち、現フレームを代表する複数の動き
ベクトルの平均値を算出する平均動きベクトル算出工程
と、前記平均動きベクトル算出工程で算出された動きベクト
ルの平均値に基づいて、現フレームの発生符号量を一定
範囲内にするように、現フレームのフレームサイズを切
り換え、切り換えられたフレームサイズに従って現フレ
ームを変倍するフレーム変倍工程とを含むことを特徴と
する動画像符号化方法。
【請求項１１】動画像を構成する各フレームを符号化
する動画像符号化装置において、符号化すべき現フレームを既に符号化済みの参照フレー
ムに基づいて予測するのに用いられ、現フレーム上の位
置と参照フレーム上の位置との変位により特定される動
きベクトルを探索する動きベクトル探索手段と、動きベクトル探索手段により探索された現フレームの各
動きベクトルのうち、現フレームを代表する複数の動き
ベクトルの平均値を算出する平均動きベクトル算出手段
と、平均動きベクトル算出手段により算出された動きベクト
ルの平均値に基づいて、現フレームの発生符号量を一定
範囲内にするように、現フレームのフレームサイズを切
り換え、切り換えられたフレームサイズに従って現フレ
ームを変倍するフレーム変倍手段とを備えたことを特徴
とする動画像符号化装置。
【請求項１２】請求項１１に記載の動画像符号化装置
において、前記フレーム変倍手段は、前記平均動きベクトル算出手
段により算出された動きベクトルの平均値があらかじめ
設定された第１の設定値より大きいとき、フレームサイ
ズを小さくし、前記平均動きベクトル算出手段により算
出された動きベクトルの平均値が前記第１の設定値より
小さいあらかじめ設定された第２の設定値より小さいと
き、フレームサイズを大きくすることを特徴とする動画
像符号化装置。
【請求項１３】既に符号化済みの参照フレームに基づ
いて複数の現画像ブロックからなる現フレームを符号化
する動画像符号化方法であって、各現画像ブロック毎に、参照フレーム上に現画像ブロッ
クと同一サイズの複数の候補ブロックを含む探索領域を
設定する探索領域設定工程と、前記探索領域設定工程で設定された探索領域に含まれる
各候補ブロックと現画像ブロックとの間の画像の類似性
を表すディストーションをそれぞれ算出するディストー
ション算出工程と、前記ディストーション算出工程で算出された複数のディ
ストーションを比較して、前記複数の候補ブロックの中
から現画像ブロックに類似する類似ブロックを特定する
類似ブロック特定工程と、前記類似ブロック特定工程で特定された類似ブロックの
参照フレーム上の位置と現画像ブロックの現フレーム上
の位置との変位を求め、動きベクトルを算出する動きベ
クトル算出工程とを含む動画像符号化方法において、前記ディストーション算出工程で算出され、前記類似ブ
ロック特定工程で類似ブロックが特定された各現画像ブ
ロックとそれぞれの類似ブロックとの間の複数のディス
トーションのうち、現フレームを代表する複数のディス
トーションの平均値を算出する平均ディストーション算
出工程と、前記平均ディストーション算出工程で算出されたディス
トーションの平均値に基づいて、現フレームの発生符号
量を一定範囲内にするように、現フレームのフレームサ
イズを切り換え、切り換えられたフレームサイズに従っ
て現フレームを変倍するフレーム変倍工程とを含むこと
を特徴とする動画像符号化方法。
【請求項１４】既に符号化済みの参照フレームに基づ
いて複数の現画像ブロックからなる現フレームを符号化
する動画像符号化装置であって、各現画像ブロック毎に、参照フレーム上に現画像ブロッ
クと同一サイズの複数の候補ブロックを含む探索領域を
設定する探索領域設定手段と、前記探索領域設定手段により設定された探索領域に含ま
れる複数の候補ブロックと現画像ブロックとの間の画像
の類似性を表すディストーションをそれぞれ算出するデ
ィストーション算出手段と、前記ディストーション算出手段により算出された複数の
ディストーションを比較して、前記複数の候補ブロック
の中から現画像ブロックに類似する類似ブロックを特定
する類似ブロック特定手段と、前記類似ブロック特定手段により特定された類似ブロッ
クの参照フレーム上の位置と現画像ブロックの現フレー
ム上の位置との変位を求め、動きベクトルを算出する動
きベクトル算出手段とを有する動画像符号化装置におい
て、前記ディストーション算出手段により算出され、前記類
似ブロック特定手段により類似ブロックが特定された各
現画像ブロックとそれぞれの類似ブロックとの間の複数
のディストーションのうち、現フレームを代表する複数
のディストーションの平均値を算出する平均ディストー
ション算出手段と、前記平均ディストーション算出手段により算出されたデ
ィストーションの平均値に基づいて、現フレームの発生
符号量を一定範囲内にするように、現フレームのフレー
ムサイズを切り換え、切り換えられたフレームサイズに
従って現フレームを変倍するフレーム変倍手段とを備え
たことを特徴とする動画像符号化装置。
【請求項１５】請求項１４に記載の動画像符号化装置
において、前記フレーム変倍手段は、前記平均ディストーション算
出手段により算出されたディストーションの平均値があ
らかじめ設定された第１の設定値より大きいとき、フレ
ームサイズを小さくし、前記平均ディストーション算出
手段により算出されたディストーションの平均値が前記
第１の設定値より小さいあらかじめ設定された第２の設
定値より小さいとき、フレームサイズを大きくすること
を特徴とする動画像符号化装置。