JP2002300584A - 最適経路選択型動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 あるまとまった画像枚数の動画像符号化にお
いて、入力画像特性に応じて符号化効率を最大化するよ
うに、フレーム単位に割り当てる符号化タイプや、符号
化ビット数を決定することのできるようにすること。 【解決手段】 事前符号化部２は、複数枚の入力画像に
対して、取り得る符号化タイプを想定して事前に符号化
を行い、該符号化に対して評価値、例えば符号化ビット
数を算出する。最適経路選択部３は、該事前符号化部２
で得られた評価値を基に、最適な符号化タイプの符号化
経路を決定する。符号化部５は、該最適経路選択部２か
ら出力された最適な符号化経路に従って入力画像を符号
化する。また、事前符号化部１１により、入力画像に対
して、予め与えられた符号化タイプに関し、取り得る複
数の符号化ビット数で事前に符号化を行い、最適経路選
択部１２で、最適な符号化経路を決定するようにしても
良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、最適経路選択型動
画像符号化装置に関し、特に入力画像特性に応じて符号
化効率を最大化できる最適経路選択型動画像符号化装置
に関する。

【０００２】

【従来の技術】従来は、動画像の符号化装置として、動
き補償予測とＤＣＴを組み合わせたハイブリッド符号化
方式が多用されている。図９に、ＭＰＥＧやＨ．２６３
等で規格化された符号化装置の一例を示す。

【０００３】テレビカメラ等から入力された画像は、動
き検出部３１においてフレームメモリ３９に記憶された
符号化済みの画像との間で、ブロック単位で動き検出が
行われる。動き検出方法としては、フレーム間の誤差の
２乗和が最小となる変位を動きベクトルとする方法、画
素値の時空間の勾配から求める方法、あるいはＦＦＴか
ら求める方法等が知られている。動き補償予測部４０
は、前記動き検出部３１で得られた動きベクトルを用い
て、前フレームの画像から入力画像に対応した予測画像
をブロック単位に予測する。

【０００４】減算部３２には、前記入力画像と、動き補
償予測部４０から出力された予測画像とが入力し、該減
算部３２は該入力画像から予測画像を減算し予測誤差を
出力する。該ＤＣＴ部３３は入力してきた予測誤差にＤ
ＣＴを施して、ＤＣＴ係数を得る。量子化部３４は該Ｄ
ＣＴ係数に量子化を施し、エントロピー符号化部３５は
該量子化されたＤＣＴ係数に対してエントロピー符号化
を施す。

【０００５】また、前記量子化されたＤＣＴ係数は、逆
量子化部３６に入力して逆量子化され、次いで逆ＤＣＴ
部３７で逆ＤＣＴを施される。該逆ＤＣＴされた信号は
前記動き補償予測部４０からの予測画像と、加算部３８
で加算されることにより復号され、フレームメモリ３９
に記憶される。

【０００６】

【発明が解決しようとする課題】しかしながら、前記の
符号化装置は、ある程度効率の良い符号化を行うことは
できるが、入力画像特性に応じて符号化効率を最大化す
る点については、格別の配慮がなされていないという課
題があった。

【０００７】本発明は、前記した従来技術に鑑みてなさ
れたものであり、その目的は、あるまとまった画像枚数
の動画像符号化において、入力画像特性に応じて符号化
効率を最大化するように、画像単位に割り当てる符号化
タイプや、符号化ビット数を決定することのできる最適
経路選択型動画像符号化装置を提供することにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明は複数枚の画像を制御単位とする最適経路選
択型動画像符号化装置において、該複数枚の画像に対し
て、取り得る符号化タイプの組み合わせを想定して事前
に符号化を行い、該符号化に対して評価値を算出する事
前符号化部と、該事前符号化部で得られた評価値を基
に、最適な符号化タイプの割当経路を決定する最適経路
選択部と、該最適経路選択部から出力された該最適な割
当経路に従って前記画像を符号化する符号化部を具備し
た点に第１の特徴がある。

【０００９】この特徴によれば、入力画像の特性に応じ
て符号化効率を最大化するように、フレーム単位に割り
当てる符号化タイプを決定することができるようにな
る。

【００１０】また、本発明は、複数枚の画像に対して、
予め与えられた符号化タイプに関し、取り得る複数の符
号化ビット数で事前に符号化を行い、該符号化に対して
評価値を算出する事前符号化部と、該事前符号化部で得
られた評価値を基に、最適な符号化ビット数の割当経路
を決定する最適経路選択部と、該最適経路選択部から出
力された該最適な割当経路に従って前記画像を符号化す
る符号化部を具備した点に第２の特徴がある。

【００１１】この特徴によれば、入力画像の特性に応じ
て符号化効率を最大化するように、フレーム単位に割り
当てる符号化ビット数を決定することができるようにな
る。

【００１２】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の構成
を示すブロック図である。

【００１３】入力画像は、遅延部１と事前符号化部２に
入力する。事前符号化部２は、動き補償（ＭＣ）とＤＣ
Ｔ符号化を主構成とする符号化器からなり、あるまとま
った画像枚数、例えば５枚のフレームに対して、取りう
る全候補の符号化タイプの経路に関して評価値を求め、
出力する。該事前符号化部２の動作の詳細は、図２およ
び図３を参照して後述する。

【００１４】最適経路選択部３は、制御単位（例えば、
５枚のフレーム単位）で、例えばビット数を最小とする
符号化タイプの割当経路（すなわち、最適経路）を選択
する。該最適経路選択部３で選択された最適経路である
符号化タイプａはフレーム並べ替え部４および符号化部
５に送られる。また、符号化ビット数ｂは、最適経路選
択部３から、符号化部５に送られる。該符号化部５は、
動き補償（ＭＣ）とＤＣＴ符号化を主構成とする符号化
器からなり、前記最適経路選択部３から入力された前記
符号化タイプａと符号化ビット数ｂに基づいて、フレー
ム並べ替え部４で並べ替えられた画像を符号化する。な
お、前記遅延部１は、入力画像が事前符号化部２および
最適経路選択部３で処理を受けるのに要する時間だけ、
入力画像を遅延する。

【００１５】次に、前記事前符号化部２の動作を、図２
および図３を参照して説明する。図２において、ステッ
プＳ１では、ある置き数ｋが０と置かれる。ステップＳ
２では、入力画像（入力フレーム）ｋを取得する。ステ
ップＳ３では、該取得したフレームｋに符号化タイプが
予約されているか否かを判定する。本実施形態では、予
め定められたフレーム枚数毎に、Ｉ（イントラ）ピクチ
ャを挿入するようにしているので、該Ｉピクチャに該当
するフレームには符号化タイプが予約されているとす
る。ステップＳ４では、予約符号化タイプＩ（ピクチ
ャ）を設定する。ステップＳ５では、該予約符号化タイ
プの評価値を最小に設定する。

【００１６】一方、ステップＳ３の判断が肯定の時に
は、ステップＳ６に進んで、入力フレームｋに対して符
号化タイプの候補を設定する。ここに、符号化タイプの
候補としては、図３（ａ）に示されているように、例え
ば、Ｉ、Ｐ_１、Ｐ_２、Ｐ_３、Ｂ _１１、Ｂ_１２、およびＢ
_２１を想定することができる。ここに、ＩはＩピクチャ
を、Ｐ_ｉは順方向予測間隔がｉフレームのＰピクチャ
を、Ｂ_ｉｊは順方向予測間隔、逆方向予測間隔がそれぞ
れ、ｉ、ｊフレームのＢピクチャを表している。なお、
図３（ａ）の斜線を施したフレームは、事前符号化で評
価を行う対象となるフレームを示している。

【００１７】したがって、ステップＳ６では、符号化タ
イプの候補として、前記Ｉ、Ｐ_１、Ｐ_２、Ｐ_３、
Ｂ_１１、Ｂ_１２、およびＢ_２１の中から選んで設定す
る。ステップＳ７では、各候補 に対して、評価値（評
価スコア）、例えばビット数を算出する。ステップＳ８
では、取り得る全候補の符号化タイプと評価値を、最適
経路選択部３へ出力する。ステップＳ９では、ｋ＝４が
成立したか否かの判断がなされ、この判断が否定の時に
はステップＳ１０に進んで、ｋに１が加算される。そし
てステップＳ２に戻って次の入力フレームが取得され
る。なお、ステップＳ９の判断が肯定になると、１シー
ケンス（５フレーム）の事前符号化処理は終了し、次の
シーケンスの事前符号化処理に移る。

【００１８】次に、前記最適経路選択部３の動作を、図
４のフローチャートを参照して説明する。ステップＳ１
１では、前記ステップＳ８により事前符号化部２から出
力された候補となる符号化タイプと評価値を取得する。
ステップＳ１２では、該取得した符号化タイプと評価値
が、シーケンスの最終フレームに対するものであるか否
かの判断、すなわちｋ＝４であるか否かの判断がなされ
る。この判断が否定の時には、ステップＳ１１に戻っ
て、候補となる符号化タイプと評価値とを取得する。

【００１９】さて、ステップＳ１２の判断が肯定になる
と、ステップＳ１３に進んで、符号化タイプとして実現
可能なものを選択する。例えば、図３（ｂ）において、
Ｉ→Ｉ→Ｉ→Ｉ→Ｉ、Ｉ→Ｐ_１→Ｐ_１→Ｐ_１→Ｐ_１ 、
Ｉ→Ｂ_１２→Ｂ_２１→Ｐ_３→Ｐ_１ 等を実現可能なもの
として選択し、Ｉ→Ｐ_２→・・・等は実現不可能なものと
して選択しないようにする。

【００２０】ステップＳ１４では、選択した全ての経路
についてシーケンス全体の評価値Ｅ _ｔｙｐｅ を算出す
る。該評価値Ｅ_ｔｙｐｅ として、例えば、ビット数を
用いることができる。ステップＳ１５では、該評価値Ｅ
_ｔｙｐｅ に最適値を与える経路を選択し、シーケンス
内の符号化タイプを決定する。例えば、符号化ビット数
を最小にする経路を選択して、シーケンス内の符号化タ
イプを決定する。ステップＳ１６では、決定した符号化
タイプａをフレーム並べ替え部４および符号化部５へ出
力する。また、ステップＳ１７では、該決定した符号化
タイプと該符号化タイプ適用時にフレーム毎に要した符
号化ビット数を符号化部５へ出力する。符号化部５で
は、取得したフレーム毎の符号化ビット数を基に、シー
ケンス内の符号化ビット数配分を決定することができ
る。

【００２１】以上のように、本実施形態によれば、入力
画像の特性に応じて符号化効率を最大化するように、フ
レーム単位に割り当てる符号化タイプを決定することが
できるようになる。

【００２２】次に、本発明の第２実施形態を図５を参照
して説明する。この実施形態では、符号化タイプは、符
号化部５において、予め定められているものとする。な
お、本実施形態が前記図１のそれと異なる所は、事前符
号化部１１，最適経路選択部１２の機能であり、遅延部
１、フレーム並べ替え部４および符号化部５は同等また
は同一である。

【００２３】前記事前符号化部１１の動作を、図６のフ
ローチャートを参照して説明する。ステップＳ２１で
は、ある置き数ｋをｋ＝０と置く。ステップＳ２２で
は、入力フレームｋを取得する。ステップＳ２３では、
シーケンス（例えば、５フレーム）の符号化ビット数ｄ
を符号化部５から取得する。ステップＳ２４では、当該
フレームｋの符号化タイプｄを符号化部５から取得す
る。ステップＳ２５では、符号化ビット数の候補を決定
する。ここに、符号化ビット数の候補（パターン）は、
例えば図７（ａ）に示されているように、２００ｋビッ
ト（パターン０）、３００ｋビット（パターン１）、４
００ｋビット（パターン２）、５００ｋビット（パター
ン３）、６００ｋビット（パターン４）とすることがで
きる。なお、図中の横軸はフレーム番号を示し、Ｅ_ｉｊ
は客観画質評価値、例えばＰＳＮＲのフレーム平均値を
示す。ここに、ｉはビット数パターン、ｊはフレーム番
号を示す。

【００２４】ステップＳ２６では、各候補について前記
符号化タイプによる符号化を各パターンに準じたビット
数で行い、客観画質評価値Ｅ_ｉｊを算出する。ステップ
Ｓ２７では、各候補について、符号化ビット数と客観画
質評価値を、最適経路選択部１２へ出力する。ステップ
Ｓ２８では、ｋ＝４となったか否かの判断がなされ、こ
の判断が否定の時にはステップＳ２９に進んで、ｋに１
が加算される。そして、ステップＳ２２に戻って、前記
した動作が繰り返される。前記した動作が繰り返し行わ
れ、ステップＳ２８の判断が肯定になると、該シーケン
スの動作は終了し、次のシーケンスの動作に移行する。

【００２５】したがって、図７（ａ）に示されているよ
うな、符号化ビット数とそれに対応する各フレーム毎の
客観画質評価値Ｅ_ｉｊ （ｉ＝０，１，・・・，４、ｊ＝
０，１，・・・，４）が、最適経路選択部１２に送られる
ことになる。

【００２６】次に、前記最適経路選択部１２の動作を、
図８のフローチャートを参照して説明する。ステップＳ
３１では、前記ステップＳ２７において出力された符号
化ビット数と客観画質評価値Ｅ_ｉｊとを各符号化ビット
数の候補について取得する。ステップＳ３２では、シー
ケンスの最終フレームであるか否か、すなわちｋ＝４で
あるか否かの判断がなされ、この判断が否定の時にはス
テップＳ３１に戻って次の候補となる符号化ビット数と
評価値を取得する。

【００２７】ステップＳ３２の判断が肯定になると、ス
テップＳ３３に進んで、符号化ビット数の経路として実
現可能なものを選択する。これは、経路の符号化ビット
数の和が符号化部５から与えられるシーケンスの符号化
ビット数を超えるものは、符号化ビット数の実現不可能
な経路とする。ステップＳ３４では、ステップＳ３３で
選択した全ての経路について、シーケンス全体の評価値
ΣＥ_ｉｊ （ｊ＝０〜４）を算出する。すなわち、図７
（ｂ）に示されているように、符号化ビット数の実現可
能な経路の全てについて、シーケンス全体の評価値ΣＥ
_ｉｊ を算出する。

【００２８】ステップＳ３５では、該シーケンス全体の
評価値ΣＥ_ｉｊ に最適値を与える経路、すなわち該評
価値を最大にする経路を最適経路として選択し、シーケ
ンス内の符号化ビット数を決定する。なお、ステップＳ
３３からＳ３５で示す一連の最適経路の決定を段階的に
実現する方法として、周知のトレリス線図を用いる方法
を用いることができる。ステップＳ３６では、決定した
符号化ビット数を符号化部５へ出力する。

【００２９】以上のように、本実施形態によれば、入力
画像の特性に応じて符号化効率を最大化するように、フ
レーム単位に割り当てる符号化ビット数を決定すること
ができるようになる。

【００３０】

【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画像の特性に応じて符号化効率を最大化
できるという効果がある。また、本発明によれば、従来
の動画像符号化で問題とされていた、狭帯域下でのＨＤ
ＴＶ放送における画質劣化を解消することができるよう
になる。

【図面の簡単な説明】

【図１】 本発明の第１実施形態の概略の構成を示すブ
ロック図である。

【図２】 事前符号化部の動作を説明するフローチャー
トである。

【図３】 符号化タイプの経路選択の説明図である。

【図４】 最適経路選択部の動作を説明するフローチャ
ートである。

【図５】 本発明の第２実施形態の概略の構成を示すブ
ロック図である。

【図６】 事前符号化部の動作を説明するフローチャー
トである。

【図７】 符号化ビット数の経路選択の説明図である。

【図８】 最適経路選択部の動作を説明するフローチャ
ートである。

【図９】 従来装置の構成を示すブロック図である。

【符号の説明】

１・・・遅延部、２，１１・・・事前符号化部、３，１２・・・
最適経路選択部、４・・・フレーム並べ替え部、５・・・符号
化部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 修一 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C059 MA01 MA23 MC11 MC38 ME01 PP05 PP06 PP07 SS03 TA03 TA25 TB03 TC18 TD06 UA02 5J064 AA02 BA16 BB03 BB12 BC25 BD02

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数枚の画像を制御単位とする最適経路
   選択型動画像符号化装置において、 該複数枚の画像に対して、取り得る符号化タイプの組み
   合わせを想定して事前に符号化を行い、該符号化に対し
   て評価値を算出する事前符号化部と、 該事前符号化部で得られた評価値を基に、最適な符号化
   タイプの割当経路を決定する最適経路選択部と、 該最適経路選択部から出力された該最適な割当経路に従
   って前記画像を符号化する符号化部を具備したことを特
   徴とする最適経路選択型動画像符号化装置。
2. 【請求項２】 前記評価値はビット数であり、前記最適
   経路選択部は、ビット数が最小の経路を最適な割当経路
   と決定することを特徴とする請求項１に記載の最適経路
   選択型動画像符号化装置。
3. 【請求項３】 複数枚の画像を制御単位とする最適経路
   選択型動画像符号化装置において、 該複数枚の画像に対して、予め与えられた符号化タイプ
   に関し、取り得る複数の符号化ビット数で事前に符号化
   を行い、該符号化に対して評価値を算出する事前符号化
   部と、 該事前符号化部で得られた評価値を基に、最適な符号化
   ビット数の割当経路を決定する最適経路選択部と、 該最適経路選択部から出力された該最適な割当経路に従
   って前記画像を符号化する符号化部を具備したことを特
   徴とする最適経路選択型動画像符号化装置。
4. 【請求項４】 前記評価値は客観品質評価値であり、前
   記最適経路選択部は、該客観品質評価値が最大になる経
   路を最適な割当経路と決定することを特徴とする請求項
   ３に記載の最適経路選択型動画像符号化装置。