JP2000228770A - 可変レート動画像符号化方法および動画像編集システム - Google Patents

Abstract

(57)【要約】 【課題】少なくとも２回の符号化による動画像シーケン
スの高能率符号化において、第一の符号化後に動画像シ
ーケンスに対する時間方向の編集操作が加えられた場合
においても、第一の符号化を再度行うことなく高能率な
第二の符号化を行うことを可能とし、総符号化回数を削
減する。 【解決手段】可変レートビットアロケーション（ステッ
プ１４）では、ステップ１１の第一の符号化により得ら
れる統計データからタイムスロット毎の符号化困難度を
算出し、第一の符号化における符号化困難度を、編集後
の動画像シーケンスにおける第二のタイムスロットへの
再マッピングを行う。再マッピングされた符号化困難度
を用いて、編集後の動画像シーケンスにおける最適符号
量配分を第二のタイムスロット単位で行い、最適符号量
配分結果に応じて編集後の動画像シーケンスに対する第
二の符号化（ステップ１５）を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像シーケンス
に対して複数回の符号化を行うことにより、可変レート
符号化のための最適なビット配分を行う可変レート符号
化方法および同方法を用いた動画像編集システムに関す
る。

【０００２】

【従来の技術】蓄積媒体に対する動画像圧縮符号化方法
としては、動画像符号化の国際標準であるＭＰＥＧ２ビ
デオ符号化方式が採用されたＤＶＤ（Ｄｉｇｉｔａｌ
Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）に代表されるように、
画像の性質に応じて圧縮データのビットレート（すなわ
ち圧縮率）を時間的に変動させて、総符号量一定の制約
中で高画質化を実現するという可変レート符号化技術が
用いられている。これは、時間的或いは空間的相関が高
く、比較的少ない符号量で必要な画質を満足できる部分
には、不必要な符号量割り当ては行わず、また解像度が
高くあるいは動きが激しいような、画質を維持するため
には多くの符号量を必要とする部分には、多くの符号量
を割り当て、全体としてディスク容量に収まるように符
号化することで、一定の符号化レートで符号化するより
も高画質化を実現するという技術である。

【０００３】通常、動画像シーケンス全体に渡っての最
適な符号量割り当てを行うためには、まずはじめに動画
像シーケンス全体を符号化してその符号化特性の解析を
行い、それに基づいて符号量割り当てを行うことが必要
になる。例えば、量子化幅を一定にして第一回目の符号
化を行うことにより、そのときの発生符号量をフレーム
あるいはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ
ｓ）等の単位で計測し、計測された発生符号量に応じて
フレーム或いはＧＯＰ単位で第二回目の符号化のための
ビット割り当てを行う方法等が一般的に取られている。

【０００４】また、符号化すべき入力動画像シーケンス
を一旦ハードディスク等の蓄積媒体に取り込んで計算機
上で編集作業を行うという、いわゆるノンリニア編集を
行う場合には、 １）動画像シーケンスの取り込み、 ２）編集、 ３）符号量配分のための第一回目の符号化、 ４）最終的な符号化、 という手順を踏む必要がある。

【０００５】さらに、ノンリニア編集作業の効率化のた
め、符号化データを用いた動画像のシーンチェンジの検
出やシーンの統合といった動画像解析技術を併用してユ
ーザによる編集作業を支援する機能を持つノンリニア編
集システムの場合は、上記動画像シーケンスの取り込み
に際して符号化を行う場合もある。この場合、取り込み
に際して行う符号化時の動画像シーケンスと、編集操作
後の動画像シーケンスとは一致しなくなるので、編集後
に２回の符号化が必要となり、合計で少なくとも３回の
符号化が必要となることになる。

【０００６】

【発明が解決しようとする課題】上述したように、最適
な符号量割り当てに基づく可変レート符号化を行う場
合、通常、同一の素材に対して少なくとも２回の符号化
が必要である。しかし、１回目の符号化の後に素材に対
して編集操作が加えられ、特に時間方向の編集操作によ
り、１回目の符号化時の素材との間でフレーム単位の対
応関係が崩れた場合は、再度編集後の素材に対して、符
号量配分のための１回目の符号化からやり直す必要があ
った。

【０００７】本発明はこのような事情に鑑みてなされた
ものであり、１回目の符号化後に時間方向の操作を含む
編集操作が素材に対して加えられても、再度２回の符号
化を行うことなく、最適な符号量割り当てに基づく可変
レート符号化を実現することが可能な可変レート動画像
符号化方法および同方法を用いた動画像編集システムを
提供することを目的とする。

【０００８】

【課題を解決するための手段】上述の課題を解決するた
め、本発明は、ユーザからの編集情報に基づいて動画像
を編集しその編集後の動画像を圧縮符号化する動画像編
集システムに適用される可変レート動画像符号化方法で
あって、編集対象の第１の動画像シーケンスを符号化す
る第一の符号化ステップと、前記第一の符号化ステップ
による符号化結果から、前記第１の動画像シーケンスの
所定単位毎の発生符号量および平均量子化ステップサイ
ズを含む統計データを前記第１の動画像シーケンス全体
にわたって計測するステップと、前記計測された統計デ
ータに基づいて、前記第１の動画像シーケンスにおける
連続する複数フレームから構成される所定期間毎にその
期間に属する画像の複雑さを示す第１の符号化困難度を
算出するステップと、前記第１の動画像シーケンスとそ
の編集後の第２の動画像シーケンスとの間の時間軸上の
対応関係に基づいて、前記第１の符号化困難度を、前記
第２の動画像シーケンスにおける連続する複数フレーム
から構成される所定期間毎にその期間に属する画像の複
雑さを示す第２の符号化困難度に変換する符号化困難度
変換ステップと、前記第２の符号化困難度に基づいて、
前記第２の動画像シーケンスの前記所定期間毎に符号量
割り当てを行うステップと、この割り当て符号量に基づ
いて、前記第２の動画像シーケンスを可変レート符号化
する第二の符号化ステップとを具備することを特徴とす
る。

【０００９】この可変レート動画像符号化方法において
は、第１の動画像シーケンスの符号化結果から所定期間
毎の符号化困難度を算出し、得られた符号化困難度を、
第１の動画像シーケンスとその編集後の第２の動画像シ
ーケンスとの間の時間軸上の対応関係に基づいて、第２
の動画像シーケンス上の所定期間毎の符号化困難度に変
換する。そして、その第２の動画像シーケンス上の所定
期間毎の符号化困難度を用いて、第２の動画像シーケン
スの所定期間毎のビット割り当てが行われる。このよう
に符号化困難度を編集後の第２の動画像シーケンスに再
マッピングする操作を行うことにより、１回目と２回目
の符号化とで、映像素材がフレーム単位あるいはＧＯＰ
単位で一致してない場合でも、第２の動画像シーケンス
が第１の動画像シーケンスの少なくとも一部から構成さ
れていれさえすれば、最適なビット割り当てが可能にな
り、総符号化回数を削減することができる。

【００１０】この場合、編集後の動画像を構成する第２
の動画像シーケンスは、時間方向には、編集前の第１の
動画像シーケンスと同一、あるいは第１の動画像シーケ
ンスに含まれる一部分、あるいは第１の動画像シーケン
スの複数部分を接続したもの、のいずれの場合でもよ
く、また第１の動画像シーケンスの各フレームと第２の
動画像シーケンスの各フレームの解像度は、それぞれど
ちらか一方から解像度変換された縮小画像でもよい。ま
た、第１の動画像シーケンスの各フレームと第２の動画
像シーケンスの各フレームの映像は、それぞれどちらか
一方の映像の一部を切り出したものや、フィルタ処理等
を加えられたものでもよい。つまり、第１の動画像シー
ケンスと第２の動画像シーケンスとの間に、時間方向お
よび空間方向の何らかの編集或いは変換が加えられたも
のであればよい。

【００１１】また、前記第１の符号化ステップは、所定
のフレーム周期でフレーム内符号化フレームが挿入され
るように、前記第１の動画像シーケンスを予め決められ
たフレーム間予測構造を持つ符号化フレーム群単位に区
切りながら符号化し、前記第１の動画像シーケンスに対
応する前記第１の符号化困難度は、前記符号化フレーム
群のＮ倍（Ｎは自然数）に相当する期間毎に算出するこ
とが好ましい。

【００１２】このように第１の動画像シーケンスにおけ
る所定期間を、第一の符号化におけるＧＯＰの倍数とす
ることで、ピクチャタイプに依存した符号量の変動の影
響を取り除くことが可能となる。

【００１３】また、第２の動画像シーケンスにおける所
定期間も、第二の符号化におけるＧＯＰの倍数とすれ
ば、ピクチャタイプ毎の符号量変動を特に意識せずにビ
ット割り当てを行うことが可能となる。

【００１４】また、第１の動画像シーケンスにおける所
定期間と第２の動画像シーケンスにおける所定期間とが
時間軸上で一致している場合には、第一の符号化で得ら
れた第１の符号化困難度はそのまま第２の符号化困難度
として利用可能であり、またそれぞれの所定期間が一致
しない場合は、それらの位置関係に基づいて、第１の動
画像シーケンスにおける所定期間毎の符号化困難度を加
重平均することで、第２の符号化困難度を求めることが
できる。よって、第２の動画像シーケンスにおけるＧＯ
Ｐ構成は自由に設定することが可能となり、第一の符号
化結果からシーンチェンジ点を検出し、シーンチェンジ
とＧＯＰの先頭を一致させたＧＯＰ構成として、第２の
動画像シーケンスを符号化することも可能となる。

【００１５】また、本発明では、第一の符号化における
所定単位毎の発生符号量および平均量子化ステップサイ
ズに基づいて符号化困難度を検出しているため、第一の
符号化では、従来一般的に行われている固定の量子化ス
テップサイズの符号化のみならず、量子化ステップサイ
ズを変動させるレート制御を加えた符号化を行ってもよ
い。したがって、従来は発生符号量を制御できなかった
第一の符号化を、所望のレートでエンコードした有効な
符号化データとして用いることが可能となる。例えば、
第一の符号化は１．５Ｍｂｐｓの固定レート符号化と
し、第二の符号化は平均４Ｍｂｐｓの可変レート符号化
とすることで、４Ｍｂｐｓの可変レート符号化データ
と、副次的な１．５Ｍｂｐｓの固定レート符号化データ
を得ることが可能となる。

【００１６】また、入力動画像シーケンスをフレーム単
位で水平垂直それぞれサブサンプリングした画像を用い
て第一の符号化を行い、第二の符号化は通常の画像サイ
ズでの符号化を行うことで、第一の符号化で固定レート
のＭＰＥＧ１の符号化データ、第二の符号化で可変レー
トのＭＰＥＧ２の符号化データを得ることや、或いは、
第一の符号化で固定レートのＳＤＴＶ（標準ＴＶ画像）
の符号化データ、第二の符号化で可変レートのＨＤＴＶ
（高精細ＴＶ画像）の符号化データを得るような構成も
可能である。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１８】図１には、本発明の一実施形態に係る動画
像編集システムで用いられる可変レート動画像符号化処
理の流れが示されている。本可変レート動画像符号化処
理は、ハードディスク装置等に記録されたＶＴＲ等の映
像素材に対する２回の符号化により、高画質な可変レー
ト符号化を行うものである。以下、図１を参照して、本
実施形態の処理全体の流れについて説明する。

【００１９】（１） 符号化タイムコード指定 まず、ユーザ操作に基づいて、原画像であるＶＴＲ素材
に対して、符号化開始タイムコード（ＩＮ点）と符号化
終了タイムコード（ＯＵＴ点）の指定が行われる（ステ
ップ１０）。

【００２０】（２） 第一の符号化（１パス目符号化） 第一の符号化では、ＩＮ点およびＯＵＴ点を示す符号化
タイムコード指定情報２０に基づき、ＩＮ点からＯＵＴ
点までの連続した動画像シーケンスの符号化が実行され
る（ステップ１１）。この第一の符号化では、例えば水
平７２０画素×垂直４８０ラインのフレームサイズの入
力画像を、水平３５２画素×垂直２４０ラインのフレー
ムサイズにダウンサンプリングし、例えば１．５Ｍｂｐ
ｓの固定ビットレートのＭＰＥＧ１方式により符号化が
行われる。この場合、所定のフレーム周期でフレーム内
符号化フレーム（Ｉピクチャ）が挿入されるように、Ｉ
Ｎ点からＯＵＴ点までの連続した動画像シーケンスは予
め決められたフレーム間予測構造を持つＧＯＰ単位に区
切りながら符号化する。

【００２１】この第一の符号化に関しては、特別な制約
条件はなく、任意のビットレート、任意のパラメータ、
任意の符号化方式、任意の解像度での符号化も可能であ
る。つまり、ダウンサンプリングの有無や、符号化方式
がＭＰＥＧ１かＭＰＥＧ２かの選択、また、レート制御
についても、固定ビットレート、リアルタイムの可変ビ
ットレート、あるいはレート制御をかけずに量子化ステ
ップを固定にするなど、自由に設定できる。本実施形態
では、標準で上記のサブサンプル画像のＭＰＥＧ１符号
化を第一の符号化に用いている。その理由は、ビットレ
ートの低いＭＰＥＧ１符号化を第一の符号化とすること
で、後述するビットストリーム解析を高速に行うことが
可能となり、また第二の符号化をＭＰＥＧ２符号化とす
ることで、ＭＰＥＧ１とＭＰＥＧ２の２種類の有効なス
トリームを得るためである。

【００２２】この第一の符号化では、ＩＮ点からＯＵＴ
点までの連続した動画像シーケンスの符号化データから
構成される符号化ビットストリームファイル２２が生成
されると共に、符号化ログデータおよび符号化パラメー
タそれぞれについてのファイル２１が生成される。ここ
で、符号化ログデータとは、符号化により得られるフレ
ーム単位の発生符号量、各フレームの平均量子化ステッ
プサイズ、動き補償予測の誤差量、等の統計データを含
むものである。また、符号化パラメータは、第一の符号
化におけるビットレート等の符号化パラメータを記録し
たものである。符号化ログデータは、符号化ログデータ
を出力する機能を有する符号化器を使用することによっ
て符号化処理と並行してリアルタイムに生成することも
できるが、符号化ログデータを出力する機能がない符号
化器であっても、符号化器から出力されるビットストリ
ーム２２を解析することで、符号化後にオフラインで符
号化ログデータとほぼ同等の情報を生成することも可能
である。

【００２３】（３） ビットストリーム解析 ビットストリーム解析は、ユーザによる編集作業を効率
化するために必要なシーンチェンジポイント等の情報を
検出するためのものであり、このステージでは、第一の
符号化により得られたビットストリーム２２の解析処理
が行われる（ステップ１２）。このビットストリーム解
析処理では、まず、シーンチェンジ点の検出が行われ
る。そして、検出されたシーンチェンジ点を用いること
により、シーン構造の解析が行われる、シーン構造解析
では、検出されたシーンチェンジ点間に挟まれる部分を
ショットとして位置づけ、関連するショット同士を同一
シーンとして統合する処理などが行われる。これによ
り、異なるショット間でも意味的に同一種に属するショ
ット同士は１シーンとして扱われる。

【００２４】また、シーン構造を示す幾つかの代表フレ
ームを、縮小フレームサイズで簡易デコードした画像デ
ータの生成も併せて行われる。

【００２５】なお、ビットストリーム解析処理として
は、第一の符号化が終了した後に、生成された符号化ビ
ットストリームファイル２２の解析を開始する構成でも
よいし、あるいは第一の符号化が開始された一定遅延後
に、第一の符号化と並行して、生成中のビットストリー
ム２２を順次解析する構成でもよい。

【００２６】（４） 符号化タイムコードエディット ステップ１３の符号化タイムコードエディット処理は、
第一の符号化（１パス目符号化）と同一の現画像に対す
る編集処理をユーザ操作に基づいて行うためのものであ
り、その処理の実行のために、ステップ１２のビットス
トリーム解析により得られたシーンチェンジ点の情報、
シーン構造の解析結果、及びシーン構造を示す代表フレ
ームの画像データ等を含む情報２３が使用される。この
符号化タイムコードエディット処理では、シーンチェン
ジ点、シーン構造、および代表フレームをグラフィカル
にユーザに呈示するとともに、ユーザによる第二の符号
化領域指定機能を提供する。

【００２７】ここで、第二の符号化領域指定とは、第一
の符号化により符号化されたＩＮ点からＯＵＴ点までに
属する時間領域の中で、最終的に符号化データとしたい
部分を第二の符号化領域としてユーザに指定させるもの
である。また、ユーザにより指定された第二の符号化領
域に属する時間領域全体をユーザ操作に応じて明示的に
分割してチャプターを構成し、最終的な符号化データで
チャプター単位のランダムアクセスを可能とするランダ
ムアクセスポイントの設定処理も併せて行う。

【００２８】（５） 可変レートビットアロケーション 可変レートビットアロケーションでは、第２の符号化に
おける符号量割り当てを決定する処理が行われる（ステ
ップ１４）。この最適符号量割り当て処理では、符号化
タイムコードエディット処理で設定された符号化対象範
囲を示すタイムコード及びチャプター境界を示すタイム
コードの情報２４と、第一の符号化で得られた符号化ロ
グファイル及び符号化パラメータファイル２１が用いら
れる。ここでの符号量割り当てでは、すべての符号化領
域での総符号量が所定値以下となり、且つ最大瞬間ビッ
トレート、最小瞬間ビットレート、ＭＰＥＧ２の規格で
規定されるＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ
Ｖｅｒｉｆｉｅｒ）の制約条件等をすべて満たした上
で、均一で安定した画質を得るための可変レートビット
配分を行う。この可変レートビットアロケーションの具
体的に処理手順については、図６で詳述するが、基本的
には、第一の符号化（ステップ１１）で得られた発生符
号量および平均量子化ステップサイズを用いて画像の複
雑さ（符号化困難度）を示すパラメータをＧＯＰ単位で
算出し、そのパラメータを可変レート符号化の対象とな
る編集後の動画像シーケンスに再マッピングすることに
よって行われる。

【００２９】（６） 第二の符号化（２パス目符号化） 第二の符号化処理では、可変レートビットアロケーショ
ン処理によるビット配分結果２６と、符号化対象及びチ
ャプター境界を示すタイムコード情報２５とに従って、
再度同一のＶＴＲ素材から構成される第二の動画像シー
ケンスに対して第二の符号化が実行される（ステップ１
５）。この第二の符号化処理では、ビット配分結果２６
に応じた可変レート制御によって、第二の符号化領域が
属する符号化対象タイムコード期間の符号化が行われ
る。また、チャプタ境界をランダムアクセス可能とする
ためのフレーム間予測構造の制御も行われる。これによ
り、最適化された符号化ビットストリーム２７が得られ
る。

【００３０】第一の符号化と同様に、第二の符号化にお
いても各符号化パラメータは自由に設定することが可能
である。本実施形態では、標準の第二の符号化として、
水平７２０画素×垂直４８０ラインのフルサイズのＭＰ
ＥＧ２符号化を例えば平均４Ｍｂｐｓの可変レートで行
う。この場合、所定のフレーム周期でフレーム内符号化
フレーム（Ｉピクチャ）が挿入されるように、符号化対
象の動画像シーケンスは予め決められたフレーム間予測
構造を持つＧＯＰ単位に区切りながら符号化される。

【００３１】このように、図１では、第一の符号化（ス
テップ１１）の符号化結果を、画像解析および編集処理
（ステップ１２，１３）と、符号量割り当て決定処理お
よび第二の符号化処理（ステップＳ１４，Ｓ１５）とで
共用する構成となっている。

【００３２】次に、本実施形態の動画像編集システムで
用いられる各モジュールの構成例を説明する。図２は、
本実施形態に係る動画像編集システム全体の構成を示し
たものである。本システムは、符号化されたデジタルコ
ンテンツを作成するための一種のオーサリングシステム
として利用されるものである。図２においては、汎用の
計算機（例えば、パーソナルコンピュータ（以下Ｐ
Ｃ））をベースにして、ソフトウェアモジュールとハー
ドウェアモジュールから構成される場合が例示されてい
る。

【００３３】動画像符号化部であるエンコーダ３３はフ
レーム内符号化および動き補償予測フレーム間符号化を
フレーム単位またはマクロブロック単位に切り替えなが
ら符号化を行うものであり、これは専用ハードウェアで
構成されている。エンコーダ３３を制御するためのエン
コードコントローラ３２はＰＣ上のソフトウェアで構成
される。ただし、エンコーダ３３は必ずしも専用ハード
ウェアでなくともよく、エンコーダ３３がソフトウェア
で構成されていてもよい。また、図２において、システ
ム全体を制御するシステムコントローラ３１、ユーザー
がエンコーダ３３の制御を行うためのメインＧＵＩ（Ｇ
ｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）モ
ジュール３０、符号化データからのシーン構造の解析と
縮小フレームサイズの簡易デコードを行うデータアナラ
イザ３４、データアナライザ３４の出力をグラフィカル
に表示するとともにタイムコードの編集操作を行う編集
操作ＧＵＩモジュール３５、第二の符号化のための符号
量割り当てを行うビットアロケータ３６の各モジュール
は、すべてＰＣ上のソフトウェアで構成される。

【００３４】また、第一の符号化により得られるビット
ストリームと、符号化ログデータ及び符号化パラメータ
は、それぞれハードディスク装置３８と３７にファイル
として記録される。また、第二の符号化により得られる
ビットストリームは、ハードディスク装置３９にファイ
ルとして記録される。これらのハードディスク装置３
７，３８，３９は同一のものであってもよい。

【００３５】図３は、図２におけるエンコーダ３３の内
部構成を示したものである。エンコーダ３３は、ハード
ウェアによる符号化装置であっても、また符号化ソフト
ウェアであっても、その基本的な構成は同じである。

【００３６】すなわち、入力動画像信号５４は、動き検
出部（ＭＥ）４１にてマクロブロック単位で動き検出が
行われる。また、動き補償部（ＭＣ）４９では、動き検
出結果を基に、参照画像メモリ４８に記録されたローカ
ルデコード画像（参照画像）からマクロブロック単位で
予測画像が作成される。入力画像と予測画像との差分は
予測誤差信号として離散コサイン変換部（ＤＣＴ）４２
に入力され、離散コサイン変換部（ＤＣＴ）４２による
離散コサイン変換処理によって直交変換される。離散コ
サイン変換処理によって得られたＤＣＴ係数は、量子化
部（Ｑ）４３、可変長符号化部（ＶＬＣ）４４によりそ
れぞれ、量子化、可変長符号化の処理が行われることに
より、符号化ビットストリームが生成される。この符号
化ビットストリームはハードディスク装置５２に記録さ
れる。また、Ｉピクチャ、つまりフレーム内符号化画像
として符号化する場合には、動き検出および動き補償は
行われず、入力画像信号に対して離散コサイン変換４２
以降の処理のみが行われる。また、ＩまたはＰピクチャ
についてはそれを参照画像として使用するために、量子
化部（Ｑ）４３の出力は、さらに逆量子化部（ＩＱ）４
６、逆離散コサイン変換部（ＩＤＣＴ）４７により逆量
子化、逆離散コサイン変換の処理が加えられ、そして予
測画像との加算により、ローカルデコード画像として参
照画像メモリ（ＦＭ）４８に書き込まれる。

【００３７】レート制御部（ＲＣ）４５では、符号化に
より発生した符号量の計数結果に応じて、フィードバッ
ク制御により量子化部（Ｑ）４３でのマクロブロック単
位の量子化ステップサイズの決定を順次行う。エンコー
ダコントローラ（ＣＯＮＴ）５０は、レート制御部（Ｒ
Ｃ）４５、動き検出部（ＭＥ）４１及び動き補償部（Ｍ
Ｃ）４９との間の双方向通信をデータバス５３を介して
行い、動き補償誤差量、各フレーム毎の発生符号量、各
フレーム単位の平均量子化ステップサイズ等の統計デー
タを収集してハードディスク装置５１へ符号化ログデー
タファイルとして書き込むと共に、符号化ビットレート
等の符号化パラメタを符号化パラメタファイルとしてハ
ードディスク装置５１へ書き込む。また、エンコーダコ
ントローラ（ＣＯＮＴ）５０は、チャプター境界にラン
ダムアクセスポイントを挿入するためのフレーム間の予
測構造の制御、レート制御部（ＲＣ）４５への指示等も
行う。レート制御部（ＲＣ）４５への指示は、可変レー
ト符号化に対応したレート変動の制御や、ランダムアク
セスポイント設定のためのフレーム予測構造変化に対応
したレート制御等のために行われる。

【００３８】図４は、図２におけるデータアナライザ３
４に含まれる動画像シーケンス分析モジュールの構造を
示したものである。動画像シーケンス分析モジュールは
前述のビットストリーム解析処理（ステップ１２）を行
うものである。ここで示した動画像シーケンス分析モジ
ュールは、公開特許公報（特開平９−９３５８８号）で
開示された手法を用いて、シーン構造の解析を行う。す
なわち、ビットストリーム解析部６１に対して第一の符
号化データ６０（図１のビットストリーム２２に相当）
を入力し、符号化データ中の動きベクトルの抽出を行
い、抽出された動きベクトル情報６２をシーンチェンジ
検出モジュール６３に入力し、動きベクトルの変化に基
づいてシーンチェンジ点の検出を行う。さらに、シーン
構成検出モジュール６５において、検出されたシーンチ
ェンジ点に挟まれたそれぞれのショット間の類似度計算
により類似するショット同士の統合が行われる。

【００３９】図５は、図２における編集操作ＧＵＩモジ
ュール３５によって提供される編集操作画面の一例を示
したものである。図中、７１は図２のデータアナライザ
３４で簡易デコードされた縮小画像であり、横軸を時間
軸として表示される。縮小画像は、フレーム内符号化画
像（Ｉピクチャ）を構成する各ブロックのＤＣ成分のデ
コードに基づくものであり、シーン構造解析の結果、特
徴的な画像（Ｉピクチャ）が選択されて表示される。図
中の７２は、図４のシーンチェンジ検出モジュール６３
で検出されたシーンチェンジ点である。縮小画像７１と
シーンチェンジ点７２は図示のように対応して表示さ
れ、どの縮小画像７１がシーンチェンジ点であるかがユ
ーザにグラフィカルに呈示される。７３〜７５は、図４
のシーン構成検出モジュール６５で検出されたシーン構
造を表示したものである。関連するショットは一つのシ
ーンとして扱われる。図５の例では、７３〜７５の３シ
ーンがシーン構造として表示されている。

【００４０】図中７６〜７９は、ユーザにより設定され
たチャプタ構造を示している。ユーザは、表示された縮
小画像７１、シーンチェンジポイント７２、シーン構造
７３〜７５等を参照して、第一の符号化が行われた範囲
内で、第二の符号化を行う範囲及びチャプタの設定をマ
ウス操作により行う。図５の例では、第二の符号化領域
は、７６，７７，７９で示される３つのチャプタで構成
され、７８で示される区間は第二の符号化では削除され
る。また、７６，７７，７９は、途切れのない連続再生
が可能なように符号化され、且つそれぞれのチャプタの
先頭からのランダムアクセス再生が可能なように、チャ
プタの先頭がＧＯＰの先頭となるような予測構造の制御
も行われる。

【００４１】プレビュー再生用コマンド８２を操作する
と、ユーザにより設定されたチャプタ構造に沿って、第
一の符号化データを再生することにより、表示部８３に
編集後の動画像シーンチェンジの簡易表示をすることも
可能である。ユーザによりチャプタ構成が決定される
と、次にビット配分ボタン８６を操作することにより、
符号化期間全体（７６，７７，７９）で所定の符号量以
下となり、ビットレートの上限、下限、及びＶＢＶの条
件を満たす最適符号量配分の計算が開始される。符号量
配分の計算には、第一の符号化における符号化ログファ
イルと符号化パラメータファイル、そしてユーザが設定
したチャプタ構成情報が用いられる。

【００４２】ビット配分処理が終了すると、図中の８１
に示すように、ビット配分結果に基づく可変レートのレ
ート変動がビットアロケーション情報としてグラフィカ
ルに表示される。ユーザは、さらにマウス操作により、
レート変動に補正を加えることが可能である。その場
合、補正した部分の情報を含めて、符号量配分処理の再
計算が行われる。チャプタ構造、符号量配分のいずれも
が確定した時点で、エンコードボタン８７をユーザが操
作すると、第二の符号化が開始される。符号化中は、表
示部８３に原画像が、表示部８４には第二の符号化で得
られる第二の符号化データをリアルタイムで復号した画
像がそれぞれ表示される。

【００４３】次に、本実施形態で用いられる符号量配分
アルゴリズムについて説明する。

【００４４】図６は、本実施形態に係るビットアロケー
タモジュールの符号量配分処理のフローチャートを示し
た図である。ビットアロケータモジュールへの入力は、
編集操作ＧＵＩモジュール３５で設定された符号化領域
及びチャプタ境界を示すタイムコード情報９０、第一の
符号化による符号化ログデータ９１、設定ビットレート
情報９２である。タイムコード情報９０は、各チャプタ
毎に開始タイムコード（ＩＮ点）と終了タイムコード
（ＯＵＴ点）の組を示すテーブルである。また、符号化
ログデータ９１は、第一の符号化におけるフレーム単位
の発生符号量と、マクロブロック毎の量子化ステップサ
イズを各フレーム毎に平均したフレーム平均量子化ステ
ップサイズとを少なくとも含んだ符号化情報である。ま
た、設定ビットレート９２は、予め設定された平均ビッ
トレートＲａｖｅ、最大瞬間ビットレートＲｍａｘ、最
小瞬間ビットレートＲｍｉｎを含むビットレートパラメ
ータである。

【００４５】（１） 短時間コンプレキシティ計算 短時間コンプレキシティ計算では、第一の符号化ログデ
ータ９１を用いることにより短時間タイムスロット毎の
符号化困難度（以下、短時間コンプレキシティと呼ぶ）
が計算される（ステップ９３）。短時間コンプレキシテ
ィとは、その単位時間に属する画像の時間的・空間的な
複雑さの度合い（符号化困難度）を示すパラメータであ
り、時間的に動きの激しい画像や高解像度の画像程、そ
の値が大きくなる。図７の１００は、量子化ステップサ
イズを固定にした場合のフレーム単位の発生符号量の変
化を示したものである。ＭＰＥＧの符号化では、一般に
フレーム内符号化を行うＩピクチャ、前方予測符号化を
行うＰピクチャ、両方向予測符号化を行うＢピクチャの
順で予測による符号化効率が上がり、符号量が少なくな
る。つまり、同一画像であっても、フレーム単位の発生
符号量はＩ，Ｐ，Ｂのピクチャタイプに依存して大きく
変化する。そこで、上記短時間タイムスロットをＧＯＰ
の構成にアラインドさせて、Ｎ ＧＯＰ（Ｎは自然数）
毎に、そこに含まれるフレームそれぞれの画像の複雑さ
の平均値を短時間コンプレキシティとして求めること
で、ピクチャタイプに依存した変動をなくすことができ
る。図７の１０１は、１ＧＯＰ毎に求めた短時間コンプ
レキシティの変化を示したものである。短時間コンプレ
キシティは、例えば以下の式（１）で求めることができ
る。

【００４６】

【数１】

【００４７】式（１）では、各ＧＯＰを構成するタイム
スロット内のフレームそれぞれについて、発生符号量Ｂ
と平均量子化ステップサイズＱとピクチャタイプに依存
した重み係数Ｗとの積を累積加算し、ＧＯＰを構成する
タイムスロットの時間幅で除算することで、短時間コン
プレキシティを求めている。これは、同一の映像につい
ては量子化ステップサイズが増加すると発生符号量はそ
れに対して単調に減少するということを考慮し、同一画
像であれば発生符号量と量子化ステップ幅の積は一定で
あるというモデル化を行い、さらに、Ｉピクチャ及びＰ
ピクチャは参照画像として用いられるが、Ｂピクチャは
参照画像としては用いられないので、ピクチャタイプに
応じた重み付けを行うようにしたものである。ピクチャ
タイプに応じた重み付けは、次のように行われる。

【００４８】すなわち、参照画像として用いられないＢ
ピクチャは、通常、参照画像として用いられるＩピクチ
ャ及びＰピクチャよりも、割り当て符号量が小さく設定
される。具体的には、Ｉピクチャ及びＰピクチャの量子
化ステップサイズを１０と仮定すると、Ｂピクチャの量
子化ステップサイズはその１．４倍の１４が用いられ
る。したがって、このような量子化ステップサイズの違
いを吸収するために、Ｂピクチャの重み付けＷの値は、
Ｉピクチャ及びＰピクチャのそれよりも小さく設定され
る。これにより、短時間コンプレキシティの値はＩピク
チャ及びＰピクチャが支配的となり、ピクチャタイプに
依存した量子化ステップサイズの違いを平均化した状態
で、短時間コンプレキシティを求めることができる。

【００４９】（２） 短時間コンプレキシティの再マッ
ピング 次に、タイムコード情報９０に従って、上記の短時間コ
ンプレキシティを第二の符号化領域に再マッピングする
（ステップ９４）。これは、ユーザの指定したチャプタ
構造によってＧＯＰの構成が第一の符号化と第二の符号
化とで変化することを考慮して、第二の符号化における
ＧＯＰ構造に対応する第二のタイムスロットを設定し、
上記の短時間コンプレキシティを第二のタイムスロット
にマッピングする操作を行うものである。第二のタイム
スロットは、第二の符号化で用いられる各ＧＯＰの始点
から終点までの時間領域である。

【００５０】短時間コンプレキシティの再マッピング
は、第一の符号化におけるＧＯＰと第二の符号化におけ
るＧＯＰとの間の時間軸上の対応関係に基づいて行われ
る。式２に、式１で求めた第一の符号化結果による短時
間コンプレキシティＣ１（ｉ）の、第二の短時間コンプ
レキシティＣ２（ｉ）への加重平均によるマッピング方
法の例を示す。

【００５１】

【数２】

【００５２】図８〜１０は、短時間コンプレキシティの
再マッピングの例を示したものである。図８〜１０の上
段は、第一の符号化におけるＧＯＰ毎の短時間コンプレ
キシティを、横軸を時間軸として示したものであり、ま
た下段は第二のタイムスロットに再マッピングした短時
間コンプレキシティを示したものである。

【００５３】図８では、ユーザの指定により、１１２及
び１１３の期間の２つのチャプタが構成され、第二の符
号化においては各チャプタの先頭と終端に端数のフレー
ム数から構成されるＧＯＰを設定して、残りのＧＯＰに
ついては、第一の符号化と同一の構成とした例である。
この場合、第二のタイムスロットＴＳ間の境界（ＧＯＰ
境界）は第一のタイムスロットｔｓ間の境界と一致して
おり、短時間コンプレキシティの再マッピングは、第一
のタイムスロットｔｓからそれに対応する第二のタイム
スロットＴＳに対してダイレクトに行うことができる。

【００５４】図９は、ユーザの指定により、１２２及び
１２３の期間の２つのチャプタが構成され、第二の符号
化においては各チャプタの終端にのみ端数のフレーム数
から構成されるＧＯＰを設定して、残りのＧＯＰについ
ては、第一の符号化とは異なる固定のフレーム数で構成
した例である。この場合、第二のタイムスロットＴＳ間
のＧＯＰ境界と、第一の符号化におけるタイムスロット
ｔｓ間のＧＯＰ境界は、通常一致しないものとなる。そ
こで、第一の符号化で各ＧＯＰ毎に求めた第一のタイム
スロットｔｓそれぞれの短時間コンプレキシティを、第
二のタイムスロットＴＳとの時間軸上の位置関係に応じ
て加重平均することにより、第二のタイムスロットＴＳ
における短時間コンプレキシティを求める。例えば、あ
る第２のタイムスロットＴＳが、時間的に、ある２つの
第１のタイムスロットｔｓの境界に跨る場合には、その
第２のタイムスロットＴＳのＧＯＰが属する比率に応じ
た重み付けを行って、それら２つの第１のタイムスロッ
トｔｓそれぞれの短時間コンプレキシティの多重平均を
求めることになる。

【００５５】図８の構成では、通常のＧＯＰよりも少な
いフレーム数で構成されるＧＯＰが、各チャプタの始点
と終点のそれぞれに設けられるため、符号化効率が若干
低下することになる。これは、各ＧＯＰには少なくとも
１つのＩピクチャが含まれ、Ｉピクチャはフレーム間予
測を行わないため、Ｉピクチャの周期が短くなるほど、
符号化効率は一般に低下するためである。一方、図９の
構成では、第二の符号化対象となる動画像シーケンスの
始点から通常のＧＯＰ構成で符号化されるため、符号化
効率の低下を図８の構成よりも抑えることが可能とな
る。

【００５６】図１０では、ユーザの指定により、１３２
及び１３３の期間の２つの連続する領域と、さらに１３
４，１３５，１３６のチャプタ境界が構成された例であ
る。この場合、第二の符号化においては、各チャプタの
先頭をＧＯＰの先頭と一致させることにより、ランダム
アクセス可能とすることが必要となる。従って、チャプ
タ境界直前のＧＯＰ長が短くなるので、図示のように、
各チャプタ境界直前の第二のタイムスロットＴＳは他の
ＴＳに比べ短くなる。この場合も図９と同様に、加重平
均による短時間コンプレキシティの再マッピングを行
う。

【００５７】（３） ビットアロケーション 以上の処理によって第二のタイムスロットに対する短時
間コンプレキシティの再マッピングを行った後に、再マ
ッピングした短時間コンプレキシティに基づき、設定ビ
ットレート（平均ビットレートＲａｖｅ、最大瞬間ビッ
トレートＲｍａｘ、最小瞬間ビットレートＲｍｉｎ）の
条件に基づき、符号量配分を行う（図６のステップ９
５）。

【００５８】符号量配分は、第二のタイムスロット単
位、つまり第二の符号化におけるＧＯＰ単位に行い、そ
れぞれのタイムスロットにおけるビットレートを決定す
る。各第二のタイムスロット毎のビットレートは、それ
ぞれのタイムスロットの短時間コンプレキシティＣに応
じて単調増加する変換式ｆ（Ｃ）を用いて計算される。
図１１は、変換関数ｆ（Ｃ）の例を示したものである。
ビットレートを決定する条件は、各タイムスロットにお
けるビットレートＲ（ｉ）は、 Ｒｍｉｎ ≦ Ｒ（ｉ） ≦ Ｒｍａｘ を満たし、且つ総符号量が、Ｒａｖｅに基づいて算出さ
れる総符号量以下となることである。

【００５９】式（３）に、第二のタイムスロット単位の
ビットアロケーション算出式の例を示す。

【００６０】

【数３】

【００６１】符号量配分処理により決定された第二の各
タイムスロットにおけるビットレート情報と、チャプタ
構成を規定するタイムコード情報とにより、第二の符号
化を行い、指定されたレート変動に基づく可変レートの
符号化が、符号化対象領域に対して、それぞれ行われ
る。第二の符号化のレート制御では、ＧＯＰ単位の符号
量割り当て及びフィードバック制御、ピクチャ単位の割
り当て及びフィードバック制御、マクロブロック単位の
量子化ステップサイズの設定及びフィードバック制御の
階層的な制御が行われる。式４は、ＧＯＰ単位のレート
制御の例を示したものである。上記のビットアロケーシ
ョンにより決定されたＧＯＰ単位のビットレートとそれ
までに発生した符号量との累積誤差を考慮して、次に符
号化するＧＯＰの割り当て符号量が決定される。式４に
より決定されたＧＯＰの割り当て符号量は、さらにＧＯ
Ｐ内の各ピクチャに配分されて、ピクチャ単位のフィー
ドバック制御が加えられて符号化が行われる。最終的な
レート制御は、各ピクチャ毎に設定したピクチャの符号
量に近づくように、マクロブロック単位の量子化ステッ
プサイズの動的な制御を行うことにより実現される。

【００６２】

【数４】

【００６３】なお、本実施形態では、第一の符号化にお
ける各ＧＯＰの短時間コンプレキシティを、編集後の動
画像シーケンスに対する第二の符号化で用いられる各Ｇ
ＯＰの短時間コンプレキシティに変換するようにした
が、第一の符号化における短時間コンプレキシティを複
数ＧＯＰ単位で算出し、その短時間コンプレキシティを
第二の符号化で用いられる複数ＧＯＰ単位の短時間コン
プレキシティに変換するようにしてもよい。

【００６４】また、本実施形態による符号化制御の手順
はすべてソフトウェアによって実現することができ、こ
の場合には、その手順を実行するコンピュータプログラ
ムを記録媒体を介して通常の計算機に導入するだけで、
本実施形態と同様の効果を得ることが可能となる。

【００６５】また、編集後の動画像を構成する第２の動
画像シーケンスは、時間方向には、編集前の第１の動画
像シーケンスと同一、あるいは第１の動画像シーケンス
に含まれる一部分、あるいは第１の動画像シーケンスの
複数部分を接続したもの、のいずれの場合でもよく、ま
た第１の動画像シーケンスの各フレームと第２の動画像
シーケンスの各フレームの解像度は、それぞれどちらか
一方から解像度変換された縮小画像でもよい。また、第
１の動画像シーケンスの各フレームと第２の動画像シー
ケンスの各フレームの映像は、それぞれどちらか一方の
映像の一部を切り出したものや、フィルタ処理等を加え
られたものでもよい。つまり、第１の動画像シーケンス
と第２の動画像シーケンスとの間に、時間方向および空
間方向の何らかの編集或いは変換が加えられたものであ
ればよい。

【００６６】

【発明の効果】以上説明したように、本発明によれば、
少なくとも２回の符号化による動画像シーケンスの高能
率符号化において、第一の符号化後に動画像シーケンス
に対する時間方向の編集操作が加えられた場合において
も、第一の符号化を再度行うことなく、高能率な第二の
符号化を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る動画像編集システム
に適用される可変レート符号化処理の手順を示すフロー
チャート。

【図２】同実施形態の動画像編集システムのシステム構
成の一例を示すブロック図。

【図３】同実施形態のシステムで用いられる符号化部の
構成を示すブロック図。

【図４】同実施形態のシステムで用いられる動画像シー
ケンス分析モジュールの機能構成を示すブロック図。

【図５】同実施形態のシステムで用いられる動画像シー
ケンス分析結果の表示および編集操作ＧＵＩの例を示す
図。

【図６】同実施形態のシステムにおける符号量配分アル
ゴリズムを示すフローチャート。

【図７】同実施形態のシステムで用いられるＭＰＥＧ２
符号化における符号量変動の例を示す図。

【図８】同実施形態のシステムで用いられる短時間コン
プレキシティの再マッピングの例を示す図。

【図９】同実施形態のシステムで用いられる短時間コン
プレキシティの再マッピングの例を示す図。

【図１０】同実施形態のシステムで用いられる短時間コ
ンプレキシティの再マッピングの例を示す図。

【図１１】同実施形態のシステムで用いられる符号量配
分のための変換関数の例を示す図。

【符号の説明】

１０…第一の符号化タイムコードを設定するステップ １１…第一の符号化を行うステップ １２…ビットストリームを解析するステップ １３…符号化タイムコードを編集するステップ １４…符号量配分を行うステップ １５…第二の符号化を行うステップ ２０…符号化タイムコード指定情報 ２１…符号化パラメータデータ及び符号化ログデータ、 ２２…第一のビットストリーム ２３…動画像シーケンス構造化情報（シーンチェンジ点
及びシーン構造） ２４，２５…符号化タイムコードテーブル ２６…ビットアロケーションデータ ２７…第二のビットストリーム ３０…エンコーダ制御メインＧＵＩ ３１…システムコントローラ ３２…エンコーダコントローラ ３３…エンコーダ ３４…データアナライザ ３５…編集操作ＧＵＩ ３６…ビットアロケータ ３７，３８，３９…ハードディスク装置

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ユーザからの編集情報に基づいて動画像
   を編集してその編集後の動画像を圧縮符号化する動画像
   編集システムに適用される可変レート動画像符号化方法
   であって、 編集対象の第１の動画像シーケンスを符号化する第一の
   符号化ステップと、 前記第一の符号化ステップによる符号化結果から、前記
   第１の動画像シーケンスの所定単位毎の発生符号量およ
   び平均量子化ステップサイズを含む統計データを前記第
   １の動画像シーケンス全体にわたって計測するステップ
   と、 前記計測された統計データに基づいて、前記第１の動画
   像シーケンスにおける連続する複数フレームから構成さ
   れる所定期間毎にその期間に属する画像の複雑さを示す
   第１の符号化困難度を算出するステップと、 前記第１の動画像シーケンスとその編集後の第２の動画
   像シーケンスとの間の時間軸上の対応関係に基づいて、
   前記第１の符号化困難度を、前記第２の動画像シーケン
   スにおける連続する複数フレームから構成される所定期
   間毎にその期間に属する画像の複雑さを示す第２の符号
   化困難度に変換する変換ステップと、 前記第２の符号化困難度に基づいて、前記第２の動画像
   シーケンスの前記所定期間毎に割り当て符号量を決定す
   るステップと、 この割り当て符号量に基づいて、前記第２の動画像シー
   ケンスを可変レート符号化する第二の符号化ステップと
   を具備することを特徴とする可変レート動画像符号化方
   法。
2. 【請求項２】 前記第一の符号化ステップによる符号化
   結果から、前記第１の動画像シーケンス中のシーンチェ
   ンジ位置を少なくとも含む動画像シーケンス分析情報を
   生成し、その動画像シーケンス分析情報を、ユーザによ
   る編集操作を支援するための編集支援情報としてユーザ
   に呈示するステップをさらに具備することを特徴とする
   請求項１記載の可変レート動画像符号化方法。
3. 【請求項３】 前記第１の符号化ステップは、所定のフ
   レーム周期でフレーム内符号化フレームが挿入されるよ
   うに、前記第１の動画像シーケンスを予め決められたフ
   レーム間予測構造を持つ符号化フレーム群単位に区切り
   ながら符号化し、 前記第１の動画像シーケンスに対応する前記第１の符号
   化困難度は、前記符号化フレーム群のＮ倍（Ｎは自然
   数）に相当する期間毎に算出されることを特徴とする請
   求項１記載の可変レート動画像符号化方法。
4. 【請求項４】 前記第２の符号化ステップは、所定のフ
   レーム周期でフレーム内符号化フレームが挿入されるよ
   うに、前記第２の動画像シーケンスを予め決められたフ
   レーム間予測構造を持つ符号化フレーム群単位に区切り
   ながら符号化し、 前記第２の動画像シーケンスに対応する前記第２の符号
   化困難度は、前記第１の動画像シーケンスに対応する前
   記第１の符号化困難度に基づいて、前記第２の動画像シ
   ーケンスを構成する符号化フレーム群のＮ倍（Ｎは自然
   数）に相当する期間毎に算出されることを特徴とする請
   求項３記載の可変レート動画像符号化方法。
5. 【請求項５】 第２の符号化困難度に変換する変換ステ
   ップは、前記第１の動画像シーケンスと前記第２の動画
   像シーケンスとの間の符号化フレーム群の時間軸上の対
   応関係に基づいて、前記第２の動画像シーケンスを構成
   する符号化フレーム群のＮ倍（Ｎは自然数）に相当する
   期間毎に、前記第２の符号化困難度を算出することを特
   徴とする請求項４記載の可変レート動画像符号化方法。
6. 【請求項６】 前記第一の符号化ステップによる符号化
   結果から、前記第１の動画像シーケンス中のシーンチェ
   ンジ位置を検出するステップをさらに具備し、 前記第２の符号化ステップは、前記第２の動画像シーケ
   ンスの画像内に前記検出されたシーンチェンジ位置が属
   するとき、その検出されたシーンチェンジ位置がランダ
   ムアクセスポイントとなるように、前記検出されたシー
   ンチェンジ位置に応じて、前記第２の動画像シーケンス
   を符号化するための予測構造を決定することを特徴とす
   る請求項１記載の可変レート動画像符号化方法。
7. 【請求項７】 前記第１の符号化ステップによって符号
   化される第１の動画像シーケンスは、原画像の各フレー
   ムを解像度変換した縮小画像から構成されており、前記
   第２の符号化ステップによって符号化される第２の動画
   像シーケンスよりも低解像度であることを特徴とする請
   求項１記載の可変レート動画像符号化方法。
8. 【請求項８】 ユーザからの編集情報に基づいて動画像
   を編集し、その編集後の動画像を圧縮符号化する動画像
   編集システムにおいて、 編集対象の第１の動画像シーケンスを符号化する第一の
   符号化手段と、 前記第一の符号化手段による符号化結果から前記第１の
   動画像シーケンス中のシーンチェンジ位置を少なくとも
   含む動画像シーケンス分析情報を生成し、その動画像シ
   ーケンス分析情報を、ユーザによる編集操作を支援する
   ための編集支援情報としてユーザに呈示する手段と、 前記第一の符号化手段による符号化結果から、前記第１
   の動画像シーケンスの所定単位毎の発生符号量および平
   均量子化ステップサイズを含む統計データを前記第１の
   動画像シーケンス全体にわたって計測する手段と、 前記計測された統計データに基づいて、前記第１の動画
   像シーケンスにおける連続する複数フレームから構成さ
   れる所定期間毎にその期間に属する画像の複雑さを示す
   第１の符号化困難度を算出する手段と、 前記第１の動画像シーケンスとその編集後の第２の動画
   像シーケンスとの間の時間軸上の対応関係に基づいて、
   前記第１の符号化困難度を、前記第２の動画像シーケン
   スにおける連続する複数フレームから構成される所定期
   間毎にその期間に属する画像の複雑さを示す第２の符号
   化困難度に変換する変換手段と、 前記第２の符号化困難度に基づいて、前記第２の動画像
   シーケンスの前記所定期間毎に割り当て符号量を決定す
   る手段と、 この割り当て符号量に基づいて、前記第２の動画像シー
   ケンスを可変レート符号化する第二の符号化手段とを具
   備することを特徴とする動画像編集システム。
9. 【請求項９】 少なくとも２回の符号化により高能率な
   符号化を行う可変レート動画像符号化方法において、 第１の動画像シーケンス全体に渡って第一の符号化を行
   い、 前記第一の符号化において符号化された動画像データま
   たは符号化統計データの収集を行い、 前記符号化された動画像データまたは符号化統計データ
   の少なくとも１つを用いて、シーンチェンジ点を含む動
   画像シーケンス分析データを生成し、その動画像シーケ
   ンス分析データをユーザによる編集操作を支援するため
   の編集支援情報としてユーザに呈示し、 前記第１の動画像シーケンスに対する編集情報をユーザ
   入力に基づいて生成し、 前記符号化された動画像データまたは前記符号化統計デ
   ータの少なくとも１つを用いて、前記編集情報に基づく
   第２の動画像シーケンスに対して符号量割り当てを行
   い、 前記符号量割り当てと前記編集情報に基づき、前記第２
   の動画像シーケンスの符号化を行うことを特徴とする可
   変レート動画像符号化方法。
10. 【請求項１０】 フレーム内符号化および動き補償予測
    フレーム間符号化をフレーム単位またはマクロブロック
    単位に切り替え、所定のブロック毎に入力画像信号或い
    は予測誤差信号を直交変換し、前記直交変換係数の量子
    化を行い、前記量子化された変換係数を可変長符号化す
    る動画像符号化により、第１の動画像シーケンスの第一
    の符号化を行い、 前記第一の符号化における所定単位毎の発生符号量、及
    び前記所定単位毎の前記量子化における量子化ステップ
    サイズの平均値を含む統計データを、動画像シーケンス
    全体に渡って計測し、 前記所定単位毎の統計データから、第一の動画像シーケ
    ンスの第一の所定期間毎の符号化困難度をあらわす第一
    の統計量を算出し、 前記第一の統計量を前記動画像シーケンスの少なくとも
    一部から構成される第２の動画像シーケンスの第二の所
    定期間毎の第二の統計量に変換し、 前記変換された第二の統計量に基づき、第２の動画像シ
    ーケンスの第二の所定期間毎の符号量割り当てを行い、
    前記符号量割り当てに基づいて第２の動画像シーケンス
    の第二の符号化を行うことを特徴とする可変レート動画
    像符号化方法。