JP2007295233A - 動画像再符号化装置、動画像編集装置、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】縮小を伴う再符号化において、高速に処理を行う動画像再符号化装置を提供する。
【解決手段】動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトルＶ、及びブロックサイズＢを出力する復号部１と、復号部１から出力されたフレームを縮小するフレーム縮小２２と、復号部１から出力された動きベクトルＢとブロックサイズＢとを縮小する動きベクトル縮小部２１と、動きベクトル縮小部２１から出力された縮小後の動きベクトルｖ及びブロックサイズｂを利用して、フレーム縮小部２２で縮小したフレームに対する再符号化時の動き補償を行う動き補償部４５とを備える。
【選択図】図１

Description

本発明は、動画像再符号化装置、動画像編集装置、プログラム、及び記録媒体に関し、より詳細には、符号化された動画像のストリームから異なるストリームを生成する際に使用する動画像再符号化装置、動画像編集装置、それら装置のプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

近年、デジタル化の発展により映像の高画質化及び大画面化が進み、映像に関する情報量が増加している。情報の圧縮なしでは通信チャネルの圧迫や蓄積媒体の容量不足などが生じ映像を扱うことが困難となるため、圧縮技術の進歩が不可欠となっている。画像圧縮の原理や国際標準などについては、例えば非特許文献１，２などに詳しく記載されている。

一般にデジタル画像の情報は膨大であるが、その圧縮・伸張において、まったく同じものを再現しなくても、人間の目には画質の劣化が分からないため、重要でない情報を削除する「非可逆圧縮」が用いられている。静止画像の非可逆圧縮では、画像の成分を周波数に分解し、人間の目には知覚しやすい低周波に多くビットを割り当て、高周波のビット数を減らす方法が一般的で、国際標準であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）でも採用されている。

動画圧縮も静止画像と同様に、高周波のビット数を減らす技術が使われている。ただし、動画像では、隣接するフレームは非常に似通っている部分が多いため、これを利用してさらに大幅な圧縮を実現することができる。フレーム間の相関を利用する圧縮をフレーム間圧縮という。フレーム間圧縮では、動き補償と呼ばれる技術が圧縮率の鍵となる。

動き補償技術について、図７を参照して説明する。フレームＦｃ内の特定のブロックＢｃをその情報だけで符号化するのではなく、既に符号化されているフレームＦｒを復号し符号化のための参照フレームとして用いる。図７のように、その参照フレームＦｒ内で符号化対照のブロックＢｃに類似したブロックＢｒを検索し、検索したブロックＢｒが符号化対照のブロックＢｃ（ブロックＢｃに対応する参照フレームＦｒ内のブロックＢｃｒ）からどれだけずれたところにあるかを表す位置ベクトルＶと、検索したブロックＢｒと符号化対照のブロックＢｃとの差分である予測誤差を符号化することにより、圧縮率を向上させる。ブロックマッチングによるフレーム間圧縮では、あらゆる組み合わせから一番近いブロックを検索する必要があるため、演算に時間がかかる。

ところで、動画像符号化技術の研究開発は、国際標準化と密接に関係している。それは、統一の規格を作成することで幅広いアプリケーションへの適用が可能となるからである。

動画圧縮の国際標準化は、１９８０年代から始まり、通信分野を中心としたＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）勧告のＨ．２６０シリーズと、蓄積分野を中心としたＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）の国際標準のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）シリーズとが存在する。各標準化は、特定のメディアでの使用を目的にした仕組みを取りつつ、効率的な符号化技術を取り入れてきた。

最新の動画圧縮の国際標準は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣの共同グループＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）によって開発されたＨ．２６４／ＡＶＣであり、２００３年に標準化されている。Ｈ．２６４／ＡＶＣは、共同で標準化を行ったため、通信・蓄積といった分野に関わらず汎用的なものとなっている。ＩＴＵ−ＴではＨ．２６４、ＩＳＯ／ＩＥＣではＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名称で呼ばれている。

Ｈ．２６４／ＡＶＣは、ＪＶＴによって開発された汎用的な動画圧縮技術である。Ｈ．２６４／ＡＶＣでは、携帯電話などの低ビットレートからＨＤＴＶ（高精細度テレビジョン）などの高ビットレートまで幅広く利用されることが想定されている。従来のＭＰＥＧ−４に比べ、圧縮過程の多くの面で改良されており、新たに算術符号化やフィルタなどのツールも追加され、圧縮率でＭＰＥＧ−２の２倍以上、ＭＰＥＧ−４の１．５倍以上になるとされている。情報量は、この技術により圧縮前の１／１００〜１／２０を実現している。表１にＭＰＥＧ−４とＨ．２６４／ＡＶＣのツールの比較を示す。Ｈ．２６４／ＡＶＣでは、動き補償のためのブロックサイズの種類が、以前の符号化に比べて増えていることがわかる。

ところで、共通の圧縮方式をサポートすることで、ある機器で符号化された動画像データを、通信や記録媒体などを利用して、他の機器で表示することができる。しかし、機器間の画面の大きさや解像度の違う場合には、画像をサイズ変換して、再符号化する必要がある。

また、使用する通信回線の帯域により、ビットレートを変換しなければならない場合もある。この場合も再符号化を行う必要がある。実際、携帯電話で動画像をメール添付する場合は、かなりビットレートを下げる必要があるため、録画した動画像はそのまま添付できず、再符号化する必要がある。

図８は、従来の動画像再符号化装置の構成を示すブロック図である。従来の動画像再符号化装置は、縮小を伴う再符号化を可能とするため、復号部１及び符号化部３に加えて縮小部８を備える。ここで、復号部１は、エントロピ符号復号部１１、逆量子化部１２、逆離散コサイン変換部（逆ＤＣＴ部）１３、加算器１４、動き補償部１５、及びメモリ１６でなり、縮小部８はフレーム縮小部８２でなる。また、符号化部３は、減算器３１、ＤＣＴ部３２、量子化部３３、符号量制御部３４、エントロピ符号化部３５、局所デコーダ４０、及び動き検出部３７でなる。局所デコーダ４０は、逆量子化部４１、逆ＤＣＴ部４２、加算器４３、メモリ４４、及び動き補償部４５でなる。なお、図８において、Ｖは動きベクトル、Ｂはブロックサイズ、Ｒは縮小率である。

縮小を伴う再符号化では、一旦、符号化データを復号し、サイズ変換した後、符号化する必要があり、従来の動画像再符号化装置では、図８に示すように、再符号化においても符号化部３に動き検出部３７を具備し、常に稼働させておかなければならない。

ここで、動き検出部３７における動き検出とは、図７のように、符号化対象のフレームＦｃ上のブロックＢｃに類似したブロックＢｒを参照フレームＦｒから検出し動きベクトルＶを検出するものであるため、符号化効率を良くするために、最も類似したブロックＢｒを検出する必要があり、そのためには、参照フレームＦｒ上の全てのパターンとマッチングしなければならない。従って、縮小を伴う従来の再符号化装置では、符号化効率を良くするためにパターンマッチングが必要となり、ソフトウエア構成の場合には処理に時間がかかり、ハードウエア構成の場合には回路規模の増大を招くことになる。

なお、特許文献１には、再符号化の前後でフレームのサイズが同じ場合で、Ｈ．２６４からＭＰＥＧ−２などへの変換を対象とした動画像の再符号化装置が開示されている。
特開２００５−２３６５８４号公報 小野文孝，渡辺裕著，「国際標準画像符号化の基礎技術」，コロナ社，１９９８年３月２０日 角野眞也，菊池義浩，鈴木輝彦編集，「インプレス標準教科書シリーズ Ｈ．２６４／ＡＶＣ教科書」，インプレス，２００４年７月３０日

上述のごとく、縮小を伴う従来の再符号化処理では、符号化効率を良くするために煩雑な処理が必要となる動き検出を行わなければならず、ソフトウエア構成の場合には処理時間がかかり、ハードウエア構成の場合には回路規模の増大を招くことになる。

なお、特許文献１に記載の装置では、ＭＰＥＧ−２などからＨ．２６４への変換を対象としておらず、フレームサイズの縮小を伴う再符号化には対応できない上に、再符号化時の動きベクトルを元の符号の複数の動きベクトルから計算する煩雑な処理が必要となる。

本発明は、上述のごとき実情に鑑みてなされたものであり、縮小を伴う再符号化において動きベクトルを簡易な処理で求めることが可能な、動画像再符号化装置、該装置を備えた動画像編集装置、動画像再符号化プログラム、動画像編集プログラム、それらプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。

上記目的を達成するために、本発明の第１の技術手段は、動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力する復号手段と、該復号手段から出力されたフレームを縮小するフレーム縮小手段と、前記復号手段から出力された動きベクトルとブロックサイズとを縮小する動きベクトル縮小手段と、該動きベクトル縮小手段から出力された縮小後の動きベクトル及びブロックサイズを利用して、前記フレーム縮小手段で縮小したフレームに対する再符号化時の動き補償を行う動き補償手段とを有することを特徴とした動画像再符号化装置である。

第２の技術手段は、第１の技術手段において、前記動きベクトル縮小手段は、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合、前記動き補償手段で利用するブロックサイズとして、再符号化処理に適したブロックサイズのうち前記縮小後のブロックサイズに最も近い値のブロックサイズを出力することを特徴としたものである。

第３の技術手段は、第１又は第２の技術手段において、前記フレーム縮小手段で縮小されたフレームの画像に対して動きベクトルを検出する動き検出手段と、前記動きベクトル縮小手段で縮小された動きベクトルが適したものでない場合にのみ、前記動き検出手段で動き検出を実行させて、前記動き補償手段で利用する動きベクトル及びブロックサイズとして、前記動き検出手段で検出された動きベクトル及び該動きベクトル検出時のブロックサイズを選択する選択手段とをさらに有することを特徴としたものである。

第４の技術手段は、第１乃至第３のいずれかの技術手段における動画像再符号化装置を備えた動画像編集装置であって、動画像を符号化したビットストリームを前記復号手段で復号した動画像に対し、編集の指示をユーザから受け付ける編集受付手段と、該編集受付手段で受け付けた指示に基づいて前記復号された動画像を編集する編集手段と、縮小率及び再符号化方式を決定する決定手段とを備え、前記動画像再符号化装置は、前記決定手段で決定された縮小率及び再符号化方式で、前記編集手段で編集した後の動画像を再符号化することを特徴としたものである。

第５の技術手段は、第１乃至第４のいずれかの技術手段における装置として、コンピュータを機能させるためのプログラムである。

第６の技術手段は、動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力する復号器と、復号されたフレーム、動きベクトル、及びブロックサイズを再符号化する符号化器とを備えた動画像再符号化装置に組み込むためのプログラムであって、前記符号化器は、動き補償を行う動き補償器を有し、当該プログラムは、前記動画像再符号化装置における制御部に、前記復号器に前記復号を実行させる復号ステップと、前記復号器から出力されたフレームを縮小するフレーム縮小ステップと、前記復号器から出力された動きベクトルとブロックサイズとを縮小する動きベクトル縮小ステップと、該動きベクトル縮小ステップで出力された縮小後の動きベクトル及びブロックサイズを利用して、前記フレーム縮小ステップで縮小したフレームに対して前記動き補償器に動き補償を実行させて前記符号化器に再符号化を実行させる再符号化ステップとを実行させることを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記動きベクトル縮小ステップは、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合、前記再符号化ステップで利用するブロックサイズとして、再符号化処理に適したブロックサイズのうち前記縮小後のブロックサイズに最も近い値のブロックサイズを出力することを特徴としたものである。

第８の技術手段は、第６又は第７の技術手段において、当該プログラムは、前記制御部に、前記フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出ステップと、前記動きベクトル縮小ステップで縮小された動きベクトルが適したものでない場合にのみ、前記動き検出ステップを実行させて、前記再符号化ステップで利用する動きベクトル及びブロックサイズとして、前記動き検出ステップで検出された動きベクトル及び該動きベクトル検出時のブロックサイズを選択する選択ステップとをさらに実行させることを特徴としたものである。

第９の技術手段は、第８の技術手段において、前記動画像再符号化装置は、前記動き検出ステップの代わりに、前記フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出器を備えたことを特徴としたものである。

第１０の技術手段は、第６乃至第９のいずれかの技術手段において、前記動画像再符号化装置は、前記フレーム縮小ステップの代わりに、前記復号器から出力されたフレームを縮小するフレーム縮小器を備えたことを特徴としたものである。

第１１の技術手段は、第６乃至第１０のいずれかの技術手段において、当該プログラムは、前記制御部に、前記復号器で復号した結果の動画像に対し、編集の指示をユーザから受け付ける編集受付ステップと、該編集受付ステップで受け付けた指示に基づいて前記復号された動画像を編集する編集ステップと、縮小率及び再符号化方式を決定する決定ステップとをさらに実行させ、前記フレーム縮小ステップ、前記動きベクトル縮小ステップ、及び前記再符号化ステップは、前記決定ステップで決定された縮小率及び再符号化方式で、前記編集ステップで編集した後の動画像に対して実行することを特徴としたものである。

第１２の技術手段は、第５乃至第１１のいずれかの技術手段におけるプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、縮小を伴う再符号化において、動きベクトルを簡易な処理で求めることが可能となる。

図１は、本発明の一実施形態に係る動画像再符号化装置の構成例を示すブロック図であり、図２は、図１の動画像再符号化装置における縮小部での縮小処理を説明するための図で、縮小前後のフレーム、動きベクトル、及びブロックサイズを例示したものである。図１で例示する動画像再符号化装置は、縮小を伴う再符号化を可能とするため、復号部１及び符号化部３に加えて縮小部２を備える。

復号部１は、上述の復号手段の一例であり、動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力する。図１の例での復号部１は、エントロピ符号復号部１１、逆量子化部１２、逆離散コサイン変換部（逆ＤＣＴ部）１３、加算器１４、動き補償部１５、及びメモリ１６で構成される。なお、復号部１を、メモリ１６で蓄積した画像を表示装置に出力するよう構成することで、縮小前の画像の表示も可能となる。

また、本発明の主たる特徴の一つである縮小部２は、フレーム縮小部２２だけでなく、動きベクトル縮小部２１を備える。フレーム縮小部２２は、上述のフレーム縮小手段の一例であり、復号部１から出力されたフレームを縮小する。動きベクトル縮小部２１は、上述の動きベクトル縮小手段の一例であり、復号部１から出力された動きベクトルとブロックサイズとを縮小する。

符号化部３は、縮小部２で縮小されたフレーム画像、縮小された動きベクトル、及び縮小されたブロックサイズを入力し、符号化（再符号化に相当）を実行して圧縮ストリームを出力する。図１の例での符号化部３は、減算器３１、ＤＣＴ部３２、量子化部３３、符号量制御部３４、エントロピ符号化部３５、及び局所デコーダ４０で構成される。局所デコーダ４０は、逆量子化部４１、逆ＤＣＴ部４２、加算器４３、メモリ４４、及び動き補償部４５で構成される。なお、符号化部３を、メモリ４４で蓄積した画像を表示装置に出力するよう構成することで、再符号化した画像の表示も可能となる。

上述のごとき構成の動画像再符号化装置について、その詳細を説明する。エントロピ符号復号部１１は、符号化された圧縮ストリームを入力して、フレーム画像Ｆｃのエントロピ符号並びに動きベクトルＶ及びブロックサイズのエントロピ符号をそれぞれ復号し、復号したフレーム画像（差分画像のフレーム）を逆量子化部１２に送ると共に、復号して得られた動きベクトルＶ及びブロックサイズを動き補償部１５及び動きベクトル縮小部２１に送る。

逆量子化部１２は、エントロピ符号復号部１１から出力された復号後の差分フレームを逆量子化し、逆ＤＣＴ部１３に送る。逆ＤＣＴ部１３は、逆量子化後の差分フレームに対して逆ＤＣＴを施し、加算器１４に出力する。

加算器１４は、その出力と動き補償部１５からの出力である動き補償済み予測フレームとを加算して復号画像フレームとし、フレーム縮小部２２及びメモリ１６に出力する。ここで、メモリ１６には加算器１４から出力されたフレームが格納され、このフレームが後に復号するフレームのための予測用参照フレームＦｒとなる。

動き補償部１５は、メモリ１６に蓄積された予測用参照フレームＦｒと、エントロピ符号化部１１から出力された動きベクトルＶ及びブロックサイズとに基づき、動き補償済み予測フレーム（動き補償フレーム）を生成し、加算器１４に出力する。このようにして、加算器１４は、逆ＤＣＴ部１３から出力された差分フレームと動き補償部１５から出力された動き補償フレームとによって、復号画像のフレームＦｃを出力することができる。

上述のごとく、復号部１から出力されたフレーム画像Ｆｃはフレーム縮小部２２へも入力され、復号部１から出力された動きベクトルＶは動きベクトル縮小部２１へも入力される。フレーム縮小部２２は、ユーザ設定或いはデフォルト設定された縮小率に応じて、フレーム画像Ｆｃを縮小し、縮小したフレーム画像ｆｃを符号化部３（実際には減算器３１）へ出力する。

動きベクトル縮小部２１は、動きベクトルＶと動き補償のブロックサイズ（ブロックＢｃ，Ｂｃｒ，Ｂｒのサイズ）とを縮小し、縮小後の動きベクトルｖとブロックサイズ（ブロックｂｃ，ｂｃｒ，ｂｒのサイズ）を符号化部３（実際にはエントロピ符号化部３５及び動き補償部４５）へ出力する。

動きベクトルについては、入力された元の符号化の動きベクトルＶの成分（Ｘ，Ｙ）を（Ｘ×Ｒ，Ｙ×Ｒ）に変換することで動きベクトルｖを得る。ここで、Ｒは縮小率で０＜Ｒ≦１を満たす実数である。なお、Ｒ＝１のときは等倍となり、従って本発明の動画像再符号化装置は等倍の再符号化も実行可能となる。

ブロックサイズについては、変換前のブロックサイズをＢ、変換後のブロックサイズをｂとすると、縮小したブロックサイズをそのままｂにして出力しても処理できる場合もある。図２ではＲ＝１／２のときの縮小の様子を示しているが、図示したように、動きベクトルと参照ブロックサイズを同じ縮小率で縮小することにより、参照フレームｆｒと符号化フレームｆｃの関係が相似になっていることがわかる。

図２の例は、動きベクトル縮小部２１で縮小後のブロックサイズをそのままｂとして出力する形態で、図１で例示した動画像再符号化装置がＭＰＥＧ−２，４からＨ．２６４への変換時にＲ＝１／２の縮小を伴う再符号化を行う場合に適したものとなることを示している。ＭＰＥＧ−２，４の動き補償の参照ブロックのサイズは１６×１６（ＭＰＥＧ−４は８×８も可）だけであるのに対して、Ｈ．２６４の参照ブロックのサイズには８×８及び４×４が含まれる。従って、ＭＰＥＧ−２，４からＨ．２６４へＲ＝１／２で縮小再符号化する場合、元のブロックサイズが１６×１６のときには再符号化後のブロックサイズとして８×８が選択でき、元のブロックサイズが８×８のとき（ＭＰＥＧ−４のみ）には再符号化後のブロックサイズとして４×４が選択できる。

一方、図１で例示した動画像再符号化装置がＭＰＥＧ−２，４からＨ．２６４への変換時にＲ＝０.５５等の縮小を伴う再符号化を行う場合には、縮小しただけのブロックサイズをそのまま採用すると、動き補償部４５における動き補償自体は大きな誤差を許容すれば実行可能である。しかしながら、エントロピ符号化部３５でそのブロックサイズを動きベクトルと共に符号化しようとした場合には、該当するブロックサイズがなく符号化できないか、符号化できるようにエントロピ符号化部３５を変更したとしても出力される圧縮ストリームが規格外となってしまう。

従って、ブロックサイズについては、再符号化後のストリームの符号化方式において適用可能なブロックサイズのうち、Ｂ×Ｒに最も近いものをｂにするようにしておくことが好ましい。すなわち、動きベクトル縮小部２１では、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合（再符号化後のストリームの符号化方式に適さない場合）、最も近い適用可能なブロックサイズを選択して出力するようにすることが好ましい。なお、このような最も近い適用可能なブロックサイズの選択は、動きベクトル縮小部２１ではなく、エントロピ符号化部３５及び動き補償部４５で実行してもよい。

このｂの値は、再符号化の符号化方式がＨ．２６４の場合、１６，８，４のうちのいずれかになる。この選択は次のような式で表される。すなわち、ｘ＝｜Ｂ×Ｒ−４｜，ｙ＝｜Ｂ×Ｒ−８｜，ｚ＝｜Ｂ×Ｒ−１６｜とすると、ｘ、ｙ、ｚのうちｘが最小ならばｂ＝４、ｙが最小ならばｂ＝８、ｚが最小ならばｂ＝１６となる。ここで、｜ｘ｜は、ｘの絶対値を表す。

このように、動きベクトル縮小部２１における縮小率は、基本的にフレーム縮小部２２での縮小率と同じとし、動きベクトル縮小部２１では縮小後のブロックサイズが再符号化後のストリームの符号化方式に適さない場合には一番近い適した値を結果として出力するとよい。

符号化部３では、上述のごとく縮小部２から入力された縮小後のフレームｆｃ、動きベクトルｖ、及びブロックサイズｂに対して、動き補償を施した符号化を実行する。まず、減算器３１は、フレーム縮小部２２から入力された縮小後のフレームｆｃから、局所デコーダ４０における動き補償部４５から入力された動き補償フレームを減算し、その結果をＤＣＴ部３２に出力する。ＤＣＴ部３２は、入力された差分フレームに対してＤＣＴを施し、変換係数を量子化部３３へ出力する。

量子化部３３は、符号量制御部３４による符号量の制御（量子化ステップ幅の制御）に基づきＤＣＴ部３２から入力された変換係数の値をその量子化ステップ幅で量子化して、局所デコーダ４０における逆量子化部４１とエントロピ符号化部３５とに出力する。符号量制御部３４は、エントロピ符号化部３５での出力を一定のデータレートにするためにエントロピ符号化部３５内部のバッファ量などに基づき量子化部３３での量子化ステップ幅を変化させることで、符号量を制御する。

エントロピ符号化部３５は、動きベクトル縮小部２１からの出力である縮小後の動きベクトルｖ及びブロックサイズｂをハフマン符号で割り当てて可変長符号化し、一方で量子化部３３からの出力である予測差分（変換係数の量子化出力）を２次元ハフマン符号で割り当てて可変長符号化し、それらを多重化して圧縮ストリームとして出力する。

局所デコーダ４０では、動き補償フレームを減算器３１に出力するために、動き補償部４５にて、メモリ４４内に蓄積された予測用参照フレームｆｒに対して動きベクトル縮小部２１からの出力である縮小後の動きベクトルｖ及びブロックサイズｂを利用して動き補償を行う。

具体的には、まず逆量子化部４１及び逆ＤＣＴ部４２が、ＤＣＴ部３２及び量子化部３３でＤＣＴ及び量子化された差分フレームを元に戻す復号を実行し、加算器４３へその結果を渡す。加算器４３は、逆ＤＣＴ部４２からの出力である差分フレームに対し、動き補償部４５からの出力である動き補償フレームを加算することで補完して、次の予測用参照フレームとしてメモリ４４へ渡す。メモリ４４は、その予測用参照フレームを動き補償部４５で参照する期間だけ蓄積するフレームメモリである。

動き補償部４５は、メモリ４４に蓄積された予測用参照フレームｆｒに対して縮小後の動きベクトルｖ及びブロックサイズｂを利用して動き補償を行い、減算器３１及び加算器４３へ動き補償フレームを出力する。このように減算器３１と局所デコーダ４０とで、フレーム縮小部２２で縮小したフレームに対する再符号化時の動き補償を行う上述の動き補償手段を構成している。

上述のごとき構成により、符号化部３では、動きベクトル縮小部２１から出力された縮小された動きベクトル及びブロックサイズを、再符号化の動きベクトルとして利用する。符号化対象フレーム上のブロックを縮小することにより、動きベクトルを検索することなく、単に元の動画像の動きベクトルを縮小しただけのものを利用することができる。このように、再符号化での動き補償のパラメータを求める際に元の符号の動きベクトルを利用することにより、動き検出の処理を省くことが可能となって、処理にかかる時間を低減することができる。

以上、本実施形態によれば、縮小を伴う再符号化において、動きベクトルを簡易な処理で求めることが可能となり、ソフトウエア構成の場合には高速に処理を行うことが可能で、ハードウエア構成の場合には回路規模を小さくすることが可能となる。

図３は、本発明の他の実施形態に係る動画像再符号化装置の構成例を示すブロック図である。図３で例示する動画像再符号化装置も、図１のそれと同様に、縮小を伴う再符号化を可能とするため、復号部１及び符号化部３に加えて縮小部２を備える。以下、図３の構成例を図１の構成例と異なる箇所を中心に説明する。

図３の構成例では、復号部１は図１のそれと同じであり、縮小部２は図１のそれと出力先が異なるだけである。図３の構成例における符号化部３は、図１の構成要素に加え、後述のセレクタ３６及び動き検出部３７を備え、これらの追加構成要素に関わる入出力が加わっている。

具体的に説明すると、動きベクトル縮小部２１は、縮小後の動きベクトルｖ及びブロックサイズｂを、動き補償部４５ではなくセレクタ３６へ出力する。また、後述するように、セレクタ３６へは縮小部２における縮小率Ｒも入力されるようにしてもよい。また、フレーム縮小部２２は、縮小後のフレームを、減算器３１だけでなく動き検出部３７へも出力する。

動き検出部３７は、上述の動き検出手段の一例であり、フレーム縮小部２２で縮小されたフレームの画像に対して、メモリ４４内の参照フレームｆｒを参照して動きベクトルｖｄを検出する。動きベクトルｖｄの検出は、符号化部３の出力となる圧縮ストリームの符号化方式に適したいずれかのブロックサイズｂｄで実行されることとなるが、後述するように、本実施形態に限らず本発明では動きベクトル検出を常に実行する必要はない。

セレクタ３６は、上述の選択手段の一例であり、動きベクトル縮小部２１から出力された縮小後の動きベクトルｖが適したものでない場合にのみ、動き検出部３７で動き検出を実行させて、動き補償部４５で利用する動きベクトル及びブロックサイズとして、動き検出部３７で検出された動きベクトルｖｄ及び動きベクトル検出時のブロックサイズｂｄを選択する。このとき、当然、エントロピ符号化部３５において可変長符号化する動きベクトル及びブロックサイズも動きベクトルｖｄ及び動きベクトル検出時のブロックサイズｂｄとなる。なお、縮小後の動きベクトルｖが適するか否かの判断基準については後述する。

このように、セレクタ３６では、動きベクトル縮小部２１から出力された動きベクトルｖ及びブロックサイズｂを優先させて選択するが、それが適さない場合にのみ動き検出部３７で動きベクトルｖｄ及びブロックサイズｂｄを検出して選択し、選択した方の動きベクトル及びブロックサイズを動き補償部４５及びエントロピ符号化部３５へ出力する。

動き補償部４５では、セレクタ３６から出力された動きベクトル及びブロックサイズに基づいて、メモリ４４内の予測用参照フレームｆｒに対して動き補償を行い、動き補償済み予測フレーム（動き補償フレーム）を減算器３１及び加算器４３に出力することとなる。また、エントロピ符号化部３５では、セレクタ３６から出力された動きベクトル及びブロックサイズを可変長符号化し、量子化部３３からの出力である予測差分（変換係数の量子化出力）を可変長符号化したものと多重化し、圧縮ストリームとして出力する。

このように、符号化部３は、縮小部２から縮小後のフレームｆｃ、動きベクトルｖ、及びブロックサイズｂを入力し、入力された動きベクトルｖ及びブロックサイズｂに適したものがない場合は、動き検出部３７により動き検出を行って動きベクトルｖｄ及び検出時のブロックサイズｖｂを得て、符号化を行う。

次に、縮小後の動きベクトルｖが適するか否かの判断基準について例示する。
図１及び図２で説明した実施形態の場合、実際にはＢ×Ｒに最も近くても再符号化時の縮小率Ｒとあまりにもかけ離れたブロックサイズｂが再符号化に利用されてしまうこともある。例えば、ＭＰＥＧ−４からＨ．２６４へのＲ＝１／４の変換で変換前のブロックサイズが８×８である場合、変換後のブロックサイズが２×２になってしまい、Ｈ．２６４では２×２のブロックサイズに対応していないため、最も近い４×４が最適なブロックサイズｂとして再符号化に利用されてしまうことになる。このとき、当然のことながら縮小後の動きベクトルｖとの整合もかけ離れたものとなってしまい、縮小後の動きベクトルｖを再符号化に利用することは好ましくない。同様のケースは、例えばＨ．２６４（ブロックサイズ４×４）からＨ．２６４へのＲ＝１／２の変換の場合でも想定できる。

この対策として、セレクタ３６における次の（Ｉ）又は（ＩＩ）等の判断により、必要に応じて動き検出を実行してその結果を再符号化に利用することとなる。これにより、縮小率Ｒに対して最適なブロックサイズを符号化部３が持たない場合においても、縮小を伴う再符号化が実行できる。

（Ｉ）セレクタ３６に縮小部２から縮小率Ｒも入力するような構成としておき、セレクタ３６は内部に或いはセレクタ３６から参照可能に予め格納した再符号化前後の符号化方式と縮小率との対応テーブルを参照するなどして、その入力された縮小率Ｒが動きベクトルｖ及びブロックサイズｂを再符号化後の符号化方式に適したものにする縮小率であるか否かをセレクタ３６で判断する。

（ＩＩ）符号化対象のブロックと参照ブロックとの類似度によりブロックサイズｂが適切かを判定する。まず、セレクタ３６には、縮小ブロックサイズｂと縮小された動きベクトルｖが入力される。一方で、セレクタ３６には、フレーム縮小部２２から動き検出部３７を介して、或いは逆ＤＣＴ部４２から直接、符号化するフレームのブロック内の画素が入力され、またメモリ４４から予測用参照フレームのブロック（参照ブロック）内の画素が入力される。符号化するブロック内の画素をｆｉ，ｊ、参照ブロックの画素をＲｉ，ｊ、閾値をＴｈとする。ここで、ｉとｊは０からｂ−１の範囲の整数で、（ｉ，ｊ）はブロック内の画素座標を表す。二つのブロックの類似度を次式で定義する。

セレクタ３６は、δ＜Ｔｈならば、縮小された動きベクトルｖを、再符号化の動きベクトルとして選択し、δ≧Ｔｈならば、動き検出部３７を稼動し、新たに動きベクトルｖｄを探索して、その結果を再符号化の動きベクトルとする。

上記（Ｉ），（ＩＩ）のいずれか或いは同等の判断基準を採用したセレクタ３６により、図３で例示した動画像再符号化装置は、ＭＰＥＧ−４からＨ．２６４への変換にＲ＝１／４のように、最適なブロックサイズが存在しない場合に対しても適用できる。なお、これらの判断基準を適用する対象となるブロックサイズｂとしては、図１及び図２で説明したＢ×Ｒそのもの或いはＢ×Ｒに最も近いブロックサイズのいずれを入力することでも、セレクタ３６における最適な動きベクトルの選択を実現できる。

図４は、図３の動画像再符号化装置における縮小再符号化処理の一例を説明するためのフロー図である。図４を参照して、上述した縮小再符号化処理の流れを簡単に説明する。

まず、復号部１が符号化ビットストリームから動画像フレームＦｃ、動きベクトルＶ、及びブロックサイズＢを復号し、復号フレームＦｃをフレーム縮小部２２へ、その他を動きベクトル縮小部２１へ渡す（ステップＳ１）。次に、フレーム縮小部２２が復号フレームＦｃを縮小し（ステップＳ２）、動きベクトル縮小部２１が動きベクトルＶ及びブロックサイズＢを縮小する（ステップＳ３，Ｓ４）。ステップＳ２〜Ｓ４の順序は問わない。ステップＳ３，Ｓ４の結果はセレクタ３６に出力する。

ステップＳ３，Ｓ４で得た縮小後の動きベクトルｖが適切か否かを、セレクタ３６が判断し（ステップＳ５）、適切である場合には、縮小したブロックサイズｂ及び動きベクトルｖを用いて縮小フレームｆｃを動き補償部４５で動き補償して、エントロピ符号化部３５で可変長符号化する（ステップＳ６）。このとき、ｖ，ｂもエントロピ符号化部３５で可変長符号化する。

セレクタ３６は、ステップＳ５で適切でないと判断した場合には、動き検出部３７を稼働し縮小フレームｆｃから動きベクトルｖｄを検出し（ステップＳ７）、検出した動きベクトルｖｄ及び検出時のブロックサイズｂｄを用いて縮小フレームｆｃを動き補償部４５で動き補償して、エントロピ符号化部３５で可変長符号化する（ステップＳ８）。このとき、ｖｄ，ｂｄもエントロピ符号化部３５で可変長符号化する。

以上、本実施形態によれば、縮小を伴う再符号化において、あるフレームについては、ブロックサイズと動きベクトルを縮小することにより、参照ブロックの検索を行わずに済むため、ソフトウエアの場合は高速に処理を行うことができ、ハードウエアの場合は回路規模を小さくすることができる。特に、再符号化の符号化方式としてＨ．２６４を採用する場合は、ブロックサイズの種類が多いことから、動き検出を行わずに、動きベクトルの縮小で対応できる場合が多く、大幅な高速化が期待できる。

図５は、本発明に係る動画像再符号化装置を備えた動画像編集装置の一構成例である。図５で例示する動画像編集装置５は、上述した各実施形態に係る動画像再符号化装置（復号部１、縮小部２、及び符号化部３）に加え、表示部５０、編集部５１、フレーム記憶部５２、制御部５３、操作部５４、多重・分離部５５、入力部５６、出力部５７、記憶部Ａ（５８）、及び記憶部Ｂ（５９）で構成される。

動画像編集装置５は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等に対する記録を行う各種レコーダなど様々な機器として構成することができ、本発明はこのようなレコーダにも組み込むことでも好適に機能する。

操作部５４は、動画像を符号化したビットストリームを復号部１で復号した動画像に対し、編集の指示をユーザから受け付ける編集受付手段の一例であり、編集部５１は、操作部５４で受け付けた指示に基づいて復号された動画像を編集する編集手段の一例である。操作部５４では、編集対象となるコンテンツの選択操作も受け付ける。

制御部５３は、操作部５４からの編集指示操作に基づき、入力部５６を制御して記憶部Ａ（５８）から編集対象となる動画像が含まれるコンテンツを多重・分離部５５に入力させ、対象となる動画像の圧縮ストリームを復号部１へ入力させ、復号部１で復号処理を実行させる。ここで、多重・分離部５５では、符号化時に映像（動画像）データと音声データを多重化して出力部５７へ出力する処理と、復号時に入力部５６から入力される多重化されたそれらのデータを逆に分離する処理とを実行する。

制御部５３は、また復号処理後のフレームをフレームメモリ等で構成されるフレーム記憶部５２へ蓄積させる。フレーム記憶部５２は、復号部１のメモリ１６で代用してもよい。但し、ユーザは動画像編集時に全体を視聴しながら編集指示することが多く、フレーム記憶部５２において、メモリ１６に一時蓄積されるフレームを編集終了まで逐次移行して記憶させておくとよい。

表示部５０は、復号部１で復号した画像をユーザに表示するためのディスプレイ等でなる。ここで、編集部５１又は制御部５３によって、表示対象のフレームが指示される。制御部５３は、またフレーム記憶部５２に蓄積された一連のフレームに対して、操作部５４からのカット，ペースト，各種特殊効果等の編集指示操作に基づき編集部５１に編集させる。編集部５１は、編集後の一連のフレームを再度フレーム記憶部５２に書き込む。

制御部５３は、また、動画像の編集自体が終了した段階で或いは事前に、保存時の縮小率及び再符号化方式を決定する決定手段を備える。この決定は、デフォルト設定に基づき、また操作部５４からのユーザ選択に基づき実行される。制御部５３は、決定された縮小率を縮小部２へ渡すと共に、縮小処理を実行させる。縮小部２は、動画像の編集が終了した時点で編集後のフレーム、動きベクトル、及びブロックサイズの縮小を実行し、符号化部３へ渡す。符号化部３は、１又は複数の符号化方式に対応可能にしておき、制御部５３の符号化処理開始命令に基づき、決定された再符号化方式で、縮小後の動画像を再符号化して、多重・分離部５５へ出力する。出力部５７は、多重・分離部５５で多重化された再符号化後のコンテンツを記憶部Ｂ（５９）へ出力し、記憶部Ｂ（５９）で記憶させる。

なお、記憶部Ｂ（５９）は、再符号化済みのビットストリームを記憶する部分で、記憶媒体及びその駆動装置としては記憶部Ａ（５８）と同一の記憶媒体及びその駆動装置で構成しても何ら問題はない。また、フレーム記憶部５２もこれと同一の記憶部媒体上に仮想的に構成したメモリ領域としてもよい。

図６は、本発明に係る動画像再符号化装置又は動画像編集装置に適用可能なコンピュータの一構成例を示す図である。図６で例示するコンピュータ６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６３、入力装置６４、表示装置６５、及び出力装置６６で構成される。

上述のごとき構成の動画像再符号化装置或いは動画像編集装置について、コンピュータ６におけるＲＯＭ６３に本発明の一実施形態に係る動画像再符号化プログラム或いは動画像編集プログラムを実行可能に組み込んだ例を挙げて説明する。すなわち、ここで説明する動画像再符号化プログラム或いは動画像編集プログラムは、図１乃至図５で説明した動画像再符号化装置或いは動画像編集装置として、コンピュータ６を機能させるプログラムであり、本発明に係る全ての機能をソフトウエア構成したものである。

コンピュータ６は、ユーザ操作を入力するためのキーボード，マウスや、再符号化（或いは編集）対象となるデータを入力する記録媒体読取装置や他の機器と接続された入力用のネットワーク機器などの入力装置６４、編集を行うための動画像や各種設定画面等を表示するためのＬＣＤ，ＰＤＰ，有機ＥＬ，ＣＲＴなどのディスプレイである表示装置６５、記録媒体用記録装置，ネットワーク機器など外部出力を実行するための出力装置６６、さらには、基本プログラムに加え、本発明に係る動画像再符号化プログラム（或いは動画像編集プログラム）を記録した書き換え可能なＲＯＭ６３（一部書き換え不能としてもよい）、ＲＯＭ６３に格納されたプログラムを実行するためのＣＰＵ６１、及びその実行領域としてのＲＡＭ６２を、その主要な構成要素とし、それらがバスにより接続されているものとして例示している。

この動画像再符号化プログラム（或いは動画像編集プログラム）は、上述する各手段としてコンピュータ６を機能させるように、ＣＰＵ６１等を制御するプログラムであり、その処理手順は例えば図４で例示したようになる。また、このプログラムには、装置ユーザ（再符号化を実行する操作者）が使用する際に容易となるように、表示装置６５用のＧＵＩを備えるようにするとよい。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ６２に蓄積され、その後、各種ＲＯＭ６３に格納され、必要に応じて、ＣＰＵ６１によって読み出し、修正・書き込みが行われる。

また、図６におけるコンピュータ６について、上述のごとく汎用のパーソナルコンピュータ（ＰＣ）であることを前提にしてその説明を行ったが、本発明に係る再符号化処理又は動画像編集処理の機能を組み込んだレコーダ等の各種機器における制御部を含む主要部を表しているともいえる。すなわち、本発明のプログラムとしては、本発明の機能のうち一部のみを残りの機能をもつハードウエアと協働しながら実行する形態を採用することもできる。この形態における動画像再符号化プログラム（或いは動画像編集プログラム）は、上述する各手段の一部としてコンピュータ６を機能させるように、ＣＰＵ６１等を制御するプログラムとなる。

ここで残りの機能として、ソフトウェア処理では負荷の大きい復号処理及び符号化処理だけをハードウェアで構成してもよく、例えばデコーダ及びエンコーダで構成するか、或いはコーデックで構成してもよい。

例えば、動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力するデコーダ（復号器）と、復号されたフレーム、動きベクトル、及びブロックサイズを再符号化するエンコーダ（符号化器）とを備えた動画像再符号化装置に、残りの機能を実現する動画像再符号化プログラムを組み込むことで、本発明の全ての機能が実現できる。ここで、符号化器は、動き補償を行う動き補償器を有するとよい。このプログラムは、動画像再符号化装置における制御部に、復号器に復号を実行させる復号ステップと、復号器から出力されたフレームを縮小するフレーム縮小ステップと、復号器から出力された動きベクトルとブロックサイズとを縮小する動きベクトル縮小ステップと、動きベクトル縮小ステップで出力された縮小後の動きベクトル及びブロックサイズを利用して、フレーム縮小ステップで縮小したフレームに対して動き補償器に動き補償を実行させて符号化器に再符号化を実行させる再符号化ステップとを実行させるものとなる。実際には、このプログラムをＲＯＭ６３に格納しておき、ＣＰＵ６１にＲＡＭ６２を作業領域として各ステップを実行させるとよい。

ここでも、図１乃至図５で説明した応用の形態が採用できる。例えば、動きベクトル縮小ステップは、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合、再符号化ステップで利用するブロックサイズとして、再符号化処理に適したブロックサイズのうち縮小後のブロックサイズに最も近い値のブロックサイズを出力するとよい。その他、このプログラムを、制御部に、フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出ステップと、動きベクトル縮小ステップで縮小された動きベクトルが適したものでない場合にのみ、動き検出ステップを実行させて、再符号化ステップで利用する動きベクトル及びブロックサイズとして、動き検出ステップで検出された動きベクトル及び検出時のブロックサイズを選択する選択ステップとをさらに実行させるようにしてもよい。

また、ハードウエアとして装置に組み込む機能は、上述した復号器及び符号化器に限ったものではなく、例えば動画像再符号化装置は、動き検出ステップの代わりに、フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出器を備えるようにしてもよいし、フレーム縮小ステップの代わりに、復号器から出力されたフレームを縮小するフレーム縮小器を備えるようにしてもよい。

図５で例示した動画像編集装置に組み込む動画像編集プログラムとしては、制御部に、復号器で復号した結果の動画像に対し、編集の指示をユーザから受け付ける編集受付ステップと、編集受付ステップで受け付けた指示に基づいて復号された動画像を編集する編集ステップと、縮小率及び再符号化方式を決定する決定ステップとをさらに実行させるようにするとよい。そして、フレーム縮小ステップ、動きベクトル縮小ステップ、及び再符号化ステップは、決定ステップで決定された縮小率及び再符号化方式で、編集ステップで編集した後の動画像に対して実行するようにするとよい。

さらに、本発明は、それらのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態も採り得る。このような記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定できる。そして、上述のごときプログラムを記録媒体に記録して流通させることにより、本発明に係る機能の実現を容易にする。プログラムは、例えば、コンピュータ等の情報処理装置に、上述のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出して動画像再符号化装置や動画像編集装置の制御部に転送するなどして、プログラムを動画像再符号化装置や動画像編集装置において実行可能に格納することができる。また、動画像再符号化装置や動画像編集装置をＰＣ上で構築する場合には、そのＰＣに、上述のごとくの記録媒体を装着してそのＰＣによりプログラムを読み出すか、若しくはＰＣが備えているハードディスク等の記録媒体に当プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に係わる機能を実行することができる。

本発明の一実施形態に係る動画像再符号化装置の構成例を示すブロック図である。 図１の動画像再符号化装置における縮小部での縮小処理を説明するための図である。 本発明の他の実施形態に係る動画像再符号化装置の構成例を示すブロック図である。 図３の動画像再符号化装置における縮小再符号化処理の一例を説明するためのフロー図である。 本発明に係る動画像再符号化装置を備えた動画像編集装置の一構成例である。 本発明に係る動画像再符号化装置に適用可能なコンピュータの一構成例を示す図である。 従来の動画像再符号化装置における、動き検出によって動きベクトルを求める処理を説明する図である。 従来の動画像再符号化装置の構成を示すブロック図である。

符号の説明

１…復号部、２…縮小部、３…符号化部、５…動画像編集装置、６…コンピュータ、１１…エントロピ符号復号部、１２，４１…逆量子化部、１３，４２…逆ＤＣＴ部、１４，４３…加算器、１５，４５…動き補償部、１６，４４…メモリ、２１…動きベクトル縮小部、２２…フレーム縮小部、３１…減算器、３２…ＤＣＴ部、３３…量子化部、３４…符号量制御部、３５…エントロピ符号化部、３６…セレクタ、３７…動き検出部、４０…局所デコーダ、５０…表示部、５１…編集部、５２…フレーム記憶部、５３…制御部、５４…操作部、５５…多重・分離部、５６…入力部、５７…出力部、５８…記憶部Ａ、５９…記憶部Ｂ、６１…ＣＰＵ、６２…ＲＡＭ、６３…ＲＯＭ、６４…入力装置、６５…表示装置、６６…出力装置。

Claims (12)

1. 動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力する復号手段と、該復号手段から出力されたフレームを縮小するフレーム縮小手段と、前記復号手段から出力された動きベクトルとブロックサイズとを縮小する動きベクトル縮小手段と、該動きベクトル縮小手段から出力された縮小後の動きベクトル及びブロックサイズを利用して、前記フレーム縮小手段で縮小したフレームに対する再符号化時の動き補償を行う動き補償手段とを有することを特徴とする動画像再符号化装置。
2. 前記動きベクトル縮小手段は、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合、前記動き補償手段で利用するブロックサイズとして、再符号化処理に適したブロックサイズのうち前記縮小後のブロックサイズに最も近い値のブロックサイズを出力することを特徴とする請求項１に記載の動画像再符号化装置。
3. 前記フレーム縮小手段で縮小されたフレームの画像に対して動きベクトルを検出する動き検出手段と、前記動きベクトル縮小手段で縮小された動きベクトルが適したものでない場合にのみ、前記動き検出手段で動き検出を実行させて、前記動き補償手段で利用する動きベクトル及びブロックサイズとして、前記動き検出手段で検出された動きベクトル及び該動きベクトル検出時のブロックサイズを選択する選択手段とをさらに有することを特徴とする請求項１又は２に記載の動画像再符号化装置。
4. 請求項１乃至３のいずれか１項に記載の動画像再符号化装置を備えた動画像編集装置であって、動画像を符号化したビットストリームを前記復号手段で復号した動画像に対し、編集の指示をユーザから受け付ける編集受付手段と、該編集受付手段で受け付けた指示に基づいて前記復号された動画像を編集する編集手段と、縮小率及び再符号化方式を決定する決定手段とを備え、前記動画像再符号化装置は、前記決定手段で決定された縮小率及び再符号化方式で、前記編集手段で編集した後の動画像を再符号化することを特徴とする動画像編集装置。
5. 請求項１乃至４のいずれか１項に記載の装置として、コンピュータを機能させるためのプログラム。
6. 動画像を符号化したビットストリームを復号し、復号されたフレーム、動きベクトル、及びブロックサイズを出力する復号器と、復号されたフレーム、動きベクトル、及びブロックサイズを再符号化する符号化器とを備えた動画像再符号化装置に組み込むためのプログラムであって、前記符号化器は、動き補償を行う動き補償器を有し、当該プログラムは、前記動画像再符号化装置における制御部に、前記復号器に前記復号を実行させる復号ステップと、前記復号器から出力されたフレームを縮小するフレーム縮小ステップと、前記復号器から出力された動きベクトルとブロックサイズとを縮小する動きベクトル縮小ステップと、該動きベクトル縮小ステップで出力された縮小後の動きベクトル及びブロックサイズを利用して、前記フレーム縮小ステップで縮小したフレームに対して前記動き補償器に動き補償を実行させて前記符号化器に再符号化を実行させる再符号化ステップとを実行させることを特徴とするプログラム。
7. 前記動きベクトル縮小ステップは、縮小後のブロックサイズが再符号化処理時のブロックサイズとして適用できない場合、前記再符号化ステップで利用するブロックサイズとして、再符号化処理に適したブロックサイズのうち前記縮小後のブロックサイズに最も近い値のブロックサイズを出力することを特徴とする請求項６に記載のプログラム。
8. 当該プログラムは、前記制御部に、前記フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出ステップと、前記動きベクトル縮小ステップで縮小された動きベクトルが適したものでない場合にのみ、前記動き検出ステップを実行させて、前記再符号化ステップで利用する動きベクトル及びブロックサイズとして、前記動き検出ステップで検出された動きベクトル及び該動きベクトル検出時のブロックサイズを選択する選択ステップとをさらに実行させることを特徴とする請求項６又は７に記載のプログラム。
9. 前記動画像再符号化装置は、前記動き検出ステップの代わりに、前記フレーム縮小ステップで縮小されたフレームの画像に対して動きベクトルを検出する動き検出器を備えたことを特徴とする請求項８に記載のプログラム。
10. 前記動画像再符号化装置は、前記フレーム縮小ステップの代わりに、前記復号器から出力されたフレームを縮小するフレーム縮小器を備えたことを特徴とする請求項６乃至９のいずれか１項に記載のプログラム。
11. 当該プログラムは、前記制御部に、前記復号器で復号した結果の動画像に対し、編集の指示をユーザから受け付ける編集受付ステップと、該編集受付ステップで受け付けた指示に基づいて前記復号された動画像を編集する編集ステップと、縮小率及び再符号化方式を決定する決定ステップとをさらに実行させ、前記フレーム縮小ステップ、前記動きベクトル縮小ステップ、及び前記再符号化ステップは、前記決定ステップで決定された縮小率及び再符号化方式で、前記編集ステップで編集した後の動画像に対して実行することを特徴とする請求項６乃至１０のいずれか１項に記載のプログラム。
12. 請求項５乃至１１のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images