JP2007251815A - 再符号化装置及び再符号化用プログラム - Google Patents

Abstract

【課題】種々の画像を含んでＭＰＥＧ２方式等により符号化されている動画をＨ．２６４方式等により再符号化する場合においても、画質の劣化を最小限に抑えつつ再符号化することが可能な再符号化装置を提供する。
【解決手段】ＭＰＥＧ２方式により符号化されている動画における動きベクトルＭＶと、Ｈ．２６４方式により再符号化する際の予測ベクトルＰＶとの差が大きいときは、当該再符号化処理において、マクロブロックモードとしてスキップ／ダイレクトマクロブロックモードが選択されることを禁止し、インターマクロブロックモードのみを用いて再符号化する。
【選択図】図１

Description

本願は、再符号化装置及び再符号化用プログラムの技術分野に属し、より詳細には、例えばＭＰＥＧ２（Motion Picture Experts Group ２）符号化方式等の第１の符号化方式を用いて符号化された動画像を、当該第１の符号化方式より符号化レートが低い例えばＭＰＥＧ４符号化方式やＨ．２６４符号化方式等の第２の符号化方式を用いて再符号化する再符号化装置及び当該再符号化用のプログラムの技術分野に属する。

近年、画像情報をディジタルとして取り扱い、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する上記ＭＰＥＧ等の方式に準拠した画像情報符号化装置や復号化装置が、放送局等からの情報配信及び一般家庭における情報受信の双方において普及しつつある。

特に、上記ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission） １３８１８−２）符号化方式は、汎用画像符号化方式として定義されている。またＭＰＥＧ２符号化方式は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準符号化方式で、現在、業務用途及び民生用途の広範なアプリケーションに広く用いられている。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０の画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ（Bit per Second）、１９２０×１０８８の画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

このＭＰＥＧ２符号化方式は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１符号化方式より小さい符号量（低ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。一方、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２という規格が国際標準として承認されている。

更に、近年、当初テレビ会議用の画像符号化を目的として策定されたＨ．２６Ｌ（ＩＴＵ（International Telecommunication Union）−ＴＱ６／１６ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６Ｌは、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、現在、ＭＰＥＧ４符号化方式の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能も取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced‐Compression Video Codingとして行われ、２００３年３月には、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）という規格が国際標準として認められた。この規格は、ＭＰＥＧ−４ Part10とも称される。なお、本明細書では、以降、この規格を適宜ＡＶＣと称する。また、下記非特許文献１には、この規格に基づく処理の内容が 記載されている。
「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003

一方、近年では、例えば上記ＭＰＥＧ２符号化方式に準拠して符号化されて光ディスクに記録されている動画像情報を、例えばインターネット等のネットワーク上に再配信する等の目的で、当該ＭＰＥＧ２符号化方式に準拠して符号化されている当該動画像情報を、上記ＡＶＣに準拠して再符号化する再符号化装置が望まれている。

ここで、一般に、当該ＡＶＣに準拠した符号化処理（再符号化処理を含む）においては、上記ＭＰＥＧ２符号化方式においても採用されていたインターマクロブロック（画素ブロック）モード（ピクチャ間符号化予測符号化モード。以下、単にインターモードと称する）の他に、スキップ／ダイレクトマクロブロックモード（以下、単にスキップ／ダイレクトモードと称する）と称される方法がある。

このとき、インターモードとスキップ／ダイレクトモードとの大きな違いは、前者がいわゆる動きベクトルの探索を伴って動き補償処理を行うものであるのに対し、後者が当該動きベクトルの探索を伴わないで動き補償処理を行う点にある。そしてこの相違点により、前者は符号化レートが高い（すなわち、圧縮率は低い）が画質劣化は少ないと言う特徴を有し、逆に後者は符号化レートが低い（すなわち、圧縮率は高い）が画質劣化は大きいと言う特徴を有している。

このような二つのマクロブロックモードを用いる上記ＡＶＣに準拠した符号化装置では、再符号化対象となっている同一の動画像に対し、上記インターモード及び上記スキップ／ダイレクトモード夫々について後述するコスト（符号化誤差）を算出し、双方のコストを比較して適切なモード（よりコストが小さいモード）を選択する構成とされていた。

なお、上記スキップ／ダイレクトモードは、いわゆるＰピクチャ（Predictive-coded picture）について適用されるスキップマクロブロックモードと、いわゆるＢピクチャ（Bidirectionally predictive-coded picture）についてのみ適用されるダイレクトマクロブロックモードと、を纏めた総称であり、当該スキップ／ダイレクトモードにおいては、Ｐピクチャはスキップマクロブロックモードにより動き補償処理が為され、Ｂピクチャはダイレクトマクロブロックモードにより動き補償処理が為される。また、当該スキップマクロブロックモード及びダイレクトマクロブロックモード夫々の詳細については、例えば下記特許文献１の該当箇所に詳しい。
特開２００５−２４４５０３公報（スキップマクロブロックモード（スキップモード）について段落番号［００３０］乃至［００３４］並びに図１１及び図１２、ダイレクトマクロブロックモード（ダイレクトモード）について段落番号［００３５］乃至［００４１］並びに図１２及び図１３）

また、上記コストとして具体的には、当該コストＣＯＳＴは、一般（例えばいわゆるレート−歪最適化方法を用いる場合）には、予測モードxで再符号化を実行した際の符号化歪Ｄx（原画像と再生画像との二乗誤差であり、換言すれば動き補償予測誤差になる）と、発生符号量（換言すれば、動きベクトル自体）Ｒxと、から、量子化パラメータに基づいて決定される定数を「λ」として、
ＣＯＳＴx＝Ｄx＋λ×Ｒx …（１）
又は
ＣＯＳＴx＝Ｄx×λ＋Ｒx …（２）
として算出される。

そして、インターモードとスキップ／ダイレクトモードの選択時においては、一般にスキップ／ダイレクトモードの方が上記動きベクトルとしての情報が含まれない分だけ上記Ｒxの値が小さくなり、これにより結果としてコスト自体もその値が小さくなるので、スキップ／ダイレクトモードがインターモードよりも選択され易いと言う傾向がある。

他方、上述したような、ＭＰＥＧ２符号化方式で符号化された動画像情報をＭＰＥＧ４符号化方式又はＡＶＣ符号化方式で再符号化する再符号化装置としては、下記特許文献２乃至４に記載のものがある。
特開平８−１３０７４３号公報 特開２０００−２４４９２１公報 特開２０００−２５３４０３公報

しかしながら、上記特許文献２乃至４においては、いわゆるＭＰＥＧ２符号化方式における動きベクトルについての情報を再利用することにより再符号化における符号化効率を高める点については開示されているが、上記ＡＶＣ符号化規格におけるスキップ／ダイレクトモードとインターモードとの使い分けについては開示がない。

一方、上述したようにコスト計算のみにより当該スキップ／ダイレクトモードとインターモードとの使い分けを行う場合、上述した如く一般にはスキップ／ダイレクトモードの方が選択されやすい傾向にある等の理由により、本来はインターモードを用いて再符号化すべき動画像情報をスキップ／ダイレクトモードを用いて再符号化してしまう場合があり、この場合は再符号化後の動画像情報における画質が著しく劣化してしまう場合があると言う問題点があった。

そこで、本願は上記の問題点に鑑みて為されたもので、その課題は、種々の画像を含んでＭＰＥＧ２符号化方式等により符号化されている動画情報をＡＶＣ符号化方式等により再符号化する場合においても、画質の劣化を最小限に抑えつつ再符号化することが可能な再符号化装置及び当該再符号化用のプログラムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、第１の符号化方式を用いて符号化された原動画情報を復号して復号画像情報を生成し、前記第１の符号化方式より符号化後の情報レートが低い第２の符号化方式を用いて前記復号画像情報を再符号化して再符号化動画情報を出力する再符号化装置において、前記原動画情報に対応する動画を構成する静止画像を構成し且つ複数の画素を含む画素ブロック夫々について、時間的に隣接して符号化されている各前記静止画像における対応する当該画素ブロック間の変化を示す動きベクトルを夫々抽出する可変長復号化部等の抽出手段と、一の前記静止画像内において相隣接する前記画素ブロックに対応する前記動きベクトル夫々に基づいて、一の前記画素ブロックに対応する予測ベクトルを算出する予測ベクトル生成部等の予測ベクトル算出手段と、前記復号画像情報を再符号化する際に用いられる動き補償画像情報を、前記復号画像情報における前記動きベクトルの探索を行い且つ前記算出された予測ベクトルを用いて生成する動き補償部等の第１動き補償手段と、前記動き補償画像情報を、前記動きベクトルの探索を行わずに且つ前記算出された予測ベクトルを用いて生成するスキップ／ダイレクト処理部等の第２動き補償手段と、前記第１動き補償手段により生成された前記動き補償画像情報又は前記第２動き補償手段により生成された前記動き補償画像情報のいずれか一方を用いて前記復号画像情報を再符号化して前記再符号化動画像情報として出力する直交変換部等の再符号化手段と、前記抽出された動きベクトルと、前記算出された予測ベクトルと、の差を検出する判定部等の検出手段と、前記検出された差が予め設定されている閾値より大きいとき、前記第１補償手段により生成された前記動き補償画像情報のみを用いて前記復号画像情報を再符号化するように前記再符号化手段を制御すると共に、前記検出された差が前記閾値以下であるとき、前記第１補償手段により生成された前記動き補償画像情報又は前記第２補償手段により生成された前記動き補償画像情報のいずれか一方を用いて前記復号画像情報を再符号化するように前記再符号化手段を制御する判定部等の制御手段と、を備える。

上記の課題を解決するために、請求項９に記載の発明は、コンピュータを、請求項１から８のいずれか一項に記載の再符号化装置として機能させる。

次に、本願を実施するための最良の形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、上記ＭＰＥＧ２符号化方式に準拠して符号されている原動画像情報を一旦復号して復号動画像を得、その後更にＡＶＣ符号化方式に準拠して再符号化する再符号化装置に対して本願を適用した場合の実施の形態である。

（Ｉ）本願の原理
始めに、本願に係る具体的な実施形態について説明する前に、本願の原理について図１を用いて説明する。なお、図１は当該原理を説明するための模式図である。

先ず図１において、再符号化される前の原動画像情報を構成する一枚の静止画像を構成する画素Ｇを夫々に複数（例えば８×８個）ずつ含む画素ブロックＢn、Ｂn+1、Ｂn+2、…、Ｂm、Ｂm+1、Ｂｍ+2、…、を考え、これらの上記原動画像情報における動きベクトル（即ち、当該原動画像情報がＭＰＥＧ２符号化方式により符号化された際に夫々生成されていた動きベクトル）を、各画素ブロック毎に夫々動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶm+1、ＭＶｍ+2、…、とする。

更に、各画素ブロックのうち、そのタイミングで再符号化の対象となっている画素ブロック（図１に例示する場合は画素ブロックＢm+1）について、当該静止画像内において画素ブロックＢm+1の周辺にある画素ブロックＢn、Ｂn+1、Ｂn+2、…、Ｂm、Ｂｍ+2、…、に夫々対応する上記動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+2、…、に基づいて算出される予測ベクトル（すなわち、上記ＡＶＣ符号化方式に則った予測ベクトル）を予測ベクトルＰＶm+1とする。

そして、上述したように、本来はインターモードを用いて再符号化されるべき動画像情報がスキップ／ダイレクトモードを用いて再符号化されてしまうことを防止すべく、本願では、例えば図１（ａ）に示すように再符号化対象の画素ブロックＢm+1に対応する動きベクトルＭＶm+1と予測ベクトルＰＶm+1との間に著しい相違がある場合には、当該画素ブロックＢm+1が上記スキップ／ダイレクトモードに対応する後述のスキップ／ダイレクトモード情報Ｓskdを用いて再符号化されることを禁止し、上記インターモードに対応する後述のインターモード情報Ｓmvvのみを用いて再符号化されるように制御する。

一方、例えば図１（ｂ）に示すように、当該画素ブロックＢm+1に対応する動きベクトルＭＶm+1と予測ベクトルＰＶm+1とがほぼ等しい場合には、従来と同様に、上記コスト計算に基づき、上記スキップ／ダイレクトモード情報Ｓskd又は上記インターモード情報Ｓmvvのいずれかを用いて再符号化されるように制御する。

これにより、対応する動きベクトルＭＶm+1と予測ベクトルＰＶm+1との間に著しい相違がある場合には、必ずインターモード情報Ｓmvvを用いて動きベクトルＭＶの探索が実行された上で再符号化が為されるので、従来に比して再符号化による画質の劣化を抑制しつつ効率的に動画像情報の再符号化を行うことができるのである。

（ＩＩ）実施形態
次に、上述した原理に基づく本願に係る第１実施形態について、具体的に図２乃至図４を用いて説明する。

なお、図２は実施形態に係る再符号化装置の概要構成を示すブロック図であり、図３は当該再符号化装置の動作を示すフローチャートであり、図４は、当該動作を説明する図である。

図２に示すように、実施形態に係る再符号化装置Ｓは、上記ＭＰＥＧ２符号化方式に則って符号化されて外部から入力される入力動画像情報Ｓmp2を復号し、復号動画像情報Ｓaddを生成する復号化部Ｄと、当該復号動画像情報Ｓaddを上記ＡＶＣ符号化方式に則って再符号化し、再符号化動画像情報Ｓmp4として出力する符号化部Ｃと、本願に係る検出手段及び制御手段としての判定部Ｊと、により構成されている。

また、復号化部Ｄは、抽出手段としての可変長復号化部１と、逆量子化部２と、逆ＤＣＴ（Discrete Cosine Transform）部３と、加算器４と、フレームメモリ５と、動き補償部６と、により構成されている。

更に、符号化部Ｃは、減算器１０と、再符号化手段としての直交変換部１１と、量子化部１２と、可変長符号化部１３と、逆量子化部１４と、逆変換部１５と、加算器１６と、フレームメモリ１７と、予測ベクトル算出手段としての予測ベクトル生成部１８と、動きベクトルバッファ１９と、第２動き補償手段としてのスキップ／ダイレクト処理部２０と、第１誤差情報生成手段及び第２誤差情報生成手段としてのコスト算出部２１と、第１動き補償手段としての動き補償部２２と、端子２３及び２４並びに接点２５からなるスイッチＳＷ１と、接点２５を一方の端子とし且つ他の端子２６及び接点２７からなるスイッチＳＷ２と、により構成されている。

上記の構成において、判定部Ｊ及びスイッチＳＷ２を除く構成は、従来の再符号化装置と同様のものである。

次に、動作を説明する。

先ず、復号化部Ｄにおける可変長復号化部１は、入力動画像情報Ｓmp2に対して可変長復号化処理を施し、当該入力動画像情報Ｓmp2から直交変換係数情報Ｓdを抽出して逆量子化部２に出力すると共に、当該入力動画像情報Ｓmp2から上記動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、を抽出し、動きベクトル情報Ｓmvとして動き補償部６及び２２、コスト計算部２１並びに判定部Ｊに夫々出力する。

次に、逆量子化部２は、上記直交変換係数情報Ｓdに対して逆量子化処理を施し、逆量子化直交変換係数情報Ｓiqを生成して逆ＤＣＴ部３に出力する。

これにより、逆ＤＣＴ部３は、当該逆量子化直交変換係数情報Ｓiqに対してＤＣＴ復号化処理を施し、の結果としての差分データ情報Ｓidを生成して加算器４の一方の入力端子に出力する。

一方、動き補償部６は、可変長復号化部１から動きベクトル情報Ｓmvとして出力されてくる上記入力動画像情報Ｓmp２に対応する各動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、に基づき、当該各動きベクトルＭＶにより指し示される前静止画像（即ち、当該各動きベクトルＭＶの始点に夫々対応する画素ブロックＢを含む静止画像）をフレームメモリ５から上記復号動画像情報Ｓaddの一部として取得し、加算器６に動き補償情報Ｓduとして出力する。

これにより、加算器４は、上記差分データ情報Ｓidと、動き補償された上記前静止画像である動き補償情報Ｓduと、を加算することにより、上記入力動画像情報Ｓmp２に含まれる動画像が符号化される前の動画像に相当する上記復号動画像情報Ｓaddを復元し、フレームメモリ５及び上記減算器１０に出力する。

次に、符号化部Ｃとしての動作を説明する。

符号化部Ｃ内の減算器１０では、復号化部Ｄから出力されて来た画像データとしての復号動画像情報Ｓaddから、スイッチＳＷ２から出力されて来る動き補償結果情報Ｓvを減算し、動き補償予測誤差情報Ｓdivを生成して直交変換部１１に出力する。

次に、直交変換部１１は、当該動き補償予測誤差情報Ｓdivに対して直交変換処理を施し、当該直交変換処理結果としての直交変換係数情報Ｓvcを生成して量子化部１２に出力する。

これにより、量子化部１２は、当該直交変換係数情報Ｓvcに対して量子化処理を施し、量子化データ情報Ｓqを可変長符号化部１３及び逆量子化部１４に夫々出力する。

そして、可変長符号化部１３は、当該量子化データ情報Ｓqと動きベクトルバッファ１９から出力されて来る動きベクトル情報Ｓmvに含まれている動きベクトルＭＶに対して可変長符号化処理を施し、再符号化処理結果としての上記再符号化動画像情報Ｓmp4を外部に出力する。

一方、逆量子化部１４は、上記量子化データ情報Ｓqに対して逆量子化処理を施し、当該逆量子化処理の結果としての直交変換係数情報Ｓiqqを生成して逆変換部１５に出力する。

そして、逆変換部１５は、当該直交変換係数情報Ｓiqqに対して逆変換処理を施し、復号情報Ｓivvとして加算器１６に出力する。

これにより、加算器１６は、当該復号情報Ｓivvと、上記動き補償結果情報Ｓvに含まれている前静止画像に相当する画像情報と、を加算することにより上記復号動画像情報Ｓaddに含まれていた当該前静止画像に相当する原静止画像を復元し、復号動画像情報Ｓadの一部としてフレームメモリ１７に出力する。

そして、動き補償部２２は、上記可変長復号化部１から出力されてくる動きベクトル情報Ｓmvに含まれている動きベクトルＭＶより示される前静止画像をフレームメモリ１７から復号動画像情報Ｓad内の静止画像として取得すると共に、当該動きベクトルＭＶを動きベクトル情報Ｓmvとして動きベクトルバッファ１９に出力する。

これに加えて動き補償部２２は、上記復号化部Ｄから出力されて来た復号動画像情報Ｓaddに含まれている画像データと、上記可変長復号化部１から動きベクトル情報Ｓmvとして出力されてくる上記入力動画像情報Ｓmp２に対応する各動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、に基づき、当該各動きベクトルＭＶにより指し示される前静止画像をフレームメモリ１７から上記復号動画像情報Ｓadの一部として取得し、端子２４及び２６にインターモード情報Ｓmvvとして出力する。

他方、予測ベクトル生成部１８は、現在再符号化の対象となっている画素ブロックＢの周囲に存在する他の画素ブロックＢに夫々対応する動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、を動きベクトルバッファ１９から動きベクトル情報Smvとして読出し、これらに基づき上記ＡＶＣ符号化方式に則って上記予測ベクトルＰＶを生成し、上記予測ベクトル情報Ｓpvとしてコスト算出部２１、スキップ／ダイレクト処理部２０及び判定部Jに出力する。

更に、スキップ／ダイレクト処理部２０は、上記フレームメモリ１７から出力されて来た復号動画像情報Ｓad内の画像データと、予測ベクトル情報Ｓpvに含まれている上記予測ベクトルＰＶと、を用いて、符号化部Ｃにおける再符号化処理におけるマクロブロックモードを上記スキップ／ダイレクトモードに決定した場合のスキップ／ダイレクトモード情報Ｓskdを生成し、端子２３に出力する。

これらと並行して、コスト計算部２１は、上記復号動画像情報Ｓaddに含まれている画像データと、上記可変長復号化部１から出力されてくる動きベクトル情報Ｓmvに含まれている上記動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、と、フレームメモリ１７から出力されて来た復号動画像情報Ｓad内の画像データと、予測ベクトル生成部１８から出力されて来た予測ベクトル情報Ｓpvに含まれている上記予測ベクトルＰＶと、を用いて、後述する判定部Jからの判定信号Ｓjに基づき、符号化部Ｃにおける再符号化処理におけるマクロブロックモードを上記インターモードに決定した場合のコストを算出すると共に、上記フレームメモリ１７から出力されて来た復号動画像情報Ｓad内の画像データと、予測ベクトル情報Ｓpvに含まれている上記予測ベクトルＰＶと、を用いて、後述する判定部Jからの判定信号Ｓjに基づき、符号化部Ｃにおける再符号化処理におけるマクロブロックモードを上記スキップ／ダイレクトモードに決定した場合のコストを算出する。そして、コスト計算部２１は、夫々算出された上記インターモードに対応するコストと上記スキップ／ダイレクトモードに対応するコストとを比較し、上記スキップ／ダイレクトモード情報Ｓskd（端子２３）又はインターモード情報Ｓmvv（端子２４）のうち当該コストが小さい方の動き補償情報を選択するようにスイッチＳＷ１を切り換えるための切換信号Ｓcstを生成して接点２５に出力する。

最後に、判定部Ｊは、上記動きベクトル情報Ｓmvに含まれている上記各動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+1、ＭＶｍ+2、…、と、上記予測ベクトル生成部１８から出力されて来る予測ベクトル情報Ｓpvに含まれている（現在再符号化の対象となっている画素ブロックＢに対応する）予測ベクトルＰＶと、に基づき、符号化部Ｃにおける再符号化処理におけるマクロブロックモードを上記インターモードのみとするか否か（換言すれば、上記スキップ／ダイレクトモードが採用されることを禁止するか否か）を示す判定信号Ｓjを生成し、上記スイッチＳＷ２の接点２７及びコスト算出部２１に夫々出力する。

これにより、スイッチＳＷ２は、上記判定信号Ｓjに基づき、接点２５又は端子２６のいずれか一方を選択することで、上記インターモード情報Ｓmvv又はスキップ／ダイレクトモード情報Ｓskdのいずれか一方を上記動き補償結果情報Ｓvとして減算器１０に出力する。

次に、本願に係る判定部Ｊにおける処理について、具体的に図３及び図４を用いて説明する。

図３に示すように、判定部Ｊにおいては、再符号化装置Ｓにおける再符号化処理が開始されると、先ず、その時に再符号化の対象となっている画素ブロックＢの周囲にある画素ブロックＢに対応する各動きベクトルＭＶの分散（すなわち、当該各動きベクトルＭＶの向き及び長さのばらつき具合）の状態を確認する（ステップＳ１）。そして、当該分散の状態が画質劣化防止の観点から予め実験的に決められている第１閾値以上にばらついている場合（例えば、図４に示す各動きベクトルＭＶn、ＭＶn+1、ＭＶn+2、…、ＭＶm、ＭＶｍ+2、…、参照）には（ステップＳ１；第１閾値以上）、本願に係る再符号化処理を実行せずに従来のコスト算出処理結果を用いた再符号化処理を実行させるべく、接点２７を端子２５側に切り換えるための上記判定信号ＳjをスイッチＳＷ２に出力すると共に、従来のコスト算出処理結果を用いた再符号化処理を実行することを示す当該判定信号Ｓjを上記コスト算出部２１に出力して当該従来のコスト算出処理結果に基づく再符号化処理を実行させる（ステップＳ９、Ｓ１０）。

一方、ステップＳ１の判定において、当該分散の状態が上記第１閾値未満であるときは（ステップＳ１；第１閾値未満）、次に、その時に再符号化の対象となっている画素ブロックＢの周囲にある画素ブロックＢに対応する各動きベクトルＭＶの長さと、当該対象となっている画素ブロックＢに対応する予測ベクトルＰＶの長さとが、共に画質劣化防止の観点から予め実験的に決められている第２閾値以下であるか否かを確認する（ステップＳ２）。そして、各ベクトルの長さがいずれも当該第２閾値以下であるときは（ステップＳ２；第２閾値以下）、従来と同様のコスト算出処理結果を用いた再符号化処理を実行しても画質の劣化は抑制されるとして、当該従来の再符号化処理を実行させるべく、接点２７を端子２５側に切り換えるための上記判定信号ＳjをスイッチＳＷ２に出力すると共に、従来と同様のコスト計算を実行することを示す当該判定信号Ｓjを上記コスト算出部２１に出力して当該従来の再符号化処理を実行させる（ステップＳ９、Ｓ１０）。

他方、ステップＳ２の判定において、各ベクトルの長さの少なくともいずれか一方が上記第２閾値より長いときは（ステップＳ２；第２閾値より長い）、次に、その時に再符号化の対象となっている画素ブロックＢ自体に対応する動きベクトルＭＶｍ+1と、当該対象となっている画素ブロックＢに対応する予測ベクトルＰＶと、の間の内積を算出し（ステップＳ３。図１参照）、更に当該動きベクトルＭＶｍ+1の長さと、当該予測ベクトルＰＶの長さと、を夫々算出し（ステップＳ４）、その後、上記ステップＳ３において算出された内積の大きさが、画質劣化防止の観点から予め実験的に決められており且つ「０」以上「１」以下の値を有する第３閾値未満であるか否かを確認する（ステップＳ５）。

そして、当該内積の大きさが上記第３閾値未満であるときは（ステップＳ５；第３閾値未満。図１（ａ）の場合に相当する。）、再符号化処理におけるマクロブロックモードとして上記スキップ／ダイレクトモード又は上記インターモードのいずれか一方を選択する（上記ステップＳ９）際のコスト算出処理に対して新たな重み付けを付加すべく、当該重み付けに対応する計数を算出し（ステップＳ８）、その後、当該算出された計数を示す上記判定信号Ｓjをコスト算出部２１に出力すると共に接点２７を端子２５側に切り換えるための上記判定信号ＳjをスイッチＳＷ２に出力し、当該係数を用いて夫々のコストの算出処理を行わせて上記スキップ／ダイレクトモード又は上記インターモードのいずれか一方を選択させ（ステップＳ９）、その選択されたマクロブロックモードを用いて再符号化処理を実行させる（ステップＳ１０）。

他方、ステップＳ５の判定において、当該内積の大きさが上記第３閾値以上であるときは（ステップＳ５；第３閾値以上）、次に、上記ステップＳ４において算出された各ベクトルの長さが、共に、画質劣化防止の観点から予め実験的に決められており且つ「０」以上「１」以下の値を有する第４閾値以上であるか否かを確認する（ステップＳ６）。

そして、当該長さのいずれか一方が上記第４閾値未満であるときは（ステップＳ６；第４閾値未満）、上記ステップＳ８に移行して上述した各処理を実行させる（ステップＳ８乃至Ｓ１０）。

一方、ステップＳ６の判定において、当該長さが共に上記第４閾値以上であるときは（ステップＳ６；第４閾値以上。図１（ｂ）の場合に相当する。）、符号化部Ｃにおける再符号化処理におけるマクロブロックモードを上記インターモードのみとする判定信号Ｓjを生成してスイッチＳＷ２に出力し、当該スイッチＳＷ２の接点２７を端子２５側に切り換させる（ステップＳ７）。

そして、上記インターモード情報Ｓmvvのみを用いて（ステップＳ７）、又は当該インターモード情報Ｓmvv又はスキップ／ダイレクトモード情報Ｓskdのいずれか一方を選択的に用いて（ステップＳ９）、符号化部Ｃにおいて再符号化処理を行う（ステップＳ１０）。

次に、当該再符号化処理の実行中（ステップＳ１０）においては、全ての入力動画像情報Ｓmp2について必要な再符号化処理が完了したか否かを常に監視しており（ステップＳ１１）、それが完了していないときは（ステップＳ１１；ＮＯ）、上記ステップＳ１に戻って引き続き本願に係る再符号化処理を継続する。

一方、ステップＳ１１の判定において、全ての全ての入力動画像情報Ｓmp2について必要な再符号化処理が完了しているときは（ステップＳ１１；ＹＥＳ）、そのまま処理を完了する。

次に、上記ステップＳ８及びＳ９において実行される、再符号化処理におけるマクロブロックモードとして上記スキップ／ダイレクトモード又は上記インターモードのいずれか一方を選択する際のコスト算出処理に対する重み付けの付加について、具体的に説明する。

一般に、コスト算出部２１におけるコスト算出処理は、上記式（１）又は式（２）として記載の方法を用いて実行されるのであるが、これに対する上記重み付けとしては、例えば、ステップＳ５において算出された内積の値が「−１」に近い値の場合（すなわち、ステップＳ５における算出処理の対象となった動きベクトルＭＶと予測ベクトルＰＶとが異なる場合）で且つ夫々の長さが共に長い場合、上記重み付けとして、上記式（１）における「λ×Ｒx」の項又は上記式（２）における「Ｒx」の項に「１」に近い値を乗じる。

一方、当該内積の値が「１」に近い値の場合（すなわち、ステップＳ５における算出処理の対象となった動きベクトルＭＶと予測ベクトルＰＶとが近似している場合）で且つ夫々の長さが共に短い場合には、上記重み付けとして、上記式（１）における「λ×Ｒx」の項又は上記式（２）における「Ｒx」の項に「０」に近い値を乗じることで、上記動きベクトルＭＶと予測ベクトルＰＶとが近似している場合において、インターモードに対応するコストの値を相対的に小さくし、当該インターモードを再符号化処理の際のマクロブロックモードとして選択されやすくするようにすることが好適である。

以上説明したように、実施形態に係る再符号化装置Ｓの動作によれば、動きベクトルＭＶとそれに対応する予測ベクトルＰＶとの差が閾値より大きい場合に、動きベクトルＭＶの探索を行って得られたインターモード情報Ｓmvvのみを用いて再符号化するので、動きベクトルＭＶの探索を行わないで得られたスキップ／ダイレクトモード情報Ｓskdを用いた再符号化が、当該差が大きい場合においては画質劣化が激しくなり易い点に鑑み、当該差が大きいときに上記スキップ／ダイレクトモード情報Ｓskdを用いた再符号化を行わないことで、当該再符号化による画質劣化を抑制することができる。

従って、種々の画像を含んで符号化されている入力動画像情報Ｓmp2を再符号化する場合においても、画質の劣化を最小限に抑えつつ再符号化することができる。

また、動きベクトルＭＶと予測ベクトルＰＶとの差が閾値以下である場合において、インターモード情報Ｓmvv又はスキップ／ダイレクトモード情報Ｓskdのうちより小さいコストに対応する動き補償情報を用いて再符号化するので、当該再符号化による画質劣化を更に抑制することができる。

更に、各コストの算出に動きベクトルＭＶとそれに対応する予測ベクトルＰＶとの差に応じた重み付けがなされるので、再符号化による画質劣化を更に抑制することができる。

（III）変形形態
次に、本願に係る変形形態について説明する。

先ず、第一の変形形態として、上述した第１実施形態に係る再符号化装置Ｓでは、復号化部Ｄ内の可変長復号化部１から出力された動きベクトル情報Ｓmvを、そのまま判定部Ｊ、動き補償部６及び２２並びにコスト算出部２１に出力するように構成したが、これ以外に、当該動きベクトル情報Ｓmvを、ＡＶＣ符号化方式に準拠した動きベクトルＭＶを含む動きベクトル情報に変換した後に、判定部Ｊ、動き補償部６及び２２並びにコスト算出部２１に出力するように構成してもよい。

この場合には、入力動画像情報Ｓmp2から抽出された動きベクトルＭＶを、ＡＶＣ符号化方式に準拠した動きベクトルＭＶに変換した後に予測ベクトルＰＶの算出等に供させるので、より高画質に原画像情報の再符号化を行うことができる。

次に、第二の変形形態として、上述した第１実施形態に係る再符号化装置Ｓでは、動きベクトルＭＶとそれに対応する予測ベクトルＰＶとの差の尺度としてそれらの内積及び長さを用いたが、これ以外に、例えば、当該動きベクトルＭＶの終点の位置と、当該予測ベクトルＰＶの終点の位置と、の間の静止画像上における距離、又は当該動きベクトルＭＶの静止画像内における水平成分の方向と当該予測ベクトルＰＶの静止画像内における水平成分の方向との差、又は当該動きベクトルＭＶの静止画像内における垂直成分の方向と当該予測ベクトルＰＶの静止画像内における垂直成分の方向との差、の少なくともいずれか一方、のいずれかを動きベクトルＭＶとそれに対応する予測ベクトルＰＶとの差の尺度として用いてもよい。

これらの場合には、判定部Ｊにおける判定処理を正確に実行することができることになる。

更に、図３を用いて説明した処理において、当該図３におけるステップＳ１、Ｓ２又はステップＳ８のいずれか又は全部を省略する場合でも、当該図３におけるステップＳ３乃至Ｓ６の処理が少なくとも実行されれば、ある程度の画質劣化低減の効果を奏することができる。

更にまた、図３に示すフローチャートに対応するプログラムを、フレキシブルディスク又はハードディスク等の情報記録媒体に記録しておき、又はインターネット等を介して取得して記録しておき、これらを汎用のコンピュータで読み出して実行することにより、当該コンピュータを実施形態又は変形形態に係る判定部Ｊとして活用することも可能である。

本願の原理を説明するための図であり、（ａ）は当該原理を説明するための第１の図であり、（ｂ）は当該原理を説明するための第２の図である。 実施形態に係る再符号化装置の概要構成を示すブロック図である。 実施形態に係る再符号化装置の動作を示すフローチャートである。 実施形態に係る再符号化装置の動作を示す図である。

符号の説明

６、２２ 動き補償部
１８ 予測ベクトル生成部
２０ スキップ／ダイレクト処理部
２１ コスト算出部
Ｇ 画素
Ｂn、Ｂn+1、Ｂn+2、Ｂm、Ｂm+1、Ｂｍ+2 画素ブロック
ＭＶn、ＭＶn+1、ＭＶn+2、ＭＶm、ＭＶm+1、ＭＶｍ+2 動きベクトル
ＰＶm+1 予測ベクトル
Ｓ 再符号化装置
Ｄ 復号化部
Ｃ 符号化部
Ｊ 判定部
ＳＷ２ スイッチ

Claims (9)

1. 第１の符号化方式を用いて符号化された原動画情報を復号して復号画像情報を生成し、前記第１の符号化方式より符号化後の情報レートが低い第２の符号化方式を用いて前記復号画像情報を再符号化して再符号化動画情報を出力する再符号化装置において、
   前記原動画情報に対応する動画を構成する静止画像を構成し且つ複数の画素を含む画素ブロック夫々について、時間的に隣接して符号化されている各前記静止画像における対応する当該画素ブロック間の変化を示す動きベクトルを夫々抽出する抽出手段と、
   一の前記静止画像内において相隣接する前記画素ブロックに対応する前記動きベクトル夫々に基づいて、一の前記画素ブロックに対応する予測ベクトルを算出する予測ベクトル算出手段と、
   前記復号画像情報を再符号化する際に用いられる動き補償画像情報を、前記復号画像情報における前記動きベクトルの探索を行い且つ前記算出された予測ベクトルを用いて生成する第１動き補償手段と、
   前記動き補償画像情報を、前記動きベクトルの探索を行わずに且つ前記算出された予測ベクトルを用いて生成する第２動き補償手段と、
   前記第１動き補償手段により生成された前記動き補償画像情報又は前記第２動き補償手段により生成された前記動き補償画像情報のいずれか一方を用いて前記復号画像情報を再符号化して前記再符号化動画像情報として出力する再符号化手段と、
   前記抽出された動きベクトルと、前記算出された予測ベクトルと、の差を検出する検出手段と、
   前記検出された差が予め設定されている閾値より大きいとき、前記第１補償手段により生成された前記動き補償画像情報のみを用いて前記復号画像情報を再符号化するように前記再符号化手段を制御すると共に、前記検出された差が前記閾値以下であるとき、前記第１補償手段により生成された前記動き補償画像情報又は前記第２補償手段により生成された前記動き補償画像情報のいずれか一方を用いて前記復号画像情報を再符号化するように前記再符号化手段を制御する制御手段と、
   を備えることを特徴とする再符号化装置。
2. 請求項１に記載の再符号化装置において、
   前記原画像情報から前記抽出手段により夫々抽出された各前記動きベクトルを、前記第２の符号化方式に準拠した動きベクトルに夫々変換して前記予測ベクトル算出手段における前記予測ベクトルの算出処理に夫々供させるベクトル変換手段を更に備えることを特徴とする再符号化装置。
3. 請求項１又は２に記載の再符号化装置において、
   前記検出手段は、前記算出された予測ベクトルと、当該算出された予測ベクトルに対応する前記画素ブロックについて前記抽出された動きベクトルと、の内積と、前記算出された予測ベクトルの長さと、前記算出された予測ベクトルに対応する前記画素ブロックについて前記抽出された動きベクトルの長さと、に基づいて前記差を検出することを特徴とする再符号化装置。
4. 請求項３に記載の再符号化装置において、
   前記制御手段は、前記内積が当該内積について設定された第１閾値より大きく且つ各前記長さが当該各長さについて各々設定された第２閾値よりも大きいとき、前記第１補償手段により生成された前記動き補償画像情報のみを用いて前記復号画像情報を再符号化するように前記再符号化手段を制御することを特徴とする再符号化装置。
5. 請求項１から４のいずれか一項に記載の再符号化装置において、
   前記第１動き補償手段により生成された前記動き補償画像情報を用いて前記復号画像情報を再符号化する場合における符号化誤差を示す第１誤差情報を生成する第１誤差情報生成手段と、
   前記第２動き補償手段により生成された前記動き補償画像情報を用いて前記復号画像情報を再符号化する場合における符号化誤差を示す第２誤差情報を生成する第２誤差情報生成手段と、
   を更に備え、
   前記制御手段は、前記検出された差が前記閾値以下である場合において、前記生成された第１誤差情報により示される前記符号化誤差及び前記生成された第２誤差情報により示される前記符号化誤差のうち、より小さい方の当該符号化誤差に対応する前記動き補償画像情報を用いて前記復号画像情報を再符号化するように前記再符号化手段を制御することを特徴とする再符号化装置。
6. 請求項５に記載の再符号化装置において、
   前記第１誤差情報生成手段及び前記第２誤差情報生成手段は、前記検出された差を用いて前記第１誤差情報及び前記第２誤差情報を夫々生成することを特徴とする再符号化装置。
7. 請求項１から６のいずれか一項に記載の再符号化装置において、
   前記検出手段は、前記抽出された動きベクトルの終点の位置と、前記算出された予測ベクトルの終点の位置と、の間の前記静止画像上における距離を前記差として検出することを特徴とする再符号化装置。
8. 請求項１から６のいずれか一項に記載の再符号化装置において、
   前記検出手段は、前記抽出された動きベクトルの前記静止画像内における水平成分の方向と前記算出された予測ベクトルの当該静止画像内における水平成分の方向との差、又は前記抽出された動きベクトルの前記静止画像内における垂直成分の方向と前記算出された予測ベクトルの当該静止画像内における垂直成分の方向との差、の少なくともいずれか一方を前記差として検出することを特徴とする再符号化装置。
9. コンピュータを、請求項１から８のいずれか一項に記載の再符号化装置として機能させることを特徴とする再符号化用プログラム。

Images