JP2013158060A - 画像変換装置と方法及びプログラム - Google Patents

Abstract

【課題】入力された符号化データの画像サイズの変換を高速化する装置、方法、プログラムを提供する。
【解決手段】復号部１０３は、入力された符号化データを画像データに復号し、サイズ変換部１０４は、外部から受け取ったサイズ変換要求に基づいて画像データのサイズを変換する。サイズ変換部１０４は、復号部から得た符号化パラメータの予測モードや動きベクトルをサイズ変換要求に基づいて伸張・縮小、分割・合成する。符号化部１０５では、サイズ変換後の画像データを、変換された予測モードや動きベクトルを使って符号化して、送信バッファ１０６を経由して動画像変換装置外部へ送信する。
【選択図】図１

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２００９−００２９８９号（２００９年 １月 ８日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像変換技術に関し、特に、符号化された動画像圧縮符号化ビットストリームのサイズを変換するときに再符号化を行う装置に適用して好適な画像変換方法、装置及びプログラムに関する。

近年、動画像信号を低ビットレートで効率良く伝送するための動画像圧縮符号化方式として、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）勧告Ｈ．２６１及びＨ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ Ｐｈａｓｅ ４）が知られている。また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が前記動画像圧縮符号化方式よりも動画像信号を効率良く伝送できるとして注目を浴びている。

動画像圧縮符号化方式は、現在フレームの画像データのみを用いて符号化するイントラ予測と、過去や未来のフレームの画像を参照して符号化するインター予測がある。

イントラ予測では、入力画像フレームを符号化するときに、マクロブロックと呼ばれる単位毎にＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数を可変長符号化する。もしくは、マクロブロックやマクロブロックを更に細かく分割したブロック毎に、左や上といった近傍のブロックの画素を用いて予測を行い、予測残差信号に対してＤＣＴやＤＩＴ（Ｄｉｓｃｒｅｔｅ Ｉｎｔｅｇｅｒ Ｔｒａｎｓｆｏｒｍ）を行った後、ＤＣＴ係数、またはＤＩＴ係数を可変長符号化する。

インター予測では、入力画像フレームを符号化するときに、過去、または未来のフレームの復号画素との間で動き補償予測を行って予測残差信号を求め、これに対してＤＣＴまたはＤＩＴを行った後、動きベクトルやＤＣＴ係数等を可変長符号化する。

また、近年、携帯電話やＰＣなど異なる種類の端末間、もしくは同じ種類の端末でも機能の異なる端末間を相互接続する方式などが議論されている。

相互接続では、携帯電話やＰＣなど端末の種類、または端末の機能によって端末の能力に違いがあるため、各々の端末に合わせたデータ通信が求められる。

動画像のデータ通信では、端末によって表示できる画像サイズに制限があるため端末に合わせた動画像圧縮符号化ビットストリーム（符号化データ）に変換する変換装置が必要となる。

しかしながら、受信した符号化データのサイズを変換するには、符号化データを復号し、画像サイズを変換し、最後に前記画像サイズを変換した動画像信号を再符号化する必要がある。

また、接続先のネットワークの帯域が異なる場合、特に帯域が狭くなるときは、符号化データのビットレートを抑える必要がある。単純にビットレートを抑えると、画質が劣化するため、画面サイズを縮小する、フレームレートを落とすなどして、フレーム内の各ブロック当たりの符号量を保つ考慮も必要となる。

特許文献１（特開２００２−１４２２２２）には、空間軸及び時間軸方向に圧縮符号化した画像から、異なる解像度の圧縮符号化した画像に高速に変換する画面サイズ変更装置が開示されている。可変長復号手段は、圧縮画像を復号し、各フレームの動きベクトル情報と直交変換画像を出力し、直交変換画像は逆量子化され、階層逆直交変換手段は、直交変換画像を画素数の変更率に応じて逆直交変換し、解像度変更後の非圧縮差分画像または非圧縮画像を出力し、動きベクトル補正手段は、復号した動きベクトル情報を画素数の変更率に応じて修正する。動きベクトル生成手段は、復号した動きベクトル情報を用いて、解像度変更後の動きベクトル情報を生成し、これを用いて動き補償非圧縮画像生成手段が非圧縮差分画像の動き補償処理を行い、非圧縮画像を生成する。動き補償非圧縮差分画像生成手段は、解像度変更後の動きベクトル情報を用いて、非圧縮画像の非圧縮差分画像を生成する。非圧縮差分画像や非圧縮画像は次いで圧縮される。解像度変更前の圧縮画像から解像度変更後の非圧縮画像を直接生成できる。

特許文献２には、動き補償予測及び直交変換が用いられて符号化されたデータの画像サイズ変換を、簡易に、且つ良好な画質が得られる符号化データ画像サイズ変換装置として、供給される画像符号化データより所定の画像サイズに変換されたマクロブロック画像データを画像データ変換器により得、またそのマクロブロック画像データに係る変換動きベクトルを供給される画像符号化データの動きベクトルに所定の変換比率を乗じて動きベクトル変換器により得るに際し、その変換比率が１より小さいときは画像データの変換に必要な複数の変換動きベクトルの分散に応じて統合動きベクトルを求め、その統合動きベクトルと求められたマクロブロック画像データを用いてサイズ変換のされた画像符号化データを得る様にして実現した。

特許文献３には、動きの激しい部分でも大きな画質劣化が生じず、さらに、復号処理の後に低域濾波フィルタ処理及び間引き処理を必要としない簡単な構成で、出力画像のサイズを変更することのできる画像サイズ変換可能なデジタル動画像復号装置として、ビットストリーム中に含まれる動きベクトル情報から動きベクトルの大きさを変換する動きベクトル変換部を備え、動きベクトルの大きさが小さい場合には、低域側のＤＣＴ係数のみを用いて逆ＤＣＴを行い、動きベクトルの大きさが大きい場合には、低域側のＤＣＴ係数に加え、高域側のＤＣＴ係数を用いて逆ＤＣＴを行う構成が開示されている。

特許文献４には、動き補償予測とＤＣＴを組み合わせた符号化方式による再符号化を行う符号化装置において、第１のビデオ符号化データから画像サイズを変換した第２のビデオ符号化データを得る場合に、全体としての演算量削減を可能とする符号化装置として、再符号化に伴う入力符号化データの復号時に、予測誤差についてＤＣＴ領域で画像サイズ変換処理後、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）処理を行い、その後、空間領域で動き補償予測による画像データへの復号を行うことで、ＩＤＣＴ処理と画像サイズ変換処理の演算量を削減し、ＤＣＴ領域における動き補償予測復号の演算量増加を防ぐ構成が開示されている。

特開２００２−１４２２２２号公報 特開２００２−３４４９７３号公報 特開２００１−１１２００２号公報 特開２００２−３７４５３６公報

以下に本発明による分析を与える。

画像サイズ、フレームレートを変換する際、最も問題となるのが、再符号化時の演算量である。これは、受信したストリームの画像サイズを変換した後、再符号化する際に、再予測を行うための演算が必要になるためである。

一方、受信したストリームの画像サイズを変換した後、再符号化する際に、前記受信したストリームの情報をそのまま使うと画質が劣化する。

本発明の目的は、入力された符号化データの画像サイズの変換を高速化する装置、方法、プログラムを提供することにある。

本発明は、入力された符号化データの画像サイズを変換するときに画質の劣化を抑制する装置、方法、プログラムを提供することもその目的としている。

さらに、本発明は、入力された符号化データのフレームレートを高速に変換する装置、方法、プログラムを提供することもその目的としている。さらにまた、本発明は、入力された符号化データのフレームレートを変換するときに画質の劣化を抑制する装置、方法、プログラムを提供することもその目的としている。

本願で開示される発明は、前記課題の少なくとも１つを解決するため、概略以下の構成とされる。

本発明によれば、受信した符号化データを復号する手段と、復号した画像データのサイズを変更する手段と、前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段を備える画像変換装置が提供される。

本発明によれば、受信した符号化データから画像データに復号し、
前記復号した画像データのサイズを変更し、
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する、画像変換方法が提供される。

本発明によれば、受信した符号化データを復号する処理と、
復号した画像データのサイズを変更する処理と、
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する処理と、
をコンピュータに実行させるプログラムが提供される。

本発明によれば、入力された符号化データの画像サイズを変換するときに、高速に変換することができる。また本発明によれば、入力された符号化データの画像サイズを変換するときに画質の劣化を抑制することができる。

本発明の第１の実施例の動画像変換装置の構成を示す図である。 本発明の第１乃至第４の実施例の符号化部の構成を示す図である。 本発明の第２の実施例の動画像変換装置の構成を示す図である。 本発明の第３の実施例の動画像変換装置の構成を示す図である。 本発明の第４の実施例の動画像変換装置の構成を示す図である。 本発明の第５の実施例の動画像変換装置の構成を示す図である。 本発明の第５の実施例の符号化部の構成を示す図である。 本発明の第６の実施例の動画像変換装置の構成を示す図である。 本発明の第６の実施例の符号化部の構成を示す図である。 本発明の第７の実施例の動画像変換装置の構成を示す図である。 本発明の第７の実施例の符号化部の構成を示す図である。 本発明の第８の実施例の動画像変換装置の構成を示す図である。 本発明の第８の実施例の符号化部の構成を示す図である。 本発明の第９の実施例の動画像変換装置の構成を示す図である。 本発明の第９の実施例の符号化部の構成を示す図である。 本発明の第１０の実施例の動画像変換装置の構成を示す図である。 本発明の第１０の実施例の符号化部の構成を示す図である。 本発明の第１１の実施例の動画像変換装置の構成を示す図である。 本発明の第１２の実施例の動画像変換装置の構成を示す図である。

本発明においては、受信した符号化データを復号する手段と、復号した画像データのサイズを変更する手段と、前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、動きベクトル、ブロックサイズの少なくとも１つを、前記符号化に再利用する手段を備える。

より具体的には、本発明に係る動画像変換装置（図１の１００）においては、入力された符号化データ（図１の１１０）を受け取る受信バッファ（図１の１０２）と、受信バッファ（１０２）から受け取った符号化データを画像データに復号する復号部（図１の１０３）と、装置外部からのサイズ変換要求（図１の１０７）や復号部（図１の１０３）からの符号化パラメータ（図１の１１２）を受け取り、サイズ変換部（図１の１０４）や符号化部（図１の１０５）を制御する変換制御部（図１の１０１）と、復号部（１０３）から入力された画像データを変換制御部（１０１）の指示に基づいてサイズ変換するサイズ変換部（１０４）と、変換制御部（１０１）の指示に従って、サイズ変換部（１０４）から入力された画像データから符号化データを生成する符号化部（１０５）と、符号化部（１０５）から符号化データを受け取って出力する送信バッファ（図１の１０６）を有する。

本発明に係る動画像変換装置（図１の１００）においては、入力された符号化データを復号部（１０３）で画像データに復号する。そして、外部から受け取ったサイズ変換要求に基づいて、サイズ変換部（１０４）で画像データのサイズを変換する。その後、復号部（１０３）から得た符号化パラメータの予測モードや動きベクトルを、サイズ変換要求の変換比に基づいて、伸張・縮小や分割・合成する。符号化部（１０５）では、サイズ変換後の画像データを、変換された予測モードや動きベクトルを用いて符号化して、送信バッファ（１０６）を経由して、動画像変換装置外部へ送信する。本発明においては、入力された符号化データの画像サイズを変換する場合に、高速な変換方式を提供できる。また、入力された符号化データの画像サイズを変換する場合に、前記入力された符号化データを用いて、画質の劣化を抑えた変換方式を提供できる。以下実施例に即して説明する。

図１は、本発明の第１の実施例の動画像変換装置１００の構成を示す図である。図１を参照すると、この動画像変換装置１００は、変換制御部１０１、受信バッファ１０２、復号部１０３、サイズ変換部１０４、符号化部１０５、送信バッファ１０６を備えている。

変換制御部１０１は、装置外部からのサイズ変換要求１０７と、復号部１０３からの符号化パラメータ１１２とを基に、サイズ変換部１０４に対して、サイズ変換要求１０８を、符号化部１０５に対して、変換情報１０９を与える。サイズ変換要求１０７としては、例えば、
・倍率、
・変換後の画像サイズ、
・ビットレート、
・符号化情報
などがある。

変換制御部１０１は、外部からサイズ変換要求１０７として符号化情報を受け取ると、符号化情報１１７を復号部１０３へ送ることが可能である。

変換制御部１０１からサイズ変換部１０４への指示であるサイズ変換要求１０８について具体的に説明する。

変換制御部１０１は、外部からのサイズ変換要求１０７を受信すると、サイズ変換部１０４に、入力画像データのサイズ変換要求１０８を出す。

外部からのサイズ変換要求１０７が倍率の場合、前記サイズ変換要求をそのままサイズ変換部１０４へ送信する。

外部から変換後の画像サイズが入力される場合、変換制御部１０１は、復号部１０３から受け取った符号化パラメータ１１２から、サイズ変換前の画像サイズを得、サイズ変換部へ倍率、もしくは入出力の画像サイズの情報を送る。サイズ変換後の画像サイズが変換前と同じ場合、変換制御部１０１は、変換しないようにサイズ変換部１０４に指示する。

次に、変換制御部１０１から符号化部１０５への指示である、変換情報１０９について具体的に説明する。

変換制御部１０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を用いて、符号化部１０５へ送る変換情報１０９を生成する。

変換情報１０９としては、例えば、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向（予測方向）、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
がある。

フレーム間予測の場合、変換情報１０９のうち、例えば、
・フレームタイプ、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
が用いられる。

フレーム内予測の場合、変換情報１０９のうち、例えば、
・フレームタイプ、
・予測モードと方向、
・ブロックサイズ、
・ブロックタイプ、
が用いられる。

サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を生成する手順を以下に説明する。

簡単のため、２倍、１／２倍を例にとって説明する。ただし、この例は、本発明の説明のために提示した一例に過ぎず、本発明に何ら限定を課するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モード・方向、ブロックサイズにも適用可能である。

＜例１＞ 画像サイズを２倍に変換する場合：
入力された符号化データの８ｘ８ブロックＡの動きベクトルが、右に５、上に４であった場合、サイズ変換後のブロックＡを符号化するために、サイズが１６ｘ１６で、右に５、上に４の動きベクトルを符号化部１０５へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を用いる。

＜例２＞ 画像サイズを１／２倍に変換する場合：
入力された符号化データの８ｘ８ブロックＢのフレーム内予測モードが左方向であった場合、サイズ変換後のブロックＢを符号化するために、サイズが４ｘ４で、フレーム内予測モードが左方向という情報を符号化部１０５へ送る。

受信バッファ１０２は、外部から送信された入力符号化データ１１０を受信して復号部１０３に送信する。

復号部１０３は、変換制御部１０１から符号化情報１１７が通知された場合は、符号化情報１１７を用いて、受信バッファ１０２から受け取った入力符号化データ１１１から画像データ１１３を復号し、画像データをサイズ変換部１０４に送る。

復号部１０３は、変換制御部１０１から符号化情報が通知されない場合には、入力符号化データ１１１に含まれる符号化情報を用いて、該入力符号化データから、画像データを復号する。

また、復号部１０３は、復号したときに得た入力符号化データの符号化パラメータ１１２を変換制御部１０１に通知する。

サイズ変換部１０４は、変換制御部１０１からのサイズ変換要求１０８の情報にある倍率又は入出力画像サイズを用いて、復号部１０３から受け取った画像データ１１３の画像サイズを変換し、変換後の画像データを符号化部１０５へ送る。

符号化部１０５は、サイズ変換部１０４から受け取った画像データに対して、変換制御部１０１からの情報を用いて符号化し、符号化したデータ１１５を送信バッファ１０６へ送る。

本実施例において、変換制御部１０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置１００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

図２は、図１の符号化部１０５の構成を示す図である、図２を参照して、符号化部１０５を説明する。本実施例では、Ｈ．２６４を例にとって説明するが、本発明の説明のために提示した一例に過ぎず、本発明を限定するものでないことは勿論である。動画像変換方式の原理からも明らかなように、他の動画像圧縮符号化方式にも適用可能である。

図２を参照すると、符号化部１０５は、フレーム間予測データ生成部２０１、フレーム内予測データ生成部２０２、スイッチ２０３、フレームメモリ２０４、ＤＣＴ器２０５、量子化器２０６、逆量子化器２０７、逆ＤＣＴ器２０８、ループ内フィルタ器２０９、可変長符号化器２１０、ヘッダ情報生成部２１１とを備えている。

フレーム間予測データ生成部２０１は、変換制御部１０１から受け取った変換情報１０９とフレームメモリ２０４からの画像データ２１３を用いて、フレーム間予測を行い、予測データを生成してスイッチ２０３に送る。フレーム間予測データ生成部２０１で用いる変換情報１０９としては、
・動きベクトル、
・参照フレーム情報や、
・ブロックサイズ、
・ブロックタイプ、
などがある。

フレーム内予測データ生成部２０２は、変換制御部１０１から受け取った変換情報１０９とサイズ変換部１０４から受け取った画像データ１１４とを用いて、フレーム内予測を行い、予測データを生成してスイッチ２０３に送る。フレーム内予測データ生成部２０２で用いる変換情報１０９としては、
・予測モードと方向や
・ブロックサイズ、
・ブロックタイプ、
などがある。

スイッチ２０３は、変換制御部１０１から指示された変換情報１０９に従って、フレーム間予測データ生成部２０１もしくはフレーム内予測データ生成部２０２で生成した予測データを、ＤＣＴ器２０５、ループ内フィルタ器２０９やフレーム内予測データ生成部２０２に送ることが出来るように切り替える。

量子化器２０６は、変換制御部１０１からの変換情報１０９にあるビットレートを目標にして量子化ステップを決定する。なお、量子化ステップを決定する方法は、通常の符号化器と同じ動作であるため、説明は省略する。

ヘッダ情報生成部２１１は、変換制御部１０１から受け取った変換情報１０９を基に、ヘッダ情報２１２を生成して可変長符号化器２１０へ出力する。

ヘッダ情報生成部２１１で用いる変換情報１０９としては、
・フレームタイプ、
・画像サイズ、
・動きベクトル、
・ブロックサイズ、
・ブロックタイプ、
・予測モードと方向、
・参照フレーム情報
などがある。

図２においてその他の構成については、通常の符号化器と同じ構成、動作のため説明を省略する。

図１を参照すると、送信バッファ１０６は、符号化部１０５から受信した画像ストリームを外部に出力する。

本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換できる。

次に本発明の第２の実施例について説明する。図３は、本発明の第２の実施例の動画像変換装置３００の詳細な構成を示す図である。図３において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。

変換制御部３０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。

本実施例における、サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を以下に説明する。簡単のため２倍を例にしたが下記以外の倍率でも実現可能である。

＜例１＞画像サイズを２倍に変換する場合：
入力された符号化データの８ｘ８ブロックＡの動きベクトルが右に５、上に４であった場合、サイズ変換後のブロックＡを符号化するときは、サイズが１６ｘ１６で、右に１０、上に８の動きベクトルを符号化部１０５へ送る。参照フレーム情報は、入力符号化データと同じ値を使う。

上記以外の構成、及び動作は実施例１と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換できる。本実施例は、前記実施例１に比べて、符号化効率を上げることが可能である。本実施例において、変換制御部３０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置３００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第３の実施例について説明する。図４は、本発明の第３の実施例における動画像変換装置４００の詳細な構成を示す図である。図４において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。

変換制御部４０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。

以下にサイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を説明する。簡単のため４倍を例としたが、下記以外の倍率でも実現可能である。

＜例１＞画像サイズを４倍に変換する場合：
入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左上方向（角度が３０度）であった場合、サイズ変換後のブロックＢを符号化するために、サイズを１６ｘ１６にする。このとき、１６ｘ１６ブロックのフレーム内予測モードに、左上方向（角度が３０度）がなかった場合、存在する予測方向に近似する。例えば左、右、上、下の４方向しか無かった場合には、左方向という情報を符号化部１０５へ送る。

上記以外の構成、及び動作は、前記実施例１と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、かつサイズ変換の柔軟度を上げることが可能になるという作用効果を奏する。本実施例において、変換制御部４０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置４００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第４の実施例について説明する。図５は、本発明の第４の実施例における動画像変換装置５００の詳細な構成を示す図である。図５において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。また符号化部１０５は図２の構成と同一とされる。

変換制御部５０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１０５に変換情報１０９を出す。

サイズ変換要求１０７と符号化パラメータ１１２を用いて変換情報１０９を作る手順を以下に説明する。簡単のため、２倍、１／２倍を例にとって説明するが、これは本発明の説明のために提示した一例に過ぎず、本発明を限定するものでないことは勿論である。本発明の原理からも明らかなように、他の倍率、動きベクトル、予測モード・方向、ブロックサイズにも適用可能である。

＜例１＞ 画像サイズを２倍に変換する場合：
入力された符号化データの１６ｘ１６ブロックＡの動きベクトルが右に５、上に４であった場合、サイズ変換後のブロックＡは３２ｘ３２になる。このとき、符号化するブロックの最大の単位が１６ｘ１６であるものとすると、符号化するためには、サイズ変換後の３２ｘ３２のブロックＡを４分割する必要がある。このとき、分割した４つの１６ｘ１６ブロック各々に対して、右に１０、上に８の動きベクトルを符号化部へ送る。このとき、参照フレーム情報は、入力符号化データと同じ値を使う。

＜例２＞ 画像サイズを１／２倍に変換する場合：
入力された符号化データの４ｘ４ブロックＢのフレーム内予測モードが左方向であった場合、サイズ変換後のブロックＢは２ｘ２になる。このとき、符号化するブロックの最小単位が４ｘ４であるものとすると、符号化するためにサイズ変換後の２ｘ２のブロックＢの周りの２ｘ２ブロックと合成して、４ｘ４ブロックにする必要がある。このとき、２ｘ２ブロック各々の予測モード・方向を合成して、１つの予測モードを決定する。

合成する方法としては、４つのうち最も多い予測モード・方向を符号化部１０５に送る。もし、４つの２ｘ２ブロックが左２つ、上２つで、４５°方向のモードがあれば、左上４５°方向のモードを選択する。また、４つの２ｘ２ブロックが左、右、上、下の場合は平均値モードを使う。

上記以外の構成、及び動作は実施例１乃至３と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、また、実施例３よりもサイズ変換の柔軟度を上げることが出来るという効果がある。本実施例において、変換制御部５０１、復号部１０３、サイズ変換部１０４、符号化部１０５の処理は、動画像変換装置５００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第５の実施例について説明する。図６は、本発明の第３の実施例における動画像変換装置６００の詳細な構成を示す図である。図６において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部６０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部６０２に変換情報６０３を出す。変換情報６０３としては、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
を送る。

図７は、図６の符号化部６０２の詳細な構成を示す図である。図７において、図２の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

図７において、フレーム間予測符号化部７０１は、変換制御部６０１から受け取った変換情報６０３を用いて、フレーム間予測符号を行う。より具体的には、変換情報６０３として、参照フレーム情報、動きベクトルとフレームの探索範囲、及び、動きベクトルの探索範囲を受け取る。

フレーム間予測符号化部７０１は、フレームメモリ２０４から１枚分の画像データを受け取ると、１枚分の画像データに対して、動きベクトルを起点に動きベクトルの探索範囲分だけフレーム間予測を行う。探索範囲としては、例えば、前記動きベクトルを起点にして上下左右一律にある一定位置離れた地点までを探索する。あるいは、フレーム間予測符号化部７０１は、前記動きベクトルの方向を利用し、前記動きベクトルを起点として、前記動きベクトルの方向に絞り込んで一定位置離れた地点を探索する。

フレーム間予測符号化部７０１は、フレームの探索範囲が２枚以上であれば、フレーム番号を起点に、フレームの探索範囲分、動きベクトルの探索を行い、最も良い動きベクトル、フレーム番号７０３を決定して、可変長符号化器２１０に送る。

フレーム内予測符号化部７０２は、変換制御部６０１から受け取った変換情報６０３を用いて、フレーム内予測符号を行う。より具体的には、前記変換情報６０３として、予測モードと探索範囲を受け取る。

フレーム内予測符号化部７０２は、予測するブロック、及びその近傍の画像データを受け取ると、予測モードを起点に、探索範囲分の予測モードから最も良い予測モード７０４を決定して、可変長符号化器２１０に送る。

変換情報６０３で受け取った予測モードを起点にして探索する方法について、以下に例を示す。

予測方向が４５°毎に存在し、情報６０３から受け取った予測モードが左方向、探索範囲が２の場合、左方向のフレーム内予測に加えて、左上４５°と左下４５°のフレーム内予測を行い、最も良い予測モードを決定する。

上記以外の構成及び動作は、実施例１乃至４と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、実施例１乃至４よりも、画質をあげることができるという作用効果を奏する。本実施例において、変換制御部６０１、復号部１０３、サイズ変換部１０４、符号化部６０２の処理は、動画像変換装置６００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第６の実施例について説明する。図８は、本発明の第６の実施例における動画像変換装置８００の詳細な構成を示す図である。図８において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部８０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部８０２に変換情報８０３を出す。

変換制御部８０１は、変換情報８０３として、例えば、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・入力符号化データの符号量分布ビットレート、
・予測モードや動きベクトルを使用するか判断するための閾値
を送る。

閾値は、例えば、
・予測するブロックのサイズｘ画像データの振幅の平均値もしくはその２乗、または、
・ビットレートや入力符号化データの符号量分布から算出する各ブロックにおける目標符号量
などがある。

図９は、図８に示した本発明の第５の実施例における符号化部８０２の詳細な構成を示す図である。図９において、図２の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

図９を参照すると、フレーム間予測データ生成部９０１は、変換制御部８０１から受け取った変換情報８０３にある動きベクトル、フレーム番号を用いて、フレーム間予測データを生成する。そして、フレーム間予測データとフレームメモリの画像データとの差と、閾値を比較する。閾値よりも予測残差が小さい場合、変換情報８０３で受け取った動きベクトル、フレーム番号を採用する。

フレーム間予測符号化部９０２は、閾値よりも予測残差が大きい場合、フレーム間予測を行って動きベクトル、フレーム番号９０６を決定して可変長符号化器２１０へ送る。

このとき、変換情報８０３で受け取った動きベクトル、フレーム番号を起点にしても良い。また、フレーム間予測符号化部９０２の代わりに、フレーム内予測符号化部９０３を使用しても良い。

フレーム内予測データ生成部９０４は、変換情報８０３で受け取った予測モードを使用してフレーム内予測データを生成する。そして、フレーム内予測符号化部９０３は、フレーム内予測データ生成部９０４で生成されたフレーム内予測データと当該ブロック近傍の画像データとの差と閾値を比較する。

閾値よりも予測残差が小さい場合、フレーム内予測符号化部９０３は、変換情報８０３で受け取った予測モードを採用する。

閾値よりも予測残差が大きい場合、フレーム内予測符号化部９０３は、フレーム内予測を行って、予測モード９０７を決定して、可変長符号化器２１０へ送る。このとき、変換情報８０３で受け取った予測モードを起点にしても良い。また、フレーム内予測符号化部９０３の代わりに、フレーム間予測符号化部９０２を使用しても良い。

上記以外の構成、及び動作は実施例１乃至５と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、さらに前記実施例１乃至５よりも画質をあげることができるという作用効果を奏する。本実施例において、変換制御部８０１、復号部１０３、サイズ変換部１０４、符号化部８０２の処理は、動画像変換装置８００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第７の実施例について説明する。図１０は、本発明の第７の実施例における動画像変換装置１０００の詳細な構成を示す図である。図１０において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部１００１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１００２に変換情報１００３を出す。

変換制御部１００１は、変換情報１００３として、例えば、
・画像データサイズ、
・フレームタイプ、
・予測モードと方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・量子化ステップサイズ、
を送る。

変換制御部１００１は、外部からの変換要求１０７に含まれる、
画像データサイズ、
ビットレート
の少なくとも１つについて変換前の情報と比較して、量子化ステップサイズをＮ倍、１／Ｎ倍に変換することも可能とする。

図１１は、本発明の第７の実施例における符号化部１００２の詳細な構成を示す図である。図１１において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

量子化器１１０１は、変換制御部１００１から受け取った変換情報１００３に含まれる、量子化ステップサイズを用いて量子化を行う。

上記以外の構成、及び動作は実施例１乃至６と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに、前記実施例１乃至６よりも高速に変換できるという効果を奏する。本実施例において、変換制御部１００１、復号部１０３、サイズ変換部１０４、符号化部１００２の処理は、動画像変換装置１０００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第８の実施例について説明する。図１２は、本発明の第８の実施例における動画像変換装置１２００の詳細な構成を示す図である。図１２において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部１２０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１２０２に変換情報１２０３を出す。

変換制御部１２０１は、変換情報１２０３として、例えば、
・画像データサイズ、
・フレームタイプ、
・予測モード、方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
・入力符号化データの符号量の分布
を送る。

図１３は、本発明の第８の実施例における符号化部１２０２の詳細な構成を示す図である。図１３において、図１１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

図１３において、量子化器１３０１は、変換制御部１２０１から受け取った変換情報１２０３に含まれる、ビットレートと入力符号化データの符号量の分布を用いて各ブロックの目標符号量を決定し、量子化ステップサイズを決定して量子化を行う。

上記以外の構成、及び動作は実施例１乃至７と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに前記実施例１乃至７よりも符号量を調整できるという作用効果を奏する。本実施例において、変換制御部１２０１、復号部１０３、サイズ変換部１０４、符号化部１２０２の処理は、動画像変換装置１２００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第９の実施例について説明する。図１４は、本発明の第９の実施例における動画像変換装置１４００の詳細な構成を示す図である。図１４において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部１４０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１４０２に変換情報１４０３を出す。

変換情報１４０３としては、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、量子化情報を送る。

量子化情報としては、入力符号化データの量子化ステップサイズや入力符号化データの符号量の分布を使用するか否か、量子化ステップサイズ、ビットレートが含まれる。

入力符号化データの量子化ステップサイズを使用するか否かの判断は、サイズ変換比が大きい場合、入力符号化データのビットレートと出力符号化データのビットレートの比が大きい場合、サイズ変換比の増減と入出力のビットレート比の増減を比べたときにその差が大きい場合などは、入力符号化データの量子化ステップサイズは用いない。

入力符号化データの符号量の分布を使用するか否かの判断は、目標ビットレートと出力符号量の差が大きい場合に入力符号化データの符号量の分布は使用しない。

図１５は、本発明の第９の実施例における符号化部１４０２の詳細な構成を示す図である。図１５において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

量子化器１５０１は、変換制御部１４０１から受け取った変換情報１４０３に含まれる、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否か、量子化ステップサイズ、符号量の分布、ビットレートを用いて量子化を行う。

具体的には、入力符号化データの量子化ステップサイズや符号量の分布を使用するか否かの情報を基に、使用する場合は前記入力符号化データの量子化ステップサイズや符号量の分布を用いて算出した量子化ステップサイズで量子化を行い、使用しない場合はビットレートを基に量子化ステップサイズを自ら決定して、量子化する。

上記以外の構成、及び動作は実施例１乃至８と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、前記実施例７、８よりも画質を調整できるという作用効果を奏する。本実施例において、変換制御部１４０１、復号部１０３、サイズ変換部１０４、符号化部１４０２の処理は、動画像変換装置１４００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第１０の実施例について説明する。図１６は、本発明の第１０の実施例における動画像変換装置１６００の詳細な構成を示す図である。

変換制御部１６０１は、外部からのサイズ変換要求１０７と復号部１０３からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１０８を、符号化部１６０２に変換情報１６０３を出す。

変換情報１６０３としては、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、フィルタ処理情報を送る。

フィルタ処理情報とは、符号化前の画像データ、もしくは符号化中の画像データに対して、フィルタ処理の実行するか否か、フィルタ処理を実行する場合のフィルタ強度、フィルタを実行する領域の情報などがある。

フィルタ処理を実行するか否かは、サイズ変換後の画面サイズに対する出力ビットレート、画像サイズ変換が拡大なのか、縮小なのか、入力符号化データのビットレートが高いか低いかという情報を用いて判断する。

例えば入力符号化データ中に含まれるフィルタ処理実行の有無の情報を使ったり、サイズ変換後の画面サイズに対して出力ビットレートが低い場合や入力符号化データのビットレートが低い場合にフィルタ処理を行い、サイズ変換後の画面サイズに対して出力ビットレートが高い場合や入力符号化データのビットレートが高い場合、画像サイズを縮小する場合はフィルタ処理をしないという判断を行う。

図１７は、本発明の第１０の実施例における符号化部１６０２の詳細な構成を示す図である。図１７において、図９の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

ループ内フィルタ器１７０１は、変換制御部１６０１から受け取った変換情報１６０３を基にし、フィルタ処理を行う。変換情報１６０３でフィルタ処理を行う様に指示されると、画像データ１７０２にフィルタ処理を行う。

変換情報１６０３において、フィルタ強度やフィルタを実施する領域の情報があれば前記情報１６０３に従ってフィルタ処理を実施する。

変換情報１６０３において、フィルタ処理を実施しない様に指示された場合は画像データ１７０２をそのままフレームメモリ２０４へ送る。

本実施例では、符号化中の画像データに対するフィルタ処理有無について説明したが、これは本発明の説明のために提示した一例に過ぎず，限定するものでないことは勿論である。本発明の動画像変換装置の原理からも明らかなように、符号化前の画像データに対するフィルタ処理有無判断にも適用可能である。

上記以外の構成、及び動作は実施例１乃至９と同じであるため、説明を省略する。本実施例により、入力された符号化データの画像サイズを変換するときに高速に変換でき、かつ実施例１乃至９よりも画質をあげるという作用効果を奏する。本実施例において、変換制御部１６０１、復号部１０３、サイズ変換部１０４、符号化部１６０２の処理は、動画像変換装置１６００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に第１１の実施例について説明する。図１８は、本発明の第１１の実施例における動画像変換装置１８００の詳細な構成を示す図である。変換制御部１８０１は、外部からの変換要求１８０３と、復号部１０３からの符号化パラメータ１１２を基に、サイズ変換部１０４に変換情報１８０４を与え、符号化部１８０２に変換情報１８０５を与える。

変換制御部１８０１は、変換要求１８０３を基にして、サイズ変換部１０４に対して、サイズ変換・フレームスキップ要求を含む変換情報１８０４を送る。

変換情報１８０４は、
・倍率、
・変換後の画像サイズ、
・ビットレート、
・符号化情報、
・フレームレート情報
を含む。

フレームレート情報としては、
・入力符号化データ、出力符号化データ各々のフレームレート情報や、
・入力符号化データのフレームを間引く枚数や、
・タイミングの情報
などがある。

また変換制御部１８０１は、復号部１０３から符号化パラメータ１１２を受け取ると、変換要求１８０３を基にして、符号化部１８０２に対して、変換情報１８０５を送る。

変換情報１８０５は、
・画像データサイズ、
・フレームタイプ、
・予測モード・方向、
・動きベクトル、
・参照フレーム情報、
・ブロックサイズ、
・ブロックタイプ、
・ビットレート、
・量子化情報、
・フィルタ処理情報、
・フレームスキップ情報
を含む。

フレームスキップ情報としては、
・入力符号化データ、出力符号化データ各々のフレームレート情報や、
・入力符号化データのフレームを間引く枚数や、
・タイミングの情報
などがある。

変換制御部１８０１でフレームレートを落とすか判断し、符号化部１８０２に対してフレーム毎に符号化の有無を通知する。

フレームレートを落とす場合の動きベクトル、参照フレーム情報の生成方法について画面サイズを２倍にした上で、１フレームおきにフレームを間引く場合を例にして説明する。ただし、本発明の原理からも明らかなようにその他のサイズ、フレームレートでも実施可能である。

＜例１＞
参照フレームについては、当該フレームが間引くフレームを参照している場合、その過去、もしくは未来の出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。

次に、動きベクトルについて、画面サイズが倍になるため、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。

当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、例えば、間引くフレームが当該フレームの１フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に２倍する。

例えば、間引くフレームが当該フレームの３フレーム前の場合で、２フレーム前を参照する場合は、動きベクトルを画面サイズ比から更に０．６６倍する。

＜例２＞
参照フレームについては、当該フレームが間引くフレームを参照している場合、間引くフレームが参照している出力フレームを参照する。また、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。

当該フレームが出力するフレームを参照している場合、そのままのフレームを参照する。この場合も、参照フレーム番号も間引く必要があるため、フレームを間引く数だけ減算する。

次に、動きベクトルについて、画面サイズが倍になるので、入力符号化データの動きベクトルを２倍にする。当該フレームが出力するフレームを参照している場合は、動きベクトルのサイズは画面サイズ比のままにする。

当該フレームが間引くフレームを参照している場合、それよりも過去、もしくは未来の出力フレームを参照し、当該フレームの入力符号化データ内の動きベクトルと間引くフレームの動きベクトルを足し合わせる。

サイズ変換部１０４は、変換制御部１８０１からフレームスキップ要求を含む変換情報１８０４が通知されると、復号部１０３から入力された画像データ１１３をサイズ変換せずに廃棄し、符号化部１８０２へは送らない。

符号化部１８０２は、変換情報１８０５と画像データ１１４を基に、出力符号データを生成する。上記以外の構成、及び動作は、前記実施例１乃至１０と同じため、説明を省略する。

本実施例によれば、入力された符号化データと出力する符号化データのフレームレートを変える場合に、前記入力された符号化データの画像サイズを高速に変換することが可能である。本実施例において、変換制御部１８０１、復号部１０３、サイズ変換部１０４、符号化部１８０２の処理は、動画像変換装置１８００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

次に本発明の第１２の実施例について説明する。図１９は、本発明の第１２の実施例における動画像変換装置１９００の詳細な構成を示す図である。図１９において、図１の要素と同一の要素には同一の参照番号が付されている。以下では、同一要素の説明は重複を回避するため適宜省略する。

変換制御部１９０１は、外部からの変換要求１９０６と復号部１９０２からの符号化パラメータ１１２を基にサイズ変換部１０４にサイズ変換要求１９０４を、符号化部１９０３に変換情報１９０５を出す。

変換要求１９０４は、サイズ変換情報、入力符号化データの符号化方式や出力符号化データの符号化方式の情報が含まれる。

変換制御部１９０１は、復号部１９０２から符号化パラメータ１１２を受け取ると、変換要求１９０４を基にして符号化部１９０３に対して、画像データサイズ、フレームタイプ、予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ビットレート、量子化情報、フィルタ処理情報を送る。

変換制御部１９０１は、変換要求１９０４の入力符号化方式と出力符号化方式が同じ場合は、符号化パラメータ１１２を、前記実施例１乃至１１で説明した方法で変換して符号化部１９０３へ送る。

変換要求１９０４の入力符号化方式と出力符号化方式が異なる場合、変換制御部１９０１は入力符号化データの予測モード・方向、動きベクトル、参照フレーム情報、ブロックサイズ、ブロックタイプ、ピクチャタイプ、量子化情報、フィルタ処理情報を出力符号化方式に合う様に変換する。

予測モードの場合、例えば、入力符号化データの予測モードが出力符号化方式で対応していない場合、最も近い予測モード・方向に近似する。

動きベクトルの場合、例えば、上下限値や尺度を出力符号化方式に合わせる。

参照フレーム情報の場合、例えば、入力符号化方式の参照フレーム情報が出力符号化方式で対応していない時、フレーム番号を出力符号化方式の最大・最小値に拡大・縮小する。

また、出力符号化方式に関係の無い参照フレーム情報は符号化部１９０３に送らない様にする。もしくは、該当箇所は入力符号化データの情報を使わず、再符号化する。

ブロックサイズの場合、例えば、入力符号化方式が４ｘ４ブロック各々に対して１つの予測モード・方向や動きベクトルが指定できるものの、出力符号化方式が８ｘ８ブロックや１６ｘ１６ブロックに１つしか予測モード・方向や動きベクトルが指定できない場合、実施例４に記載の方法で予測モード・方向や動きベクトルを合成する。

ピクチャタイプの場合、入力符号化方式に存在して出力符号化方式に存在しないときは該当フレームを再符号化する、もしくはピクチャタイプの差が出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずピクチャタイプを近似して符号化部１９０３へ送る。

量子化ステップの場合、上下限値や尺度の意味（例えば対数なのか倍数なのか）に合わせて変換する。

フィルタ処理情報の場合、入力符号化方式に存在して出力符号化方式に存在しないときはフィルタ処理しない、もしくは出力符号化方式に関係ない情報が付加されているだけであれば、その情報を送らずフィルタ処理情報を生成する。

上記以外の構成、及び動作は、前記実施例１乃至１１と同じであるため、説明を省略する。本実施例により、入力された符号化方式と出力する符号化方式が異なる場合に、前記入力された符号化データの画像サイズを高速に変換することが可能である。本実施例において、変換制御部１９０１、復号部１９０２、サイズ変換部１０４、符号化部１９０３の処理は、動画像変換装置１９００を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。

上記した本発明は以下のように付記される。
（付記１）
受信した符号化データを復号する手段と、
復号した画像データのサイズを変更する手段と、
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段を備える、ことを特徴とする画像変換装置。
（付記２）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する手段を備える、ことを特徴とする付記１記載の画像変換装置。
（付記３）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する手段を備える、ことを特徴とする付記１記載の画像変換装置。
（付記４）
変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する手段を備える、ことを特徴とする付記１乃至３のいずれか一に記載の画像変換装置。
（付記５）
再利用した予測モード、動きベクトルの少なくとも１つを起点として、再予測する手段を備える、ことを特徴とする付記１乃至４のいずれか一に記載の画像変換装置。
（付記６）
前記再利用した動きベクトルを起点として再予測する場合に、前記動きベクトルの方向を利用する手段を備える、ことを特徴とする付記５記載の画像変換装置。
（付記７）
予測誤差が予め定められた閾値以上の場合に、予測し直す手段を備える、ことを特徴とする付記１乃至６のいずれか一に記載の画像変換装置。
（付記８）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの量子化ステップサイズを再利用する手段を備える、ことを特徴とする付記１乃至７のいずれか一に記載の画像変換装置。
（付記９）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの符号量の分布を再利用する手段を備える、ことを特徴とする付記１乃至７のいずれか一に記載の画像変換装置。
（付記１０）
前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するかを判断する手段を備える、ことを特徴とする付記８又は９記載の画像変換装置。
（付記１１）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのビットレートを変える手段を備える、ことを特徴とする付記１乃至１０のいずれか一に記載の画像変換装置。
（付記１２）
前記サイズ変更後の画像データを符号化する際に、前記サイズ変換後の画像データ、符号化中の画像データの少なくとも１つにフィルタをかけるか否かを判断する手段を備える、ことを特徴とする付記１乃至１１のいずれか一に記載の画像変換装置。
（付記１３）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのピクチャタイプを再利用する手段を備える、ことを特徴とする付記１乃至１２のいずれか一に記載の画像変換装置。
（付記１４）
前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する、ことを特徴とする付記１乃至１３のいずれか一に記載の画像変換装置。
（付記１５）
復号方式と符号化方式が互いに別の方式である、ことを特徴とする付記１乃至１４のいずれか一に記載の画像変換装置。
（付記１６）
受信した符号化データから画像データに復号し、
前記復号した画像データのサイズを変更し、
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する、ことを特徴とする画像変換方法。
（付記１７）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する、ことを特徴とする付記１６記載の画像変換方法。
（付記１８）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する、ことを特徴とする付記１６記載の画像変換方法。
（付記１９）
変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する、ことを特徴とする付記１６乃至１８のいずれか一に記載の画像変換方法。
（付記２０）
前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するかを判断する、ことを特徴とする付記１６乃至１９のいずれか一に記載の画像変換方法。
（付記２１）
前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する、ことを特徴とする付記１６乃至２０のいずれか一に記載の画像変換方法。
（付記２２）
受信した符号化データを復号する処理と、
復号した画像データのサイズを変更する処理と、
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する処理と、
をコンピュータに実行させるプログラム。
（付記２３）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの動きベクトル、ブロックタイプの少なくとも１つを、変換前後の画像サイズ比に合わせて、伸張又は短縮する処理を前記コンピュータに実行させる付記２２記載のプログラム。
（付記２４）
前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に予測モードを近似する処理を前記コンピュータに実行させる付記２２記載のプログラム。
（付記２５）
変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する処理を前記コンピュータに実行させる付記２２乃至２４のいずれか一に記載のプログラム。
（付記２６）
前記サイズ変更後の画像データを符号化する際に、量子化ステップサイズ、入力符号化データの符号量の分布の少なくとも１つを再利用するか判断する処理を前記コンピュータに実行させる付記２２乃至２５のいずれか一に記載のプログラム。
（付記２７）
前記サイズ変更後の画像データを符号化する際に、フレームレートを変換する処理を前記コンピュータに実行させる付記２２乃至２６のいずれか一に記載のプログラム。
（付記２８）
受信した符号化データを画像データに復号する復号部と、
装置外部からのサイズ変換要求又は前記復号部からの符号化パラメータを受け取り、サイズ変換部や符号化部を制御する変換制御部と、
前記復号部から入力された画像データを前記変換制御部の指示に基づいてサイズ変換を行うサイズ変換部と、
前記変換制御部の指示に従って、前記サイズ変換部から入力された画像データから符号化データを生成する符号化部と、
を備え，
前記符号化部は、前記サイズ変換部でサイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトル、参照フレーム情報の少なくとも１つを再利用する、ことを特徴とする画像変換装置。
（付記２９）
前記変換制御部は、装置外部から入力されたサイズ変換要求と、前記復号部からの符号化パラメータとを基に、前記サイズ変換部に対してサイズ変換要求を与え、前記符号化部に対して変換情報を与え、
前記サイズ変換部は、前記変換制御部からのサイズ変換要求情報にある倍率又は入出力画像サイズを用いて、前記復号部から受け取った画像データの画像サイズを変換し変換後の画像データを前記符号化部へ与え、
前記符号化部は、
前記変換制御部から受け取った変換情報とフレームメモリからの画像データを用いて、フレーム間予測を行い予測データを生成してスイッチに送るフレーム間予測データ生成部と、
前記変換制御部から受け取った変換情報と前記サイズ変換部から受け取った画像データとを用いてフレーム内予測を行い、予測データを生成して前記スイッチに送るフレーム内予測データ生成部と、
を備え、
前記スイッチは、前記変換制御部からの指示に従って前記フレーム間予測データ生成部又は前記フレーム内予測データ生成部で生成した予測データを、離散コサイン変換器、ループ内フィルタ器、前記フレーム内予測データ生成部に送ることが出来るように切り替え、
前記変換制御部からの指示のビットレートを目標にして量子化ステップを決定する量子化器と、
前記変換制御部から受け取った変換情報を基にヘッダ情報を生成するヘッダ情報生成部と、
前記ヘッダ情報生成部からのヘッダ情報を基に前記量子化器の出力を可変長符号化する可変長符号化器と、
を備えている、ことを特徴とする付記２８記載の画像変換装置。

なお、上記の特許文献１乃至４の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１００ 動画像変換装置
１０１ 変換制御部
１０２ 受信バッファ
１０３ 復号部
１０４ サイズ変換部
１０５ 符号化部
１０６ 送信バッファ
１０７ サイズ変換要求
１０８ サイズ変換要求
１０９ 変換情報
１１０ 入力符号化データ
１１１ 入力符号化データ
１１２ 符号化パラメータ
１１３ 画像データ
１１４ 画像データ
１１５ 符号化データ
１１６ 符号化データ
１１７ 符号化情報
２０１ フレーム間予測データ生成部
２０２ フレーム内予測データ生成部
２０３ スイッチ
２０４ フレームメモリ
２０５ ＤＣＴ(Discrete Cosine Transform)器
２０６ 量子化器
２０７ 逆量子化器
２０８ 逆ＤＣＴ器
２０９ ループ内フィルタ器
２１０ 可変長符号化器
２１１ ヘッダ情報生成部
２１２ ヘッダ情報
２１３ 画像データ
３００ 動画像変換装置
３０１ 変換制御部
４００ 動画像変換装置
４０１ 変換制御部
５００ 動画像変換装置
５０１ 変換制御部
６００ 動画像変換装置
６０１ 変換制御部
６０２ 符号化部
６０３ 変換情報
７０１ フレーム間予測符号化部
７０２ フレーム内予測符号化部
７０３ 動きベクトル、参照フレーム情報
７０４ 予測モード
８００ 動画像変換装置
８０１ 変換制御部
８０２ 符号化部
８０３ 変換情報
９０１ フレーム間予測データ生成部
９０２ フレーム間予測符号化部
９０３ フレーム内予測データ生成部
９０４ フレーム内予測符号化部
９０５ スイッチ
９０６ 動きベクトル、参照フレーム情報
９０７ 予測モード
１０００ 動画像変換装置
１００１ 変換制御部
１００２ 符号化部
１００３ 変換情報
１１０１ 量子化器
１２００ 動画像変換装置
１２０１ 変換制御部
１２０２ 符号化部
１２０３ 変換情報
１３０１ 量子化器
１４００ 動画像変換装置
１４０１ 変換制御部
１４０２ 符号化部
１４０３ 変換情報
１５０１ 量子化器
１６００ 動画像変換装置
１６０１ 変換制御部
１６０２ 符号化部
１６０３ 変換情報
１７０１ ループ内フィルタ器
１７０２ 画像データ
１８００ 動画像変換装置
１８０１ 変換制御部
１８０２ 変換要求
１８０３ サイズ変換・フレームスキップ要求
１８０４ 変換情報
１９００ 動画像変換装置
１９０１ 変換制御部
１９０２ 復号部
１９０３ 符号化部
１９０４ 変換要求
１９０５ 変換情報

Claims (8)

1. 受信した符号化データを復号する手段と、
   復号した画像データのサイズを変更する手段と、
   前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用する手段と、
   前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に、予測モードを近似する手段を備える、ことを特徴とする画像変換装置。
2. 変換前後の画像サイズ比に合わせて、予測モード、動きベクトルの少なくとも１つを分割又は合成して再利用する手段を備える、ことを特徴とする請求項１記載の画像変換装置。
3. 再利用した予測モード、動きベクトルの少なくとも１つを起点として、再予測する手段を備える、ことを特徴とする請求項１又は２に記載の画像変換装置。
4. 前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの量子化ステップサイズと符号量の分布の少なくとも１つを再利用する手段を備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像変換装置。
5. 前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのビットレートとフレームレートの少なくとも１つを変える手段を備える、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像変換装置。
6. 前記サイズ変更後の画像データを符号化する際に、前記サイズ変換後の画像データ、符号化中の画像データの少なくとも１つにフィルタをかけるか否かを判断する手段を備える、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像変換装置。
7. 前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データのピクチャタイプを再利用する手段を備える、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像変換装置。
8. 受信した符号化データから画像データに復号し、
   前記復号した画像データのサイズを変更し、
   前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モード、ブロックタイプ、動きベクトルと参照フレーム情報の少なくとも１つを、前記符号化に再利用し、
   前記サイズ変更後の画像データを符号化する際に、前記受信した符号化データの予測モードがサイズ変換後にそのまま使えない場合に、予測モードを近似する、ことを特徴とする画像変換方法。

Images