JP2005347841A - 画像再生装置及び画像再生方法 - Google Patents

Abstract

【課題】スロー再生時の歪を抑制して、スロー画像をより滑らかに再生する。
【解決手段】動き補償部１６の動きベクトル演算部１６ａは、スロー再生用の補間画像用の動きベクトルを演算する。動き補償部１６は、画像メモリ１９が記憶する参照フレームの正規復号画像を、この演算した動きベクトル分だけ移動させて、加算器１８に出力する。また、動き補償部１６は、演算した動きベクトルｍｖ１を差分情報処理部１７の位置変換部１７ｂに出力する。画素値変換部１７ａは、スロー制御情報Ｓ１に基づいて、逆ＤＣＴ部１４から供給された正規差分情報の各画素の画素値に対する画素値変換を行い、位置変換部１７ｂは、位置変換を行う。加算器１８は、差分情報処理部１７が出力した差分情報と動き補償部１６が出力した画像とを加算して、スロー再生用の補間画像を生成する。
【選択図】図１

Description

本発明は、画像再生装置及び画像再生方法に関するものである。

動画画像の処理に、ＭＰＥＧ２，ＭＰＥＧ４といったＭＰＥＧ（Moving Picture Experts Group/Moving Picture Image Coding Experts Group）符号化方式を用いたものがある。

ＭＰＥＧ符号化方式は、画像を形成するフレーム間で、動きのある部分について動き補償予測を行い、そのフレーム間で求められた差分情報に対してＤＣＴ処理、エントロピー符号化方式による符号化を行う方式である。ＭＰＥＧ符号化方式のものでは、このような符号化を行うことにより、供給された動画のような動きのある画像から、その冗長性が取り除かれ、情報量が削減される。

このＭＰＥＧ符号化方式によって生成された符号化データを復号化するためには、参照フレームから現フレームまでの間で被写体の動いた方向と距離を示す動きベクトルとが必要になってくる。このため、ＭＰＥＧ符号化方式によって生成された符号化データには、動きベクトルが含められる。

そして、この動きベクトルを用いて画像をスロー再生するようにした画像再生装置がある（例えば、特許文献１参照）。即ち、この画像再生装置は、スロー再生の倍率をＮとして、（Ｎ−１）個の補間画像用の動きベクトルを演算し、演算した動きベクトルを用いて（Ｎ−１）個の補間画像を生成するようにしている。また、この画像再生装置は、正規に復号されるべき正規復号画像に対応する正規差分情報と、演算した（Ｎ−１）個の補間画像用の動きベクトルと、に基づいて、補間画像を生成するようにしている。
特開平１０−０９３９２０号公報（第３，４頁、図１）

しかし、従来の画像再生装置では、このようにして補間画像を生成しても、動き補償が行われるブロック間で歪が発生し、この歪が顕著となる場合もあり、必ずしもスロー再生時の動きが滑らかになるとは限らない。

本発明は、このような従来の問題点に鑑みてなされたもので、スロー画像の滑らかな再生を可能とする画像再生装置及び画像再生方法を提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像再生装置は、
現画像と動き補償が行われた画像との差を示す差分情報と、前記動き補償を行うための動きベクトルと、を含む符号化データを復号化して画像を再生する画像再生装置において、
前記符号化データを復号化する復号化部と、
前記復号化部が復号化した動きベクトルを正規動きベクトルとして、前記正規動きベクトルから、スロー再生に用いる補間画像用の補間動きベクトルを生成する補間動きベクトル生成部と、
前記復号化部が復号化した差分情報を正規差分情報として、予め設定されたスロー倍数と前記補間動きベクトル生成部が取得した補間動きベクトルとに基づいて、前記正規差分情報に対する画像処理を行い、前記補間画像生成用の補間差分情報を生成する補間差分情報生成部と、
前記補間動きベクトル生成部が生成した補間動きベクトルに基づいて動き補償を行った動き補償補間画像と前記補間差分情報生成部が生成した補間差分情報とを加算して前記補間画像を生成する補間画像生成部と、
前記正規差分情報及び正規動きベクトルに基づいて生成された正規復号画像の前後に、前記補間画像生成部が生成した補間画像を挿入し、スロー再生されるように時間を設定して、前記正規復号画像と前記補間画像とを、順次、出力する画像出力部と、を備えたことを特徴とする。

前記補間差分情報生成部は、前記正規差分情報に対する画像処理として、前後の正規差分情報との間で画素値が変化するように、前記スロー倍数に基づいて前記正規差分情報の各画素値に対する画素値変換を行い、前記補間差分情報を生成するようにしてもよい。

前記補間差分情報生成部は、前記正規差分情報に対する画像処理として、前記補間動きベクトル生成部が生成した補間動きベクトルに基づいて、前記正規差分情報に対する位置変換を行って、前記補間差分情報を生成するようにしてもよい。

前記補間差分情報生成部は、スロー倍数をＮとして、前記前後の正規差分情報の間に挿入する（Ｎ−１）枚のうち、前の正規差分情報からｎ枚目の補間差分情報の各画素の画素値を、後の正規差分情報の各画素の画素値をｎ／Ｎ倍して求めることにより、前記ｎ枚目の補間差分情報を生成するようにしてもよい。

前記補間差分情報生成部は、前記正規動きベクトルから、数１に従って、前記正規差分情報に対する位置変換を行うための位置変換用動きベクトルを求め、求めた位置変換用動きベクトルに基づいて前記正規差分情報に対する位置変換を行い、前記補間差分情報を生成するようにしてもよい。

前記補間動きベクトル生成部は、スロー倍数をＮとして、前記前後の正規復号画像の間に挿入する（Ｎ−１）枚のうち、前の正規復号画像からｎ枚目の補間画像生成用の補間動きベクトルを、前記正規動きベクトルをｎ／Ｎ倍することにより生成するようにしてもよい。

本発明の第２の観点に係る画像再生方法は、
現画像と動き補償が行われた画像との差を示す差分情報と、前記動き補償を行うための動きベクトルと、を含む符号化データを復号化するステップと、
前記復号化した動きベクトルを正規動きベクトルとして、前記正規動きベクトルから、スロー再生に用いる補間画像用の補間動きベクトルを生成するステップと、
前記復号化した差分情報を正規差分情報として、予め設定されたスロー倍数と前記生成した補間動きベクトルとに基づいて、前記正規差分情報に対する画像処理を行い、前記補間画像生成用の補間差分情報を生成するステップと、
前記生成した補間動きベクトルに基づいて動き補償を行った動き補償補間画像と前記生成した補間差分情報とを加算して前記補間画像を生成するステップと、
前記正規差分情報及び正規動きベクトルに基づいて生成された正規復号画像の前後に、前記生成した補間画像を挿入し、スロー再生されるように時間を設定して、前記正規復号画像と前記補間画像とを、順次、出力するステップと、を備えたことを特徴とする。

本発明によれば、スロー画像を滑らかに再生することができる。

以下、本発明の実施形態に係る画像再生装置を図面を参照して説明する。
本実施形態に係る画像再生装置の構成を図１に示す。
本実施形態に係る画像再生装置１は、符号バッファ１１と、可変長復号化部１２と、逆量子化部１３と、逆ＤＣＴ部１４と、制御部１５と、動き補償部１６と、差分情報処理部１７と、加算器１８と、画像メモリ１９と、表示バッファ２０と、画像出力部２１と、を備える。

画像再生装置１には、例えば、ＭＰＥＧ２，ＭＰＥＧ４のようなＭＰＥＧ符号化方式によって符号化されたデータが供給される。ＭＰＥＧ符号化方式では、参照フレームと現フレームとの間で動いた画像のフレーム間差分に基づいて動き補償が行われる。

この動き補償を図２に基づいて説明する。尚、動き補償には順方向予測と逆方向予測とがあり、以下、順方向予測における１枚前のフレームを参照フレームとして、動き補償を説明する。動き補償は、ブロック単位で行われる。第ｎフレーム、第（ｎ−１）フレームを、それぞれ、現フレーム、参照フレームとする。また、ブロックＡn（ｉ，ｊ）、Ａn-1（ｉ，ｊ）を、それぞれ、第ｎフレーム、第（ｎ−１）フレームの画素位置（ｉ，ｊ）におけるブロックとする。動き補償では、ブロックＡn（ｉ，ｊ）と同位置にあるブロックＡn-1（ｉ，ｊ）を中心として、設定された探索範囲内で最も似ているブロックが探索される。

最も近似したブロックが破線で示すＡn-1（ｉ−ｕ，ｊ−ｖ）であるとすると、ブロックＡn-1（ｉ−ｕ，ｊ−ｖ）が動き補償の予測値として用いられる。即ち、Ｖ（ｕ，ｖ）を動きベクトルとして、第（ｎ−１）フレームのブロックＡn-1（ｉ−ｕ，ｊ−ｖ）と動きベクトルＶ（ｕ，ｖ）とに基づいて第ｎブロックのブロックＡn（ｉ，ｊ）を予測することができる。

このように、第（ｎ−１）フレームのブロックＡn-1（ｉ，ｊ）に基づいて第ｎブロックのブロックＡn（ｉ，ｊ）を予測する代わりに、ブロックＡn-1（ｉ−ｕ，ｊ−ｖ）と動きベクトルＶ（ｕ，ｖ）とに基づいて第ｎブロックのブロックＡn（ｉ，ｊ）を予測することを動き補償という。

ＭＰＥＧ符号化方式による符号化データは、図３に示すような符号化装置２によって生成される。この符号化装置２は、減算器３１と、ＤＣＴ部３２と、量子化部３３と、逆量子化部３４と、逆ＤＣＴ部３５と、加算器３６と、フレームメモリ３７と、動き補償部３８と、動きベクトル検出部３９と、可変長符号化部４０と、を備える。

減算器３１は、供給された元データ（現フレームの画像データ）と動き補償部３８が生成した参照フレームの画像データとの差分を求める。ＤＣＴ部３２は、減算器３１が求めた差分に対してＤＣＴ処理を行い、ＤＣＴ係数を生成する。量子化部３３は、ＤＣＴ部３２が生成したＤＣＴ係数に対して量子化を行う。

逆量子化部３４、逆ＤＣＴ部３５、加算器３６、フレームメモリ３７、動き補償部３８は、符号化装置２に供給された元データが、画像再生装置１において正しく復元されるように備えられたものである。まず、逆量子化部３４は、量子化部３３が量子化したデータに対して逆量子化を行い、ＤＣＴ係数を復元する。

逆ＤＣＴ部３５は、逆量子化部３４が復元したＤＣＴ係数に対して、逆ＤＣＴ処理を行い、減算器３１が求めた差分に対応するデータを生成する。加算器３６は、動き補償部３８が動き補償を行って求めたデータと逆ＤＣＴ部３５が生成したデータとを加算して、復号画像のデータを生成する。

フレームメモリ３７は、加算器３６が生成した復号画像のデータを参照フレームの画像データとして記憶する。動きベクトル検出部３９は、供給された元データとフレームメモリ３７が記憶するデータとに基づいて、参照フレームの画像データに対する現フレームの画像データの方向と位置を示す動きベクトルｍｖを検出する。

動き補償部３８は、動きベクトル検出部３９が検出した動きベクトルｍｖに基づいて、フレームメモリ３７が記憶した参照フレームの画像に対する動き補償を行い、動き補償を行ったデータを減算器３１に供給する。

可変長符号化部４０は、エントロピー符号化方式に従って、量子化部３３が量子化したデータを可変長符号データに符号化する。可変長符号化部４０は、エントロピー符号化方式として、例えば、ハフマン符号化方式、ランレングス符号化方式を用いる。

可変長符号化部４１は、可変長符号化部４０と同じ符号化方式に従って、動きベクトル検出部３９が検出した動きベクトルｍｖを可変長符号に符号化する。多重化部４２は、可変長符号化部４０，４１が、それぞれ、符号化したデータを多重化する。符号化装置２は、多重化部４２が多重化した符号化データを出力する。

図１に戻り、符号バッファ１１は、符号化装置２が出力した符号化データを一時保持するものである。

可変長復号化部１２は、符号バッファ１１が一時保持した符号化データを復号化するものである。可変長復号化部１２は、図３に示す符号化装置２の可変長符号化部４０，４１に対応するものであり、動きベクトル検出部３９が検出した動きベクトルｍｖを含むデータを復元する。可変長復号化部１２は、動きベクトルｍｖを動き補償部１６に供給する。

逆量子化部１３は、可変長復号化部１２が復元したデータに対して逆量子化を行い、ＤＣＴ係数を復元するためのものである。

逆ＤＣＴ部１４は、逆量子化部１３が復元したＤＣＴ係数に対して逆ＤＣＴ処理を行うことにより、正規差分情報を取得するものである。この正規差分情報は、符号化装置２の減算器３１が求めた差分に対応する情報である。

制御部１５は、画像再生装置１の各部を制御するものである。制御部１５は、ユーザによってスロー指示情報が供給される。スロー指示情報は、スロー再生を行うか否かを指示するための情報である。制御部１５は、スロー指示情報に従って、各部を制御するためのスロー制御情報Ｓ１を生成する。制御部１５は、生成したスロー制御情報Ｓ１を、動き補償部１６と差分画像処理部１７とに出力する。

スロー指示情報が通常再生を指示するものであれば、制御部１５は、通常再生を行わせるようなスロー制御情報Ｓ１を生成する。また、スロー指示情報がスロー再生を指示するものであれば、制御部１５は、スロー再生を行わせるように、補間画像の時間軸上の挿入位置を示すスロー制御情報Ｓ１を生成する。

例えば、図４（ａ）に示すような参照フレーム中の正規復号画像ｋ１が、動きベクトルｍｖだけ移動して、図４（ｂ）に示すような現フレーム中の正規復号画像ｋ２に変化するものとする。この正規復号画像ｋ１，ｋ２は、破線で示す升目を１として、５×５の矩形の中に十字マークが描かれた画像である。この場合に、ユーザによって、スロー再生を指示するスロー指示情報が供給されると、制御部１５は、スロー再生用の補間画像を生成するためのスロー制御情報Ｓ１を生成する。

まず、制御部１５は、供給されたスロー指示情報に基づいて、正規復号画像を補間する補間画像の時間軸上の位置を演算する。例えば、制御部１５は、スロー倍数としてＮ（Ｎは、Ｎ≧１である整数）倍のスロー画像を生成するためのスロー指示情報が供給されると、補間画像の数を（Ｎ−１）枚と判別する。

制御部１５は、次に、参照フレームと現フレームとの間のｎ枚目の補間画像の挿入係数を演算する。制御部１５は、補間画像の枚数ｎが供給されると、挿入係数が単調関数に従って０から１までの値に設定されるように、その挿入係数をｎ／Ｎと演算する。

尚、画像再生装置１は、ＭＰＥＧ２又はＭＰＥＧ４による符号化方式による符号データの構成がフレーム構成の場合はフレーム単位に、フィールド構成の場合は、フィールド単位にスロー再生を行うものとする。

制御部１５は、ｎ枚目の補間画像の挿入係数を演算すると、このｎ枚目の補間画像の挿入係数を示すスロー制御情報Ｓ１を動き補償部１６と差分情報処理部１７とに供給する。

動き補償部１６は、画像メモリ１９が記憶した図５（ａ）に示すような正規復号画像ｋ１を、可変長復号化部１２から供給された動きベクトルｍｖ分だけ移動して、図５（ｂ）に示すような動き補償を行った正規動き補償画像ｐ２を生成するものである。動き補償部１６は、生成した正規動き補償画像ｐ２を加算器１８に供給する。

また、動き補償部１６は、制御部１５から供給されたスロー制御情報Ｓ１に基づいて、動き補償補間画像を生成する。このため、動き補償部１６は、動きベクトル演算部１６ａを備える。

動きベクトル演算部１６ａは、制御部１５から供給されたスロー制御情報Ｓ１に基づいて、動きベクトルｍｖを正規動きベクトルとして、動きベクトルｍｖに対する演算を行い、再生時間で現フレームの１枚前のフレームから数えてｎ枚目の補間画像ｇ１ｎ用の動きベクトルｍｖ１を求めるものである。

動きベクトルｍｖ１は、補間画像ｇ１ｎ生成用の動き補償補間画像として、ｐ１ｎの位置を変換するための動きベクトルであり、動きベクトル演算部１６ａは、可変長復号化部１２から供給された動きベクトルｍｖに対して、次の数２に示す演算を行うことにより、ｎ枚目の補間画像生成用の補間動きベクトルとしての動きベクトルｍｖ１を求める。

動き補償部１６は、図５（ｃ）に示すように、参照フレームの正規復号画像ｋ１を、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１分だけ移動して、動き補償補間画像ｐ１ｎを生成する。

また、動き補償部１６は、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１を差分情報処理部１７の位置変換部１７ｂに供給する。

差分情報処理部１７は、制御部１５から、スロー再生を行うようにスロー制御情報Ｓ１が供給されて、補間画像ｇ１ｎ生成用の差分情報ｑ１ｎを生成するため、逆ＤＣＴ部１４から供給された正規差分情報ｑ２に対する画像処理を行うものである。差分情報処理部１７は、画素値変換部１７ａと、位置変換部１７ｂと、を備える。

正規復号画像ｋ２を図６に示すように解析すると、図６（ｂ）に示す正規復号画像ｋ２は、図６（ｃ）に示すような動き補償部１６の出力画像ｐ２と図６（ｄ）に示すような正規差分情報ｑ２とを加算して得られた画像である。

図６（ｃ）に示す出力画像ｐ２は、動き補償部１６が図６（ａ）に示すような参照フレームの復号画像ｋ１を動きベクトルｍｖ分だけ平行移動した画像である。図６（ｄ）に示す正規差分情報ｑ２は、逆ＤＣＴ部１４から差分情報処理部１７に供給された現フレームの正規差分情報である。

画素値変換部１７ａと位置変換部１７ｂとは、補間画像ｇ１ｎ生成用の差分情報ｑ１ｎを生成するため、この正規差分情報ｑ２に対する画像処理を行う。

まず、画素値変換部１７ａは、図６（ｄ）に示す正規差分情報ｑ２の各画素の画素値を、制御部１５から供給されたスロー制御情報Ｓ１に基づいて変換するものである。画素値変換部１７ａは、このような画素値変換を行うことにより、前の正規差分情報からｎ枚目の補間差分情報として、図７（ａ）に示すような差分情報ｑ１ｎを生成する。

具体的には、画素値変換部１７ａは、差分情報ｑ１ｎの各画素の画素値を、正規差分情報ｑ２の各画素の画素値をｎ／Ｎ倍することにより求める。動きベクトルｍｖが小さく、差分情報が大きい場合（例えば画像中の物体の動きが少ない時にフラッシュがたかれて輝度が大きく変化した場合等）において、画素値変換部１７ａは、有効に機能する。

位置変換部１７ｂは、スロー再生時、動き補償部１６から供給された動きベクトルｍｖ１に基づいて、画素値変換部１７ａが生成した差分情報ｑ１ｎの位置変換を行うものである。

このため、位置変換部１７ｂは、動き補償部１６から供給された動きベクトルｍｖ１と制御部１５から供給されたスロー制御情報ｓ１とを用い、次の数３に示す演算を行うことにより、差分情報ｑ１ｎの位置変換を行うための動きベクトルｍｖ２を求める。

位置変換部１７ｂは、画素値変換部１７ａが出力した図７（ａ）に示す差分情報ｑ１ｎを、演算した動きベクトルｍｖ２分だけ移動し、図７（ｂ）に示すような差分情報ｑ１ｎを生成する。動きベクトルｍｖが大きい場合、差分情報ｑ１ｎが追従して移動することは効果的であり、位置変換部１７ｂは、有効に機能する。

差分情報処理部１７は、位置変換部１７ｂが生成した差分情報ｑ１ｎを加算器１８に出力する。

加算器１８は、差分情報処理部１７から出力された差分情報と動き補償部１６が動き補償を行った参照フレームの画像とのデータを加算して、符号化装置２に供給された元データに対応する正規復号画像とスロー再生用の補間画像とを生成するものである。加算器１８は、生成した正規復号画像を画像メモリ１９と表示バッファ２０とに供給する。

画像メモリ１９は、加算器１８が生成した正規復号画像を記憶するものである。表示バッファ２０は、加算器１８が生成された正規復号画像、補間画像を一時記憶するものである。表示バッファ２０は、スロー再生時、加算器１８から供給された参照フレームの正規復号画像ｋ１と現フレームの正規復号画像ｋ２との間に挿入すべき最後の補間画像を一時記憶すると、復号終了を示す制御情報Ｓ２を制御部１５に出力する。

画像出力部２１は、表示バッファ２０が一時記憶した画像のデータを、スロー再生されるように時間を設定して、順次、出力するものである。

次に本実施形態に係る画像再生装置１の動作を説明する。
画像再生装置１に、図２に示す符号化装置２が生成した画像データと動きベクトルｍｖとを含む符号化データが供給されると、符号バッファ１１は、この符号化データを保持する。

可変長復号化部１２は、符号バッファ１１が保持したデータを復号化し、画像データと動きベクトルｍｖとを復元する。可変長復号化部１２は、復元した動きベクトルｍｖを差分情報処理部１７と動き補償部１６とに供給する。

逆量子化部１３は、可変長復号化部１２が復元したデータに対して逆量子化を行い、ＤＣＴ係数を復元する。

逆ＤＣＴ部１４は、逆量子化部１３が復元したＤＣＴ係数に対して逆ＤＣＴ処理を行うことにより、正規差分情報を取得する。逆ＤＣＴ部１４は、取得した正規差分情報を差分情報処理部１７に供給する。

制御部１５に、通常再生を指示するスロー指示情報が供給された場合、制御部１５は、通常再生を行わせるようなスロー制御情報Ｓ１を生成し、このスロー制御情報Ｓ１を差分情報処理部１７の画素値変換部１７ａ、動き補償部１６に出力する。

この場合、差分情報処理部１７は、逆ＤＣＴ部１４から供給された正規差分情報をそのまま、加算器１８に出力する。動き補償部１６は、画像メモリ１９が記憶する参照フレームの正規復号画像に対して動き補償を行い、この画像を加算器１８に出力する。

加算器１８は、差分情報処理部１７から出力された正規差分情報と動き補償部１６から出力された画像とを加算して、現フレームの正規復号画像を生成する。加算器１８は、生成した正規復号画像を画像メモリ１９と表示バッファ２０とに供給する。

画像メモリ１９は、既に記憶している正規復号画像に代えて、供給された新たな正規復号画像を記憶する。また、表示バッファ２０は、供給された正規復号画像を一時記憶し、画像出力部２１は、表示バッファ２０が一時記憶した正規復号画像を出力する。

制御部１５にスロー再生を指示するスロー指示情報が供給されると、制御部１５は、スロー再生を行わせるスロー制御情報Ｓ１を生成する。スロー指示情報が、例えば、３（＝Ｎ）倍のスロー画像の再生を指示するものであれば、制御部１５は、補間画像の数を２（＝Ｎ−１）枚と判別して、２枚の補間画像の時間軸上の挿入位置を演算する。この補間画像をｇ１１，ｇ１２とする。

図８に示すように、制御部１５は、正規復号画像ｋ１，ｋ２，補間画像ｇ１１，ｇ１２を生成するため、スロー制御情報Ｓ１を生成する。まず、制御部１５は、補間画像ｇ１１を生成するためのスロー制御情報Ｓ１＝１／３を生成する。制御部１５は、このスロー制御情報Ｓ１を差分情報処理部１７と動き補償部１６とに供給する。

尚、画像メモリ１９は、図９（ａ）に示すような参照フレームの正規復号画像ｋ１を記憶しているものとする。また、逆ＤＣＴ部１４は、図１０（ａ）に示すような現フレームの正規差分情報ｑ２を差分情報処理部１７に供給するものとする。

動き補償部１６の動きベクトル演算部１６ａは、制御部１５から供給されたスロー制御情報Ｓ１に従って数２の演算を行うことにより、可変長復号化部１２から供給された動きベクトルｍｖを１／３倍にスケーリングし、動きベクトルｍｖ１を求める。

動き補償部１６は、図９（ａ）に示す正規復号画像ｋ１を、動きベクトル演算部１９ａが求めた動きベクトルｍｖ１分だけ移動し、図９（ｂ）に示すような動き補償補間画像ｐ１１を生成する。

動き補償部１９は、生成した動き補償補間画像ｐ１１を加算器１８に出力する。また、動きベクトル演算部１６ａは、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１を差分情報処理部１７の位置変換部１７ｂに供給する。

差分情報処理部１７の画素値変換部１７ａは、制御部１５から供給されたスロー制御情報Ｓ１に基づいて、図１０（ａ）に示す正規差分情報ｑ２の各画素の画素値を１／３倍にスケーリングし、図１０（ｂ）に示すような差分情報ｑ１１を生成する。そして、画素値変換部１７ａは、取得した差分情報ｑ１１を位置変換部１７ｂに供給する。

位置変換部１７ｂは、動き補償部１６から供給された動きベクトルｍｖ１に基づいて数３による演算を行うことにより、動きベクトルｍｖ２を求める。位置変換部１７ｂは、画素値変換部１７ａが画素値変換を行った差分情報ｑ１１を、求めた動きベクトルｍｖ２分だけ移動し、図１１（ｂ）に示すような差分情報ｑ１１を生成する。尚、比較のため、図１１（ａ）に逆ＤＣＴ部１４が供給する現フレームの正規差分情報ｑ２を示す。差分情報処理部１７は、生成した差分情報ｑ１１を加算器１８に出力する。

加算器１８は、図１１（ｂ）に示すような差分情報ｑ１１と図９（ｂ）に示すような動き補償補間画像ｐ１１とを加算して、図１２（ｂ）に示すような補間画像ｇ１１を生成する。加算器１８は、生成した補間画像ｇ１１を表示バッファ２０に供給する。表示バッファ２０は、加算器１８から供給された補間画像ｇ１１を一時記憶して、制御部１５に、復号画像ｇ１１の生成が終了した旨の制御情報Ｓ２を出力する。

制御部１５は、復号画像ｇ１１の生成が終了した旨の制御情報Ｓ２が供給されると、補間画像ｇ１２を生成するためのスロー制御情報Ｓ１＝２／３を生成する。このスロー制御情報Ｓ１は、補間画像ｇ１２の挿入位置を示す。制御部１５は、このスロー制御情報Ｓ１を動き補償部１６と差分情報処理部１７とに供給する。

動き補償部１６の動きベクトル演算部１６ａは、制御部１５から供給されたスロー制御情報Ｓ１に従って数２の演算を行うことにより、動きベクトルｍｖを２／３倍にスケーリングし、動きベクトルｍｖ１を求める。

動き補償部１６は、図９（ａ）に示す正規復号画像ｋ１を、動きベクトル演算部１９ａが求めた動きベクトルｍｖ１分だけ移動し、図９（ｃ）に示すような動き補償補間画像ｐ１２を生成する。

動き補償部１６は、生成した動き補償補間画像ｐ１１を加算器１８に出力する。また、動きベクトル演算部１６ａは、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１を位置変換部１７ｂに供給する。

差分情報処理部１７の画素値変換部１７ａは、制御部１５から供給されたスロー制御情報Ｓ１に基づいて、図１０（ａ）に示す正規差分情報ｑ２の各画素の画素値を２／３倍にスケーリングし、図１０（ｃ）に示すような差分情報ｑ１２を生成する。そして、画素値変換部１７ａは、取得した差分情報ｑ１２を位置変換部１７ｂに供給する。

位置変換部１７ｂは、動き補償部１６から供給された動きベクトルｍｖ１に基づいて数３による演算を行うことにより、動きベクトルｍｖ２を求める。位置変換部１７ｂは、画素値変換部１７ａが画素値変換を行った差分情報ｑ１１を、求めた動きベクトルｍｖ２分だけ移動して、図１１（ｃ）に示すような差分情報ｑ１２を生成する。差分情報処理部１７は、生成した差分情報ｑ１２を加算器１８に出力する。

加算器１８は、図１１（ｃ）に示すような差分情報ｑ１２と図９（ｃ）に示すような動き補償補間画像ｐ１２とを加算して、図１２（ｃ）に示すような補間画像ｇ１２を生成する。加算器１８は、生成した補間画像ｇ１２を表示バッファ２０に供給する。表示バッファ２０は、加算器１８から供給された補間画像ｇ１２を一時記憶して、制御部１５に、補間画像ｇ１２の生成が終了した旨の制御情報Ｓ２を出力する。

制御部１５は、補間画像ｇ１２の生成が終了した旨の制御情報Ｓ２が供給されると、正規復号画像ｋ２を生成するためのスロー制御情報Ｓ１＝３／３を生成する。制御部１５は、生成したスロー制御情報Ｓ１を動き補償部１６と差分情報処理部１７とに供給する。

動き補償部１６の動きベクトル演算部１６ａは、制御部１５から供給されたスロー制御情報Ｓ１に従って数２の演算を行うことにより、動きベクトルｍｖを３／３倍にスケーリングし、動きベクトルｍｖ１を求める。

動き補償部１９は、図９（ａ）に示す正規復号画像ｋ１を、動きベクトル演算部１９ａが求めた動きベクトルｍｖ１分だけ移動し、図９（ｄ）に示すような正規動き補償画像ｐ２を生成する。

動き補償部１９は、生成した正規動き補償画像ｐ２を加算器１８に出力する。また、動きベクトル演算部１６ａは、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１を位置変換部１７ｂに供給する。

差分情報処理部１７の画素値変換部１７ａは、制御部１５から供給されたスロー制御情報Ｓ１に基づいて、図１０（ａ）に示す正規差分情報ｑ２の各画素の画素値を３／３倍にスケーリングし、図１０（ｄ）に示すような正規差分情報ｑ２を生成する。そして、画素値変換部１７ａは、取得した正規差分情報ｑ２を位置変換部１７ｂに供給する。

位置変換部１７ｂは、同じように、供給された動きベクトルｍｖ１に基づいて数３による演算を行うことにより、動きベクトルｍｖ２を求める。位置変換部１７ｂは、画素値変換部１７ａが画素値変換を行った差分情報ｑ１１を、求めた動きベクトルｍｖ２分だけ移動して、図１１（ｄ）に示すような正規差分情報ｑ２を生成する。差分情報処理部１７は、生成した正規差分情報ｑ２を加算器１８に出力する。

加算器１８は、図１１（ｄ）に示すような正規差分情報ｑ２と図９（ｄ）に示すような動き補償補間画像ｐ２とを加算して、図１２（ｄ）に示すような正規復号画像ｋ２を生成する。加算器１８は、生成した正規復号画像ｋ２を表示バッファ２０に供給する。表示バッファ２０は、加算器１８から供給された正規復号画像ｋ２を一時記憶して、制御部１５に、正規復号画像ｋ２の生成が終了した旨の制御情報Ｓ２を出力する。

表示バッファ２０は、加算器１８から供給された補間画像ｋ２を一時記憶して、制御部１５に、正規復号画像ｋ２の生成が終了した旨の制御情報Ｓ２を出力する。画像メモリ１８は、既に記憶している正規復号画像ｋ１を正規復号画像ｋ２で更新する。

画像出力部２１は、正規復号画像ｋ１と正規復号画像ｋ２との間に補間画像ｇ１１，ｇ１２を挿入し、スロー再生が行われるように時間軸を設定して、表示バッファ２０が一時保持しているデータを出力する。

このようにして、画像再生装置１は、図１２（ａ）〜（ｄ）に示すように生成した正規復号画像ｋ１，補間画像ｇ１１，ｇ１２，正規復号画像ｋ２を、順次、出力する。これにより、画像の位置と画素値とが変化してスロー再生が行われ、より滑らかなスロー画像の再生が行われる。

以上説明したように、本実施形態によれば、差分情報処理部１７は、逆ＤＣＴ部１４から供給された正規差分情報ｑ２に対して、画素値変換と位置変換とを行うようにした。

従って、スロー再生時、画像の位置は滑らかに変化し、画素値も滑らかに変化するため、スロー再生時の歪を抑制することができ、スロー画像をより滑らかに再生することができる。

また、制御部１５は、単調関数に従って０から１までの間の値をとるように、現フレームの再生時間で１枚前のフレームと現フレームとの間のｎ枚目の補間画像の挿入位置を演算するので、スロー画像が急に変化することもなく、より滑らかにスロー再生することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
上記実施形態では、差分情報処理部１７は、画素値変換部１７ａが差分情報に対する画素値変換を行ってから、位置変換部１７ｂが差分情報の位置を変換するように構成されている。しかし、差分情報処理部１７の構成は、このようなものに限られるものではない。例えば、画素値変換部１７ａが、位置変換部１７ｂの後に接続され、正規差分情報ｑ２に対する位置変換を行ってから、画素値変換を行うようにしてもよい。

また、差分情報処理部１７は、画素値変換部１７ａ及び位置変換部１７ｂのうちのいずれか一方が処理した差分情報を出力するようにしてもよい。

画素値変換部１７ａのみが差分情報の各画素の画素値を変換するようにする場合、制御部１５は、画素値変換部１７ａに、スロー制御情報Ｓ１として、ｎ／Ｎを供給する。

また、位置変換部１７ｂは、動き補償部１６から供給された動きベクトルｍｖ１にかかわらず、動きベクトルｍｖ２を０とする。このようにすると、画像再生装置１は、図１３（ａ）〜（ｄ）に示すような正規復号画像ｋ１、補間画像ｇ１１，ｇ１２、正規復号画像ｋ２を出力する。

また、位置変換部１７ｂのみが差分情報の各画素の画素値を変換するようにする場合、制御部１５は、画素値変換部１７ａにスロー制御情報Ｓ１＝１を供給する。

また、位置変換部１７ｂは、画素値一定の差分情報ｑ１１，ｑ１２を、求めた動きベクトルｍｖ２分だけ移動して、図１４（ａ）〜（ｄ）に示すような画素値一定の差分情報ｑ１１，ｑ１２、正規差分情報ｑ２を生成する。

画像再生装置１は、図１５（ａ）〜（ｄ）に示すような正規復号画像ｋ１、補間画像ｇ１１，ｇ１２、正規復号画像ｋ２を出力する。このようにしてスロー再生を行うこともできる。

上記実施形態では、３倍スロー再生を例として説明した。しかし、２倍スロー、又は４倍以上のスロー再生を行うこともできる。

上記実施形態では、スロー再生の倍数Ｎを指定してＮスロー指示情報がユーザによって指定されるように構成された。しかし、スロー再生の倍数を指定するＮが一定であれば、スロー再生を指示するだけでスロー再生を行うようにしてもよい。

差分情報は、画素単位のものであってもよいし、いくつかの画素、例えば、４画素をまとめた代表値を示すものであってもよい。

また、スロー制御情報をＳ１＝n/Nとする代わりに、例えば、Ｓ１＝(n*n)/(N*N)等としてもよい。

上記実施形態では、位置変換部１７ｂが、動きベクトル演算部１６ａが求めた動きベクトルｍｖ１に基づいて、位置変換用の動きベクトルｍｖ２を求めた。しかし、動きベクトル演算部１６ａが、動きベクトルｍｖ１，ｍｖ２を求め、位置変換部１７ｂに供給するようにしてもよい。

本発明の実施形態に係る画像再生装置の構成を示すブロック図である。 動き補償の内容を示す説明図である。 符号化データを生成する符号化装置の構成を示すブロック図である。 参照フレームの正規復号画像と現フレームの正規復号画像とを示す説明図である。 図１の動き補償部の動作を示す説明図である。 現フレームの画像の解析内容を示す説明図である。 図１の差分情報処理部の動作を示す説明図であり、（ａ）は、画素値変換部の動作を示し、（ｂ）は、位置変換部の動作を示す説明図である。 図１の画像再生装置の動作を示す説明図である。 （ａ）は、画像メモリが記憶する参照フレームの正規復号画像を示す説明図であり、（ｂ）〜（ｄ）は、図１の動き補償部の一連の出力画像を示す説明図である。 （ａ）は、図１の逆ＤＣＴ部が差分情報処理部に供給する現フレームの正規差分情報をを示し、（ｂ）〜（ｄ）は、図１の画素値変換部の出力情報を示す説明図である。 （ａ）は、図１の逆ＤＣＴ部が差分情報処理部に供給する現フレームの正規差分情報を示し、（ｂ）〜（ｄ）は、図１の位置変換部の出力情報を示す説明図である。 画像再生装置の出力画像を示す説明図である。 図１の位置変換部が位置変換を行わない場合の画像再生装置の一連の出力画像を示す説明図である。 図１の画素値変換部が画素値変換を行わない場合の差分情報処理部の一連の出力情報を示す説明図である。 図１の画素値変換部が画素値変換を行わない場合の画像再生装置の一連の出力画像を示す説明図である。

符号の説明

１・・・画像再生装置、２・・・符号化装置、１５・・・制御部、１６・・・動き補償部、１６ａ・・・動きベクトル演算部、１７・・・差分情報処理部、１７ａ・・・画素値変換部、１７ｂ・・・位置変換部、１８・・・加算器、１９・・・画像メモリ、２０・・・表示バッファ、２３・・・画像出力部

Claims (7)

1. 現画像と動き補償が行われた画像との差を示す差分情報と、前記動き補償を行うための動きベクトルと、を含む符号化データを復号化して画像を再生する画像再生装置において、
   前記符号化データを復号化する復号化部と、
   前記復号化部が復号化した動きベクトルを正規動きベクトルとして、前記正規動きベクトルから、スロー再生に用いる補間画像用の補間動きベクトルを生成する補間動きベクトル生成部と、
   前記復号化部が復号化した差分情報を正規差分情報として、予め設定されたスロー倍数と前記補間動きベクトル生成部が取得した補間動きベクトルとに基づいて、前記正規差分情報に対する画像処理を行い、前記補間画像生成用の補間差分情報を生成する補間差分情報生成部と、
   前記補間動きベクトル生成部が生成した補間動きベクトルに基づいて動き補償を行った動き補償補間画像と前記補間差分情報生成部が生成した補間差分情報とを加算して前記補間画像を生成する補間画像生成部と、
   前記正規差分情報及び正規動きベクトルに基づいて生成された正規復号画像の前後に、前記補間画像生成部が生成した補間画像を挿入し、スロー再生されるように時間を設定して、前記正規復号画像と前記補間画像とを、順次、出力する画像出力部と、を備えた、
   ことを特徴とする画像再生装置。
2. 前記補間差分情報生成部は、前記正規差分情報に対する画像処理として、前後の正規差分情報との間で画素値が変化するように、前記スロー倍数に基づいて前記正規差分情報の各画素値に対する画素値変換を行い、前記補間差分情報を生成する、
   ことを特徴とする請求項１に記載の画像再生装置。
3. 前記補間差分情報生成部は、前記正規差分情報に対する画像処理として、前記補間動きベクトル生成部が生成した補間動きベクトルに基づいて、前記正規差分情報に対する位置変換を行って、前記補間差分情報を生成する、
   ことを特徴とする請求項１に記載の画像再生装置。
4. 前記補間差分情報生成部は、スロー倍数をＮとして、前記前後の正規差分情報の間に挿入する（Ｎ−１）枚のうち、前の正規差分情報からｎ枚目の補間差分情報の各画素の画素値を、後の正規差分情報の各画素の画素値をｎ／Ｎ倍して求めることにより、前記ｎ枚目の補間差分情報を生成する、
   ことを特徴とする請求項２に記載の画像再生装置。
5. 前記補間差分情報生成部は、前記正規動きベクトルから、数１に従って、前記正規差分情報に対する位置変換を行うための位置変換用動きベクトルを求め、求めた位置変換用動きベクトルに基づいて前記正規差分情報に対する位置変換を行い、前記補間差分情報を生成する、
   ことを特徴とする請求項３に記載の画像再生装置。
   

   
6. 前記補間動きベクトル生成部は、スロー倍数をＮとして、前記前後の正規復号画像の間に挿入する（Ｎ−１）枚のうち、前の正規復号画像からｎ枚目の補間画像生成用の補間動きベクトルを、前記正規動きベクトルをｎ／Ｎ倍することにより生成する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像再生装置。
7. 現画像と動き補償が行われた画像との差を示す差分情報と、前記動き補償を行うための動きベクトルと、を含む符号化データを復号化するステップと、
   前記復号化した動きベクトルを正規動きベクトルとして、前記正規動きベクトルから、スロー再生に用いる補間画像用の補間動きベクトルを生成するステップと、
   前記復号化した差分情報を正規差分情報として、予め設定されたスロー倍数と前記生成した補間動きベクトルとに基づいて、前記正規差分情報に対する画像処理を行い、前記補間画像生成用の補間差分情報を生成するステップと、
   前記生成した補間動きベクトルに基づいて動き補償を行った動き補償補間画像と前記生成した補間差分情報とを加算して前記補間画像を生成するステップと、
   前記正規差分情報及び正規動きベクトルに基づいて生成された正規復号画像の前後に、前記生成した補間画像を挿入し、スロー再生されるように時間を設定して、前記正規復号画像と前記補間画像とを、順次、出力するステップと、を備えた、
   ことを特徴とする画像再生方法。

Images