JP2007324923A - Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法 - Google Patents

Abstract

【課題】動画像中にスキップマクロブロックが連続して含まれる場合、同じ画像がコピーされているスキップマクロブロックの領域とそれ以外の領域とが混在することになる。すると、ユーザーは静止画状態の領域と動きのある動的領域とを同時に視認することになるので違和感や画質の劣化感をおぼえる、という課題がある。
【解決手段】以上課題解決のため、本発明は、スキップ識別情報を取得するスキップ識別情報取得部と、スキップ識別情報で識別されるスキップマクロブロックを構成する画素データにノイズ画素信号を重畳する補正部と、を有するＭＰＥＧ画質補正装置を提供する。これにより、例えばフレームごとに異なるノイズの重畳によって静止画状態のスキップマクロブロックに動感を持たせ、動画像再生時の違和感や画質劣化感を抑えることができる。
【選択図】図２

Description

本発明は、ＭＰＥＧ符号化方式で符号化された動画データの復号時の画質を補正する技術に関する。

ＭＰＥＧ符号化方式では、データの符号量を削減するために様々な技術が採用されており、その技術の一つに「フレーム間予測」がある。これは、シーンチェンジなどの場合を除き近接するフレーム間は類似性が高い（時間相関が高い）ことを前提とし、あるフレームの符号化時には参照フレームとの差分データを演算し、その差分データに対してＤＣＴ変換や量子化、可変長符号化などの符号化処理を行う、という方法である。

またフレーム間予測においては、例えばフレーム内に同じ映像が続く場合などに、その位置のマクロブロックに対して「スキップモード」が選択されることがある。そして、このスキップモードが選択されたマクロブロックの復号化は、参照フレームのマクロブロックをコピーすることで行う。そのため、スキップモードが選択された場合には、そのスキップモードを示す情報などに符号化することで画像データの符号化を省略することができるので、符号量を大幅に削減することができる。
特開２００２−３６９２０６号公報

しかし上記スキップモードを含む動画データは復号再生された際に、以下のようにユーザーに違和感や画質の劣化感などを生じさせる場合がある、という課題がある。すなわち動画像中にスキップモードが選択されたマクロブロックが連続して含まれる場合、動画像の中でスキップモードによって同じ画像がコピーされている領域とそれ以外の領域とが混在することになる。すると、ユーザーは、コピーによって静止画状態となっている領域とそれ以外で動きのある動的領域と、を同時に視認することになるので、このような動画像に関して違和感や画質の劣化感をおぼえる、ということである。

以上の課題を解決するために、本発明は、このようなスキップモードが選択され復号再生時には静止画状態となるスキップマクロブロックに対し、動感を生じさせるためデコード時などにノイズ画素を重畳する機能を備えたＭＰＥＧ画質補正装置およびＭＰＥＧ画質補正方法を提供する。

具体的には、ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得部と、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データにノイズ画素信号を重畳する補正部と、を有するＭＰＥＧ画質補正装置である。

また、さらにその重畳するノイズ画素信号の値をスキップモードのスキップ回数やフレームの画像平坦度などで決定し補正を行う機能を備えたＭＰＥＧ画質補正装置や、重畳するノイズ画素信号としてランダムノイズを発生させる機能を備えたＭＰＥＧ画質補正装置を提供する。

以上のような構成をとる本発明によって、例えば連続するスキップマクロブロックにそれぞれ異なったランダムノイズなどを重畳することで、本来再生時には静止画状態となるスキップマクロブロックに動感を付与し、擬似的に動的領域とすることができる。したがってデータ再生時に静止画領域と動的領域とが混在することでユーザーに生じる違和感、画質の劣化感を抑えることが可能になる。

以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

なお、実施例１は、主に請求項１、２、６、７について説明する。また、実施例２は、主に請求項３、８について説明する。また、実施例３は、主に請求項４、９について説明する。また、実施例４は、主に請求項５、１０について説明する。

≪実施例１≫
<概要>
図１の（ａ）（ｂ）は、動画像データを再生した際の、略連続した２つのフレームの一例を表す図である。この図１を用いて本実施例のＭＰＥＧ画質補正装置における画質補正処理の一例を概念的に説明する。この図１（ａ）（ｂ）にあるように、あるフレームにスキップモードが選択されたマクロブロック（の集合領域）αがある。このスキップマクロブロックの領域αでは、デコード時に画像がコピーされるので全く同じ画像が連続して再生されることになる。すると、動画再生時には、この領域αは、動感の無い静止画像領域としてユーザーに視認されることになる。一方、スキップマクロブロックの領域α以外の領域βでは、通常のデコード処理が行われ再生時には動的領域としてユーザーに視認されることになる。すると、ユーザーにとってはその「静止画状態の領域」と「動的領域」とが動画中で混在していることが違和感を生じさせる原因となり、画質の劣化感を覚えることになる。そこで、本実施例のＭＰＥＧ画質補正装置では、この領域αのスキップマクロブロックに対してノイズを重畳する処理を実行することで、この領域αにも再生時に動感を付与することができる。

<機能的構成>
図２は、本実施例のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ＭＰＥＧ画質補正装置」（０２００）は、「スキップ識別情報取得部」（０２０１）と、「補正部」（０２０２）と、を有する。

なお、以下に記載する本装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵや主メモリ、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶メディアとそれらメディアの読取ドライブなど）、印刷機器や表示装置、その他の外部周辺装置などのハードウェア構成部やその外部周辺機器用のＩ／Ｏポート、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるユーザーインターフェースなどが挙げられる。またこれらハードウェアやソフトウェアは、主メモリ上に展開したプログラムをＣＰＵで演算処理したり、メモリやハードディスク上に保持されているデータや、インターフェースを介して入力されたデータなどを加工、蓄積、出力処理したり、あるいは各ハードウェア構成部の制御を行ったりするために利用される。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

「スキップ識別情報取得部」（０２０１）は、スキップ識別情報を取得する機能を有する。「スキップ識別情報」とは、ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報をいう。また、「スキップモード」とは、前述のとおり、ＭＰＥＧ符号化方式において参照フレームのマクロブロックをコピーすることでスキップマクロブロックの復号化を行うモードをいう。

そして、本実施例では、このスキップ識別情報を利用してスキップモードのマクロブロックを識別し、動画再生時に静止画状態となる領域を構成するスキップマクロブロックに対して以下のような補正処理を行うことを特徴とする。なお、このスキップ識別情報は、ＭＰＥＧ符号化処理時にエンコーダ（符号器）によって付与され、復号化時に参照フレームのマクロブロックのコピー処理を行うか否かを決定するためデコーダ（復号器）に取得されるものをそのまま利用すると良い。

「補正部」（０２０２）は、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データにノイズ画素信号を重畳する機能を有する。「画素データ」とは、フレームデータを構成するピクセル単位の信号データをいい、例えばピクセルごとの輝度値や色差値、あるいはＲＧＢ値などで表される情報が挙げられる。

また、「ノイズ画素信号」とは、本来とは異なる値をとった画素信号をいい、例えば抵抗体内などの電子の不規則な熱振動によって生じる熱雑音によるノイズ画素信号や、荷電粒子のランダムな運動で生じるショット雑音によるノイズ画素信号等が挙げられる。

なお、この補正部でスキップマクロブロックを構成する画素データに重畳されるノイズ画素信号の取得方法は、上記のように熱雑音などを利用したランダムノイズ生成器を用い生成する方法や、予めランダムノイズなどに相当するノイズ画素信号の強度や分布のパターンを複数用意しておき、そのパターンの中から選択的に使用する方法などが挙げられる。

また、スキップマクロブロックと同一フレーム内に実際に混入、重畳されているノイズ画素信号を、ウェーブレット変換によって得られたウェーブレット係数のレベル間相関などを利用して抽出し、その抽出ノイズ画素信号を利用する方法も挙げられる。このようにスキップマクロブロック領域周囲のノイズ画素信号と同様のノイズ画素信号をスキップマクロブロックに重畳することで、さらに動画再生時のスキップマクロブロック領域とそれ以外の領域との違和感を抑えることができる。

また、「重畳」処理とは、例えば上記のように生成、選択、抽出などされたノイズ画素信号の値を、該当するピクセルの画素値に加算する処理や、該当するピクセルの画素値をノイズ画素信号の値に置き替える処理などさまざまであって良い。

また、この補正部は、図示しない「所定間隔重畳手段」を有していても構わない。「所定間隔重畳手段」は、同一マクロブロックに対するスキップが複数回連続する場合には所定のフレーム間隔で異なるノイズ画素信号を重畳する機能を有する。つまり同一マクロブロックが連続してコピーされる場合、その静止画状態が長く続くことになる。そこでこの所定間隔重畳手段にて所定のフレーム間隔で異なるノイズ画素信号を重畳することで、本来は静止画状態のスキップマクロブロックに動感を付与する、という具合である。

図３は、この補正部での補正処理の一例を説明するための概念図である。この図３の（ａ）にあるように、デコード時に、あるフレーム内のスキップマクロブロックの集合領域αに対して、図中の点で示すようなノイズ画素信号を重畳する。また、図３の（ｂ）にあるように、その次に再生されるフレームのスキップマクロブロックの領域αに対しては、図３（ａ）のものとは異なるランダムノイズを重畳する。このようにしてこれらフレームを含む動画を再生した際、本来同じ画像がコピーされいるスキップマクロブロックの領域αに動感を付与することができる。

「所定のフレーム間隔」とは、上述の例のように、例えば連続するフレーム間隔の他、１フレーム、２フレーム、・・・おき、といった具合のフレーム間隔や、あるいはランダムのフレーム間隔などが挙げられる。

なお、この補正部での補正処理は、例えばディスプレイなどの表示装置に再生出力するためデコーダにて復号されたフレームのスキップマクロブロックに対して行われる。すなわち本発明のＭＰＥＧ画質補正装置は、基本的には映像出力のためのデコーダを備えるＭＰＥＧ映像出力装置に付随する装置である。しかし、例えばエンコーダに内蔵されているローカルの（Ｐ／Ｂフレームなどの参照画像生成用）デコーダに付随させる構成であっても構わない。

<ハードウェア的構成>
図４は、上記機能的な各構成要件をハードウェアとして実現した際の、ＭＰＥＧ画質補正装置における構成の一例を表す概略図である。この図を利用して画質補正処理におけるそれぞれのハードウェア構成部の働きについて説明する。この図にあるように、ＭＰＥＧ画質補正装置は、スキップ識別情報取得部を含む「デコーダ」（０４０１）と、各種演算処理や判断処理を実行し、また各種命令を送出する「ＣＰＵ（中央演算装置）」（０４０２）と、補正部である「ノイズ信号生成回路」（０４０３Ａ）や「フレーム補正用メモリ」（０４０３Ｂ）と、を備えている。そしてそれらがシステムバスなどのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

また、「ＣＰＵ」は図示を省略している「主メモリ」に展開された各プログラムに従い演算処理や判断処理などを行うことができる。またその「主メモリ」や「フレーム補正用メモリ」などにはそれぞれ複数のメモリアドレスが割り当てられており、「ＣＰＵ」で実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている。

ここで、例えば図示しないＨＤＤに保持されているＭＰＥＧ動画データの再生命令が入力デバイスから入力されるなどし、ＭＰＥＧ動画データが「デコーダ」に読み出される。「デコーダ」では、逆可変長符号化、逆量子化、逆ＤＣＴ化などのエンコード処理の逆処理を行い、ＭＰＥＧ符号化された動画データの復号化処理を行う。そしてエンコード時にスキップモードが選択されているマクロブロックに関しては、参照フレームのマクロブロックの画像データをコピーすることでその復号化処理が実行される。そこで、そのスキップモードが選択されたことを示すマクロブロックの識別情報をスキップ識別情報としてデコーダにて取得し、「主メモリ」に送信する。

また、このデコーダで復号された動画を構成するフレームのピクセル画像データは、「フレーム補正用メモリ」に格納される。なお、この「フレーム補正用メモリ」は主メモリの一部のメモリ領域を利用することで実現されても良い。

続いて「ＣＰＵ」にてスキップ識別情報が取得されると、「ＣＰＵ」は主メモリに展開されている画質補正プログラムに従い、その識別情報で識別されるスキップマクロブロックに対して作為的に生成したノイズ画素信号による補正処理を行うための命令を生成し出力する。

「ＣＰＵ」から出力された命令を取得した「ノイズ信号生成回路」では、例えば熱雑音を利用してランダムノイズを生成したり、予め用意されＥＥＰＲＯＭなどに格納されている複数のノイズ信号パターンから利用するノイズ信号を選択したり、あるいはフレームメモリに格納されている画像データから実際に混入しているノイズ信号を抽出したりする。

そして、このように抽出、生成などされたノイズ画素信号を、「フレーム補正用メモリ」に格納されているスキップマクロブロックの画素信号に対して加算、あるいは置き換えなどの重畳処理を行い、画質補正を行う、という具合である。

なお、前述のスキップ識別情報取得の際に一のマクロブロックにおけるその取得回数をカウントし、回数情報を主メモリの所定のメモリアドレスに格納するようにしても良い。このようにスキップ回数をカウントすることで、実施例２で説明するように、そのスキップ回数に応じたノイズ画素信号による補正を実行することもできる。

<処理の流れ>
図５は、本実施例のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ＭＰＥＧ符号化されている動画データが復号化され、スキップマクロブロックのスキップ識別情報を取得する（ステップＳ０５０１）。また、スキップマクロブロックに重畳するためのノイズ画素信号を生成する（ステップＳ０５０２）。そして、取得したスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに、生成したノイズ画素信号を重畳する（ステップＳ０５０３）。また、ステップＳ０５０２のノイズ画素信号の生成処理は、所定のフレーム間隔で異なるよう生成されても良い。そして、ステップＳ０５０３の重畳処理では、例えば同一マクロブロックに対するスキップが複数回連続するか判断し、その判断結果が連続するとの判断結果である場合には、所定のフレーム間隔で、その生成した異なるノイズ画素信号をそれぞれに重畳する、といった処理であっても良い。

<効果の簡単な説明>
以上のように、本実施例のＭＰＥＧ画質補正装置によって、連続するスキップマクロブロックにそれぞれ異なったランダムノイズなどを重畳することで、本来再生時には静止画状態となるスキップマクロブロックに動感を付与し、擬似的に動的領域とすることができる。したがってデータ再生時に静止画領域と動的領域とが混在することでユーザーに生じる違和感、画質の劣化感を抑えることが可能になる。

≪実施例２≫
<概要>
本実施例は、実施例１を基本として、補正としてスキップマクロブロックの画素データに重畳するノイズ画素信号の値を、そのスキップ回数に応じて重み付けされた値とすることを特徴とするＭＰＥＧ画質補正装置である。

これは、スキップマクロブロックのスキップ回数が連続するほど、コピーが連続し静止画状態となる時間が長くなる。そのため、スキップマクロブロックの静止画状態の領域と、それ以外の動的領域との差異をユーザーが認識しやすくなる。そこで本実施例では、このようにスキップマクロブロックが連続再生される場合に、重畳するノイズ画素の数を多くしたり、ノイズ画素の値を調整したり、分布状態を密に変化させたりするなどして強く重み付けを行ったノイズ画素信号を重畳し補正することにより、さらに違和感や画質の劣化感を覚えにくくすることが可能になる、という具合である。

<機能的構成>
図６は、本実施例のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ＭＰＥＧ画質補正装置」（０６００）は、実施例１を基本として、「スキップ識別情報取得部」（０６０１）と、「補正部」（０６０２）と、を有する。なお、これら「スキップ識別情報取得部」と、「補正部」と、は、実施例１で記載したものと同様であるのでその詳細な説明は省略する。そして、本実施例のＭＰＥＧ画質補正装置の特徴点は、さらに「スキップ回数情報取得部」（０６０３）を有する点と、「補正部」がさらに「回数依存ノイズ画素信号取得手段」（０６０４）を有する点である。

「スキップ回数情報取得部」（０６０３）は、スキップマクロブロックのスキップ回数情報を取得する機能を有する。スキップ回数情報は、例えば、デコーダから出力されるマクロブロックのスキップ識別情報の回数をマクロブロック毎にカウントし、主メモリなどに格納することで取得すると良い。

「回数依存ノイズ画素信号取得手段」（０６０４）は、前記スキップ回数情報に基づいて入力すべきノイズ画素信号の値を取得する機能を有する。「スキップ回数情報に基づく値」とは、スキップ回数情報で示されるスキップ回数の値を用いて算出されるノイズ画素信号の値やその個数、分布状態などをいう。

図７は、このスキップ回数に基づくノイズ画素信号の値の算出方法の一例を説明するための図である。この図にあるように、「Ｓ１」と「Ｓ２」の２つの閾値を有し、スキップ回数が閾値Ｓ１以下であれば、スキップ回数は少ないとしてノイズ画素信号に対する重み付け値は「０」とする。また、スキップ回数が閾値Ｓ１からＳ２の間であれば、図に示すような所定の関数ｆ（Ｓ）に応じてノイズ画素信号に対する重み付け値を算出する。また、スキップ回数が閾値Ｓ２以上であれば、スキップ回数が多いとしてノイズ画素信号に対する重み付け値は「１」とする。

そして、ノイズ画素信号の各画素値や重畳すべき数をその取得した重み付け値で乗じることにより、スキップ回数に応じて、スキップ回数が少なければ図７の（ａ）に示すように軽いノイズ画素信号が、そしてスキップ回数が多ければ図７の（ｂ）に示すように重いノイズ画素信号が取得される、という具合である。そしてそれによって、スキップ回数に応じたスキップマクロブロックの補正を実行することができる。

<処理の流れ>
図８は、本実施例のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ＭＰＥＧ符号化されている動画データが復号化され、スキップマクロブロックを識別するスキップ識別情報を取得する（ステップＳ０８０１）。また、そのスキップマクロブロックのスキップ回数情報も取得する（ステップＳ０８０２）。続いて、取得したスキップ回数情報に基づいて入力すべきノイズ画素信号の値を、例えば図７に示すような関数を利用して取得する（ステップＳ０８０３）。そして、取得したスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに、前記スキップ回数に基づいて取得した値のノイズ画素信号を重畳する（ステップＳ０８０４）。

<効果の簡単な説明>
以上のように、本実施例のＭＰＥＧ画質補正装置によって、スキップ回数に応じたスキップマクロブロックの補正を実行することができる。したがって、スキップモードが連続しその静止画状態の領域をより長くユーザーが視認するような場合でも、さらに違和感や画質の劣化感を覚えにくくすることが可能になる。

≪実施例３≫
<概要>
本実施例は、実施例１や２を基本として、補正としてスキップマクロブロックの画素データに重畳するノイズ画素信号の値を、そのスキップマクロブロックの平坦度に応じて重み付けされた値とすることを特徴とするＭＰＥＧ画質補正装置である。

これは、スキップマクロブロックが類似する画素データで構成された平坦度の高い画像であるほどユーザーが視認する情報量が少ないためスキップマクロブロックの静止画状態の領域と、それ以外の動的領域との差をユーザーが認識しやすくなる。そこで本実施例ではこのような場合には、実施例２同様、重畳するノイズ画素の数を多くしたり、ノイズ画素の値や分布状態などを調整したりするなどして強く重み付けを行ったノイズ画素信号を重畳し補正することにより、さらに違和感や画質の劣化感を覚えにくくすることが可能になる、という具合である。

<機能的構成>
図９は、本実施例のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ＭＰＥＧ画質補正装置」（０９００）は、実施例１を基本として、「スキップ識別情報取得部」（０９０１）と、「補正部」（０９０２）と、を有する。なお、これら「スキップ識別情報取得部」と、「補正部」と、は、実施例１で記載したものと同様であるのでその詳細な説明は省略する。また本実施例は、実施例２を基本として、図示していないがさらに「スキップ回数情報取得部」や「回数依存ノイズ画素信号取得手段」などを備えていても構わない。

そして、本実施例のＭＰＥＧ画質補正装置の特徴点は、さらに「画像平坦度情報取得部」（０９０３）を有する点と、「補正部」がさらに「平坦度依存ノイズ画素信号取得手段」（０９０４）を有する点である。

「画像平坦度情報取得部」（０９０３）は、スキップマクロブロックにおける画像平坦度情報を取得する機能を有する。「画像平坦度情報」とは、マクロブロックの画像の平坦度合いを示す情報をいい、例えばマクロブロックを構成する各画素の平均値などを用いて算出する方法などが挙げられる。

図１０は、この平坦度を算出するための算出回路の一例を表す概念図である。この図１０（ａ）にあるように、平坦度の算出対象であるスキップマクロブロックが「Ｐ００」から「Ｐ１５」までの４×４画素で構成されている。すると、この平坦度算出回路では、それぞれの画素の輝度値が入力され、輝度平均値が算出される。次にその輝度平均値と「Ｐ００」から「Ｐ１５」までの各画素の輝度値との差分値がそれぞれ絶対値として算出される。この差分値の絶対値は、マクロブロックの平均に近いほど、すなわち各画素値が類似し平坦度合いが高いほど、小さくなる。そこで、このそれぞれの画素の差分絶対値を加算し、その値を画像平坦度の指標とし取得する、という具合である。

また、その他の画像平坦度の取得方法としては、標準偏差を利用する方法も挙げられる。標準偏差を利用する場合、各画素値の平均値、及びその平均値と各画素の差を上記と同様にして算出する。そしてその算出値を二乗した値を足し、画素の個数で割り平方根をとった値を画像平坦度を示す標準偏差として取得する、という具合である。

「平坦度依存ノイズ画素信号取得手段」（０９０４）は、前記画像平坦度情報に基づいて入力するノイズ画素信号の値を取得する機能を有する。「画像平坦度情報に基づく値」とは、例えば前述のようにして算出された画像平坦度を表す値を用いて算出されるノイズ画素信号の値をいう。

図１１は、この画像平坦度に基づくノイズ画素信号の値の算出方法の一例を説明するための図である。この図にあるように、「Ｆ１」と「Ｆ２」の２つの閾値を有し、画像平坦度を示す数値が閾値Ｆ１以下であれば、画像は平坦であるとしてノイズ画素信号に対する重み付け値は「１」とする。また、画像平坦度を示す数値が閾値Ｆ１からＦ２の間であれば、図に示すような所定の関数ｆ（Ｆ）に応じてノイズ画素信号に対する重み付け値を算出する。また、画像平坦度を示す値が閾値Ｆ２以上であれば、画像は平坦ではないとしてノイズ画素信号に対する重み付け値は「０」とする。

そして実施例２のスキップ回数と同様、ノイズ画素信号の各画素の値をその取得した重み付け値で乗じることにより、画像平坦度に応じて重み付けされたノイズ画素信号が取得される、という具合である。そしてそれによって、画像平坦度に応じたスキップマクロブロックの補正を実行することができる。

また、もちろん、実施例２を基本として、スキップ回数に基づく重み付け値と、画像平坦度に基づく重み付け値とを乗じて算出された重み付け値を利用することで、スキップ回数と画像平坦度の双方に応じた補正を行う構成であっても良い。

<処理の流れ>
図１２は、本実施例のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ＭＰＥＧ符号化されている動画データが復号化され、スキップマクロブロックを識別するスキップ識別情報を取得する（ステップＳ１２０１）。また、そのスキップマクロブロックの画像平坦度情報も取得する（ステップＳ１２０２）。続いて、取得した画像平坦度情報に基づいて入力すべきノイズ画素信号の値を、例えば図１１に示すような関数を利用して取得する（ステップＳ１２０３）。そして、取得したスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに、前記画像平坦度に基づいて取得した値のノイズ画素信号を重畳する（ステップＳ１２０４）。

<効果の簡単な説明>
以上のように、本実施例のＭＰＥＧ画質補正装置によって、画像平坦度に応じたスキップマクロブロックの補正を実行することができる。したがって、ユーザーが視認する情報量が少ないため静止画状態の領域と動的領域との差を感じやすい動画において、さらに違和感や画質の劣化感を覚えにくくすることが可能になる。

≪実施例４≫
<概要>
本実施例は、実施例１，２，３を基本として、補正に利用するノイズ画素信号としてランダムノイズを生成する機能を備えていることを特徴とするＭＰＥＧ画質補正装置である。このように、ノイズ画素信号をランダムノイズとすることで、重い演算処理である実際に混入したノイズ画素信号の抽出などによるノイズ画素信号の生成に比べて、その処理負荷を軽減し、処理回路を簡略化することができる。また、同じようなノイズが並列したり、ノイズパターンが繰り返し利用されたりすることにより生じる、動画再生時の視聴者の違和感を抑えることも出来る。

<機能的構成>
図１３は、本実施例のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「ＭＰＥＧ画質補正装置」（１３００）は、実施例１を基本として、「スキップ識別情報取得部」（１３０１）と、「補正部」（１３０２）と、を有する。なお、これら「スキップ識別情報取得部」と、「補正部」と、は、実施例１で記載したものと同様であるのでその詳細な説明は省略する。また本実施例は、実施例２や３を基本として、図示していないがさらに「スキップ回数情報取得部」や「回数依存ノイズ画素信号取得手段」、又は／及び「画像平坦度情報取得部」や「平坦度依存ノイズ画素信号取得手段」などを備えていても構わない。

そして、本実施例のＭＰＥＧ画質補正装置の特徴点は、「補正部」がさらに「ランダムノイズ生成手段」（１３０３）を有する点である。

「ランダムノイズ生成手段」（１３０３）は、ランダムノイズを生成する機能を有する。「ランダムノイズ」とは、前記ノイズ画素信号としてスキップマクロブロック中にランダムに重畳するノイズをいう。このランダムノイズ生成手段は、例えば熱雑音などを利用した乱数発生器を利用してノイズ画素信号の画素値や、そのノイズ画素信号が重畳される画素の位置情報を決定することで生成する方法が挙げられる。

このように補正用に重畳するノイズ画素信号としてランダムノイズを利用することで、前述のように、ＭＰＥＧ画質補正装置の処理負荷を軽減し、処理回路を簡略化することができる。また、同じようなノイズが並列したり、ノイズパターンが繰り返し利用されたりすることにより生じる視聴者の違和感を抑えることも出来る。

<処理の流れ>
図１４は、本実施例のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャートである。なお、以下に示すステップは、媒体に記録され計算機を制御するためのプログラムを構成する処理ステップであっても構わない。この図にあるように、まず、ＭＰＥＧ符号化されている動画データが復号化され、スキップマクロブロックを識別するスキップ識別情報を取得する（ステップＳ１４０１）。続いて、画質補正用のノイズ画素信号としてランダムノイズを生成する（ステップＳ１４０２）。そして、取得したスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに、前記生成したランダムノイズをノイズ画素信号として重畳する（ステップＳ１４０３）。

<効果の簡単な説明>
以上のように、本実施例のＭＰＥＧ画質補正装置によって、ＭＰＥＧ画質補正装置の処理負荷を軽減し、処理回路を簡略化することができる。また、同じようなノイズが並列したり、ノイズパターンが繰り返し利用されたりすることにより生じる視聴者の違和感を抑えることも出来る。

実施例１のＭＰＥＧ画質補正装置における画質補正処理の一例を概念的に説明するための図 実施例１のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図 実施例１のＭＰＥＧ画質補正装置の補正部での補正処理の一例を説明するための概念図 実施例１のＭＰＥＧ画質補正装置におけるハードウェア構成の一例を表す概略図 実施例１のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャート 実施例２のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図 実施例２のＭＰＥＧ画質補正装置の回数依存ノイズ画素信号取得手段でのスキップ回数に基づくノイズ画素信号の値の算出方法の一例を説明するための図 実施例２のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャート 実施例３のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図 実施例３のＭＰＥＧ画質補正装置の画像平坦度情報取得部での平坦度を算出するための算出回路の一例を表す概念図 実施例３のＭＰＥＧ画質補正装置の画像平坦度情報取得部での画像平坦度に基づくノイズ画素信号の値の算出方法の一例を説明するための図 実施例３のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャート 実施例４のＭＰＥＧ画質補正装置における機能ブロックの一例を表す図 実施例４のＭＰＥＧ画質補正装置における処理の流れの一例を表すフローチャート

符号の説明

０２００ ＭＰＥＧ画質補正装置
０２０１ スキップ識別情報取得部
０２０２ 判断部
０２０３ 補正部

Claims (10)

1. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得部と、
   前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データにノイズ画素信号を重畳する補正部と、
   を有するＭＰＥＧ画質補正装置。
2. 前記補正部は、同一マクロブロックに対するスキップが複数回連続する場合には所定のフレーム間隔で異なるノイズ画素信号を重畳する所定間隔重畳手段を有する請求項１に記載のＭＰＥＧ画質補正装置。
3. スキップマクロブロックのスキップ回数情報を取得するスキップ回数情報取得部をさらに有し、
   前記補正部は、
   前記スキップ回数情報に基づいて入力すべきノイズ画素信号の値を取得するスキップ回数依存ノイズ画素信号取得手段を備える請求項１又は２に記載のＭＰＥＧ画質補正装置。
4. スキップマクロブロックにおける画像平坦度情報を取得する画像平坦度情報取得部をさらに有し、
   前記補正部は、
   前記画像平坦度情報に基づいて入力するノイズ画素信号の値を取得する平坦度依存ノイズ画素信号取得手段を備える請求項１から３のいずれか一に記載のＭＰＥＧ画質補正装置。
5. 前記補正部は、
   前記ノイズ画素信号としてスキップマクロブロック中にランダムに重畳するノイズであるランダムノイズを生成するランダムノイズ生成手段を有する請求項１から４のいずれか一に記載のＭＰＥＧ画質補正装置。
6. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得ステップと、
   前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データにノイズ画素信号を重畳する補正ステップと、
   を計算機に実行させるＭＰＥＧ画質補正方法。
7. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得ステップと、
   同一マクロブロックに対するスキップが複数回連続する場合には、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに所定のフレーム間隔で異なるノイズ画素信号を重畳する補正ステップと、
   を計算機に実行させるＭＰＥＧ画質補正方法。
8. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得ステップと、
   前記取得されたスキップ識別情報に基づいてスキップマクロブロックのスキップ回数情報を取得するスキップ回数情報取得ステップと、
   前記スキップ回数情報に基づいて入力すべきノイズ画素信号の値を取得するスキップ回数依存ノイズ画素信号取得ステップと、
   同一マクロブロックに対するスキップが複数回連続する場合には、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに所定のフレーム間隔で異なるよう前記取得したノイズ画素信号を重畳する補正ステップと、
   を計算機に実行させるＭＰＥＧ画質補正方法。
9. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得ステップと、
   前記取得されたスキップ識別情報で識別されるスキップマクロブロックの画像平坦度情報を取得する画像平坦度情報取得ステップと、
   前記画像平坦度情報に基づいて入力すべきノイズ画素信号の値を取得する画像平坦度依存ノイズ画素信号取得ステップと、
   同一マクロブロックに対するスキップが複数回連続する場合には、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに所定のフレーム間隔で異なるよう前記取得したノイズ画素信号を重畳する補正ステップと、
   を計算機に実行させるＭＰＥＧ画質補正方法。
10. ＭＰＥＧ符号化方式のスキップモードにて符号化されているスキップマクロブロックの識別情報であるスキップ識別情報を取得するスキップ識別情報取得ステップと、
    スキップマクロブロック中にランダムに重畳するノイズであるランダムノイズを生成するランダムノイズ生成ステップと、
    同一マクロブロックに対するスキップが複数回連続する場合には、前記取得されたスキップ識別情報で識別されるスキップマクロブロックを構成する画素データに所定のフレーム間隔で異なるよう前記取得したランダムノイズのノイズ画素信号を重畳する
    補正ステップと、
    を計算機に実行させるＭＰＥＧ画質補正方法。

Images