JP2008182347A - 映像処理システム - Google Patents

Abstract

【課題】復号化側に「超解像」の映像処理のための処理ブロックがなくとも、符号化側からの低解像度映像信号の折り返し成分を抑圧制御できるようにする。
【解決手段】入力映像信号Ａの低域映像成分Ｉは低解像度変換部３で標本化されて低解像度低域映像成分となり、また、その高域映像成分Ｊは低解像度変換部２０で標本化されて低解像度高域映像成分となり、乗算器２１で振幅圧縮後、加算器２２で低解像度低域映像成分と加算され、振幅圧縮された高解像度高域映像成分が折り返し成分となる低解像度映像信号Ｃが得られる。復号化側ＤＥでは、超解像処理部７で低解像度映像信号Ｃから低域映像成分Ｄと高域映像成分Ｅとが復元され、高域映像成分Ｅが乗算器２３でもとの振幅に伸長された後、加算器１０で低域映像成分Ｄと加算されることにより、元の映像信号Ｆが得られる。復号化側ＤＥで超解像処理しない処理部を用いても、折り返し成分は振幅圧縮されているので、その影響を低減できる。
【選択図】図５（ａ）

Description

本発明は、高解像度の映像を一旦低解像度映像に変換して、その低解像度映像信号を伝送路に出力または記録媒体に記録し、伝送路または記録媒体からの低解像度映像信号を入力映像信号として、複数の低解像度映像信号から低域映像成分と高域映像成分とを分離、復元し、低解像映像に変換する前の高解像度の映像信号を復元する映像処理システム関する。

近年、デジタル放送の普及や青色レーザを使った光デバイスの普及により、従来のNTSC方式のテレビジョンよりも高解像度な映像ソースの視聴環境が整って来つつある。

このため、高解像度の映像ソースをネットワーク伝送したり、記録媒体に記録するには、非常に大きな帯域や容量が必要であるため、DVDなどに記録する際には、従来のNTSC方式の低解像度画像に変換して記録されている場合が多い。

一方、従来のNTSC方式の映像ソースを視聴するディスプレイは、デジタル放送に合わせたハイビジョン表示のために、高解像度化しており、それに対応する技術として、低解像度画像から高品位な高解像度画像を復元する「超解像」と呼ばれる技術が注目されている（例えば、特許文献１参照）。

この特許文献１に記載の技術は、入力画像よりも低い解像度の表示デバイスでこの入力画像を表示する場合、この入力画像を間引き（サンプリング）してこの表示デバイスの解像度にあった解像度の画像に変換し、これを表示デバイスで表示させるものであるが、この表示に際し、「超解像」技術を利用することにより、この表示デバイスで視覚的に高解像度の映像が得られるようにするものである。

入力画像は、表示デバイスの解像度に合わせてサンプリングされるが、移動する被写体についてみると、フレーム毎にこの被写体像の位置がづれていくことになり、かかるフレームを順次サンプリングすると、フレームに対するサンプリング点は変化しないので、各フレームでの被写体像に対するサンプリング点はその移動とともに変化する。そこで、表示デバイスにかかる画像が表示されると、知覚の時間的積分機能により、複数のフレームが同時に知覚されることになるから、これら複数フレームのサンプリング点が同時に知覚されることになり、移動する被写体のサンプリング点が増加して知覚されることになる。これにより、移動する被写体像に対する解像度が増加し、高解像度の映像が得られることになる。

ところで、このように入力画像をサンプリングする場合、入力画像信号の周波数帯域がサンプリング周波数fsの１／２の周波数（ナイキスト周波数）以上である場合、この入力画像信号のこのナイキスト周波数fs/2以上の周波数成分がナイキスト周波数fs/2以下の周波数帯域側に折り返す折り返し成分が発生し、これがモアレとなって画質を劣化させることになる。

上記特許文献１に記載の技術では、折り返し成分が移動する被写体像の移動速度と画像信号のナイキスト周波数（即ち、間引き量）に応じた位相（２πｋφ_tで、φ_tは被写体像の移動速度に比例し、間引き量に反比例する）で発生することから、複数のフレームでの折り返し成分が互いに相殺し合うように、被写体像の移動速度に応じてサンプリング周波数を設定する。これにより、表示デバイスでは、複数のフレームで互いに折り返し成分が相殺するように、知覚されることになり、折り返し成分による影響をなくすことができるとするものである。

ところで、映像源と表示デバイスとが伝送路を介して接続されるシステムの場合、映像源から映像信号を伝送路を介して表示デバイス側に伝送する必要があるし、また、映像信号を一旦記録媒体に記録し、これを再生して表示デバイスで映像表示するような場合がある。このような場合には、伝送路を伝送させるために、あるいは記録媒体に記録するために、映像信号の周波数帯域を制限して低解像度の映像信号とする必要があり、また、表示デバイスに表示させるためには、この低解像度の映像信号をもとの高解像度の映像信号に戻すことが必要となる場合がある。

このような伝送や記録のための低解像度化がなされた映像信号は、表示デバイスに必要する解像度よりも低い解像度の映像信号である場合があり、このため、上記特許文献１に記載の技術を適用することができず、信号処理によって高解像度化を図ることが必要である、このための技術が提案されている（例えば、非特許文献１参照）。

この非特許文献１に記載の技術は、画像の複数のフレームを合成して１フレームとすることにより、画素数を増やして画像の高解像度化を図るとともに、折り返し成分をキャンセルするようにしたものである。

即ち、上記のように、周波数帯域がナイキスト周波数fs/2以上の原映像信号をサンプリング周波数fsでサンプリングすると、ナイキスト周波数fs/2以上の成分がナイキスト周波数fs/2以下の周波数帯域側に折り返しされた折り返し成分を含むナイキスト周波数fs/2以下の周波数帯域の映像信号（低域変換映像信号）が得られるが、移動する被写体像に対しては、かかる低域変換映像信号では、各フレーム毎にこの被写体像の位置が順次ずれている。

そこで、まず、フレーム間でのかかる被写体像の位置ずれ量を推定し（位置推定）、現時点でのフレームに対して、それより前のフレームをこの位置ずれ量に応じて動き補償することにより、これらフレーム間でのこの被写体像の位置ずれがなくなるようにし、これによる現時点でのフレームとそれより前の各フレームでのサンプリング点の位相差を求める。

そして、このように処理された各フレームの低域変換映像信号をナイキスト周波数fs/2の２倍（従って、サンプリング周波数ｆｓ）の通過帯域を有する広帯域ＬＰＦ（ローパスフィルタ）に通すことにより、もとの原映像信号と同等のナイキスト周波数fs/2以上の周波数帯域の映像信号に折り返し成分が混入した高密度の映像信号が得られる（広帯域補間）。このときの折り返し成分は、高密度の映像信号に対し、上記のサンプリング点の位相差に応じた位相差だけ位相が回転したものである。従って、フレーム毎に高密度の映像信号に対する折り返し成分の位相差が異なることになり、各フレームの折り返し成分の回転位相が異なることになる。そこで、この回転位相において、従って、上記のサンプル点の位相差に応じて夫々のフレームに重み付けをし、これらフレームを加算することにより、これらフレームでの折り返し成分を互いにキャンセルすることができる（加重和）。

このようにして、複数のフレームを加算することにより、折り返し成分がキャンセルされた高密度の映像信号からなる１つのフレームが得られることになる。
特開２００５ー１７３１５８号公報 青木 伸 "複数のデジタル画像データによる超解像処理" Ricohtechnical Report pp.19-24 No.24,NOVEMBER 1998

ところで、上記非特許文献１に記載の記載から明らかなように、「超解像」と呼ばれる技術は、原理的には、高解像度画像復元のための情報を、低解像度画像の中から動きベクトル情報などを基に、抽出、復元するための技術である。

このため、映像信号の符号化，復号化を行なう映像処理システムでは、符号化側と復号化側とに夫々、「超解像」の映像処理のための処理ブロックが設けられていることが必要があり、符号化側で「超解像」の映像処理は全く行なわれていない時には、復号化側では、低解像度画像から正しく高解像度画像を復元することができない。また、符号化側で「超解像」の映像処理は正しく行なわれても、復号化側で低解像度画像から高解像度画像を復元する処理ブロックが設けられていないと、高解像度画像の映像成分がモアレと呼ばれる妨害が発生し、これが画質劣化の要因となる。以下、この点について説明する。

図２６は符号化側と復号化側とで「超解像」の映像処理が行なわれる場合の映像処理システムの一構成例を示すブロック図であって、ＣＯは符号化側、ＤＥは復号化側、１は入力端子、２はＬＰＦ、３は低解像度変換部、４は出力端子、５は伝送路、６は入力端子、７は超解像処理部、８は低域映像再生部、９は高域映像再生部、１０は加算器、１１は出力端子である。

また、図２７〜図３１は図２６での映像信号の各部の振幅／周波数特性を示す特性図であり、ここでは、１次元の特性情報として示しているが、実際の映像信号は２次元の特性情報（画面に対して、上下方向と左右方向の特性）を有している。後述の振幅／周波数特性を示す特性図についても同様である。

同図において、入力端子１からの高解像度の入力映像信号Ａは、ＬＰＦ２を介して低解像度変換部３に供給され、サンプリング周波数fsでサンプリング処理されてナイキスト周波数fs/2以下の周波数帯域の低解像度映像信号Ｃに変換される。ここで、入力端子１からの入力映像信号Ａはナイキスト周波数fs/2を越える周波数帯域の映像信号であり、通過帯域が０〜f1（但し、fs/2＜f1≦fs）のＬＰＦ２で低域制限されて図２７に示す周波数帯域の映像信号Ｂとなる。かかる映像信号Ｂが低解像度変換部３で低解像度変換されることにより、図２８に示すように、この映像信号Ｂのナイキスト周波数fs以下の周波数帯域の低域映像成分にこの映像信号Ｂのナイキスト周波数fs/2以上の周波数帯域の周波数成分（高域映像成分）が折り返し成分として混入した低解像度映像信号Ｃが生成される。この低解像度映像信号Ｃが出力端子４から出力される。

ここで、符号化側ＣＯの出力端子４と復号化側ＤＥの入力端子６とは、伝送路５を介して接続されているものとするが、記録再生装置であってもよい。但し、かかる伝送路５は、その伝送可能な帯域がナイキスト周波数fs/2までのものとする。記録再生装置の場合も、同様である。このことは、後述の実施形態などにおいても同様である。

符号化側ＣＯの出力端子４から出力された低解像度映像信号Ｃは、伝送路５を伝送されて入力端子６から復号化側ＤＥに入力され、超解像処理部７に供給される。この超解像処理部７は低域映像再生部８と高域映像再生部９と加算器１０とから構成されるものであって、低域映像再生部８では、入力された低解像度映像信号Ｃに対し、上記の非特許文献１に記載の技術と同様にして、位置推定がなされて現時点でのフレームを含む複数フレームで移動する被写体像の位置ずれをなくし、次いで、これら複数のフレームを重み付けして加算する加重和処理がなされることにより、図２９に示すように、折り返し成分が除かれたナイキスト周波数fs/2までの帯域の低域映像成分Ｄが得られる（広帯域補間処理はなされない）。また、高域映像再生部９では、入力された低解像度映像信号Ｃに対し、この低解像度映像信号Ｃに混入している折り返し成分が抽出され、図３０に示すように、元の周波数帯域に戻された高域映像成分Ｅが得られる。

ここで、高域映像再生部９の処理について説明する。

先に説明したように、「超解像」処理では、移動する被写体像の位置ずれが補正された複数フレームの低解像度映像信号を、広帯域補間処理して高密度の映像信号とした後、加重和処理して複数のフレームから１フレームを形成するものであったが、高域映像再生部９では、現時点でのフレームとそれより前のフレームを含む複数フレームでの低解像度映像信号Ｃの折り返し成分の位相を合わせることにより、かかる折り返し成分が混入された低域映像成分の位相をフレーム毎に異ならせ（折り返し成分についての「位置推定」）、広帯域補間処理を行なって折り返し成分から元の映像信号の高域映像成分を復元し、加重和処理を行なうことによって複数のフレームでの低域映像成分を互いにキャンセルさせるものである。これにより、複数フレームでの折り返し成分から復元された高域映像成分が加算されて得られることになる。

このように、高域映像再生部９で得られる高域映像成分Ｅは複数のフレームの折り返し成分から復元された高域映像成分が加算されたものであるが、低域映像再生部８でえられる低域映像成分Ｄも、同様にして、複数のフレームの低域映像成分が加算されたものであるから、これら低域映像成分Ｄと高域映像成分Ｅとのレベルの比率は、ＬＰＦ２から得られるもとの映像信号Ｂでの低域映像成分と高域映像成分とのレベルの比率にほぼ等しいものである。

低域映像再生部８から出力される低域映像成分Ｄと高域映像再生部９から出力される高域映像成分Ｅとは加算器１０で所定のレベルに調整されて加算され、もとの映像信号Ｂと同じ映像信号Ｆが復元されて出力端子１１から出力される。

このようにして、符号化側ＣＯと復号化側ＤＥとに「超解像」の映像処理のための処理ブロック（即ち、超解像処理部７）を設けることにより、図３１に示すように、もとの映像信号Ｂが復号化側ＤＥで復元され、出力映像信号Ｆとして、出力端子１１から取得することができる。

なお、上記の「超解像」処理以外の処理については、説明を省略する。このことは、後述の実施形態などにおいても同様である。

図３２は符号化側でのみ「超解像」の映像処理が行なわれる場合の映像処理システムの一構成例を示すブロック図であって、１２は映像処理部、１３は映像再生部であり、図２６に対応する部分には同一符号をつけて重複する説明を省略する。

同図において、この構成例は、図２６に示す構成例において、超解像処理部７の代わりに、超解像の処理ブロックではない通常の処理をする映像処理部１２を設けたものである。

入力端子１からの高解像度の入力映像信号Ａは、ＬＰＦ２で帯域が制限され、図３３に示すように、その通過帯域０〜f1の周波数からなる映像信号Ｂとして低解像度変換部３に供給され、サンプリング周波数fsでサンプリング処理されて、図３４に示すように、ナイキスト周波数fs/2以下の周波数帯域の低解像度映像信号Ｃに変換される。この低解像度映像信号Ｃから出力端子４から出力され、伝送路５を介して復号化側ＤＥの入力端子６に伝送される。

復号化側ＤＥでは、入力端子６から入力された低解像度映像信号Ｃが映像処理部１２に供給され、その映像再生部１３で「超解像」処理以外の処理がなされて出力端子１１から出力される。

ここで、復号化側ＤＥの映像処理部１２では、映像再生部１３で「超解像」処理以外の通常の映像処理がなされるだけであるので、図３４に示す振幅／周波数特性を持つ低解像度映像信号がそのまま出力端子１１から出力されることになり、これを表示デバイスで表示すると、低解像度の画像が表示されることになるし、また、低解像度映像信号に高域映像成分に復元されないで残っている折り返し成分により、「モアレ」などが生じて画質が劣化することになる。

このように、符号化側に「超解像」の処理ブロックを設けても、復号化側に「超解像」の処理ブロックがない場合には、高解像度の画像が得られず、また、折り返し成分が画質の劣化が生ずるという問題があった。

本発明の目的は、かかる問題を解消し、復号化側に「超解像」の映像処理のための処理ブロックが設けられていなくとも、折り返し成分による画質の劣化を抑制できるようにした映像処理システムを提供することにある。

上記目的を達成するために、本発明は、符号化側で高解像度の入力映像信号を超解像の処理ブロックで低解像度映像信号に変換して、伝送路に出力または記録媒体に記録し、復号化側で伝送路からの低解像度映像信号を受信し、または記録媒体から低解像度映像信号を再生する映像処理システムであって、復号化側には、低解像度映像信号を超解像処理して高解像度の映像信号に復元する超解像処理部と低解像度映像信号を超解像処理する機能を持たない通常の処理を行なう映像処理部とのいずれか一方を設け、復号化側に映像処理部が設けられた場合には、符号化側の超解像の処理ブロックは、低解像度映像信号での入力映像信号の高域映像成分による折り返し成分を抑圧することを特徴とするものである。

また、本発明は、符号側での超解像の処理ブロックが、入力映像信号の低域映像成分からなる狭帯域映像信号を抽出する第１のフィルタと、入力映像信号の高域映像成分も含む広帯域映像信号を抽出する第２のフィルタと、復号化側に超解像処理部が設けられているときには、第２のフィルタからの広帯域映像信号を選択し、復号化側に映像処理部が設けられているときには、第１のフィルタからの狭帯域映像信号を選択する選択手段と、選択手段で選択された映像信号を、第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数としてサンプリングし、低解像度映像信号を生成する低解像度変換部とを有し、選択手段は、復号化側で映像処理部が設けられているとき、第１のフィルタからの狭帯域映像信号を選択することを特徴とするものである。

また、本発明は、符号側での超解像の処理ブロックが、入力映像信号の低域映像成分を抽出する第１のフィルタと、入力映像信号の高域映像成分を抽出する第２のフィルタと、低域映像成分を第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数とし、ナイキスト周波数の２倍の周波数でサンプリングし、低解像度低域映像成分を生成する第１の低解像度変換部と、高域映像成分をナイキスト周波数の２倍の周波数でサンプリングし、低解像度高域映像成分を生成する第２の低解像度変換部と、低解像度高域映像成分に乗算係数Ｋ（但し、０≦Ｋ≦１）を乗算する乗算部と、低解像度低域映像信号と乗算器からの低解像度高域映像成分とを加算し、低解像度映像信号を生成する加算器とを有し、復号化側で映像処理部が設けられているとき、乗算部での乗算系数Ｋを１よりも小として、低解像度高域映像信号の振幅を抑圧し、復号化側に設けられる超解像処理部に、復元された高域映像成分に乗算係数１／Ｋを乗算する乗算器を設けたことを特徴とするものである。

また、本発明は、符号側での超解像の処理ブロックは、入力映像信号の低域映像成分を抽出する第１のフィルタと、入力映像信号の高域映像成分を抽出する第２のフィルタと、低域映像成分を第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数とし、ナイキスト周波数の２倍の周波数でサンプリングし、低解像度低域映像成分を生成する第１の低解像度変換部と、高域映像成分をナイキスト周波数の２倍の周波数でサンプリングし、低解像度高域映像成分を生成する第２の低解像度変換部と、指数関数的な入出力特性を有し、低解像度高域映像成分の振幅を圧縮する指数変換部と、低解像度低域映像信号と指数変換部からの低解像度高域映像成分とを加算し、低解像度映像信号を生成する第１の加算器とを有し、復号化側に設けられる超解像処理部は、対数関数的な入出力特性を有し、復元された高域映像成分の指数変換部で圧縮された振幅を伸張する対数変換部と、復元された低域映像成分と対数変換部で振幅伸張された高域映像成分とを加算する第２の加算部とを有することを特徴とするものである。

そして、符号側での超解像の処理ブロックに、第２の低解像度変換部からの低解像度高域映像成分と指数変換部からの振幅が圧縮された低解像度高域映像成分とのいずれか一方を選択して加算器に供給する第１の選択手段を設け、復号化側に用いる超解像処理部に、復元された高域映像成分と対数変換部で振幅が伸張された高域映像成分とのいずれか一方を選択して第２の加算部に供給する第２の選択手段を設けたことを特徴とするものである。

本発明によると、「超解像」の符号化側、復号化側の性能に大きな影響を与えず、「超解像」の映像処理ブロックを持たない場合でも、復号化側での画質劣化を抑制することができる。

以下、本発明の実施形態を図面に基づいて説明する。

図１（ａ），（ｂ）は本発明による映像処理システムの第１の実施形態を示すブロック図であって、１４，１５はＬＰＦ、１６は切替スイッチ、１７は切替制御信号の入力端子であり、図２６，図３２に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１（ａ）は復号化側ＤＥに「超解像」の処理ブロックとしての超解像処理部を用いる場合を示し、図１（ｂ）は復号化側ＤＥに「超解像」の処理ブロックを用いない場合を示している。

また、図２〜図４は図１（ａ），（ｂ）の符号化側ＣＯでの各部の映像信号の振幅／周波数特性を示す特性図である。

この第１の実施形態では、復号化側ＤＥに、図１（ａ）に示すように、「超解像」の処理ブロックを用いることもできるし、また、図１（ｂ）に示すように、「超解像」の処理ブロックを用いず、通常の映像処理部を用いることもできるが、まず、復号化側ＤＥに「超解像」の処理ブロックを用いる場合について説明する。

図１（ａ）において、符号化側ＣＯでは、ＬＰＦ１４，１５と切替スイッチ１６と低解像度変換部３とからなる「超解像」の処理ブロックが用いられている。復号化部ＤＥでは、「超解像」の処理ブロックとしての超解像処理部７が用いられて伝送路５に接続されている。

符号化側ＣＯでは、入力端子１から、低解像度変換部３でのサンプリング周波数fsの1/2の周波数、即ち、ナイキスト周波数fs/2を越える周波数帯域の高解像度の映像信号Ａが入力され、ＬＰＦ１４，１５に供給される。ＬＰＦ１４はこのナイキスト周波数fs/2よりも高い周波数f1を上限とする通過帯域を有しており、この入力映像信号Ａが周波数帯域０〜f1に制限されて、図２に示す振幅／周波数特性の高解像度の広帯域映像信号Ｇとして切替スイッチ１６の接点ａに供給される。また、ＬＰＦ１５はナイキスト周波数fs/2よりも低い周波数f2を上限とする通過帯域を有しており、この入力映像信号Ａが周波数帯域０〜f2に制限されて、図３に示す振幅／周波数特性の狭帯域映像信号Ｈとして切替スイッチ１６の接点ｂに供給される。

この切替スイッチ１６は、入力端子１７からの切替制御信号に応じて切替制御されるが、復号化側ＤＥに「超解像」の処理ブロックとしての超解像処理部７が用いられている場合には、手動操作もしくは超解像処理部７が接続されていることが検出されることによる切替制御信号により、この切替スイッチ１６は接点ａ側に閉じた状態に設定され、ＬＰＦ１４から出力される周波数帯域０〜f1の広帯域映像信号Ｇがこの切替スイッチ１６を介して低解像度変換部３に供給される。この低解像度変換部３では、この広帯域映像信号Ｇがサンプリング周波数fsでサンプリングされてナイキスト周波数fs/2までの周波数帯域の低解像度映像信号Ｃが得られる。この低解像度映像信号Ｃには、図４に示すように、もとの高解像度の広帯域映像信号Ｇでの周波数帯域fs/2〜f1の高域映像成分が０〜fs/2の周波数帯域内に折り返してなる折り返し成分が含まれている。

この低解像度映像信号Ｃは、出力端子４から出力され、伝送路５を伝送されて入力端子６から復号化側ＤＥに入力される。

この復号側ＤＥでの超解像処理部７では、図２６に示す超解像処理部７と同様の処理が行なわれるものであって、低域映像再生部８で図２９に示す振幅／周波数特性の低域映像成分Ｄが復元され、高域映像再生部９で図３０に示す振幅／周波数特性の高域映像成分Ｅが復元され、加算器１０でこれら低域映像成分Ｄと高域映像成分Ｅとが加算されることにより、ＬＰＦ１４から低解像度変換部３に入力されるもとの広帯域映像信号Ｆが折り返し成分が抑制されて得られる。

次に、復号化側ＤＥに「超解像」の処理機能を持たないブロックを用いる場合について説明する。

図１（ｂ）において、復号化部ＤＥでは、図１（ａ）での超解像処理部７の代わりに、「超解像」の処理機能を持たない通常の映像処理を行なう映像処理部１２が用いられて伝送路５に接続されている。

この場合では、符号化側ＣＯでの切替スイッチ１６は、入力端子１７からの切替制御信号により、設定ｂ側に閉じた状態に設定され、これにより、ＬＰＦ１５から出力される周波数帯域０〜f2の狭帯域映像信号Ｈ（図３）がこの切替スイッチ１６を介して低解像度変換部３に供給される。この低解像度変換部３では、この狭帯域映像信号Ｈがサンプリング周波数fsでサンプリングされてナイキスト周波数fs/2までの周波数帯域の低解像度映像信号Ｃが得られる。狭帯域映像信号Ｈには、この低解像度映像信号Ｃには、ナイキスト周波数fs/2以上の高域映像成分が含まれていないので、折り返し成分が含まれていない。

この低解像度映像信号Ｃは、出力端子４から出力され、伝送路５を伝送されて入力端子６から復号化側ＤＥに入力される。

復号化側ＤＥでは、入力端子６から入力された低解像度映像信号Ｃが映像処理部１４に供給され、その映像再生処理部１３で「超解像」処理以外の通常の映像再生処理がなされて出力端子１１から出力される。

映像処理部１４に供給される低解像度映像信号Ｃには、折り返し成分が含まれていないので、この映像処理部１２から出力される映像信号による表示画像では、折り返し成分による「モアレ」が生ずることがなく、「モアレ」による画質劣化は生じない。

このようにして、この第１の実施形態では、復号化側ＤＥに「超解像」の処理ブロックを用いた場合には勿論のことであるが、かかるブロックを用いない場合でも、折り返し成分による「モアレ」の発生をなくして、これによる画質の劣化をなくすことができる。

図５（ａ），（ｂ）は本発明による映像処理システムの第２の実施形態を示すブロック図であって、１８はＬＰＦ、１９はＨＰＦ（ハイパスフィルタ）、２０は低解像度変換部、２１は乗算器、２２は加算器、２３は乗算器、２４は制御信号の入力端子であり、図１，図２６に対応する部分には同一符号をつけて重複する説明を省略する。なお、図５（ａ）は復号化側ＤＥに「超解像」の処理ブロックとしての超解像処理部を用いる場合を示し、図５（ｂ）は復号化側ＤＥに「超解像」の処理ブロックを用いない場合を示している。

また、図６〜図１３は、図５（ａ），（ｂ）での各部の映像信号の振幅／周波数特性を示す特性図である。

この第２の実施形態では、復号化側ＤＥに、図５（ａ）に示すように、「超解像」の処理ブロックを用いることもできるし、また、図５（ｂ）に示すように、「超解像」の処理ブロックを用いず、通常の映像処理部を用いることもできるが、まず、復号化側ＤＥに「超解像」の処理ブロックを用いる場合について説明する。

図５（ａ）において、符号化側ＣＯでは、ＬＰＦ１８，ＨＰＦ１９，低解像度変換部３，２０，乗算器２１及び加算器２２とからなる「超解像」の処理ブロックが用いられている。復号化部ＤＥでは、「超解像」の処理ブロックとしての超解像処理部７が用いられて伝送路５に接続されている。

符号化側ＣＯでは、入力端子１から、低解像度変換部３でのサンプリング周波数fsの1/2の周波数、即ち、ナイキスト周波数fs/2を越える周波数帯域の高解像度の映像信号Ａが入力され、ＬＰＦ１８，１９に供給される。

ＬＰＦ１８はこのナイキスト周波数fs/2を上限とする通過帯域を有しており、この入力映像信号Ａが周波数帯域０〜fs/2に制限されて、図６に示す振幅／周波数特性の低域映像成分Ｉとして低解像度変換部３に供給される。低解像度変換部３では、この低域映像成分Ｉがサンプリング周波数fsでサンプリングされてナイキスト周波数fs/2までの周波数帯域の低解像度低域映像成分となり、加算器２２に供給される。

また、ＬＰＦ１９はこのナイキスト周波数fs/2からこれを越える周波数f1までの通過帯域を有しており、図７に示すように、入力映像信号Ａの周波数帯域fs/2〜f1の高域映像成分Ｊが抽出されて、低解像度変換部２０に供給される。この低解像度変換部２０では、この高域映像成分Ｊがサンプリング周波数fsでサンプリングされてナイキスト周波数fs/2までの周波数帯域内に折り返され、低解像度高域映像成分として出力される。この低解像度高域映像成分は乗算器２１に供給されてＫ倍（但し、０＜Ｋ≦１）され、図８に示すように、折り返しの低解像度高域映像成分Ｌとして加算器２２に供給される。

ここで、乗算係数Ｋは、図８に示すように、入力端子２４からの制御信号に応じて適宜切り替え可能であり、乗算係数Ｋに応じて折り返しの低解像度高域映像成分の振幅を適宜変化させることができる。図８では、Ｋ＝1，0.5，0.25について示しており、これに応じて、低解像度高域映像成分の振幅は、０ｄＢ，−６ｄＢ，−１２ｄＢに設定される。

加算器２２では、低解像度変換部３からの低解像度低域映像成分と乗算器２１からの折り返しの低解像度高域映像成分とが加算され、図９に示すように、低解像度低域映像成分に低解像度高域映像成分が折り返し成分として加算された低解像度映像信号Ｃが得られる。この低解像度映像信号Ｃが出力端子４から出力され、伝送路５で伝送されて復号化側ＤＥに入力端子６から入力される。

復号化側ＤＥでは、入力端子６で受信された低解像度映像信号Ｃが超解像処理部７に供給される。この超解像処理部７は、図８に示す超解像処理部７に乗算器２３が追加された構成をなしており、低域映像再生部８と高域映像再生部９とにより、図２６での超解像処理部７と同様にして、低解像度映像信号Ｃから図１０に示す低域映像成分Ｄと図１１に示す高域映像成分Ｄとが分離され、低域映像成分Ｄは加算器１０に供給されるとともに、高域映像成分Ｅは乗算器２３で１／Ｋ倍され、高域映像成分Ｍとして加算器１０に供給される。この乗算器２３は、図１２に示すように、符号化側ＣＯの乗算器２１でＫ倍された高域映像成分を１／Ｋ倍して元の振幅に戻すものである。低域映像再生部８から出力される低域映像成分Ｄと乗算部２３で乗算処理された高域映像成分Ｅとは加算器１０で加算され、図１３に示すように、入力映像信号Ａと同様の振幅／周波数特性で高解像度の映像信号Ｆが復元されて出力端子１１から出力される。

ここで、乗算器２３の乗算係数１／Ｋも、入力端子２４からの制御信号に応じて、乗算器２１の乗算係数Ｋとともに、常にこの乗算係数Ｋの逆数となるように変更されるものである。図８でＫ＝１，０．５，０．２５の場合、図１２では、１／Ｋ＝１，２，４となる。

このようにして、この第２の実施形態で「超解像」の処理ブロックが復号側ＤＥに設けられている場合には、符号化側ＣＯと復号化側ＤＥとの双方に「超解像」の処理ブロックが設けられているので、折り返し成分の影響が低減された元の振幅／周波数特性の映像信号を復元することができる。

なお、乗算器２１での乗算係数Ｋを小さく設定することにより、低解像度高域映像成分を大きく圧縮して低解像度映像信号Ｃでの折り返し成分の振幅を小さくすることができるから、この低解像度映像信号Ｃでの折り返し成分による影響が小さくなる。このため、復号化側ＤＥでの超解像処理部７では、必ずしも低域映像再生部８で折り返し成分のキャンセル処理（加重和）を行なう必要はなく、得られた低域映像成分Ｄに折り返し成分を残したままとしても良い。

また、符号化側ＣＯと復号化側ＤＥとが近接して設けられている場合には、符号化側ＣＯの乗算器２１の乗算係数Ｋと復号化側ＤＥの乗算器２３の乗算係数１／Ｋとを、入力端子２４からの切替制御信号を共通に用いて、制御することが可能であるが、符号化側ＣＯと復号化側ＤＥとが近接して設けられていない場合、あるいは伝送路５ではなく、ハードディスク装置やＤＶＤドライブなどの記録再生装置が使用されて、符号化側ＣＯから出力される低解像度映像信号が記録され、また、これが再生されて復号化側ＤＥに供給される場合には、符号化側ＣＯから出力される低解像度映像信号にこの乗算器２１の乗算係数Ｋを表わすパラメータを付加し、復号化側ＤＥでこのパラメータに応じて乗算器２３の乗算係数１／Ｋを切り替え設定するようにする。

次に、図５（ｂ）により、復号化側ＤＥに「超解像」の処理ブロックを用いない場合について説明する。この場合には、映像処理部１２が用いられ、伝送路５と接続されている。

符号化側ＣＯは図５（ａ）での符号化側ＣＯと同様であり、この符号化側ＣＯの出力端子４から図９に示す低解像度映像信号Ｃが出力されて伝送路５を伝送され、復号側ＤＥで入力端子６から入力されて映像処理部１２に供給される。この低解像度映像信号Ｃは、映像処理部１２の映像再生部１３で処理されて出力端子１１から出力されるが、映像再生部１３が「超解像」処理以外の通常の処理を行なうため、出力端子１１から出力される映像信号Ｆには、符号化側ＣＯの加算器２２で加算された低解像度高域映像成分Ｌの折り返し成分がそのまま残っていることになる。

しかしながら、このように、画質を劣化させる折り返し成分が残っている場合には、入力端子２４からの制御信号により、乗算器２１に設定される乗算係数Ｋを１よりも充分小さくすることにより、折り返し成分の振幅を小さくし、「モアレ」による画質の劣化を軽減することができる。

このように、この第２の実施形態では、復号化側ＤＥに「超解像」の処理ブロックが設けられていなくとも、符号化側ＣＯでの乗算器２１での乗算係数Ｋの調整により、折り返し成分による画質の劣化を軽減することが可能となる。

図１４（ａ），（ｂ）は本発明による映像処理システムの第３の実施形態を示すブロック図であって、２５は指数変換部、２６は対数変換部であり、図５に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１４（ａ）は復号化側ＤＥに「超解像」の処理ブロックとしての超解像処理部を用いる場合を示し、図１４（ｂ）は復号化側ＤＥに「超解像」の処理ブロックを用いない場合を示している。

また、図１５〜図２３は、図１４（ａ），（ｂ）での各部の映像信号の振幅／周波数特性を示す特性図である。

この第３の実施形態は、図５（ａ），（ｂ）に示す第２の実施形態において、符号化側ＣＯの乗算器２１の代わりに指数変換部２５を用い、復号化側ＤＥの乗算器２３の代わりに対数変換部２６を用いたものである。また、この第３の実施形態においても、復号化側ＤＥに、図１４（ａ）に示すように、「超解像」の処理ブロックを用いることもできるし、また、図１４（ｂ）に示すように、「超解像」の処理ブロックを用いず、通常の映像処理部を用いることもできるが、まず、復号化側ＤＥに「超解像」の処理ブロックを用いる場合について説明する。

この第３の実施形態の図１４（ａ）に示す使用形態では、おいて、図５（ａ），（ｂ）に示す第２の実施形態において、符号化側ＣＯで乗算器２１の代わりに指数変換部２５を用い、復号化側ＤＥで乗算器２３の代わりに対数変換部２６を用いる。

指数変換部２５は、図１５（ａ）に示すように、指数関数の入出力特性を有し、入力信号の振幅をその大きさに応じて指数関数的に圧縮するものであり、対数変換部２６は、図１５（ｂ）に示すように、対数関数の入出力特性を有し、入力信号の振幅をその大きさに応じて対数関数的に伸長するものである。この場合、指数変換部２５と対数変換部２６との入出力特性は、破線の直線で示す出力／入力比が１の入出力特性に関して対象な関係にあり、従って、指数変換部２５で圧縮された映像信号の振幅は、対数変換部２６で、元の振幅値に復元されるように、伸長される。

そこで、図５（ａ）に示した第２の実施形態と同様、符号化側ＣＯにおいて、低解像度変換部３から図１６に示す振幅周波数特性の低解像度低域映像成分が出力されて加算器２２に供給され、また、低解像度変換部２０から図１７に示す振幅／周波数特性の低解像度高域映像成分が出力されるが、この低解像度高域映像成分は指数変換部２５に供給され、その振幅に応じて指数関数的に振幅圧縮される。

ところで、高域映像成分は、正負の振幅を有する信号成分であり、出現する振幅の頻度分布は、振幅が０に近いほど大きく、ガウス分布をなしている。このため、符号化側ＣＯでは、出現分布が高いこの０に近い振幅成分ほどより大きく圧縮し、出現頻度が極めて低い大きな振幅の成分については、折り返しによる影響が小さいため、それほど振幅圧縮しなくともよいことから、図１５（ａ）に示す入出力特性の指数変換部２５を用いている。

そこで、高解像度の入力映像信号Ａの振幅／周波数特性は時々刻々変化するため、低解像度変換部３から出力される低解像度低域映像成分の振幅／周波数特性も、図１６に示すように、変化し、低解像度変換部２０から出力される低解像度高域映像成分の振幅／周波数特性も、図１７に示すように、変化する。

なお、図１６では、低解像度低域映像成分の振幅／周波数特性の振幅／周波数特性として、最大振幅のＶ_L1とこれよりも少し低い振幅のＶ_L2と充分低い振幅のＶ_L3との３種類の特性を模式的に示しており、同様にして、図１７では、低解像度高域映像成分の振幅／周波数特性の振幅／周波数特性として、最大振幅のＶ_H1とこれよりも少し低い振幅のＶ_H2と充分低い振幅のＶ_H3との３種類の特性を模式的に示している。

低解像度変換部３から出力される低解像度低域映像成分は、図１６に示すようなそのときの振幅／周波数特性で加算器２２に供給されるが、低解像度変換部２０から出力される低解像度高域映像成分は、図１５（ａ）に示す入出力特性の指数変換部２５に供給されることにより、図１８に示すように、その振幅が小さいほど大きく圧縮されるようにして振幅が圧縮される。最大振幅Ｖ_H1のときには、振幅圧縮率がほとんど０であって、そのときの低解像度高域映像成分は振幅圧縮されずにそのままの振幅で指数変換部２５から出力される。

指数変換部２５でこのように振幅圧縮処理された低解像度高域映像成分Ｌは加算器２２に供給され、折り返し成分として、低解像度変換部３から出力される低解像度低域映像成分と加算されて、図１９に示すように、低解像度高域映像成分を折り返し成分とした低解像度映像信号Ｃが得られる。

一方、復号化側ＤＥでは、この低解像度映像信号Ｃから、超解像処理部７での低域映像再生部８で図２０に示す振幅／周波数特性の低域映像成分Ｄが復元され、また、高域映像再生部９から図２１に示す振幅／周波数特性の高域映像成分Ｅが分離される。

なお、図２０，図２１に示す振幅／周波数特性は夫々、図１６，図１８に示す振幅／周波数特性に対応させて示すものであって、図２０，図２１に示す振幅が図１６，図１８に示す振幅と必ずしも一致するものではないが、ここでは、説明の便宜上、これら振幅が一致するものとする。従って、低域映像再生部８から出力される低域映像成分Ｄは符号化側ＣＯのＬＰＦ１８から出力される低域映像成分Ｉと同じ振幅の特性の成分であり、高域映像再生部９から出力される高域映像成分Ｅは符号化側ＣＯの指数変換部２５から出力される高域映像成分Ｌと同じ振幅の特性の成分である。

高域映像再生部９から出力される高域映像成分Ｅは図１５（ｂ）に示す入出力特性の対数変換部２６に供給され、図２２に示すように、振幅が伸長されて元の振幅の、即ち、ＨＰＦ１９から出力される高域映像成分Ｊと同じ振幅の特性の高域映像成分Ｍが得られる。この伸長された高域映像信号Ｍは加算器１０に供給され、低域映像再生部８からの低域映像成分Ｄと加算されて、図２３に示すもとの振幅／周波数特性で高解像度の映像信号Ｆが得られる。

このようにして、超解像処理部７により、高域映像成分による折り返し成分が抑圧されることにより、この折り返し成分による画質劣化が回避できるとともに、復元された高域映像成分Ｅは、対数変換部２６によってもとの振幅に戻されるので、解像度の劣化も回避できる。

次に、図１４（ｂ）により、復号化側ＤＥに「超解像」の処理ブロックではない処理ブロック、即ち、映像処理部１２を用いる場合について説明する。

この使用形態では、復号化側ＤＥでは、符号化側ＣＯの出力端子４に伝送路５を介して映像処理部１２が接続されるものであって、入力端子６で図１９に示す振幅／周波数特性の低解像度映像信号Ｃが入力され、映像処理部１２の映像再生部１３で処理されて、映像信号Ｆとして出力端子１１から出力される。

ところで、この場合の出力映像信号Ｆは、「超解像」の処理がなされていないので、高域映像成分による折り返し成分が残留している。しかし、上記のように、低解像度高域映像成分は対数変換部２５によって振幅が圧縮されており、しかも、高出現頻度の振幅が小さい高域映像成分ほど大きく圧縮され、提出源頻度の振幅が大きい高域映像成分程圧縮の割合が小さく設定されているため、出現頻度が高い折り返し成分は充分抑圧されることになり、残留する折り返し成分による画質の劣化が抑えられる。

このようにして、この第３の実施形態においても、図５に示した第２の実施形態と同様、「超解像」の処理ブロックを用いなくとも、折り返し成分による画質の劣化（モアレ）を抑えることができる。

図２４（ａ），（ｂ）は本発明による映像処理システムの第４の実施形態を示すブロック図であって、２７は画像圧縮部、２８は画像伸張部であり、図１４に対応する部分には同一符号をつけて重複する説明を省略する。

なお、図２４（ａ）は復号化側ＤＥに「超解像」の処理ブロックを用いた場合を示し、図２４（ｂ）は復号化側ＤＥに「超解像」の処理ブロックを用いない場合を示している。但し、図２４（ｂ）では、符号化側ＣＯと伝送路５とを省略している。

同図（ａ）において、この第４の実施形態は、図１４に示す第３の実施形態において、符号化側ＣＯに画像圧縮部２７を、復号化側ＤＥに画像伸張部２８を夫々設けたものである。

符号化側ＣＯにおいて、先の第３の実施形態と同様にして加算器２２から得られる低解像度映像信号Ｃは、画像圧縮部２７で画像圧縮処理されて後、出力端子４から出力されて伝送路５で伝送される。また、復号化側ＤＥでは、この画像圧縮された低解像度映像信号は入力端子６から入力され、画像伸張部２８で画像伸張されて元の低解像度映像信号Ｃが復元され、超解像処理部７に供給される。

画像圧縮部２７，画像伸張部２８での画像圧縮，画像伸張のための符号化・復号化方式としては、特に、制限はないが、例えば、国際標準技術であるＪＰＥＧ(Joint Photographic Coding Experts Group)やＭＰＥＧ(Moving Picture Experts Group)といった方式を用いてもよい。

以上以外の点については、先の第３の実施形態度の図１４（ａ）に示す使用形態の場合と同様である。

この第４の実施形態によると、画像圧縮部２７で低解像度映像信号Ｃが画像圧縮されることにより、この低解像度映像信号Ｃのビットレートを低減できるので、この低解像度映像信号Ｃの周波数帯域を低減することができ、このため、ＬＰＦ１８のカットオフ周波数を高めることができて（これに応じて、ＨＰＦ１９の下限周波数も高める）、低解像度変換部３から出力される低解像度低域映像成分の周波数帯域を広げることができ、低解像度低域映像成分の解像度を高めることができるとともに、加算器２２からの低解像度映像信号Ｃにおける折り返し成分を低減できる。

このようにして、この第４の実施形態においても、図１４に示した第３の実施形態と同様の効果が得られるものである。

また、先の各実施形態と同様、図２４（ｂ）に示すように、超解像処理部７の代わりに、映像処理部１２を用いることができる。この場合も、図１４（ｂ）に示した第３の実施形態の場合と同様、加算器２２からの低解像度映像信号Ｃにおける折り返し成分を低減できるものであるから、復号化側ＤＥでは、図１４に示す第３の実施形態よりも、さらに、折り返し成分による影響が低減された映像信号が得られる。

図１５（ａ），（ｂ）は本発明による映像処理システムの第５の実施形態を示すブロック図であって、２９，３０は切替スイッチ、３１は切替制御信号の入力端子であり、図２４に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１５（ａ）は復号化側ＤＥに「超解像」の処理ブロックとしての超解像処理部を用いる場合を示し、図１５（ｂ）は復号化側ＤＥに「超解像」の処理ブロックを用いない場合を示している。

この第５の実施形態は、図２４（ａ），（ｂ）に示す第４の実施形態において、符号化側ＣＯに切替スイッチ２９を設け、復号化側ＤＥの超解像処理部７に切替スイッチ３０を設け、入力端子３１からの切替制御信号により、切替制御するようにしたものである。まず、復号化側ＤＥに「超解像」の処理ブロックを用いる場合について説明する。

図２５（ａ）において、符号化側ＣＯでは、低解像度変換部３からの低解像度低域映像成分は加算器２２に供給される。また、低解像度変換部２０からの低解像度高域映像成分は、指数変換部２５で振幅圧縮処理されて切替スイッチ２９の接点ａに供給されるとともに、直接切替スイッチ２９の接点ｂに供給される。

この切替スイッチ２９は入力端子３１からの切替制御信号によって切替制御され、切替スイッチが接点ａ側に閉じているときには、図１４（ａ）に示す第３の実施形態と同様に、低解像度変換部２０からの低解像度高域映像成分が指数変換部２５で振幅圧縮されて加算器２２に供給される。また、切替スイッチが接点ｂ側に閉じているときには、低解像度変換部２０からの低解像度高域映像成分がそのまま加算器２２に供給される。従って、加算器２２からは、切替スイッチ２９が接点ａ側に閉じているときには、低解像度低域映像成分に指数変換部２５で振幅圧縮された低解像度高域映像成分が折り返し成分として含まれる低解像度映像信号Ｃが得られ、切替スイッチが接点ｂ側に閉じているときには、低解像度低域映像成分に低解像度変換部２０からの低解像度高域映像成分がそのまま折り返し成分として含まれる低解像度映像信号Ｃが得られる。夫々の低解像度映像信号Ｃは、画像圧縮部２７で画像圧縮された後、伝送路５を介して復号化側ＤＥに供給される。

復号化側ＤＥでは、先の実施形態と同様、超解像処理部７の低域映像再生部８で低解像度映像信号Ｃから低域映像成分Ｄが復元され、高域映像再生部９で高域映像成分Ｅが復元される。この低域映像成分Ｄは加算器１０に供給される。

高域映像再生部９で得られた高域映像成分Ｅは、直接切替スイッチ３０の設定ｄに供給されるとともに、対数変換部２６でもとの振幅に変換された後、切替スイッチ３０の接点ｃに供給される。この切替スイッチ３０も入力端子３１からの切替制御信号によって切替制御されるものであって、符号化側ＣＯでの切替スイッチ２９が接点ａ側に閉じたときには、接点ｃ側に閉じ、符号化側ＣＯでの切替スイッチ２９が接点ｂ側に閉じたときには、接点ｄ側に閉じる。

そこで、符号化側ＣＯから画像圧縮された低解像度映像信号Ｃが伝送されるときの切替スイッチ２９が接点ａ側に閉じた状態にあるときには、切替スイッチ３０は接点ｃ側に閉じており、高域映像再生部９から出力される振幅圧縮されている高域映像成分Ｅは、対数変換部２６で振幅伸張されて元の振幅に復元された後、切替スイッチ３０を介して加算器１０に供給される。また、符号化側ＣＯから画像圧縮された低解像度映像信号Ｃが伝送されるときの切替スイッチ２９が接点ｂ側に閉じた状態にあるときには、切替スイッチ３０は接点ｄ側に閉じており、高域映像再生部９から振幅圧縮処理されていない高域映像成分Ｅは、直接切替スイッチ３０を介して加算器１０に供給される。

これにより、切替スイッチ２９，３０の状態に応じて、低解像度映像信号Ｃの折り返し成分を振幅圧縮して図２４に示す第４の実施形態と同様の効果が得られるし、また、折り返し成分を振幅圧縮しないようにすることにより、復号化側ＤＥで雑音の影響が少ない高域映像成分を復元できるという効果も得られる。

なお、符号化側ＣＯと復号化側ＤＥとが近接して設けられている場合には、符号化側ＣＯの切替スイッチ２９と復号化側ＤＥの切替スイッチ３０とを、入力端子３１からの切替制御信号を共通に用いて、切替制御することが可能であるが、符号化側ＣＯと復号化側ＤＥとが近接して設けられていない場合、あるいは伝送路５ではなく、ハードディスク装置やＤＶＤドライブなどの記録再生装置が使用されて、符号化側ＣＯから出力される低解像度映像信号が記録され、また、これが再生されて復号化側ＤＥに供給される場合には、符号化側ＣＯから出力される低解像度映像信号にこの切替スイッチ２９の状態を表わすパラメータを付加し、復号化側ＤＥでこのパラメータに応じて切替スイッチ３０の切替制御を行なうようにする。

次に、復号化側ＤＥに「超解像」の処理ブロックでない処理ブロックを用いる場合について説明する。

図２５（ｂ）において、復号化側ＤＥに映像処理部１２が設けられ、「超解像」の処理ブロックが設けられていないときには、符号化側ＣＯにおいて、切替スイッチ２９が接点ａ側に閉じた状態に設定される。これにより、低解像度変換部２０から出力される低解像度高域映像成分は、常に指数変換部２５で振幅が圧縮されることになり、従って、復号化側ＤＥの映像処理部１２に供給される低解像度映像信号での折り返し成分は、振幅が抑圧されている。

これにより、映像処理部１２から出力される映像信号Ｆは、折り返し成分が含まれているが、その振幅が抑圧されているため、この折り返し成分による「モアレ」が低減し、画質の劣化が抑えられる。

このようにして、この第６の実施形態では、復号化側ＤＥで「超解像」の処理ブロックが設けられなくとも、映像信号中の折り返し成分を抑圧することができて、「モアレ」による画質の劣化を軽減することが可能となる。

なお、図２５（ｂ）に示す状態では、復号化側ＤＥで「超解像」の処理機能がない映像処理部１２が用いられた場合、入力端子３１からの切替制御信号により、符号化側ＣＯの切替スイッチ２９は接点ａ側に閉じた状態に設定されるものであるが、これは、ユーザの操作により、あるいは映像処理部１２が用いられることが適宜の方法によって検出されることにより、入力端子３１から切替スイッチ２９に、これを接点ａ側に閉じた状態に設定する切替制御信号が供給されることによるものである。

本発明は、高解像度の映像を一旦、低解像度画像に変換し、低解像度画像として、伝送路、または記録媒体に記録し、伝送路、または記録媒体からの映像信号を入力映像信号として、複数の低解像度の映像信号から低域映像成分と高域映像成分とを分離、復元し、低解像画像に変換する前の高解像度の映像信号を復元し出力する映像処理システムに関するものであり、特に、民生機器での映像機器において、高解像度化像と低解像度画像を目的に応じて効率良く扱うことが可能となる。

本発明による映像処理システムの第１の実施形態の復号側で超解像処理部を用いた場合を示すブロック図である。 本発明による映像処理システムの第１の実施形態の復号側で映像処理部を用いた場合を示すブロック図である。 図１（ａ），（ｂ）におけるＬＰＦ１４からの広帯域映像信号の振幅／周波数特性を示す特性図である。 図１（ａ），（ｂ）におけるＬＰＦ１５からの狭帯域映像信号の振幅／周波数特性を示す特性図である。 図１（ａ），（ｂ）における低解像度変換部３からの低解像度映像信号の振幅／周波数特性を示す特性図である。 本発明による映像処理システムの第２の実施形態の復号側で超解像処理部を用いた場合を示すブロック図である。 本発明による映像処理システムの第２の実施形態の復号側で信号処理部を用いた場合を示すブロック図である。 図５（ａ），（ｂ）におけるＬＰＦ１８からの低域映像成分の振幅／周波数特性を示す特性図である。 図５（ａ），（ｂ）におけるＨＰＦ１９からの高域映像成分の振幅／周波数特性を示す特性図である。 図５（ａ），（ｂ）における乗算器２１からの低解像度高域映像成分の振幅／周波数特性を示す特性図である。 図５（ａ），（ｂ）における加算器２２からの低解像度映像信号の振幅／周波数特性を示す特性図である。 図５（ａ）における低域映像再生部８からの低域映像信号の振幅／周波数特性を示す特性図である。 図５（ａ）における高域映像再生部９からの高域映像信号の振幅／周波数特性を示す特性図である。 図５（ａ）における乗算器２３からの高域映像信号の振幅／周波数特性を示す特性図である。 図５（ａ）における加算器１０からの映像信号の振幅／周波数特性を示す特性図である。 本発明による映像処理システムの第３の実施形態の復号側で超解像処理部を用いた場合を示すブロック図である。 本発明による映像処理システムの第３の実施形態の復号側で映像処理部を用いた場合を示すブロック図である。 図１４（ａ），（ｂ）における指数変換部２５，対数変換部２６の入出力特性を示す特性図である。 図１４（ａ），（ｂ）におけるＬＰＦ１８からの低域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ），（ｂ）におけるＨＰＦ１９からの高域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ），（ｂ）における対数変換部２５からの低解像度高域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ），（ｂ）における加算器１０からの低解像度映像信号の振幅／周波数特性を示す特性図である。 図１４（ａ）における低域映像再生部８からの低域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ）における高域映像再生部９からの高域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ）における対数変換部２６からの高域映像成分の振幅／周波数特性を示す特性図である。 図１４（ａ）における加算器１０からの映像信号の振幅／周波数特性を示す特性図である。 本発明による映像処理システムの第４の実施形態を示すブロック図である。 本発明による映像処理システムの第５の実施形態の復号側で超解像処理部を用いた場合を示すブロック図である。 本発明による映像処理システムの第５の実施形態の復号側で超解像処理部を用いた場合を示すブロック図である。 符号化側と復号化側とで「超解像」の映像処理が行われる場合の映像処理システムの一構成例を示すブロック図である。 図２６におけるＬＰＦ２からの低域映像成分の振幅／周波数特性を示す特性図である。 図２６における低解像度変換部３からの低解像度映像信号の振幅／周波数特性を示す特性図である。 図２６における低域映像再生部８からの低域映像成分の振幅／周波数特性を示す特性図である。 図２６における高域映像再生部９からの高域映像成分の振幅／周波数特性を示す特性図である。 図２６における加算部１０からの映像信号の振幅／周波数特性を示す特性図である。 符号化側でのみ「超解像」の映像処理が行なわれる場合の映像処理システムの一構成例を示すブロック図である。 図３２におけるＬＰＦ２からの低域映像成分の振幅／周波数特性を示す特性図である。 図３２における低解像度変換部３からの低解像度映像信号の振幅／周波数特性を示す特性図である。

符号の説明

ＣＯ 符号化側
ＤＥ 復号化側
１ 映像信号の入力端子
２ ＬＰＦ
３ 低解像度変換部
４ 低解像度映像信号の出力端子
５ 伝送路
６ 低解像度映像信号の入力端子
７ 超解像処理部
８ 低域映像再生部
９ 高域映像再生部
１０ 加算器
１１ 映像信号の出力端子
１２ 映像処理部
１３ 映像再生部
１４，１５ ＬＰＦ
１６ 切替スイッチ
１７ 切替制御信号の入力端子
１８ ＬＰＦ
１９ ＨＰＦ
２０ 低解像度変換部
２１ 乗算器
２２ 加算器
２３ 乗算器
２４ 制御信号の入力端子
２５ 指数変換部
２６ 対数変換部
２７ 画像圧縮部
２８ 画像伸張部
２９，３０ 切替スイッチ
３１ 制御信号の入力端子

Claims (5)

1. 符号化側で高解像度の入力映像信号を超解像の処理ブロックで低解像度映像信号に変換して、伝送路に出力または記録媒体に記録し、復号化側で該伝送路からの該低解像度映像信号を受信し、または該記録媒体から該低解像度映像信号を再生する映像処理システムであって、
   該復号化側には、該低解像度映像信号を超解像処理して高解像度の映像信号に復元する超解像処理部と該低解像度映像信号を超解像処理する機能を持たない通常の処理を行なう映像処理部とのいずれか一方を設け、
   該復号化側に該映像処理部が設けられた場合には、該符号化側の該超解像の処理ブロックは、該低解像度映像信号での該入力映像信号の高域映像成分による折り返し成分を抑圧することを特徴とする映像処理システム。
2. 請求項１において、
   前記符号側での前記超解像の処理ブロックは、
   前記入力映像信号の低域映像成分からなる狭帯域映像信号を抽出する第１のフィルタと、
   前記入力映像信号の高域映像成分も含む広帯域映像信号を抽出する第２のフィルタと、
   前記復号化側に前記超解像処理部が設けられているときには、該第２のフィルタからの該広帯域映像信号を選択し、前記復号化側に前記映像処理部が設けられているときには、該第１のフィルタからの該狭帯域映像信号を選択する選択手段と、
   該選択手段で選択された映像信号を、該第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数としてサンプリングし、前記低解像度映像信号を生成する低解像度変換部と
   とを有し、
   該選択手段は、前記復号化側で前記映像処理部が設けられているとき、該第１のフィルタからの該狭帯域映像信号を選択することを特徴とする映像処理システム。
3. 請求項１において、
   前記符号側での前記超解像の処理ブロックは、
   前記入力映像信号の低域映像成分を抽出する第１のフィルタと、
   前記入力映像信号の高域映像成分を抽出する第２のフィルタと、
   該低域映像成分を該第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数とし、該ナイキスト周波数の２倍の周波数でサンプリングし、低解像度低域映像成分を生成する第１の低解像度変換部と、
   該高域映像成分を該ナイキスト周波数の２倍の周波数でサンプリングし、低解像度高域映像成分を生成する第２の低解像度変換部と、
   該低解像度高域映像成分に乗算係数Ｋ（但し、０≦Ｋ≦１）を乗算する乗算部と、
   該低解像度低域映像信号と該乗算器からの該低解像度高域映像成分とを加算し、前記低解像度映像信号を生成する加算器と
   を有し、
   前記復号化側で前記映像処理部が設けられているとき、該乗算部での該乗算系数Ｋを１よりも小として、該低解像度高域映像信号の振幅を抑圧し、
   前記復号化側に設けられる前記超解像処理部に、復元された該高域映像成分に乗算係数１／Ｋを乗算する乗算器を設けたことを特徴とする映像処理システム。
4. 請求項１において、
   前記符号側での前記超解像の処理ブロックは、
   前記入力映像信号の低域映像成分を抽出する第１のフィルタと、
   前記入力映像信号の高域映像成分を抽出する第２のフィルタと、
   該低域映像成分を該第１のフィルタ手段の通過帯域のほぼ上限周波数をナイキスト周波数とし、該ナイキスト周波数の２倍の周波数でサンプリングし、低解像度低域映像成分を生成する第１の低解像度変換部と、
   該高域映像成分を該ナイキスト周波数の２倍の周波数でサンプリングし、低解像度高域映像成分を生成する第２の低解像度変換部と、
   指数関数的な入出力特性を有し、該低解像度高域映像成分の振幅を圧縮する指数変換部と、
   該低解像度低域映像信号と該指数変換部からの該低解像度高域映像成分とを加算し、前記低解像度映像信号を生成する第１の加算器と
   を有し、
   前記復号化側に設けられる前記超解像処理部は、
   対数関数的な入出力特性を有し、復元された該高域映像成分の該指数変換部で圧縮された振幅を伸張する対数変換部と、
   復元された該低域映像成分と該対数変換部で振幅伸張された該高域映像成分とを加算する第２の加算部と
   を有することを特徴とする映像処理システム。
5. 請求項４において、
   前記符号側での前記超解像の処理ブロックに、前記第２の低解像度変換部からの前記低解像度高域映像成分と前記指数変換部からの振幅が圧縮された前記低解像度高域映像成分とのいずれか一方を選択して前記加算器に供給する第１の選択手段を設け、
   前記復号化側に用いる前記超解像処理部に、復元された前記高域映像成分と前記対数変換部で振幅が伸張された前記高域映像成分とのいずれか一方を選択して前記第２の加算部に供給する第２の選択手段を設けたことを特徴とする映像処理システム。

Images