JP2010034725A - 画像信号処理装置、画像信号処理方法、および映像表示装置 - Google Patents

Abstract

【課題】
画像信号をより好適に高解像度化する。
【解決手段】
所定の拡大率で画素数変換された映像信号から折返し成分を除去または低減した原成分信号を生成する原成分信号生成部と、前記映像信号に含まれる折返し成分に基づいて高域成分信号を生成し、前記原成分信号生成部が生成した前記原成分信号と前記高域成分信号とを用いて高解像画像信号を生成する高解像画像信号生成部とを備える構成とする。
【選択図】 図１

Description

本発明は、画像信号を高解像度化するための技術に関する。

最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いたローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。

そこで、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が特許文献１に開示されている。

同様に、３枚の入力画像フレームの各位相差に基づいて各画像信号を加重加算し、折返し成分を除去して、高解像度化を実現する技術が特許文献２に開示されている。

また、９枚の入力画像フレームの各位相差に基づいて各画像信号を加重加算し、折返し成分を除去して、水平方向と垂直方向からなる２次元方向の高解像度化を実現する技術が特許文献３記載の技術に開示されている。

特開２００７−３２４７８９号 特開平８−３３６０４６号 特開平９−６９７５５号

地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、従来のSD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。HD画像信号のような高画素数信号の放送であっても、ずべての番組がHDカメラ（高解像度カメラ）で撮影した画像信号ではない。例えば、一部の番組やシーンでは、SDカメラのような低画素数カメラで撮影された画像信号を、HD画像信号のような高画素数信号に変換(アップコンバート)して放送することがよく知られている。

このようなアップコンバート後の信号に対して特許文献１、２、３に示した従来の解像度変換処理を行っても高解像度化の効果が少ないという課題があった。

本発明は、上記従来技術の課題に鑑みて為されたものであり、その目的は、画像信号をより好適に高解像度化することにある。

上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。

本発明によれば、画像信号をより好適に高解像度化することが可能となる。

以下、本発明の実施例を、図面を参照して説明する。

また、各図面において、同一の符号が付されている構成要素は同様の機能を有すること
とする。

また、本明細書の各記載及び各図面における「位相」という表現は、２次元画像空間において用いた場合は、２次元画像上の「位置」という意味も含む。当該位置は、小数画素精度の位置を意味する。

また、本明細書の各記載及び各図面における「アップコンバート」という表現は、画像の画素数を多くする変換処理（画素数増加処理）または画像を拡大する変換処理（画像拡大変換処理）を意味する。

また、本明細書の各記載及び各図面における「動き補償」という表現は、位相差もしくはサンプリング位相差、すなわち空間的な位置の差を算出して位置合わせを行う意味を含む。

また、本明細書の各記載及び各図面における「Re軸」という表現は、実数軸を意味する。

また、本明細書の各記載及び各図面における「Im軸」という表現は、虚数軸を意味する。

以下、本発明の実施例について、図面を参照しつつ説明する。

図１に、本発明の実施例１に係る画像信号処理装置を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の映像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として映像表示装置を例にして説明する。

図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを高解像度化するための解像度変換部(2)と、更にこの解像度変換部(2)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。ここで、入力部(1)は、必要であれば、選局、復調、ストリーム分離機能を有してもよい。また、他の機器からの映像を入力する入力端子でもよい。また、表示部(3)として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部(2)の詳細について説明する。

解像度変換部(2)では、放送局側でSD→HD変換(アップコンバート)された映像や、受信側におけるLSIチップなどで画素数変換処理をされた低解像度映像を、高解像度の映像に変換する。すなわち、図１の例では、入力部(1)に入力される映像が既に放送局側でSD→HD変換(アップコンバート)されていてもよく、入力部(1)に入力された映像信号が、例えば画素数変換部(107)によって画素数変換処理されたのち、解像度変換部(2)に入力されてもよい。以下、解像度変換部(2)の具体的な構成および動作について詳しく説明する。

図１において、まず原成分抽出部(101)は、原成分抽出部(101)に入力されるフレーム#1とフレーム#2の信号を用いて、フレーム#1の原成分(例えば、図３に示した(301)の成分)を抽出する。このとき、原成分抽出部(101)による原成分の抽出処理においては、拡大率(m/n)の情報が用いられる。拡大率(m/n)の情報は、入力部(5)を介して
から入力されてもよいが、記憶部(108)に予め記憶しておいてもよい。また、フレーム#1とフレーム#2とともに、ストリームデータに含められた状態で入力されてもよい。

続いて、折返し成分抽出部(103)により、フレーム#1の折返し成分(例えば、図３に示した(305)の成分)を抽出する。このとき、減算器(102)を用いて、原成分抽出部(101)に入力されるフレーム#1の信号から原成分抽出部(101)の出力信号を減じる構成にすれば、折返し成分抽出部(103)を実現できる。周波数変換部(104)によって、抽出した折返し成分をフレーム#1の折返し成分をもとの高域成分に戻す。ここで、周波数変換部(104)の処理においては、基準位相(δ)の情報が用いられる。ここで、基準位相(δ)とは、上記の放送局側のSD→HD変換や受信側における画素数変換処理において、拡大処理の基準となる画像中の位置を示す位相情報である。基準位相(δ)の情報は、入力部(5)から入力されてもよいが、記憶部(108)に予め記憶しておいてもよい。また、フレーム#1とフレーム#2とともに、ストリームデータに含められた状態で入力されてもよい。次に、上記高域成分を加算器(105)によって原成分と加算または混合して、高域成分再生部(106)の出力信号とする。なお、加算器(105)における加算、混合処理は、単純加算でもよく、原成分と高域成分とにそれぞれ係数を乗じて加算してもよい。すなわち、原成分と高域成分とを変数とする関数を用いた混合であればいずれの関数でもかまわない。

ここで、原成分抽出部(101)は、図２に示すように、画素数を変更せずに折返し成分を除去または低減するものである。以下、原成分抽出部(101)の動作の詳細について説明する。

図２において、原成分抽出部(101)は、入力部(3)から２枚の画像フレーム#1および#2を入力し、折返し成分の除去または低減を行い、折返し成分を除去または低減した後の原成分を出力する。原成分抽出部(101)は、位置推定(201)および位相シフト(216)によって、２枚の入力画像フレームの各画像信号に対して位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。
これにより、２枚の入力画像フレームの画像信号から４つの信号を生成することができる。折返し成分除去(217)によって、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、原成分画像の画素値を生成する。これを生成画像の各画素について行うことにより、原成分画像を生成することができる。これにより、２枚の入力画像フレームを用いて、より折返し成分が少ない画像を生成することができる。

なお、上述のとおり、本実施例に係る解像度変換部(2)の処理で想定する処理対象信号は、放送局側でSD→HD変換(アップコンバート)され、入力部(1)に入力される映像や、入力部(1)に入力された後にLSIチップなどの画素数変換部(107)によって画素数を増加された映像(すなわち拡大された映像)など、画素数変換された低解像度映像である。例えば、低解像度映像の画素数をm/n倍(ただし、m、nは整数)に増加した信号が入力された場合は、画素数変換前のサンプリング周波数（ｆｓ）と画素数変換後のサンプリング周波数（ｆｓ’)との間に、fs=fs’*n/m の関係式が成り立つものとする。このとき、画素数変換前のサンプリング周波数（ｆｓ）を基準に仮想的に推定した位相差θと、図２に示す原成分抽出部（１０１）の中の位置推定部（２０１）によって、画素数変換後のサンプリング周波数（ｆｓ’）を基準に実際に推定した位相差θ’（１２０２）との間にも同様に、θ＝θ’＊ｎ／ｍ の関係式が成り立つ。

図２に示す位置推定部(201)では、原成分抽出部(101)に入力されるフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、画素数変換後のサンプリング周波数（ｆｓ’）をもとに画素ごとにサンプリング位相差θ’（１２０２）を求め、動き補償部（１２０１）にてフレーム＃２を動き補償してフレーム#1と位置を合わせたのちに、位相シフト部(216)および折返し成分除去部(217)を用いて折返し成分を除去または低減する。

図３に、原成分抽出部(101)の上記動作における折り返し成分と原成分の関係を示す。ここで、同図に示す周波数fsは、アップコンバートなどの画素数変換を行う前のサンプリング周波数であり、上述のように画素数変換後のサンプリング周波数（ｆｓ’)との間に、fs=fs’*n/m の関係式が成り立つものとする。同図は、図２に示した遅延器(205)(207)とπ/2位相シフト器(206)(208)の各出力を、1次元の周波数領域で示したものである。同図(a)において、遅延器(205)(207)から出力されたフレーム#1とフレーム#2の信号はそれぞれ、原成分(301)(302)と、元のサンプリング周波数(fs)から折り返された折返し成分(305)(306)を加えた信号となる。このとき、折返し成分(306)は位相差θ(202)だけ位相が回転している。ここで、位相差θ(202)とは、図２に示す位置推定部(201)により、原成分抽出部(101)に入力されるフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定した結果の位相差θ’(1202)、すなわち対応する画素間の「ずれ量」を、上述したθ＝θ’＊ｎ／ｍ の関係式によって変換したのちに、画素間隔(=標本化間隔=2π)で正規化した値である。

一方、π/2位相シフト器(206)(208) から出力されたフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(303)(304)と、π/2位相シフト後の折返し成分(307)(308)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。

ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。

放送局側でのSD→HD変換(アップコンバート)や、画素数変換部(107)における画素数変換には、ローパスフィルタが一般的に用いられる。このとき、ローパスフィルタの周波数特性に応じて、各成分の周波数ごとの信号強度が変化するが、図３に示す原成分(301)と(302)の間、あるいは折返し成分(305)(306)(307)(308)の間では、周波数ごとの信号強度の変化の度合いは同一となるため、係数決定部(209)にて従来技術の解像度変換部(4)で用いる位相差θの替わりに位相差(θ’*n/m)を用いて係数(C00,C10,C20,C30)を決定することによって、折返し成分をキャンセルすることができる。

ここで、図１３を用いて、係数決定器(209)で発生する各係数(C00,C10,C20,C30)の決定方法について説明する。

まず、図１３に、係数決定器(209)の動作と具体例を示す。同図(a)に示すように、図３(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図３(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の折返し成分が少ない画像を抽出する画像信号処理装置を実現できる。

ここで、図２に示すように、遅延器(205)の出力(フレーム#1の原成分と折返し成分の和)に対する係数をC00、π/2位相シフト器(206)の出力(フレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC10、遅延器(207)の出力(位置推定部(201)および動き補償部(1201)によって、フレーム#1を基準として画素ごとに小数画素精度で動き補償したフレーム#2の原成分と折返し成分の和)に対する係数をC20、ヒルベルト変換器(208)の出力(上述のように動き補償したフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC30とする。上述のように、画素数変換前のサンプリング周波数(fs)を基準に仮想的に推定した位相差θと、図２に示す原成分抽出部(101)の中の位置推定部(201)によって、画素数変換後のサンプリング周波数（ｆｓ’)を基準に実際に推定した位相差θ’(1202)との間に、θ＝θ’＊ｎ／ｍ の関係式が成り立つ。このため、図１３(a)に示した、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=1、(4)折返し成分のIm軸の合計=0、の条件を満たすようにすると、画素数変換前のサンプリング周波数(fs)を基準にした位相差θを用いて、図３(b)および図３(c)に示した各成分の位相関係から、図１３(b)に示す連立方程式を得ることができる。これを解くと、図１３(c)に示す結果を導くことができる。係数決定器(209)では、図１３(a)、図１３(ｂ)、図１３(c)のいずれかを満たす係数C00、C10、C20、C30を出力する。

一例として、画素数変換前のサンプリング周波数(fs)を基準にした位相差θをπ/8ごとに0〜2πまで変化させたときの係数C00、C10、C20、C30の値を、図１３(d)に示す。

以上のように、係数決定器(209)が各係数(C00,C10,C20,C30)を発生し、図２に示す原成分抽出部(101)の折返し成分除去部(217)は、この係数を用いることにより折返し成分をキャンセルすることが可能となる。

次に、図１の解像度変換部(2)の全体動作例を、従来の映像信号の解像度変換の例と比較して説明する。

まず、従来の映像信号の解像度変換処理の例を図４から図６を用いて説明する。以下の例では、映像が放送局側でのSD→HD変換(アップコンバート)される場合について説明する。

地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、SD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。図４に示すように、全番組がHDカメラ(401)で撮影された画像信号になっているわけではなく、SDカメラ(402)で撮影された画像信号を、SD→HD変換器(403)によってHDと同じ画素数を持つ信号に変換(アップコンバート)し、番組ごとに、あるいはシーンごとに切替器(404)で切り替えて、伝送路(405)に出力していることがよく知られている。なお、伝送路(405)は、放送だけでなく、通信、蓄積(録画)なども含むとともに、画像符号化や多重等の信号処理も含む。

上記のように、事前に画素数変換された画像信号が入力された場合に、特許文献１に示すような従来の解像度変換処理をそのまま適用しても、高解像度化の効果が少ない。以下、その詳細について説明する。

図５に、SD→HD変換器(403)の一般的な構成を示す。例えば、画素数をm/n倍(ただし、m、nは整数)に変更する場合、まずアップレート器(501)にてm倍にアップレート(すなわち、m画素ごとに入力データを順番に配置し、その間の(m-1)個の画素には”０”を挿入)したのち、所定の特性を持ったローパスフィルタ(502)を掛け、ダウンレート器(503)にて1/n倍にダウンレート(すなわちn画素ごとに1画素を等間隔に選択して間引き出力)する。この画素数変換処理を、水平方向および垂直方向に独立して実施することにより、2次元の入力画像フレームを任意の画素数のサイズに変換できる。

図６は、動作の一例として、SD画像からHD画像に変換する際の水平拡大率を8/3(=1920/720)として、図５に示した各部の出力信号の周波数スペクトルを示したものである。図６(a)〜(e)の横軸は周波数fを、縦軸は信号成分の強度を、上向きの矢印(601)はサンプリングキャリア(正弦波)の位置(周波数)を示している。また、SD画像の水平サンプリング周波数をfsとし、SD→HD変換後のHD画像の水平サンプリング周波数をfs’(=8/3fs)とする。

図６(a)は、SDカメラ(402)の出力信号の周波数スペクトルを示しており、ナイキスト周波数(=fs/2)以上の周波数成分をもともと含んでいると想定する。この信号に対して、水平方向に8/3倍に拡大するために、SD→HD変換(403)において8倍アップレート、ローパスフィルタ、1/3倍ダウンレートの各処理を行う。

図６(b)は、SD→HD変換(403)における8倍アップレート器(501)の出力信号の周波数スペクトルを示しており、同図(a)に示したサンプリングキャリアの間隔がfsから8fsに広がることを示している。

図６(c)は、SD→HD変換(403)におけるローパスフィルタ(502)の出力信号の周波数スペクトルを示している。ローパスフィルタ(502)のカットオフ周波数をfs/2と想定すると、同図のようにf=0とf=8fsの近傍の周波数成分だけを残し、その他の周波数成分は除去または低減される。この際、ナイキスト周波数(=fs/2)以上の周波数成分は、折返し成分として残留する。

図６(d)は、SD→HD変換(403)における1/3倍ダウンレート器(503)の出力信号の周波数スペクトルを示しており、SD→HD変換後のサンプリング周波数fs’(=8fs/3)の整数倍の位置に新たなサンプリングキャリアが発生する。このサンプリングキャリアに対して、ローパスフィルタ(502)を通過した周波数成分が畳み込まれることを示している。

図６(d)’は、同図(d)の横軸のスケールを変換して、0≦f≦fsの範囲を見やすくしたものであり、図４に示した伝送路(405)を流れるSD→HD変換後の信号の周波数スペクトルを示している。ここで、図６(d)’に示す原成分に関し、ナイキスト周波数(=fs/2)以上の周波数成分がローパスフィルタ(502)によって減衰しており、もともとの位置に残留してない点が、図３に示した原信号の周波数スペクトルと大きく異なる。すなわち、この信号に対して、そのまま従来の解像度変換処理を行っても、折返し成分を除去または低減する効果しかないため図６(e)に示す周波数スペクトルのようになってしまい、LPF(502)の通過帯域(602)を超える周波数成分を再現することができず高解像度化の効果が少ない。

次に、図１の解像度変換部(2)の全体動作例を図７を用いて説明する。

ここでは一例として、図４に示す構成により、SDカメラ(402)からの信号をSD→HD変換器(403)によって8/3倍に拡大(アップコンバート)された信号が入力された場合を想定して、以下、解像度変換部(2)における各部の動作を説明する。

図７(a)は、解像度変換部(2)への入力信号の周波数スペクトルを表しており、上述した従来技術の動作の説明に用いた図６(d’)と同一のスペクトルである。ここで、8/3倍に拡大(アップコンバート)する前のサンプリング周波数をfsとした場合、fs/2の周波数を超えた原信号の高域成分は、上述したローパスフィルタ(502)によって遮断されるとともに、fs/2を対称軸として折返し成分に変換されている。ローパスフィルタ(502)の遮断特性に応じて高域成分が残留することもあるが、この残留成分は本実施例の動作に大きな影響を与えないため、図示および説明は省略する。

図１に示す原成分抽出部(101)では、図７(a)の信号を入力として折返し成分を除去または低減し、図７(b)の信号を出力する。また、折返し成分抽出部(103)では、図７(a)の信号から図７(b)の信号を減じて、図７(c)の信号を出力する。

図１に示す周波数変換部(104)では、図７(c)の信号を、fs/2を対称軸として高域に折り返すことにより、もとの周波数スペクトルに戻して出力する。周波数変換部(104)の詳細な構成および動作については、後述する。

高域成分再生部(106)では、図７(b)の信号と図７(d)の信号を加算して図７(e)の信号とし、解像度変換部(2)の出力とする。このとき、従来技術の動作の説明に用いた図６(e)のスペクトルよりも高周波成分を再生できる。

次に、図８に、周波数変換部(104)の構成例を示す。前述のように、周波数変換部(104)は、fs/2を対称軸として、入力信号の周波数スペクトルの低域側と高域側を反転して、もとの周波数スペクトルに戻して出力する。この動作を実現するためには、一般に知られているように、同図に示すような1/fsを1周期とする振幅1の正弦波(=cos(2πfs*t+δ))を出力するキャリア(搬送波)発生器(803)を用意し、乗算器(801)を用いて入力信号とキャリアを乗算したのちに、ローパスフィルタ(802)によって不要な周波数成分を除去または低減すればよい。

さらに、図９を用いて、周波数変換部(104)の動作を詳しく説明する。同図(a)は、周波数変換部(104)の入力信号、すなわち折返し成分抽出部(103)の出力信号の周波数スペクトルを示しており、図７(c)に示した周波数スペクトルと同一である。図９(b)は、周波数反転用のキャリアの周波数スペクトルを示しており、1/fsを1周期とする正弦波のため、周波数±fsの線スペクトルとなる。同図(c)は、乗算器(801)の出力信号の周波数スペクトルを示しており、同図(a)と同図(b)の信号を周波数領域で畳み込んだ結果となる。同図(d)は、ローパスフィルタ(802)の通過帯域を示しており、同図(c)の信号のうち -fs≦f≦fsの周波数成分だけを通過させる。ローパスフィルタ(802)の出力の周波数スペクトルは同図(e)のようになり、fs/2を対称軸として、入力信号(同図(a))の周波数スペクトルの低域と高域を反転した結果が得られる。なお、ローパスフィルタ(802)の替わりにバンドパスフィルタを用い、同図(e)に示す周波数成分だけを通過するように構成しても同様の効果が得られることは明らかである。

上述した図７(e)において、原成分と、折返し成分から再生した高域成分を、位相も含めて正しく接続するためには、上記のキャリア発生器(803)で発生するキャリアの基準位相(δ)と拡大前後の画素の位置を、図１０に示すような関係にすればよい。以下、詳しく説明する。

上述した例にならい、図４に示す構成により、SDカメラ(402)からの信号をSD→HD変換器(403)によって8/3倍に拡大(アップコンバート)された場合の(a)拡大前の信号、(b)拡大後の信号、(c)キャリア信号の各位置関係を、図１０(a)(b)(c)にそれぞれ示す。同図(a)に示すように、拡大前の信号の画素(1001-1)(1001-2)(1001-3)(1001-4)としたときに、8/3倍に拡大後の信号の画素位置は、同図(b)に示す画素(1002-1)(1002-2)(1002-3)…(1002-9)のようになっているものと想定する。すなわち、画素(1001-1)と画素(1002-1)の位置、および画素(1001-4)と画素(1002-9)の位置が一致するように拡大されていると想定する。このとき、画素(1001-1)と画素(1002-1)の位置、および画素(1001-4)と画素(1002-9)の位置を基準位相として、同図(c)に示すキャリア信号(cos)の位相が0となるように設定する。このように設定することにより、上記基準位相の位置でキャリア信号の値が1(=cos0)となり、図８に示す周波数変換部(104)の出力(すなわち、図７(d)に示す折返し成分から再生した高域成分)の位相と、図７(b)に示す原成分の位相を一致させることができる。

なお、図９に示した動作には、画素数変換後のサンプリング周波数（ｆｓ’)の影響が考慮されていないが、これについては一般によく知られているオーバサンプリング技術によって解決できる。すなわち、画素数変換後のサンプリング周波数（ｆｓ’)によって新たに発生する折返し成分が妨害となり、周波数スペクトルの一部が重なって図９(e)に示した所望の成分を再生できない場合には、サンプリング周波数(fs、fs’)に比べて十分に高周波の別のサンプリング周波数（ｆｓ’’、ただしfs’’≫fs、かつfs’’≫fs’)を用いてfs’→fs’’のサンプリング周波数変換(画素数変換)したのちに図９に示した動作を行い、再度fs’’→fs’のサンプリング周波数変換を行えば、上述した周波数反転の動作を実現できる。

上記オーバサンプリング技術を改良し、複素正弦波の乗算により周波数変換する技術が特許文献４などに開示されている。この技術によれば、正弦波掛算とフィルタによる方法では、実信号処理のため、正負周波数を区別することができず、広帯域信号を少量周波数シフトする場合や、サンプリングによる折返し成分が妨害となり、周波数シフトを２回に分けて行なう必要がある等の問題点が解決される。また、複素正弦波の乗算により周波数変換を行なうので、実信号処理による場合のように広帯域信号で和信号と差信号が重なってしまう場合や、サンプリングによる折返しが妨害となる場合でも、一回の周波数変換で処理が可能となり、構成要素の削減を図ることができる。

特開平１−２９２９０４号 図１１に、特許文献４に記載の技術を用いて周波数変換部(104)を構成した例を示す。図８に示した構成では、キャリア発生器(803)で発生するキャリア(cos波)は正負周波数を区別することができなかったが、図１１に示す構成では、キャリア発生器(1105)(1106)によってcos波およびそれと位相がπ/2異なる(すなわち直交する)sin波を同時に発生するとともに、π/2位相シフト器(1101)によって入力信号の直交成分を生成し、乗算器(1102)(1103)および加算器(1104)を用いて、周波数反転と、上述したサンプリングによる折返し成分(妨害)の除去または低減を同時に行うことができる。この動作については、特許文献４に詳しく記載されているので、ここでの説明は省略する。なお、π/2位相シフト器(1101)として、特許文献１に記載されているヒルベルト変換器をそのまま用いればよい。

なお、上記では、入力信号に水平方向の折返し成分が含まれている場合を例に挙げて説明したが、本発明はこれに限定されるわけではなく、入力信号に垂直方向や時間方向の折返し成分が含まれる場合や、2次元あるいは3次元方向の折返し成分を含む場合にも適用できることは明らかである。この場合、各部で用いるフィルタ、位相シフト、およびキャリア(正弦波)などを、折返し成分が発生している方向に読み替えて適用すればよい。例えば、入力信号に垂直方向の折返し成分を含む場合には、垂直フィルタ、垂直位相シフト、および垂直周波数を持つキャリアを用いればよい。例えば、インタレース走査形態の信号をプログレッシブ走査形態の信号に変換する処理(IP変換)は、垂直方向の画素数(走査線数)を2倍に増加させるアップコンバート処理であるため、IP変換された信号を実施例１に係る画像信号処理装置の入力画像フレームとして、上述した拡大率m/n倍(ただし、m、nは整数)にてm=2、n=1とおけば、垂直方向の解像度変換処理を実現できる。

図４から図６を用いて説明した従来の映像信号の解像度変換処理の例及び図７から図１１を用いて説明した本実施例に係る解像度変換部(2)の動作、構成例は、いずれも、映像が放送局側でのSD→HD変換(アップコンバート)される場合について説明した。しかし、映像が受信側、すなわち本実施例に係る画像信号処理部の画素数変換部(107)において画素数変換された場合も、解像度変換の処理が放送局側から受信側に変わるのみで、その他の説明は上記の説明と同様である。

以上説明した実施例１に係る画像信号処理装置は、事前に画素数変換された画像信号がに対しても、好適な高解像度化が実現できるという効果を有する。

次に、図１２乃至図１５を用いて、本発明の実施例２について説明する。実施例２は、実施例１に係る解像度変換部(2)と同等の動作を、別の構成に換えて実施したものである。以下、その具体的な構成および動作について詳しく説明する。

図１２において、原成分抽出部(101)の各部の動作については、実施例１に係る原成分抽出部(101)の各部の動作と同様なので、説明を省略する。一方、折返し成分抽出部(1203)(1210)は、上述した折返し成分除去部(217)と同様の構成だが、各係数決定器(1209)(1216)で発生する係数(C02,C12,C22,C32)(C03,C13,C23,C33)を後述のように設定することにより、折返し成分抽出部(1203)(1210)の出力信号の位相が互いに直交するような形態で、それぞれ折返し成分を抽出する。すなわち、折返し成分抽出部(1203)の出力は、実施例１に係る図１に示す減算器(102)から出力される折返し成分と略同一になるようにし、折返し成分抽出部(1210)の出力は、実施例１に係る図１１のπ/2位相シフト器(1101)から出力される折返し成分と略同一になるようにする。周波数変換部(104)および高域成分再生部(106)の各構成は、実施例１に係る図１１および図１に示した各部の構成と同様なので、説明を省略する。

続いて、図１３乃至図１５を用いて、係数決定器(209)(1209)(1216)で発生する各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)の決定方法について説明する。

まず、係数決定器(209)の係数決定動作は実施例１にて説明した図１３の係数決定動作と同様であるため、説明を省略する。

続いて、図１４に、係数決定器(1203)の動作と具体例を示す。係数決定器(1203)では、図１４(a)に示すように、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=1、(4)折返し成分のIm軸の合計=0とおくことによって、図１４(b)に示す連立方程式を得ることができる。これを解くと、図１４(c)(d)に示すような折返し成分のRe軸の信号のみを取り出す係数(C02、C12、C22、C32)を導出できる。

図１５に、係数決定器(1216)の動作と具体例を示す。上記と同様に、係数決定器(1216)では、図１５(a)に示すように、(1)原成分のRe軸の合計=0、(2)原成分のIm軸の合計=0、(3)折返し成分のRe軸の合計=0、(4)折返し成分のIm軸の合計=1とおくことによって、図１５(b)に示す連立方程式を得ることができる。これを解くと、図１５(c)(d)に示すような折返し成分のRe軸の信号のみを取り出す係数(C03、C13、C23、C33)を導出できる。

このように求めた各係数を用いることにより、図１２に示した折返し成分抽出部(1203)(1216)の各出力(折返し成分)は、互いに位相が直交する。従って、図１１に示した周波数変換部(104)におけるπ/2位相シフト(1101)を不要にでき、図１２に示す周波数変換部(104)のように、乗算器(1102)(1103)に折返し成分抽出部(1203)(1216)の各出力をそのまま入力して、上述した周波数変換の動作を実現できる。

なお、図１３乃至図１５からわかるように、各係数(C00,C10,C20,C30) (C02,C12,C22,C32)(C03,C13,C23,C33)は、同一の位相差θに対して各係数間の並び順が異なるだけなので、図１２における係数決定器(217)(1209)(1216)を統一して、回路を簡略化してもよいことは明らかである。また、図１３および図１４からわかるように、C02=1-C00, C12=-C10, C22=-C20, C32=-C30 の関係となるため、折返し成分のRe軸の合計=フレーム#1の信号−原成分のRe軸の合計の関係となる。従って、図１に示す折返し成分抽出部(103)のような減算器(102)を用い、遅延器(205)の出力から折返し成分除去部(217)の出力信号を減じることによって、折返し成分抽出部(1203)の出力信号の替わりにして、折返し成分抽出部(1203)の回路を簡略化してもよい。

図１３乃至図１５に示した各計算式を1つにまとめると、図１６に示す行列演算式になる。すなわち、図１６(a)における左辺の部分行列(1601)(1602)(1603)は、図１３乃至図１５の各(a)の右辺の値を表す。また、図１６(a)における右辺第1項の行列(1604)は、図１３乃至図１５の左辺の各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)に乗じる係数を表す。また、図１６(a)における右辺第2項の部分行列(1605)(1606)(1607)は、各係数(C00,C10,C20,C30)(C02,C12,C22,C32)(C03,C13,C23,C33)そのものである。この行列演算式を解くと、図１６(b)のように各係数を求めることができる。なお、位相差θの値によっては、各係数の解が不定になって求められないときは、強制的に係数C00=1とし、他の係数(C10,C20,C30,C02,C12,C22,C32,C03,C13,C23,C33)をすべて0にするなどして、解像度変換部(2)に入力されたフレーム#1の信号が、そのまま出力されるようにすればよい。

以上説明した実施例２に係る画像信号処理装置は、実施例１に係る画像信号処理装置の効果に加えて、周波数変換部において、サンプリングによる不要な折返し成分(妨害)を防ぐためのオーバサンプリングやπ/2位相シフト(ヒルベルト変換)が不要になり、構成要素の削減、およびオーバサンプリングやπ/2位相シフトによって生じる処理時間(遅延時間)の削減を図ることができるという効果を有する。

本発明の実施例３は、図１に示した画像信号処理装置の構成のうち、原成分抽出部(101)
に替えて、図２０に示す原成分抽出部(2014)を用いることにより、入力された3枚のフレーム画像を用いて高解像度化する画像信号処理装置を実現するものである。

原成分抽出部(2014)の動作は、特許文献２に記載されている技術を改善したものである。よって、まず、図１７を用いて、特許文献２に記載されている従来技術の動作を説明する。特許文献２に記載の技術では、同図(a)(b)(c)に示すように、3枚のフレーム(#1、#2、#3)の信号を用いて折返し成分をキャンセルし、原信号(1701)(1702)(1703)だけを取り出す。このとき、フレーム#1に含まれる折返し成分(1704)の位相を基準とし、フレーム#2\の折返し成分(1705)の位相差α、およびフレーム#3の折返し成分(1706)の位相差βを画素ごとに推定し、図１８に示す行列演算式を解くことによって、各フレーム(#1、#2、#3)の信号に乗じる係数(C00,C10,C20)を求める。この係数(C00,C10,C20)を、フレーム#1の信号(原成分(1701)と折返し成分(1704)の和)、フレーム#2の信号(原成分(1702)と折返し成分(1705)の和)、フレーム#3の信号(原成分(1703)と折返し成分(1706)の和)にそれぞれ乗じて加重加算することにより、折返し成分(1704)(1705)(1706)をキャンセルして、原成分(1701)(1702)(1703)だけを抽出する。この動作については、特許文献２に詳しく述べられているので、詳細な説明は省略する。

特許文献２に記載されている従来技術も、上述した特許文献１に記載されている従来技術と同様に、折返し成分を除去または低減する効果しかないため、事前に画素数変換された画像信号が入力された場合には高解像度化の効果が少ない。

一方、本発明の実施例３に係る図２０に示す原成分抽出部(2014)では、入力されたフレーム#1の信号は、遅延器(2001)を介して、折返し成分除去部(2013)に入力する。また、入力されたフレーム#2の信号は、位置推定部(2002)によってフレーム#2とフレーム#1の対応する画素どうしの位相差α’(2011) 、すなわち対応する画素間の「ずれ量」を画素ごとに求めたのち、動き補償部(2003)によって上記ずれ量を小数画素精度で補償した信号を生成して、折返し成分除去部(2013)に入力する。同様に、入力されたフレーム#3の信号は、位置推定部(2004)によってフレーム#3とフレーム#1の対応する画素どうしの位相差β’(2012) 、すなわち対応する画素間の「ずれ量」を画素ごとに求めたのち、動き補償部(2005)によって上記ずれ量を小数画素精度で補償した信号を生成して、折返し成分除去部(2013)に入力する。このとき、実施例１と同様に、特許文献２に記載されているようなアップレート(広帯域補間)は必要なく、画素(サンプリング点)を補間して画像データを高密度化する必要もない。

折返し成分除去部(2013)では、上述した位相差(α’、β’)から、画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差(α、β)に変換したのちに、係数決定器(2006)にて係数(C00,C10,C20)を画素ごとに決定し、乗算器(2007)(2008)(2009)および加算器(2010)を用いて各信号を加重加算することによって折返し成分を除去または低減し、原成分抽出部(2014)の出力とする。

ここで、係数決定器(2006)で用いる各位相差(α、β)は、画素数をm/n倍(ただし、m、nは整数)に増加する画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差であり、画素数変換後のサンプリング周波数（ｆｓ’)を基準に推定した位相差(α’、β’)との間には、α=α’*n/m および β=β’*n/m の関係式が成り立つ。この位相差(α、β)を用いれば、従来技術と同様の図１８に示す行列演算式を利用して、係数(C00,C10,C20)を決定できる。

なお、実施例３に係る画像信号処理装置は、原成分抽出部(2014)の出力(原成分)を、図１に示した原成分抽出部(101)の出力(原成分)としてそのまま利用できる。従って、図１に示した解像度変換部(2)における原成分抽出部(101)以外の各部の構成および動作、すなわち折返し抽出部(103)および高域成分再生部(106)の構成および動作は、実施例１に係る画像信号処理装置と同様であるため、説明は省略する。

以上説明した実施例３に係る画像信号処理装置によれば、放送局側でSD→HD変換(アップコンバート)された映像など、前段の処理で画素数変換された低解像度映像に含まれる３枚の画像を用いて、折返し成分を低減するとともに高周波成分を再現して、高解像度の画像を生成するできる。

次に、図１９及び図２１を用いて、本発明の実施例４について説明する。実施例４は、実施例３に係る解像度変換部(2)と同等の動作を、別の構成に換えて実施したものである。以下、その具体的な構成および動作について詳しく説明する。

まず、実施例３に係る図１８に示した行列演算式を図１９(a)に示す行列演算式に拡張し、図１９(b)のように各係数(C00,C10,C20)(C01,C11,C21)(C02,C12,C22)を求める。ここで、図１９(a)における左辺の部分行列(1801)は、(1)原成分のRe軸の合計=1、(2)折返し成分のRe軸の合計=0、(3)折返し成分のIm軸の合計=0、であることを表す。同様に、図１９(a)における左辺の部分行列(1901)は、(1)原成分のRe軸の合計=0、(2)折返し成分のRe軸の合計=1、(3)折返し成分のIm軸の合計=0、であることを表し、図１９(a)における左辺の部分行列(1902)は、(1)原成分のRe軸の合計=0、(2)折返し成分のRe軸の合計=0、(3)折返し成分のIm軸の合計=1、であることを表す。図１９(a)における右辺第1項の行列(1802)は、図１８における行列(1802)と同一である。なお、各位相差(α、β)は、画素数をm/n倍(ただし、m、nは整数)に増加する画素数変換を行う前のサンプリング周波数(fs)を基準に推定した位相差であり、画素数変換後のサンプリング周波数（ｆｓ’)を基準に推定した位相差(α’、β’)との間には、α=α’*n/m および β=β’*n/m の関係式が成り立つ。

図１９(b)のように求めた各係数(C00,C10,C20)(C01,C11,C21)(C02,C12,C22)を動き補償後の各フレーム(#1、#2、#3)の信号に乗じることにより、原成分のRe軸の合計、折返し成分のRe軸の合計、折返し成分のIm軸の合計の各成分を抽出できる。

図２１に、実施例４に係る解像度変換部(2)の構成を示す。同図において、原成分抽出部(2014)は、図１９(b)のように求めた係数(C00,C10,C20)を各フレーム(#1、#2、#3)の信号に乗じて原成分のRe軸の合計の成分を抽出するものである。原成分抽出部(2014)の各部の動作については、実施例３に係る図２０に示した原成分抽出部(2014)の各部の動作と同様なので、説明は省略する。

図２１における折返し成分抽出部(2111)は、乗算器(2102)(2103)(2104)および加算器(2105)を用いて、図１９(b)のように求めた係数(C01,C11,C21)を各フレーム(#1、#2、#3)の信号に乗じて折返し成分のRe軸の合計の成分を抽出するものである。

同様に、図２１における折返し成分抽出部(2112)は、乗算器(2107)(2108)(2109)および加算器(2110)を用いて、図１９(b)のように求めた係数(C02,C12,C22)を各フレーム(#1、#2、#3)の信号に乗じて折返し成分のIm軸の合計の成分を抽出するものである。

このようにして抽出した原成分のRe軸の合計、折返し成分のRe軸の合計、折返し成分のIm軸の合計の各成分を、実施例２に係る図１２に示した高域成分再生部(106)に入力し、高解像度化した信号を出力する。高域成分再生部(106)の各部の動作については、実施例２に係る高域成分再生部(106)の各部の動作と同様なので、説明を省略する。

なお、図１９(b)からわかるように、C01=1-C00、C11=-C10、C21=-C20の関係になるため、図１に示した折返し成分抽出部(103)のように、図２１に示した折返し成分抽出部(2111)の替わりに、フレーム#1の入力信号(遅延器(2001)の出力)から原成分(加算器(2010)の出力)を減じることによって、折返し成分のRe軸の合計の成分としてもよいことは明らかである。

以上説明した実施例４に係る画像信号処理装置は、実施例３に係る画像信号処理装置の効果に加えて、周波数変換部において、サンプリングによる不要な折返し成分(妨害)を防ぐためのオーバサンプリングやπ/2位相シフト(ヒルベルト変換)が不要になり、構成要素の削減、およびオーバサンプリングやπ/2位相シフトによって生じる処理時間(遅延時間)の削減を図ることができるという効果を有する。

なお、本発明の各実施例における拡大率(m/n)と基準位相(δ)をそれぞれパラメータ化し、送信側から受信側に対して、映像信号(フレーム#1、#2、#3など)と対応づけて伝送するようにしてもよい。

また、拡大率(m/n)と基準位相(δ)は、例えば、送受信間で同様かつ所定の値となるように予め定めておき、送信装置と受信装置においてそれぞれ当該所定の値を記憶部などに予め記憶してき、互いに用いればよい。このようにすれば、送信装置、受信装置間における拡大率(m/n)と基準位相(δ)の送信、受信や受信装置における検出等は不要になる。

また、拡大率(m/n)あるいは基準位相(δ)が受信側で検出あるいは再生できない場合は、上述した解像度変換処理を止めて、例えばフレーム#1の入力信号が画像信号処理装置の出力信号としてそのまま出力されるように構成してもよい。

なお、本発明の各実施例は、上記実施例で説明した装置以外に、例えば、ＤＶＤプレーヤー、磁気ディスクプレーヤー、もしくは半導体メモリプレーヤーにも同様に適用できる。また例えば、１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できる。

また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。また、例えば、インターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像の画像フレームを用いてもよい。

また、上述した各実施例ではフレーム単位での高解像度化を例に挙げて説明した。しかし高解像度化の対象は、必ずしもフレーム全体でなくとも良い。例えば、入力画像または入力映像のフレームの一部分を解像度化の対象としても良い。すなわち、入力映像のフレームの一部分の複数フレーム分を対象として上述した本発明の一の実施例の画像処理を実施すれば、入力画像または入力映像の一部分の高画質な拡大画像を得ることができる。これは、例えば、映像の一部分の拡大表示などに適用できる。

上述した本発明の各実施例によれば、低解像度の画像を好適に高解像度に変換する処理を行うことができ、高画質な高解像度画像を好適に得ることができる。

本発明の実施例１に係る構成の説明図である。 本発明の実施例１に係る構成の説明図である。 本発明の実施例１に係る動作の説明図である。 従来技術の解像度変換処理の説明図である。 従来技術の解像度変換処理の説明図である。 従来技術の解像度変換処理の説明図である。 本発明の実施例１に係る動作の説明図である。 本発明の実施例１に係る構成の説明図である。 本発明の実施例１に係る動作の説明図である。 本発明の実施例１に係る動作の説明図である。 本発明の実施例１に係る別構成の説明図である。 本発明の実施例２に係る構成の説明図である。 本発明の実施例１に係る動作の説明図である。 本発明の実施例２に係る動作の説明図である。 本発明の実施例２に係る動作の説明図である。 本発明の実施例２に係る動作の説明図である。 従来技術の動作の説明図である。 従来技術の動作の説明図である。 本発明の実施例３に係る動作の説明図である。 本発明の実施例３に係る構成の説明図である。 本発明の実施例４に係る構成の説明図である。

符号の説明

1,5…入力部;2,4…解像度変換部;3…表示部;101,2014…原成分抽出部;102…減算器;103,1203,1210,2111,2112…折返し成分抽出部;104…周波数変換部;105,214,1104,1208,1215,2010,2105,2110…加算器;106…高域成分再生部;107…画素数変換部;108…記憶部;201,2002,2004…位置推定部;202,1202,2011,2012…位相差;203,204…アップレート器;205,207,2001…遅延器;206,208,1101…π/2位相シフト器;209,1209,1216,2006,2101,2106…係数決定器;210,211,212,213,801,1102,1103,1204,1205,1206,1207,1211,1212,1213,1214,2007,2008,2009,2102,2103,2104,2107,2108,2109…乗算器;216…位相シフト部;217,2013…折返し成分除去部;301,302,1701,1702,1703…原成分;303,304…π/2位相シフト後の原成分;305,306,307,308,1704,1705,1706…折返し成分;401…HDカメラ;402…SDカメラ;403…SD→HD変換器;404…切替器;405…伝送路;501…アップレート器;502,802…ローパスフィルタ;503…ダウンレート器;601…サンプリングキャリア;602…ローパスフィルタ(LPF)の通過帯域;803,1105,1106…キャリア発生器;1001,1002…画素;1201,2003,2005…動き補償部;1601,1602,1603,1604,1605,1606,1607,1801,1802,1803,1901,1902,1903,1904…係数;

Claims (19)

1. 映像信号から折返し成分を除去または低減した原成分信号を生成する原成分信号生成部と、
   前記映像信号に含まれる折返し成分に基づいて高域成分信号を生成し、前記原成分信号生成部が生成した前記原成分信号と前記高域成分信号とを用いて高解像画像信号を生成する高解像画像信号生成部とを備えることを特徴とする画像信号処理装置。
2. 前記映像信号は所定の拡大率で画素数変換された映像信号であって、
   前記原成分信号生成部は、前記映像信号に含まれる複数の画像信号に対して、または前記複数の画像信号に位相シフト処理を行い、前記位相シフト処理前後の複数の画像信号に対して、前記映像信号における複数の画像信号間の位相差と前記所定の拡大率とを用いて算出した係数を乗じて加算して、原成分信号を生成することを特徴とする請求項１記載の画像信号処理装置。
3. 前記高解像画像信号生成部は、
   前記映像信号から折返し成分を抽出して折返し成分信号を生成する折返し成分信号生成部と、
   前記折返し成分信号生成部が生成した折返し成分信号を周波数変換して高域成分信号を生成する周波数変換部と、
   前記周波数変換部が生成した高域成分信号と前記原成分信号生成部が生成した原成分信号とを加算または混合する加算・混合部とを備えることを特徴とする請求項１記載の画像信号処理装置。
4. 前記映像信号は所定の拡大率で拡大処理された映像信号であって、
   前記周波数変換部は、
   前記拡大処理の基準となる位相の情報である基準位相情報と前記所定の拡大率を用いて正弦波を生成し、生成した前記正弦波と前記折返し成分信号生成部が生成した折返し成分信号との乗算結果に基づいて前記高域成分信号を生成することを特徴とする請求項３記載の画像信号処理装置。
5. 前記基準位相情報は、前記画像信号処理装置に外部から入力されるか、または前記画像信号処理装置が有する記憶部に予め記憶されることを特徴とする請求項４記載の画像信号処理装置。
6. 映像信号から折返し成分を除去または低減した原成分信号を生成する原成分信号生成ステップと、
   前記映像信号に含まれる折返し成分に基づいて高域成分信号を生成し、前記原成分信号生成ステップにおいて生成した前記原成分信号と前記高域成分信号とを用いて高解像画像信号を生成する高解像画像信号生成ステップとを備えることを特徴とする画像信号処理方法。
7. 前記映像信号は所定の拡大率で画素数変換された映像信号であって、
   前記原成分信号生成ステップは、前記映像信号に含まれる複数の画像信号に対して、または前記複数の画像信号に位相シフト処理を行い、前記位相シフト処理前後の複数の画像信号に対して、前記映像信号における複数の画像信号間の位相差と前記所定の拡大率とを用いて算出した係数を乗じて加算して、原成分信号を生成することを特徴とする請求項６記載の画像信号処理方法。
8. 前記高解像画像信号生成ステップは、
   前記映像信号から折返し成分を抽出して折返し成分信号を生成する折返し成分信号生成ステップと、
   前記折返し成分信号生成ステップにおいて生成した折返し成分信号を周波数変換して高域成分信号を生成する周波数変換ステップと、
   前記周波数変換ステップにおいて生成した高域成分信号と前記原成分信号生成ステップにおいて生成した原成分信号とを加算または混合する加算・混合ステップとを備えることを特徴とする請求項６記載の画像信号処理方法。
9. 前記映像信号は所定の拡大率で拡大処理された映像信号であって、
   前記周波数変換ステップは、
   前記拡大処理の基準となる位相の情報である基準位相情報と前記所定の拡大率を用いて正弦波を生成し、生成した前記正弦波と前記折返し成分信号生成ステップにおいて生成した折返し成分信号との乗算結果に基づいて前記高域成分信号を生成することを特徴とする請求項８記載の画像信号処理方法。
10. 放送側において所定の拡大率で画素数変換された映像信号を入力する入力部と、
    前記映像信号に含まれる折返し成分を除去または低減した原成分信号を生成し、前記映像信号に含まれる折返し成分に基づいて高域成分信号を生成し、前記原成分信号と前記高域成分信号とを用いて高解像映像信号を生成する解像度変換部と、
    前記解像度変換部が生成した高解像映像信号を表示する映像表示装置。
11. 前記解像度変換部は、前記映像信号に含まれる複数の画像信号に対して、または前記複数の画像信号に位相シフト処理を行い、前記位相シフト処理前後の複数の画像信号に対して、前記映像信号における複数の画像信号間の位相差と前記所定の拡大率とを用いて算出した係数を乗じて加算して、原成分信号を生成することを特徴とする請求項１０記載の映像表示装置。
12. 前記解像度変換部は、前記映像信号から折返し成分を抽出して折返し成分信号を生成し、前記折返し成分信号を周波数変換して高域成分信号を生成し、前記高域成分信号と前記原成分信号とを加算または混合して高解像映像信号を生成することを特徴とする請求項１０記載の映像表示装置。
13. 前記解像度変換部は、前記拡大処理の基準となる位相の情報である基準位相情報と前記所定の拡大率を用いて正弦波を生成し、生成した前記正弦波と前記折返し成分信号との乗算結果に基づいて前記高域成分信号を生成することを特徴とする請求項１２記載の映像表示装置。
14. 前記基準位相情報は、前記画像信号処理装置に外部から入力されるか、または前記映像表示装置が有する記憶部に予め記憶されることを特徴とする請求項１３記載の映像表示装置。
15. 映像信号を入力する入力部と、
    前記入力部に入力された映像信号を所定の拡大率で画素数変換する画素数変換部と、
    前記画素数変換部から画素数変換後の映像信号を入力し、前記画素数変換後の映像信号に含まれる折返し成分を除去または低減した原成分信号を生成し、前記画素数変換後の映像信号に含まれる折返し成分に基づいて高域成分信号を生成し、前記原成分信号と前記高域成分信号とを用いて高解像映像信号を生成する解像度変換部と、
    前記解像度変換部が生成した高解像映像信号を表示する映像表示装置。
16. 前記解像度変換部は、前記画素数変換後の映像信号に含まれる複数の画像信号に対して、または前記複数の画像信号に位相シフト処理を行い、前記位相シフト処理前後の複数の画像信号に対して、前記画素数変換後の映像信号に含まれる複数の画像信号間の位相差と前記所定の拡大率とを用いて算出した係数を乗じて加算して、原成分信号を生成することを特徴とする請求項１５記載の映像表示装置。
17. 前記解像度変換部は、前記画素数変換後の映像信号から折返し成分を抽出して折返し成分信号を生成し、前記折返し成分信号を周波数変換して高域成分信号を生成し、前記高域成分信号と前記原成分信号とを加算または混合して高解像映像信号を生成することを特徴とする請求項１５記載の映像表示装置。
18. 前記解像度変換部は、前記拡大処理の基準となる位相の情報である基準位相情報と前記所定の拡大率を用いて正弦波を生成し、生成した前記正弦波と前記折返し成分信号との乗算結果に基づいて前記高域成分信号を生成することを特徴とする請求項１７記載の映像表示装置。
19. 前記基準位相情報は、前記画像信号処理装置に外部から入力されるか、または前記映像表示装置が有する記憶部に予め記憶されることを特徴とする請求項１８記載の映像表示装置。

Images