JP2009296193A

JP2009296193A - 画像信号処理方法、及び装置

Info

Publication number: JP2009296193A
Application number: JP2008146445A
Authority: JP
Inventors: Koichi Hamada; 宏一浜田; Masahiro Kageyama; 昌広影山; Kenichi Yoneshi; 健一米司
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-06-04
Filing date: 2008-06-04
Publication date: 2009-12-17

Abstract

【課題】入力画像信号の各画像フレームから動きベクトルを探索するためのハードウェアを大型化すること無く入力画像信号のフレームレート変換を行えるようにする。
【解決手段】動きベクトル探索部２５は、画像信号縮小部２３から出力される縮小処理が施された後の各画像フレームを順次入力し、時間的に隣接する少なくとも２以上の画像フレーム同士の間で、動きベクトルを探索する処理を行う。画像フレーム同士の間において、それらの全体領域、又は一部領域を対象として動きベクトルを探索する処理を実行する。画像フレーム同士の間において、対象領域内の互いに対応する画素同士の間（若しくは、互いに対応する、複数の画素を含むブロック同士の間）における位置ずれの有無（差分）を探索することにより、該画素（若しくは、該ブロック）に係わる動きベクトルを求める。
【選択図】図２

Description

本発明は、入力された画像信号に対し、フレームレート変換処理や、超解像処理を施す画像信号処理方法、及び装置に関する。

従来、画像信号処理の技術分野において、画質劣化を簡単な信号処理によって抑制し得る高画質、且つ、低コストの画像信号の方式変換方法、及び装置が提案されている（例えば特許文献１参照）。また、従来、上記技術分野において、標本化位置の異なる複数組のディジタルデータから、ナイキスト周波数以上の原信号の高周波成分を復元し、ぼけの少ない高解像度データを得ることを目的とした画像信号、及び装置も提案されている（例えば特許文献２参照）。また、従来、上記技術分野において、２次元的な標本化位置のずれ、任意の数の折り返し成分を持つ複数の２次元ディジタルデータに対して、その折り返し成分を打ち消し、原信号の高周波成分を復元することを目的とした２次元ディジタル信号処理装置も提案されている（例えば特許文献３参照）。更に、従来、上記技術分野において、特許文献１、及び特許文献２に開示されているのと同様の技術、即ち、入力された複数の画像フレームを合成して１枚の画像フレームを生成することにより、入力された画像情報の高解像化、及び画素数の増加を図ることが可能な技術も知られている（例えば非特許文献１参照）。

特開平11-112939号公報特開平8-336046号公報特開平9-69755号公報青木伸"複数のディジタル画像データによる超解像処理",Ricoh Technical Report pp. 19-25, No.24, NOVEMBER, 1998

ところで、近年におけるテレビジョン受像機（ディジタル・テレビジョン受像機のこと。以下、「TV受像機」と略記する。）は、大画面化が進んでいる。そのため、上記TV受像機においては、放送された画像信号や、所定の通信ネットワークを通じて受信した画像信号や、例えばHDD（ハード・ディスク・ドライブ）等の蓄積媒体（記録媒体）から入力した画像信号等が、そのままの状態で表示部（ディスプレイ）に表示出力される訳ではない。入力された上記画像信号に対し、ディジタル信号処理を施すことにより、上記画像信号における水平方向、及び垂直方向の画素数を増加させたうえで表示部に表示出力するのが一般的である。しかし、上記ディジタル信号処理に際して、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等により、上記画像信号の画素数を増加させるだけでは、上記画像信号の解像度を増加させることはできない。そこで、従来、上述した特許文献１、特許文献２、及び非特許文献１に夫々開示されているような技術が提案されている。

特許文献１に開示される提案では、ミニブロック単位に生成された画素単位動きベクトルを基に、補正ベクトルが生成され、該補正ベクトルを基に、現画像フレーム、前画像フレームにおける動き補正信号が生成される。そして、両動き補正信号を基に、所定の演算処理が行われることで、内挿フレーム信号が生成され、フレーム数変換された信号が出力される。換言すれば、該提案は、入力された画像信号のフレームレートを、所望のフレームレートに変換するフレームレート変換技術のうちの動き補正型のフレームレート変換技術に係わるものである。該変換技術では、変換前の画像信号の時間的に隣接する画像フレームから探索した動きベクトルに基づき、上記各画像フレームに含まれる画像と同一の画像を上記各画像フレームの位置とは異なる位置に持つ画像フレームを生成する。そして、該生成した画像フレームを、時間軸上の、上記各画像フレームの位置によって挟まれた位置に挿入することにより、該画像信号のフレームレートを増加させる。

また、特許文献２に開示される提案では、位置をずらして標本化した同一対象に係わる画像の３組のディジタルデータのうちの最初のデータと、それ以降のデータとの間の位置差が求められる。次に、該求められた位置差に応じた重みが求められ、ＬＰＦ処理された後入力信号のサンプリング間隔よりも狭い間隔でサンプリングされた入力データに対し、上記重みが掛け合わされ、足し合わされる。更に、特許文献３に開示される提案では、位置をずらして標本化した同一対象に係わる画像のｎ組の２次元ディジタルデータのうちの最初のデータと、それ以降のデータとの間の位置差が求められる。次に、該求められた位置差に応じた重みが求められ、ＬＰＦ処理された後入力信号のサンプリング間隔よりも狭い間隔でサンプリングされた入力データに対し、上記重みが掛け合わされ、足し合わされる。なお、非特許文献１に開示されている技術の詳細については、非特許文献１を参照されたい。

しかし、特許文献１、特許文献２、特許文献３、及び非特許文献１の何れに開示されている技術を適用して、上述したディジタル信号処理を行っても、上述した動き補正型のフレームレート変換を行うに際しては、時間的に隣接する画像フレーム同士の間において、可動物体の画像の動きベクトルを探索する必要がある。しかも、上記画像フレーム同士の間において、可動物体の画像の大きな動きを見出そうとすると、空間的に広い範囲における動きベクトルの探索が必要不可欠になり、それに伴って動きベクトルを探索するためのハードウェア（動きベクトル探索回路）の規模が大きくなってしまうという問題が生じる。

従って本発明の目的は、入力した画像信号に対しフレームレート変換処理、及び超解像処理を施す画像信号処理において、上記入力画像信号の各画像フレームから動きベクトルを探索するためのハードウェアを大型化すること無く上記入力画像信号のフレームレート変換を行えるようにすることにある。

また、本発明の別の目的は、入力した画像信号に対しフレームレート変換処理、及び超解像処理を施す画像信号処理において、超解像処理に適した状態のローパスフィルタを設けて画像信号の縮小処理を行うことにより、高画質な（ノイズの少ない）フレームレート変換の処理結果が得られるようにすることにある。

本発明の第１の観点に従う画像信号処理装置は、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力される動きベクトルを用いて、上記画像信号縮小部から出力される上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記フレームレート変換処理部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、を備える。

本発明の第１の観点に係る好適な実施形態では、上記フレームレート変換部による上記処理が、上記画像信号縮小部から出力される上記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって上記動きベクトル探索部から出力される動きベクトルに対応する画像フレーム同士を選択する処理と、その選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成してその時間的位置に挿入する処理と、を含む。

上記とは別の実施形態では、上記動きベクトルに対して施される所定の変換処理が、上記超解像処理部による上記各画像フレームの拡大処理に適した動きベクトル形式への変換処理である。

本発明の第２の観点に従う画像信号処理装置は、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力される動きベクトルを用いて、上記画像信号縮小部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、上記動きベクトル探索部から出力され、上記所定の変換処理が施された後の上記動きベクトルを用いて、上記超解像処理部から出力される上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、を備える。

本発明の第２の観点に係る好適な実施形態では、上記フレームレート変換処理部による上記処理が、上記超解像処理部より出力される上記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって上記動きベクトル探索部から出力される動きベクトルに対応する画像フレーム同士を選択する処理と、その選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成してその時間的位置に挿入する処理と、を含む。

上記とは別の実施形態では、上記動きベクトルに対して施される所定の変換処理が、上記フレームレート変換処理部による上記画像信号のフレームレート変換処理に適した動きベクトル形式への変換処理である。

本発明の第３の観点に従う画像信号処理装置は、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記入力した画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記フレームレート変換処理部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、を備える。

本発明の第３の観点に係る好適な実施形態では、上記フレームレート変換処理部による上記処理が、上記入力した画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって上記所定の変換処理が施された後の上記動きベクトルに対応する画像フレーム同士を選択する処理と、その選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成してその時間的位置に挿入する処理と、を含む。

上記とは別の実施形態では、上記動きベクトルに対して施される所定の変換処理が、上記フレームレート変換処理部による上記画像信号のフレームレート変換処理、及び超解像処理部による上記画像信号の各画像フレームのサイズを拡大するための処理に適した動きベクトル形式への変換処理である。

本発明の第４の観点に従う画像信号処理装置は、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記入力した画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記超解像処理部から出力される上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、を備える。

本発明の第４の観点に係る好適な実施形態では、上記フレームレート変換処理部による上記処理が、上記超解像処理部から出力される上記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって上記所定の変換処理が施された後の上記動きベクトルに対応する画像フレーム同士を選択する処理と、その選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成してその時間的位置に挿入する処理と、を含む。

上記とは別の実施形態では、上記動きベクトルに対して施される所定の変換処理が、上記超解像処理部による上記画像信号の各画像フレームのサイズを拡大するための処理、及び上記フレームレート変換処理部による上記画像信号のフレームレート変換処理に適した動きベクトル形式への変換処理である。

本発明の第５の観点に従う画像信号処理装置は、入力した画像信号の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力される動きベクトルを用いて、上記入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記画像信号縮小部から出力される縮小後の上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記フレームレート変換処理部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、を備える。

本発明の第５の観点に係る好適な実施形態では、上記フレームレート変換処理部による上記処理が、上記画像信号縮小部から出力される縮小後の各画像フレームより、時間的に隣接する画像フレーム同士であって上記所定の変換処理が施された後の上記動きベクトルに対応する画像フレーム同士を選択する処理と、その選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成してその時間的位置に挿入する処理と、を含む。

上記とは別の実施形態では、上記動きベクトルに対して施される所定の変換処理が、上記フレームレート変換処理部による上記画像信号のフレームレート変換処理、及び上記超解像処理部による上記画像信号の各画像フレームのサイズを拡大するための処理に適した動きベクトル形式への変換処理である。

また、上記とは別の実施形態では、上記画像信号縮小部が、上記入力した画像信号の各画像フレームを、個別に入力可能なように接続される各々が特性の異なる複数の空間ローパスフィルタと、上記動きベクトル探索部から出力される動きベクトルに応じて、上記空間ローパスフィルタからの出力を選択的に入力し、入力した各画像フレームの画素数を間引く処理を行うことにより、上記各画像フレームのサイズを縮小する画像フレームサイズ縮小部と、を備える。

本発明の第６の観点に従う画像信号処理方法は、入力した画像信号の各画像フレームのサイズを縮小する第１のステップと、上記第１のステップにおいてサイズが縮小された後の画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する第２のステップと、上記第２のステップにおいて探索された動きベクトルを用いて、上記第１のステップにおいてサイズが縮小された後の上記画像信号のフレームレートを変換するための処理を行う第３のステップと、上記第２のステップにおいて探索され、所定の変換処理が施された後の上記動きベクトルを用いて、上記第３のステップにおいてフレームレート変換処理が施された後の上記画像信号の各画像フレームのサイズを拡大するための処理を行う第４のステップと、を備える。

本発明の第７の観点に従う画像表示装置は、入力された画像情報に含まれる音声情報を出力する音声情報出力部と、入力された画像情報に対し、所定の信号処理を施す画像信号処理部と、上記画像信号処理部から出力される画像情報を表示する表示部と、を備え、上記画像信号処理部が、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力される動きベクトルを用いて、上記画像信号縮小部から出力される上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記フレームレート変換処理部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、を有する。

本発明の第８の観点に従う録画／再生装置は、入力された画像情報に、録画／再生処理を施す録画／再生処理部と、上記録画／再生処理部により再生された画像情報に含まれる音声情報を出力する音声情報出力部と、上記録画／再生処理部により再生された画像に対し、所定の信号処理を施す画像信号処理部と、上記画像信号処理部から出力される画像情報を表示する表示部と、を備え、上記画像信号処理部が、入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、上記画像信号縮小部から出力される縮小後の各画像フレームより、上記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、上記動きベクトル探索部から出力される動きベクトルを用いて、上記画像信号縮小部から出力される上記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、上記動きベクトル探索部から出力され、所定の変換処理が施された後の上記動きベクトルを用いて、上記フレームレート変換処理部から出力される上記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、を有する。

本発明によれば、入力した画像信号に対しフレームレート変換処理、及び超解像処理を施す画像信号処理において、上記入力画像信号の各画像フレームから動きベクトルを探索するためのハードウェアを大型化すること無く上記入力画像信号のフレームレート変換を行えるようにすることができる。

また、本発明によれば、入力した画像信号に対しフレームレート変換処理、及び超解像処理を施す画像信号処理において、超解像処理に適した状態のローパスフィルタを設けて画像信号の縮小処理を行うことにより、高画質な（ノイズの少ない）フレームレート変換の処理結果が得られるようにすることができる。

以下、本発明の実施の形態を、図面により詳細に説明する。

図１は、本発明の一実施形態に係る画像表示装置の全体構成の一例を示す機能ブロック図である。

図１において、画像表示装置１００は、入力部１と、録画／再生処理部３と、画像信号処理部５と、表示部７と、コンテンツ蓄積部９と、音声出力部１１と、ユーザインタフェース部１３と、制御部１５と、を備える。本実施形態では、画像表示装置１００として、例えば、プラズマTV受像機、液晶TV受像機、電子管（ブラウン管）を備えたTV受像機、プロジェクタ、これら以外の表示デバイスを備えた装置の何れかが用いられる。

入力部１は、制御部１５の制御下で、テレビジョン（TV）放送局（図示しない）から送信されるディジタルTV信号（以下、「TV信号」と略記する。）等を含む放送波を入力する。入力部１は、上記（放送波に含まれる）TV信号に代えて、映像配信サーバ（図示しない）等から通信ネットワークを通じて送信される符号化画像信号をも入力する。ここで、符号化画像信号とは、所定の符号化方式で符号化された映像コンテンツ等を指す。上述したTV信号や、符号化画像信号は、入力部１から録画／再生処理部３へ出力される。本実施形態では、入力部１として、例えば、TV信号を含んだ放送波を受信するのに必要な（ディジタル）チューナを備えた構成のもの、通信ネットワークに接続するのに必要なLAN用コネクタを備えた構成のもの、USBコネクタを備えた構成のもの等が用いられる。

録画／再生処理部３は、制御部１５の制御下で、入力部１から出力される上記TV信号や、符号化画像信号に録画処理を施し、該録画されたTV信号や符号化画像信号を、コンテンツ蓄積部９へ格納する。録画／再生処理部３は、また、制御部１５の制御下で、コンテンツ蓄積部９に格納されている、録画されたTV信号や、符号化画像信号をコンテンツ蓄積部９から読み出して再生処理を施す。再生されたTV信号に含まれる画像信号や、符号化画像信号に含まれる画像信号については、録画／再生処理部３から画像信号処理部５へ出力される。一方、再生されたTV信号に含まれる音声信号や、符号化画像信号に含まれる音声信号については、録画／再生処理部３から音声出力部１１へ出力される。

コンテンツ蓄積部９は、制御部１５の制御下で、録画／再生処理部３により録画処理が施されたTV信号や符号化画像信号を、蓄積する。コンテンツ蓄積部９は、また、制御部１５の制御下で、録画／再生処理部３からの画像信号読み出し要求に応じて、蓄積している上記TV信号や符号化画像信号のうちから上記要求に対応するTV信号や符号化画像信号を、録画／再生処理部３に出力する。該TV信号や符号化画像信号は、録画／再生処理部３において再生処理が施される。本実施形態では、コンテンツ蓄積部９として、例えば、ハードディスクドライブ（HDD）、フラッシュメモリ、リムーバブルメディアディスクドライブの何れかが用いられる。

音声出力部１１は、制御部１５の制御下で、録画／再生処理部３から出力される音声信号をD/A変換することによって、アナログ形式の音声信号を生成し、該生成した音声信号を、画像表示装置１００外へ出力する。本実施形態では、音声出力部１１として、例えば、スピーカが用いられる。

画像信号処理部５は、制御部１５の制御下で、録画／再生処理部３から出力される画像信号（符号化画像信号）に対し、画像復号化処理、超解像処理、及びD/A変換処理を含む画像信号処理を施す。該画像信号処理が施された後の画像信号は、画像信号処理部５から表示部７へ出力される。画像信号処理部５における画像信号処理の詳細については、後述する。

表示部７は、制御部１５の制御下で、画像信号処理部５から出力されるアナログ形式の画像信号を、可視画像情報として表示する。本実施形態では、表示部７として、例えば、プラズマパネルモジュール、LCDモジュール、プロジェクタ用デバイスの何れかが用いられる。

ユーザインタフェース部１３には、ユーザが、画像表示装置１００を操作するのに必要な種々の指令信号を制御部１５に出力するために各種の操作キー（図示しない）が配置されている。ユーザが、上述した各種の操作キー（図示しない）を操作することにより、該操作キーに対応する指令信号が、ユーザインタフェース部１３から制御部１５へ出力される。

制御部１５は、入力部１、録画／再生処理部３、画像信号処理部５、表示部７、コンテンツ蓄積部９、及び音声出力部１１を、その制御下に置く。即ち、制御部１５は、ユーザインタフェース部１３を通じてユーザから与えられる操作指令に従って、画像表示装置１００を構成する上記各部の駆動を制御する。

図２は、図１に記載の画像表示装置１００が備える画像信号処理部５に含まれるフレームレート変換・超解像処理実行部の内部構成の第１の実施例を示す機能ブロック図である。

図２に示すように、上記フレームレート変換・超解像処理実行部１７は、画像信号入力部２１と、画像信号縮小部２３と、動きベクトル探索部２５と、フレームレート変換部（FRC）２７と、動きベクトル変換部２９と、超解像処理部３１と、画像信号出力部３３と、を備える。画像信号入力部２１は、例えば、図１で示した画像信号処理部５における画像復号化処理部（図示しない）から出力される放送された画像信号、所定の通信ネットワークを通じて受信した画像信号、記録媒体から出力された画像信号等を構成する各画像フレームを、時間の流れに沿って１画像フレームずつ入力する。

各画像フレームは、画像信号入力部２１により、例えば、該画像フレームの左上隅から右方向に、且つ、上方から下方向に１画素ずつ読み込まれる。そして、各画像フレームは、入力した順に１画像フレームずつ、画像信号入力部２１から画像信号縮小部２３へ出力される。画像信号縮小部２３は、画像信号入力部２１から出力される各画像フレームを読み込むと、各画像フレームに対し、夫々縮小処理を施すと共に、該縮小処理を施した後の各画像フレームを上述した順序で、動きベクトル探索部２５、及びフレームレート変換部２７へ夫々出力する。

動きベクトル探索部２５は、画像信号縮小部２３から出力される縮小処理が施された後の上記各画像フレームを順次入力し、時間的に隣接する少なくとも２以上の画像フレーム同士の間において、動きベクトルを探索する処理を実行する。動きベクトル探索部２５は、上記画像フレーム同士の間において、それらの全体領域、又は一部領域を対象として動きベクトルを探索する処理を実行する。即ち、上記画像フレーム同士の間において、対象領域内の互いに対応する画素同士の間（若しくは、互いに対応する、複数の画素を含むブロック同士の間）における位置ずれの有無（差分）を探索することによって、該画素（若しくは、該ブロック）に係わる動きベクトルを求める。上述した各画素とは、可動物体の画像（動画像）を構成する個々の画素のことである。

なお、動きベクトル探索部２５において適用される動きベクトルの探索方式としては、例えば、ブロックマッチング等の既知の方式が挙げられる。しかし、本実施例において、動きベクトル探索部２５にて適用される方式は、上記ブロックマッチング等に特に限定されるものではない。動きベクトル探索部２５により求められた動きベクトルは、動きベクトル探索部２５からフレームレート変換部２７、及び動きベクトル変換部２９へ夫々出力される。

フレームレート変換部２７は、画像信号縮小部２３から順次出力される縮小処理が施された後の各画像フレームと、動きベクトル探索部２５から出力される動きベクトルと、を夫々入力する。そして、上記動きベクトルに基づき、上記動きベクトルに対応する複数の画像フレームであって、時間的に隣接する画像フレーム同士の間に相当する時間的位置に挿入するための画像フレームを生成する。フレームレート変換部２７は、上記生成した画像フレームを、上記時間的位置に挿入する、所謂画像フレーム内挿処理を実行することにより、上記画像信号におけるフレームレート（即ち、１秒当たりの画像フレーム数）を変換する。フレームレート変換部２７において、上記時間的に隣接する画像フレームと、上記内挿処理が行われることによりこれら画像フレーム同士の間に挿入された画像フレームとは、フレームレート変換部２７から超解像処理部３１へ出力される。なお、フレームレート変換部２７におけるフレームレート変換方法としては、例えば、上述した特許文献１に開示されている方法を採用しても良いし、該方法以外の別の方法を採用しても差し支えない。フレームレート変換部２７におけるフレームレート変換方法は、特定の変換方法に限定されるものではない。

動きベクトル変換部２９は、動きベクトル探索部２５から出力される動きベクトルを、超解像処理部３１において行われる超解像画像拡大処理に適した動きベクトル形式に変換する。該変換処理が施された後の動きベクトルは、動きベクトル変換部２９から超解像処理部３１へ出力される。

超解像処理部３１は、動きベクトル変換部２９から出力される上記動きベクトルを用いて、フレームレート変換部２７から出力される各画像フレーム（即ち、上記時間的に隣接する画像フレームと、上記内挿処理が行われることによりこれら画像フレーム同士の間に挿入された画像フレームとを含む）に対し、超解像画像拡大処理を施す。これにより、フレームレート変換部２７から出力される各画像フレーム、即ち、画像信号縮小部２３において所定の大きさに縮小処理された後、フレームレート変換部２７において上記のようにフレームレートの変換処理が施された各画像フレームが、画像信号入力部２１へ入力されたときの各画像フレームのサイズと同一、若しくは、任意のサイズにまで拡大される。

超解像処理部３１において、上記超解像画像拡大処理が施された後の各画像フレームは、超解像処理部３１から画像信号出力部３３を通じて、例えば、図１で示した画像信号処理部５におけるD/A変換処理部（図示しない）へ出力される。

図３は、図２に記載の動きベクトル変換部２９における動きベクトル形式の変換処理動作の一例を示す模式図である。図３において、時間軸t上の点t_１（即ち、時刻t_１）における画像フレーム３５と、時間軸t上の点t_２（即ち、時刻t_２）における画像フレーム３７とは、時間的に隣接する画像フレーム同士であるが、画像フレーム３５と画像フレーム３７との間の点t_ｘ（即ち、時刻t_ｘ）における画像フレーム３９は、補間画像フレームである。該補間画像フレーム３９は、図２で示したフレームレート変換部２７において作成される。以下では、説明の都合上、画像フレーム３５を、参照画像フレームと、画像フレーム３７を、対象画像フレームと、夫々称することにする。

今、参照画像フレーム３５上の黒丸で示す画素が、動画像を構成する画素の１つであって、該動画像の動きに伴い、参照画像フレーム３５において符号４１で示した位置から、対象画像フレーム３７において符号４３で示した位置に動いたとする。この動きによって生じた、上記黒丸で示す画素の参照画像フレーム３５上の位置４１と、対象画像フレーム３７上の位置４３との間のズレが、図２で示した動きベクトル探索部２５により、上記黒丸で示す画素の動きベクトル４７として探索されることになる。動きベクトル探索部２５による上述した態様での動きベクトルの探索は、上記画像フレーム（３５、３７）に含まれる各画素毎に（全部の画素について）実行される。

ところで、補間画像フレーム３９上の白丸で示す画素（符号４５で示す位置にある）と、上述した対象画像フレーム３７上の黒丸で示す画素（符号４３で示す位置にある）とは、夫々の画像フレーム（３５、３７）における略中心位置にある。換言すれば、画像フレーム３５、３７同士を重ね合わせた場合に、補間画像フレーム３９上の上記画素の位置と、対象画像フレーム３７上の上記画素の位置とは一致することになる。そこで、本例では、動きベクトル変換部２９が、上記動きベクトル４７を、参照画像フレーム３５上の上記黒丸で示す画素（符号４１で示す位置にある）と、補間画像フレーム３９上の上記白丸で示す画素（符号４５で示す位置にある）との間の位置ズレを示す動きベクトルとして適用することになる。

なお、図３では、動きベクトル変換部２９における上記処理動作が、動きベクトル４７を、符号４９で示す動きベクトル（即ち、参照画像フレーム３５上の画素（４１）と、補間画像フレーム３９上の画素（４５）との間の位置ズレを示す動きベクトル）の位置に、（略平行に）移動したものとして表記している。超解像処理部３１での超解像処理においては、例えば、動きベクトル変換部２９から出力される該動きベクトル４９が用いられることになる。

図２、及び図３に係わるフレームレート変換・超解像処理実行部の構成は、例えば、動きベクトル探索部２５、及びフレームレート変換部２７が、標準テレビSDの画像サイズ向けに構成されていて、画像信号入力部２１への入力、及び画像信号出力部３３からの出力として高精細テレビHDの画像サイズを利用したいような場合等に特に有効である。

本実施例によれば、画像信号縮小部２３においてサイズが縮小された画像フレームに対し、動きベクトル探索部２５が動きベクトルの探索を行うようになっているので、動きベクトル探索部２５の回路規模を小型化することができ、また、高画質のフレームレート変換を行うことができる。また、サイズが縮小された画像フレームから求めた動きベクトルについては、フレームレート変換、及び超解像処理の双方の処理において、共用が可能である。

図４は、図２に記載のフレームレート変換・超解像処理実行部の変形例の全体構成を示す機能ブロック図である。

図４に示すように、本変形例に係るフレームレート変換・超解像処理実行部５１では、超解像処理部３１による上述した超解像画像拡大処理が、フレームレート変換部２７による上述した画像フレーム内挿処理に先んじて実行される点において、図２に記載のフレームレート変換・超解像処理実行部１７と相違する。その他の構成については、図２に記載の構成と同一であるので、図４において、図２に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

本変形例においても、サイズが縮小された後の画像フレームに対し動きベクトル探索を行えばよいため、上述した第１の実施例におけると同様に、動きベクトル探索部２５の回路規模を小さくすることができる。

図５は、図１に記載の画像表示装置１００が備える画像信号処理部５に含まれるフレームレート変換・超解像処理実行部の内部構成の第２の実施例を示す機能ブロック図である。

図５に示すように、本実施例に係るフレームレート変換・超解像処理実行部５３では、画像信号入力部２１を通じてフレームレート変換・超解像処理実行部５３に入力される画像信号が、画像信号縮小部２３、及びフレームレート変換部２７に夫々入力される点で、図２に記載のフレームレート変換・超解像処理実行部１７と相違する。また、フレームレート変換部２７が、画像信号入力部２１から順次出力されたままの画像フレーム（即ち、画像信号縮小部２３による縮小処理を経ない状態の複数の画像フレーム）と、動きベクトル変換部２９にて所定の変換処理が施された後に、該動きベクトル変換部２９から出力される動きベクトルとに基づき、上述したフレームレートの変換処理を行う点でも、図２に記載のフレームレート変換・超解像処理実行部１７と相違する。その他の構成については、図２で説明したフレームレート変換・超解像処理実行部１７と同一であるので、図５において、図２に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

本実施例においても、サイズが縮小された後の画像フレームに対し動きベクトル探索を行えばよいため、上述した第１の実施例や、その変形例におけると同様に、動きベクトル探索部２５の回路規模を小さくすることができる。

図６は、図５に記載のフレームレート変換・超解像処理実行部の変形例の全体構成を示す機能ブロック図である。

図６に示すように、本変形例に係るフレームレート変換・超解像処理実行部５５では、超解像処理部３１による上述した超解像画像拡大処理が、フレームレート変換部２７による上述した画像フレーム内挿処理に先んじて実行される点において、図５に記載のフレームレート変換・超解像処理実行部５３と相違する。その他の構成については、図５に記載の構成と同一であるので、図６において、図５に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

本変形例においても、サイズが縮小された後の画像フレームに対し動きベクトル探索を行えばよいため、上述した第２の実施例におけると同様に、動きベクトル探索部２５の回路規模を小さくすることができる。

図７は、図１に記載の画像表示装置１００が備える画像信号処理部５に含まれるフレームレート変換・超解像処理実行部の内部構成の第３の実施例を示す機能ブロック図である。

図７に示すように、本実施例に係るフレームレート変換・超解像処理実行部５７では、動きベクトル探索部２５が、画像信号入力部２１を通じてフレームレート変換・超解像処理実行部５７に入力されたのと同一大きさの各画像フレームから各画素別に動きベクトルを探索する。この点で、フレームレート変換・超解像処理実行部５７の構成は、図２乃至図６で夫々示したフレームレート変換・超解像処理実行部（１７、５１、５３、５５）の構成と相違する。また、画像信号縮小部２３が、動きベクトル探索部２５から出力される動きベクトルを入力して、画像信号入力部２１を通じて入力された各画像フレームに縮小処理を施す点において、本実施例に係るフレームレート変換・超解像処理実行部５７の構成は、図２乃至図６で夫々示したフレームレート変換・超解像処理実行部（１７、５１、５３、５５）の構成と相違する。

その他の構成については、図２、及び図５で夫々示した構成と同一であるので、図７において、図２、及び図５に夫々記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。

なお、画像信号縮小部２３における各画像フレームの縮小割合は、後段の超解像処理部３１における超解像処理の性能や、図１で示した表示部７から表示出力される画像の品質に対するユーザの期待度等に応じて変化させることが可能である。以下では、説明の都合上、画像信号縮小部２３における各画像フレームの縮小割合が、縦横夫々１／２に設定されているものとする。

本実施例においても、フレームレート変換部２７においてフレームレート変換処理が施された後の画像信号は、超解像処理部３１において超解像処理が施され、画像信号入力部２１を通じてフレームレート変換・超解像処理実行部５７に入力された画像信号の各画像フレームと同一サイズ、又は画像信号出力部３３より後段の表示部７（図１にて示した）の解像度等に応じて各画像フレームのサイズの拡大が行われる。

図８は、図７に記載の画像信号縮小部２３の内部構成の一例を示す機能ブロック図である。

上記画像信号縮小部２３は、図８に示すように、夫々ローパスフィルタとして機能する複数のディジタルフィルタ（以下、「LPF」と略記する。）６１_１〜６１_ｎと、選択部６３と、を備える。各LPF６１_１〜６１_ｎは、各々が特性の異なる空間LPFである。選択部６３は、動きベクトル探索部２５から出力される動きベクトルに係わる情報を入力する。そして、該動きベクトル情報に含まれる動き方向情報に基づき、各々のLPF６１_１〜６１_ｎの出力端子と（該選択部６３自身の）出力端子６５との間を択一的に接続する。選択部６３は、また、何れか１つのLPF（LPF６１_１〜６１_ｎのうちの何れか）から入力した各画像フレームに含まれる全ての画素のうちから、幾つかの画素を間引く処理、即ち、画素数間引き処理を実行する。これにより、画像信号縮小部２３における各画像フレームの縮小処理の機能が実現される。

上記構成において、画像信号入力部２１を通じてフレームレート変換・超解像処理実行部５７に入力される画像信号の各画像フレームは、画像信号縮小部２３に入力され、各々のLPF６１_１〜６１_ｎに並列的に入力される。一方、画像信号入力部２１を通じてフレームレート変換・超解像処理実行部５７に入力される画像信号の各画像フレームは、動きベクトル探索部２５にも入力される。

上記画像信号の各画像フレームが、各々のLPF６１_１〜６１_ｎに並列的に入力されることにより、各々のLPF６１_１〜６１_ｎから夫々上記画像信号の各画像フレームが出力されることになるが、各々のLPF６１_１〜６１_ｎのうちの何れか１つのLPFから出力される上記画像信号の各画像フレームが、選択部６３に択一的に入力される。即ち、各々のLPF６１_１〜６１_ｎのうちで、選択部６３により該選択部６３の出力端子６５に接続された出力端子を持つLPFから出力される（画像信号の）複数の画像フレームだけが、選択部６３で画素数間引き処理が施された後、図７で示したフレームレート変換部２７へ出力されることになる。選択部６３における各画像フレームの縮小割合は、図７で示したように、画像信号縮小部２３の後段に位置するフレームレート変換部２７よりも更に後段に位置する超解像処理部３１の超解像処理性能（各画像フレームの拡大性能）に依存して変更することが可能である。また、視聴者であるユーザが、表示部７（図１に記載）からの出力画像に対して期待する画像の品質に依存して変更することも可能である。

本実施例では、選択部６３において、各画像フレームにおける１画素毎、且つ、１ライン毎に、画素値（例えば、RGB方式におけるR、G、B夫々のディジタル的な値、即ち、信号値）が、（出力端子６５から）図７で示したフレームレート変換部２７、及び超解像処理部３１を通じて画像信号出力部３３へと出力される。仮に、本実施例において、各画像フレームの縮小割合が、縦横夫々１／２に設定されているものとすれば、画像信号出力部３３へと出力されるときの各画像フレームのサイズは、縦横夫々１／２に縮小されることになる。

次に、選択部６３による各LPF（以下では、説明の都合上、符号６１_１、６１_２のみを示す。）の特性に応じた各LPF（６１_１、６１_２）に対する選択動作を、図９に示すLPFの特性に係わる係数が記録されているテーブルを参照して説明する。ここで、図９（a）に示すテーブル６７は、図８で示したLPF６１_１が、垂直方向にのみ帯域を１／２に制限したLPF（水平方向はスルー）であるときの、LPF６１_１の特性に係わる係数を記録したテーブルである。また、図９（b）に示すテーブル６９は、同じく図８で示したLPF６１_２が、水平方向にのみ帯域を１／２に制限したLPF（垂直方向はスルー）であるときの、LPF６１_２の特性に係わる係数を記録したテーブルである。

今、図１０に示すような画面７１中を、図１０の水平方向に移動する可動物体の画像７３が（図７で示した）画像信号縮小部２３に入力されたとすると、選択部６３は、該可動物体の画像７３を構成する画素に対しては、全て（垂直方向にのみ帯域を１／２に制限したLPF（水平方向はスルー）である）LPF６１_１からの出力のみを選択するように動作する。選択部６３が上記のような選択動作を行う理由は、既述のように、画像信号縮小部２３の後段に位置する超解像処理部３１での超解像処理においては、上記可動物体の画像７３の移動方向、即ち、水平方向にのみ、解像度の向上が可能であり、移動方向ではない垂直方向に対しては、解像度は全く向上しない。そのため、選択部６３による上述した画素数間引き処理が行われる前に、各画像フレームの垂直方向に対しては適切なLPFにより帯域制限を実施しておかないと、折り返し歪みが超解像処理が施された後の各画像フレームに含まれることになって、画質劣化（主にノイズ）を惹き起すことになるからである。

上述した内容は、水平方向にのみ移動する可動物体の画像（７３）を構成する各画素に係わる例であるが、垂直方向や、斜め方向へ移動する可動物体の画像（７３）を構成する各画素についても、上記と同様に考えることとして差し支えない。上記のような理由により、図７乃至図１０で示した例では、上記可動物体の画像（７３）の移動方向である水平方向に対しては弱めのLPFを適用し（LPFが無い場合を含む）、移動方向ではない垂直方向に対しては強いLPFを適用することとした。よって、各画像フレームにおける可動物体の画像（７３）の移動方向ではない部位においても、若干の折り返し歪みを残す等の調整を行うことが可能である。

図８で示したように、複数のLPF６１_１〜６１_ｎ（空間LPF）を、（空間の方向分割数に応じて）画像信号縮小部２３内に用意しておき、選択部６３が、上記複数のLPF６１_１〜６１_ｎとの間の接続を、動きベクトル探索部２５からの動きベクトルの方向に応じて択一的に切り替えることにより、超解像処理部３１において超解像処理が施された後の各画像フレームに含まれる折り返し歪みを抑制することができる。また、上記可動物体の画像（７３）が静止状態にある（動きベクトルの絶対値が“０”である）場合や、各画像フレーム中の可動物体の画像（７３）の移動量が整数画素で表される場合には、超解像処理部３１における超解像処理（各画像フレームの拡大処理）が行えない。そのため、上述したLPF（６１_１〜６１_ｎ）として、等空間的なLPFが用いられることになる。動きベクトルの絶対値が完全に“０”である場合や、整数画素である場合でなくても、動きベクトルの絶対値が“０”近傍であるか、若しくは、整数画素近傍である場合には、等空間的なLPFを用いることも想到し得る。

図７乃至図１０で示した例においては、画像信号縮小部２３が、画像信号入力部２１を通じて入力した各画像フレームに対し縮小処理を実施するに際し、画像信号処理部２３より後段に位置付けられる超解像処理部３１における超解像処理に適するように各LPF（６１_１〜６１_ｎ）を設定した上で、選択部６３により各画像フレームの縮小処理を行うようにした。そのため、フレームレート変換部２７によりフレームレート変換され、超解像処理部３１において超解像処理を施された後の画像信号が、結果的に高画質な（即ち、ノイズの少ない）画像信号となる。

図１１は、本発明の他の実施形態に係る録画／再生装置の全体構成の一例を示す機能ブロック図である。

図１１で示す録画／再生装置２００も、図１で示した画像表示装置１００と略同様の構成を備えているので、以下では、図１で示した物と同一物には同一符号を付す。即ち、上記録画／再生装置２００は、入力部１と、録画／再生処理部３と、画像信号処理部５と、コンテンツ蓄積部９と、音声出力部１１と、ユーザインタフェース部１３と、制御部１５と、画像映像出力部７５と、を備える。

上記各部のうち、入力部１乃至制御部１５に係わる構成については、夫々図１で示した物と同一であるので、詳細な説明を省略する。録画／再生装置２００に含まれる画像信号処理部５が備える内部構成も、画像表示装置１００に含まれる画像信号処理部５が備える内部構成と同一の内部構成（図２、図４乃至図８で詳細に説明した。）を備えている。なお、画像映像出力部７５は、制御部１５の制御下で、画像信号処理部５から出力されるアナログ形式の画像信号を、例えば、プラズマパネルモジュール、LCDモジュール、プロジェクタ用デバイスの何れかが用いられる表示機器（図示しない）へ出力する。

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。

本発明の一実施形態に係る画像表示装置の全体構成の一例を示す機能ブロック図。図１に記載した画像表示装置が備える画像信号処理部に含まれるフレームレート変換・超解像処理実行部の内部構成の第１の実施例を示す機能ブロック図。図２に記載した動きベクトル変換部における動きベクトル形式の変換処理動作の一例を示す模式図。図２に記載したフレームレート変換・超解像処理実行部の変形例の全体構成を示す機能ブロック図。図１に記載した画像表示装置が備える画像信号処理部に含まれるフレームレート変換・超解像処理実行部の内部構成の第２の実施例を示す機能ブロック図。図５に記載したフレームレート変換・超解像処理実行部の変形例の全体構成を示す機能ブロック図。図１に記載した画像表示装置が備える画像信号処理部に含まれるフレームレート変換・超解像処理実行部の内部構成の第３の実施例を示す機能ブロック図。図７に記載した画像信号縮小部の内部構成の一例を示す機能ブロック図。各LPFの特性に係わる係数が記録されているテーブルの一例を示す説明図。図７に記載した画像信号縮小部に入力される、可動物体の画像を含む画像フレームの一例を示す説明図。本発明の他の実施形態に係る録画／再生装置の全体構成の一例を示す機能ブロック図。

符号の説明

１入力部
３録画／再生処理部
５画像信号処理部
７表示部
９コンテンツ蓄積部
１１音声出力部
１３ユーザインタフェース部
１５制御部
１７フレームレート変換・超解像処理実行部
２１画像信号入力部
２３画像信号縮小部
２５動きベクトル探索部
２７フレームレート変換部（FRC）
２９動きベクトル変換部
３１超解像処理部
３３画像信号出力部
７５画像映像出力部
１００画像表示装置
２００録画／再生装置

Claims

入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力される動きベクトルを用いて、前記画像信号縮小部から出力される前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記フレームレート変換処理部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
を備える画像信号処理装置。
請求項１記載の画像信号処理装置において、
前記フレームレート変換処理部による前記処理が、
前記画像信号縮小部から出力される前記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって前記動きベクトル探索部から出力される動きベクトルに対応する画像フレーム同士を選択する処理と、
該選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成して該時間的位置に挿入する処理と、
を含む画像信号処理装置。
請求項１又は請求項２記載の画像信号処理装置において、
前記動きベクトルに対して施される所定の変換処理が、前記超解像処理部による前記各画像フレームの拡大処理に適した動きベクトル形式への変換処理である画像信号処理装置。
入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力される動きベクトルを用いて、前記画像信号縮小部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記超解像処理部から出力される前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
を備える画像信号処理装置。
請求項４記載の画像信号処理装置において、
前記フレームレート変換処理部による前記処理が、
前記超解像処理部より出力される前記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって前記動きベクトル探索部から出力される動きベクトルに対応する画像フレーム同士を選択する処理と、
該選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成して該時間的位置に挿入する処理と、
を含む画像信号処理装置。
請求項４又は請求項５記載の画像信号処理装置において、
前記動きベクトルに対して施される所定の変換処理が、前記フレームレート変換処理部による前記画像信号のフレームレート変換処理に適した動きベクトル形式への変換処理である画像信号処理装置。
入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記入力した画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記フレームレート変換処理部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
を備える画像信号処理装置。
請求項７記載の画像信号処理装置において、
前記フレームレート変換処理部による前記処理が、
前記入力した画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって前記所定の変換処理が施された後の前記動きベクトルに対応する画像フレーム同士を選択する処理と、
該選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成して該時間的位置に挿入する処理と、
を含む画像信号処理装置。
請求項７又は請求項８記載の画像信号処理装置において、
前記動きベクトルに対して施される所定の変換処理が、前記フレームレート変換処理部による前記画像信号のフレームレート変換処理、及び超解像処理部による前記画像信号の各画像フレームのサイズを拡大するための処理に適した動きベクトル形式への変換処理である画像信号処理装置。
入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記入力した画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記超解像処理部から出力される前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
を備える画像信号処理装置。
請求項１０記載の画像信号処理装置において、
前記フレームレート変換処理部による前記処理が、
前記超解像処理部から出力される前記画像信号の各画像フレームから、時間的に隣接する画像フレーム同士であって前記所定の変換処理が施された後の前記動きベクトルに対応する画像フレーム同士を選択する処理と、
該選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成して該時間的位置に挿入する処理と、
を含む画像信号処理装置。
請求項１０又は請求項１１記載の画像信号処理装置において、
前記動きベクトルに対して施される所定の変換処理が、前記超解像処理部による前記画像信号の各画像フレームのサイズを拡大するための処理、及び前記フレームレート変換処理部による前記画像信号のフレームレート変換処理に適した動きベクトル形式への変換処理である画像信号処理装置。
入力した画像信号の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力される動きベクトルを用いて、前記入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記画像信号縮小部から出力される縮小後の前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記フレームレート変換処理部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
を備える画像信号処理装置。
請求項１３記載の画像信号処理装置において、
前記フレームレート変換処理部による前記処理が、
前記画像信号縮小部から出力される縮小後の各画像フレームより、時間的に隣接する画像フレーム同士であって前記所定の変換処理が施された後の前記動きベクトルに対応する画像フレーム同士を選択する処理と、
該選択された画像フレーム同士の間に相当する時間的位置に挿入するべき画像フレームを生成して該時間的位置に挿入する処理と、
を含む画像信号処理装置。
請求項１３又は請求項１４記載の画像信号処理装置において、
前記動きベクトルに対して施される所定の変換処理が、前記フレームレート変換処理部による前記画像信号のフレームレート変換処理、及び前記超解像処理部による前記画像信号の各画像フレームのサイズを拡大するための処理に適した動きベクトル形式への変換処理である画像信号処理装置。
請求項１３記載の画像信号処理装置において、
前記画像信号縮小部が、
前記入力した画像信号の各画像フレームを、個別に入力可能なように接続される各々が特性の異なる複数の空間ローパスフィルタと、
前記動きベクトル探索部から出力される動きベクトルに応じて、前記空間ローパスフィルタからの出力を選択的に入力し、入力した各画像フレームの画素数を間引く処理を行うことにより、前記各画像フレームのサイズを縮小する画像フレームサイズ縮小部と、
を備える画像信号処理装置。
入力した画像信号の各画像フレームのサイズを縮小する第１のステップと、
前記第１のステップにおいてサイズが小された後の画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する第２のステップと、
前記第２のステップにおいて探索された動きベクトルを用いて、前記第１のステップにおいてサイズが縮小された後の前記画像信号のフレームレートを変換するための処理を行う第３のステップと、
前記第２のステップにおいて探索され、所定の変換処理が施された後の前記動きベクトルを用いて、前記第３のステップにおいてフレームレート変換処理が施された後の前記画像信号の各画像フレームのサイズを拡大するための処理を行う第４のステップと、
を備える画像信号処理方法。
入力された画像情報に含まれる音声情報を出力する音声情報出力部と、
入力された画像情報に対し、所定の信号処理を施す画像信号処理部と、
前記画像信号処理部から出力される画像情報を表示する表示部と、
を備え、
前記画像信号処理部が、
入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力される動きベクトルを用いて、前記画像信号縮小部から出力される前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記フレームレート変換処理部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
を有する画像表示装置。
入力された画像情報に、録画／再生処理を施す録画／再生処理部と、
前記録画／再生処理部により再生された画像情報に含まれる音声情報を出力する音声情報出力部と、
前記録画／再生処理部により再生された画像に対し、所定の信号処理を施す画像信号処理部と、
前記画像信号処理部から出力される画像情報を表示する表示部と、
を備え、
前記画像信号処理部が、
入力した画像信号の各画像フレームのサイズを縮小する画像信号縮小部と、
前記画像信号縮小部から出力される縮小後の各画像フレームより、前記各画像フレームに含まれる可動体の画像の変位量を示す動きベクトルを探索する動きベクトル探索部と、
前記動きベクトル探索部から出力される動きベクトルを用いて、前記画像信号縮小部から出力される前記画像信号のフレームレートを変換するための処理を行うフレームレート変換処理部と、
前記動きベクトル探索部から出力され、所定の変換処理が施された後の前記動きベクトルを用いて、前記フレームレート変換処理部から出力される前記画像信号の各画像フレームのサイズを拡大するための処理を行う超解像処理部と、
を有する録画／再生装置。