JP2015180029A

JP2015180029A - 映像信号処理装置及び方法

Info

Publication number: JP2015180029A
Application number: JP2014057435A
Authority: JP
Inventors: 吉田　篤史; Atsushi Yoshida; 篤史吉田; 英樹相羽; Hideki Aiba
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2015-10-08
Anticipated expiration: 2034-03-20
Also published as: JP6264119B2

Abstract

【課題】回路規模を従来よりも小さくすることができる映像信号処理装置を提供する。【解決手段】ダウンスケーラ２０は、第１のフレーム周波数を有する第１の映像信号Ｓ０のフレームを複数の領域に分割した分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２の解像度を縮小する。動き検出部４０は、解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルＭＶを検出する。補間信号生成部６１１，６１２，６２１，６２２は、動きベクトルＭＶに基づいて、第１の映像信号Ｓ０の隣接するフレーム間に位置する補間映像信号S11i，S12i，S21i，S22iを生成する。フレームレート変換部７１１，７１２，７２１，７２２は、分割映像信号（S11a，S12a，S21a，S22a）と補間映像信号S11i，S12i，S21i，S22iとを時間方向に配列させて、第２のフレーム周波数及び第１の解像度を有する第２の映像信号S211，S212，S221，S222を生成する。【選択図】図１

Description

本発明は、高精細な映像信号を分割して信号処理する映像信号処理装置及び方法に関する。

現在、テレビジョン信号として伝送される映像信号は、フルＨＤと称される水平方向１９２０画素、垂直方向１０８０画素のフォーマットが主流である。映像信号のさらなる高精細化のため、フルＨＤに対して水平方向及び垂直方向それぞれ画素数を２倍にした４Ｋ２Ｋ、さらに４Ｋ２Ｋに対して各方向の画素数を２倍にした８Ｋ４Ｋと称される高精細なフォーマットが登場している。

特開２００９−２９６１９３号公報国際公開第２００９／１４７７９５号

４Ｋ２Ｋフォーマットや８Ｋ４Ｋフォーマットのような高精細な映像信号はデータ量が膨大であるため、映像信号を分割して並列的に信号処理するのが一般的である。

映像信号処理装置の一例として、隣接する実フレーム間に１または複数の補間フレームを内挿してフレーム周波数を増大させるフレームレート変換装置がある。データ量が膨大な映像信号のフレーム周波数を複数倍に変換する場合には、１フレームを複数の領域に分割し、分割したそれぞれの領域の信号ごとにフレームレート変換の処理回路を設けて、フレームレート変換を施すことが必要となる。

フレームレート変換の処理回路は、補間信号を生成するために必要な動き検出回路を備えることが必要である。１フレームを例えば４つの領域に分割して、フレームレート変換の処理回路を４つ設けた場合には、一般的には４つの動き検出回路が必要となる。

一般的に動き検出回路は回路規模が大きい。よって、複数に分割された映像信号を並列的に信号処理する映像信号処理装置は、回路規模が非常に大きくなってしまう。回路規模の増大はコストの増大を招くため、回路規模を小さくすることが求められる。

本発明は、回路規模を従来よりも小さくすることができる映像信号処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小するダウンスケーラと、解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出する動き検出部と、前記動きベクトルに基づいて、前記第１の映像信号の隣接するフレーム間に位置する補間映像信号を生成する補間信号生成部と、前記分割映像信号と前記補間映像信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成するフレームレート変換部とを備えることを特徴とする映像信号処理装置を提供する。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小するダウンスケーラと、解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出する動き検出部と、前記動きベクトルに基づいて、前記合成縮小映像信号の隣接するフレーム間に位置する補間映像信号を生成する補間信号生成部と、前記補間映像信号の解像度を前記第１の解像度に拡大して、拡大補間映像信号を生成するアップスケーラと、前記分割映像信号と、前記拡大補間映像信号を前記複数の領域に対応させて分割したときの領域信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成するフレームレート変換部と、
を備えることを特徴とする映像信号処理装置を提供する。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小し、解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出し、前記動きベクトルに基づいて、前記第１の映像信号の隣接するフレーム間に位置する補間映像信号を生成し、前記分割映像信号と前記補間映像信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成することを特徴とする映像信号処理方法を提供する。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小し、解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出し、前記動きベクトルに基づいて、前記合成縮小映像信号の隣接するフレーム間に位置する補間映像信号を生成し、前記補間映像信号の解像度を前記第１の解像度に拡大して、拡大補間映像信号を生成し、前記分割映像信号と、前記拡大補間映像信号を前記複数の領域に対応させて分割したときの領域信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成することを特徴とする映像信号処理方法を提供する。

本発明の映像信号処理装置及び方法によれば、回路規模を従来よりも小さくすることができる。

第１実施形態の映像信号処理装置を示すブロック図である。映像信号の１フレームを４つの領域に分割する場合の第１の分割例を示す図である。映像信号の１フレームを４つの領域に分割する場合の第２の分割例を示す図である。図１中のフレームメモリ１０に入力される分割映像信号と、フレームメモリ１０より出力される遅延分割映像信号との時間的な関係を示す図である。図１中のフレームメモリ１０より出力される拡張分割映像信号を示す図である。図１中のダウンスケーラ２０におけるダウンスケーリング、及び、フレームメモリ３０による合成縮小映像信号の生成動作を概念的に示す図である。図１中のフレームレート変換部７１１，７１２，７２１，７２２より出力される倍速分割映像信号を示す図である。第２実施形態の映像信号処理装置を示すブロック図である。図８及び図１０中のアップスケーラ６１によるアップスケーリングを示す図である。第３実施形態の映像信号処理装置を示すブロック図である。

以下、各実施形態の映像信号処理装置及び方法について、添付図面を参照して説明する。以下詳述する各実施形態の映像信号処理装置及び方法は、隣接する実フレーム間に補間フレームを内挿するフレームレート変換装置及び方法を例とする。フレームレート変換装置及び方法は、フレーム周波数を２倍に変換する場合を例とする。フレーム周波数を３倍以上の整数倍に変換してもよい。

＜第１実施形態＞
図１において、フレームメモリ１０及びダウンスケーラ２０には、信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２が入力される。信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２は、図２に示す高精細な映像信号Ｓ０を図示のように４つの領域に分割した分割映像信号である。映像信号Ｓ０は、一例として、フレーム周波数６０Ｈｚを有する４Ｋ２Ｋフォーマットの映像信号であるとする。

図２は、映像信号Ｓ０の１フレームを水平に２分割、垂直に２分割して、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２とした例である。図３に示すように、映像信号Ｓ０の１フレームを水平に４分割して、分割映像信号Ｓ０１，Ｓ０２，Ｓ０３，Ｓ０４としてもよい。

図２に示す分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２それぞれの容量は、実質的に、フルＨＤフォーマットの映像信号の１フレーム分の容量に相当する。フレームメモリ１０は、フルＨＤフォーマットの映像信号の８フレーム分に相当する容量を有する。

フレームメモリ１０は、分割映像信号Ｓ１１を１フレーム期間遅延した遅延分割映像信号S11aと、分割映像信号Ｓ１１を２フレーム期間遅延した遅延分割映像信号S11bとを出力する。フレームメモリ１０は、分割映像信号Ｓ１２を１フレーム期間遅延した遅延分割映像信号S12aと、分割映像信号Ｓ１２を２フレーム期間遅延した遅延分割映像信号S12bとを出力する。

また、フレームメモリ１０は、分割映像信号Ｓ２１を１フレーム期間遅延した遅延分割映像信号S21aと、分割映像信号Ｓ２１を２フレーム期間遅延した遅延分割映像信号S21bとを出力する。フレームメモリ１０は、分割映像信号Ｓ２２を１フレーム期間遅延した遅延分割映像信号S22aと、分割映像信号Ｓ２２を２フレーム期間遅延した遅延分割映像信号S22bとを出力する。

分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２と、遅延分割映像信号S11a，S11b，S12a，S12b，S21a，S21b，S22a，S22bとは、図４に示すような時間的な関係を有する。図４において、ｔは時間である。

ところで、第１実施形態においては、フレームメモリ１０より出力される遅延分割映像信号S11a，S11b，S12a，S12b，S21a，S21b，S22a，S22bは、図５に示すように、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２に対して、隣接領域信号Sadjを加えた拡張分割映像信号S11ex，S12ex，S21ex，S22exを１または２フレーム期間遅延させた信号である。

分割映像信号Ｓ１１に対する隣接領域信号Sadjは、分割映像信号Ｓ１１の下側と右側と右斜め下側に隣接する領域の信号である。分割映像信号Ｓ１２に対する隣接領域信号Sadjは、分割映像信号Ｓ１２の下側と左側と左斜め下側に隣接する領域の信号である。

分割映像信号Ｓ２１に対する隣接領域信号Sadjは、分割映像信号Ｓ２１の上側と右側と右斜め上側に隣接する領域の信号である。分割映像信号Ｓ２２に対する隣接領域信号Sadjは、分割映像信号Ｓ２２の上側と左側と左斜め上側に隣接する領域の信号である。

図４では、隣接領域信号Sadjを省略した状態の遅延分割映像信号S11a，S11b，S12a，S12b，S21a，S21b，S22a，S22bを示している。

フレームメモリ１０は、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２を１または２フレーム期間遅延させて出力する際に、隣接領域信号Sadjを付加した状態の遅延分割映像信号S11a，S11b，S12a，S12b，S21a，S21b，S22a，S22bを出力すればよい。

遅延分割映像信号S11a，S11bは、補間信号生成部６１１に入力される。遅延分割映像信号S11aは、フレームレート変換部７１１に入力される。遅延分割映像信号S12a，S12bは、補間信号生成部６１２に入力される。遅延分割映像信号S12aは、フレームレート変換部７１２に入力される。

遅延分割映像信号S21a，S21bは、補間信号生成部６２１に入力される。遅延分割映像信号S21aは、フレームレート変換部７２１に入力される。遅延分割映像信号S22a，S22bは、補間信号生成部６２２に入力される。遅延分割映像信号S22aは、フレームレート変換部７２２に入力される。

ダウンスケーラ２０は、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２それぞれを、水平方向に１／２倍、垂直方向に１／２倍にダウンスケールする。ダウンスケーラ２０は、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２の解像度を１／４に縮小した縮小分割映像信号S11ds，S12ds，S21ds，S22dsを出力する。

縮小分割映像信号S11ds，S12ds，S21ds，S22dsはフレームメモリ３０に書き込まれ、１フレームの映像信号に合成されて出力される。縮小分割映像信号S11ds，S12ds，S21ds，S22dsを１フレームに合成した合成縮小映像信号を合成縮小映像信号S0dsと称することとする。

合成縮小映像信号S0dsの容量は、実質的に、フルＨＤフォーマットの映像信号の１フレーム分の容量に相当する。フレームメモリ３０は、フルＨＤフォーマットの映像信号の２フレーム分に相当する容量を有する。

フレームメモリ３０は、合成縮小映像信号S0dsを１フレーム期間遅延した遅延合成縮小映像信号S0dsaと、合成縮小映像信号S0dsを２フレーム期間遅延した遅延合成縮小映像信号S0dsbとを出力する。合成縮小映像信号S0dsa，S0dsbは、動き検出部４０に入力される。

図６は、ダウンスケーラ２０におけるダウンスケーリング、及び、フレームメモリ３０による合成縮小映像信号S0dsの生成動作を概念的に示している。合成縮小映像信号S0dsの左上の領域が縮小分割映像信号S11dsに相当し、右上の領域が縮小分割映像信号S12dsに相当する。合成縮小映像信号S0dsの左下の領域が縮小分割映像信号S21dsに相当し、右下の領域が縮小分割映像信号S22dsに相当する。

動き検出部４０は、合成縮小映像信号S0dsa，S0dsbを用いて、マッチング法等の種々の公知の手法を用いて、合成縮小映像信号S0dsの画像の動きベクトルＭＶを検出する。動きベクトルＭＶの検出精度を高めるために、動き検出部４０は、３フレームまたはそれ以上の合成縮小映像信号S0dsを用いて、動きベクトルＭＶを検出してもよい。

動きベクトルＭＶは、メモリ５０に書き込まれる。メモリ５０は、動きベクトルＭＶを書き込む容量以上の容量を有すればよい。

メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S11dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて補間信号生成部６１１に入力される。メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S12dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて補間信号生成部６１２に入力される。

メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S21dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて補間信号生成部６２１１に入力される。メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S22dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて補間信号生成部６２２に入力される。

縮小分割映像信号S11dsの領域は、位置的には、分割映像信号Ｓ１１（遅延分割映像信号S11a，S11b）の領域に対応する。縮小分割映像信号S12dsの領域は、位置的には、分割映像信号Ｓ１２（遅延分割映像信号S12a，S12b）の領域に対応する。

縮小分割映像信号S21dsの領域は、位置的には、分割映像信号Ｓ２１（遅延分割映像信号S21a，S21b）の領域に対応する。縮小分割映像信号S22dsの領域は、位置的には、分割映像信号Ｓ２２（遅延分割映像信号S22a，S22b）の領域に対応する。

しかしながら、縮小分割映像信号S11ds，S12ds，S21ds，S22dsの領域の大きさは、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２の大きさを水平及び垂直方向双方に１／２に縮小したものである。よって、補間信号生成部６１１，６１２，６２１，６２２は、動きベクトルＭＶをそのまま用いて補間信号を生成することはできない。

そこで、補間信号生成部６１１，６１２，６２１，６２２は、それぞれ、動きベクトル拡大部（以下、ＭＶ拡大部）6mvexを有する。ＭＶ拡大部6mvexは、入力された動きベクトルＭＶの大きさを水平及び垂直方向双方に２倍に拡大して、拡大動きベクトルを生成する。これによって、動きベクトルＭＶの大きさは、映像信号Ｓ０のフレームに対応した大きさとなる。

補間信号生成部６１１は、拡大動きベクトルを参照して、遅延分割映像信号S11a，S11bに基づいて補間画素を生成し、遅延分割映像信号S11aと遅延分割映像信号S11bとの間の中央に位置する補間映像信号S11iを生成する。補間映像信号S11iは、フレームレート変換部７１１に入力される。

補間信号生成部６１２は、拡大動きベクトルを参照して、遅延分割映像信号S12a，S12bに基づいて補間画素を生成し、遅延分割映像信号S12aと遅延分割映像信号S12bとの間の中央に位置する補間映像信号S12iを生成する。補間映像信号S12iは、フレームレート変換部７１２に入力される。

同様に、補間信号生成部６２１は、拡大動きベクトルを参照して、遅延分割映像信号S21a，S21bに基づいて補間画素を生成し、遅延分割映像信号S21aと遅延分割映像信号S21bとの間の中央に位置する補間映像信号S21iを生成する。補間映像信号S21iは、フレームレート変換部７２１に入力される。

補間信号生成部６２２は、拡大動きベクトルを参照して、遅延分割映像信号S22a，S22bに基づいて補間画素を生成し、遅延分割映像信号S22aと遅延分割映像信号S22bとの間の中央に位置する補間映像信号S22iを生成する。補間映像信号S22iは、フレームレート変換部７２２に入力される。

フレームレート変換部７１１，７１２，７２１，７２２は、時間軸変換メモリとして作用するフレームメモリを有する。フレームレート変換部７１１は、遅延分割映像信号S11aと補間映像信号S11iとをフレームメモリに書き込み、映像信号Ｓ０（分割映像信号Ｓ１１）が有するフレーム周波数の２倍のフレーム周波数で交互に読み出す。

これによって、フレームレート変換部７１１より、フレーム周波数１２０Ｈｚを有する倍速分割映像信号S211が出力される。

フレームレート変換部７１２は、遅延分割映像信号S12aと補間映像信号S12iとをフレームメモリに書き込み、映像信号Ｓ０（分割映像信号Ｓ１２）が有するフレーム周波数の２倍のフレーム周波数で交互に読み出す。これによって、フレームレート変換部７１２より、フレーム周波数１２０Ｈｚを有する倍速分割映像信号S212が出力される。

同様に、フレームレート変換部７２１は、遅延分割映像信号S21aと補間映像信号S21iとをフレームメモリに書き込み、映像信号Ｓ０（分割映像信号Ｓ２１）が有するフレーム周波数の２倍のフレーム周波数で交互に読み出す。これによって、フレームレート変換部７２１より、フレーム周波数１２０Ｈｚを有する倍速分割映像信号S221が出力される。

フレームレート変換部７２２は、遅延分割映像信号S22aと補間映像信号S22iとをフレームメモリに書き込み、映像信号Ｓ０（分割映像信号Ｓ２２）が有するフレーム周波数の２倍のフレーム周波数で交互に読み出す。これによって、フレームレート変換部７２２より、フレーム周波数１２０Ｈｚを有する倍速分割映像信号S222が出力される。

フレームレート変換部７１１，７１２，７２１，７２２より出力される倍速分割映像信号S211，S212，S221，S222は、図７に示すような状態となる。

なお、図７において、分割映像信号Ｓ１１と遅延分割映像信号S11aとの間に内挿される補間映像信号S11iと、遅延分割映像信号S11aと遅延分割映像信号S11bとの間に内挿される補間映像信号S11iとは同じ信号ではないが、便宜上、同じ符号を付している。２つの補間映像信号S12i，S21i，S22iも同様に互いに同じ信号ではないが、便宜上、同じ符号を付している。

ところで、フレームレート変換部７１１，７１２，７２１，７２２に入力される遅延分割映像信号S11a，S12a，S21a，S22aは、図５を用いて説明したように、隣接領域信号Sadjを加えた拡張分割映像信号S11ex，S12ex，S21ex，S22exを遅延させた信号である。

フレームレート変換部７１１，７１２，７２１，７２２は、フレームメモリに遅延分割映像信号S11a，S12a，S21a，S22aを書き込む際に、隣接領域信号Sadjを書き込まないように制御すればよい。

または、フレームレート変換部７１１，７１２，７２１，７２２は、フレームメモリに隣接領域信号Sadjを含む遅延分割映像信号S11a，S12a，S21a，S22aを書き込み、遅延分割映像信号S11a，S12a，S21a，S22aを読み出す際に、隣接領域信号Sadjを読み出さないように制御すればよい。

フレームレート変換部７１１，７１２，７２１，７２２に、遅延分割映像信号S11a，S12a，S21a，S22aを入力する代わりに、遅延分割映像信号S11b，S12b，S21b，S22bを入力してもよい。

以上のように、図１に示す第１実施形態の映像信号処理装置によれば、回路規模の大きい動き検出回路は、動き検出部４０の１つのみである。図１に示す映像信号処理装置で実行される第１実施形態の映像信号処理方法は、１つの動き検出部４０のみで、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２のフレーム周波数を変換することができる。

よって、第１実施形態の映像信号処理装置及び方法によれば、回路規模を従来よりも小さくすることができ、低コストとすることができる。

動き検出部４０は、ダウンスケーラ２０によって解像度を１／４に縮小した合成縮小映像信号S0dsa，S0dsbに基づいて動きベクトルＭＶを検出している。動き検出部４０が仮に映像信号Ｓ０における２フレームに基づいて動きベクトルＭＶを検出したとする。この場合、合成縮小映像信号S0dsa，S0dsbを用いた場合と同じ移動量（移動速度）の動きを検出するには、２倍のタップ数を必要とする。

動き検出部４０は、合成縮小映像信号S0dsa，S0dsbを用いて動きベクトルＭＶを検出するため、必要とするタップ数は少なくてよい。よって、動き検出部４０の回路規模も小さくすることができる。

第１実施形態の映像信号処理装置及び方法においては、フレームメモリ１０より隣接領域信号Sadjを含む遅延分割映像信号S11a，S11b，S12a，S12b，S21a，S21b，S22a，S22bを読み出す必要があるものの、次の理由でさほど問題とならない。

補間信号生成部６１１，６１２，６２１，６２２で必要とするタップ数は、動き検出部４０で必要とするタップ数よりも少ない。よって、隣接領域信号Sadjとしては、さほど大きな領域の信号を必要とせず、小さな領域の信号でよい。

以上説明した第１実施形態の映像信号処理装置の構成及び動作をまとめると次のとおりである。

ダウンスケーラ２０は、第１のフレーム周波数及び第１の解像度を有する第１の映像信号Ｓ０それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号（Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２）それぞれの解像度を縮小する。ダウンスケーラ２０は、複数の縮小分割映像信号（S11ds，S12ds，S21ds，S22ds）を生成する。

動き検出部４０は、複数の縮小分割映像信号（S11ds，S12ds，S21ds，S22ds）を１フレームに合成した合成縮小映像信号（S0ds（S0dsa，S0dsb））の動きベクトルＭＶを検出する。

Ｎを２以上の整数とする。補間信号生成部６１１，６１２，６２１，６２２は、動きベクトルＭＶを参照して、第１の映像信号Ｓ０の隣接するフレーム間に位置する、複数の領域それぞれに対応する（Ｎ−１）の補間映像信号（S11i，S12i，S21i，S22i）を生成する。

フレームレート変換部７１１，７１２，７２１，７２２は、複数の領域それぞれで、分割映像信号（S11a，S12a，S21a，S22a）と（Ｎ−１）の補間映像信号（S11i，S12i，S21i，S22i）とを時間方向に配列させて、第１のフレーム周波数のＮ倍の第２のフレーム周波数に変換する。

これによって、フレームレート変換部７１１，７１２，７２１，７２２は、第２のフレーム周波数及び第１の解像度を有する第２の映像信号それぞれのフレームを複数の領域に分割した複数のＮ倍速分割映像信号を生成する。

＜第２実施形態＞
図８に示す第２実施形態の映像信号処理装置において、図１に示す第１実施形態の映像信号処理装置と同一部分には同一符号を付し、その説明を適宜省略する。

第２実施形態の映像信号処理装置においては、フレームメモリ１０は、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２をそれぞれ１フレーム期間遅延した遅延分割映像信号S11a，S12a，S21a，S22aを出力する。遅延分割映像信号S11a，S12a，S21a，S22aは、図５で説明した隣接領域信号Sadjを加えた信号ではなく、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２をそのまま１フレーム期間遅延させた信号でよい。

フレームメモリ１０は、フルＨＤフォーマットの映像信号の４フレーム分に相当する容量を有すればよい。

補間信号生成部６０は、動きベクトルＭＶを参照して、遅延合成縮小映像信号S0dsa，S0dsbに基づいて補間画素を生成し、遅延合成縮小映像信号S0dsaと遅延合成縮小映像信号S0dsbとの間の中央に位置する補間映像信号S0dsiを生成する。補間映像信号S0dsiは、映像信号Ｓ０を１／４に縮小した、実質的にフルＨＤフォーマットの補間映像信号である。

補間映像信号S0dsiは、アップスケーラ６１に入力される。アップスケーラ６１は、補間映像信号S0dsiを水平方向に２倍、垂直方向に２倍にアップスケールする。アップスケーラ６１は、補間映像信号S0dsiの解像度を４倍に拡大した図９に示す４Ｋ２Ｋフォーマットの拡大補間映像信号S0usiを出力する。

拡大補間映像信号S0usiは、メモリ６２に書き込まれる。メモリ６２は、４Ｋ２Ｋフォーマットの映像信号の少なくとも１フレーム分に相当する容量を有する。

メモリ６２に書き込まれた拡大補間映像信号S0usiのうち、図９に示す左上の領域信号S11usiはフレームレート変換部７１１に入力される。メモリ６２に書き込まれた拡大補間映像信号S0usiのうち、図９に示す右上の領域信号S12usiはフレームレート変換部７１２に入力される。

メモリ６２に書き込まれた拡大補間映像信号S0usiのうち、図９に示す左下の領域信号S21usiはフレームレート変換部７２１に入力される。メモリ６２に書き込まれた拡大補間映像信号S0usiのうち、図９に示す右下の領域信号S22usiはフレームレート変換部７２２に入力される。

領域信号S11usi，S12usi，S21usi，S22usiとは、拡大補間映像信号S0usiのそれぞれのフレームを、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２の領域に対応した複数の領域（ここでは４つの領域）に分割したときの、それぞれの領域の映像信号である。

フレームレート変換部７１１は、遅延分割映像信号S11aと領域信号S11usiとをフレームメモリに書き込み、映像信号Ｓ０が有するフレーム周波数の２倍のフレーム周波数で交互に読み出して、倍速分割映像信号S211を出力する。

フレームレート変換部７１２は、遅延分割映像信号S12aと領域信号S12usiとをフレームメモリに書き込み、映像信号Ｓ０が有するフレーム周波数の２倍のフレーム周波数で交互に読み出して、倍速分割映像信号S212を出力する。

フレームレート変換部７２１は、遅延分割映像信号S21aと領域信号S21usiとをフレームメモリに書き込み、映像信号Ｓ０が有するフレーム周波数の２倍のフレーム周波数で交互に読み出して、倍速分割映像信号S221を出力する。

フレームレート変換部７２２は、遅延分割映像信号S22aと領域信号S22usiとをフレームメモリに書き込み、映像信号Ｓ０が有するフレーム周波数の２倍のフレーム周波数で交互に読み出して、倍速分割映像信号S222を出力する。

以上のように、図８に示す第２実施形態の映像信号処理装置によれば、動き検出回路は動き検出部４０の１つのみであり、補間信号生成回路も補間信号生成部６０の１つのみである。図８に示す映像信号処理装置で実行される第２実施形態の映像信号処理方法は、１つの動き検出部４０及び１つの補間信号生成部６０のみで、分割映像信号Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２のフレーム周波数を変換することができる。

よって、第２実施形態の映像信号処理装置及び方法によれば、回路規模を第１実施形態の映像信号処理装置及び方法よりも小さくすることができ、低コストとすることができる。

第２実施形態の映像信号処理装置及び方法においては、アップスケーラ６１によってアップスケールした拡大補間映像信号S0usiの領域信号S11usi，S12usi，S21usi，S22usiを補間映像信号としている。従って、領域信号S11usi，S12usi，S21usi，S22usiは、図１における補間映像信号S11i，S12i，S21i，S22iと比較すると画質が劣化しやすい。

よって、倍速分割映像信号S211，S212，S221，S222の画質は、第２実施形態の映像信号処理装置及び方法よりも第１実施形態の映像信号処理装置及び方法の方がよい。

以上説明した第２実施形態の映像信号処理装置の構成及び動作をまとめると次のとおりである。

ダウンスケーラ２０及び動き検出部４０の動作は、第１実施形態の映像信号処理装置と同じである。補間信号生成部６０は、動きベクトルＭＶを参照して、合成縮小映像信号（S0ds）の隣接するフレーム間に位置する、（Ｎ−１）の補間映像信号（S0dsi）を生成する。

アップスケーラ６１は、（Ｎ−１）の補間映像信号（S0dsi）の解像度を第１の解像度に拡大して、（Ｎ−１）の拡大補間映像信号（S0usi）を生成する。

フレームレート変換部７１１，７１２，７２１，７２２は、複数の領域それぞれの分割映像信号（S11a，S12a，S21a，S22a）と、（Ｎ−１）の拡大補間映像信号（S0usi）における複数の領域それぞれに対応した領域の領域信号（S11usi，S12usi，S21usi，S22usi）とを時間方向に配列させて、第１のフレーム周波数のＮ倍の第２のフレーム周波数に変換する。

＜第３実施形態＞
図１０に示す第３実施形態の映像信号処理装置において、図１に示す第１実施形態及び図８に示す第２実施形態の映像信号処理装置と同一部分には同一符号を付し、その説明を適宜省略する。

図１０において、遅延分割映像信号S11aは、フレームレート変換部７１１及び切換部８１１に入力される。遅延分割映像信号S12aは、フレームレート変換部７１２及び切換部８１２に入力される。遅延分割映像信号S21aは、フレームレート変換部７２１及び切換部８２１に入力される。遅延分割映像信号S22aは、フレームレート変換部７２２及び切換部８２２に入力される。

図９に示す左上の領域信号S11usiは切換部８１１に入力され、図９に示す右上の領域信号S12usiは切換部８１２に入力される。図９に示す左下の領域信号S21usiは切換部８２１に入力され、図９に示す右下の領域信号S22usiは切換部８２２に入力される。

メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S11dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて切換部８１１に入力される。メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S12dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて切換部８１２に入力される。

メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S21dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて切換部８２１に入力される。メモリ５０に書き込まれた動きベクトルＭＶのうち、図６に示す縮小分割映像信号S22dsの領域の動きベクトルＭＶは、メモリ５０より読み出されて切換部８２２に入力される。

切換部８１１は、入力された動きベクトルＭＶに基づいて、遅延分割映像信号S11aの画像が静止画ではないと判断されるとき、領域信号S11usiを出力し、静止画であると判断されるとき、遅延分割映像信号S11aを出力する。

切換部８１２は、入力された動きベクトルＭＶに基づいて、遅延分割映像信号S12aの画像が静止画ではないと判断されるとき、領域信号S12usiを出力し、静止画であると判断されるとき、遅延分割映像信号S12aを出力する。

切換部８２１は、入力された動きベクトルＭＶに基づいて、遅延分割映像信号S21aの画像が静止画ではないと判断されるとき、領域信号S21usiを出力し、静止画であると判断されるとき、遅延分割映像信号S21aを出力する。

切換部８２２は、入力された動きベクトルＭＶに基づいて、遅延分割映像信号S22aの画像が静止画ではないと判断されるとき、領域信号S22usiを出力し、静止画であると判断されるとき、遅延分割映像信号S22aを出力する。

切換部８１１，８１２，８２１，８２２は、動きベクトルＭＶが０でなければ領域信号S11usi，S12usi，S21usi，S22usiを出力し、動きベクトルＭＶが０であれば遅延分割映像信号S11a，S12a，S21a，S22aを出力すればよい。

第２実施形態の映像信号処理装置及び方法においては、前述のように、アップスケーラ６１によってアップスケールした拡大補間映像信号S0usiの領域信号S11usi，S12usi，S21usi，S22usiを補間映像信号としているため、画質が劣化しやすい。

第３実施形態の映像信号処理装置及び方法においては、切換部８１１，８１２，８２１，８２２は、静止画であると判断されるとき、領域信号S11usi，S12usi，S21usi，S22usiの代わりに、遅延分割映像信号S11a，S12a，S21a，S22aを出力する。よって、遅延分割映像信号S11a，S12a，S21a，S22aの画像が静止画であるときの画質の劣化を抑えることができる。

切換部８１１，８１２，８２１，８２２の代わりに混合部として、領域信号S11usi，S12usi，S21usi，S22usiに遅延分割映像信号S11a，S12a，S21a，S22aを混合してもよい。この場合、動きベクトルＭＶが０または所定の値より小さいときに、両者の信号を混合するのがよい。

第２実施形態の映像信号処理装置との相違点である、第３実施形態の映像信号処理装置の構成及び動作は次のとおりである。

切換部８１１，８１２，８２１，８２２は、動きベクトルＭＶに基づいて、複数の領域それぞれで、分割映像信号（Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２）の画像が静止画ではないとき領域信号（S11usi，S12usi，S21usi，S22usi）を出力する。

切換部８１１，８１２，８２１，８２２は、動きベクトルＭＶに基づいて、分割映像信号（Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２）の画像が静止画であるとき、領域信号（S11usi，S12usi，S21usi，S22usi）の代わりに分割映像信号（遅延分割映像信号S11a，S12a，S21a，S22a）を出力する。

これによって、フレームレート変換部７１１，７１２，７２１，７２２は、分割映像信号の画像が静止画であるとき、Ｎの分割映像信号を第２のフレーム周波数に変換する。

本発明は以上説明した第１〜第３実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。映像信号Ｓ０は、４Ｋ２Ｋフォーマットの映像信号に限定されない。

以上の説明より分かるように、フレーム周波数を４倍にする場合、補間信号生成部６０または６１１，６１２，６２１，６２２は、隣接する２つの実フレーム間に内挿する３つの補間フレームを生成すればよい。このとき、動き検出部４０は、３つの補間フレームを生成するのに必要な動きベクトルＭＶを生成すればよい。

第１〜第３実施形態の映像信号処理装置をハードウェアで構成してもよく、ソフトウェア（コンピュータプログラム）で構成してもよい。第１〜第３実施形態の映像信号処理装置を、ハードウェアとソフトウェアとを混在させて構成してもよい。ハードウェアとソフトウェアとの使い分けは任意である。

２０ダウンスケーラ
４０動き検出部
6mvex 動きベクトル拡大部
６０，６１１，６１２，６２１，６２２補間信号生成部
６１アップスケーラ
７１１，７１２，７２１，７２２フレームレート変換部
８１１，８１２，８２１，８２２切換部

Claims

第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小するダウンスケーラと、
解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出する動き検出部と、
前記動きベクトルに基づいて、前記第１の映像信号の隣接するフレーム間に位置する補間映像信号を生成する補間信号生成部と、
前記分割映像信号と前記補間映像信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成するフレームレート変換部と、
を備えることを特徴とする映像信号処理装置。
前記動きベクトルの大きさを前記第１の映像信号のフレームに対応した大きさに拡大して拡大動きベクトルを生成する動きベクトル拡大部をさらに備え、
前記補間信号生成部は、前記拡大動きベクトルを参照して、前記補間映像信号を生成する
ことを特徴とする請求項１記載の映像信号処理装置。
第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小するダウンスケーラと、
解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出する動き検出部と、
前記動きベクトルに基づいて、前記合成縮小映像信号の隣接するフレーム間に位置する補間映像信号を生成する補間信号生成部と、
前記補間映像信号の解像度を前記第１の解像度に拡大して、拡大補間映像信号を生成するアップスケーラと、
前記分割映像信号と、前記拡大補間映像信号を前記複数の領域に対応させて分割したときの領域信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成するフレームレート変換部と、
を備えることを特徴とする映像信号処理装置。
前記動きベクトルに基づいて、前記複数の領域それぞれで、前記分割映像信号の画像が静止画ではないとき前記領域信号を出力し、前記分割映像信号の画像が静止画であるとき、前記領域信号の代わりに前記分割映像信号を出力する切換部をさらに備え、
前記フレームレート変換部は、前記分割映像信号の画像が静止画であるとき、前記分割映像信号を前記第２のフレーム周波数に変換する
ことを特徴とする請求項３記載の映像信号処理装置。
前記ダウンスケーラは、前記複数の分割映像信号それぞれの解像度を、前記分割数の逆数に縮小することを特徴とする請求項１〜４のいずれか１項に記載の映像信号処理装置。
第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小し、
解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出し、
前記動きベクトルに基づいて、前記第１の映像信号の隣接するフレーム間に位置する補間映像信号を生成し、
前記分割映像信号と前記補間映像信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成する
ことを特徴とする映像信号処理方法。
第１のフレーム周波数及び第１の解像度を有する第１の映像信号それぞれのフレームを所定の分割数で複数の領域に分割した複数の分割映像信号それぞれの解像度を縮小し、
解像度が縮小された複数の分割映像信号を１フレームに合成した合成縮小映像信号の動きベクトルを検出し、
前記動きベクトルに基づいて、前記合成縮小映像信号の隣接するフレーム間に位置する補間映像信号を生成し、
前記補間映像信号の解像度を前記第１の解像度に拡大して、拡大補間映像信号を生成し、
前記分割映像信号と、前記拡大補間映像信号を前記複数の領域に対応させて分割したときの領域信号とを時間方向に配列させて、第２のフレーム周波数及び前記第１の解像度を有する第２の映像信号を生成する
ことを特徴とする映像信号処理方法。