JP2010171672A

JP2010171672A - フレームレート変換装置、映像表示装置、フレームレート変換方法

Info

Publication number: JP2010171672A
Application number: JP2009011519A
Authority: JP
Inventors: Yoshiaki Mizuhashi; 嘉章水橋; Masahiro Ogino; 昌宏荻野; 健太 ▲高▼野橋; Kenta Takanohashi
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-01-22
Filing date: 2009-01-22
Publication date: 2010-08-05

Abstract

【課題】
処理量を低減し、ハードウェアを小規模化し、演算量を低減する。
【解決手段】
時間的位置の異なる複数の入力フレームの画像を入力し、前記複数の入力フレームの画像に縮小処理を行って複数の縮小画像を生成し、生成した複数の縮小画像の画素もしくはブロックに対して第一の相関演算処理を行って動き探索を行い、前記縮小処理を行う前の前記複数の入力フレームの画像に対して前記第一の動き探索ステップの動き探索結果と補間処理済みの画素もしくはブロックの補間方向情報とにより示される動き方向近傍の所定探索範囲について第二の相関演算処理を行って動き探索を行い補間方向情報を生成し、前記第二の動き探索ステップの動き探索結果の補間方向情報に基づいて前記複数の入力フレームとは時間的位置の異なる補間対象フレームの画像上の補間画素を生成する。
【選択図】図１

Description

本発明は、映像のフレーム数を変換するフレームレート変換装置、フレームレート変換方法に関するものである。

映像の動きを検出して補間フレームを生成し、映像のフレーム数を変換する技術は、例えば特許文献１に記載されている。

特開２００６−１６５６０２号公報

しかしながら、特許文献１に記載される従来のフレームレート変換技術では、検索範囲を広げようとすると処理量が膨大になるため、ハードウェアが大規模化したり、演算量が大きくなりすぎたりするといった課題がある。

本発明の一実施の形態は、例えば、時間的位置の異なる複数の入力フレームの画像を入力し、前記複数の入力フレームの画像に縮小処理を行って複数の縮小画像を生成し、生成した複数の縮小画像の画素もしくはブロックに対して第一の相関演算処理を行って動き探索を行い、前記縮小処理を行う前の前記複数の入力フレームの画像に対して前記第一の動き探索ステップの動き探索結果と補間処理済みの画素もしくはブロックの補間方向情報とにより示される動き方向近傍の所定探索範囲について第二の相関演算処理を行って動き探索を行い補間方向情報を生成し、前記第二の動き探索ステップの動き探索結果の補間方向情報に基づいて前記複数の入力フレームとは時間的位置の異なる補間対象フレームの画像上の補間画素を生成するように構成すればよい。

本発明によれば、処理量を低減することが可能になり、ハードウェアの小規模化や、演算量の低減が可能となる。

以下に、本発明の実施形態について図面を参照しながら説明を行う。

本発明の1実施例を、図1を用いて説明する。図1は映像中の動きを検出し、その動きの情報を用いて補間フレームを生成して映像のフレーム数を変換するフレームレート変換装置のブロック図である。

本実施例のフレームレート変換装置では、映像信号入力部１１、フレームメモリ２１、２２、縮小処理部３１、３２、粗探索処理部４１、密探索処理部５１、補間処理部６１、切替え処理部７１、映像出力部８１を有する。

映像信号入力部１１では、映像を外部から入力し、フレームメモリ２１へと送る。その際、入力された映像がアナログ信号であった場合には、デジタルに変換処理を行い、フレームレート変換装置内部では映像をデジタル信号として扱う。

フレームメモリ２１、２２では、入力された映像を保持し、タイミングに合わせて出力する。なお、フレームメモリ２２から出力される映像１１２は、入力される映像１１１に対して、1フレーム遅延した(時間的には1フレーム前の)映像である。

縮小処理部３１、３２は、入力した映像を縮小して出力する処理である。その方法は、単純に入力される映像２×２画素に対し、左上の1画素のみを出力するような間引き処理であっても良いし、２×２画素の画素値を足して平均するようなフィルタ処理であっても良いし、もっと多くの画素を用いるようなフィルタ処理であってもかまわない。また縮小率も、縦横０．５倍するような比率にとらわれるものではない。

粗探索処理部４１では、縮小処理部３１、３２から入力された縮小映像に対して、第一の相関演算処理を用いて、映像の動きの探索を行う。その方法としては、例えば、特開２００７−１９４９７９で用いているような、ｍ×ｎ画素(ｍ、ｎは自然数)のブロックマッチングによる相関演算処理であってもかまわないし、補間画素を中心とした点対称位置の画素値の差(ｍ＝ｎ＝１に相当)による相関演算処理であってもかまわない。さらに、求めた動きの方向毎の相関の強さに対し、第一の動き探索結果として第一の指標値を決定する。例えば、相関の強さが所定の閾値以上(画素値の絶対値差分または絶対値差分の和が例えば２０などの所定の閾値以下)の場合に、例えば５などの値を決定しても良いし、相関の強い方向から順に、例えば上位５方向に対し順に、５/４/３/２/１などのように値を決定しても良い。

次に、後述する密探索処理部５１から出力される決定した補間方向の情報を処理したものについて、動きの方向毎に第二の指標値を決定する。

当該第二の指標値は、現在補間処理を行っているフレームからみて、前フレーム上の所定領域での補間方向の度数分布から生成する。一つの補間方向に対して、当該方向で補間を行った度数が所定の閾値以上の場合に、例えば４などの値を指標値として決定しても良いし、度数が多い方向から順に、例えば上位３方向に対し順に４/２/１などの値を第二の指標値として決定しても良い。

ここで、図２は入力フレーム１１１と前フレーム１１２の間に補間対象フレーム１３１を生成する場合の本フレームレート変換装置の処理を示した図であるが、粗探索処理部４１では、補間対象フレーム１３１上の現在補間処理を行っている画素もしくはブロック２３１と同じ座標にある前補間フレーム１５１上の画素もしくはブロック２５１を中心とした所定の範囲３５１(例えば水平 ±４、垂直 ±２の画素もしくはブロックの範囲)での補間方向の度数分布から、同様に第二の指標値を生成することも可能である。

さらに、補間対象フレーム１３１上の現在補間処理を行っている画素もしくはブロック２３１に隣接した補間済みの画素もしくはブロックの補間方向に対して第二の指標値を決定することも可能である。

また、上記の３方式を組み合わせて、上記第二の指標値を生成することも可能である。

続いて、第一の動き探索結果である縮小画像に対しての相関による上記第一の指標値と、決定した補間方向に基づいて決定した第二の指標値とを、動きの方向毎に加算し、加算結果の最も高い方向、もしくは加算結果の上位から所定数の方向を、粗動き探索結果として密探索処理部５１に出力する。

密探索処理部５１では、粗探索処理部４１から出力された動きの方向近傍の所定範囲(例えば水平・垂直 ±２画素)について、粗探索処理部で行ったのと同様な第二の相関演算処理を、フレームメモリ２１、２２から入力される縮小されていない元の映像信号１１１、１１２に対して実施する。粗探索処理部４１から出力される動きの方向が複数ある場合には、それぞれに対して相関演算処理を行い、それらの中で最も相関が強い方向を補間方向として補間処理部６１、粗探索処理部４１に出力する。

補間処理部６１では、密探索処理部５１からの補間方向情報と生成する補間フレームの時間的位置とに基づいて補間に使用する画素を選択し、それらの画素の加重平均によって補間画素を生成する。これらの処理を1画面分にわたって実施することにより、補間フレーム１３１を生成する。

切替え処理部７１では、補間処理部７１で生成された補間対象フレーム１３１と前フレーム１１２を、タイミングに応じて切替え、映像出力８１に出力することにより、フレームレート変換を行った映像が出力される。

なお、図１のフレームレート変換装置に表示部を設けることにより、少ない演算量で入力映像のフレームレートを変換して表示する映像表示装置を実現することができる。

本発明の実施例に係るフレームレート変換装置ブロック図の一例である。本発明の実施例に係るフレームレート変換装置における密探索処理部の処理の一例の説明図である。

１１映像信号入力部
２１、２２フレームメモリ
３１、３２縮小処理部
４１粗探索処理部
５１密探索処理部
６１補間処理部
７１切替え処理部
８１映像信号出力部

Claims

時間的位置の異なる複数の入力フレームの画像を入力する入力部と、
前記複数の入力フレームの画像に縮小処理を行って複数の縮小画像を生成する縮小画像生成部と、
前記縮小画像生成部において生成した複数の縮小画像の画素もしくはブロックに対して第一の相関演算処理を行って動き探索を行い、第一の動き探索結果を算出し、前記第一の動き探索結果と補間処理済みの画素もしくはブロックの補間方向情報とに基づいて決定する動き方向を決定する第１の動き探索部と、
前記縮小処理を行う前の前記複数の入力フレームの画像に対して前記第１の動き探索部が決定した動き方向近傍の所定探索範囲について第二の相関演算処理を行って動き探索を行い補間方向情報を生成する第二の動き探索部と、
前記第二の動き探索部の動き探索結果の補間方向情報に基づいて前記複数の入力フレームとは時間的位置の異なる補間対象フレームの画像上の補間画素を生成する補間画像生成部
とを備えることを特徴とするフレームレート変換装置。
請求項１記載のフレームレート変換装置であって、前記補間処理済みの画素もしくはブロックの補間方向情報が、前記補間対象フレームより時間的に前に位置するフレーム上の所定領域における補間方向の度数分布であることを特徴とするフレームレート変換装置。
請求項２記載のフレームレート変換装置であって、前記補間対象フレームより時間的に前に位置するフレーム上の所定領域の中心位置は、前記補間対象フレームにおける補間対象画素もしくはブロック位置であることを特徴とするフレームレート変換装置。
請求項１記載のフレームレート変換装置であって、前記補間処理済みの画素もしくはブロックの補間方向情報が、前記補間対象フレームにおける補間対象画素もしくはブロックに隣接した補間済みの画素もしくはブロックの補間方向であることを特徴とするフレームレート変換装置。
時間的位置の異なる複数の入力フレームの画像を入力する入力部と、
前記複数の入力フレームの画像に縮小処理を行って複数の縮小画像を生成する縮小画像生成部と、
前記縮小画像生成部において生成した複数の縮小画像の画素もしくはブロックに対して第一の相関演算処理を行って動き探索を行い、第一の動き探索結果を算出し、前記第一の動き探索結果と補間処理済みの画素もしくはブロックの補間方向情報とに基づいて決定する動き方向を決定する第１の動き探索部と、
前記縮小処理を行う前の前記複数の入力フレームの画像に対して前記第１の動き探索部が決定した動き方向近傍の所定探索範囲について第二の相関演算処理を行って動き探索を行い補間方向情報を生成する第二の動き探索部と、
前記第二の動き探索部の動き探索結果の補間方向情報に基づいて前記複数の入力フレームとは時間的位置の異なる補間対象フレームの画像上の補間画素を生成する補間画像生成部と、
前記入力部が入力した入力フレーム画像と、前記補間画像生成部が生成した補間対象フレームの画像を表示する表示部
とを備えることを特徴とする映像表示装置。
時間的位置の異なる複数の入力フレームの画像を入力するステップと、
前記複数の入力フレームの画像に縮小処理を行って複数の縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップにおいて生成した複数の縮小画像の画素もしくはブロックに対して第一の相関演算処理を行って動き探索を行う第一の動き探索ステップと、
前記縮小処理を行う前の前記複数の入力フレームの画像に対して前記第一の動き探索ステップの動き探索結果と補間処理済みの画素もしくはブロックの補間方向情報とにより示される動き方向近傍の所定探索範囲について第二の相関演算処理を行って動き探索を行い補間方向情報を生成する第二の動き探索ステップと、
前記第二の動き探索ステップの動き探索結果の補間方向情報に基づいて前記複数の入力フレームとは時間的位置の異なる補間対象フレームの画像上の補間画素を生成する補間画像生成ステップ
とを備えることを特徴とするフレームレート変換方法。
請求項６記載のフレームレート変換方法であって、前記補間処理済みの画素もしくはブロックの補間方向情報が、前記補間対象フレームより時間的に前に位置するフレーム上の所定領域における補間方向の度数分布であることを特徴とするフレームレート変換方法。
請求項７記載のフレームレート変換方法であって、前記補間対象フレームより時間的に前に位置するフレーム上の所定領域の中心位置は、前記補間対象フレームにおける補間対象画素もしくはブロック位置であることを特徴とするフレームレート変換方法。
請求項６記載のフレームレート変換方法であって、前記補間処理済みの画素もしくはブロックの補間方向情報が、前記補間対象フレームにおける補間対象画素もしくはブロックに隣接した補間済みの画素もしくはブロックの補間方向であることを特徴とするフレームレート変換方法。