JP2012089986A - 画像処理装置及び方法、並びに画像表示装置及び方法 - Google Patents
画像処理装置及び方法、並びに画像表示装置及び方法 Download PDFInfo
- Publication number
- JP2012089986A JP2012089986A JP2010233502A JP2010233502A JP2012089986A JP 2012089986 A JP2012089986 A JP 2012089986A JP 2010233502 A JP2010233502 A JP 2010233502A JP 2010233502 A JP2010233502 A JP 2010233502A JP 2012089986 A JP2012089986 A JP 2012089986A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- motion vector
- interpolation
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
【課題】フレーム補間処理において、正しく補間フレームが生成できない。特に補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
【解決手段】動きベクトルを検出し(2)、補間フレームへの動きベクトルに変換し(3)、一つの画像要素が他の画像要素の陰に隠れたり出現したりする領域をオクルージョン領域として推定し、その領域情報に基づいて動きベクトル(MV2、MV3)を修正し(4)、修正した動きベクトル(MV4、MV5)を用いて、フレームの補間を行う(5)。
【選択図】図1
【解決手段】動きベクトルを検出し(2)、補間フレームへの動きベクトルに変換し(3)、一つの画像要素が他の画像要素の陰に隠れたり出現したりする領域をオクルージョン領域として推定し、その領域情報に基づいて動きベクトル(MV2、MV3)を修正し(4)、修正した動きベクトル(MV4、MV5)を用いて、フレームの補間を行う(5)。
【選択図】図1
Description
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。
液晶ディスプレイなどのホールド型ディスプレイは、1フレーム期間同じ画像を表示し続けており、画像中の画像要素(例えば、撮像対象中の物体に対応する画像要素)が動いた場合に、動く画像要素に対する人間の目の追従が連続的に移動するのに対して、画像要素の移動が1フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして画像要素の移動をスムーズにすることが考えられる。
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者(フィルム映像とテレビ信号)のフレーム周波数の違いから、2フレーム又は3フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、2フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。
従来の画像処理装置及び方法は、補間フレームに対して1フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して1フレーム前の画像と1フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が2重像になる問題がある。
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある(例えば、特許文献1参照)。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できない問題がある。
また、補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
また、補間するフレームの前後で画像要素が隠れたり出現したりする場合、補間フレームが著しく乱れる。
本発明の一つの態様の画像処理装置は、
画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする。
本発明の他の態様の画像処理方法は、
画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする。
画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする。
本発明の他の態様の画像処理方法は、
画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする。
本発明によれば、テスト補間の結果を評価し、評価結果に基づいて動きベクトルを決定するので、高精度に動きベクトルを算出することができ、画像の乱れなくフレーム補間を行うことができる。また、オクルージョン領域においても、画像の乱れなくフレーム補間を行うことができる。
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームF0データと現フレームF0の1フレーム前のフレームF1のデータである第一の遅延フレームとの間に新たな補間フレームIFのデータを挿入するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
実施の形態1.
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。実施の形態1に係る画像表示装置は、フレームメモリ1と、動きベクトル検出部2と、動きベクトル変換部3と、オクルージョン領域推定部4と、補間フレーム生成部5と、画像表示部6を備える。
図1は、本発明の実施の形態1に係る画像表示装置の構成を示す図である。実施の形態1に係る画像表示装置は、フレームメモリ1と、動きベクトル検出部2と、動きベクトル変換部3と、オクルージョン領域推定部4と、補間フレーム生成部5と、画像表示部6を備える。
画像データF0が、フレームメモリ1、動きベクトル検出部2、及び補間フレーム生成部5に入力される。
フレームメモリ1は、画像データF0を2フレーム分保存し、画像データF0に対して1フレーム分遅延した画像データF1と、画像データF0に対して2フレーム分遅延した画像データF2を出力する。これより画像データF0を現フレームのデータ、画像データF1を第一の遅延フレームのデータ、画像データF2を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号F0、F1、F2で表す。
フレームメモリ1は、画像データF0を2フレーム分保存し、画像データF0に対して1フレーム分遅延した画像データF1と、画像データF0に対して2フレーム分遅延した画像データF2を出力する。これより画像データF0を現フレームのデータ、画像データF1を第一の遅延フレームのデータ、画像データF2を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号F0、F1、F2で表す。
第一の遅延フレームF1のデータは動きベクトル検出部2と補間フレーム生成部5に入力され、第二の遅延フレームF2のデータは動きベクトル検出部2に入力される。
動きベクトル検出部2は、現フレームF0のデータと、第一の遅延フレームF1のデータと、第二の遅延フレームF2のデータを参照して、第一の遅延フレームF1上の各ブロック(フレームの一部を成し、複数の画素で構成される)について、第一の遅延フレームF1から現フレームF0への第一の動きベクトルMV1を算出して、動きベクトル変換部3に出力する。
動きベクトル変換部3は、第一の動きベクトルMV1を、第一の遅延フレームF1から補間フレームIFへの第二の動きベクトルMV2と、現フレームF0から補間フレームIFへの第三の動きベクトルMV3に変換して、オクルージョン領域推定部4に出力する。
オクルージョン領域推定部4は、第二の動きベクトルMV2及び第三の動きベクトルMV3からオクルージョン領域(OC)を推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルMV2及び第三の動きベクトルMV3を修正して第四の動きベクトルMV4及び第五の動きベクトルMV5を補間フレーム生成部5に出力する。
オクルージョン領域とは、各フレーム、例えば補間フレームの前又は後のフレームに存在するブロック(従って該ブロックを構成する画素)に対応するブロック(従って、該ブロックを構成する画素)が補間フレームには存在しない領域及びその周辺の領域を意味する。例えば、画像中の一つの画像要素(例えば撮像対象中の物体に対応する画像要素)が他の画像要素の陰に隠れたり出現したりする場合にそれらの画像要素間の境界部分がオクルージョン領域となる。
例えば、オクルージョン領域推定部4は、第二の動きベクトルMV2又は第三の動きベクトルMV3が急激に変化する領域及びその周辺の領域を、オクルージョン領域と推定する。
ここで、動きベクトルが急激に変化するか否かは、例えば、隣接するブロック間で動きベクトルの変化が所定値以上であるか否かによって判断する。即ち、本実施の形態で説明しているように、複数の画素から成るブロック毎に動きベクトルを求める場合には、各ブロックについての動きベクトルと隣接するブロックについての動きベクトルとの差が所定値以上であれば、これら2つのブロックの間にエッジが存在すると判断する。
補間フレーム生成部5は、第一の遅延フレームF1のデータ、現フレームF0のデータ、第四の動きベクトルMV4及び第五の動きベクトルMV5から、現フレームF0と第一の遅延フレームF1の間に位置する補間フレームIFのデータを生成し、生成した補間フレームIFのデータを現フレームF0のデータと第一の遅延フレームF1のデータの間に挿入した画像データDOを画像表示部6に出力する。
画像表示部6は、画像データDOを表示する。
画像表示部6は、画像データDOを表示する。
次に、動きベクトル検出部2の構成について詳細に説明する。
動きベクトル検出部2は、現フレームブロック切り出し部10、第一遅延フレームブロック切り出し部11、第二遅延フレームブロック切り出し部12、テスト補間部7、補間データ評価部8、及び動きベクトル決定部9を備える。
動きベクトル検出部2は、現フレームブロック切り出し部10、第一遅延フレームブロック切り出し部11、第二遅延フレームブロック切り出し部12、テスト補間部7、補間データ評価部8、及び動きベクトル決定部9を備える。
現フレームブロック切り出し部10、第一遅延フレームブロック切り出し部11、及び第二遅延フレームブロック切り出し部12は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ(画素値)の集合をブロックデータとして出力する。各ブロックは例えば横方向X個、縦方向Y個の画素(Y個のライン)のサイズを有する矩形の領域から成る。即ち、現フレームF0から切り出されるブロックと、第一の遅延フレームF1から切り出されるブロックと、第二の遅延フレームF2から切り出されるブロックは、縦方向のサイズ(画素数)及び横方向のサイズ(画素数乃至ライン数)が互いに等しい。
現フレームブロック切り出し部10は、現フレームF0からブロックを切り出し、第一遅延フレームブロック切り出し部11は、第一の遅延フレームF1からブロックを切り出し、第二遅延フレームブロック切り出し部12は、第二の遅延フレームF2からブロックを切り出す。
以下では、補間フレームIF内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームIF内の補間しようとするブロックに対応する第一の遅延フレームF1内の一つのブロックと、現フレームF0内の複数のブロックと、第二の遅延フレームF2内の複数のブロックが切り出される。現フレームF0から切り出されるブロックと、第二の遅延フレームF2から切り出されるブロックとは、第一の遅延フレームF1内のブロック(厳密には、その中心位置)を中心として点対称の位置にあるもので、これらが対として用いられる。即ち、現フレームブロック切り出し部10及び第二遅延フレームブロック切り出し部12は、第一の遅延フレームF1内のブロックを中心とし、一方が現フレームF0内に位置し、他方が第二の遅延フレームF2内に位置するブロックの対を複数個切り出す。
現フレームF0及び第二の遅延フレームF2からのブロックの対は、動きベクトル検出部2において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第一の遅延フレームF1内の一つのブロックの中心位置を中心として、横方向に±HS画素、縦方向に±VS画素(±VSライン)の範囲を探索する場合、第二の遅延フレームF2及び現フレームF0から、それぞれ(2HS+1)×(2VS+1)個のブロックが切り出される。
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら(例えば水平方向及び垂直方向に1画素おきに)切り出すこととしても良い。
以下では、現フレームF0及び第二の遅延フレームF2から切り出されるブロックの数をMとし、現フレームF0から切り出されるブロックを第1乃至第MのブロックF0B1〜F0BM、第二の遅延フレームF2から切り出されるブロックを第1乃至第MのブロックF2B1〜F2BMと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
第二の遅延フレームF2内の第mのブロックF2Bm(m=1〜M)と現フレームF0内の第mのブロックF0Bmとは、第二の遅延フレームF1内のブロックF1B1(厳密にはその中心の画素)を中心として点対称の位置にあるので、ブロックF2BmのブロックF1B1に対する横方向のずれをh(h=−HS〜+HS)、縦方向のずれをv(v=−VS〜+VS)とすると、ブロックF0BmのブロックF1B1に対する横方向のずれは−h、縦方向のずれは−vである。
現フレームブロック切り出し部10は、現フレーム内の複数の、即ち第一乃至第Mのブロックを切り出して、第一乃至第MのブロックデータF0B1〜F0BMを出力する。
第一遅延フレームブロック切り出し部11は、第一の遅延フレーム内のブロックF1B1を切り出す。このブロックF1B1は、補間フレームIF内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部12は、第二の遅延フレーム内の複数の、即ち第一乃至第Mのブロックを切り出して、第一乃至第MのブロックデータF2B1〜F2BMを出力する。
第一遅延フレームブロック切り出し部11は、第一の遅延フレーム内のブロックF1B1を切り出す。このブロックF1B1は、補間フレームIF内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部12は、第二の遅延フレーム内の複数の、即ち第一乃至第Mのブロックを切り出して、第一乃至第MのブロックデータF2B1〜F2BMを出力する。
現フレームF0のブロックデータと第二の遅延フレームF2のブロックデータが、テスト補間部7に入力される。テスト補間部7は、第二の遅延フレームF2のブロックデータと現フレームF0のブロックデータのうち、第一の遅延フレームF1内のブロックF1B1を中心として、互いに点対称の位置にある第一の遅延フレームF1内のブロックと、現フレームF0内のブロックから成るブロック対のデータに基づいて、テスト補間データを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心位置、即ち上記第一のフレームF1内のブロックF1B1のデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、ブロックF1B1のデータとの相関が高いものとなる。
補間データ評価部8は、第一の遅延フレームF1のブロックデータを参照して複数のテスト補間データの評価を行い、評価データEDを動きベクトル決定部9に出力する。この評価においては、テスト補間データと、第一の遅延フレームF1のブロックデータとの相関を求め、相関が高いほど高い評価が与えられる。
動きベクトル決定部9は、評価データEDに基づいて第一の動きベクトルMV1を生成して出力する。
次に、図2を参照して動きベクトル検出部2のテスト補間部7、補間データ評価部8及び動きベクトル決定部9の具体例についてさらに詳しく説明する。
テスト補間部7は、複数の、即ち第一乃至第Mのテスト補間データ生成部7−1〜7−Mを備え、補間データ評価部8は複数の、即ち第一乃至第Mの差分絶対値和算出部8−1〜8−Mを備えるものとして図示されている。
テスト補間データ生成部7−1〜7−Mは、現フレームF0のブロックのデータF0B1〜F0BMと、それぞれこれらと対をなす第二の遅延フレームF2のブロックのデータF2B1〜F2BMを画素ごとに平均することで得られる平均値から成るデータをテスト補間データTD1〜TDMとして算出する。図1には、テスト補間データTD1〜TDMの集合が符号TDで表されている。
以下、より詳しく説明する。
現フレームF0の第一のブロックデータF0B1と第二の遅延フレームF2の第一のブロックデータF2B1がテスト補間データ生成部7−1に入力される。
現フレームF0の第一のブロックデータF0B1と第二の遅延フレームF2の第一のブロックデータF2B1がテスト補間データ生成部7−1に入力される。
テスト補間データ生成部7−1は、現フレームF0の第一のブロックデータF0B1と第二の遅延フレームF2の第一のブロックデータF2B1の画素ごとの平均値を第一のテスト補間データTD1として差分絶対値和算出部8−1に出力する。ここで画素ごとの平均値とは、現フレームF0内のブロックにおける各画素と、第二の遅延フレーム内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値)の平均値を意味する。
同様に、現フレームF0の第二のブロックデータF0B2と第二の遅延フレームF2の第二のブロックデータF2B2がテスト補間データ生成部7−2に入力される。テスト補間データ生成部7−2は、現フレームF0の第二のブロックデータF0B2と第二の遅延フレームF2の第二のブロックデータF2B2の画素ごとの平均値を第二のテスト補間データTD2として差分絶対値和算出部8−2に出力する。
テスト補間データ生成部7−3〜7−Mも同様に現フレームF0の第三のブロックデータF0B3乃至第MのブロックデータF0BMと第二の遅延フレームF2の第三のブロックデータF2B3乃至第MのブロックデータF2BMに基づいて第三のテスト補間データTD3乃至第Mのテスト補間データTDMを生成し、差分絶対値和算出部8−3〜8−Mに出力する。
一般化して言えば、テスト補間データ生成部7−mは、現フレームF0の第mのブロックデータF0Bm(m=1〜M)と第二の遅延フレームF2の第mのブロックデータF2Bmに基づいて第mのテスト補間データTDmを生成し、差分絶対値和算出部8−mに出力する。
第一の遅延フレームF1のブロックデータF1B1が補間データ評価部8内の差分絶対値和算出部8−1〜8−Mに入力される。
差分絶対値和算出部8−1〜8−Mは、それぞれテスト補間データ生成部7から出力されるテスト補間データTD1〜TDMと第一の遅延フレームF1のブロックデータF1B1の差分絶対値和を算出し、評価データED1〜EDMとして出力する。
差分絶対値和算出部8−1は、第一のテスト補間データTD1の各画素のデータと第一の遅延フレームF1のブロックデータF1B1の各画素のデータの差分絶対値の和を算出し、評価データED1として動きベクトル決定部9に出力する。差分絶対値和は式(1)により表される。
式(1)で与えられる差分絶対値和は、その値が小さいほど、相関が高いことを意味し、差分絶対値和SADを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
ここで、BK1、BK2はブロック内の各画素のデータであり、BK1をテスト補間データTD1を構成する各画素のデータ、BK2をブロックF1B1内の各画素のデータとすると式(1)は第一のテスト補間データTD1の各画素のデータと第一の遅延フレームF1のブロックデータF1B1の各画素のデータの差分絶対値和となり、差分絶対値和SADが評価データED1として差分絶対値和算出部8−1から出力される。
差分絶対値和算出部8−2〜8−Mも同様に、第二のテスト補間データTD2乃至第Mのテスト補間データTDMと第一の遅延フレームF1のブロックデータF1B1の差分絶対値和を算出し、評価データED2〜EDMとして動きベクトル決定部9に出力する。
動きベクトル決定部9は、評価データED1〜EDMのうち最も評価の高い評価データ (最も小さい差分絶対値和)に対応するブロック対を構成する現フレームF0のブロックと第二の遅延フレームF2のブロックとの位置の差(第二の遅延フレームF2内のブロックに対する現フレームF0内のブロックの相対位置)の1/2を動きベクトルMV1として出力する。
図3は、動きベクトル検出部2の動作を説明するための図である。M=2の場合について説明する。
第一の遅延フレームF1の一部の領域が第一の遅延フレームF1のブロックデータF1B1として切り出されている。
第一の遅延フレームF1の一部の領域が第一の遅延フレームF1のブロックデータF1B1として切り出されている。
第一の遅延フレームF1のブロックデータF1B1に対してベクトル−V1ずらした位置に対応する領域が第二の遅延フレームF2の第一のブロックデータF2B1として設定されて切り出され、ベクトル+Vずらした位置に対応する領域が現フレームF0の第一のブロックデータF0B1として設定されて切り出される。
また、第一の遅延フレームF1のブロックデータF1B1に対してベクトル−V2ずらした位置に対応する領域が第二の遅延フレームF2の第二のブロックデータF2B2として設定されて切り出され、ベクトル+V2ずらした位置に対応する領域が現フレームF0の第二のブロックデータF0B2として設定されて切り出される。
テスト補間データ生成部7−1は、現フレームF0の第一のブロックデータF0B1と第二の遅延フレームF2の第一のブロックデータF2B1を画素ごとに平均してテスト補間データTD1を生成する。
テスト補間データ生成部7−2も同様に、現フレームF0の第二のブロックデータF0B2と第二の遅延フレームF2の第二のブロックデータF2B2を画素ごとに平均してテスト補間データTD2を生成する。
テスト補間データ生成部7−2も同様に、現フレームF0の第二のブロックデータF0B2と第二の遅延フレームF2の第二のブロックデータF2B2を画素ごとに平均してテスト補間データTD2を生成する。
差分絶対値和算出部8−1は、テスト補間データTD1と第一の遅延フレームF1のブロックデータF1B1から式(1)を使って差分絶対値和SADを算出し、評価データED1として出力する。
差分絶対値和算出部8−2も同様に、テスト補間データTD2と第一の遅延フレームF1のブロックデータF1B1から式(1)を使って差分絶対値和SADを算出し、評価データED2として出力する。
動きベクトル決定部9は、評価データED1及びED2のうち値が小さい方を生じさせたブロック対を構成するブロックについての上記のずれ(+V1又は+V2)を、動きベクトルMV1として出力する。例えば、評価データED2より評価データED1の方が小さい場合、ベクトルV1を動きベクトルMV1として出力する。
図3では、2つのベクトルから第一の動きベクトルを決定する方法について説明したが、本発明に係る実施の形態の構成はM=2に限定されない。即ち、候補としてのベクトルを3個以上設定しても良い。例えば、第一の遅延フレーム内のブロックF1B1に対して、所定の動き量に対応する探索範囲内に位置する第二の遅延フレーム内のすべてのブロック及びこれと点対称位置にある現フレーム内のブロックについてのテスト補間を行うこととしても良い。
動きベクトル検出部2では、上記のように実在のデータである第二遅延フレームF1内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームF0から第一の遅延フレームF1への動きベクトルを精度良く算出することができる。
なお、補間データ評価部8では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。
次に、図4を参照して、動きベクトル変換部3の動作についてより詳細に説明する。
動きベクトル変換部3は、第一の遅延フレームF1から現フレームF0への動きベクトルMV1を、第一の遅延フレームF1から補間フレームIFへの第二の動きベクトルMV2と、現フレームF0から補間フレームIFへの第三の動きベクトルMV3に変換する。
動きベクトル変換部3は、第一の遅延フレームF1から現フレームF0への動きベクトルMV1を、第一の遅延フレームF1から補間フレームIFへの第二の動きベクトルMV2と、現フレームF0から補間フレームIFへの第三の動きベクトルMV3に変換する。
図4に示すように入力フレームの時間間隔をt1、第一の遅延フレームF1から補間フレームIFへの時間間隔をt2とした時、式(2A)及び式(2B)により動きベクトルMV2及びMV3を算出する。たとえば、60Hzの入力画像信号から120Hzの画像信号に変換する場合、t1は1/60秒、t2は1/120秒となる。
MV2=MV1×t2/t1 …(2A)
MV3=−MV1×(t1−t2)/t1 …(2B)
MV3=−MV1×(t1−t2)/t1 …(2B)
このような変換は、第一の遅延フレームF1から現フレームF0へのベクトルMV1を、第一の遅延フレームF1と補間フレームIFと現フレームF0との時間間隔(t2、t1−t2)に応じて内分する処理を用いた変換であると言える。
次に、図5(a)〜(c)を参照して、オクルージョン領域推定部4及び補間フレーム生成部5の動作についてより詳細に説明する。
オクルージョン領域推定部4では、補間フレーム上で動きベクトルMV2及びMV3が急激に変化するエッジを検出する。動きベクトルのエッジ(動きベクトルの差が小さい連続した複数のブロックから成る一つの領域と、動きベクトルの差が小さい連続した複数のブロックから成る別の領域との境界)では、補間フレームの前後で画像要素が隠れたり出現したりしているが、図5(b)に示すようにオクルージョン領域推定部4では当該エッジの周辺を含めた領域をオクルージョン領域OCとする。ここで、オクルージョン領域OCとする範囲は動きベクトルの大きさにより、動きベクトルの大きいほど、オクルージョン領域OCの範囲を大きくする。
次に求めたオクルージョン領域OCでは時間的に前のフレーム及び時間的に後のフレームのどちらからデータを取得し、補間に用いるべきかを判定する。動きベクトルのエッジを挟んで隣接する二つ領域の動きベクトルが互いに近づく方向のものであれば、一方の画像要素が隠れるので過去のフレームからデータを取る(過去のフレームのデータを、補間フレームのデータとして用いる)ようにする。つまり、動きベクトルMV2を第四のベクトルMV4として出力し、第五のベクトルMV5を「対応なし」と出力する(第五のベクトルMV5に対応するベクトルが存在しないことを示す情報を出力する)。
一方、動きベクトルのエッジを挟んで隣接する(即ち、エッジの両側に位置する)二つの領域の動きベクトルが互いに遠ざかる方向のものであれば、隠れていた画像要素が現れるので未来のフレームからデータを取る(未来のフレームのデータを、補間フレームのデータとして用いる)ようにする。つまり、第四のベクトルMV4を「対応なし」と出力し(第四のベクトルMV4に対応するベクトルが存在しないことを示す情報を出力し)、動きベクトルMV3を第五のベクトルMV5として出力する。
このようにして第四及び第五のベクトルMV4及びMV5を求めたら、補間フレームIFからベクトル−MV4の位置の第一の遅延フレームF1のデータ(ブロックF1B1内のデータ)と補間フレームIFからベクトル−MV5の位置の現フレームF0のデータ(ブロックF0B1内のデータ)の平均を補間フレームIFのデータとして算出する。このとき、補間に用いられる第一の遅延フレームF1のブロックデータF1B1と、現フレームF0のブロックデータF0B1とは、補間フレームIF内の補間により得られるデータの位置を中心として、互いに対称の位置にある。ただし、第四及び第五のベクトルMV4及びMV5の一方が「対応するブロックなし」の場合は、第四及び第五のベクトルMV4及びMV5の他方のみのデータをそのまま補間フレームIFのデータとして算出する。
生成したデータから成る補間フレームIFのデータを第一の遅延フレームF1のデータと現フレームF0のデータ間に内挿して出力する。
図6(a)及び(b)は、動きベクトル検出部2の具体例に用いる現フレームF0のデータ、第一の遅延フレームF1のデータ、第二のフレームF2のデータの対応関係を説明するための図である。図6(a)及び(b)に示すような映像を表す信号が入力された場合の本実施の形態1の動作を説明する。図6(a)及び(b)に示す映像においては、画像要素としての英文字が左から右へ移動しており、動きのない画像要素としての黒の四角(図では、「黒」をクロスハッチングで示している)によって英文字が隠れる。
図7(a)〜(d)は、動きベクトル検出部2の動作の具体例を説明するための図である。図7(a)は動きベクトル検出部2に入力される画像データの具体例を説明するための図である。図7(b)〜(d)はテスト補間部7及び補間データ評価部8の動作を説明するための図である。
図7(a)に示すような第二の遅延フレームF2のデータ、第一の遅延フレームF1のデータ、現フレームF0のデータを入力とした場合の動きベクトル検出部2の動作を説明する。
テスト補間部7では、動きベクトルごとにテスト補間データを生成する。図7(b)に示すように第一の遅延フレームF1の一部の領域を第一の遅延フレームF1のブロックデータF1B1とし、第一の遅延フレームF1のブロックデータF1B1から−V1ずらした位置の第二の遅延フレームF2のブロックデータを第一のブロックデータF2B1とし、第一の遅延フレームF1のブロックデータF1B1からV1ずらした位置の現フレームF0のブロックデータをブロックデータF0B1とする。また、第一の遅延フレームF1のブロックデータF1B1から−V2ずらした位置の第二の遅延フレームF2のブロックデータをブロックデータF2B2とし、第一の遅延フレームF1のブロックデータF1B1からV2ずらした位置の現フレームF0のブロックデータをブロックデータF0B2とする。
図7(c)に示すように、第一のブロックデータF2B1と、ブロックデータF0B1から画素ごとの平均をテスト補間データTD1として生成する。
図7(c)には、テスト補間データTD1で表される画像に文字Fが含まれることを示す。同様に、図7(d)に示すようにテスト補間データTD2を生成する。
図7(c)には、テスト補間データTD1で表される画像に文字Fが含まれることを示す。同様に、図7(d)に示すようにテスト補間データTD2を生成する。
補間データ評価部8では、図7(c)〜(d)に示すようなテスト補間データTD1〜TD2のそれぞれとブロックデータF1B1との差分絶対値和を算出し、評価データED1〜ED2を出力する。図7(a)〜(d)の具体例では、テスト補間データTD1で表される画像が文字「F」を含み、ブロックF1B1との差分絶対値和が一番小さくなるので評価データED1が一番小さくなる。
動きベクトル決定部9では、評価データED1〜ED2のうち一番小さい評価データED1に対応した動きベクトルV1がブロックデータF1B1の動きベクトルとして出力される。
第一の遅延フレームF1についてもれなく(隙間なく)ブロックを設定し動きベクトルを算出することで第一の遅延フレームF1のすべての部分について第一の動きベクトルMV1が生成される。即ち、第一の遅延フレームF1を、複数の、例えば互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第一の動きベクトルMV1を生成し、当該ブロックに対応する位置、例えば同じ位置にある、補間フレーム内のブロックについて、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
また、第一の遅延フレーム内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第一の動きベクトルMV1を生成し、当該画素に対応する位置、例えば同じ位置にある、補間フレーム内の画素について、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
図8(a)及び(b)は、動きベクトル変換部3の動作の具体例を説明するための図である。図8(a)は動きベクトル変換部3の入力、図8(b)は動きベクトル変換部3の出力を示す。
動きベクトル変換部3は、図8(a)に示される、第一の遅延フレームF1から現フレームF0への動きベクトルMV1に対して式(2A)及び式(2B)を用いて、さらに、t2=t1/2として、図8(b)に示される、第一の遅延フレームF1から補間フレームIFへの第二の動きベクトルMV2と現フレームF0から補間フレームIFへの第三の動きベクトルMV3に変換する。図8(a)及び(b)に示す具体例では、MV1はV1、t1は1/60秒、t2は1/120秒なので、式(2A)及び式(2B)よりMV2はV1/2、MV3は−V1/2となる。
図9(a)〜(c)は、オクルージョン領域推定部4の動作の具体例を説明するための図である。図9(a)は、画像中の2つの領域Ra、Rbの各々における、現フレームF0から補間フレームIFへの第三の動きベクトルMV3の値を示す。図示の例では、領域Ra内では、第三の動きベクトルMV3が−V1/2であり、領域Rb内では、動きベクトルMV3が0である。図9(b)は推定されるオクルージョン領域OCを示し、図9(c)は第一の遅延フレームF1から補間フレームIFへの第四の動きベクトルMV4と現フレームF0から補間フレームIFへの第五の動きベクトルMV5を示している。
オクルージョン領域推定部4は、図9(a)に示されるような値を持つ第三の動きベクトルMV3から、図9(b)に示されるような動きベクトルのエッジ(動きベクトルが−V1/2である領域Raと、ベクトルが0である領域Rbの境界)及びその周辺の領域をオクルージョン領域OCとして推定する。また、領域Ra内の動きベクトル−V1/2と「0」とは互いに遠ざかるものであると判断する。
先にも述べたように、エッジの検出は、動きベクトルの急激な変化に基づいて行われる。
推定されたオクルージョン領域OCにおいては、第一の遅延フレームF1から補間フレームIFへの第四の動きベクトルMV4と現フレームF0から補間フレームIFへの第五の動きベクトルMV5は、図9(c)に示すものとなる。即ち、第四の動きベクトルMV4は、MV2=−MV3=V1/2と同じ値とされ、第五の動きベクトルMV5は、「対応なし」とされる。
推定されたオクルージョン領域OCにおいては、第一の遅延フレームF1から補間フレームIFへの第四の動きベクトルMV4と現フレームF0から補間フレームIFへの第五の動きベクトルMV5は、図9(c)に示すものとなる。即ち、第四の動きベクトルMV4は、MV2=−MV3=V1/2と同じ値とされ、第五の動きベクトルMV5は、「対応なし」とされる。
図10は、補間フレーム生成部5の動作の具体例を説明するための図である。図10に示すように補間フレームIFから−MV4動かした位置の第一の遅延フレームF1のデータと−MV5動かした位置の現フレームF0のデータの平均を補間フレームIFのデータとして算出する。ただし、図10の矢印が示すように、一方の動きベクトル(MV5)が対応していない場合は他方の動きベクトル(MV4)に対応するデータを補間フレームIFとする。生成した補間フレームIFを第一の遅延フレームF1と現フレームF0の間に内挿して出力する。
ここで比較のため、オクルージョン領域推定部4が設けられていない場合を考える。この場合、第二の動きベクトルMV2と第三の動きベクトルMV3が(第四の動きベクトルMV4及び第五の動きベクトルMV5の代わりに)補間フレーム生成部5へ入力される。そうすると、補間フレームIFで英文字「F」となっている領域は黒(図ではクロスハッチングで示す)(現フレームF0のデータ)と英文字「F」(第一の遅延フレームF1のデータ)の平均した画像になり、エッジが不鮮明となり画質が劣化する。
これに対して、本発明では、上記の平均化は行われず、一方の動きベクトルに基づき補間フレームのデータを決めるのでは、エッジの鮮鋭さを維持することができ、画像の乱れを抑制することができる。
これに対して、本発明では、上記の平均化は行われず、一方の動きベクトルに基づき補間フレームのデータを決めるのでは、エッジの鮮鋭さを維持することができ、画像の乱れを抑制することができる。
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを生成することができる。
さらに補間するフレームの前後で画像要素が隠れたり出現したりする場合でも、画像の乱れなくフレーム補間を行うことができる。
さらに補間するフレームの前後で画像要素が隠れたり出現したりする場合でも、画像の乱れなくフレーム補間を行うことができる。
図11は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
まず、動きベクトル検出ステップST1では、画像データF0と、画像データF0に対して1フレーム遅延した画像データF1と、画像データF0に対して2フレーム分遅延した画像データF2を参照して第一の遅延フレームF1から現フレームF0への第一の動きベクトルMV1を生成する。この動作は、動きベクトル検出部2と同等である。
動きベクトル変換ステップST2では、第一の動きベクトルMV1を、第一の遅延フレームF1から補間フレームIF(現フレームF0と第一の遅延フレームF1の間に挿入される)への第二の動きベクトルMV2と、現フレームF0から補間フレームIFへの第三の動きベクトルMV3に変換する。この動作は、動きベクトル変換部3と同等である。
オクルージョン領域推定ステップST3では、オクルージョン領域推定部4は、第二の動きベクトルMV2及び第三の動きベクトルMV3からオクルージョン領域OCを推定して、推定されたオクルージョン領域の情報に基づいて第二の動きベクトルMV2及び第三の動きベクトルMV3を修正して第四の動きベクトルMV4及び第五の動きベクトルMV5を生成する。この動作は、オクルージョン領域推定部4と同等である。
補間フレーム生成ステップST4では、第一の遅延フレームF1のデータ、現フレームF0のデータ、第四の動きベクトルMV4及び第五の動きベクトルMV5から補間フレームIFのデータを生成し、生成した補間フレームIFのデータを現フレームF0のデータと第一の遅延フレームF1のデータの間に挿入した画像データDOを生成する。この動作は、補間フレーム生成部5と同等である。
図11を参照して行った説明から理解されるように、図1の画像処理装置の一部、特に動きベクトル検出部2、動きベクトル変換部3、オクルージョン領域推定部4及び補間フレーム生成部5は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
1 フレームメモリ、 2 動きベクトル検出部、 3 動きベクトル変換部、 4 オクルージョン領域推定部、 5 補間フレーム生成部、 6 画像表示部、 7 テスト補間部、 8 補間データ評価部、 9 動きベクトル決定部、 10 現フレームブロック切り出し部、 11 第一遅延フレームブロック切り出し部、 12 第二遅延フレームブロック切り出し部。
Claims (20)
- 画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理装置において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出部と、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換部と、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定部と、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを備え、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価部と、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする画像処理装置。 - 前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記動きベクトル検出部は、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定部は、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記エッジを挟む2つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成部は、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む2つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成部は、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記テスト補間部は、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記補間データ評価部は、
前記テスト補間データ生成部から出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項5に記載の画像処理装置。 - 前記補間データ評価部は、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項6に記載の画像処理装置。 - 前記テスト補間部は、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成部を備えることを特徴とする請求項1から5のいずれかに記載の画像処理装置。 - 前記補間データ評価部は、前記テスト補間データ生成部から出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出部を備えることを特徴とする請求項1、7又は8に記載の画像処理装置。
- 請求項1から9のいずれかに記載の画像処理装置と、
前記補間フレーム生成部より出力された画像データを表示する画像表示部とを
備えることを特徴とする画像表示装置。 - 画像の現フレームと現フレームの1フレーム前のフレームのデータとの間に新たな補間フレームを挿入する画像処理方法において、
前記現フレームのデータ、及び前記第一の遅延フレームのデータ、並びに前記現フレームの2フレーム前のフレームである第二の遅延フレームのデータを参照して前記第一の遅延フレームから前記現フレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
前記第一の動きベクトルを、前記第一の遅延フレームから前記補間フレームへの第二の動きベクトルと、前記現フレームから前記補間フレームへの第三の動きベクトルに変換する動きベクトル変換ステップと、
前記第二の動きベクトル及び前記第三の動きベクトルに基づいて、前記第一の遅延フレーム又は前記現フレームに存在する画素に対応する画素が前記補間フレームには存在しない領域及びその周辺の領域から成るオクルージョン領域を推定し、該オクルージョン領域を示す領域情報に基づいて第二の動きベクトル及び第三の動きベクトルを修正して第四の動きベクトル及び第五の動きベクトルを出力するオクルージョン領域推定ステップと、
前記第四の動きベクトル、前記第五の動きベクトル、前記第一の遅延フレームのデータ、及び前記現フレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記現フレームのデータと前記第一の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを備え、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータ及び前記現フレームのデータの少なくとも一方から複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行う補間データ評価ステップと、
前記複数の評価データに基づいて第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする画像処理方法。 - 前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルが隣接するブロック間で急激に変化する領域及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項11に記載の画像処理方法。 - 前記動きベクトル検出ステップは、複数の画素から成るブロック毎に前記第一の動きベクトルを求め、
前記オクルージョン領域推定ステップは、前記第二の動きベクトル又は前記第三の動きベクトルの、隣接するブロック間での差が所定値以上であれば、これらのブロック間にエッジが存在すると判断し、該エッジ及びその周辺を前記オクルージョン領域として推定する
ことを特徴とする請求項11に記載の画像処理方法。 - 前記エッジを挟む2つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに近づく方向のものである場合には、
前記補間フレーム生成ステップは、前記第四の動きベクトル、及び前記第一の遅延フレームのデータから前記補間フレームのデータを生成し、
前記エッジを挟む2つのブロックの前記第二の動きベクトル又は前記第三の動きベクトルが互いに遠ざかる方向のものである場合には、
前記補間フレーム生成ステップは、前記第五の動きベクトル、及び前記現フレームのデータから前記補間フレームのデータを生成する
ことを特徴とする請求項13に記載の画像処理方法。 - 前記テスト補間ステップは、
前記第一の遅延フレーム内の複数の画素から成るブロックを中心として、互いに点対称の位置にある、前記第二の遅延フレーム内の複数の画素から成るブロックと、前記現フレーム内の複数の画素から成るブロックのデータに基づいて、前記テスト補間データを生成し、テスト補間データとして出力する
ことを特徴とする請求項11に記載の画像処理方法。 - 前記補間データ評価ステップは、
前記テスト補間データ生成ステップから出力される前記テスト補間データと、前記第一の遅延フレーム内の前記点対称の中心となる位置にあるブロックのデータの相関を算出することを特徴とする請求項15に記載の画像処理方法。 - 前記補間データ評価ステップは、
前記相関として、前記ブロックの互いに対応する位置にある画素のデータの差分絶対値和を算出することを特徴とする請求項16に記載の画像処理方法。 - 前記テスト補間ステップは、
前記現フレームのブロックデータと前記第二の遅延フレームのブロックデータを画素ごとに平均したブロックデータを前記テスト補間データとして算出する複数個のテスト補間データ生成ステップを備えることを特徴とする請求項11から15のいずれかに記載の画像処理方法。 - 前記補間データ評価ステップは、前記テスト補間データ生成ステップから出力される前記テスト補間データと前記第一の遅延フレーム内のブロックのデータの差分絶対値和を算出する複数個の差分絶対値和算出ステップを備えることを特徴とする請求項11、17又は18に記載の画像処理方法。
- 請求項11から19のいずれかに記載の画像処理方法と、
前記補間フレーム生成ステップより出力された画像データを表示する画像表示ステップとを
備えることを特徴とする画像表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233502A JP2012089986A (ja) | 2010-10-18 | 2010-10-18 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
US13/226,542 US8817869B2 (en) | 2010-10-18 | 2011-09-07 | Image processing device and method, and image display device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233502A JP2012089986A (ja) | 2010-10-18 | 2010-10-18 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012089986A true JP2012089986A (ja) | 2012-05-10 |
Family
ID=45934126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010233502A Withdrawn JP2012089986A (ja) | 2010-10-18 | 2010-10-18 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8817869B2 (ja) |
JP (1) | JP2012089986A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012089986A (ja) * | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びに画像表示装置及び方法 |
CN102789642B (zh) * | 2011-05-16 | 2017-08-25 | 索尼公司 | 消失方向确定方法和装置、摄像机自标定方法和装置 |
US9596481B2 (en) * | 2013-01-30 | 2017-03-14 | Ati Technologies Ulc | Apparatus and method for video data processing |
JP6878091B2 (ja) * | 2017-03-31 | 2021-05-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US9900550B1 (en) * | 2017-08-01 | 2018-02-20 | Novatek Microelectronics Corp. | Frame rate up-conversion apparatus and method |
KR20210066619A (ko) * | 2019-11-28 | 2021-06-07 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TR199700058A2 (xx) * | 1997-01-29 | 1998-08-21 | Onural Levent | Kurallara dayalı hareketli nesne bölütlemesi. |
WO1999022520A2 (en) | 1997-10-29 | 1999-05-06 | Koninklijke Philips Electronics N.V. | Motion vector estimation and detection of covered/uncovered image parts |
WO2000011863A1 (en) | 1998-08-21 | 2000-03-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
JP3903358B2 (ja) | 1998-10-20 | 2007-04-11 | 日本放送協会 | 動きベクトルの評価方法および装置 |
SG89282A1 (en) * | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
JP3840129B2 (ja) | 2002-03-15 | 2006-11-01 | 株式会社東芝 | 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム |
JP3873017B2 (ja) | 2002-09-30 | 2007-01-24 | 株式会社東芝 | フレーム補間方法及び装置 |
JP4220284B2 (ja) | 2003-03-28 | 2009-02-04 | 株式会社東芝 | フレーム補間方法、装置及びこれを用いた画像表示システム |
JP4244685B2 (ja) | 2003-04-15 | 2009-03-25 | 日本ビクター株式会社 | 動画像時間軸補間方法及び動画像時間軸補間装置 |
KR100657261B1 (ko) | 2003-12-10 | 2006-12-14 | 삼성전자주식회사 | 적응적 움직임 보상 보간 방법 및 장치 |
JP4198608B2 (ja) | 2004-01-15 | 2008-12-17 | 株式会社東芝 | 補間画像生成方法および装置 |
JP4359223B2 (ja) | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | 映像補間装置とこれを用いたフレームレート変換装置,映像表示装置 |
JP4658686B2 (ja) | 2005-05-25 | 2011-03-23 | 日本放送協会 | 双方向動きベクトル検出による内挿画像生成装置及びプログラム |
JP4735063B2 (ja) * | 2005-06-10 | 2011-07-27 | ソニー株式会社 | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム |
JP4322904B2 (ja) | 2006-09-19 | 2009-09-02 | 株式会社東芝 | 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム |
US8792556B2 (en) * | 2007-06-19 | 2014-07-29 | Samsung Electronics Co., Ltd. | System and method for correcting motion vectors in block matching motion estimation |
JP4518111B2 (ja) * | 2007-07-13 | 2010-08-04 | ソニー株式会社 | 映像処理装置、映像処理方法、及びプログラム |
US8477848B1 (en) * | 2008-04-22 | 2013-07-02 | Marvell International Ltd. | Picture rate conversion system architecture |
JP5005629B2 (ja) | 2008-07-18 | 2012-08-22 | シャープ株式会社 | 動きベクトル補正装置、動きベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
JP5201408B2 (ja) | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
JP2012089986A (ja) * | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びに画像表示装置及び方法 |
JP2013165487A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
-
2010
- 2010-10-18 JP JP2010233502A patent/JP2012089986A/ja not_active Withdrawn
-
2011
- 2011-09-07 US US13/226,542 patent/US8817869B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120093225A1 (en) | 2012-04-19 |
US8817869B2 (en) | 2014-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP4398925B2 (ja) | 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム | |
US8319889B2 (en) | Frame rate conversion apparatus and method | |
JP2012089986A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
TWI407776B (zh) | 影像產生裝置、靜態文字偵測裝置及相關方法 | |
JP5887764B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP2012095048A (ja) | 画像処理装置、画像処理方法、画像表示装置、及び画像表示方法 | |
JP4385077B1 (ja) | 動きベクトル検出装置および画像処理装置 | |
JP2013098961A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
KR101050135B1 (ko) | 광류 정보를 이용한 중간 영상 생성 방법 | |
US20130038789A1 (en) | Frame Rate Conversion Method and Image Processing Apparatus Thereof | |
JP2007195062A (ja) | 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置 | |
JP5574830B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP5975791B2 (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
US10587840B1 (en) | Image processing method capable of deinterlacing the interlacing fields | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP2011223086A (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
JP4915018B2 (ja) | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 | |
JP2012088942A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
JP5887763B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP5441555B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2008227826A (ja) | 補間フレーム作成方法及び補間フレーム作成装置 | |
JP2013030838A (ja) | 動きベクトル導出装置および方法 | |
JP2018160725A (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理プログラム | |
JP5025432B2 (ja) | フレーム補間装置、及びフレーム補間方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140107 |