JP2004112229A - フレーム補間システム及びフレーム補間方法 - Google Patents
フレーム補間システム及びフレーム補間方法 Download PDFInfo
- Publication number
- JP2004112229A JP2004112229A JP2002270643A JP2002270643A JP2004112229A JP 2004112229 A JP2004112229 A JP 2004112229A JP 2002270643 A JP2002270643 A JP 2002270643A JP 2002270643 A JP2002270643 A JP 2002270643A JP 2004112229 A JP2004112229 A JP 2004112229A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- edge
- motion vector
- generating
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像の標本化及び揺らぎに対しても安定してフレーム補間が可能であり、且つ、ブロック内の任意の動きに対応可能なフレーム補間システム及びフレーム補間方法を提供する。
【解決手段】第１及び第２のフレームからエッジ画像を検出するエッジ検出手段１１ａ、エッジ画像に基づき、対象画素がエッジか否かにより異なった差分処理を施し、動きベクトル及び不一致フィルタをグループ化するフレーム情報生成手段７１ａ、グループ化された動きベクトル及び不一致フィルタにより、第１及び第２のフレームの動きを補償する動き補償手段１７ａを備える。
【選択図】 図１
【解決手段】第１及び第２のフレームからエッジ画像を検出するエッジ検出手段１１ａ、エッジ画像に基づき、対象画素がエッジか否かにより異なった差分処理を施し、動きベクトル及び不一致フィルタをグループ化するフレーム情報生成手段７１ａ、グループ化された動きベクトル及び不一致フィルタにより、第１及び第２のフレームの動きを補償する動き補償手段１７ａを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像処理技術に関し、特に、動画像信号におけるフレーム間を補間するフレーム補間システム及びフレーム補間方法に関する。
【０００２】
【従来の技術】
フレーム補間方法とは、図１７に示すように、複数フレームからなる画像信号に対して、フレーム（参照フレーム）２０１ａと２０１ｂ間に補間フレーム２００ａ、２００ｂを、フレーム２０１ｂ、２０１ｃ間に補間フレーム２００ｃ、２００ｄを効率的に補間して時間当たりの表示フレーム数を増大させる方法である。これにより動画像、特に圧縮画像の高画質化を実現することが出来る。また、フレーム補間方法としては、動き推定の基本的技術であるブロックマッチング法が基本となる。ここで、ブロックマッチング法とは、フレーム２０１ａ、２０１ｂ、２０１ｃを小ブロックに分割し、それら小ブロックに対して、フレームの画像領域から最も相関度の高いブロックを探索して動きベクトルを求める方法である。このブロックマッチング法により得られた動きベクトルに基づき、補間フレーム２００ａ、２００ｂ、２００ｃ、２００ｄ・・・・・が生成される（以下において「第１の従来技術」という。）。
【０００３】
また、特許文献１には、補間フレームの対象ブロックを中心として、幾何対照的に前後のフレームの相関を求めてフレーム補間を行う方法が開示されている（以下において「第２の従来技術」という。）。この方法は、第１の従来技術のように動きベクトルを求めた後の処理が不要な為、直接的に補間フレーム２００を求めることが出来る。
【０００４】
特許文献２には、ブロックマッチング法をベースにしながら、ブロック内で更に領域を分割することによって、より精度の高いフレーム補間を行う技術が開示されている（以下において「第３の従来技術」という。）。
【０００５】
【特許文献１】
特許２５２８１０３号公報
【特許文献２】
特開２０００−２２４５９３公報
【０００６】
【発明が解決しようとする課題】
第１の従来技術においては、動き補償を行って補間フレームを生成する際に、動きベクトルの終点を固定し、終点が指す画像データを始点に対して動き補償を行う。しかし、補間を行うために動きベクトルの操作が行われているので、始点の位置が本来の位置と異なる。この為に、第１の従来技術においては、図１８に示すように、生成される補間フレームに隙間及び重なりが生じる問題があった。
【０００７】
第２の従来技術においては、補間フレーム上に一様格子を考えるため、重なりや隙間が生じないが、ブロックと他のブロックとの間にブロック歪みが生じる問題があった。第３の従来技術においては、ブロック内の３以上の複数の動きに対応できないという問題があった。このように、単純なブロックベースの手法ではブロックの境界においてブロック歪みが発生する問題があった。ブロック歪みを無くす為には、ブロック内を分割し、反復的に一致領域と不一致領域を分けていけばよいが、画像の標本化及び揺らぎによってエッジにノイズが残ってしまう。
【０００８】
上記問題点を鑑み、本発明は、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の特徴は、第１のフレームと第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するエッジ検出手段と、エッジ画像に基づいて動きベクトルを生成し、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するフレーム情報生成手段と、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿する動き補償手段とを備えるフレーム補間システムであることを要旨とする。
【００１０】
本発明の第１の特徴に係るフレーム補間システムによれば、エッジ部分における微少な画素変動に対しても安定してフレームを補間することが可能となる。よって、エッジの微細変動によってもノイズが発生しないフレーム補間を行うことができる。
【００１１】
本発明の第２の特徴は、第１のフレームと第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するステップと、エッジ画像に基づいて動きベクトルを生成し、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するステップと、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿するステップとを備えるフレーム補間方法であることを要旨とする。
【００１２】
本発明の第２の特徴に係るフレーム補間方法によれば、エッジの微細変動によるノイズの発生を予防することが出来る。よって、動画像の高画質化を実現出来る。
【００１３】
【発明の実施の形態】
次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態に係るフレーム補間システムは、図１に示すように、画像信号を入力するエッジ検出手段１１ａ、エッジ検出手段１１ａの出力を受け取るフレーム情報生成手段７１ａ、フレーム情報生成手段７１ａの出力を受け取るベクトルスケール変換手段１６、ベクトルスケール変換手段１６の出力を受け取り、補間画像を出力する動き補償手段１７ａを備える。更に、第１の実施の形態に係るフレーム補間システムは、入力された画像信号を一旦記憶するフレームメモリ１２ａを備える。入力された動画像信号を構成するフレームのうち、現フレームを「第１のフレーム」と呼ぶ。現フレームの次のフレームであり、フレームメモリ１２ａに一旦蓄えられるフレームを「第２のフレーム」と呼ぶ。エッジ検出手段１１ａは、画像信号として、図５に示す第１のフレーム２１及び第２のフレーム２２からエッジ画像を検出する。フレーム情報生成手段７１ａは、エッジ画像に基づいて動きベクトルを生成する。そして、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成する。ベクトルスケール変換手段１６は、動きベクトルのスケールを変換する。動き補償手段１７ａは、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿する。
【００１５】
フレーム情報生成手段７１ａは、図１に示すように、エッジ画像を入力するエッジ判定手段１３ａ、エッジ判定手段１３ａの出力を受け取る動き推定手段１４ａ、動き推定手段１４ａの出力を受け取る一致判定手段１５ａを備える。エッジ判定手段１３ａは、エッジ画像から対象画素がエッジか否かを判定し、エッジ情報を出力する。一致判定手段１５ａは、動きベクトルに基づいて不一致フィルタを生成する。動き推定手段１４ａは、エッジ情報に基づき、グループ化された動きベクトル及び不一致フィルタを出力する。一致判定手段１５ａは、エッジ部分の対象画素に差分処理を施す第１の差分処理手段１８ａ、非エッジ部分の対象画素に差分処理を施す第２の差分処理手段１９ａを備える。
【００１６】
エッジ検出手段１１ａは、図２（ａ）に示すようなフレーム情報に基づいて、図２（ｂ）に示すエッジ画像を出力する。図２（ａ）に示す画像ブロック３ａ、３ｂの境界部分がエッジとなる。図３においては、画素の輝度（強度）である画素値が１００の画素と画素値が５の画素との境界がエッジとなる。つまり、差分が大きいために、人の目にはエッジと認識される。尚、第１のフレーム２１及び第２のフレーム２２内の各画素は、０〜２５５の２５６段階の画素値を有している。また、第１の小ブロック３１と第２の小ブロック３２は、それぞれ第１のフレーム２１及び第２のフレーム２２の同じ画像位置を表しているとする。図１に示すエッジ判定手段１３ａは、エッジ検出手段１１ａが出力するエッジ画像におけるエッジの有無を判定する。エッジ判定手段１３ａには第１の閾値Ｔ１が設定されている。第１の閾値Ｔ１は、例えば、３０〜５０程度に設定されている。第１の閾値Ｔ１よりも大きな値の画素値の画素をエッジ部分として１を、第１の閾値Ｔ１よりも小さな値の画素値の画素を非エッジ部分として０をそれぞれエッジフィルタに格納する。尚、エッジフィルタは、例えば、第１のフレームと等しい大きさを有する論理フィルタで構成される。
【００１７】
第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、第１の小ブロック３１と第２の小ブロック３２の対象画素に差分処理を施し、対象画素の一致・不一致を判定する。第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、差分処理により得られる差分値が閾値よりも大きい対象画素を不一致と判定する。一方、差分値が閾値よりも小さい対象画素を一致と判定する。画像の量子化、揺らぎ等によって、画像内のエッジにノイズが発生した場合、画像ブロック３ａと画像ブロック３ｂとの境界部分の画素の画素値が微妙に変化することがある。このように、画像内のエッジにノイズが発生した場合、第１の小ブロック３１と第２の小ブロック３２との差分処理を行うと、図３に示すように、一致判定手段１５ａは差分値の大きい画素を不一致と判定してしまう。この結果、補間フレーム２３のエッジ部分に”虫食い”というノイズが発生する。このような微小な画素変動に対応すべく、第１の差分処理手段１８ａの閾値は、第２の差分処理手段１９ａの閾値と比して高く設定されている。
【００１８】
次に、図１〜図９を用いて、第１の実施の形態に係るフレーム補間方法について説明する。但し、６０Ｈｚのノンインタレースの画像信号を１２０Ｈｚのノンインタレースの画像信号にアップコンバートする場合の一例を説明する。
【００１９】
（イ）先ず、図４に示すステップＳ１１１において、図１に示すエッジ検出手段１１ａは、第１のフレーム２１のエッジを検出する。検出されたエッジは、エッジの強度を画像にしたエッジ画像に変換される。ステップＳ１１２において、エッジ画像に基づいてエッジの有無が判定される。エッジの有無を表す１、０のエッジ情報は、エッジフィルタに格納されて動き推定手段１４ａに入力される。次に、ステップＳ１１３において、図５に示すように、動き推定手段１４ａは、第１のフレーム２１を一様格子の小ブロックに分割する。その後、ステップＳ１１４において、第１のフレーム２１内の小ブロックの走査が開始され、図５に示す第１の小ブロック３１ａが選択されたとする。次に、ステップＳ１１５の動き推定サブルーチンに進む。
【００２０】
（ロ）図６に示すステップＳ１２１において、図７に示す不一致フィルタ４１にすべて１が代入される。ステップＳ１２２において、図５に示す第１の小ブロック３１ａと最も相関度の高い第２のフレーム２２中の第２の小ブロック３２ａを検索する。相関度の尺度としては、一致画素数和を用いることが出来る。「一致画素数和」とは、第１の小ブロック３１ａ及び第２の小ブロック３２ａの画素について、ブロック内相対位置が等しい画素同士の差分処理を行い、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素数の和が大きいものほど相関が高いと判断する方法である。そして、第１の小ブロック３１ａ及び第２の小ブロック３２ａに基づいて、第１の動きベクトル３５ａを求める。ステップＳ１２２で第１の動きベクトル３５ａを求めた後は、ステップＳ３０１に進む。
【００２１】
（ハ）ステップＳ１２３において、図１に示す一致判定手段１５ａは、図７の第１の小ブロック３１ａ及び第２の小ブロック３２ａ内の画素の走査を開始する。次に、ステップＳ１２４において、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれの画素に差分処理が施される。ステップＳ１２４における差分処理は、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれのブロック内の相対位置が等しい画素同士に対して行われる。即ち、図７に示すように、第１の小ブロック３１ａの画素５ａは第２の小ブロック３２ａの画素６ａと差分処理が施される。同様に、画素５ｂ〜５ｉは画素６ｂ〜６ｉとそれぞれ差分処理が施される。次に、ステップＳ１２５において、対象画素位置がエッジであるか否かの判断が行われる。図１に示す第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、エッジフィルタに格納された０、１の値に基づき、対象画素位置がエッジであるか否か判断する。対象画素位置のエッジフィルタの値が０の場合、その画素はエッジではないと判断される。一方、対象画素位置のエッジフィルタの値が１の場合、その画素はエッジであると判断される。ステップＳ１２５において、対象画素位置がエッジでないと判断された場合はステップＳ１２７に進む。一方、対象画素位置がエッジであると判断された場合はステップＳ１２６に進む。
【００２２】
（ニ）ステップＳ１２７においては、第２の差分処理手段１９ａは、ステップＳ１２４で得られた差分値が、第２の閾値Ｔ２よりも小さいか否か判定する。第２の閾値Ｔ２は、例えば５程度に設定されている。差分値が第２の閾値Ｔ２以下の画素を一致画素とする。一方、第２の閾値Ｔ２より大きい画素を不一致画素とする。差分値が第２の閾値Ｔ２よりも小さいと判定された場合、ステップＳ１２８に進む。差分値が第２の閾値Ｔ２以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２９においては、図７に示す不一致フィルタ４１内の対応するカラムに１が代入される。次に、ステップＳ１３０に進む。
【００２３】
（ホ）ステップＳ１２６においては、ステップＳ１２４で得られた差分値が、第３の閾値Ｔ３よりも小さいか否か判定される。第３の閾値Ｔ３は、例えば、第２の閾値Ｔ２を実数倍（整数倍）することにより算出される。よって、第２の閾値Ｔ２の４〜５倍であれば、第３の閾値Ｔ３は２０〜２５程度に設定されることとなる。ステップＳ１２４で得られた差分値が第３の閾値Ｔ３の値よりも小さいと判定された場合、ステップＳ１２８に進む。一方、差分値が第３の閾値Ｔ３以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２８においては、図７に示す不一致フィルタ４１内の対応するカラムに０が代入される。次にステップＳ１３０に進む。ステップＳ１３０においては、ブロック内を全部走査したか否かの判断が行われる。ブロック内を全部走査したと判断された場合、ステップＳ１３１に進む。ブロック内を全部走査していないと判断された場合、ステップＳ１２４に処理が戻る。ステップＳ１２４に処理が戻った場合、第１の小ブロック３１ａに対して最も相関度の高い第２の小ブロック３２ａを第２のフレーム２２から再帰的に探索する。探索の際には、不一致フィルタ４１内で値が０のカラムの位置では相関度演算は行わず、不一致フィルタ内で値が１のカラムの位置で相関度演算を行うようにする。即ち、不一致画素についてのみ再度、相関度演算を行う。ステップＳ１３０でブロック内の画素をすべて走査したと判断された場合は、一致判定処理を終了する。
【００２４】
（ヘ）ステップＳ１３１においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ１３１における演算により、相関度の近いもの同士の分割が行えるようになる。ステップＳ１３２においては、第１のカウンタｉｔｅに１が加算される。ステップＳ１３３においては、第１のカウンタｉｔｅがｎを超えたか否かの判定が行われる。このような（ハ）〜（ヘ）の処理を、所望の反復回数ｎまで、再帰的に行うことによって、第１の動きベクトルグループ（第１の動きベクトル３５ａ［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））及び不一致フィルタグループ（不一致フィルタ４１［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））を求める。ステップＳ１３３において、動き推定サブルーチンの繰り返し回数がｎ回を超えたと判断された場合、図４に示すステップＳ１１６に進む。
【００２５】
（ト）ステップＳ１１６においては、図１に示すベクトルスケール変換手段１６は、第１の動きベクトルグループを第２のベクトルグループに変換する。具体的には、図９に示すように第１の動きベクトル３５ａの始点を第１の画像ブロック５１と同位置の補間ブロック５３に同定し、長さを１／２にして第２の動きベクトル３５ｂを求めることが出来る。これにより、補間フレーム２３の時間的な位置を６０Ｈｚ信号の中央に生成することができる。
【００２６】
（チ）次に、図４に示すステップＳ１１７において、図１に示す動き補償手段１７ａは、不一致フィルタグループと第２の動きベクトルグループとを用いて、補間フレーム２３を作成する。ステップＳ１１７は、具体的には図８に示すような処理を備える。先ず、図８に示すステップＳ１４１において第２のカウンタｌｔｅが１に設定される。次に、図９に示すように、ステップＳ１４３において、第２の動きベクトル３５ｂによって定まる第２のフレーム２２上の第２の画像ブロック５２を求める。ステップＳ１４５においては、第２の動きベクトル３５の始点によって定まる補間フレーム２３上の補間ブロック５３の位置が求められる。ステップＳ１４６においては、ブロック内の走査が開始される。ステップＳ１４７においては、不一致フィルタ４１の値が０であるか否かの判定が行われる。このように、コピーするのは、図７に示すように、画素位置が不一致フィルタ４１内で値が０のカラムの位置に対応する画素のみである。ステップＳ１４８においては、補間ブロック５３の画素が補間フレーム２３上にコピーされる。ステップＳ１４９においては、ブロック内の全画素を走査したか否かの判断が行われる。ブロック内の全画素を走査したと判断された場合は、ステップＳ１５０に進む。一方、ブロック内の全画素を走査していないと判断された場合は、ステップＳ１４７に処理が戻る。ステップＳ１５０においては、第２のカウンタｌｔｅに１が加算される。そして、ステップＳ１５１において第２のカウンタｌｔｅがｎを超えたか否かの判定が行われる。以上の処理を、ｍ＝１〜ｎまで繰り返す。この（ロ）から（チ）の処理を、（イ）で分割した小ブロック全体について行うことで、補間フレーム２３を作成する。
【００２７】
（リ）動き補償処理が終了すると図４のステップＳ１１８に進み、全ブロックを走査したか否かの判断が行われる。全ブロックを走査したと判断された場合は、フレーム補間処理を終了する。一方、未だ全ブロックを走査していないと判断された場合は、ステップＳ１１５に処理が戻る。
【００２８】
このように、第１の実施の形態によれば、複雑な装置を用いることなく隙間や重なりのできないような補間フレーム２３を作成する方法を実現することが出来る。また、ブロック歪みを抑え、エッジ部におけるノイズを除去することが出来るので、画像の高画質化を実現することが出来る。
【００２９】
更に、第１の実施の形態においては、補間する時間の間隔を２等分とする一例を示したが、特に２等分に限るわけではない。したがって、ｎ等分してフレーム数がｎ−１の補間フレーム２３を内挿する動き補償を行うことも可能である。このように補間する時間の間隔を短くすることで、更にフレーム間の補間の効率を上げることが出来る。この結果、表示される動画像を、動きが滑らかでより鮮明にすることが出来る。
【００３０】
（第２の実施の形態）
本発明の第２の実施の形態に係るフレーム補間システムは、図１０に示すように、フレーム情報生成手段７１ｂのエッジ判定手段１３ｂが、一致判定手段１５ｂが出力する第１のエッジ画像ブロック及び第２のエッジ画像ブロックを入力し、エッジ情報を一致判定手段１５ｂに出力する点が図１と異なる。また、ベクトルスケール変換手段１６を備えていない点が図１と異なる。その他の構成については、図１と同様である。
【００３１】
次に、図１０〜図１６を用いて、本発明の第２の実施の形態に係るフレーム補間方法について説明する。但し、第１の実施の形態に係るフレーム補間方法と同一の処理については、重複する説明を省略する。
【００３２】
（イ）先ず、図１１に示すステップ２１１において、図１０に示すエッジ検出手段１１ｂは、図１２に示す第１のフレーム２１及び第２のフレーム２２のエッジを検出し、エッジの強度を画像にした第１のエッジ画像及び第２のエッジ画像をそれぞれ出力する。その後、ステップＳ４００の動き推定処理に進む。ステップＳ２１２において、動き推定手段１４ｂは、図１２に示すように補間フレーム２３を一様格子の小ブロックに分割する。次に、ステップＳ２１３において、動き推定手段１５ｂは、補間フレーム２３上の小ブロックの走査を開始する。その後、ステップＳ２１４に示す動き推定サブルーチンに進む。
【００３３】
（ロ）図１３に示すステップＳ２２１においては、第１のカウンタｉｔｅが１に設定される。また、図１４に示す不一致フィルタ４１のすべてのカラムに１が代入される。ステップＳ２２２においては、不一致フィルタ４１のカラムの値が１の画素のみを用いて、補間ブロック３３を中心として、第１のフレーム２１及び第２のフレーム２２上を点対象に探索する。そして、図１４に示すように、最も相関の高い第１の小ブロック３１ｂ及び第２の小ブロック３２ｂを得る。次に、第１の小ブロック３１ｂ及び第２の小ブロック３２ｂに基づいて動きベクトル３６ａを求める。ステップＳ２２３においては、第１のエッジ画像から、第１の小ブロック３１ｂの位置に当たるブロックを第１のエッジ画像ブロックとして求める。ステップＳ２２４においては、第２のエッジ画像から、第２の小ブロック３２ｂの位置に当たるブロックを第２のエッジ画像ブロックとして求める。次に、ステップＳ２２５において、第１のエッジ画像ブロックと第２のエッジ画像ブロックとの平均を求める。ステップＳ２２５において平均を求めた後は、ステップＳ４０１の一致判定処理に進む。
【００３４】
（ハ）一致判定処理においては、ステップＳ２２６で、図１４に示す第１の小ブロック３１ｂと第２の小ブロック３２ｂ内の画素の走査を開始する。次に、ステップＳ２２７において、図１０に示す第１の差分処理手段１８ｂ及び第２の差分処理手段１９ｂは、第１の小ブロック３１ｂ中の画素と第２の小ブロック３２ｂ中の画素とに差分処理を施し、差分値を求める。次に、ステップＳ２２８において、第１のエッジ画像ブロック及び第２のエッジ画像ブロックをエッジ判定手段１３ｂに入力する。エッジ判定手段１３ｂは、第１のエッジ画像ブロック及び第２のエッジ画像ブロック中のエッジの有無をそれぞれ判定する。具体的には、第１の閾値Ｔ１を設けて、第１のエッジ画像ブロックと第２のエッジ画像ブロックの画素値の平均を求め、第１の閾値Ｔ１より大きな画素をエッジ画素として１を、第１の閾値Ｔ１より小さな画素を非エッジ画素として０を出力する。エッジ判定手段１３ｂが出力する１、０のエッジ情報は、一致判定手段１５ｂに入力される。一致判定手段１５ｂは、エッジ判定手段１３ｂが出力するエッジ情報が１の場合、エッジ画素であると判断する。一方、エッジ判定手段１３ｂが出力するエッジ情報が０の場合、非エッジ画素であると判断する。エッジ画素であると判断された場合、ステップＳ２２９に進む。非エッジ画素であると判断された場合、ステップＳ２３０に進む。
【００３５】
（ニ）ステップＳ２３０においては、ステップＳ２２７で求めた差分値と第２の閾値Ｔ２とに基づいて、対象画素の一致及び不一致を判定する。差分値が第２の閾値Ｔ２以上の場合、ステップＳ２３２に進む。差分値が第２の閾値Ｔ２よりも小さい場合、ステップＳ２３１に進む。また、ステップＳ２２９においては、ステップＳ２２７で求めた差分値と第３の閾値Ｔ３とに基づいて、対象画素の一致及び不一致を判定する。差分値が第３の閾値Ｔ３以上の場合、ステップＳ２３２に進む。差分値が第３の閾値Ｔ３よりも小さい場合、ステップＳ２３１に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに１が格納され、その後ステップＳ２３３に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに０が格納され、その後ステップＳ２３３に進む。ステップＳ２３３においては、ブロック内をすべて走査したか否か判定される。
【００３６】
（ホ）次に、対象の補間ブロックを再帰的に探索する。探索の際には、不一致フィルタ４１の対応するカラムの位置の値が０の位置では相関度演算は行わず、値が１の位置で相関度演算を行うようにする。更に、ステップＳ２３４においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ２２２〜ステップＳ２３５の処理を反復回数ｎまで、再帰的に行うことによって、動きベクトルグループ（動きベクトル３６ａ［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））と不一致フィルタグループ（不一致フィルタ４１［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））とを求める。図１１のステップＳ２１５は、具体的には以下のようになる。
【００３７】
（へ）図１５に示すステップＳ２４１において、第２のカウンタｌｔｅが１に設定される。ステップＳ２４２においては、動きベクトル３６ａ×（−１）によって定まる第１のフレーム２１上の第１の画像ブロック５１が求められる。ステップＳ２４３においては、動きベクトル３６ａによって定まる第２のフレーム２２上の第２の画像ブロック５２が求められる。ステップＳ２４４においては、第１の画像ブロック５１と第２の画像ブロック５２の平均が求められる。ステップＳ２４５においては、ブロック内の画素の走査が開始される。ステップＳ２４６においては、不一致フィルタ４１のカラムの値が０か否か判定される。不一致フィルタ４１のカラムの値が０であると判定された場合、ステップＳ２４７に進む。一方、不一致フィルタ４１のカラムの値が１であると判定された場合、ステップＳ２４８に進む。ステップＳ２４７においては、平均画像ブロックの画素を補間フレーム２３上にコピーする。ステップＳ２４８においては、ブロック内の画素をすべて走査したか否か判定される。ブロック内の画素をすべて走査したと判定された場合、ステップＳ２４９に進む。ブロック内の画素をすべて走査していないと判定された場合、ステップＳ２４６に処理が戻る。ステップＳ２４９においては、第２のカウンタｌｔｅに１が加算される。ステップＳ２５０においては、第２のカウンタｌｔｅがｎを超えたか否か判定される。第２のカウンタｌｔｅがｎを超えたと判定された場合、動き補償処理を終了する。一方、第２のカウンタｌｔｅがｎを超えていないと判定された場合、ステップＳ２４２に処理が戻る。
【００３８】
（ト）動きベクトル３６ａ［ｉｔｅ ｍ］の終点によって定まる第２の画像ブロック５２と、動きベクトル３６ａ［ｉｔｅ ｍ］の終点位置の点対称位置によって定まる第１の画像ブロック５１の平均を取り、その平均画像ブロックを、補間フレーム２３上にコピーする。実際にコピーするのは、図１６のように、画素位置が不一致フィルタ４１［ｉｔｅ ｍ］において０の画素のみである。以上の処理を、ｍ＝１〜ｎまで繰り返す。このような処理をブロック全体について行うことで、補間フレーム２３を作成する。
【００３９】
このように、第２の実施の形態によれば、動きベクトル３６ａをスケール変換することなく動き補償処理を行うことが出来る。また、ブロック歪みの無い画像が得られ、エッジのノイズが減少する為、画像の高画質化を実現することが出来る。
【００４０】
（その他の実施の形態）
上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００４１】
第１及び第２の実施の形態においては、相関度の尺度として、一致画素数和を用いるとして説明した。しかし、相関度の尺度として、絶対値差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＤ）を用いることが出来る。また、第１の実施の形態及び第２の実施の形態においては、ノンインタレース画像にフレーム補間を行う場合の一例を説明した。しかし、インターレス画像にフレーム補間を行う場合においても第１及び第２の実施の形態に係るフレーム補間方法を応用出来ることは言うまでもない。
【００４２】
第１及び第２の実施の形態においては、フレームメモリ１２ａ、１２ｂは１つとして説明した。しかし、必ずしも１つに限定されるものではなく、フレームが表示されるまでの処理時間とフレームメモリ１２ａ、１２ｂに蓄積する時間との関係が最適になるようにフレームメモリ１２ａ、１２ｂの個数は調整してかまわない。更に、第１の実施の形態では、時間的に前のフレームから時間的に後のフレームに対する第１の動きベクトル３５ａを推定する前方動き推定について述べた。しかし、時間的に後のフレームから時間的に前のフレームに対する第１の動きベクトル３５ａを推定する後方動き推定でも、前方動き推定、後方動き推定におけるより信頼度の高い方を選択する双方向動き推定を用いてもかまわない。或いは、更に動き推定方式選択手段を設けて、入力されるフレーム画像がフレームインしようとしているのか、逆にフレームアウトしようとしているのか等の画像の移動性や移動速度から、”前方動き推定”、”前方動き推定”、”双方向動き推定”のいずれの推定方式を採用し、どれだけの間隔に分割して補間すれば最も最適な画像が得られるかを決定し、それに従って他の手段を制御する。こうすることで、種々の動画像に対して、自動で最適な動き補償をすることができるようになる。
【００４３】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【００４４】
【発明の効果】
本発明によれば、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図３】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図４】本発明の第１の実施の形態に係るフレーム補間方法の全体を示すフローチャート図である。
【図５】本発明の第１の実施の形態に係るフレーム補間方法の原理を示す図である。
【図６】本発明の第１の実施の形態に係る動き推定処理を示すフローチャート図である。
【図７】本発明の第１の実施の形態に係る動き推定処理を説明する図である。
【図８】本発明の第１の実施の形態に係る動き補償処理を示すフローチャート図である。
【図９】本発明の第１の実施の形態に係る動き補償処理を説明する図である。
【図１０】本発明の第２の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るフレーム補間方法の全体のフローチャート図である。
【図１２】本発明の第２の実施の形態に係るフレーム補間方法の原理を示す図である。
【図１３】本発明の第２の実施の形態に係る動き推定処理のフローチャート図である。
【図１４】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１５】本発明の第２の実施の形態に係る動き補償処理のフローチャート図である。
【図１６】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１７】従来のフレーム補間方法を説明する図である。
【図１８】従来のフレーム補間方法を説明する図である。
【符号の説明】
１、２…動きベクトルイテレーション
３ａ、３ｂ…画像ブロック
５ａ〜５ｉ、６ａ〜６ｉ…画素
１１ａ、１１ｂ…エッジ検出手段
１２ａ、１２ｂ…フレームメモリ
１３ａ、１３ｂ…エッジ判定手段
１５ａ、１５ｂ…一致判定手段
１６…ベクトルスケール変換手段
１７ａ、１７ｂ…動き補償手段
１８ａ、１８ｂ…第１の差分処理手段
１９ａ、１９ｂ…第２の差分処理手段
２１…第１のフレーム
２２…第２のフレーム
２３…補間フレーム
３１、３１ａ、３１ｂ…第１の小ブロック
３２、３２ａ、３２ｂ…第２の小ブロック
３３、５３…補間ブロック
３５ａ…第１の動きベクトル
３６ａ…動きベクトル
４１…不一致フィルタ
５１…第１の画像ブロック
５２…第２の画像ブロック
７１ａ、７１ｂ…フレーム情報生成手段
２００ａ〜２００ｄ…補間フレーム
２０１ａ〜２０１ｃ…フレーム
【発明の属する技術分野】
本発明は、動画像処理技術に関し、特に、動画像信号におけるフレーム間を補間するフレーム補間システム及びフレーム補間方法に関する。
【０００２】
【従来の技術】
フレーム補間方法とは、図１７に示すように、複数フレームからなる画像信号に対して、フレーム（参照フレーム）２０１ａと２０１ｂ間に補間フレーム２００ａ、２００ｂを、フレーム２０１ｂ、２０１ｃ間に補間フレーム２００ｃ、２００ｄを効率的に補間して時間当たりの表示フレーム数を増大させる方法である。これにより動画像、特に圧縮画像の高画質化を実現することが出来る。また、フレーム補間方法としては、動き推定の基本的技術であるブロックマッチング法が基本となる。ここで、ブロックマッチング法とは、フレーム２０１ａ、２０１ｂ、２０１ｃを小ブロックに分割し、それら小ブロックに対して、フレームの画像領域から最も相関度の高いブロックを探索して動きベクトルを求める方法である。このブロックマッチング法により得られた動きベクトルに基づき、補間フレーム２００ａ、２００ｂ、２００ｃ、２００ｄ・・・・・が生成される（以下において「第１の従来技術」という。）。
【０００３】
また、特許文献１には、補間フレームの対象ブロックを中心として、幾何対照的に前後のフレームの相関を求めてフレーム補間を行う方法が開示されている（以下において「第２の従来技術」という。）。この方法は、第１の従来技術のように動きベクトルを求めた後の処理が不要な為、直接的に補間フレーム２００を求めることが出来る。
【０００４】
特許文献２には、ブロックマッチング法をベースにしながら、ブロック内で更に領域を分割することによって、より精度の高いフレーム補間を行う技術が開示されている（以下において「第３の従来技術」という。）。
【０００５】
【特許文献１】
特許２５２８１０３号公報
【特許文献２】
特開２０００−２２４５９３公報
【０００６】
【発明が解決しようとする課題】
第１の従来技術においては、動き補償を行って補間フレームを生成する際に、動きベクトルの終点を固定し、終点が指す画像データを始点に対して動き補償を行う。しかし、補間を行うために動きベクトルの操作が行われているので、始点の位置が本来の位置と異なる。この為に、第１の従来技術においては、図１８に示すように、生成される補間フレームに隙間及び重なりが生じる問題があった。
【０００７】
第２の従来技術においては、補間フレーム上に一様格子を考えるため、重なりや隙間が生じないが、ブロックと他のブロックとの間にブロック歪みが生じる問題があった。第３の従来技術においては、ブロック内の３以上の複数の動きに対応できないという問題があった。このように、単純なブロックベースの手法ではブロックの境界においてブロック歪みが発生する問題があった。ブロック歪みを無くす為には、ブロック内を分割し、反復的に一致領域と不一致領域を分けていけばよいが、画像の標本化及び揺らぎによってエッジにノイズが残ってしまう。
【０００８】
上記問題点を鑑み、本発明は、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の特徴は、第１のフレームと第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するエッジ検出手段と、エッジ画像に基づいて動きベクトルを生成し、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するフレーム情報生成手段と、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿する動き補償手段とを備えるフレーム補間システムであることを要旨とする。
【００１０】
本発明の第１の特徴に係るフレーム補間システムによれば、エッジ部分における微少な画素変動に対しても安定してフレームを補間することが可能となる。よって、エッジの微細変動によってもノイズが発生しないフレーム補間を行うことができる。
【００１１】
本発明の第２の特徴は、第１のフレームと第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するステップと、エッジ画像に基づいて動きベクトルを生成し、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するステップと、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿するステップとを備えるフレーム補間方法であることを要旨とする。
【００１２】
本発明の第２の特徴に係るフレーム補間方法によれば、エッジの微細変動によるノイズの発生を予防することが出来る。よって、動画像の高画質化を実現出来る。
【００１３】
【発明の実施の形態】
次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態に係るフレーム補間システムは、図１に示すように、画像信号を入力するエッジ検出手段１１ａ、エッジ検出手段１１ａの出力を受け取るフレーム情報生成手段７１ａ、フレーム情報生成手段７１ａの出力を受け取るベクトルスケール変換手段１６、ベクトルスケール変換手段１６の出力を受け取り、補間画像を出力する動き補償手段１７ａを備える。更に、第１の実施の形態に係るフレーム補間システムは、入力された画像信号を一旦記憶するフレームメモリ１２ａを備える。入力された動画像信号を構成するフレームのうち、現フレームを「第１のフレーム」と呼ぶ。現フレームの次のフレームであり、フレームメモリ１２ａに一旦蓄えられるフレームを「第２のフレーム」と呼ぶ。エッジ検出手段１１ａは、画像信号として、図５に示す第１のフレーム２１及び第２のフレーム２２からエッジ画像を検出する。フレーム情報生成手段７１ａは、エッジ画像に基づいて動きベクトルを生成する。そして、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成する。ベクトルスケール変換手段１６は、動きベクトルのスケールを変換する。動き補償手段１７ａは、動きベクトルと不一致フィルタとにより、第１のフレームと第２のフレームとの間に補間フレームを内挿する。
【００１５】
フレーム情報生成手段７１ａは、図１に示すように、エッジ画像を入力するエッジ判定手段１３ａ、エッジ判定手段１３ａの出力を受け取る動き推定手段１４ａ、動き推定手段１４ａの出力を受け取る一致判定手段１５ａを備える。エッジ判定手段１３ａは、エッジ画像から対象画素がエッジか否かを判定し、エッジ情報を出力する。一致判定手段１５ａは、動きベクトルに基づいて不一致フィルタを生成する。動き推定手段１４ａは、エッジ情報に基づき、グループ化された動きベクトル及び不一致フィルタを出力する。一致判定手段１５ａは、エッジ部分の対象画素に差分処理を施す第１の差分処理手段１８ａ、非エッジ部分の対象画素に差分処理を施す第２の差分処理手段１９ａを備える。
【００１６】
エッジ検出手段１１ａは、図２（ａ）に示すようなフレーム情報に基づいて、図２（ｂ）に示すエッジ画像を出力する。図２（ａ）に示す画像ブロック３ａ、３ｂの境界部分がエッジとなる。図３においては、画素の輝度（強度）である画素値が１００の画素と画素値が５の画素との境界がエッジとなる。つまり、差分が大きいために、人の目にはエッジと認識される。尚、第１のフレーム２１及び第２のフレーム２２内の各画素は、０〜２５５の２５６段階の画素値を有している。また、第１の小ブロック３１と第２の小ブロック３２は、それぞれ第１のフレーム２１及び第２のフレーム２２の同じ画像位置を表しているとする。図１に示すエッジ判定手段１３ａは、エッジ検出手段１１ａが出力するエッジ画像におけるエッジの有無を判定する。エッジ判定手段１３ａには第１の閾値Ｔ１が設定されている。第１の閾値Ｔ１は、例えば、３０〜５０程度に設定されている。第１の閾値Ｔ１よりも大きな値の画素値の画素をエッジ部分として１を、第１の閾値Ｔ１よりも小さな値の画素値の画素を非エッジ部分として０をそれぞれエッジフィルタに格納する。尚、エッジフィルタは、例えば、第１のフレームと等しい大きさを有する論理フィルタで構成される。
【００１７】
第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、第１の小ブロック３１と第２の小ブロック３２の対象画素に差分処理を施し、対象画素の一致・不一致を判定する。第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、差分処理により得られる差分値が閾値よりも大きい対象画素を不一致と判定する。一方、差分値が閾値よりも小さい対象画素を一致と判定する。画像の量子化、揺らぎ等によって、画像内のエッジにノイズが発生した場合、画像ブロック３ａと画像ブロック３ｂとの境界部分の画素の画素値が微妙に変化することがある。このように、画像内のエッジにノイズが発生した場合、第１の小ブロック３１と第２の小ブロック３２との差分処理を行うと、図３に示すように、一致判定手段１５ａは差分値の大きい画素を不一致と判定してしまう。この結果、補間フレーム２３のエッジ部分に”虫食い”というノイズが発生する。このような微小な画素変動に対応すべく、第１の差分処理手段１８ａの閾値は、第２の差分処理手段１９ａの閾値と比して高く設定されている。
【００１８】
次に、図１〜図９を用いて、第１の実施の形態に係るフレーム補間方法について説明する。但し、６０Ｈｚのノンインタレースの画像信号を１２０Ｈｚのノンインタレースの画像信号にアップコンバートする場合の一例を説明する。
【００１９】
（イ）先ず、図４に示すステップＳ１１１において、図１に示すエッジ検出手段１１ａは、第１のフレーム２１のエッジを検出する。検出されたエッジは、エッジの強度を画像にしたエッジ画像に変換される。ステップＳ１１２において、エッジ画像に基づいてエッジの有無が判定される。エッジの有無を表す１、０のエッジ情報は、エッジフィルタに格納されて動き推定手段１４ａに入力される。次に、ステップＳ１１３において、図５に示すように、動き推定手段１４ａは、第１のフレーム２１を一様格子の小ブロックに分割する。その後、ステップＳ１１４において、第１のフレーム２１内の小ブロックの走査が開始され、図５に示す第１の小ブロック３１ａが選択されたとする。次に、ステップＳ１１５の動き推定サブルーチンに進む。
【００２０】
（ロ）図６に示すステップＳ１２１において、図７に示す不一致フィルタ４１にすべて１が代入される。ステップＳ１２２において、図５に示す第１の小ブロック３１ａと最も相関度の高い第２のフレーム２２中の第２の小ブロック３２ａを検索する。相関度の尺度としては、一致画素数和を用いることが出来る。「一致画素数和」とは、第１の小ブロック３１ａ及び第２の小ブロック３２ａの画素について、ブロック内相対位置が等しい画素同士の差分処理を行い、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素数の和が大きいものほど相関が高いと判断する方法である。そして、第１の小ブロック３１ａ及び第２の小ブロック３２ａに基づいて、第１の動きベクトル３５ａを求める。ステップＳ１２２で第１の動きベクトル３５ａを求めた後は、ステップＳ３０１に進む。
【００２１】
（ハ）ステップＳ１２３において、図１に示す一致判定手段１５ａは、図７の第１の小ブロック３１ａ及び第２の小ブロック３２ａ内の画素の走査を開始する。次に、ステップＳ１２４において、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれの画素に差分処理が施される。ステップＳ１２４における差分処理は、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれのブロック内の相対位置が等しい画素同士に対して行われる。即ち、図７に示すように、第１の小ブロック３１ａの画素５ａは第２の小ブロック３２ａの画素６ａと差分処理が施される。同様に、画素５ｂ〜５ｉは画素６ｂ〜６ｉとそれぞれ差分処理が施される。次に、ステップＳ１２５において、対象画素位置がエッジであるか否かの判断が行われる。図１に示す第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、エッジフィルタに格納された０、１の値に基づき、対象画素位置がエッジであるか否か判断する。対象画素位置のエッジフィルタの値が０の場合、その画素はエッジではないと判断される。一方、対象画素位置のエッジフィルタの値が１の場合、その画素はエッジであると判断される。ステップＳ１２５において、対象画素位置がエッジでないと判断された場合はステップＳ１２７に進む。一方、対象画素位置がエッジであると判断された場合はステップＳ１２６に進む。
【００２２】
（ニ）ステップＳ１２７においては、第２の差分処理手段１９ａは、ステップＳ１２４で得られた差分値が、第２の閾値Ｔ２よりも小さいか否か判定する。第２の閾値Ｔ２は、例えば５程度に設定されている。差分値が第２の閾値Ｔ２以下の画素を一致画素とする。一方、第２の閾値Ｔ２より大きい画素を不一致画素とする。差分値が第２の閾値Ｔ２よりも小さいと判定された場合、ステップＳ１２８に進む。差分値が第２の閾値Ｔ２以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２９においては、図７に示す不一致フィルタ４１内の対応するカラムに１が代入される。次に、ステップＳ１３０に進む。
【００２３】
（ホ）ステップＳ１２６においては、ステップＳ１２４で得られた差分値が、第３の閾値Ｔ３よりも小さいか否か判定される。第３の閾値Ｔ３は、例えば、第２の閾値Ｔ２を実数倍（整数倍）することにより算出される。よって、第２の閾値Ｔ２の４〜５倍であれば、第３の閾値Ｔ３は２０〜２５程度に設定されることとなる。ステップＳ１２４で得られた差分値が第３の閾値Ｔ３の値よりも小さいと判定された場合、ステップＳ１２８に進む。一方、差分値が第３の閾値Ｔ３以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２８においては、図７に示す不一致フィルタ４１内の対応するカラムに０が代入される。次にステップＳ１３０に進む。ステップＳ１３０においては、ブロック内を全部走査したか否かの判断が行われる。ブロック内を全部走査したと判断された場合、ステップＳ１３１に進む。ブロック内を全部走査していないと判断された場合、ステップＳ１２４に処理が戻る。ステップＳ１２４に処理が戻った場合、第１の小ブロック３１ａに対して最も相関度の高い第２の小ブロック３２ａを第２のフレーム２２から再帰的に探索する。探索の際には、不一致フィルタ４１内で値が０のカラムの位置では相関度演算は行わず、不一致フィルタ内で値が１のカラムの位置で相関度演算を行うようにする。即ち、不一致画素についてのみ再度、相関度演算を行う。ステップＳ１３０でブロック内の画素をすべて走査したと判断された場合は、一致判定処理を終了する。
【００２４】
（ヘ）ステップＳ１３１においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ１３１における演算により、相関度の近いもの同士の分割が行えるようになる。ステップＳ１３２においては、第１のカウンタｉｔｅに１が加算される。ステップＳ１３３においては、第１のカウンタｉｔｅがｎを超えたか否かの判定が行われる。このような（ハ）〜（ヘ）の処理を、所望の反復回数ｎまで、再帰的に行うことによって、第１の動きベクトルグループ（第１の動きベクトル３５ａ［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））及び不一致フィルタグループ（不一致フィルタ４１［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））を求める。ステップＳ１３３において、動き推定サブルーチンの繰り返し回数がｎ回を超えたと判断された場合、図４に示すステップＳ１１６に進む。
【００２５】
（ト）ステップＳ１１６においては、図１に示すベクトルスケール変換手段１６は、第１の動きベクトルグループを第２のベクトルグループに変換する。具体的には、図９に示すように第１の動きベクトル３５ａの始点を第１の画像ブロック５１と同位置の補間ブロック５３に同定し、長さを１／２にして第２の動きベクトル３５ｂを求めることが出来る。これにより、補間フレーム２３の時間的な位置を６０Ｈｚ信号の中央に生成することができる。
【００２６】
（チ）次に、図４に示すステップＳ１１７において、図１に示す動き補償手段１７ａは、不一致フィルタグループと第２の動きベクトルグループとを用いて、補間フレーム２３を作成する。ステップＳ１１７は、具体的には図８に示すような処理を備える。先ず、図８に示すステップＳ１４１において第２のカウンタｌｔｅが１に設定される。次に、図９に示すように、ステップＳ１４３において、第２の動きベクトル３５ｂによって定まる第２のフレーム２２上の第２の画像ブロック５２を求める。ステップＳ１４５においては、第２の動きベクトル３５の始点によって定まる補間フレーム２３上の補間ブロック５３の位置が求められる。ステップＳ１４６においては、ブロック内の走査が開始される。ステップＳ１４７においては、不一致フィルタ４１の値が０であるか否かの判定が行われる。このように、コピーするのは、図７に示すように、画素位置が不一致フィルタ４１内で値が０のカラムの位置に対応する画素のみである。ステップＳ１４８においては、補間ブロック５３の画素が補間フレーム２３上にコピーされる。ステップＳ１４９においては、ブロック内の全画素を走査したか否かの判断が行われる。ブロック内の全画素を走査したと判断された場合は、ステップＳ１５０に進む。一方、ブロック内の全画素を走査していないと判断された場合は、ステップＳ１４７に処理が戻る。ステップＳ１５０においては、第２のカウンタｌｔｅに１が加算される。そして、ステップＳ１５１において第２のカウンタｌｔｅがｎを超えたか否かの判定が行われる。以上の処理を、ｍ＝１〜ｎまで繰り返す。この（ロ）から（チ）の処理を、（イ）で分割した小ブロック全体について行うことで、補間フレーム２３を作成する。
【００２７】
（リ）動き補償処理が終了すると図４のステップＳ１１８に進み、全ブロックを走査したか否かの判断が行われる。全ブロックを走査したと判断された場合は、フレーム補間処理を終了する。一方、未だ全ブロックを走査していないと判断された場合は、ステップＳ１１５に処理が戻る。
【００２８】
このように、第１の実施の形態によれば、複雑な装置を用いることなく隙間や重なりのできないような補間フレーム２３を作成する方法を実現することが出来る。また、ブロック歪みを抑え、エッジ部におけるノイズを除去することが出来るので、画像の高画質化を実現することが出来る。
【００２９】
更に、第１の実施の形態においては、補間する時間の間隔を２等分とする一例を示したが、特に２等分に限るわけではない。したがって、ｎ等分してフレーム数がｎ−１の補間フレーム２３を内挿する動き補償を行うことも可能である。このように補間する時間の間隔を短くすることで、更にフレーム間の補間の効率を上げることが出来る。この結果、表示される動画像を、動きが滑らかでより鮮明にすることが出来る。
【００３０】
（第２の実施の形態）
本発明の第２の実施の形態に係るフレーム補間システムは、図１０に示すように、フレーム情報生成手段７１ｂのエッジ判定手段１３ｂが、一致判定手段１５ｂが出力する第１のエッジ画像ブロック及び第２のエッジ画像ブロックを入力し、エッジ情報を一致判定手段１５ｂに出力する点が図１と異なる。また、ベクトルスケール変換手段１６を備えていない点が図１と異なる。その他の構成については、図１と同様である。
【００３１】
次に、図１０〜図１６を用いて、本発明の第２の実施の形態に係るフレーム補間方法について説明する。但し、第１の実施の形態に係るフレーム補間方法と同一の処理については、重複する説明を省略する。
【００３２】
（イ）先ず、図１１に示すステップ２１１において、図１０に示すエッジ検出手段１１ｂは、図１２に示す第１のフレーム２１及び第２のフレーム２２のエッジを検出し、エッジの強度を画像にした第１のエッジ画像及び第２のエッジ画像をそれぞれ出力する。その後、ステップＳ４００の動き推定処理に進む。ステップＳ２１２において、動き推定手段１４ｂは、図１２に示すように補間フレーム２３を一様格子の小ブロックに分割する。次に、ステップＳ２１３において、動き推定手段１５ｂは、補間フレーム２３上の小ブロックの走査を開始する。その後、ステップＳ２１４に示す動き推定サブルーチンに進む。
【００３３】
（ロ）図１３に示すステップＳ２２１においては、第１のカウンタｉｔｅが１に設定される。また、図１４に示す不一致フィルタ４１のすべてのカラムに１が代入される。ステップＳ２２２においては、不一致フィルタ４１のカラムの値が１の画素のみを用いて、補間ブロック３３を中心として、第１のフレーム２１及び第２のフレーム２２上を点対象に探索する。そして、図１４に示すように、最も相関の高い第１の小ブロック３１ｂ及び第２の小ブロック３２ｂを得る。次に、第１の小ブロック３１ｂ及び第２の小ブロック３２ｂに基づいて動きベクトル３６ａを求める。ステップＳ２２３においては、第１のエッジ画像から、第１の小ブロック３１ｂの位置に当たるブロックを第１のエッジ画像ブロックとして求める。ステップＳ２２４においては、第２のエッジ画像から、第２の小ブロック３２ｂの位置に当たるブロックを第２のエッジ画像ブロックとして求める。次に、ステップＳ２２５において、第１のエッジ画像ブロックと第２のエッジ画像ブロックとの平均を求める。ステップＳ２２５において平均を求めた後は、ステップＳ４０１の一致判定処理に進む。
【００３４】
（ハ）一致判定処理においては、ステップＳ２２６で、図１４に示す第１の小ブロック３１ｂと第２の小ブロック３２ｂ内の画素の走査を開始する。次に、ステップＳ２２７において、図１０に示す第１の差分処理手段１８ｂ及び第２の差分処理手段１９ｂは、第１の小ブロック３１ｂ中の画素と第２の小ブロック３２ｂ中の画素とに差分処理を施し、差分値を求める。次に、ステップＳ２２８において、第１のエッジ画像ブロック及び第２のエッジ画像ブロックをエッジ判定手段１３ｂに入力する。エッジ判定手段１３ｂは、第１のエッジ画像ブロック及び第２のエッジ画像ブロック中のエッジの有無をそれぞれ判定する。具体的には、第１の閾値Ｔ１を設けて、第１のエッジ画像ブロックと第２のエッジ画像ブロックの画素値の平均を求め、第１の閾値Ｔ１より大きな画素をエッジ画素として１を、第１の閾値Ｔ１より小さな画素を非エッジ画素として０を出力する。エッジ判定手段１３ｂが出力する１、０のエッジ情報は、一致判定手段１５ｂに入力される。一致判定手段１５ｂは、エッジ判定手段１３ｂが出力するエッジ情報が１の場合、エッジ画素であると判断する。一方、エッジ判定手段１３ｂが出力するエッジ情報が０の場合、非エッジ画素であると判断する。エッジ画素であると判断された場合、ステップＳ２２９に進む。非エッジ画素であると判断された場合、ステップＳ２３０に進む。
【００３５】
（ニ）ステップＳ２３０においては、ステップＳ２２７で求めた差分値と第２の閾値Ｔ２とに基づいて、対象画素の一致及び不一致を判定する。差分値が第２の閾値Ｔ２以上の場合、ステップＳ２３２に進む。差分値が第２の閾値Ｔ２よりも小さい場合、ステップＳ２３１に進む。また、ステップＳ２２９においては、ステップＳ２２７で求めた差分値と第３の閾値Ｔ３とに基づいて、対象画素の一致及び不一致を判定する。差分値が第３の閾値Ｔ３以上の場合、ステップＳ２３２に進む。差分値が第３の閾値Ｔ３よりも小さい場合、ステップＳ２３１に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに１が格納され、その後ステップＳ２３３に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに０が格納され、その後ステップＳ２３３に進む。ステップＳ２３３においては、ブロック内をすべて走査したか否か判定される。
【００３６】
（ホ）次に、対象の補間ブロックを再帰的に探索する。探索の際には、不一致フィルタ４１の対応するカラムの位置の値が０の位置では相関度演算は行わず、値が１の位置で相関度演算を行うようにする。更に、ステップＳ２３４においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ２２２〜ステップＳ２３５の処理を反復回数ｎまで、再帰的に行うことによって、動きベクトルグループ（動きベクトル３６ａ［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））と不一致フィルタグループ（不一致フィルタ４１［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））とを求める。図１１のステップＳ２１５は、具体的には以下のようになる。
【００３７】
（へ）図１５に示すステップＳ２４１において、第２のカウンタｌｔｅが１に設定される。ステップＳ２４２においては、動きベクトル３６ａ×（−１）によって定まる第１のフレーム２１上の第１の画像ブロック５１が求められる。ステップＳ２４３においては、動きベクトル３６ａによって定まる第２のフレーム２２上の第２の画像ブロック５２が求められる。ステップＳ２４４においては、第１の画像ブロック５１と第２の画像ブロック５２の平均が求められる。ステップＳ２４５においては、ブロック内の画素の走査が開始される。ステップＳ２４６においては、不一致フィルタ４１のカラムの値が０か否か判定される。不一致フィルタ４１のカラムの値が０であると判定された場合、ステップＳ２４７に進む。一方、不一致フィルタ４１のカラムの値が１であると判定された場合、ステップＳ２４８に進む。ステップＳ２４７においては、平均画像ブロックの画素を補間フレーム２３上にコピーする。ステップＳ２４８においては、ブロック内の画素をすべて走査したか否か判定される。ブロック内の画素をすべて走査したと判定された場合、ステップＳ２４９に進む。ブロック内の画素をすべて走査していないと判定された場合、ステップＳ２４６に処理が戻る。ステップＳ２４９においては、第２のカウンタｌｔｅに１が加算される。ステップＳ２５０においては、第２のカウンタｌｔｅがｎを超えたか否か判定される。第２のカウンタｌｔｅがｎを超えたと判定された場合、動き補償処理を終了する。一方、第２のカウンタｌｔｅがｎを超えていないと判定された場合、ステップＳ２４２に処理が戻る。
【００３８】
（ト）動きベクトル３６ａ［ｉｔｅ ｍ］の終点によって定まる第２の画像ブロック５２と、動きベクトル３６ａ［ｉｔｅ ｍ］の終点位置の点対称位置によって定まる第１の画像ブロック５１の平均を取り、その平均画像ブロックを、補間フレーム２３上にコピーする。実際にコピーするのは、図１６のように、画素位置が不一致フィルタ４１［ｉｔｅ ｍ］において０の画素のみである。以上の処理を、ｍ＝１〜ｎまで繰り返す。このような処理をブロック全体について行うことで、補間フレーム２３を作成する。
【００３９】
このように、第２の実施の形態によれば、動きベクトル３６ａをスケール変換することなく動き補償処理を行うことが出来る。また、ブロック歪みの無い画像が得られ、エッジのノイズが減少する為、画像の高画質化を実現することが出来る。
【００４０】
（その他の実施の形態）
上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００４１】
第１及び第２の実施の形態においては、相関度の尺度として、一致画素数和を用いるとして説明した。しかし、相関度の尺度として、絶対値差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ；ＳＡＤ）を用いることが出来る。また、第１の実施の形態及び第２の実施の形態においては、ノンインタレース画像にフレーム補間を行う場合の一例を説明した。しかし、インターレス画像にフレーム補間を行う場合においても第１及び第２の実施の形態に係るフレーム補間方法を応用出来ることは言うまでもない。
【００４２】
第１及び第２の実施の形態においては、フレームメモリ１２ａ、１２ｂは１つとして説明した。しかし、必ずしも１つに限定されるものではなく、フレームが表示されるまでの処理時間とフレームメモリ１２ａ、１２ｂに蓄積する時間との関係が最適になるようにフレームメモリ１２ａ、１２ｂの個数は調整してかまわない。更に、第１の実施の形態では、時間的に前のフレームから時間的に後のフレームに対する第１の動きベクトル３５ａを推定する前方動き推定について述べた。しかし、時間的に後のフレームから時間的に前のフレームに対する第１の動きベクトル３５ａを推定する後方動き推定でも、前方動き推定、後方動き推定におけるより信頼度の高い方を選択する双方向動き推定を用いてもかまわない。或いは、更に動き推定方式選択手段を設けて、入力されるフレーム画像がフレームインしようとしているのか、逆にフレームアウトしようとしているのか等の画像の移動性や移動速度から、”前方動き推定”、”前方動き推定”、”双方向動き推定”のいずれの推定方式を採用し、どれだけの間隔に分割して補間すれば最も最適な画像が得られるかを決定し、それに従って他の手段を制御する。こうすることで、種々の動画像に対して、自動で最適な動き補償をすることができるようになる。
【００４３】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【００４４】
【発明の効果】
本発明によれば、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図３】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図４】本発明の第１の実施の形態に係るフレーム補間方法の全体を示すフローチャート図である。
【図５】本発明の第１の実施の形態に係るフレーム補間方法の原理を示す図である。
【図６】本発明の第１の実施の形態に係る動き推定処理を示すフローチャート図である。
【図７】本発明の第１の実施の形態に係る動き推定処理を説明する図である。
【図８】本発明の第１の実施の形態に係る動き補償処理を示すフローチャート図である。
【図９】本発明の第１の実施の形態に係る動き補償処理を説明する図である。
【図１０】本発明の第２の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るフレーム補間方法の全体のフローチャート図である。
【図１２】本発明の第２の実施の形態に係るフレーム補間方法の原理を示す図である。
【図１３】本発明の第２の実施の形態に係る動き推定処理のフローチャート図である。
【図１４】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１５】本発明の第２の実施の形態に係る動き補償処理のフローチャート図である。
【図１６】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１７】従来のフレーム補間方法を説明する図である。
【図１８】従来のフレーム補間方法を説明する図である。
【符号の説明】
１、２…動きベクトルイテレーション
３ａ、３ｂ…画像ブロック
５ａ〜５ｉ、６ａ〜６ｉ…画素
１１ａ、１１ｂ…エッジ検出手段
１２ａ、１２ｂ…フレームメモリ
１３ａ、１３ｂ…エッジ判定手段
１５ａ、１５ｂ…一致判定手段
１６…ベクトルスケール変換手段
１７ａ、１７ｂ…動き補償手段
１８ａ、１８ｂ…第１の差分処理手段
１９ａ、１９ｂ…第２の差分処理手段
２１…第１のフレーム
２２…第２のフレーム
２３…補間フレーム
３１、３１ａ、３１ｂ…第１の小ブロック
３２、３２ａ、３２ｂ…第２の小ブロック
３３、５３…補間ブロック
３５ａ…第１の動きベクトル
３６ａ…動きベクトル
４１…不一致フィルタ
５１…第１の画像ブロック
５２…第２の画像ブロック
７１ａ、７１ｂ…フレーム情報生成手段
２００ａ〜２００ｄ…補間フレーム
２０１ａ〜２０１ｃ…フレーム
Claims (10)
- 第１のフレームと該第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するエッジ検出手段と、
前記エッジ画像に基づいて動きベクトルを生成し、該動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するフレーム情報生成手段と、
前記動きベクトルと前記不一致フィルタとにより、前記第１のフレームと前記第２のフレームとの間に補間フレームを内挿する動き補償手段
とを備えることを特徴とするフレーム補間システム。 - 前記フレーム情報生成手段は、
前記エッジ画像に基づいてエッジ情報を出力するエッジ判定手段と、
前記エッジ情報に基づいて前記動きベクトルを生成する動き推定手段と、
前記動きベクトルに基づいて前記不一致フィルタを生成する一致判定手段
とを備えることを特徴とする請求項１に記載のフレーム補間システム。 - 前記動きベクトルのスケールを変換するベクトルスケール変換手段を更に備えることを特徴とする請求項１又は２に記載のフレーム補間システム。
- 前記フレーム情報生成手段は、
前記動きベクトルに基づいて第１及び第２のエッジ画像ブロック及び前記不一致フィルタを生成する一致判定手段と、
前記第１及び第２のエッジ画像ブロックに基づき、前記対象画素がエッジか否かを判定し、エッジ情報を出力するエッジ判定手段と、
前記エッジ画像に基づいて前記動きベクトルを生成する動き推定手段
とを備えることを特徴とする請求項１に記載のフレーム補間システム。 - 前記一致判定手段は、
エッジ部分の前記対象画素に差分処理を施す第１の差分処理手段と、
非エッジ部分の前記対象画素に差分処理を施す第２の差分処理手段
とを備え、前記第１の差分処理手段に設定される閾値は、前記第２の差分処理手段に設定される閾値と比して高く設定されることを特徴とする請求項１に記載のフレーム補間システム。 - 第１のフレームと該第１のフレームの次のフレームである第２のフレームとからそれぞれエッジ画像を検出するステップと、
前記エッジ画像に基づいて動きベクトルを生成し、該動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタを生成するステップと、
前記動きベクトルと前記不一致フィルタとにより、前記第１のフレームと前記第２のフレームとの間に補間フレームを内挿するステップ
とを備えることを特徴とするフレーム補間方法。 - 前記動きベクトル及び不一致フィルタを生成するステップは、
前記エッジ画像からエッジ情報を生成するステップと、
前記エッジ情報に基づいて動きベクトルを生成するステップと、
前記動きベクトルに基づいて不一致フィルタを生成するステップ
とを備えることを特徴とする請求項６に記載のフレーム補間方法。 - 前記動きベクトルにスケール変換処理を施すステップを更に備えることを特徴とする請求項６又は７に記載のフレーム補間方法。
- 前記動きベクトル及び不一致フィルタを生成するステップは、
前記動きベクトルに基づいて第１及び第２のエッジ画像ブロック及び前記不一致フィルタを生成するステップと、
前記第１及び第２のエッジ画像ブロックに基づき、前記対象画素がエッジか否かを判定し、エッジ情報を出力するステップと、
前記エッジ画像に基づいて動きベクトルを生成するステップ
とを備えることを特徴とする請求項６に記載のフレーム補間方法。 - 前記不一致フィルタを生成するステップは、
エッジ部分の前記対象画素に差分処理を施すステップと、
非エッジ部分の前記対象画素に差分処理を施すステップ
とを備え、前記エッジ部分の前記対象画素に差分処理を施すステップに使用される閾値は、前記非エッジ部分の前記対象画素に差分処理を施すステップに使用される閾値と比して高く設定されることを特徴とする請求項６に記載のフレーム補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002270643A JP3910510B2 (ja) | 2002-09-17 | 2002-09-17 | フレーム補間システム及びフレーム補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002270643A JP3910510B2 (ja) | 2002-09-17 | 2002-09-17 | フレーム補間システム及びフレーム補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112229A true JP2004112229A (ja) | 2004-04-08 |
| JP3910510B2 JP3910510B2 (ja) | 2007-04-25 |
Family
ID=32268210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002270643A Expired - Lifetime JP3910510B2 (ja) | 2002-09-17 | 2002-09-17 | フレーム補間システム及びフレーム補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3910510B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007123759A1 (en) * | 2006-04-03 | 2007-11-01 | Intel Corporation | Motion compensated frame rate conversion with protection against compensation artifacts |
| JP2011061811A (ja) * | 2004-05-04 | 2011-03-24 | Qualcomm Inc | 動作補償されたフレームレートアップコンバージョンのための方法および装置 |
| US8077924B2 (en) | 2008-05-09 | 2011-12-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| US8374246B2 (en) | 2004-07-20 | 2013-02-12 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8948262B2 (en) | 2004-07-01 | 2015-02-03 | Qualcomm Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
-
2002
- 2002-09-17 JP JP2002270643A patent/JP3910510B2/ja not_active Expired - Lifetime
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011061811A (ja) * | 2004-05-04 | 2011-03-24 | Qualcomm Inc | 動作補償されたフレームレートアップコンバージョンのための方法および装置 |
| JP2012075121A (ja) * | 2004-05-04 | 2012-04-12 | Qualcomm Inc | 動作補償されたフレームレートアップコンバージョンのための方法および装置 |
| US8369405B2 (en) | 2004-05-04 | 2013-02-05 | Qualcomm Incorporated | Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video |
| US8948262B2 (en) | 2004-07-01 | 2015-02-03 | Qualcomm Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
| US8374246B2 (en) | 2004-07-20 | 2013-02-12 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US9521411B2 (en) | 2004-07-20 | 2016-12-13 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| WO2007123759A1 (en) * | 2006-04-03 | 2007-11-01 | Intel Corporation | Motion compensated frame rate conversion with protection against compensation artifacts |
| US8472524B2 (en) | 2006-04-03 | 2013-06-25 | Intel Corporation | Motion compensated frame rate conversion with protection against compensation artifacts |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8077924B2 (en) | 2008-05-09 | 2011-12-13 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3910510B2 (ja) | 2007-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4080951B2 (ja) | フレーム補間方法及び装置並びに画像表示システム | |
| KR101106419B1 (ko) | 화상 처리 장치 및 방법, 및 기록 매체 | |
| KR100995398B1 (ko) | 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법 | |
| US20020093587A1 (en) | Image processing apparatus and method, program, and recording medium | |
| JPH0884321A (ja) | ビデオデータ処理方法 | |
| JP2003163894A (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| CN1441594A (zh) | 用于变换扫描格式的装置和方法 | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| KR20060084780A (ko) | 인터레이스트 비디오 시퀀스에서 잡음-적응 움직임 검출방법 및 시스템 | |
| CN102123283B (zh) | 视频帧率转换中的插值帧获取方法及其装置 | |
| EP3298575B1 (en) | Super resolution using fidelity transfer | |
| JP3910510B2 (ja) | フレーム補間システム及びフレーム補間方法 | |
| JP2006222493A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
| Keller et al. | Deinterlacing using variational methods | |
| KR100955415B1 (ko) | 움직임 파라미터 세트 및 화상 반복 패턴을 제공하기 위한 방법, 컴퓨터 판독가능 저장 매체 및 집적 회로와, 움직임 파라미터를 제공하기 위한 컴퓨터 | |
| JP6223899B2 (ja) | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 | |
| KR100968642B1 (ko) | 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체 | |
| CN104580978A (zh) | 一种视频检测及处理方法、装置 | |
| JP2003244659A (ja) | フレーム補間方法 | |
| JPH11203483A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| JP2006203717A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
| JP4463171B2 (ja) | 自己相関値算出方法及び補間画素生成方法、それらの装置並びにそれらのプログラム | |
| JP2891129B2 (ja) | 動き補償予測画像作成装置 | |
| US8805101B2 (en) | Converting the frame rate of video streams | |
| JP2006217486A (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070124 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3910510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100202 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140202 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |