JP2009532984A - 補償アーチファクトに対する保護を有する動き補償フレームレート変換 - Google Patents

補償アーチファクトに対する保護を有する動き補償フレームレート変換 Download PDF

Info

Publication number
JP2009532984A
JP2009532984A JP2009504222A JP2009504222A JP2009532984A JP 2009532984 A JP2009532984 A JP 2009532984A JP 2009504222 A JP2009504222 A JP 2009504222A JP 2009504222 A JP2009504222 A JP 2009504222A JP 2009532984 A JP2009532984 A JP 2009532984A
Authority
JP
Japan
Prior art keywords
pixel
motion
value
motion vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009504222A
Other languages
English (en)
Inventor
ルー、ティーハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2009532984A publication Critical patent/JP2009532984A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

フレームレート変換のために複数の画像間を補間するシステムは、動きベクトル補間器、動き補償モジュール、及び保護器を含みうる。動きベクトル補間器は、複数の画像のそれぞれからのターゲット画像の時間距離に基づいて一の動きベクトルを複数の部分に分割しうる。動き補償モジュールは、動きベクトルの複数の部分に基づいてターゲット画像内の画素に対し少なくとも2つの動き補償された値を生成しうる。保護器は、動きベクトルが正確である場合にターゲット画像内の画素に対し動き補償された値を選択し、動きベクトルが正確でない場合に複数の画像のうちの1つの画像からの画素値を選択しうる。
【選択図】 図4

Description

特許請求の範囲に記載する発明の実施形態は、一般に、ビデオ情報のフレーム間を補間するスキームに係り、より具体的には、動き補償が関連するそのようなスキームに係る。
フレームレート変換は、時間レート変換、走査速度変換、又はフィールドレート変換とも呼ばれ、異なるフレームレート間で変換する技術と見なされている。フレームレートは、時間単位内に表示されるフレーム数として定義されうる。フレームレート変換は、例えば、ビデオ材料を様々な国間で交換する際に望ましい。具体例としては、1秒あたり50フィールドのフレームレートを有するPAL方式のビデオ材料を、1秒あたり60フィールドのフレームレートを有するNTSC方式とすることが望まれる場合がある。したがって、NTSC方式を採用するアメリカにおいてPAL方式で記録されたビデオ材料を放送するためにはフレームレート変換が必要でありうる。
方式変換に加えて、又は、或いは、フレームレート変換は、ビデオ表示システムにおいて知覚品質を高めるべく用いることもできる。表示リフレッシュレートにおける違いは人間の目によって知覚され得ることがあり、また、消費者は、一般に、放送システムによりサポートされている標準フレームレート50/60Hzよりも100Hz又は120Hzといった高いリフレッシュレートを好む。ビデオ表示システムにおけるフレームレート変換機能によって、そのシステムのユーザは、高いフレームレート且つより良好な知覚品質でビデオ材料を鑑賞できるようになりうる。
フレームレート変換の概念を更に紹介すべく図1に関連して補間の例を説明する。ビデオシーケンス100には、画像、即ち、フレームの時間的なシーケンスが含まれ、そのうちの(N−1)番目のフレーム110と、後続のN番目のフレーム130を図示する。シーケンス100のフレームレートは、例えば、補間フレーム(即ち、「ターゲットフレーム」)120を、シーケンス100における複数の既存フレームを間引いても間引かなくてもフレーム110と130との間に挿入することにより変換されうる。例えば、現フレームレートの整数倍数(例えば、2倍、3倍等)が所望される場合、1以上の補間フレーム120が、既存フレーム110と130との間で時間的に略等しい間隔で挿入されうる。しかし、別のフレームレート変換係数が所望される場合、補間/ターゲットフレーム120は、可能であれば、シーケンス100における既存フレームを間引いてフレーム110及び130のうちの一方に時間的に近くに挿入されうる。
主に3タイプのフレームレート変換スキームが利用可能である。即ち、1)フレーム複製/間引きスキーム、2)時間補間スキーム、及び3)動き補償スキームである。フレーム複製/間引きスキームは、実施が簡単であるので最も広く使用されている技術であるが、画質は最も悪い。動き補償スキームは、一般に、最高画質を有すると考えられているが、このスキームは実施が非常に複雑である。この複雑さが原因で、動き補償フレームレート変換スキームは、専門機器や超ハイエンドテレビジョン又はビデオプロセッサにおいてしか利用されていない。
しかし、そのような複合機器でも依然として、動き補償における不正確さから「ハロー」アーチファクトといった視覚的なアーチファクトが発生してしまう。
本明細書内に組み込まれ且つ本明細書の一部を構成する添付図面は、本発明の原理に従った1以上の実施形態を例示し、以下の詳細な説明とともに、それらの実施形態を説明するものである。図面は必ずしも縮尺が測られているわけではなく、発明の原理の説明に重点を置いている。
ビデオフレーム間の補間の概念を説明する図である。
ビデオ表示システムの一部を示す図である。
図2のシステムにおける例示的なフレームレート変換器を示す図である。
フレームレート変換時に補間画素値を決定する例示的なプロセスを説明する図である。
以下の詳細な説明は、添付図面に関するものである。同じ参照符号を異なる図面に用いて同一又は同様の要素を示すものとする。以下の説明において、限定ではなく説明の目的として、具体的な構造、アーキテクチャ、インターフェイス、技術等の具体的な詳細を、特許請求の範囲に記載する発明の様々な側面の十分な理解を提供すべく記載する。しかし、本開示から利益を享受しうる当業者には、本発明の様々な側面は、これらの具体的な詳細から外れる他の例においても実施しうることは明らかであろう。ある場合には、周知の装置、回路、及び方法の説明は、本発明の記載を不必要な詳細で曖昧にすることを避けるべく省略する。
図2は、ビデオ表示システム200の一部を示す。システム200は、次に限定しないが、様々な伝送及び/又は記憶媒体を含む任意の好適な媒体からビデオ情報を受信しうる。ビデオ情報内の画像には、例えば、その画素において輝度値及び色度値(Y、U、及びV)、又は、任意の他の好適な色空間からの値が含まれうる。システム200の要素はいずれも、説明の便宜上、別個の機能要素として示すが、共同設置されうる、及び/又は、共通のゲート及び/又はトランジスタのグループとして実施されうる。更に、システム200は、ソフトウェア、ファームウェア、ハードウェア、又は任意の好適なこれらの組み合わせを介して実施されうる。
様々な実施形態において、システム200は、処理システム、処理サブシステム、プロセッサ、コンピュータ、デバイス、符号器、復号器、コーダ/デコーダ(CODEC)、変換装置、娯楽システム、ディスプレイ、又は任意の他の画像処理又は表示アーキテクチャのうちの1以上を含むか、これらの一部でありうる。実施形態は、このコンテキストに限定されない。
図2に示す表示システム200の一部は、バッファ210、プロセッサ220、及びフレームレート変換器230を含みうる。システム200に入力されるビデオデータは、次に限定しないが、MPEG−1、MPEG−2、MPEG−4、高度ビデオ符号化(AVC)(例えば、MPEG−4、パート10及びITU−T推奨H.264)、ウィンドウズ(登録商標)メディアビデオ9(WMV−9)、及び/又はSMPTEのVC−1といった多数の符号化スキームのうちのいずれかによって前に復号化されていてもよい。ビデオデータは、NTSC又はPAL方式といったテレビジョン方式にフォーマット化されていてもよい。
バッファ210は、ビデオデータのうちのフレーム、又は、フレームの一部を格納しうる。例えば、バッファ210は、1つのシーケンスにおける2つの隣接フレーム、即ち、画像(例えば、(N−1)番目のフレーム110とN番目のフレーム130)の少なくとも一部を格納しうる。バッファ210は更に、フレームレート変換器230によって生成される場合に、補間、即ち、ターゲットフレーム(例えば、フレーム120)の少なくとも一部を格納しうる。バッファ210のサイズに依存して、フレーム全体、1フレーム内の幾つかのライン、又は、幾つかの隣接画素が、既存及び補間フレームついて格納されうる。バッファ210は更に、プロセッサ220の制御下でレート変換済みビデオデータ(例えば、フレームや、ライン又は画素といったフレームの一部)を出力しうる。
プロセッサ220は、フレームレート変換器230からの補間データを含むバッファ210への/からのビデオデータの入出力を制御する。プロセッサ220は、バッファ210内のフレームに関連付けられた動きベクトルをフレームレート変換器230に供給しうる。一部の実施形態では、バッファ210内のビデオデータのフレームは、動きベクトルが関連付けられて到着する場合もある。そのような場合、プロセッサ220は、そのような動きベクトルを変換器230に渡しうる。
一部の実施形態では、プロセッサ220はN番目のフレーム130における複数の画素に対して動きベクトル
Figure 2009532984
を計算する必要がある場合がある。そのような場合、プロセッサ220は、2005年3月28日に出願した米国特許出願第11/091,853号に開示されるような多くの既知の又はこれから開発される動き推定アルゴリズムのうちのいずれかを用いて動きベクトルを計算しうる。なお、上記米国特許出願の内容は、本願に参照として組み込むものとする。また、一部の実施形態では、別個の動きベクトルを、複数の画素からなるブロック(即ち、マクロブロック又は他の画素のまとまり)に対して計算してもよい。このような実施形態では、動きベクトルは、1つのブロック又はグループ内の全ての画素に対して同じとなる。しかし、一部の実施形態では、各画素が、それぞれに関連付けられる一意の動きベクトルを有してもよい。
フレームレート変換器230は、プロセッサ220からの動きベクトルとバッファ210内の(N−1)番目及び/又はN番目のフレームからの画素値とに基づいてターゲット、即ち、補間フレームにおける補間画素値を計算しうる。変換器230は、この計算の完了後、バッファ210内にそのターゲット画素値を格納するか、又は、フレームバッファといった別の記憶装置にそれらを出力しうる。
図3は、フレームレート変換器230の例示的な実施形態を示す。図3を参照するに、変換器230への動きベクトル入力は、プロセッサ220からもたらされうる。同様に、N番目のフレーム及びN−1番目のフレームの入力は、バッファ210からもたらされうる。変換器230から出力された補間データもバッファ210に送られうる。一部の実施形態では、変換器230は、補間画素に関連付けられた全ての色値(例えば、YUV又はRGB)を生成しうる。
フレームレート変換器230は、動きベクトル補間器310、後方動き補償器320、前方動き補償器330、合成器340、及び保護器350を含みうる。これらの要素310−350は、例えば、ロジック、ゲート、トランジスタ、又は他の好適な回路構築ブロックで実装されうる。
補間器310は、フレームN−1とターゲットフレームとの間に「前方」動きベクトルを、フレームNとターゲットフレームとの間に「後方」動きベクトルを生成すべく動きベクトル
Figure 2009532984
を補間しうる。2つの原フレーム間で時間的に半分のところにあるターゲットフレームについて、補間器310は、フレームNとターゲットフレームとの間の後方動きベクトルを、
Figure 2009532984
の半分として計算し、フレームN−1とターゲットフレームとの間の前方動きベクトルも
Figure 2009532984
の半分として計算しうる。
しかし、一方のフレームに他方のフレームより時間的に近くにあるターゲットフレームについては、補間器310は、動きベクトル
Figure 2009532984
を異なるように補間しうる。例えば、フレームN−1から、フレーム間時間の全体の1/3のところにあり、フレームNから全時間の2/3のところにあるターゲットフレームについて、前方動きベクトルは、
Figure 2009532984
の3分の1であり、後方動きベクトルは、
Figure 2009532984
の3分の2でありうる。次に、これらの2つの動きベクトルを用いてフレームN−1及びフレームNからの画素を補償する。いずれの場合においても、補間器310は、前方及び後方動きベクトルの方向について適切な及び/又は一貫した変換を使用しうる。
後方動き補償器320は、ターゲット/補間フレーム内の画素値を、N番目のフレームからの対応する画素値を後方動きベクトルを用いて動き補償することにより計算しうる。この後方動き補償された画素値は、合成器340及び保護器350に出力されうる。
同様に、前方動き補償器320は、ターゲット/補間フレーム内の別の画素値を、(N−1)番目のフレームからの対応する画素値を前方動きベクトルを用いて動き補償することにより計算しうる。この前方動き補償された画素値は、合成器340及び保護器350に出力されうる。
合成器340は、後方動き補償された画素値と前方動き補償された画素値を組合わせて合成動き補償画素値を生成しうる。ターゲットフレームがN番目のフレームと(N−1)番目のフレームから等距離にある実施形態では、合成器340は、2つの入力値の平均(mean)として合成動き補償画素値を計算しうる。しかし、ターゲットフレームがN番目のフレームと(N−1)番目のフレームから等距離にない実施形態では、合成器340は、ターゲットフレームの他のフレームからの時間的距離にそれぞれ基づく2つの入力値の加重平均として合成動き補償画素値を計算しうる。合成動き補償画素値は更に、保護器350に出力されうる。
図3におけるNフレームデータ及びN−1フレームデータから保護器350への点線は、ターゲットフレームに対してより近いフレーム(即ち、N又はN−1)からの追加の画素値を示す。例えば、ターゲットフレームが等距離にある、又は、フレームNに時間的により近い一部の実施形態では、保護器350は、フレームNにおける補間/ターゲット画素の(x,y)位置に隣接する幾つかの画素値をフレームNから受信しうる。このような実施形態では、保護器350は、フレームN−1からは画素値を受信しない。ターゲットフレームがフレームN−1に時間的により近い一部の実施形態では、保護器350は、フレームNにおける補間/ターゲット画素の(x,y)位置に隣接する幾つかの画素値をフレームN−1から受信しうる。このような実施形態では、保護器350は、フレームNからは画素値を受信しない。
保護器350は、動き補償された値(及び、可能な場合にはその合成値)と、ターゲット画素の位置に空間的に近い別のフレーム(例えば、フレームN)における画素値とに基づいて、関心の補間/ターゲット画素の「中心(central)」の値を選択しうる。例えば、一実施形態では、保護器350は、5タップメディアンフィルタを含みうる。上記の実施形態におけるそのようなメディアンフィルタ350への入力は、(1)補償器320を介するフレームNからの後方動き補償された画素値、(2)補償器330を介するフレームN−1からの前方動き補償された画素値、(3)合成器340からの後方動き補償された画素値と前方動き補償された画素値の平均値(average)、(4)補間画素の(x,y)位置より1ライン上のフレームNにおける画素値、及び(5)補間画素の(x,y)位置より1ライン下のフレームNにおける画素値である。保護器350は、これらの5つの値の中央値(median)を、補間された画素の値として出力しうる。
このような実施形態では、メディアンフィルタ350は、動き補償された値を決定する動きベクトルが合理的に正確である場合に平均値(average value)を選択する傾向がある。しかし、動きベクトルが正確に計算されなかった場合、メディアンフィルタ350は、フレームNから空間的に「近い」複数の画素値のうちの1つを選択する傾向がある。保護器350によるこの空間的選択は、良好な動き補償に比べてより不鮮明となりうるが、不正確な動き補償によりもたらされるアーチファクト(例えば、異なる速度で動くスプリット画素やハローイング)を「防ぐ」ことができる場合がある。
なお、保護器350は、メディアンフィルタである必要はない。また、5つの入力を必ずしも有さなくてよい。保護器350は、動き補償された値と、非動き補償された(即ち、別のフレームに空間的に近い)値のうちから中心値(central value)を選択する任意の装置を含みうる。例えば、保護器350は、1以上の異常値を無視し、補間画素の値を、残りの値の平均値(mean)又は他の統計尺度として計算しうる。一部の実施形態では、合成器340の出力は、動きベクトルが正確である又は良好に動作する場合は、保護器350に動き補償された値を選定するようにさせるが、一部の実施形態では、保護器350への動き補償された入力値の数は、空間的に近い入力値の数を超える必要はない。フィルタリングのタイプ、入力の数、及び/又は、入力のタイプの変形はどれも可能であり、検討されるものとする。
図4は、フレームレート変換時に補間画素値を決定する例示的なプロセス400を示す。図4は、説明の便宜上及び説明を明瞭にすることを目的として図2及び3に記載するフレームレート変換器230に関して説明しうるが、プロセス400は、他のハードウェア及び/又はソフトウェア実施形態によって実行されうることは理解すべきである。
処理は、動きベクトル補間器310がターゲットフレーム内の画素に対して部分動きベクトルを生成することにより開始する(ステップ410)。この生成は、ターゲット/補間フレームを囲む2以上のフレーム間の動きベクトルからの生成でありうる。上記の例では、部分動きベクトルは、2つのフレーム、即ち、N及びN−1から決定されたが、一部の実施形態では、部分動きベクトルは、3以上の既存フレーム又はそれらの一部から生成されてもよい。
次に、補償器320及び/又は330が、ステップ410において生成された部分動きベクトルから動き補償された画素値を決定する(ステップ420)。ステップ420は、任意に、2以上の動き補償された画素値を合成して別の合成動き補償された値を形成してもよい。
保護器350は更に、補間された画素の同一位置に空間的に近いが1フレーム内であるターゲット/補間フレーム(例えば、N番目のフレーム)を囲む複数のフレームのうちの1つから1以上の画素値を受信しうる(ステップ430)。例えば、このような値には、例えば、ターゲット画素がターゲットグフレーム内で存在する(x,y)位置におけるN番目のフレーム内の画素の上、下、左、又は右にある、N番目のフレーム内の1以上の画素を含みうる。
次に、保護器350が、ステップ420において生成された動き補償された値と、ステップ430において得られた空間的に近い画素値とから補間画素値を選択する(ステップ440)。一部の実施形態では、保護器350は、幾つかの可能な値のうち中央値(median value)を選択しうる。一部の実施形態では、ステップ440には、中央値以外の別の「中心(central)」選択オペレーションが関連しうる。ステップ440は、ステップ410において生成された動きベクトルがなんらかの理由で正確ではない場合の動きに関連したアーチファクトに対して保護するという効果を有しうる。しかし、これらのベクトルが正確である場合、動き補償された値は、互いに(且つ、ある場合にはその平均値(average)に)比較的に近い場合があり、ステップ440は、ターゲット/補間フレームについて動き補償された画素値を選択しうる。
ステップ410−440は、ターゲットフレーム、即ち、画像中の全ての画素に対して補間値が選択されるまで繰り返されうる。図4には明示的に示さないが、プロセス400には、更に、必要に応じて、ステップ410の前に動きベクトルを生成することを含んでもよい。更に、プロセス400は、ターゲット画素値をバッファに送信することと、レート変換に十分なターゲット値がある場合にレート変換済みビデオデータを送信することも含んでもよい。
1以上の実施形態の上記の記載は、例示及び説明を与えるが、発明の範囲を網羅し且つ開示した形式に厳密に限定することを意図するものではない。変更及び変形は、上記の教示内容を鑑みて可能であり、また、本発明の様々な実施形態を実行することにより得ることができる。
例えば、本願に記載したスキームは、画素毎に行われうるが、画像中の複数の画素の集合体又はグループに対して行ってもよい。更に、本願に記載したスキームは、開示した具体的な実施形態(例えば、2フレームを使用する補間動き補償)に限定されるべきではなく、むしろ、動き補償された値が空間的に近い値からあまりにも大幅に逸脱する場合に、原フレームのうちの1つにおける空間的に近い画素を選択することにより動きによりもたらされるアーチファクトから保護する任意の技術に適用しうる。特許請求をする発明は、動き補償されたフレームレート変換において上述したような動きに関連するアーチファクトから保護する任意の上述したような技術を包含することを意図する。
更に、図4におけるステップの少なくとも一部は、機械可読媒体上に実装される命令、又は、命令群として実施されうる。
本願の説明に使用した要素、ステップ、又は命令は、特に明記されない限り本発明に重要又は不可欠であると解釈すべきではない。また、単数形で記載するものも複数形が存在しうることを意図する。特許請求の範囲に記載する発明の上記の実施形態の変形及び変更は、発明の精神及び原理から実質的に逸脱することなく行いうるものとする。このような変形及び変更は、本開示の範囲内に包含され、請求項の保護対象であることを意図する。

Claims (15)

  1. 補間画像を生成する方法であって、
    第1の画像と第2の画像との間の単一の動きベクトルから複数の部分動きベクトルを生成することと、
    前記複数の部分動きベクトルと、前記第1の画像及び前記第2の画像からの複数の画素値とに基づいて複数の動き補償された値を決定することと、
    前記第1の画像から、一の共通の画素に近接する複数の画素値を取得することと、
    前記複数の動き補償された値と、前記第1の画像からの前記複数の画素値とに基づいて、前記補間画像における一の画素に対する結果値を選択することと、
    を含む方法。
  2. 前記生成することは、
    前記単一の動きベクトルの第1の部分を、1つの部分動きベクトルとして定義することと、
    前記単一の動きベクトルの残りの部分を、別の部分動きベクトルとして定義することと、
    を含む、請求項1に記載の方法。
  3. 前記決定することは、
    第1の動き補償された値を取得すべく、前記複数の部分動きベクトルのうちの1つを前記単一の動きベクトルに関連付けられた前記第1の画像内の第1の画素に適用することと、
    第2の動き補償された値を取得すべく、前記複数の部分動きベクトルのうちの別の1つを前記単一の動きベクトルに関連付けられた前記第2の画像内の第2の画素に適用することと、
    を含む、請求項1に記載の方法。
  4. 前記決定することは更に、
    第3の動き補償された値を取得すべく、前記第1の動き補償された値と前記第2の動き補償された値を合成することを含む、請求項3に記載の方法。
  5. 前記取得することは、
    前記共通画素の上方のラインから第1の画素値を選定することと、
    前記共通画素の下方のラインから第2の画素値を選定することと、
    を含む、請求項1に記載の方法。
  6. 前記選択することは、
    前記複数の動き補償された値と前記第1の画像からの前記複数の画素値との中央値を、前記補間画像における前記画素に対する前記結果値として選定することを含む、請求項1に記載の方法。
  7. 複数の画像間を補間するシステムであって、
    前記複数の画像のそれぞれからのターゲット画像の時間的な距離に基づいて、一の動きベクトルを複数の部分に分ける動きベクトル補間器と、
    前記動きベクトルの前記複数の部分に基づいて前記ターゲット画像における一の画素に対し少なくとも2つの動き補償された値を生成する動き補償モジュールと、
    前記動きベクトルが正確である場合に、前記ターゲット画像における前記画素に対し動き補償された値を選択し、前記動きベクトルが不正確である場合に、前記複数の画像のうちの1つからの一の画素値を選択する保護器と、
    を含むシステム。
  8. 前記少なくとも2つの動き補償された値を統計的に合成し、前記保護器に対して合成された動き補償された値を出力する合成器を更に含む、請求項7に記載のシステム。
  9. 前記動き補償モジュールは、
    前記動きベクトルの第1の部分と前記複数の画像のうちの一の先行画像とに基づいて、前記ターゲット画像における前記画素に対する前方動き補償された値を生成する前方動き補償モジュールと、
    前記動きベクトルの第2の部分と前記複数の画像のうちの一の後行画像とに基づいて、前記ターゲット画像における前記画素に対する後方動き補償された値を生成する後方動き補償モジュールと、
    を含む、請求項7に記載のシステム。
  10. 前記保護器は、
    前記ターゲット画像における前記画素に対する補間値として出力すべく前記少なくとも2つの動き補償された値と前記複数の画像のうちの1つからの少なくとも2つの画素値とから中央値を選択するメディアンフィルタを含む、請求項7に記載のシステム。
  11. 前記複数の画像及び前記ターゲット画像の少なくとも一部を格納するバッファを更に含む、請求項7に記載のシステム。
  12. 前記複数の画像に基づいて前記動きベクトルを計算し、前記動きベクトルを前記動きベクトル補間器に対して出力するプロセッサを更に含む、請求項7に記載のシステム。
  13. ターゲット画像を形成すべく2つの画像間を補間する方法であって、
    前記2つの画像の複数の画素間の一の動きベクトルに基づいて前記ターゲット画像における所与の画素に対する2以上の動き補償された画素値を計算することと、
    前記2つの画像のうちの一方の画像から、前記一方の画像における位置が、前記ターゲット画像における前記所与の画素の空間位置に近接する1以上の画素値を取得することと、
    前記2以上の動き補償された画素値の値が比較的近い場合に、前記2以上の動き補償された画素値のうちの1つを、前記ターゲット画像における前記所与の画素に対する補間値として選択することと、
    前記2以上の動き補償された画素値の値が比較的近くない場合に、前記一方の画像における前記1以上の画素値のうちの1つを、前記ターゲット画像における前記所与の画素に対する補間値として選定することと、
    を含む方法。
  14. 2つの動き補償された画素値に平均又は加重平均を適用することにより第3の補償された画素値を計算することを更に含む、請求項13に記載の方法。
  15. 前記ターゲット画像全体に対して複数の補間画素値が取得できるまで、前記計算することと、前記取得することと、前記選択することと、前記選定することとを繰り返すことを更に含む、請求項13に記載の方法。
JP2009504222A 2006-04-03 2007-03-30 補償アーチファクトに対する保護を有する動き補償フレームレート変換 Pending JP2009532984A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/397,041 US8472524B2 (en) 2006-04-03 2006-04-03 Motion compensated frame rate conversion with protection against compensation artifacts
PCT/US2007/008014 WO2007123759A1 (en) 2006-04-03 2007-03-30 Motion compensated frame rate conversion with protection against compensation artifacts

Publications (1)

Publication Number Publication Date
JP2009532984A true JP2009532984A (ja) 2009-09-10

Family

ID=38558315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009504222A Pending JP2009532984A (ja) 2006-04-03 2007-03-30 補償アーチファクトに対する保護を有する動き補償フレームレート変換

Country Status (6)

Country Link
US (1) US8472524B2 (ja)
EP (1) EP2005758A4 (ja)
JP (1) JP2009532984A (ja)
CN (1) CN101416523B (ja)
TW (1) TWI344309B (ja)
WO (1) WO2007123759A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1843587A1 (en) * 2006-04-05 2007-10-10 STMicroelectronics S.r.l. Method for the frame-rate conversion of a digital video signal and related apparatus
JP5174329B2 (ja) * 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
US8428142B2 (en) * 2007-03-05 2013-04-23 Stmicroelectronics International N.V. System and method for transcoding data from one video standard to another video standard
US9204086B2 (en) * 2008-07-17 2015-12-01 Broadcom Corporation Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
EP2157800B1 (en) 2008-08-21 2012-04-18 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for increasing the frame rate of a video signal
GB2476753B (en) * 2008-10-24 2013-07-24 Hewlett Packard Development Co Method and system for increasing frame-display rate
US9185339B2 (en) * 2008-10-24 2015-11-10 Hewlett-Packard Development Company, L.P. Method and system for increasing frame-display rate
CN102006489B (zh) * 2009-08-27 2015-02-04 晨星软件研发(深圳)有限公司 用于立体显示的帧频转换装置及方法
US20110134142A1 (en) * 2009-12-04 2011-06-09 Semiconductor Energy Laboratory Co., Ltd. Display device and driving method thereof
US8233085B1 (en) * 2009-12-08 2012-07-31 Kolorific, Inc. Method and system for interpolating a pixel value of a pixel located at an on-screen display
US8488059B2 (en) * 2009-12-16 2013-07-16 Broadcom Corporation Adaptation of frame selection for frame rate conversion
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
CN104811723B (zh) * 2015-04-24 2018-03-16 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法
CN106205523B (zh) * 2016-07-13 2018-09-04 深圳市华星光电技术有限公司 液晶显示装置残像的改善方法及装置
US11526970B2 (en) 2019-09-04 2022-12-13 Samsung Electronics Co., Ltd System and method for video processing with enhanced temporal consistency
CN114842424B (zh) * 2022-06-07 2023-01-24 北京拙河科技有限公司 一种基于动作补偿的智能化安防图像识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654302A (ja) * 1992-05-15 1994-02-25 Philips Electron Nv 動き補償形画像信号内挿装置
JPH06165134A (ja) * 1992-11-27 1994-06-10 Nippon Hoso Kyokai <Nhk> テレビジョン方式変換装置
JPH11112939A (ja) * 1997-10-07 1999-04-23 Hitachi Ltd 画像信号の方式変換方法および装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
WO1999067952A1 (en) * 1998-06-25 1999-12-29 Hitachi, Ltd. Method and device for converting number of frames of image signals
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2246925B (en) 1990-08-09 1994-04-27 Sony Broadcast & Communication Video signal processing
KR950001563B1 (ko) 1991-12-28 1995-02-25 주식회사금성사 3차원 가중 메디안 필터를 이용한 tv영상신호의 주사선수 증가 방법 및 장치
US5546130A (en) 1993-10-11 1996-08-13 Thomson Consumer Electronics S.A. Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
JP2832927B2 (ja) 1994-10-31 1998-12-09 日本ビクター株式会社 走査線補間装置及び走査線補間用動きベクトル検出装置
US5784494A (en) * 1995-04-18 1998-07-21 Advanced Micro Devices, Inc. Method and apparatus for prestoring dequantization information for DCT VLC decoding
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
WO2001045036A1 (en) 1999-12-14 2001-06-21 Dynapel Systems, Inc. Slow motion system
EP1356670A1 (en) * 2000-12-11 2003-10-29 Koninklijke Philips Electronics N.V. Motion compensated de-interlacing in video signal processing
JP4198550B2 (ja) 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP2005006275A (ja) 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
KR100605746B1 (ko) * 2003-06-16 2006-07-31 삼성전자주식회사 블럭 기반의 움직임 보상 장치 및 방법
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1734480A1 (en) * 2004-04-09 2006-12-20 Sony Corporation Image processing device and method, recording medium, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654302A (ja) * 1992-05-15 1994-02-25 Philips Electron Nv 動き補償形画像信号内挿装置
JPH06165134A (ja) * 1992-11-27 1994-06-10 Nippon Hoso Kyokai <Nhk> テレビジョン方式変換装置
JPH11112939A (ja) * 1997-10-07 1999-04-23 Hitachi Ltd 画像信号の方式変換方法および装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
WO1999067952A1 (en) * 1998-06-25 1999-12-29 Hitachi, Ltd. Method and device for converting number of frames of image signals
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路

Also Published As

Publication number Publication date
EP2005758A4 (en) 2012-08-01
CN101416523B (zh) 2011-04-06
TWI344309B (en) 2011-06-21
CN101416523A (zh) 2009-04-22
US20070229703A1 (en) 2007-10-04
US8472524B2 (en) 2013-06-25
EP2005758A1 (en) 2008-12-24
TW200816822A (en) 2008-04-01
WO2007123759A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP2009532984A (ja) 補償アーチファクトに対する保護を有する動き補償フレームレート変換
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US8437398B2 (en) Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US20080204592A1 (en) Motion compensated frame rate conversion system and method
US20100201870A1 (en) System and method for frame interpolation for a compressed video bitstream
US9204086B2 (en) Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US8351510B1 (en) Motion compensated noise reduction using shared motion estimation engine
US7787048B1 (en) Motion-adaptive video de-interlacer
US8411751B2 (en) Reducing and correcting motion estimation artifacts during video frame rate conversion
JP5081898B2 (ja) 補間画像生成方法及びシステム
US6351545B1 (en) Motion picture enhancing system
US20100026888A1 (en) Image processing method and system with repetitive pattern detection
JP2004120732A (ja) 動画像符号化装置及び動画像復号装置
JPH11112940A (ja) 動きベクトルの生成方法および装置
US20020001347A1 (en) Apparatus and method for converting to progressive scanning format
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP3898546B2 (ja) 画像走査変換方法及び装置
JPH0851599A (ja) 画像情報変換装置
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP4144339B2 (ja) 動画像符号化方法及び動画像複号化方法
TWI419570B (zh) 多媒體裝置及其移動補償方法
JP4001143B2 (ja) 係数生成装置および方法
KR100728914B1 (ko) 영상의 속성을 이용한 디인터레이싱 장치 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110629

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120113