JP2002027414A - 両方向動きベクトルを用いたフォーマット変換装置及びその方法 - Google Patents

両方向動きベクトルを用いたフォーマット変換装置及びその方法

Info

Publication number
JP2002027414A
JP2002027414A JP2001072812A JP2001072812A JP2002027414A JP 2002027414 A JP2002027414 A JP 2002027414A JP 2001072812 A JP2001072812 A JP 2001072812A JP 2001072812 A JP2001072812 A JP 2001072812A JP 2002027414 A JP2002027414 A JP 2002027414A
Authority
JP
Japan
Prior art keywords
motion vector
interpolated
frame
motion
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001072812A
Other languages
English (en)
Other versions
JP4563603B2 (ja
Inventor
Sung-Hee Lee
聖▲ヒー▼ 李
Sung-Jea Ko
聖済 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2002027414A publication Critical patent/JP2002027414A/ja
Application granted granted Critical
Publication of JP4563603B2 publication Critical patent/JP4563603B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 両方向動きベクトルを用いてフレームレート
変換及びデインターレーシングを具現するフォーマット
変換装置及びその方法を提供する。 【解決手段】 現在フレームと以前フレームとの動きベ
クトルを使用して補間されるフレームに対する両方向の
動きベクトルを推定する過程と、補間されるフレームで
過程で推定された動きベクトル中で画素誤差が最小の周
辺ブロックの動きベクトルを現在ブロックの動きベクト
ルに設定する過程と、過程で設定された動きベクトルで
補間されるフレームを形成する過程とを含む。これによ
り、補間されるフレームを基準として連続的な二つのフ
レームの両方向動きベクトルを直接求めることによっ
て、重なる部分及び穴部分が全く発生せずに画質を向上
させられる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は映像信号のフォーマ
ット変換装置及びその方法に係り、特に両方向動きベク
トルを用いてフレームレート変換及びデインターレーシ
ング(de−interlacing)を具現するフォーマット変換装
置及びその方法に関する。
【０００２】
【従来の技術】一般にパソコンや高鮮明テレビでは多様
な信号規格を有するプログラムを相互交換するためにフ
レームレート及びデインターレーシングのようなフォー
マット変換が必要である。図１は、従来のフレームレー
ト変換装置を示すブロック図である。
【０００３】図１を参照すれば、映像分割部１１０は図
２のように効率的な動き推定のために映像を変更された
/非変更された(changed/unchanged)領域に区分する。そ
してまた非変更された領域はカバーされた/非カバーさ
れた(covered/uncovered)領域、背景、物体に分ける。
【０００４】動き推定部１２０は、一般にビデオコーデ
ィングで使用するブロック整合アルゴリズムを用いてブ
ロックの動きベクトルを生成する。既存の代表的なブロ
ック整合アルゴリズムは、図３のように一定大きさのブ
ロック内の画素が回転あるいは拡大、縮少されずに同一
に移動だけしたという仮定下でブロック当り一つの動き
ベクトルを探すことである。図３で現在フレームfc内の
任意の座標xc、ycに位置したN×N大きさの基準ブロック
の動きベクトルを以前フレームfpで±P画素だけの範囲
で推定すると仮定しよう。すると以前フレーム内の探索
範囲は(N＋２P)×(N＋２P)となる。したがって動きベク
トルは総(２P＋１)2個の候補位置中で最大相関度を有す
る位置に決定される。この時に現在フレームでの基準ブ
ロックと以前フレームでの候補ブロックとの間の差は式
（１）のようにMAD(mean absolute difference)として
計算される。
【０００５】
【数１】
【０００６】ここで、最終的にブロックの動きベクトル
は、基準ブロックと候補ブロックの平均絶対値差が一番
小さな値を有する探索範囲の位置(m、n)として決定され
る。
【０００７】時空間スムージング部１３０は、動き推定
部１２０で得られた不適切な動きベクトルを改善し、図
４に示したように動きベクトルをスムースに改善する。
動き補償補間部１４０は、補間しようとする映像の前後
フレームに対する順方向動きベクトルを捜し出し、この
求められた動きベクトルを用いて映像分割部１１０で発
生する領域分類情報によって両方向補間を行う。この時
に順方向動きベクトルを用いた動き補償補間は、図５の
ように補間されるフレームで二つ以上の動きベクトルが
割当されることによりブロックが重なる部分と動きベク
トルが割当されない穴部分を発生させる。この重なる部
分と穴部分は、補間された映像の画質に直接的な影響を
与えて画質を低下させる。また、この重なる部分と穴部
分は不規則な形態をしているために画素単位で処理され
ねばならない。したがって、従来にはこの重なる部分及
び穴部分を除去するために複雑な信号処理過程及びこれ
による複雑なハードウェアを具現すべき問題点がある。
【０００８】また通常的なテレビ映像信号は、２個のフ
ィールドが一フレームを形成する飛越し走査方式で周波
数帯域が圧縮される。そして、最近通常の順次方式でデ
ィスプレイするパソコンや高鮮明テレビでは飛越し走査
をディスプレイするためにはデインターレーシングによ
り空いている映像ラインを任意の方法で生成して順次走
査すべきである。
【０００９】図６は通常的なデインターレーシングの基
本概念図である。図６を参照すれば、デインターレーシ
ングは垂直方向に奇数あるいは偶数番目のサンプルだけ
を含むフィールドをフレームに変更する。この時に出力
フレーム(F0(x→,n))（ここで、記号「x→」は「ｘ」の
上に符号「→」が重なっているものを示す）は式（２）
のように定義する。
【００１０】
【数２】
【００１１】図７は、動き補償を用いないELAデインタ
ーレーシングアルゴリズムを適用するための３×３ウイ
ンドである。図７を参照すれば、ELA(edge−based line
averaging)デインターレーシングは、式（３）のよう
に補間される画素の位置で方向性(x、y)を考慮した画素
間の相関性を用いる。すなわち、補間される画素の周辺
に隣接した画素と補間されるフィールドの前後フィール
ドで補間される画素の平均値を出力する。
【００１２】
【数３】
【００１３】図８は、通常的なTRデインターレーシング
方法を説明するための概念図である。図８を参照すれ
ば、動きベクトルを用いたTR(time−recursive)デイン
ターレーシングは以前フィールド(n−１)が完璧にデイ
ンターレーシングされたと仮定し、現在フィールド(n)
の紛失データを動きベクトルで補償する。補間される画
素は、以前フィールドの元の画素になりえ、以前フィー
ルドで補間された画素になりうる。したがって、補間さ
れる画素は、式（４）のように示すことができる。
【００１４】
【数４】
【００１５】しかし、ELAデインターレーシング方式
は、動き補償を使用しないために動きが存在する領域で
は明滅が発生し、TRデインターレーシング方式は、連続
的にデインターレーシングされるために任意のフィール
ドで発生したエラーが他のフィールドに伝播されうる。
【００１６】
【発明が解決しようとする課題】本発明が解決しようと
する技術的課題は、補間される画素のために連続的な二
つのフレームの両方向動きベクトルを直接求めることに
よって画質を改善させるフレームレート変換方法を提供
することにある。
【００１７】本発明が解決しようとする他の技術的課題
は、前記フレームレート変換方法を用いたフレームレー
ト変換装置を提供することにある。本発明が解決しよう
とする他の技術的課題は、補間される画素のために連続
的な二つのフィールド間の両方向動きベクトルを推定し
て具現が容易で優れた輪郭線保存能力を有するデインタ
ーレーシング装置を提供することにある。
【００１８】本発明が解決しようとする他の技術的課題
は、前記デインターレーシング方法を用いたデインター
レーシング装置を提供することにある。本発明が解決し
ようとする他の技術的課題は、入力映像の動き程度によ
って動き補償型補間値または時空間補間値を適応的に選
択することによって動き情報の信頼性を向上させ、補間
する画素のエラーを減らしうるデインターレーシング装
置を提供することにある。
【００１９】
【課題を解決するための手段】前記の技術的課題を解決
するために、本発明は(a)現在フレームと以前フレーム
との動きベクトルを使用して補間されるフレームに対す
る両方向の動きベクトルを推定する過程と、(b)補間さ
れるフレームで前記(a)過程で推定された動きベクトル
中で画素誤差が最小の周辺ブロックの動きベクトルを現
在ブロックの動きベクトルに設定する過程と、(c)前記
(b)過程で設定された動きベクトルで補間されるフレー
ムを形成する過程とを含むフレームレート変換方法であ
る。
【００２０】前記の技術的課題を解決するために、本発
明はフレームレート変換装置において、現在フレームと
以前フレームとの動きベクトルを求めて補間されるフレ
ームに割当て、前記補間されるフレームに対して割当て
られた動きベクトルを推定する両方向動き推定手段と、
前記両方向動き推定手段で補間されるフレームで現在ブ
ロックの動きベクトルの正確性を評価した後、画素誤差
が最小の周辺ブロックの動きベクトルを現在ブロックの
動きベクトルに設定する時空間スムージング部と、前記
補間されるブロックを拡張して重畳された領域で相異し
た加重値をおいて前記時空間スムージング部で求められ
た動きベクトルで補間する補間部とを含むフレームレー
ト変換装置である。
【００２１】前記の他の技術的課題を解決するために、
本発明はデインターレーシング方法において、(a)現在
フィールドと以前フィールドとの動きベクトルを使用し
て補間される画素に対する両方向の動きベクトルを推定
する過程と、(b)前記(a)過程で周辺画素誤差が最小の動
きベクトルを補間される画素の動きベクトルに設定する
過程と、(c)前記(b)過程で設定された動きベクトルで補
間される画素を形成する過程とを含むデインターレーシ
ング方法である。
【００２２】前記の他の技術的課題を解決するために、
本発明は適応的なデインターレーシング装置において、
以前フィールドと現在フィールドのブロック間画素誤差
が最小の動きベクトル値を参照して動き程度を評価する
動き評価部と、補間される画素に対して両方向動きベク
トルを適用した画素の平均で補間したり、動きベクトル
を適用した画素値とその画素の平均値、そして、補間さ
れる画素の垂直方向に隣接した二つの画素間値のメジア
ン値で補間する動き補償補間部と、補間される画素周辺
に隣接した画素と補間されるフィールドの前後フィール
ドで補間される画素の平均値で補間する時空間補間部
と、前記動き評価部で評価された動き程度によって前記
動き補償補間部の補間値と時空間補間部の補間値を適応
的に選択する動き適応部とを含むデインターレーシング
装置である。
【００２３】前記の他の技術的課題を解決するために、
本発明は適応的なフレームレート変換装置において、以
前フレームと現在フレームのブロック間画素誤差が最小
の動きベクトル値を参照して動き程度を評価する動き評
価部と、補間されるフレームを基準として検出された両
方向動きベクトルを適用した画素の平均で補間する動き
補償補間部と、補間されるフレームの周辺に隣接した画
素と補間されるフレームの前後フレームで補間される画
素の平均値で補間する時空間補間部と、前記動き評価部
で評価された動き程度によって前記動き補償補間部の補
間値と時空間補間部の補間値を適応的に選択する動き適
応部とを含むフレームレート変換装置である。
【００２４】
【発明の実施の形態】以下、添付した図面を参照して本
発明の望ましい実施形態を説明する。図９は、本発明に
係るフレームレート変換装置を示すブロック図である。
図９の装置は、動き推定部２１０、時空間スムージング
部２２０、改善された動き補償補間部２３０より構成さ
れる。
【００２５】図９を参照すれば、動き推定部２１０は現
在フレームと以前フレームとの動きベクトルを求めて補
間されるフレームに割当て、その補間されるフレームを
基準として両方向動きベクトルを推定する。時空間スム
ージング部２２０は、補間されるフレームで推定された
現在ブロックの動きベクトルの正確性を評価した後、画
素誤差が最小の周辺ブロックの動きベクトルを現在ブロ
ックの動きベクトルに設定する。
【００２６】改善された動き補償補間部２３０は、時空
間スムージング部２２０で求められた動きベクトルを用
いて補間されるフレームの前後フレームでブロックの平
均で補間されるブロックを形成する。この時、改善され
た動き補償補間部２３０は補間されるブロックを拡張し
て重畳された領域で相異した加重値で補間する。
【００２７】図１０Ａ乃至図１０Ｃは両方向動きベクト
ルを求める概念図である。先ず、隣接した二つのフレー
ムでFn-1は(n−１)番目フレームであり、Fn+1は(n＋１)
番目フレームであり、Fnはn番目フレームである。n番目
フレームFnで図１０Ａ乃至図１０Ｃに示したような動き
ベクトル初期化段階(図１０Ａ、図１０Ｂ)と動きベクト
ル調整段階(図１０Ｃ)を通じて両方向動きベクトルが求
められる。
【００２８】図１０Ａを参照して動きベクトル初期化段
階を説明する。先ず、連続的に入力される(n−１)番目
フレーム/フィールド(Fn-1)と(n＋１)番目フレーム/フ
ィールド(Fn+1)は２:１にデシメーションして(n−１)番
目フレーム/フィールド（F^ n+1）（ここで、記号「F^」
は「F」の上に符号「^」が重なっているものを示す）及
び(n＋１)番目フレーム/フィールド（F^ n+1）に再構成
される。
【００２９】次いで、図１０Ａに示したように(n＋１)
番目フレーム/フィールド（F^ n+1）が複数個のブロック
に分けられ、各ブロックに対して探索領域を定める。次
いで、その探索領域でブロック整合アルゴリズム(block
matching algorithm:以下BMAと称する)を適用して順方
向動きベクトル(forward MV)が推定される。次いで図１
０Ｂのように補間されるn番目フレーム/フィールド（F^
n）をブロック別に分け、その推定された順方向動きベ
クトルを補間されるn番目フレーム/フィールド（F^ n）
の初期動きベクトル(initial MV)に設定する。したがっ
て、図１０Ｂのように両方向動きベクトルを用いて各ブ
ロックグリッドによって動きを補償することによって既
存の映像信号で重なる部分及び穴部分が発生しなくな
る。
【００３０】次いで、図１０Ｃを参照して動きベクトル
調整段階を説明する。まず、動きベクトル初期化段階で
求めた初期動きベクトルは初期化過程で順方向動きベク
トルを使用したので少しの変化が発生する。これを補正
するために動きベクトル初期化段階で求めた順方向動き
ベクトルを初期値として小さな探索領域(±d)が新しく
設定される。次いで小さな探索領域(±d)で再びBMAを用
いて初期に設定された動きベクトルを補正した後、両方
向動きベクトルが生成される。図１０Ｃに示した初期動
きベクトルの調整段階を説明するために補間されるn番
目フレーム/フィールド（F^ n）での任意のブロックBti
を考慮する。このブロックBtiは中心が(x、y)であり、
初期動きベクトル(D→ i)＝(h、v)に該当する（ここで、
記号「D→」は「D」の上に符号「→」が重なっているも
のを示す）。この時に初期動きベクトル(D→ i)は任意の
ブロックBtiに対する補間されるn番目フレーム/フィー
ルド（F^ n）と(n＋１)番目フレーム/フィールド
（F^ n+1）との動きと、(n−１)番目フレーム/フィール
ド（F^ n-1）で補間されるn番目フレーム/フィールド（F
^ n）までの動きを同時に示す。すると補間されるn番目
フレーム/フィールド（F^ n）上の任意のブロックBtiが
初期動きベクトル(D→ i)により移動すれば、任意のブロ
ックBtiは(n−１)番目フレーム/フィールド（F^ n-1）の
ブロックBt1と(n＋１)番目フレーム/フィールド
（F^ n+1）のブロックBt2より生成される。すなわち、初
期のブロックBt1及びブロックBt2の中心は各々次のよう
に式（５）、（６）に示すことができる。
【００３１】
【数５】
【００３２】ここで、任意のブロックBtiは固定された
位置に存在し、ブロックBt1及びブロックBt2は各々初期
位置で探索領域(±d)範囲内で動く。この時、もしn番目
フレーム/フィールド（F^ n）が(n−１)番目フレーム/フ
ィールド（F^ n-1）と(n＋１)番目フレーム/フィールド
（F^ n+1）との中間に位置すべきであれば、ブロックBt 1
と任意のブロックBtiとの動きと、任意のブロックBtiと
ブロックBt2との間の相動きは同じべきである。このた
めに初期動きベクトルによる動き軌跡上でブロックBt1
とブロックBt2は補間されるブロックBtiの中心で対称的
に動かねばならない。
【００３３】したがって、探索領域(±d)を有する場合
に可能な組合の数は(２d＋１)2になる。この過程を経れ
ばn番目フレーム/フィールド（F^ n）を基準として(n−
１)番目フレーム/フィールド（F^ n-1）及び(n＋１)番目
フレーム/フィールド（F^ n+1）間の両方向動きベクトル
が求められる。この時、もしn番目フレーム/フィールド
（F^ n）が(n−１)番目フレーム/フィールド（F^ n-1）と
(n＋１)番目フレーム/フィールド（F^ n+1）との中間に
位置すべきであれば、各方向への動きベクトルは同じ値
を有する。
【００３４】図１１は、図９の時空間スムージング部２
２０の動きベクトルを改善する概念図である。図１１を
参照すれば、まず補間されるフレーム/フィールドで現
在ブロックはMV0にし、現在ブロックを取り囲んだ周辺
ブロックはMVi、i＝１,......８に設定し、ブロックの
動きベクトルはD(・)に設定する。そしてこの周辺ブロ
ックで得られた動きベクトル中で一番小さなMAD(mean a
bsolute difference)を有するブロックの動きベクトル
を現在ブロックの動きベクトルに設定する。すなわち、
式（７）のように隣接した二つのフレーム/フィールド
間の両方向動きベクトルを用いて現在ブロックのDFD(di
splaced frame differences)を求めた後、一番少ないDF
Dを有する周辺ブロックの動きベクトルを現在ブロック
の動きベクトルに設定する。結局、時空間スムージング
は、動き推定で検出された不適切な動きベクトルを除去
することによって画質を改善する。
【００３５】
【数６】
【００３６】図１２は、図９の改善された動き補償補間
部２３０の動き補償型補間方法を説明する概念図であ
る。図１２を参照すれば、改善された動き補償補間部２
３０は、両方向に求められた動きベクトルを用いて式
（８）のように隣接した二つのフレームでのブロックの
平均を取った後、補間されるフレームを構成する。この
時、補間するフレームは元のブロック大きさで横/縦方
向にブロックを拡張し、その重畳された領域で相異した
加重値をおいて補間される。
【００３７】
【数７】
【００３８】図１３は、本発明に係るデインターレーシ
ング装置を示す全体ブロック図である。図１３を参照す
れば、まず入力されるFn-1は(n−１)番目フィールドで
あり、F nはn番目フィールドであり、Fn+1は(n＋１)番目
フィールドである。F〜 n（ここで、「F〜」は「F」の上
に符号「〜」が重なるものを示す）は、n番目フィール
ドFnが順次走査に変換された映像信号である。
【００３９】動き推定部４１０は、(n−１)番目フィー
ルド(Fn-1)、(n＋１)番目フィールド(Fn+1)映像から両
方向動きベクトルを用いて補間されるフィールド位置に
該当するn番目フィールド(Fn)の動きベクトルMVを求め
る。n番目フィール(Fn)で求める両方向動きベクトル
は、先ずデシメーション変換が行われたフィールドから
図１０Ａ及び図１０Ｂに示したように動きベクトル初期
化段階(図１０Ａ、図１０Ｂ)と動きベクトル調整段階
(図１０Ｃ)を通じて計算される。結果的に補間されるフ
ィールドを基準として前後フィールド間の両方向動きベ
クトルが計算される。
【００４０】時空間スムージング部４２０は図１１で説
明したように、動き推定部４１０で求められた量方向動
きベクトルMVが少しの不連続性があるので、時空間スム
ージング過程を経てスムージングな両方向動きベクトル
を求める。
【００４１】信号変換部４３０は、IPC(interlaced to
progressive)変換ブロックであって、時空間スムージン
グ部４２０で発生する両方向動きベクトルが適用された
画素の平均でn番目フィールド(Fn)のデータがないライ
ンを復元して最終的なフレーム(F〜 n)を出力する。
【００４２】図１４は、動き推定部４１０のデシメーシ
ョン変換を示す概念図である。図１４を参照すれば、入
力される(n−１)番目フィールド(Fn-1)、(n＋１)番目フ
ィールド(Fn+1)はデータが存在するラインだけで再構成
して(n−１)番目フィールド(F^ n-1)及び(n＋１)番目フ
ィールド(F^ n+1)に生成される。すなわち、再構成され
た(n−１)番目フィールド(F^ n-1)及び(n＋１)番目フィ
ールド(F^ n+1)は入力される(n−１)番目フィールド(F
n-1)、(n＋１)番目フィールド(Fn+1)より垂直方向に１/
２だけ縮まる。したがって、再構成された(n−１)番目
フィールド(F ^ n-1)及び(n＋１)番目フィールド(F^ n+1)
は、垂直及び水平方向に２:１にデシメーションされ
る。
【００４３】図１５は、図１３の信号変換部４３０で動
き補償型デインターレーシングを示す概念図である。図
１５を参照すれば、n番目フィールド(Fn)のデータがな
いラインは補間されるフィールド(F^ n)の両方向動きベ
クトルを使用して復元される。その復元過程を数式で表
現すれば式（９）の通りである。
【００４４】
【数８】
【００４５】ここでx、yは各フィールドでの水平、垂直
座標値、h、vは各々両方向動きベクトルの水平、垂直成
分を示す。図１６は、図１３の信号変換部４３０でメジ
アンフィルタを用いた時空間補間を示す概念図である。
【００４６】デインターレーシング技法の性能は動き推
定結果に大きく影響される。よって徐動き推定のエラー
を減らすために補間されるフィールド(F^ n)で映像デー
タがないラインは図１６のようにメジアンフィルタを用
いて補間され、次のような式（１０）に示しうる。
【００４７】
【数９】
【００４８】ここで、D→は両方向動きベクトルであ
り、u→ y（ここで、「u→」は、「u」の上に符号「→」
が重なっていることを示す）は(０,１)Tである。そして
(C＋D)/２は式（１０）のような動き補償型デインター
レーシング結果値である。
【００４９】このようにメジアンフィルタを用いれば、
最終的に出力されるフレーム(F〜 n)は元々映像データが
あるラインであれば元の画素をそのまま取り、そうでな
ければ(n−１)番目フィールドの画素(C)と(n＋１)番目
フィールドの画素(D)、n番目フィールドで補間される画
素(Z)の垂直方向隣接画素(A、B)、デインターレーシン
グされた画素((C＋D)/２)中で中間値をn番目フィールド
の画素(Z)として補間する。
【００５０】図１７は、本発明に係るデインターレーシ
ング装置の他の実施形態である。図１７を参照すれば、
動き補償補間部１７２は、本発明に係る図１３のように
フレームの補間値、すなわち、動きベクトルを用いて画
素の平均で補間したりまたは動きベクトルを適用した画
素値とその画素の平均値、そして補間される画素の垂直
方向に隣接した二つの画素間値のメジアン値を出力す
る。
【００５１】時空間補間部１７６はフレームの補間値と
して補間される画素の周辺に隣接した画素と補間される
フィールドの前後フィールドで補間される画素の平均値
を出力する。動き評価部１７４は図１３の動き予測部４
１０で計算された現在ブロックのMAD値を用いて動き程
度を評価する。
【００５２】動き適応部１７８は、動き評価部１７４で
評価された動き程度値を用いて動き補償補間部１７２の
出力値と時空間補間部１７６の出力値を適応するように
計算して最終的に補間される画素値を設定する。したが
って、図１７のデインターレーシング装置は、動き有無
を判定する過程で精密でない動きベクトルを利用する場
合に発生するエラーを防止する。
【００５３】
【発明の効果】前述したように本発明によれば、補間さ
れるフレームを基準として連続的な二つのフレームの両
方向動きベクトルを直接求めることによって重なる部分
及び穴部分が全く発生しないで画質を向上させられ、特
にカメラモーションがあるパニング(panning)やズーミ
ング(zooming)映像に効率的に対応でき、また既存方式
で発生するフィールド間の時間軸上の雑音と各ライン間
の明滅現象を減らせ、また既存のデインターレーシング
技法より輪郭性保存能力に優れる。また入力映像の動き
程度によって動き補償型補間値または時空間補間値を適
応的に選択することによって単純に動き補償型補間値を
用いることより動きに対する情報の信頼性を高められな
がら、同時にアーチファクトを効率的に減少できる。
【図面の簡単な説明】
【図１】 従来のフレームレート変換装置のブロック図
である。
【図２】 図１の映像分割部で映像分割方法を説明する
ための図面である。
【図３】 図１の動き推定部で動き推定方法を説明する
ための図面である。
【図４】 図１の時空間スムージング部でリファイン以
前と以後の画面を示す図面である。
【図５】 図１の動き補償補間部で動き補償による補間
された映像の構成例を示す図面である。
【図６】 通常的なデインターレーシングの基本概念図
である。
【図７】 動き補償を用いていないELAデインターレー
シングアルゴリズムを適用するための３×３ウィンドで
ある。
【図８】 図６の時空間スムージング部でブロック別に
動きベクトル推定を説明するための図面である。
【図９】 本発明に係るフレームレート変換装置を示す
ブロック図である。
【図１０】 図１０Ａ乃至図１０Ｃは、両方向動きベク
トルを求める概念図である。
【図１１】 図９の時空間スムージング部の動きベクト
ルを改善する概念図である。
【図１２】 図９の改善された動き補償補間部の動き補
償型補間方法を説明する概念図である。
【図１３】 本発明に係るデインターレーシング装置を
示す全体ブロック図である。
【図１４】 図１３の動き推定部のデシメーション変換
を示す概念図である。
【図１５】 図１３の信号変換部で動き補償型デインタ
ーレーシングを示す概念図である。
【図１６】 図１３の信号変換部でメジアンフィルタを
用いた時空間補間を示す概念図である。
【図１７】 本発明に係るデインターレーシング装置の
他の実施形態である。
【符号の説明】 １７２ 動き補償補間部 １７４ 動き評価部 １７６ 時空間補間部 １７８ 動き適応部 ２１０ 動き推定部 ２２０ 時空間スムージング部 ２３０ 改善された動き補償補間部

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 フレームレート変換方法において、 (a)現在フレームと以前フレームとの動きベクトルを使
    用して補間されるフレームに対する両方向の動きベクト
    ルを推定する過程と、 (b)補間されるフレームで前記(a)過程で推定された動き
    ベクトル中で画素誤差が最小の周辺ブロックの動きベク
    トルを現在ブロックの動きベクトルに設定する過程と、 (c)前記(b)過程で設定された動きベクトルで補間される
    フレームを形成する過程とを含むフレームレート変換方
    法。
  2. 【請求項２】 前記(a)過程は、 (a−１)現在フレームと以前フレームとの動きベクトル
    を検出して補間されるフレームに割当てる過程と、 (a−２)補間されるフレームでブロックグリッドによっ
    て前記(a−１)過程で割当てられた動きベクトルを調整
    する過程とを含むことを特徴とする請求項１に記載のフ
    レームレート変換方法。
  3. 【請求項３】 前記(a−１)で動きベクトル検出は、 映像をデシメーションする過程と、 前記過程でデシメーションされた映像から動きベクトル
    を推定する過程とを含むことを特徴とする請求項２に記
    載のフレームレート変換方法。
  4. 【請求項４】 前記(a−２)過程は、 補間されるフレームで、ブロックグリッドによって形成
    されたブロックの中心を線形的に通過する以前フレーム
    と現在フレームのブロック中で誤差が一番少ない値を補
    間されるフレームブロックの両方向動きベクトルに推定
    する過程であることを特徴とする請求項２に記載のフレ
    ームレート変換方法。
  5. 【請求項５】 前記(b)過程は、補間されるフレームで
    現在ブロックの動きベクトルの正確性を評価し、画素誤
    差が最小の周辺ブロックの動きベクトルを現在ブロック
    の動きベクトルに設定する過程を含むことを特徴とする
    請求項１に記載のフレームレート変換方法。
  6. 【請求項６】 前記(b)過程は、 補間されるフレームを基準として動きベクトルを割当
    て、 現在ブロックの前記動きベクトルの正確性を評価し、 画素誤差が最小の周辺ブロックの前記動きベクトルを現
    在ブロックの動きベクトルに設定する過程を含むことを
    特徴とする請求項１に記載のフレームレート変換方法。
  7. 【請求項７】 前記(c)過程は、補間されるフレームで
    前記推定された動きベクトルを適用して各ブロックの平
    均で補間されるブロックを形成することを特徴とする請
    求項１に記載のフレームレート変換方法。
  8. 【請求項８】 前記(c)過程は、前記補間されるブロッ
    クを拡張して重畳された領域で相異した加重値をおいて
    補間する過程であることを特徴とする請求項１に記載の
    フレームレート変換方法。
  9. 【請求項９】 フレームレート変換装置において、 現在フレームと以前フレームとの動きベクトルを求めて
    補間されるフレームに割当て、前記補間されるフレーム
    に対して割当てられた動きベクトルを推定する両方向動
    き推定手段と、 前記両方向動き推定手段で補間されるフレームで現在ブ
    ロックの動きベクトルの正確性を評価した後、画素誤差
    が最小の周辺ブロックの動きベクトルを現在ブロックの
    動きベクトルに設定する時空間スムージング部と、 前記補間されるブロックを拡張して重畳された領域で相
    異した加重値をおいて前記時空間スムージング部で求め
    られた動きベクトルで補間する補間部とを含むフレーム
    レート変換装置。
  10. 【請求項１０】 デインターレーシング方法において、 (a)現在フィールドと以前フィールドとの動きベクトル
    を使用して補間される画素に対する両方向の動きベクト
    ルを推定する過程と、 (b)前記(a)過程で周辺画素誤差が最小の動きベクトルを
    補間される画素の動きベクトルに設定する過程と、 (c)前記(b)過程で設定された動きベクトルで補間される
    画素を形成する過程とを含むデインターレーシング方
    法。
  11. 【請求項１１】 前記(a)過程は、 (a−１)現在フィールドと以前フィールドとの動きベク
    トルを検出して補間されるフィールドに割当てる過程
    と、 (a−２)補間されるフレームでブロックグリッドによっ
    て前記(a−１)過程で割当になった動きベクトルを調整
    する過程とを含むことを特徴とする請求項１０に記載の
    デインターレーシング方法。
  12. 【請求項１２】 前記(a−２)過程は、 補間されるフィールドでブロックグリッドによって形成
    されたブロックの中心を線形的に通過する以前フィール
    ドと現在フィールドのブロック中で誤差が一番少ない位
    置値を補間されるフィールドのブロックの両方向動きベ
    クトルに推定する過程であることを特徴とする請求項１
    ０に記載のデインターレーシング方法。
  13. 【請求項１３】 前記(b)過程は、補間されるフレーム
    で現在ブロックの動きベクトルの正確性を評価し、画素
    誤差が最小の周辺ブロックの動きベクトルを現在ブロッ
    クの動きベクトルに設定する過程を含むことを特徴とす
    る請求項１０に記載のデインターレーシング方法。
  14. 【請求項１４】 前記(b)過程は、 補間されるフレームを基準として動きベクトルを調整
    し、 現在ブロックの前記動きベクトルの正確性を評価し、 画素誤差が最小の周辺ブロックの前記動きベクトルを現
    在ブロックの動きベクトルに設定する過程を含むことを
    特徴とする請求項１０に記載のデインターレーシング方
    法。
  15. 【請求項１５】 前記(c)過程は、補間されるフレーム
    で前記過程で推定された動きベクトルを適用して各ブロ
    ックの平均で補間されるブロックを形成することを特徴
    とする請求項１に記載のデインターレーシング方法。
  16. 【請求項１６】 前記(c)過程は、前記補間されるフィ
    ールドの前後フィールドで推定された動きベクトルを適
    用した画素値とその画素の平均値、そして補間される画
    素の垂直方向に隣接した二つの画素値中でメジアン値で
    補間される画素に設定することを特徴とする請求項１０
    に記載のデインターレーシング方法。
  17. 【請求項１７】 前記(c)過程は、補間されるフィール
    ドは映像データがあるラインであれば元画素をそのまま
    取り、そうでなければ(n−１)番目フィールドの同一位
    置画素値と(n＋１)番目フィールドの同一位置画素値、n
    番目フィールドで補間される画素の垂直方向の隣接画素
    値、前記画素値の平均値中で中間値を取ることを特徴と
    する請求項１０に記載のデインターレーシング方法。
  18. 【請求項１８】 デインターレーシング装置において、 現在フィールドと以前フィールドとの動きベクトルを求
    めて補間されるフィールドに割当て、補間されるフィー
    ルドに対して前記割当てられた動きベクトルを推定する
    両方向動き推定部と、 前記両方向動き推定部で補間されるフィールドで現在ブ
    ロックの動きベクトルの正確性を評価した後、画素誤差
    が最小の周辺ブロックの動きベクトルを現在ブロックの
    動きベクトルに設定する時空間スムージング部と、 前記時空間スムージング部で設定された動きベクトルを
    適用して求められた画素値とその値の平均値、そして補
    間される画素で垂直方向に隣接した画素値中でメジアン
    値で映像データのないラインの画素を構成する信号変換
    部とを含むデインターレーシング装置。
  19. 【請求項１９】 適応的なデインターレーシング装置に
    おいて、 以前フィールドと現在フィールドのブロック間画素誤差
    が最小の動きベクトル値を参照して動き程度を評価する
    動き評価部と、 補間される画素に対して両方向動きベクトルを適用した
    画素の平均で補間したり、動きベクトルを適用した画素
    値とその画素の平均値、そして補間される画素の垂直方
    向に隣接した二つの画素間値のメジアン値で補間する動
    き補償補間部と、 補間される画素周辺に隣接した画素と補間されるフィー
    ルドの前後フィールドで補間される画素の平均値で補間
    する時空間補間部と、 前記動き評価部で評価された動き程度によって前記動き
    補償補間部の補間値と時空間補間部の補間値を適応的に
    選択する動き適応部とを含むデインターレーシング装
    置。
  20. 【請求項２０】 適応的なフレームレート変換装置にお
    いて、 以前フレームと現在フレームのブロック間画素誤差が最
    小の動きベクトル値を参照して動き程度を評価する動き
    評価部と、 補間されるフレームを基準として検出された両方向動き
    ベクトルを適用した画素の平均で補間する動き補償補間
    部と、 補間されるフレームの周辺に隣接した画素と補間される
    フレームの前後フレームで補間される画素の平均値で補
    間する時空間補間部と、 前記動き評価部で評価された動き程度によって前記動き
    補償補間部の補間値と時空間補間部の補間値を適応的に
    選択する動き適応部とを含むフレームレート変換装置。
JP2001072812A 2000-06-13 2001-03-14 両方向動きベクトルを用いたフォーマット変換装置及びその方法 Expired - Fee Related JP4563603B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR200032388 2000-06-13
KR1020000032388A KR100708091B1 (ko) 2000-06-13 2000-06-13 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법

Publications (2)

Publication Number Publication Date
JP2002027414A true JP2002027414A (ja) 2002-01-25
JP4563603B2 JP4563603B2 (ja) 2010-10-13

Family

ID=19671823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001072812A Expired - Fee Related JP4563603B2 (ja) 2000-06-13 2001-03-14 両方向動きベクトルを用いたフォーマット変換装置及びその方法

Country Status (5)

Country Link
US (1) US6900846B2 (ja)
EP (1) EP1164792A3 (ja)
JP (1) JP4563603B2 (ja)
KR (1) KR100708091B1 (ja)
CN (1) CN1183768C (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US7412114B2 (en) 2003-03-25 2008-08-12 Kabushiki Kaisha Toshiba Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
WO2010023982A1 (ja) 2008-08-27 2010-03-04 三菱電機株式会社 動きベクトル検出装置および画像処理装置
JP2010068102A (ja) * 2008-09-09 2010-03-25 Fujitsu Ltd 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
KR100991618B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991624B1 (ko) 2008-11-03 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991568B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
US8559517B2 (en) 2006-12-28 2013-10-15 Hitachi Consumer Electronics Co., Ltd. Image processing apparatus and image display apparatus provided with the same
US8768103B2 (en) 2007-03-19 2014-07-01 Hitachi Consumer Electronics Co., Ltd. Video processing apparatus and video display apparatus
JP2016121877A (ja) * 2014-12-24 2016-07-07 シチズンホールディングス株式会社 電子機器

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663695B2 (en) * 2000-05-05 2010-02-16 Stmicroelectronics S.R.L. Method and system for de-interlacing digital images, and computer program product therefor
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US8111754B1 (en) * 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
US20030107648A1 (en) * 2001-12-12 2003-06-12 Richard Stewart Surveillance system and method with adaptive frame rate
US6885706B2 (en) * 2002-01-05 2005-04-26 Aiptek International Inc. Method for promoting temporal resolution of sequential images
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
AU2012244113B2 (en) * 2002-06-28 2013-06-27 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7362374B2 (en) * 2002-08-30 2008-04-22 Altera Corporation Video interlacing using object motion estimation
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
US20040066466A1 (en) * 2002-10-08 2004-04-08 Macinnis Alexander Progressive conversion of interlaced video based on coded bitstream analysis
JP4462823B2 (ja) * 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
KR100486284B1 (ko) * 2002-11-22 2005-04-29 삼성전자주식회사 연속되는 두 개의 디인터레이스 프레임들을 출력할 수있는 디인터레이스 장치 및 디인터레이스 방법
KR20040050577A (ko) * 2002-12-10 2004-06-16 삼성전자주식회사 디인터레이싱 장치 및 방법
KR100532099B1 (ko) * 2002-12-26 2005-11-29 삼성전자주식회사 프레임 레이트 변환 장치 및 방법
KR20040061244A (ko) * 2002-12-30 2004-07-07 삼성전자주식회사 디-인터레이싱 방법 및 그 장치
KR100499144B1 (ko) * 2003-03-06 2005-07-04 삼성전자주식회사 적응적 양방향 움직임 추정 방법을 이용한 내삽 영상의움직임 벡터 생성 방법 및 장치
JP3887346B2 (ja) * 2003-04-28 2007-02-28 株式会社東芝 映像信号処理装置及び映像信号処理方法、映像表示装置
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
KR100530223B1 (ko) * 2003-05-13 2005-11-22 삼성전자주식회사 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
US7129987B1 (en) 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
US7170469B2 (en) * 2003-07-18 2007-01-30 Realtek Semiconductor Corp. Method and apparatus for image frame synchronization
DE60312981D1 (de) * 2003-08-26 2007-05-16 St Microelectronics Srl Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern
EP1665781B1 (en) * 2003-09-04 2007-02-07 Koninklijke Philips Electronics N.V. Robust de-interlacing of video signals
EP1665780A1 (en) * 2003-09-04 2006-06-07 Koninklijke Philips Electronics N.V. Robust de-interlacing of video signals
CN1316824C (zh) * 2004-02-02 2007-05-16 扬智科技股份有限公司 运动向量解交错的方法
KR100565066B1 (ko) * 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
US20110025911A1 (en) * 2004-05-17 2011-02-03 Weisgerber Robert C Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US20060017843A1 (en) * 2004-07-20 2006-01-26 Fang Shi Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
KR101127220B1 (ko) * 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
KR101042623B1 (ko) 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
JP4396496B2 (ja) * 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
JP5318561B2 (ja) 2005-03-10 2013-10-16 クゥアルコム・インコーポレイテッド マルチメディア処理のためのコンテンツ分類
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
WO2006117878A1 (ja) * 2005-04-28 2006-11-09 Hitachi, Ltd. フレームレート変換装置及び映像表示装置
US8018998B2 (en) * 2005-05-20 2011-09-13 Microsoft Corporation Low complexity motion compensated frame interpolation method
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US20070206117A1 (en) 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US20070153123A1 (en) * 2005-12-21 2007-07-05 Analog Devices, Inc. Method and apparatus for progressive scanning of interlaced video
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US8204104B2 (en) * 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
KR101127432B1 (ko) 2006-04-03 2012-07-04 퀄컴 인코포레이티드 전처리기 방법 및 장치
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
EP1855474A1 (en) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence
CN102685533B (zh) 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
KR100848509B1 (ko) * 2006-10-10 2008-07-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
US7697836B2 (en) 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US8259226B2 (en) * 2006-11-24 2012-09-04 Sharp Kabushiki Kaisha Image display device
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
US8115863B2 (en) * 2007-04-04 2012-02-14 Freescale Semiconductor, Inc. Video de-interlacer using pixel trajectory
US20080260021A1 (en) * 2007-04-23 2008-10-23 Chih-Ta Star Sung Method of digital video decompression, deinterlacing and frame rate conversion
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
TWI342714B (en) * 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP4586052B2 (ja) 2007-08-08 2010-11-24 キヤノン株式会社 画像処理装置及びその制御方法
JP5080899B2 (ja) 2007-08-08 2012-11-21 キヤノン株式会社 映像処理装置及びその制御方法
US20090207314A1 (en) * 2008-02-14 2009-08-20 Brian Heng Method and system for motion vector estimation using a pivotal pixel search
US8482620B2 (en) 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
US8805101B2 (en) * 2008-06-30 2014-08-12 Intel Corporation Converting the frame rate of video streams
CN102113326A (zh) 2008-08-04 2011-06-29 杜比实验室特许公司 重叠块差异估计和补偿体系结构
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
CN102224734B (zh) * 2008-10-02 2013-11-13 索尼公司 图像处理设备和方法
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8218075B2 (en) * 2009-02-06 2012-07-10 Analog Devices, Inc. Method and system for efficient de-interlacing
DE102009001520B4 (de) * 2009-03-12 2016-02-25 Entropic Communications, Inc. Vorrichtung und Verfahren zur Zwischenbildinterpolation
CN101534445B (zh) * 2009-04-15 2011-06-22 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
US8724022B2 (en) 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
KR20110055196A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 디스플레이장치 및 그 영상신호처리방법
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
JP5372721B2 (ja) * 2009-12-11 2013-12-18 ルネサスエレクトロニクス株式会社 映像信号処理装置、方法及びプログラム
CN102823242B (zh) 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
KR101791919B1 (ko) * 2010-01-22 2017-11-02 톰슨 라이센싱 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
JP5424926B2 (ja) * 2010-02-15 2014-02-26 パナソニック株式会社 映像処理装置、映像処理方法
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
WO2012048055A1 (en) 2010-10-05 2012-04-12 General Instrument Corporation Coding and decoding utilizing adaptive context model selection with zigzag scan
US8514328B2 (en) * 2010-12-27 2013-08-20 Stmicroelectronics, Inc. Motion vector based image segmentation
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
EP2842337B1 (en) 2012-04-23 2019-03-13 Google LLC Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US8819525B1 (en) 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9277169B2 (en) * 2013-02-21 2016-03-01 Robert C. Weisgerber Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
GB2514557A (en) * 2013-05-28 2014-12-03 Snell Ltd Image processing
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
JP5896089B1 (ja) * 2014-04-17 2016-03-30 新日鐵住金株式会社 オーステナイト系ステンレス鋼及びその製造方法
CN104219533B (zh) * 2014-09-24 2018-01-12 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10430664B2 (en) * 2015-03-16 2019-10-01 Rohan Sanil System for automatically editing video
CN104811723B (zh) * 2015-04-24 2018-03-16 宏祐图像科技(上海)有限公司 Memc技术中局部运动矢量修正方法
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
KR101959888B1 (ko) * 2017-12-27 2019-03-19 인천대학교 산학협력단 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법
CN108305216B (zh) * 2018-03-15 2021-07-30 嘉兴学院 一种双边四次插值的图像放大方法
US10469869B1 (en) 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
US11516490B2 (en) 2018-07-16 2022-11-29 Lg Electronics Inc. Method and device for inter predicting on basis of DMVR
CN109068083B (zh) * 2018-09-10 2021-06-01 河海大学 一种基于正方形的自适应运动矢量场平滑方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61200789A (ja) * 1985-03-04 1986-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の物体の動きベクトル検出方式
US5198901A (en) * 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
FR2700090B1 (fr) * 1992-12-30 1995-01-27 Thomson Csf Procédé de désentrelacement de trames d'une séquence d'images animées.
GB2283385B (en) * 1993-10-26 1998-04-01 Sony Uk Ltd Motion compensated video signal processing
US5453799A (en) * 1993-11-05 1995-09-26 Comsat Corporation Unified motion estimation architecture
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
JP2671820B2 (ja) * 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
JP3191583B2 (ja) 1994-12-12 2001-07-23 ソニー株式会社 情報復号化装置
CN1108061C (zh) 1995-03-20 2003-05-07 大宇电子株式会社 利用搜索网格对视频信号编码的装置
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
US5778097A (en) * 1996-03-07 1998-07-07 Intel Corporation Table-driven bi-directional motion estimation using scratch area and offset valves
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
KR100255648B1 (ko) * 1997-10-10 2000-05-01 윤종용 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
KR100252080B1 (ko) * 1997-10-10 2000-04-15 윤종용 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
WO1999067952A1 (en) * 1998-06-25 1999-12-29 Hitachi, Ltd. Method and device for converting number of frames of image signals
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396128B2 (en) 2002-10-04 2013-03-12 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8638856B2 (en) 2002-10-04 2014-01-28 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US9743108B2 (en) 2002-10-04 2017-08-22 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US8411748B2 (en) 2002-10-04 2013-04-02 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US8416853B2 (en) 2002-10-04 2013-04-09 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US9066106B2 (en) 2002-10-04 2015-06-23 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US9042451B2 (en) 2002-10-04 2015-05-26 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US8345758B2 (en) 2002-10-04 2013-01-01 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8345757B2 (en) 2002-10-04 2013-01-01 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a list o motion vector of a co-located block in a reference picture
US8351503B2 (en) 2002-10-04 2013-01-08 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on temporal distances associated with a co-located block in a reference picture
US8351506B2 (en) 2002-10-04 2013-01-08 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8351507B2 (en) 2002-10-04 2013-01-08 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8351504B2 (en) 2002-10-04 2013-01-08 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive image block by applying a bit operation
US8351505B2 (en) 2002-10-04 2013-01-08 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8385417B2 (en) 2002-10-04 2013-02-26 Lg Electronics, Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US9042453B2 (en) 2002-10-04 2015-05-26 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US9042452B2 (en) 2002-10-04 2015-05-26 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US8891624B2 (en) 2002-10-04 2014-11-18 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US8416854B2 (en) 2002-10-04 2013-04-09 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8422556B2 (en) 2002-10-04 2013-04-16 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8428134B2 (en) 2002-10-04 2013-04-23 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8432969B2 (en) 2002-10-04 2013-04-30 Lg Electronics Inc. Method of deriving a motion vector of a bi-predictive block based on a motion vector of a co-located block in a reference picture
US8891623B2 (en) 2002-10-04 2014-11-18 Lg Electronics Inc. Method to derive at least one motion vector of a bi-predictive block in a current picture
US7412114B2 (en) 2003-03-25 2008-08-12 Kabushiki Kaisha Toshiba Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
US7586540B2 (en) 2004-10-29 2009-09-08 Hitachi Displays, Ltd. Image interpolation device and a frame rate converter and image display apparatus using the same
US8559517B2 (en) 2006-12-28 2013-10-15 Hitachi Consumer Electronics Co., Ltd. Image processing apparatus and image display apparatus provided with the same
US8768103B2 (en) 2007-03-19 2014-07-01 Hitachi Consumer Electronics Co., Ltd. Video processing apparatus and video display apparatus
WO2010023982A1 (ja) 2008-08-27 2010-03-04 三菱電機株式会社 動きベクトル検出装置および画像処理装置
US8615036B2 (en) 2008-09-09 2013-12-24 Fujitsu Limited Generating interpolated frame of video signal with enhancement filter
JP2010068102A (ja) * 2008-09-09 2010-03-25 Fujitsu Ltd 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
KR100991624B1 (ko) 2008-11-03 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991618B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
KR100991568B1 (ko) 2008-11-14 2010-11-04 엘지전자 주식회사 모션벡터 결정방법
JP2016121877A (ja) * 2014-12-24 2016-07-07 シチズンホールディングス株式会社 電子機器

Also Published As

Publication number Publication date
KR20010111740A (ko) 2001-12-20
JP4563603B2 (ja) 2010-10-13
US6900846B2 (en) 2005-05-31
EP1164792A2 (en) 2001-12-19
CN1183768C (zh) 2005-01-05
US20020036705A1 (en) 2002-03-28
EP1164792A3 (en) 2003-08-13
KR100708091B1 (ko) 2007-04-16
CN1328405A (zh) 2001-12-26

Similar Documents

Publication Publication Date Title
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
KR100393066B1 (ko) 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
JP5657391B2 (ja) ハローを低減する画像補間
US5784115A (en) System and method for motion compensated de-interlacing of video frames
US7075988B2 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
US20030103568A1 (en) Pixel data selection device for motion compensated interpolation and method thereof
EP0883298A2 (en) Conversion apparatus for image signals and TV receiver
JP4153480B2 (ja) ノイズ減衰装置及び順次走査変換装置
JP4092778B2 (ja) 画像信号の方式変換装置及びテレビジョン受像機
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
JP2005503085A (ja) 動き推定および／または補償
JP2004518341A (ja) 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2006504175A (ja) フォールバックを用いる画像処理装置
JPH02290384A (ja) 動き補正付きテレビジョン信号方式変換器
JPH11112940A (ja) 動きベクトルの生成方法および装置
KR100968642B1 (ko) 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
JPH06237441A (ja) 映像信号多分岐回帰処理装置
KR100644601B1 (ko) 움직임 보상형 보간을 이용한 디-인터레이싱 장치 및 그방법
JP2005045700A (ja) 動画像補間用動き推定方法及び動画像補間用動き推定装置
JP2770300B2 (ja) 画像信号処理処置
JPH08186802A (ja) 飛び越し走査画像の補間画素作成方法
KR100382650B1 (ko) 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
KR100382651B1 (ko) 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040420

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040722

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061017

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070118

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070306

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070502

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100603

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100729

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4563603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees