JP2004518339A - 動き補償による補間におけるハローの影響の低減方法 - Google Patents

動き補償による補間におけるハローの影響の低減方法 Download PDF

Info

Publication number
JP2004518339A
JP2004518339A JP2002557120A JP2002557120A JP2004518339A JP 2004518339 A JP2004518339 A JP 2004518339A JP 2002557120 A JP2002557120 A JP 2002557120A JP 2002557120 A JP2002557120 A JP 2002557120A JP 2004518339 A JP2004518339 A JP 2004518339A
Authority
JP
Japan
Prior art keywords
image
pixels
group
motion vector
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002557120A
Other languages
English (en)
Other versions
JP4053422B2 (ja
Inventor
ペラゴッティ,アナ
スヒュテン,ローベルト イェー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8179751&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2004518339(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2004518339A publication Critical patent/JP2004518339A/ja
Application granted granted Critical
Publication of JP4053422B2 publication Critical patent/JP4053422B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Picture Signal Circuits (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本発明は、データ信号が連続画像から構成されて各々の画像が画素の群から構成される、データ信号の動き補償による補間方法であって、デジタル信号において一の画像の第1の画素の群と他の画像の第2の画素の群との間に動きベクトルを生成する段階(18)であって、各々の動きベクトルは前記一の画像の画素の群に対応する、動きベクトルを生成する段階と、これらの動きベクトルの関数として補間結果を生成する段階(16)と、から構成される。本発明にしたがって、特定の画素の群に対応する各々の動きベクトルの信頼性が評価され(20)、動きベクトルの信頼性の関数として重み付けが演算され、そして、これらの重み付けに基づいて、補間結果の重み付け平均を演算することにより補間画像のために画素の群の補間光度が生成される。

Description

【0001】
(技術分野)
本発明はデータ信号の動き補償による補間に関わり、そのデータ信号は連続画像から構成されて各々の画像は画素の群から構成され、データ信号において一の画像の第1の画素の群と他の画像の第2の画素の群との間で動きベクトルが生成されて各々の動きベクトルは前記一の画像の画素の群に対応し、そして補間結果はこれら動きベクトルの関数として得られる。更に、本発明は、データ信号を受け取るための手段から構成されるピクチャ信号表示装置、及びこのデータ信号の動き補償による補間のための装置に関わる。
【0002】
(背景技術)
米国特許第5,777,689明細書は、画像の画素の各々の群について少なくとも2つの動きベクトルを演算することについて記載している。次いで、各々の動きベクトルについて補間結果が演算される。最終的に、このようにして得られた補間結果の平均を求め、補間画像が最終的に生成される。その方法の不利な点は、補間画像におけるハローの影響の範囲が大きくなることである。このハローの影響は、動いているものの境界において主に発生する欠陥(ぼやけ及び/またはレンズの拡大の影響)によるものであり、データ信号の動き補償による補間画像における正しくない動きベクトル及び/または正しくない補間方法(オクルージョン(occlusion)問題を考慮していない)に原因するものである。画像をみる者にとってハローの影響は迷惑なものである。
【0003】
(発明の概要)
本発明の目的は、データ信号の補間画像におけるハローの影響の範囲を減少させる動き補償による補間を提供することである。それ故、本発明は、動き補償による補間であって:所定の画像の群に対応する各々の動きベクトルの信頼性を評価する段階;動きベクトルの信頼性の関数として重み付けを演算する段階;及び、これらの重み付けに基づいて、補間結果の重み付け平均を演算することにより補間画像のための画素の群の補間光度を生成する段階;から更に構成される。
【0004】
従属請求項において好適な実施形態を明確にしている。
【0005】
動きベクトルの信頼性は動きベクトルの正確さの関数とすることが可能である。動きベクトルの正確さは、動きベクトルに基づいて予測される光度の違いにより決定され、動きベクトルは、第2画像における第2の画素の群及び第2画像の第2の画素の群の実際の光度のために、第1画像の第1の画素の群に割り当てられる。動きベクトルの信頼性はまた、第1の画素の群の隣の画素の群における動きベクトルの発生の相対的頻度の関数とすることが可能である。一般に、第1の画素の群の第1画像には8つの隣接する画素の群が存在する。動きベクトルの信頼性はまた、動きベクトルの正確さとその相対的発生率の両者の関数とすることが可能である。
【0006】
各々の補間結果について、補間結果を生成した動きベクトルの信頼性の関数として重み付けを演算する。各々の画素の群は複数の動きベクトルを割り当てられるため、これは複数の補間結果及びそれに対応する画素の群当たりの重み付けをもたらす。
【0007】
結局、画素の群の補間光度は、補間結果の信頼性に基づく補間結果の重み付け平均として演算される。この方法はいくつかの重要な優位点を提供する。この第1の例は、複数の動きベクトルの中でただ1つの動きベクトルが適切である状況である。次いで、補間結果はこの動きベクトルに対応し、この補間結果がその画素の群の補間光度を決定付けるように、大きな重み付けが割り当てられる。その結果、画素の群の補間光度についての高い正確さが得られ、ハローの影響によるリスクが現れることなく、ピクチャの精細な詳細部を示すことが可能である。本発明にしたがった方法の優位点の第2の例は、動きベクトルの何れもが適切でないとする状況である。この状況において、複数の動きベクトルは大きな相違を示し、動きベクトルの何れに対して大きな重み付けを割り当てられない。この影響は、画素の群の補間光度が補間結果に対してスムーズな平均となって現れる。この場合、精細な詳細部はまったく現れず、ピクチャはぼやけてしまう。しかしながら、みる者からすれば、ぼやけたピクチャは間違ったちらつきがある細部が示される場合に比べてより魅力的である。そのようにして、上述の2つの例において、ハローの影響は低減される。
【0008】
本発明の方法の実施形態は、画素の群の補間光度が次式に従って演算されることにおいて特徴がある。
【0009】
【数6】
Figure 2004518339
ここで、
【0010】
【外18】
Figure 2004518339
は補間画像FK+Δの画素の群の補間光度であり、実数Δは画像シーケンスF(ここで、n=1,2,...,k,k+1,...,N)における補間画像Fk+Δの位置を規定する。一般に、Δは0〜1の中の実数である。更に、式(I)において、画像における画素の群の位置は整数の二次元ベクトル
【0011】
【外19】
Figure 2004518339
により規定され、Σm=I,...,M{.}は項{.}における1〜Mまでの和であり、
【0012】
【外20】
Figure 2004518339
はm番目の補間結果
【0013】
【外21】
Figure 2004518339
に対応する重み付けである。m番目の補間結果
【0014】
【外22】
Figure 2004518339
は、例えば、次式の補間方法に従って演算される。
【0015】
【数7】
Figure 2004518339
ここで、median{.}は入力項のメジアン値を与える関数であってround{.}はその入力項の各々の成分に最も近い整数値を与える関数であり、
【0016】
【外23】
Figure 2004518339
は画像Fにおける位置
【0017】
【外24】
Figure 2004518339
における画素の群の光度であって
【0018】
【外25】
Figure 2004518339
は画像Fにおける位置
【0019】
【外26】
Figure 2004518339
における画素の群に対応するm番目の整数の二次元動きベクトルのM個の動きベクトルであり、m番目の動きベクトルは2つの連続画像間で規格化され、
【0020】
【外27】
Figure 2004518339
は動きベクトル
【0021】
【外28】
Figure 2004518339
の信頼性の関数である。この実施形態において、補間(II)は2つの連続画像FとFK+1の間で実施され、非常に正確な補間画像Fk+Δを導く。式(II)のメジアン関数の実施は、更に、補間における誤りによってちらつく細部についてのリスクを低減する対策になっている。
【0022】
本発明の更なる実施形態は、動きベクトル
【0023】
【外29】
Figure 2004518339
の信頼性即ち重み付けが光度
【0024】
【外30】
Figure 2004518339

【0025】
【外31】
Figure 2004518339
との間の違いの関数であり、また、画像Fの位置
【0026】
【外32】
Figure 2004518339
の隣における
【0027】
【外33】
Figure 2004518339
の発生の相対頻度の関数である、ことにおいて特徴的である。この方法において、動きベクトルの信頼性は2つの成分から構成される。第1の成分は動きベクトルの正確さであり、少なくとも2つの連続画像の少なくとも2つの光度に基づいて設定される。第2成分は一貫性であり、少なくとも1つの画像における動きベクトルの相対的発生に基づいて設定される。
【0028】
更に他の実施形態において、本発明の方法は、本発明の方法にしたがった画素の群の補間光度の生成は、動きベクトル場のエッジが位置するデータ信号の画像におけるそれらの部分のみにおいて実施される、ことにおいて特徴的である。このことは、本発明にしたがった補間がハローの影響が最もありそうな画像の部分のみにおいて実施される優位性に導く。これは処理時間を短縮する。
【0029】
本発明の更なる実施形態は、エッジを検出する段階から構成される方法であることに特徴があり、次の不等式(III)及び(IV)のうち少なくとも1つを満足する場合に、画像Fにおけるエッジが検出される。
【0030】
【数8】
Figure 2004518339
【0031】
【数9】
Figure 2004518339
ここで、qは所定の整数であり、||.||はその入力項の絶対値を生成する関数であり、[.]はそのベクトル入力項のp番目の成分を生成する関数である。更に不等式(III)及び(IV)において、Tは所定の固定された実数の閾値であり、
【0032】
【外34】
Figure 2004518339

【0033】
【数10】
Figure 2004518339
で与えられるベクトルであり、ここで、K及びKは整数値である。本発明のこの実施形態において、不等式(III)及び(IV)を用いて、同じ画像の同じ種類の動きベクトル間に現れる不連続性によりエッジが規定される。
【0034】
本発明の上述の及び他の特徴は、以下に詳述する実施形態から、及びそれに関連して、明らかになるであろう。
【0035】
(発明の詳細な説明)
本発明にしたがった動き補償による補間方法において、データ信号は画像シーケンスF(n=1,2,...,k,k+1,...,N)から構成される。データ信号は、各々の画像がピクチャである映画とすることが可能である。図1において、そのようなデータ信号2が、画像F、F、Fk+1及びFにより模式的に示されている。更に、画像Fk+Δが示されている。この画像は、例えば、F及びFk+1を補間することにより得られる。実数値Δは、画像のシーケンスにおいて補間がぞうの相対位置Fk+Δを規定する。
【0036】
図2は、更に詳細に画像Fを示す。各々の画像は画素により構成されている。画素4は、特定の光度を与えられる画像の最も小さい要素である。多くの画素は画素の群6(またはブロックと呼ばれる)を成し、画素の群(ブロック)におけるこの画素の数は予め規定され、0より大きい任意の整数とすることが可能である。画像における特定の画素の群の位置は二次元整数ベクトル
【0037】
【外35】
Figure 2004518339
により表され、画素の群6の
【0038】
【外36】
Figure 2004518339
の成分x及びxは図2に示される。各々の画素の群は特定の光度を有する。画像Fにおける位置
【0039】
【外37】
Figure 2004518339
における画素の群の光度は
【0040】
【外38】
Figure 2004518339
である。データ信号2の補間に対して、動きベクトル
【0041】
【外39】
Figure 2004518339
8を設定しなければならない。これらの動きベクトルは、連続画像間で規格化される二次元整数ベクトルである。動きベクトル
【0042】
【外40】
Figure 2004518339
は画像Fの位置
【0043】
【外41】
Figure 2004518339
における画素の群に割り当てられ、画像Fk+1において対応する光度の位置を予測する。複数のM個の動きベクトル
【0044】
【外42】
Figure 2004518339
を各々の画素の群に割り当てることが可能であるため、動きベクトルはm=1,2,...,Mのように番号がつけられる。
【0045】
第1段階において、特定の画像に対して、画像の各々の画素の群について、動きベクトルを演算する。次いで、第2段階において、各々の画素の群は、前の段階において隣接する画素の群にすでに割り当てられた動きベクトルもまた割り当てられる。更に、この例においては、最も近い隣接する8つの画素の群のみを用いる。本発明の他の実施形態においては、隣接する画素の群の数及び相対的位置を、この例と異なるように選択することも可能である。
【0046】
この段階において、各々の画素の群は複数の動きベクトルを割り当てられる。第3段階において、各々の動きベクトルの信頼性を演算する。動きベクトルの信頼性は動きベクトルの正確さの関数とすることが可能である。動きベクトルに基づいて予測される光度の違いにより動きベクトルの正確さを決定することが可能であり、第2画像における第2の画素の群及び第2画像における第2の画素の群の実際の光度のために、第1画像の第1の画素の群に動きベクトルが割り当てられる。動きベクトルの信頼性はまた、第1の画素の群に隣接する画素の群における動きベクトルの発生の相対的頻度の関数とすることが可能である。一般に、第1の画素の群の第1画像には8つの隣接する画素の群が存在する。動きベクトルの信頼性はまた、動きベクトルの正確さ及びその相対的な発生率の両者の関数とすることが可能である。
【0047】
第4の段階は画像間の補間から構成される。画素の群に関連する各々の動きベクトルについて、原則として、この補間を実行する。各々の動きベクトルは補間結果を提供し、動きベクトルの信頼性に基づいて演算される重み付けを各々の補間結果に提供する。
【0048】
最後に、第5段階において、その重み付けにしたがって補間結果は平均化され、補間光度
【0049】
【外43】
Figure 2004518339
を生成する。これらすべての補間光度は共に補間画像Fk+Δを規定する。
【0050】
上述のような補間方法を、次に示す式を用いて詳細に説明する。画像Fの対応する画素の群のM個の動きベクトルについて、画像Fk+Δに対する補間結果
【0051】
【外44】
Figure 2004518339
を演算する。
【0052】
【外45】
Figure 2004518339
に対応するm番目の補間結果
【0053】
【外46】
Figure 2004518339
は、例えば次式により与えられる。
【0054】
【数11】
Figure 2004518339
ここで、median{.}はその入力項のメジアンを与える関数であり、round{.}は入力項の各々の成分に対する最も近い整数値を与える関数である。式(VI)においてメジアン関数を選択する理論的根拠について以下に説明する。光度
【0055】
【外47】
Figure 2004518339
及び
【0056】
【外48】
Figure 2004518339
の両者が動いているものに対応し、それ故、その動いているものが2つの画像F及びFk+1において可視的でなければならない場合、式(VI)の第1及び第3項は共に略同じ値をとるであろう。したがって、光度
【0057】
【外49】
Figure 2004518339
は、これら2つの値のうち1つをとり、式(VI)の好適な出力となる。しかしながら、F及びFk+1の画像のうち少なくとも1つにおいて動いているものが可視的でない(例えば、画像のピクチャの背景により覆われることによる)場合、第1及び第3項は異なる光度の値をとり得る。この場合、2つの連続画像のピクチャ間では一貫性がなく、この状況を操作する最もよい方法は極端な光度が生じないようにすることである。これは、F及びFk+1において動いているものの2つの光度のメジアン値(式(VI)の第1及び第3入力項)と、位置
【0058】
【外50】
Figure 2004518339
における画素の群の画像F及びFk+1についての光度の平均(式(VI)の第2項)とを、選択することにより、行うことが可能である。
【0059】
この段階において、各々の動きベクトル
【0060】
【外51】
Figure 2004518339
に対して、補間結果
【0061】
【外52】
Figure 2004518339
は式(VI)にしたがって得られる。更に、m番目の補間結果
【0062】
【外53】
Figure 2004518339
に対応する相対的重み付け
【0063】
【外54】
Figure 2004518339
は動きベクトルの信頼性に基づいて演算される。これと共に、画像Fk+Δについて導き出される補間光度
【0064】
【外55】
Figure 2004518339
は次式により演算されることが可能である。
【0065】
【数12】
Figure 2004518339
ここで、Σm=I,...,M{.}は項{.}における1〜Mまでの和である。
【0066】
本発明の進化した実施形態において、動きベクトルの信頼性は、2つの成分、即ち、その正確さと一貫性と、の関数である。
【0067】
【外56】
Figure 2004518339
の正確さは光度
【0068】
【外57】
Figure 2004518339
及び
【0069】
【外58】
Figure 2004518339
の間の違いの関数である。
【0070】
【外59】
Figure 2004518339
の一貫性は画像Fにおける位置
【0071】
【外60】
Figure 2004518339
の隣における
【0072】
【外61】
Figure 2004518339
の発生の相対頻度の関数である。この方法により、動いているものの大きさに関連する動きベクトルの正確さは、画素の群において測定され、少なくとも2つの連続画像からの光度を比較することにより評価される。動きベクトルの一貫性は、少なくとも1つの画像の情報に基づいて評価される。
【0073】
本発明にしたがった更に発展させた実施形態において、本発明にしたがった補間光度の生成は、動きベクトル場におけるエッジが検出される場合に、データ信号の一部のみにおいて機能する。通常、動きベクトル場における平面領域、即ちエッジのない領域についての補間は面倒な補間エラーを生じない、それ故、画像のこれら一部において従来の補間方法を用いることが可能である。
【0074】
本発明の更に発展させた実施形態における方法はエッジ検出の段階から構成され、次の不等式(VIII)及び(IX)のうち少なくとも1つを満足する場合、(動きベクトル場)画像Fにおいてエッジが検出される。
【0075】
【数13】
Figure 2004518339
【0076】
【数14】
Figure 2004518339
ここで、qは所定の整数値であり、||.|| は入力項の絶対値を生成する関数である。更に、[.]は、そのベクトルの入力項のp番目の成分を生成する関数であり、この例において、pは1または2である。実数値Tは所定の閾値であり、
【0077】
【外62】
Figure 2004518339
は二次元整数ベクトルであり、次式により与えられる。
【0078】
【数15】
Figure 2004518339
ここで、K及びKは整数値である。2つ以上の動きベクトルが画素の群に割り当てられる(M>1)場合、不等式(VIII)及び(IX)におけるq(1≦q≦M)のために整数値を選択することにより、特定の動きベクトルをその画素の群のために選択しなければならない。[1,0]方向のエッジの検出について、可能な手続きは、Kが0に等しくなく、Kが0に等しくなるように選択することである。[1,0]方向のエッジは、Kが0に等しく、Kが0に等しくない場合に検出されることが可能である。
【0079】
図3は、データ信号2の動き補償による補間のための装置10についての実施形態の模式図である。その装置の入力12はデータ信号2であり、出力14は画像Fk+Δのために補間光度を提供する。入力12はブロック16及びブロック18に供給される。ブロック16において、式(VI)にしたがった補間結果及び(VII)にしたがった補間光度が演算される。ブロック18においては、各々の画素の群についての第1の動きベクトルが演算される。次いで、ブロック18において、周囲の画素の群から生成する第2動きベクトルの所定数が各々の画素の群に割り当てられる。これにより、画素の群当たりの動きベクトルMの総和が導かれる。次いで、各々の動きベクトル
【0080】
【外63】
Figure 2004518339
が対応するブロック20.mに供給され、このブロックにおいて動きベクトルの信頼性が演算される。続いて、各々のブロック20.m(ここで、m=1,...,M)により、動きベクトル
【0081】
【外64】
Figure 2004518339
及びその評価済み信頼性がブロック16に供給される。
【0082】
更に、本発明の目的は、データ信号2を受け取るための手段から構成されるピクチャ信号表示装置に、補間画像を生成するための手段16を含む補間光度を生成するための装置10と、更には少なくとも1つの補間画像をもつ前期データ信号を保管するための手段22及び表示装置Dと、を備えることを目的とする。
【0083】
本発明の主旨から逸脱せずに、具体的に図に示して詳述した内容から派生させるようにして本発明の実施が可能であることは、当業者にはよく理解されるであろう。例えば、上述の補間方法は連続的でない画像に基づくことが可能である。更に、3つ以上の画像を本補間方法に用いることが可能である。補間化光度に代えて外挿化(この場合、実数値Δは1以上または0未満である)のために本発明の方法及び/または装置を用いることは1つの選択肢である。したがって、上述の実施形態は例示であって本発明を限定するものではないこと、そして、当業者が本発明の請求項の範囲から逸脱することなく多くの変形の実施形態をデザインすることが可能であることは、注意すべきことである。請求項において、括弧内に用いられた符合は何れもその請求項を限定するものではないと理解されたい。本発明は、幾つかの分離した素子から構成されるハードウェア及び適切にプログラムされたコンピュータにより実施することが可能である。装置に関する請求項においては幾つかの手段を列挙したが、これら手段の幾つかはハードウェアにおいてまったく同一のものにより実施することが可能である。特定の手段が互いに異なる依存関係にある請求項において列挙されていることは単なる事実であるが、それらの手段を組み合わせて用いることに優位性がないことを意味するものではない。
【図面の簡単な説明】
【図1】
連続画像から構成されるデータ信号の透視図である。
【図2】
画像のデータ信号を示す図である。
【図3】
データ信号の動き補償による補間のための本発明にしたがった装置から構成される表示装置の概略図である。

Claims (7)

  1. データ信号の動き補償による補間方法であり、データ信号は連続画像から構成され、各々の画像は画素の群から構成される、データ信号の動き補償による補間方法であって:
    デジタル信号において一の画像の第1の画素の群と他の画像の第2の画素の群との間に動きベクトルを生成する段階であって、各々の動きベクトルは前記一の画像の画素の群に対応する、動きベクトルを生成する段階;
    これらの動きベクトルの関数として補間結果を生成する段階;
    特定の画素の群に対応する各々の動きベクトルの信頼性を評価する段階;
    動きベクトルの信頼性の関数として重み付けを演算する段階;及び
    これらの重み付けに基づいて、補間結果の重み付け平均を演算することにより補間画像のために画素の群の補間光度を生成する段階;
    から構成される、方法。
  2. 請求項1に記載の方法であって、画素の群の補間光度は
    Figure 2004518339
    により演算され、ここで、
    【外1】
    Figure 2004518339
    は補間画像Fk+Δの画素の群の補間光度であり、画像における画素の群の位置は整数の二次元ベクトル
    【外2】
    Figure 2004518339
    により規定されて実数値Δが画像シーケンスF(ここで、n=1,2,...,k,k+1,...,N)の補間画像Fk+Δの位置を規定するところであり、Σm=1,...,M{.}は項{.}における1〜Mの和であって
    【外3】
    Figure 2004518339
    はm番目の補間結果
    【外4】
    Figure 2004518339
    に対応する重み付けであり、
    【外5】
    Figure 2004518339

    Figure 2004518339
    により演算され、ここで、median{.}は入力項のメジアン値を与える関数であってround{.}はその入力項の各々の成分に最も近い整数値を与える関数であり、そして
    【外6】
    Figure 2004518339
    は画像Fにおける位置
    【外7】
    Figure 2004518339
    における画素の群の光度であり、そして、
    【外8】
    Figure 2004518339
    は位置
    【外9】
    Figure 2004518339
    における画素の群に対応するM個の動きベクトルのm番目の二次元整数動きベクトルであって2つの連続画像間で規格化され、そして重み付け
    【外10】
    Figure 2004518339
    は動きベクトル
    【外11】
    Figure 2004518339
    の信頼性の関数である、方法。
  3. 請求項2に記載の方法であって、動きベクトル
    【外12】
    Figure 2004518339
    の信頼性は光度
    【外13】
    Figure 2004518339
    及び
    【外14】
    Figure 2004518339
    の間の違いの関数であり、そして信頼性はまた画像Fにおける位置
    【外15】
    Figure 2004518339
    の隣における
    【外16】
    Figure 2004518339
    の発生の相対頻度の関数である、方法。
  4. 請求項1に記載の方法であって、本発明にしたがった補間光度の生成は、画像の動きベクトル場におけるエッジが位置するデータ信号の画像の一部においてのみ実行される、方法。
  5. 請求項4に記載の方法であって、前記方法はエッジ検出の段階から構成され、画像Fの動きベクトル場におけるエッジは次の不等式(C1)及び(C2)のうち少なくとも1つを満足する場合に検出され、
    Figure 2004518339
    Figure 2004518339
    ここで、qは所定の整数値であり、||.||はその入力項の絶対値を生成する関数であり、[.]はそのベクトル入力項のp番目の成分を生成する関数であり、Tは所定の実数値の閾値であり、
    【外17】
    Figure 2004518339

    Figure 2004518339
    の式で与えられるベクトルであり、ここで、K及びKは整数値である。
  6. データ信号の動き補償による補間のための装置であり、データ信号は連続画像から構成され、各々の画像は画素の群から構成される、データ信号の動き補償による補間のための装置であって:
    デジタル信号において一の画像の第1の画素の群と他の画像の第2の画素の群との間に動きベクトルを生成する段階であって、各々の動きベクトルは前記一の画像の画素の群に対応する、動きベクトルを生成するための手段;
    これらの動きベクトルの関数として補間結果を生成するための手段;
    特定の画素の群に対応する各々の動きベクトルの信頼性を評価するための手段;
    動きベクトルの信頼性の関数として重み付けを演算するための手段;及び
    これらの重み付けに基づいて、補間結果の重み付け平均を演算することにより補間画像のために画素の群の補間光度を生成するための手段;
    から構成される、装置。
  7. ピクチャ信号表示装置であって:
    データ信号が連続画像から構成され、各々の画像が画素の群から構成される、データ信号を受け取る手段;
    請求項6に記載した前記データ信号の動き補償による補間のための装置;
    前記補間光度に基づいて少なくとも1つの補間画像を生成する手段;及び
    少なくとも1つの補間画像を表示するための手段;
    から構成される、ピクチャ信号表示装置。
JP2002557120A 2001-01-16 2001-12-14 動き補償による補間におけるハローの影響の低減方法 Expired - Fee Related JP4053422B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01200140 2001-01-16
PCT/IB2001/002577 WO2002056589A1 (en) 2001-01-16 2001-12-14 Reducing halo-like effects in motion-compensated interpolation

Publications (2)

Publication Number Publication Date
JP2004518339A true JP2004518339A (ja) 2004-06-17
JP4053422B2 JP4053422B2 (ja) 2008-02-27

Family

ID=8179751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002557120A Expired - Fee Related JP4053422B2 (ja) 2001-01-16 2001-12-14 動き補償による補間におけるハローの影響の低減方法

Country Status (8)

Country Link
US (1) US7039109B2 (ja)
EP (1) EP1356676B1 (ja)
JP (1) JP4053422B2 (ja)
KR (1) KR100875743B1 (ja)
AT (1) ATE359668T1 (ja)
DE (1) DE60127866T2 (ja)
ES (1) ES2283376T3 (ja)
WO (1) WO2002056589A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507268A (ja) * 2006-09-18 2010-03-04 スネル リミテッド 画像を補間する方法及び装置
JP4890464B2 (ja) * 2004-12-09 2012-03-07 トムソン ライセンシング 動き補償されたピクチャを生成する方法及び装置
US8391623B2 (en) 2008-06-17 2013-03-05 Sony Corporation Image processing apparatus and image processing method for determining motion vectors
US8487967B2 (en) 2009-08-17 2013-07-16 Chimei Innolux Corporation Active matrix display devices and electronic devices having the same
US8615036B2 (en) 2008-09-09 2013-12-24 Fujitsu Limited Generating interpolated frame of video signal with enhancement filter

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
KR20040050577A (ko) * 2002-12-10 2004-06-16 삼성전자주식회사 디인터레이싱 장치 및 방법
CN1846445B (zh) * 2003-09-02 2010-09-29 Nxp股份有限公司 基于遮蔽检测对像素的时间插值
KR20060083978A (ko) * 2003-09-17 2006-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 벡터 필드 리-타이밍
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치
DE602006020341D1 (de) * 2005-12-26 2011-04-07 Nippon Kogaku Kk Bildverarbeitungsverfahren, bildverarbeitungsprogramm, bildverarbeitungseinrichtung und bildgebungseinrichtung
KR100778116B1 (ko) * 2006-10-02 2007-11-21 삼성전자주식회사 움직임벡터 보정장치 및 보정방법
FR2907301A1 (fr) * 2006-10-12 2008-04-18 Thomson Licensing Sas Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede
DE102007015002A1 (de) 2007-03-28 2008-10-02 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten
US8861603B2 (en) 2007-08-28 2014-10-14 Samsung Electronics Co., Ltd. System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video
US8565309B2 (en) 2007-08-28 2013-10-22 Surapong Lertrattanapanich System and method for motion vector collection for motion compensated interpolation of digital video
US8265158B2 (en) * 2007-12-20 2012-09-11 Qualcomm Incorporated Motion estimation with an adaptive search range
US8649437B2 (en) * 2007-12-20 2014-02-11 Qualcomm Incorporated Image interpolation with halo reduction
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors
JP4528861B2 (ja) 2009-01-19 2010-08-25 シャープ株式会社 画像表示装置及び画像表示方法
KR20110022133A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 영상의 움직임 추정방법 및 영상처리장치
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
KR101669819B1 (ko) 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR20120069303A (ko) * 2010-12-20 2012-06-28 삼성전자주식회사 3차원 영상 제공 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69315626T2 (de) * 1992-05-15 1998-05-28 Koninkl Philips Electronics Nv Anordnung zum Interpolieren eines bewegungsausgeglichenen Bildsignals
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JPH06113287A (ja) * 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US5654759A (en) 1995-02-15 1997-08-05 Hitachi America Ltd. Methods and apparatus for reducing blockiness in decoded video
WO1996028931A2 (en) * 1995-03-14 1996-09-19 Philips Electronics N.V. Motion-compensated interpolation
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
US5982441A (en) 1996-01-12 1999-11-09 Iterated Systems, Inc. System and method for representing a video sequence
WO1999022520A2 (en) * 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts
JP4016227B2 (ja) 1998-01-07 2007-12-05 ソニー株式会社 画像処理装置および方法、並びに記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4890464B2 (ja) * 2004-12-09 2012-03-07 トムソン ライセンシング 動き補償されたピクチャを生成する方法及び装置
JP2010507268A (ja) * 2006-09-18 2010-03-04 スネル リミテッド 画像を補間する方法及び装置
US8391623B2 (en) 2008-06-17 2013-03-05 Sony Corporation Image processing apparatus and image processing method for determining motion vectors
US8615036B2 (en) 2008-09-09 2013-12-24 Fujitsu Limited Generating interpolated frame of video signal with enhancement filter
US8487967B2 (en) 2009-08-17 2013-07-16 Chimei Innolux Corporation Active matrix display devices and electronic devices having the same

Also Published As

Publication number Publication date
DE60127866D1 (de) 2007-05-24
KR100875743B1 (ko) 2008-12-26
JP4053422B2 (ja) 2008-02-27
KR20020087084A (ko) 2002-11-21
ES2283376T3 (es) 2007-11-01
US20020159527A1 (en) 2002-10-31
DE60127866T2 (de) 2007-12-20
WO2002056589A1 (en) 2002-07-18
US7039109B2 (en) 2006-05-02
EP1356676B1 (en) 2007-04-11
ATE359668T1 (de) 2007-05-15
EP1356676A1 (en) 2003-10-29

Similar Documents

Publication Publication Date Title
JP4053422B2 (ja) 動き補償による補間におけるハローの影響の低減方法
JP3640257B2 (ja) 動画像の画素を分類して画素の動きベクトルの予測フィールドを決定する方法
US8494054B2 (en) Motion vector computation for video sequences
JP4991101B2 (ja) 一時的動きベクトルフィルタリング
Didyk et al. Enhancement of bright video features for HDR displays
US9619897B2 (en) Correction of blotches in component images
US8335257B2 (en) Vector selection decision for pixel interpolation
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US7936950B2 (en) Apparatus for creating interpolation frame
KR101399616B1 (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의 구현을 위한 디바이스
KR20060105583A (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
US20040246374A1 (en) Method of generating frame interpolation image and an apparatus therefor
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
JP2001507552A (ja) 隠れた/露出した像部分の動きベクトル予測及び検知
US20100123792A1 (en) Image processing device, image processing method and program
KR930701888A (ko) 비디오 영상 프로세싱 방법 및 장치
TW200935874A (en) Systems and methods of motion and edge adaptive processing including motion compensation features
JP5197374B2 (ja) 動き推定
JP2004533073A (ja) 特徴点選択
JP7005280B2 (ja) 画像処理装置、画像処理方法およびプログラム
Zhao et al. Objective assessment of perceived sharpness of projection displays with a calibrated camera
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
JPH06121218A (ja) 動きベクトル検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4053422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees