JP2005287049A - ベクトルに基づく、画像境界における動き補償方法およびその装置 - Google Patents

ベクトルに基づく、画像境界における動き補償方法およびその装置 Download PDF

Info

Publication number
JP2005287049A
JP2005287049A JP2005096242A JP2005096242A JP2005287049A JP 2005287049 A JP2005287049 A JP 2005287049A JP 2005096242 A JP2005096242 A JP 2005096242A JP 2005096242 A JP2005096242 A JP 2005096242A JP 2005287049 A JP2005287049 A JP 2005287049A
Authority
JP
Japan
Prior art keywords
image
image data
referenced
motion compensation
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005096242A
Other languages
English (en)
Inventor
Sven Salzer
ザルツァ スヴェン
Michael Grundmeyer
グルントマイアー ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2005287049A publication Critical patent/JP2005287049A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/913—Letterbox, e.g. display 16:9 aspect ratio image on 4:3 screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 動き補償に基づく画像データ生成の改良された方法および動き補償回路を提供する。
【解決手段】 ボックスタイプの画像において、画像境界の近傍における補間による効果を避けるために、動き補償された画像データが補間の目的に使用できるか否かを判定するために各動き補償された画像データに位置確認が行われる。参照される画像における動き補償された画像データの位置が、所定の境界線と比較されて、容認出来ない画像データ位置が検出されて、そのような画像データに基づく補間が防止される。
【選択図】 図４

Description

本発明は、動き補償の改良に関する。詳述すれば、本発明は、他の画像の動き補償され
たデータに基づき、新たな画像データを生成する方法、および対応する動き補償回路に関
する。
多くの用途、特に最新のテレビジョン受信機でのデジタル信号処理に採用されている。
具体的に言えば、現代のテレビジョン受信機は、再生画像の画質向上のために、動き補償
後アップコンバートによるフレームレート変換を行う。動き補償後アップコンバータは、
例えば、フィールドあるいはフレームレートが６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、お
よび１００Ｈｚ等の５０Ｈｚ以上であるビデオシーケンスに対して、適用される。
ＰＡＬあるいはＳＥＣＡＭ規格においては、テレビジョン信号放送には、主に５０Ｈｚ
の入力信号周波数が適用される。一方、ＮＴＳＣ規格に基づくビデオ信号は６０Ｈｚのフ
ィールドレートを有している。６０Ｈｚの入力ビデオ信号は７２Ｈｚ、８０Ｈｚ、９０Ｈ
ｚ、および１２０Ｈｚ等の高周波数にアップコンバートされる。
フレーム変換アルゴリズムは、例えば、５０Ｈｚあるいは６０Ｈｚの入力ビデオシーケ
ンスのそれとは異なる時間位置に在るビデオコンテンツを反映した中間画像の生成を要求
する。入力画像の画像データの補間中に、オブジェクトの動きに起因する画像コンテンツ
の変化を近似的に反映するために移動しているオブジェクトの動きが考慮されねばならな
い。
画像データの補間中に用いられる動きは、入力ビデオシーケンスの最も近接する２つの
画像に基づいて決定される。一般に、動き補償された画像において、ブロック構造が見え
るのを防止するために、ブロック単位で動き検出された動きベクトルは、好ましくは動き
ベクトルのフィールドがフィルタを受ける個々のピクセルに対して割り当てられる。具体的には、各画像ブロックは、入力画像を基準として検出された動きベクトルを受け取る。
動き補償においてブロック構造が見えないようにするために、これらのブロックはブロ
ック・エロージョン・ユニットによってフィルタされる。このフィルタは、マルチ・ステ
ップ処理において、各ブロックを多数のサブ・ブロックに分割して、分割されたサブ・ブ
ロックのそれぞれに動きベクトルを割り当てる。ブロック・エロージョンの最後ステップ
の後に、個々の動きベクトルが、補間される画像中の各ピクセルに割り当てられる。
注目する移動オブジェクトが数ピクセルの領域をカバーすると共に、オブジェクトの動
きは均一であるとの仮定に従って、正確なピクセル位置に対するベクトル割り当ては不要
である。さもなければ、出力画像の時間位置に関して、動きベクトルの開始位置をランデ
ィングポイント側に移動させる必要がある。
受領した動きベクトルに従い、動きベクトルにより参照されるピクセルを有する画像デ
ータが動き補償によって移動される。参照される画像の画像データの移動量は、受領した
動きベクトル長に依存し、さらに先行画像および後続画像の間で生成される新たな画像の
相対的な時間位置に依存する。
先行画像および後続画像の２つの画像から新たな画像データを生成する時には、好まし
くは、動きアルゴリズムは先行画像および後続画像中の画像データを参照する。先行画像
から生成された画像データは動きベクトル方向に前進させられ、後続画像から生成された
画像データは後退させられる。
前進量および後退量は、参照された画像に関して、新たな画像の時間位置に従って決定
される。前進は、算出された動きベクトル長の一部に従って実行される。一方、後退は、
動きベクトルの負の補数（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｎｅｇａｔｉｖｅ ｆｒａｃｔ
ｉｏｎ）に基づいて実行される。各ピクセル位置での参照ピクセル値は補間される。新た
に生成される画像に関して時間位置に基づいて、参照画像の画像データに重み付けを行う
ことによって、補間できる。
補間画像が非アクティブ画像領域を含んでいる場合には、このような補間アルゴリズム
によって得られる画質は劣化する。このような非アクティブ画像領域は、アクティブ画像
領域の画像フォーマットを表示装置の表示フォーマットに適用するのに採用できる。特に、レターボックスタイプの画像では、従来の表示フォーマットあるいはワイドスクリーン画像を表示する、あるいはその逆の用途において、画像のトップおよびボトムあるいは、同画像の左右の何れかにブラックバーが用いられる。
このようなレターボックスタイプの画像のブラックバーに隣接する画像領域は、動きベ
クトルが損失することがある。結果的に、オブジェクトの真の動きを参照することなく、
連続する２つ画像から得られる画像データの重み付けにのみ基づいて補間を行うことがで
きる。
移動オブジェクトがアクティブ画像領域の境界を横切る時、つまり、画像成分が２つの
連続画像の１つに存在している場合のように、オブジェクトが画像に進入する、あるいは
画像から脱出する時に、このような問題が生じる。このような動きは、従来の動き検出ア
ルゴリズムによっては検出できない。
アクティブ画像領域の画像境界での動きベクトルを決定する有望な新たなアプローチと
しては、ブロックの行あるいは列の内での優勢な動きを反映する行ベクトルや列ベクトル
を適用するものがある。画像境界を横切って、ついには他の画像において相対物を有しな
くなる移動オブジェクトの一部を含む画像ブロックの動きベクトルは、ブロックの行ある
いは列のそれぞれの動きベクトルに基づいて決定できる。
しかしながら、上述の方法では、行あるいは列の動きベクトルに基づく動き補償は、ア
クティブ画像領域の外部から得られる画像データの補間に帰結する。従って、不適当な画
像データが補間プロセスに導入されてしまう。補間により、アクティブ画像領域の画像デ
ータは、不均一な黒画像データによって補間されて画質が損なわれる。
レターボックスタイプの画像に関しては、レターボックス領域に向けられた動きベクト
ルによって、このような画質劣化が引き起こされる。補間された画像データがレターボッ
クス領域に由来する黒ドットを含むように、レターボックス領域から取得されるピクセル
はアクティブ画像領域から得られるピクセルと組み合わされる。本発明は、上述の従来の
技術における問題の解消を図るものである。動き補償に基づく画像データ生成の改良され
た方法および動き補償回路を提供することを本発明の目的とする。
本発明の第１の局面においては、連続するビデオ画像において他の画像のビデオデータ
から取得される動き補償に基づいて画像データを生成する方法が提供されている。生成さ
れる画像の現在の画像位置に対する動きベクトルを受領した後に、動きベクトルに基づい
て、参照される他の画像から画像データが得られる。さらに、動きベクトルに基づいて参
照される前記画像データが、容認されない画像位置に在るか否かが決定される。前記参照
画像データが非容認画像位置に在れば、参照画像データに基づく新たな画像データの生成
は禁じられる。
本発明の他の局面においては、動き補償回路は、動き補償に基づいて、連続するビデオ
画像における他の画像のビデオデータから画像データを生成する。動き補償回路は、生成
される画像における現位置に関する動きベクトルを受領して、当該動きベクトルに基づい
て他の被参照画像から画像データを抽出することに用いられる。動き補償回路は、動きベ
クトルに基づいて、被参照画像データが容認画像位置に在るか否かを決定する出力計算回
路を備えている。出力計算回路は、被参照画像データが非容認画像位置に在る場合には、
非参照画像データに基づく、新たな画像データの生成を禁じる。
上述のように、本発明においては、被容認画像領域が補間アルゴリズムにおいて使用さ
れないように、効果的に排除されるので、容認画像領域の境界に近接する画像の品質が維
持される。
本発明は、デジタル信号処理に関し、特に近年のテレビジョン受信機における信号処理
に関する。近年のテレビジョン受信機は、再生画像の品質を向上させるために、アップコ
ンバージョンアルゴリズムを採用している。この目的のために、連続する２つの画像から
中間画像が生成される。中間画像の生成には、新たな画像内に在るオブジェクトの位置を
中間画像に反映される時間位置に適合させるために、移動中のオブジェクトの動きが考慮
されねばならない。
動き検出と同様に、動き補償は通常ブロック基準で行われる。この目的のために、生成
される中間画像は、図２に例示するように、複数のブロックに分割される。現ブロックの
それぞれは、先行画像および後続画像から取得される動き補償に基づいて個々に生成され
る。動き補償において視認できるブロック構造の発生を避けるために、これらのブロック
はブロック・エロージョン・ユニットによりフィルタされる。フィルタは、マルチ・ステ
ップ・プロセスにおいて、各ブロックを多数の小さなサブ・ブロックに分割し、分割され
たサブ・ブロックのそれぞれに動きベクトルを割り当てる。ブロック・エロージョンの最
終ステップの後に、個々の動きベクトルが各ピクセルに割り当てられる。
図１に例示されるように、レターボックスタイプの画像の動き補償された画像データを
生成する時には、従来の補間アルゴリズムでは、表示フォーマットのトップおよびボトム
に配されたアクティブ画像領域１０、ブラックバー２０、およびブラックバー３０との間
の境界線を監視していない。生成される現ブロックに割り当てられる動きベクトルは、完
全なブラック画像データを参照しているレターボックス領域２０および３０に向けられて
いる。同様にして、レターボックス領域２０および３０の内部からアクティブ画像領域１
０を指し示す。このような動きベクトルは、アクティブ画像領域１０にブラックドットあ
るいは、レターボックス領域２０および３０にブライトドットとして、ピクセルを補間プ
ロセスに導入する。
動き補償中に、動きベクトルが生成される現ブロックに割り当てられる。割り当てられ
た動きベクトルは、先行画像から取得される画像データのブロックを移動させるために正
の小数に分割され、後続の画像から取得される画像データのブロックを後方に移動される
ために負の小数に分割される。両被参照画像ブロックから取得されるピクセルデータは補
間されて、先行画像および後続画像から取得される付加的平均ピクセル値と共に処理され
て、被補間画像の画像データのブロックが生成される。
本発明では、アクティブ画像領域のブロックの補間中に、レターボックスピクセルが考
慮されることを防止することによって、レターボックス領域からアクティブ画像領域へ、
あるいはその逆方向に導入される画像データの画像品質劣化を防止する。同様に、アクテ
ィブ画像領域から取得される画像データは、レターボックス領域での補間目的には採用さ
れない。これは、アクティブ画像領域１０とレターボックス領域２０および３０を考慮す
ることによって達成される。境界線は、図１に示すレターボックスタイプの画像の先頭ア
クティブ行ＦＡＬおよび最終アクティブ行ＬＡＬとしてマークされる。
これらの境界線は、例えば、米国特許第６２０８３８５号公報に開示されているように、自動的に検出されて、処理すべき画像シーケンスのために記憶できる。動き補償において、先頭アクティブ行ＦＡＬおよび最終アクティブ行ＬＡＬは、処理対象のピクセル位置での垂直成分と比較される。
レターボックス領域２０のトップに位置する先頭アクティブ行ＦＡＬ、レターボックス領域３０のボトムに位置する最終アクティブ行ＬＡＬ、およびアクティブ画像領域１０はそれぞれ適用される補間を制御するために異なってマークされる。この目的のために、二値信号ＬＢ＿ＩＮが、各ピクセルに然るべく割り当てられる。
レターボックスタイプの画像１１０および１２０の先後フィールドに基づく動き補償が、図３に例示されている。現位置Ａにおけるピクセルを生成するために、受領した動きベクトルの小数が先行フィールド１１０および後続フィールド１２０におけるピクセルを参照する。被参照ピクセル位置は、受領した動きベクトルに基づいて決定される。なお、動きベクトルの第１の小数（ｆｉｒｓｔ ｆｒａｃｔｉｏｎ）が先行フィールド１１０におけるピクセル位置を参照し、逆補数（ａｎ ｉｎｖｅｒｓｅ ｃｏｍｐｌｉｍｅｎｔａｒｙ ｆｒａｃｔｉｏｎ）が後続フィールド１２０におけるブロックを参照する。
図３は、２つの有り得る動き補償状態、つまり、容認参照位置および被容認参照位置を
示している。アクティブ画像領域におけるピクセル位置Ａに対する画像データは、後続フ
ィールド１２０のアクティブ画像領域１０における他のピクセル位置Ｐsuccを参照する。
反対に、先行フィールド１１０において、動きベクトルはレターボックス領域３０におけ
るピクセル位置Ｐprevを参照する。先行フィールドを参照する動きベクトルは、最終アク
ティブ行ＬＡＬ、つまりアクティブ画像領域１０およびレターボックス領域３０との間の
境界を横切る。
従来の補間アルゴリズムでは、両被参照画像データを組み合わせて補間画像データを生
成する。このような補間プロセスは、先行フィールドから新たに生成される画像のアクテ
ィブ画像領域へのピクセルＰprevより導入されるブラック部分を生じる。このような、画
質劣化を防止するために、本発明では、境界線を横切ってレターボックス領域に渡って補
間を禁じる。失われるデータは、好ましくは、他のフィールド、つまりピクセル位置Ｐsu
ccを参照して取得されるデータによって代替される。
被参照ピクセル位置が、アクティブ画像領域とレターボックス領域との間の非容認境界
線を横切っているか否かを検出するために、次式（１）および（２）に従って、二値信号
ＬＢ＿ＩＮが算出される。なお、式（１）はアクティブ画像領域１０およびボトムレター
ボックス領域３０との間の境界線に適用され、式（２）はアクティブ画像領域１０および
トップレターボックス領域２０との間の境界線に提供される。
Figure 2005287049
Figure 2005287049
図４に、本発明に係る補間回路の構成例を示す。２つの連続画像１１０および１２０か
ら取得される画像データは、時間的に画像１１０および１２０の間に位置する中間画像の
新たな画像データの生成に当たって考慮される。位置ＰprevおよびＰsuccにおける両被参照画像データは、出力計算回路１４０に供給される。さらに、出力計算回路１４０は、被参照画像データ位置に関する二値信号ＬＢ＿ＩＮ、つまり二値信号ＬＢ＿ＩＮprev、および二値信号ＬＢ＿ＩＮsuccを受領する。受領した二値信号ＬＢ＿ＩＮに基づいて、出力計算回路１４０は、中間画像の新たな画像データの生成に考慮される被参照画像データを決定する。
図示された例に示すように、先行フィールド１１０において参照された画像データは、
アクティブ画像領域１０およびボトムレターボックス領域３０との間の境界線を横切る。
これらの画像データは、生成される画像の高画質を維持するために、補間には考慮されな
い。レターボックスピクセル位置を指し示す１の値を有する二値信号ＬＢ＿ＩＮprevが示
すように、補間中はレターボックス画像データは考慮されない。一方、出力計算回路は、
アクティ具画像領域ピクセル位置を指し示す後続フィールド１２０の画像データに関連づ
けられた、０の値を受領する。従って、これらの画像データは、補間中に考慮される。
先行フィールドから取得される画像データは、動き補償には容認されないので、出力計算回路１４０は、代替データを決定するための隠蔽アルゴリズムを適用する。第１の実施の形態においては、非容認データは、他のフィールドで参照される画像データで代替される。実施の形態において説明されるように、後続フィールド１２０の被参照画像データは、先行フィールド１１０において参照される画像データを代替する。出力計算回路１４０は、単一の入力フィールドである後続フィールド１２０にのみ基づいて、被補間画像データを算出する。
動きベクトルに参照された画像データに加えて、図４に示す補間回路は、位置Ａに在る先行フィールド１１０および後続フィールド１２０から取得される画像データを考慮する。この画像位置Ａは、現在生成される画像データに相当する。画像データＡprevおよびＡsuccは、それぞれ、現画像の時間位置に従って受領画像の平均値を算出するピクセル平均化ユニット１３０に適用される。そして、ピクセル平均化ユニット１３０は、算出された平均値Ｐaverage を出力計算回路１４０に供給する。出力計算回路１４０は、補間中に平均化画像データＰaverageを考慮する。なお、本実施の形態の変形例においては、複数の画像の何れかの被参照画像データが、補間に対して容認されないと判明した場合、平均化画像データＰaverageを代替データとして用いることができる。
さらに、出力計算回路１４０によって実行される補間アルゴリズは、被参照画像データ
ＰprevおよびＰsuccに加えて、さらに平均化画像データＰaverageを考慮する。これらの３つの異なる画像データは、出力フィルタ２３０に供給される。好ましい実施の形態においては、出力フィルタは、３タップメディアン（ｍｅｄｉａｎ）を備える。動きベクトルが信頼できる場合は、先行画像および後続画像における同一の移動オブジェクトから取得される被参照画像データＰprevおよびＰsuccは、おおよそ同一のピクセル値を有する。
結果、これらの被参照画像データの１つは、中央値フィルタによる処理により得られる
。動きベクトルが誤っているか信頼できない場合には、平均化画像データＰaverageが代替手段として用いられる。この場合、３つの中央値入力はかなり異なる、そして、平均化画像データＰaverage は大抵中央値出力を構成する。誤った画像成分の代わりに、無視できる動きｂｌｕｒが生成される。図５に、出力計算回路１４０の構成例が示されている。
出力フィルタ２３０は、所定のアルゴリズムに従って、先行フィールドＰprevから取得
される被参照画像データと後続フィールドＰsuccから取得される被参照画像データとを組
み合わせる。一方、マルチプレクサ２１０および２２０のそれぞれによって、被補償画像
データＰprevおよびＰsuccの相応しい方が選択される。マルチプレクサ２１０および２２０は、それぞれ、１つの二値信号ＬＢ＿ＩＮによって制御される。
マルチプレクサ２１０および２２０は、それぞれ、１つの被参照画像に対して責任を有
している。二値信号ＬＢ＿ＩＮの状態に応じて、マルチプレクサ２１０および２２０は、
動き補償された画像データＰprevおよびＰsuccを選択するか、それぞれ対応する代替データを選択する。代替データとは、動き補償データが非容認画像領域を参照している場合には、他の非参照画像から取得される動き補償データである。
マルチプレクサ２１０および２２０は、選択された画像データを出力フィルタ２３０に
適用する。出力フィルタ２３０は、受領した動き補償された画像データと平均化ピクセル
データＰaverageに基づいて、新たな画像データを生成する。出力フィルタ２３０での３つの入力データの内２つの代替データが同一である場合に出力される。
画像データに関して、動き補償および補間について説明したが、画像データと言う表現
は図２に示す、つまり各画像内の所定のブロックベースあるいはピクセルベースの形態に
基づく例を含む。また、ブロックベースおよびピクセルベースの両形態は組み合わされて
、動き補償された画像データに基づくブロックベースからピクセルベースで、補間に使用
される個々の画像データが選択される。
上述の実施の形態においては、図１に例示した表示スクリーンのトップおよびボトムに
ブラックバーを有するレターボックスタイプの画像について説明している。しかしながら
、本発明は、左右の境界にブラックバーを有する画像や、画像境界にブラックバーを有し
ない標準の画像に適用しても同様の効果を奏する。
レターボックスタイプの画像のアクティブ画像領域並びに標準タイプの画像においても
、画像境界に近接する画像データに割り当てられる動きベクトルを有する。この動きベク
トルは、従来のベストマッチ動き検出アルゴリズムに取って代わっって、本発明による改
良された動き検出アルゴリズムに基づいて算出されている。
動き検出および、特に上述の行ベクトルあるいは列ベクトルを取得するための動きベク
トルの検出の改良について、以下に述べる。通常、動き検出は、図２に示すように、ブロ
ックラスターに対して実施される。ビデオシーケンスのビデオ画像のそれぞれは、動きベ
クトル検出のために、均一なサイズのブロックに分割される。通常、各ブロックは、８×
８ピクセルの正方形状である。なお、例えば、４×４ピクセルあるいは１６×１６ピクセ
ルなど、８×８ピクセル以外のサイズのブロックや、縦横が異なる矩形状のブロックであ
っても、当業者であれば動き検出できる。
現画像に関する動きベクトルは、通常、ベストマッチアプローチに基づいて決定される
。しかしながら、ベストマッチアプローチでは、画像境界において、特に先行画像に対応
するブロックが存在しない場合に支障を来す。そのような状況下では、従来のアルゴリズ
ムに基づく動きベクトル検出は、画像境界の近傍に位置する現ブロックに割り当てられる
完全な行あるいは列の優勢な動きを割り当てる行動きベクトルあるいは列動きベクトルに
よって代替される。
現画像ｎ（フィールドあるいはフレーム）に関して、動きベクトルが決定された後、直
ちに、行ベクトルおよび列ベクトルのそれぞれの算出が開始される。算出された行ベクト
ルおよび列ベクトルは、次のフィールドあるいはフレームでの動き検出において使用され
るために供給される。
先ず、短い動きベクトルが考慮から除外される。この目的のために、各ブロックの動き
ベクトルは、所定の閾値Ｖthrと比較される。比較結果は、各ブロックに割り当てられる二値のｖｅｃｔｈｒフラグに反映される。このフラグは、次式（３）に基づいて、算出される。
Figure 2005287049
好ましくは、画像ｎの全ブロックに対して決定された動きベクトルの集合は、それらの
動きベクトルが、所定の閾値Ｖthrを超えないように、ゼロ（０、０）に設定されるように編集される。この編集は、次式（４）で表現される。
Figure 2005287049
上式（４）に従って、閾値で分別されたベクトルｖthresholdが算出される。先に算出されたフラグ（式（３）がゼロさもなくは、決定されたベクトル は閾値ベクトルｖthresholdに割り当てられる）。
行ベクトルあるいは列ベクトルの算出のためには、好ましくは、残留（閾値で分別され
た）ベクトルの平均値が算出される。しかしながら、当業者であれば、行動きベクトルあ
るいは列動きベクトルの個々に共通の動きベクトルを表す動きベクトルを決定する他のア
ルゴリズムを適用できる。
行ベクトルおよび列ベクトルの算出のために、個々のブロック長および閾値Ｖthrを超えるブロックの数が、次式（５）乃至（８）に従って、蓄積される。
Figure 2005287049
Figure 2005287049
Figure 2005287049
Figure 2005287049
行ベクトルｖlineおよび列ベクトルｖcolumnは、次式（９）および（１０）に従って算
出される。行あるいは列に関して閾値Ｖthrを超えるブロックの数が、他の所定の閾値ｎｔｈｒlineおよびｎｔｈｒcolumn場合は、動きベクトルが算出される。
Figure 2005287049
Figure 2005287049
 上述の閾値Ｖthr、閾値ｎｔｈｒlineおよびｎｔｈｒcolumnを基準として、好ましくは、以下の値が採用される。
Figure 2005287049
なお、ｘmaxおよびｙmaxは。フィールドあるいはフレームの全体幅／高を表している。８
×８ピクセルに対して好ましい値が、採用されている。
上述の説明は、行ベクトルおよび列ベクトルは、個々の行および列に対して算出されて
いるとの前提に基づいているが、２行あるいは２列の組み合わせに対して、共通の動きベ
クトルを追加的あるは代替として算出してもよい。２行あるいは２列の動きベクトルは、
さらに２行あるいは２列内で優勢的な動きを代表するオブジェクトを動き精度を向上でき
る。
以下に、上述の動き補償後補間回路の特別な使用例について説明する。フレームレート
を５０Ｈｚから１００Ｈｚにするアップコンバートにおいて、２つの連続する画像の間で
の時間的中間位置で中間画像が生成される。現ピクセル位置は、以下に示す如く想定され
る。
X_OUT = 100 and Y_OUT = 245.
このピクセル位置の動き補償のために受領される動きベクトルは以下のような垂直成分
および水平成分を有する。
V = 20 and H = 10.
さらに、レターボックスタイプの画像における最終アクティブ行ＬＡＬは２５０と想定さ
れる。
先行画像および後続画像の両入力画像におけるピクセルを参照するために、受領した動
きベクトルは、２つの非参照入力画像と比較され、生成される出力画像の時間的関係に従
って分割される。例示された中間画像は、両入力画像の正に中間に位置しているので、先
行画像および後続画像から取得される動き補償に関して算出されるそれぞれの動きベクト
ルは、以下に示すように１／２の重みを与えることによって決定される。
V_PREV = -1/2 * V = -1/2 * 20 = -10;
H_PREV = -1/2 * H = -1/2 * 10 = -5;
V_SUCC = +1/2 * V = +1/2 * 20 = +10;
H_SUCC = +1/2 * H = +1/2 * 10 = +5;
上述の算出された動きベクトルに基づいて、被参照画像におけるピクセル位置が以下の如
く算出される。
P_PREV: X_VEC_PREV = X_OUT + H_PREV = 100 + (-5) = 95
Y_VEC_PREV = Y_OUT + V_PREV = 245 + (-10) = 235
P_SUCC: X_VEC_SUCC = X_OUT + H_SUCC = 100 + 5 = 105
Y_VEC_SUCC = Y_OUT + V_SUCC = 245 + 10 = 255
従って、ピクセル位置Ｐprev（９５；２３５）およびＰsucc（１０５；２５５）のピクセ
ルは、現中間画像における新ピクセルの生成のために画像データを提供するために参照さ
れる。
中間画像データが生成される前に、被参照画像データがレターボックス領域２０および
３０の内部に収まるか否かが判断される。この目的のために、被参照ピクセル位置の垂直
成分が所定の境界線であるアクティブ画像領域１０の最終アクティブ行ＬＡＬと比較され
る。
Y_VEC_PREV = 235 < LAL = 250
先行画像において参照されるピクセルがアクティブ画像領域１０の一部であることが分
かる。このピクセルを正しく補間するために、現ピクセル位置がアクティブ画像領域１０
の一部であるか否か、レターボックス領域２０および３０の一部であるか否かが判断され
ねばならない。
Y_OUT = 245 < LAL = 250

現ピクセルおよび先行画像において参照されるピクセルの位置が、アクティブ画像領域の
内部であるので、被参照ピクセルは補間プロセスに使用できる。結果、二値信号ＬＢ＿Ｉ
Ｎがゼロ（被参照ピクセル位置がアクティブ画像領域の内部であることを示す）に設定さ
れる。
上述の決定は、後続画像Ｐsucc（１０５；２５５）において参照されるピクセルに対し
て適用される。
Y_VEC_SUCC = 255 > LAL = 250

Y_OUT = 245 < LAL = 250
従って、後続画像から取得される動き補償画像データは、現ピクセルがアクティブ画像
領域内に或るレターボックス領域の画像データを参照する。結果、二値信号ＬＢ＿ＩＮは
１、つまり補間禁止に設定される。二値信号ＬＢ＿ＩＮが１に設定されるので、出力計算
回路１４０は被参照ピクセル値に基づく補間を禁止すると共に、これらの画像データを他
の被参照ピクセルＰprevで代替する。
中間画像は、先行画像１１０および後続画像１２０のそれぞれに対して時間的に等しい
距離に位置している。結果、動きベクトル算出および補間は、１／２の重みを採用する。
被参照画像に関する、中間画像の時間的位置に応じて、例えば１／３＊Ｐprevや２／３＊
Ｐsuccという他の重みを採用してもよい。
本発明は、動き補償に基づく補間の改良に関するものである。特に、レターボックスタ
イプの画像において、画像境界近傍における補間による影響を防止するために、各動き補
償画像データは、動き補償された画像データが補間プロセスに使用できるか否かを決定す
るために位置確認がされる。被参照画像における被動き補償画像データの位置を、所定の
境界と比較することによって、非容認画像データ位置が検出されて、画像データに基づく
補間が防止される。
上述のように、補間の目的で用いられる被参照画像データの各位置が考慮される点は、
本発明における顕著な手法である。被参照画像データの位置は、所定の容認画像領域位置
と比較される。この方法においては、被容認画像領域が補間アルゴリズムにおいて使用さ
れないように、効果的に排除される。容認画像領域外に或るブロックが参照している動き
ベクトルを検出次第、そのような画像データの使用は禁じられて、容認画像領域の境界に
近接する画像の品質が維持される。
好ましい実施の形態において、被参照画像データの位置は、容認画像領域を規定する所
定の境界と比較される。このように、被参照画像データは、境界線と比較されて、所定の
境界をはみ出し次第、被参照画像データの使用が防止される。
好ましくは、容認画像領域は、ビデオ画像のアクティブ画像領域である。最も好ましく
は、非容認画像領域とは、ビデオシーケンスの画像フォーマットを表示フォーマットに適
用するために挿入されているこれらの画像の部分に関する。レターボックスタイプの画像
にとって、これらの非容認画像領域は、表示フォーマットのトップおよびボトムに挿入さ
れるブラックバーである。そのようなレターボックスタイプフォーマットは容易に検出さ
れて、境界が自動的に然るべく設定される。
好ましくは、非容認状態であることが判明した非参照画像データは、補間プロセスでの
使用のために他の画像データで代替される。このようにして、エラーが隠蔽されて、補間
プロセスが維持される。
好ましくは、代替画像データは、動きベクトルにより参照される画像の容認位置から取
得される画像データである。このようにして、被参照画像位置を訂正するだけで、被参照
画像データの時間的近似が維持される。
好ましくは、異なる画像から予測される画像に基づいて、新たな画像データが生成され
る。この目的のために、異なる画像を参照する動きベクトルが受領され、同動きベクトル
から２つの動きベクトルが算出される。新たな画像データの生成のために、算出された動
きベクトルによって参照されるこれらの画像データが取得されると共に補間される。２つ
の他の被参照画像の画像データに基づいて、現ブロックの画像データを予測することによ
って、被予測画像データの画質は十分に改良される。特に、移動しているオブジェクトの
動きの流れが、連続性が改良されて表示される。
好ましくは、２つの算出された動きベクトルは、生成される現画像に隣接する画像を参
照する。このようにして、後続する画像間で生じる画像コンテンツの変化が考慮される。
一方、２つの算出された動きベクトルは、２つの異なる先行画像を参照する。このように
して、移動しているオブジェクトの変化の原因が適正に考慮される。
両動きベクトル長は、好ましくは、両被参照画像の時間的位置に関して、生成される現
画像の時間的位置に従って算出される。このようにして、新たな画像が生成される範囲内
にある移動中のオブジェクトの位置が適切に設定される。
好ましくは、両画像の現画像データは重みづけられ、重みづけられた画像データは累積
させることによって、原画像データは適宜補間される。このようにして、現画像から取得
される画像データの割合は、新たに生成される画像の時間的位置に対する時間的近似度に
応じて設定される。
好ましくは、重み付けファクタは、それぞれの算出された動きベクトル長に従って設定
される。
好ましくは、両画像の被参照画像データは、近接する画像の重みづけられ補間された画
像データと共に中央値フィルタが掛けられて、被補間画像が生成される。このようにして
、重みづけられ補間された画像データに誤った動きベクトルに起因して生じうるエラーの
発生が隠蔽される。
これら、被参照画像データの非容認位置に在るが故に考慮されない画像データは、他の
動きベクトルで参照される画像データによって代替される。このようにして、エラーが簡
単に高品質画像によって隠蔽できる。
テレビジョン受信機等でのデジタル信号処理に利用できる。
レタータイプのビデオ画像の一例を表す説明図 １つのビデオ画像を複数の均一なサイズのブロックに分割する方法の説明図 先行および後続のレターボックスタイプフィールドに基づく、中間フィールドの補間の説明図 本発明に係る動き補償回路の構成例を示す図 図４に示された動き補償回路の出力計算回路の構成例を示す図
符号の説明
１０ アクティブ画像領域
２０、３０ レターボックス領域
１１０ 先行フィールド
１２０ 後続フィールド
１３０ ピクセル平均化ユニット
１４０ 出力計算回路
２１０、２２０ マルチプレクサ
２３０ 出力フィルタ

Claims (37)

  1. 連続するビデオ画像中の他の画像のビデオデータから得られる動き補償に基づく画像データ生成方法であって、
    生成される画像の現画像位置を受領するステップと、
    動きベクトルに基づいて、参照される他の画像から画像データを取得するステップと、
    前記動きベクトルに基づいて、参照される前記画像データが容認画像位置に在るか否かを決定する決定ステップとを備え、
    参照画像データが非容認位置にある場合には、当該参照画像データに基づく新たな画像データの生成が禁じられることを特徴とする画像データ生成方法。
  2. 前記決定ステップは参照される画像データ位置を、容認画像領域の所定の境界と比較する、請求項１に記載の画像データ生成方法。
  3. 前記決定ステップは、さらに、現画像データの位置を前記容認画像領域の所定の境界と比較する、請求項２に記載の画像データ生成方法。
  4. 前記容認画像領域は、ビデオ画像のアクティブ画像領域である、請求項２あるいは３に記載の画像データ生成方法。
  5. 前記非容認画像領域は、表示フォーマットに応じて採用される画像フォーマットのために挿入される画像位置を含む、請求項４に記載の画像データ生成方法。
  6. 前記画像はレターボックスタイプの画像であり、前記非容認画像領域は表示フォーマットのトップあるいはボトムに設けられたブラックバーである、請求項２乃至５の何れかに記載の画像データ生成方法。
  7. さらに、非容認画像データを代替画像データで代替するステップを備える、請求項１乃至６の何れかに記載の画像データ生成方法。
  8. 前記代替画像は、容認位置での被参照画像から取得される、請求項７に記載の画像データ生成方法。
  9. さらに、前記受領した動きベクトルから、それぞれ異なる画像を参照する２つの動きベクトルを算出するステップと、
    算出された動きベクトルに基づいて、前記被参照画像の画像データを取得するステップと、
    両動きベクトルによって参照されて取得された画像データを補間するステップとをさらに備える、請求項１乃至８の何れかに記載の補間方法。
  10. 前記２つの動きベクトルは、前記画像シーケンスにおける現画像に隣接する２つの画像を参照する、請求項９に記載の補間方法。
  11. 前記２つの動きベクトルは、前記画像シーケンスにおいて現画像に先行する異なる画像を参照する請求項９に記載の補間方法。
  12. 前記算出ステップは、両方の被参照画像に関して、現画像の時間的位置に従って、両動きベクトル長を算出する、請求項９乃至１１の何れかに記載の補間方法。
  13. 被参照画像から得られる被容認画像データを他の被参照画像から得られる代替画像データで代替するステップをさらに備える、請求項９乃至１２の何れかに記載の補間方法。
  14. 前記代替画像データは、他の画像において参照される前記画像データである、請求項１３に記載の補間方法。
  15. 前記補間ステップは、さらに、現位置に対応する被参照画像における位置から画像データを受領する、請求項９乃至１４の何れかに記載の補間方法。
  16. 前記決定ステップは、被参照画像データの容認度を表す信号を生成する、請求項１乃至１５の何れかに記載の補間方法。
  17. 前記禁止ステップは、決定ステップによって生成される信号に基づく新画像データの生成に、被参照画像データを考慮する、請求項１６に記載の補間方法。
  18. 前記新画像データはピクセルベースで生成される、請求項１乃至１７の何れかに記載の補間方法。
  19. 前記新画像データはブロックベースで生成される、請求項１乃至１８の何れかに記載の補間方法。
  20. ビデオ画像のシーケンスにおいて、他の画像のビデオデータから取得される動き補償に基づいて画像データを生成する動き補償回路であって、動き補償回路は、生成される画像における現位置に対する動きベクトルを受領して、受領した動きベクトルに基づいて他の被参照画像から画像データを抽出し、
    出力計算回路は、
    前記動きベクトルに基づいて、被参照画像データが容認画像位置にあるか否かを決定し、
    前記被参照画像データが非容認画像位置にある場合には、当該被参照画像データに基づく新画像データの生成を禁止することを特徴とする動き補償回路。
  21. 前記出力計算回路は被参照画像データ位置を容認画像領域の所定の境界と比較する比較回路を含む、請求項２０に記載の動き補償回路。
  22. 前記出力計算回路は現画像データ位置を、前記容認画像領域の所定の境界と比較する比較回路を含む、請求項２１に記載の動き補償回路。
  23. 前記容認画像領域はビデオ画像のアクティブ画像領域である、請求項２１あるいは２２に記載の動き補償回路。
  24. 前記容認画像領域は、表示フォーマットに画像フォーマットを適用させるために挿入される画像部分を含む、請求項２３に記載の動き補償回路。
  25. 画像はレターボックスタイプであり、前記非容認画像領域は表示される画像領域のトップおよびボトムに配されるブラックバーである、請求項２０乃至２４の何れかに記載の動き補償回路。
  26. 前記出力計算回路は、代替画像データによって、前記被参照ブロックの非容認画像データを代替する、請求項２０乃至２５の何れかに記載の動き補償回路。
  27. 前記出力計算回路は、容認位置にある被参照画像から取得される代替画像データを受領する、請求項２６に記載の動き補償回路。
  28. 前記出力計算回路は、前記受領した異なる画像を参照する動きベクトルから２つの動きベクトルを算出し、当該算出された動きベクトルに従って画像データを抽出し、そして両動きベクトルによって参照される抽出された画像データを補間する、請求項２０乃至２７の何れかに記載の動き補償回路。
  29. 前記２つの動きベクトルは、前記画像シーケンスにおける現画像に隣接する２つの画像を参照する、請求項２８に記載の動き補償回路。
  30. 前記２つの動きベクトルは、前記画像シーケンスにおける現画像に先行する異なる画像を参照する、請求項２８に記載の動き補償回路。
  31. 前記出力計算回路は、両被参照画像に関して、現画像の時間位置に従い両動きベクトル長を算出する、請求項２８乃至３０の何れかに記載の動き補償回路。
  32. 前記出力計算回路は、被参照画像から取得される非容認画像データを、他の被参照画像から取得される代替画像データで代替する、請求項２８乃至３１の何れかに記載の動き補償回路。
  33. 前記代替画像データは、他の画像において参照される画像データである、請求項３２に記載の動き補償回路。
  34. これらの画像を、被参照画像に現画像の時間位置に従って重み付けすると共に、前記平均化データを前記出力計算回路に送出することによって、現位置に対応する被参照画像の位置から平均化画像データを生成するピクセル平均化ユニットをさらに備える、請求項２８乃至３３の何れかに記載の動き補償回路。
  35. 前記出力計算回路は、前記受領した平均化画像データを新たな画像データの補間に含める請求項３４に記載の動き補償回路。
  36. 前記出力計算回路はさらに、被参照画像データの容認度を示す信号を受領する請求項２０乃至３５の何れかに記載の動き補償回路。
  37. 前記出力計算回路は、受領した信号に基づいて、新たな画像データの生成に用いる被参照画像データを選択する請求項３６に記載の動き補償回路。

JP2005096242A 2004-03-30 2005-03-29 ベクトルに基づく、画像境界における動き補償方法およびその装置 Pending JP2005287049A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP04007697A EP1583364A1 (en) 2004-03-30 2004-03-30 Motion compensated interpolation of images at image borders for frame rate conversion

Publications (1)

Publication Number Publication Date
JP2005287049A true JP2005287049A (ja) 2005-10-13

Family

ID=34878206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005096242A Pending JP2005287049A (ja) 2004-03-30 2005-03-29 ベクトルに基づく、画像境界における動き補償方法およびその装置

Country Status (5)

Country Link
US (1) US7440033B2 (ja)
EP (1) EP1583364A1 (ja)
JP (1) JP2005287049A (ja)
KR (1) KR20060045005A (ja)
CN (1) CN100502464C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236098A (ja) * 2007-03-19 2008-10-02 Hitachi Ltd 映像処理装置及び映像表示装置
JP2009038620A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像処理装置および方法、並びにプログラム
JP2009303162A (ja) * 2008-06-17 2009-12-24 Sharp Corp 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2011035612A (ja) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd フレームレート変換装置、およびそれを搭載した表示装置
US8432495B2 (en) 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497096B2 (ja) * 2004-02-13 2010-07-07 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
WO2006063978A1 (en) * 2004-12-15 2006-06-22 Thomson Licencing Method and apparatus for processing video image signals
WO2007052452A1 (ja) * 2005-11-07 2007-05-10 Sharp Kabushiki Kaisha 画像表示装置及び方法
EP1977395B1 (en) 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
JP2007329700A (ja) * 2006-06-08 2007-12-20 Sony Corp 映像信号処理装置、映像表示装置および映像表示方法
CA2884702C (en) 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP4303745B2 (ja) * 2006-11-07 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8437397B2 (en) 2007-01-04 2013-05-07 Qualcomm Incorporated Block information adjustment techniques to reduce artifacts in interpolated video frames
KR20080070332A (ko) * 2007-01-26 2008-07-30 삼성전자주식회사 움직임 보상에러를 보정하기 위한 영상표시장치 및 그 방법
US20100027667A1 (en) 2007-01-26 2010-02-04 Jonatan Samuelsson Motion estimation for uncovered frame regions
JP2008187222A (ja) * 2007-01-26 2008-08-14 Hitachi Ltd 動きベクトル検出装置、動きベクトル検出方法、映像表示装置
US8189061B1 (en) * 2007-03-21 2012-05-29 Ambarella, Inc. Digital still camera with multiple frames combined into a single frame for digital anti-shake/anti-blur
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
JP2009141798A (ja) * 2007-12-07 2009-06-25 Fujitsu Ltd 画像補間装置
US8355443B2 (en) * 2008-03-27 2013-01-15 CSR Technology, Inc. Recursive motion for motion detection deinterlacer
US20090310679A1 (en) * 2008-06-11 2009-12-17 Mediatek Inc. Video processing apparatus and methods
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data
JP2013055587A (ja) * 2011-09-06 2013-03-21 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
KR101394468B1 (ko) * 2013-11-12 2014-05-14 주식회사 아나패스 블록의 불연속도 연산방법 및 이를 이용한 폴백 수행 방법
KR102356647B1 (ko) * 2015-04-17 2022-01-28 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 표시 패널의 구동 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2110046A (en) * 1981-11-03 1983-06-08 Deutsche Forsch Luft Raumfahrt Representation of video images transmitted at reduced frame rate
JPH06217263A (ja) * 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4496972A (en) * 1980-05-10 1985-01-29 Deutsche Forschungs-Und Versuchsanstalt Fur Luft-Und Raumfahrt E.V. Method for the representation of video images or scenes, in particular aerial images transmitted at reduced frame rate
US5475446A (en) * 1992-03-09 1995-12-12 Matsushita Electric Industrial Co., Ltd. Picture signal motion detector employing partial decimation of pixel blocks
SG54145A1 (en) * 1993-02-17 1998-11-16 Thomson Consumer Electronics Adaptive letterbox detector
GB2286500B (en) * 1994-02-04 1997-12-03 Sony Uk Ltd Motion compensated video signal processing
EP0785682A4 (en) * 1995-07-19 1998-10-14 Toshiba Kk LETTER BOX CONVERTER
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
EP0837602A3 (en) * 1996-10-17 1999-10-06 Kabushiki Kaisha Toshiba Letterbox image detection apparatus
US6370192B1 (en) * 1997-11-20 2002-04-09 Hitachi America, Ltd. Methods and apparatus for decoding different portions of a video image at different resolutions
JP3745907B2 (ja) * 1998-11-27 2006-02-15 パイオニア・マイクロ・テクノロジー株式会社 映像信号処理方法
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
KR100840133B1 (ko) * 2000-05-18 2008-06-23 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
EP1290639A2 (en) * 2000-05-18 2003-03-12 Koninklijke Philips Electronics N.V. Image foreground/background velocity detector
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2110046A (en) * 1981-11-03 1983-06-08 Deutsche Forsch Luft Raumfahrt Representation of video images transmitted at reduced frame rate
JPH06217263A (ja) * 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432495B2 (en) 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
JP2008236098A (ja) * 2007-03-19 2008-10-02 Hitachi Ltd 映像処理装置及び映像表示装置
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
US8768103B2 (en) 2007-03-19 2014-07-01 Hitachi Consumer Electronics Co., Ltd. Video processing apparatus and video display apparatus
JP2009038620A (ja) * 2007-08-02 2009-02-19 Sony Corp 画像処理装置および方法、並びにプログラム
JP2009303162A (ja) * 2008-06-17 2009-12-24 Sharp Corp 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP2011035612A (ja) * 2009-07-31 2011-02-17 Sanyo Electric Co Ltd フレームレート変換装置、およびそれを搭載した表示装置

Also Published As

Publication number Publication date
EP1583364A1 (en) 2005-10-05
CN100502464C (zh) 2009-06-17
KR20060045005A (ko) 2006-05-16
CN1678022A (zh) 2005-10-05
US20050231644A1 (en) 2005-10-20
US7440033B2 (en) 2008-10-21

Similar Documents

Publication Publication Date Title
JP2005287049A (ja) ベクトルに基づく、画像境界における動き補償方法およびその装置
US6442203B1 (en) System and method for motion compensation and frame rate conversion
JP3103894B2 (ja) ビデオデータの手振れ補正装置およびその方法
US5682205A (en) Adaptive, global-motion compensated deinterlacing of sequential video fields with post processing
JP3226020B2 (ja) 動きベクトル検出装置
US9256926B2 (en) Use of inpainting techniques for image correction
JP4847040B2 (ja) ビデオシーケンスでのティッカー処理
US9185431B2 (en) Motion detection device and method, video signal processing device and method and video display device
US20050249282A1 (en) Film-mode detection in video sequences
EP1855474A1 (en) Method for generating an interpolated image between two images of an input image sequence
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
KR20060047638A (ko) 필름 모드 판정 방법, 움직임 보상 화상 처리 방법, 필름모드 검출기 및 움직임 보상기
JP2005318622A (ja) 逆フィルムモード外挿方法
US8134643B2 (en) Synthesized image detection unit
US6922214B1 (en) Video signal processing
JP2005318623A (ja) フィルムモード外挿方法及びフィルムモード検出器並びに動き補償器
JP2005318613A (ja) 状態情報訂正方法、動き補償画像処理方法及び画像状態情報訂正器
JP2007243627A (ja) ビデオ信号処理装置
US20080002055A1 (en) Spatio-temporal adaptive video de-interlacing for parallel processing
JP2775688B2 (ja) 画像信号処理装置
WO2006013510A1 (en) De-interlacing
JPH0715700A (ja) 動き補正映像信号処理装置及び方法
CN113852830A (zh) 一种中值滤波视频去隔行方法
Yoo et al. An efficient motion adaptive de-interlacing algorithm using spatial and temporal filter
JP2005333282A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110428