JP3469626B2 - Motion compensated video signal processing apparatus and video signal processing method - Google Patents

Motion compensated video signal processing apparatus and video signal processing method

Info

Publication number
JP3469626B2
JP3469626B2 JP07106794A JP7106794A JP3469626B2 JP 3469626 B2 JP3469626 B2 JP 3469626B2 JP 07106794 A JP07106794 A JP 07106794A JP 7106794 A JP7106794 A JP 7106794A JP 3469626 B2 JP3469626 B2 JP 3469626B2
Authority
JP
Japan
Prior art keywords
motion
image
video signal
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07106794A
Other languages
Japanese (ja)
Other versions
JPH0795593A (en
Inventor
ウィリアム エイモス デービッド モーガン
マシュー マンズ サイモン
レックス ドリコット マーチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH0795593A publication Critical patent/JPH0795593A/en
Application granted granted Critical
Publication of JP3469626B2 publication Critical patent/JP3469626B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は動き補償ビデオ信号処理
方式に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion compensation video signal processing system.

【従来の技術】動きが補償されたビデオ信号の処理はテ
レビジョン方式変換、フィルム方式変換及びビデオとフ
ィルムとの間の方式変換などの応用に用いられる。
BACKGROUND OF THE INVENTION The processing of motion-compensated video signals is used in applications such as television format conversion, film format conversion and format conversion between video and film.

【0002】動き補償テレビジョン方式変換器では、例
えば英国特許出願番号GB−A−2231749に開示
されている変換器では、一連の入力画像のペアが処理さ
れ、この入力画像のペア間の画像の動きを表す動きベク
トルの組を生成させる。この処理は、画像ブロックごと
に個別に行われ、各動きベクトルが、夫々のブロックの
内容の画像間の動きを表すようにする。
In motion-compensated television converters, such as the converter disclosed in British Patent Application No. GB-A-2231749, a series of input image pairs are processed and the image between the pairs of input images is processed. Generate a set of motion vectors that represent motion. This process is performed individually for each image block so that each motion vector represents the motion between images of the contents of the respective block.

【0003】動きベクトルの各組は動きベクトル削減器
に供給され、各ブロックに関する動きベクトルの組のサ
ブセット(subset)を生成させる。このサブセットは動
きベクトル選択器に送られ、ここで動きベクトルのサブ
セットの1つを画像の各ブロックの画素(ピクセル)に
割り当てる。各ピクセルに割り当てられて選択された動
きベクトルは、動き補償された補間器に送られ、ここで
入力画像から出力画像を補間し、入力画像間の動きを考
慮に入れる。
Each set of motion vectors is provided to a motion vector reducer to produce a subset of the set of motion vectors for each block. This subset is sent to a motion vector selector, where it assigns one of the motion vector subsets to a pixel in each block of the image. The selected motion vector assigned to each pixel is sent to a motion compensated interpolator, which interpolates the output image from the input image and takes into account motion between the input images.

【0004】[0004]

【発明が解決しようとする課題】この場合、入力画像が
インターレースされたビデオ信号の一連のフィールドか
ら成るとき、連続するフィールド間で奇数個のビデオラ
イン分だけ画像が垂直に動くと、垂直方向の情報が損失
する。更に、これによって奇数番と偶数番のラインにお
ける垂直方向の画像の動きに、雑音的な食い違い(主観
的な混乱を招く)が起こる。この点については、またあ
とで述べる。
In this case, when the input image consists of a series of fields of an interlaced video signal, if the image moves vertically by an odd number of video lines between consecutive fields, the vertical Information is lost. Further, this causes a noise-like discrepancy (which causes subjective confusion) in the vertical image movement in the odd and even lines. This point will be described later.

【0005】そこで本発明の目的は、垂直方向の画像の
動き、特に奇数番と偶数番のライン間にわたる画像の動
きがあるとき顕著になる画像情報の損失をうまく補償
し、滑らかに画像の変換等を行うことのできる動き補償
ビデオ信号処理装置及びビデオ信号処理方法を提供する
ことにある。
Therefore, an object of the present invention is to smoothly compensate for the loss of image information that becomes noticeable when there is vertical image movement, especially image movement between odd-numbered and even-numbered lines, and to smoothly transform the image. Motion compensation that can
A video signal processing device and a video signal processing method are provided.

【0006】[0006]

【課題を解決するための手段及び作用】本発明は、入力
画像対間での画像の動きを表す動きベクトルを生成し、
動きを補償する補間によって、出力画像を形成する動き
補償ビデオ信号処理装置であって、画像の動きがあると
きは、入力画像対の夫々について、半帯域幅補間処理を
施して2個の中間ピクセル値を生成し、その後、これら
2つの中間ピクセル値を時間重み付けして結合して出力
フィールドのピクセルを生成する手段と、画像の動きが
ないときは、入力画像対をインターリーブし、その後、
インターリーブされたピクセルに対して全帯域幅補間処
理を実行することにより出力フィールドのピクセルを生
成する手段とを具える動き補償ビデオ信号処理装置であ
る。
The present invention provides input
Generate a motion vector that represents the motion of the image between the image pairs,
The motion that forms the output image by motion-compensated interpolation
Compensation video signal processing device, when there is a motion of the image
For each input image pair, half-bandwidth interpolation processing is performed.
To produce two intermediate pixel values, then
Two intermediate pixel values are time-weighted, combined, and output
The means to generate the pixels of the field and the movement of the image
If not, interleave the input image pairs, then
Full bandwidth interpolation processing for interleaved pixels
To generate the pixels in the output field.
A motion-compensated video signal processing device comprising:
It

【0007】本発明によれば、出力画像の各ピクセル
が、この出力画像の動的部分を表しているか靜的部分を
表しているかを検出する手段を具えている。この情報
は、例えばこのピクセルを生成させる補間方法の適合
化、又は後続の出力画像の格下げ変換で用いられる。
According to the invention, means are provided for detecting whether each pixel of the output image represents a dynamic part or a static part of the output image. This information is used, for example, in the adaptation of the interpolation method that produces this pixel, or in the subsequent down conversion of the output image.

【0008】出力画像のピクセルが動的部分にあるか靜
的部分にあるかに関する検出結果を装置の他の部分とも
交信するためには、装置は出力画像の各ピクセルと関連
付けられた動きフラグを生成する手段を設け、このフラ
グにより、このピクセルが出力画像の動的部分と靜的部
分のどちらにあると検出されたかを示すのが好ましい。
In order to communicate the detection result as to whether the pixels of the output image are in the dynamic part or the static part to the other parts of the device, the device sets the motion flag associated with each pixel of the output image. Means for generating are preferably provided and this flag indicates whether this pixel was detected to be in the dynamic or in the static part of the output image.

【0009】装置の複雑さを減少させるために、出力ピ
クセルの動きの検出は、動きベクトル選択処理の一部に
て行うのが望ましい。このために、装置は出力画像の各
ピクセルに対してゼロ動きベクトルを含む複数の動きベ
クトルを生成させる手段と、この動きベクトルを試験し
て出力画像のピクセルの補間に用いる動きベクトルを選
択する、1つの試験中の動きベクトルによって指し示さ
れた入力画像の被試験ブロック間の相関度を検出する手
段を具える手段と、この複数の動きベクトルからその動
きベクトルによって指し示されている被試験ブロック間
のうちで最大相関度をもつ動きベクトルを選択する手段
とを具える。
In order to reduce the complexity of the device, it is desirable to detect the output pixel motion as part of the motion vector selection process. To this end, the apparatus comprises means for generating a plurality of motion vectors, including a zero motion vector, for each pixel of the output image, and testing the motion vectors to select a motion vector to be used for interpolating the pixels of the output image. Means comprising means for detecting a degree of correlation between blocks under test of an input image pointed to by a motion vector under test, and blocks under test pointed to by the motion vector from the plurality of motion vectors Means for selecting the motion vector having the highest degree of correlation.

【0010】好適実施例の装置では、そのピクセルの補
間に用いるために選択した動きベクトルに従って、入力
画像の夫々のペアから出力画像の各ピクセルを生成させ
る動き補償補間器を具える。
The preferred embodiment apparatus comprises a motion-compensated interpolator that produces each pixel of the output image from each pair of input images according to the motion vector selected for use in interpolating that pixel.

【0011】出力ピクセルの動きの検出は、補間器の動
作を変えることに用いることができる。特に、動き補償
補間器は2個のピクセル補間器と、この2個のピクセル
補間器のうちの一方を選択する手段とを具え、そのピク
セルが出力画像の動的部分にあるのか靜的部分にあるの
かの検出結果に応じて出力画像のピクセルの補間を行う
のが望ましい。
Detection of output pixel motion can be used to alter the behavior of the interpolator. In particular, the motion-compensated interpolator comprises two pixel interpolators and means for selecting one of the two pixel interpolators, depending on whether the pixel is in the dynamic part of the output image or not. It is desirable to interpolate the pixels of the output image according to the detection result of whether there is any.

【0012】例えば、入力画像がインターレースされた
ビデオ信号の一連のフィールドから成るときは、一連の
フィールド間で奇数個のビデオライン分だけ画像が垂直
に動くと、垂直方向の情報が失われる。この状況は、出
力ピクセルの補間のために選択された動きベクトルの奇
数垂直成分を検出することによって検出できる。ただ
し、これによって雑音的な(また主観上目障りな)食い
違い(差)が奇数番ラインと偶数番ラインとの間の画像
の垂直方向の動きに現れる。従って、動的ピクセルと非
動的ピクセルとを区別することが望ましい。この場合、
画像の動きが検出されない場合のために、ピクセル補間
器の1つは、2個の入力画像からピクセルをインターリ
ーブ(間挿)してインターリーブされたピクセル値のブ
ロックを生成させる手段と、インターリーブされたピク
セル値のブロックのブロック内補間によって出力画像の
ピクセルを生成させる手段とを具えることが望ましい。
同様に、画像の動きが検出されたときのために、ピクセ
ル補間器の1つは、入力画像の各ペアの画像内補間によ
って夫々の中間ピクセル値を2個生成する手段と、この
2個の中間ピクセル値を結合させて出力画像のピクセル
を生成させる手段とを具えるのが望ましい。
For example, if the input image consists of a series of fields of interlaced video signals, vertical motion of the picture by an odd number of video lines between the series of fields results in loss of vertical information. This situation can be detected by detecting the odd vertical component of the motion vector selected for interpolation of the output pixel. However, this causes a noise-like (or subjectively disturbing) discrepancy (difference) in the vertical movement of the image between the odd-numbered line and the even-numbered line. Therefore, it is desirable to distinguish between dynamic pixels and non-dynamic pixels. in this case,
In case no image motion is detected, one of the pixel interpolators is interleaved with the means for interleaving the pixels from the two input images to produce a block of interleaved pixel values. And means for producing pixels of the output image by intra-block interpolation of blocks of pixel values.
Similarly, in case an image motion is detected, one of the pixel interpolators has means for generating two respective intermediate pixel values by intra-image interpolation of each pair of input images, and the two And means for combining the intermediate pixel values to produce the pixels of the output image.

【0013】この結合手段は、入力画像のペアに関する
出力画像の時間上の位置に応じた結合比に従い、2個の
中間ピクセル値を結合するように動作する。1つの好適
実施例では、結合比が入力画像のペアに関する出力画像
の位置時間上の位置に比例するように線形関係を用い
る。
The combining means operates to combine the two intermediate pixel values according to a combination ratio depending on the temporal position of the output image with respect to the pair of input images. In one preferred embodiment, a linear relationship is used so that the combining ratio is proportional to the position in time of the output image with respect to the pair of input images.

【0014】この装置がインタレースされた入力ビデオ
信号の一連のフィールドから成る入力画像のペアに関し
て動作し、出力画像がインターレースされた出力ビデオ
信号のフィールドから成ることが望ましい。インターレ
ースされた入力画像を用いることによって、入力ビデオ
信号のプログレッシブ(順次)走査変換を行う必要がな
くなり、必要な処理が著しく削減される。
Preferably, the apparatus operates on a pair of input images consisting of a series of fields of an interlaced input video signal, and the output image consists of a field of interlaced output video signals. By using the interlaced input image, the need for progressive scan conversion of the input video signal is eliminated and the required processing is significantly reduced.

【0015】本発明の第2の観点では、入力画像対間で
の画像の動きを表す動きベクトルを生成し、動きを補償
する補間によって、出力画像を形成する動き補償ビデオ
信号処理装置であって、 複数の動き補償ピクセル補間
器と、この複数の動き補償ピクセル補間器から1つを選
択し、この入力画像間の画像の動き検出に応じて、こ
の入力画像から出力画像のピクセル補間を行う手段と
を具える装置である。
According to a second aspect of the present invention, between input image pairs
Motion vector that represents the motion of the image of
Motion compensated video forming the output image by interpolation
A signal processing apparatus, a plurality of motion compensation pixel interpolator, selecting one from the plurality of motion compensation pixel interpolator in accordance with the motion detection of the image between the input image pair from the input image pair And a means for performing pixel interpolation of the output image.

【0016】本発明による装置は、テレビジョン方式変
換装置に用いるのが特に有利である。
The device according to the invention is particularly advantageous for use in a television conversion device.

【0017】本発明の第3の観点では、動き補償補間に
よって出力画像を生成するために、入力画像の対間の画
像の動きを表す動きベクトルを生成するビデオ信号処理
方法であって、画像の動きがあるときは、入力画像対の
夫々について、半帯域幅補間処理を施して2個の中間ピ
クセル値を生成し、その後、これら2つの中間ピクセル
値を時間重み付けして結合して出力フィールドのピクセ
ルを生成すること、画像の動きがないときは、入力画像
対をインターリーブし、その後、インターリーブされた
ピクセルに対して全帯域幅補間処理を実行することによ
り出力フィールドのピクセルを生成すること、の各ステ
ップを含むビデオ信号処理方法である。
A third aspect of the present invention is a video signal processing method for generating a motion vector representing the motion of an image between a pair of input images in order to generate an output image by motion compensation interpolation. If there is motion in the image,
Half-bandwidth interpolation processing is applied to each of the two intermediate peaks.
Generate the xel value and then the intermediate pixel between these two
Pixels in the output field are time-weighted and combined
Input image when there is no image movement.
Interleaved pairs, then interleaved
By performing a full bandwidth interpolation process on the pixel
Generating a pixel of the output field of the video signal .

【0018】本発明の第4の観点によれば、入力画像の
ペア間の画像の動きの検出結果に応じて、動き補償され
た補間によって出力画像を形成させる動き補償ビデオ信
号処理方法であって、複数のピクセル補間器から1つを
選択し、入力画像のペア間の画像の動きの検出結果に応
じて、入力画像のペアから出力画像のピクセルを補間す
るステップを含む方法である。
According to a fourth aspect of the present invention, there is provided a motion-compensated video signal processing method for forming an output image by motion-compensated interpolation according to a result of detection of image motion between a pair of input images. , A method of selecting one from a plurality of pixel interpolators and interpolating a pixel of an output image from a pair of input images according to a detection result of image motion between the pair of input images.

【0019】本発明の実施例は、添付の図面を参照しな
がら例によってのみ説明するが、これらを通じて同一の
部分には同一の参照符号を付す。
Embodiments of the present invention will be described by way of example only with reference to the accompanying drawings, wherein like parts are designated with like reference numerals.

【0020】[0020]

【実施例】図1は、動き補償テレビジョン方式変換装置
の概略を示すブロック図である。この装置は、インター
レース・デジタルビデオ信号50の入力(例えば112
5/60、2:1高精細ビデオ信号(HDVS))を受
信し、インターレース・デジタルビデオ信号60(例え
ば1250/50、2:1、HDVS))の出力を生成
させる。
1 is a block diagram showing an outline of a motion compensation television system conversion apparatus. This device is provided with an input of interlaced digital video signal 50 (eg 112
5/60, 2: 1 high definition video signal (HDVS)) and produces an output of interlaced digital video signal 60 (eg 1250/50, 2: 1, HDVS).

【0021】入力ビデオ信号50は、まず入力バッファ
/パッカ110に供給される。通常精細度入力信号の場
合は、この入力バッファ/パッカ110が入力画像を高
精細(16:9のアスペクト比)のフォーマットに変換
し、黒ピクセルを必要な箇所に充填する。HDVS入力
に関しては、入力バッファ/パッカ110は、データの
一時記憶を行うのみである。
The input video signal 50 is first provided to the input buffer / packer 110. For normal definition input signals, this input buffer / packer 110 converts the input image into a high definition (16: 9 aspect ratio) format and fills black pixels where needed. For HDVS input, the input buffer / packer 110 only provides temporary storage of data.

【0022】データは入力バッファ/パッカ110から
マトリクス回路120に送られ、ここで(必要であれ
ば)入力ビデオ信号のフォーマットを標準的な「CCI
R推薦601」(Y,Cr,Cb)フォーマットに変換
する。マトリクス回路120から入力ビデオ信号はタイ
ムベース変換(TBC)遅延器130に送信され、ある
いはサブサンプラ170を介してサブ(ダウン)サンプ
ルされたタイムベース変換遅延器180に送信される。
タイムベース変換遅延器130は、出力ビデオ信号の各
フィールドの時間上の位置を決定し、当該出力フィール
ドに時間上最も近い入力ビデオ信号の2フィールドを選
択し、この出力フィールドの補間に用いる。出力ビデオ
信号の各フィールドに対して、タイムベース変換器によ
って選択された2個の入力フィールドは、適度の遅延を
付与されてから補間器140に供給され、ここでこの出
力フィールドが補間される。2個の選択された入力フィ
ールドに対する各出力フィールドの時間位置を示す制御
信号tは、タイムベース変換遅延器130から補間器1
40へと送られる。
The data is sent from the input buffer / packer 110 to a matrix circuit 120 where the format of the input video signal (if required) is standard "CCI".
R recommendation 601 ”(Y, Cr, Cb) format. The input video signal from the matrix circuit 120 is transmitted to a time base conversion (TBC) delay device 130 or is transmitted via a subsampler 170 to a sub (down) sampled time base conversion delay device 180.
The time-base conversion delay device 130 determines the temporal position of each field of the output video signal, selects the two fields of the input video signal that are closest in time to the output field, and uses them for interpolation of this output field. For each field of the output video signal, the two input fields selected by the time base converter are given an appropriate delay before being fed to the interpolator 140, where the output field is interpolated. The control signal t indicating the time position of each output field with respect to the two selected input fields is output from the time base conversion delay unit 130 to the interpolator 1.
Sent to 40.

【0023】サブサンプル・タイムベース変換遅延器1
80も同様の方法で動作するが、サブサンプラ170か
ら供給される空間的にサブサンプルされたビデオ信号を
使用する。入力フィールドのペア(対)がサブサンプル
されたビデオ信号からサブサンプル・タイムベース変換
遅延器180によって選択され、動きベクトルの生成に
用いられる。
Subsample time base conversion delay device 1
80 operates in a similar manner, but uses the spatially subsampled video signal provided by subsampler 170. A pair of input fields is selected from the subsampled video signal by a subsample timebase conversion delay 180 and used to generate a motion vector.

【0024】タイムベース変換器130及び180は入
力ビデオ信号又は出力ビデオ信号もしくはこの両者と関
連した同期信号に従って動作する。同期信号が1つしか
供給されない場合は、2個のビデオ信号の他方のフィー
ルドのタイミングがタイムベース変換器130及び18
0内で決定的なものとして生成される。
The timebase converters 130 and 180 operate according to a sync signal associated with the input video signal or the output video signal or both. If only one sync signal is provided, the timing of the other field of the two video signals is based on the time base converters 130 and 18.
Generated as deterministic within 0.

【0025】サブサンプルタイムベース変換遅延器18
0によって選択されたサブサンプル入力ビデオ信号のフ
ィールドのペアは、直接ブロック突合せ器190、デー
タストリッパ200、動きベクトル推定器210、動き
ベクトル削減器220、動きベクトル選択器230及び
ベクトル後処理器240から成る動き処理器185に供
給される。入力フィールドのペアは、まず直接ブロック
突合せ器190に供給され、ここで2個の選択された入
力フィールドのうち時間上先のサーチブロックと、この
2個の入力フィールドのうち時間上後の(より大きな)
サーチエリアとの空間的相関性を表す相関面を計算す
る。これらの相関面を表すデータは、データストリッパ
200によって再度フォーマット化され、動きベクトル
推定器に送信される。動きベクトル推定器210は、相
関面の中の相関が最大となる点を検出する。(相関面は
実際には2個の入力フィールドのブロック間の差値を表
す。このことは、相関が最大となる点は、実際上は相関
面では最小値をとることを意味し、以下「最小値」と称
する。)1つの最小値を検出するために、相関面上で点
を付加して補間し、該面生成のためサブサンプルされた
ビデオ信号を用いることによって生じた解像度の損失を
ある程度補償する。各相関面の検出された最小値から、
動きベクトル推定器210は動きベクトルを生成させ、
これを動きベクトル削減器220に供給する。
Subsample time base conversion delay unit 18
The pair of fields of the sub-sampled input video signal selected by 0 from the direct block matcher 190, data stripper 200, motion vector estimator 210, motion vector reducer 220, motion vector selector 230 and vector post-processor 240. To the motion processor 185. The pair of input fields is first directly supplied to the block matcher 190, where the search block of the two selected input fields that is ahead in time and the pair of the two input fields that are behind in time (more than big)
Calculate a correlation surface that represents the spatial correlation with the search area. The data representing these correlation surfaces is reformatted by the data stripper 200 and sent to the motion vector estimator. The motion vector estimator 210 detects a point in the correlation surface where the correlation is maximum. (The correlation surface actually represents the difference value between blocks of two input fields. This means that the point at which the correlation is maximum actually takes the minimum value on the correlation surface. The "minimum value".) In order to detect one minimum value, the loss of resolution caused by adding and interpolating points on the correlation surface and using the sub-sampled video signal for generating the surface, Compensate to some extent. From the detected minimum value of each correlation surface,
The motion vector estimator 210 causes a motion vector to be generated,
This is supplied to the motion vector reducer 220.

【0026】動きベクトル推定器210はこの動きベク
トルが一般的なノイズレベルよりもかなり上回っている
かどうかを確認するための確認試験を、生成した各運動
ベクトルに対して行ない、この確認試験の結果を示す確
認フラグを各動きベクトルに関連させる。しきい値試験
と称されるこの確認試験は英国特許出願GB−A−22
31749号に(図1の装置の特徴と共に)説明されて
いる。
The motion vector estimator 210 performs a confirmation test on each generated motion vector to confirm whether or not the motion vector is considerably higher than a general noise level, and the result of this confirmation test is obtained. The confirmation flag shown is associated with each motion vector. This confirmatory test, called the threshold test, is described in British patent application GB-A-22.
No. 31749 (along with the features of the apparatus of FIG. 1).

【0027】動きベクトル推定器210によって試験が
更に行われ、各ベクトルが真性のものであるかどうかを
検出する。この試験では、相関面(ただし検出された最
小値の周囲の除外領域除いた部分)が調べられ、次の最
小値を検出する。この2番目の最小値が除外領域の境界
部分には存在しないのであれば、元の最小値から導出し
た動きベクトルには、潜在的に偽のベクトルの可能性が
あるものとしてフラグが立てられる。
Further testing is performed by the motion vector estimator 210 to detect if each vector is authentic. In this test, the correlation surface (excluding the excluded region around the detected minimum value) is examined to detect the next minimum value. If this second minimum does not exist at the boundary of the exclusion region, then the motion vector derived from the original minimum is flagged as a potential false vector.

【0028】動きベクトル削減器220は、出力フィー
ルドの各ピクセルに対する考えられる動きベクトルの選
択枝を削減する動作を行い、後に動きベクトルを動きベ
クトル選択器230に供給する。出力フィールドは仮想
的に複数のピクセルのブロックに分割され、各ブロック
は、出力フィールド内に、選択された入力フィールドの
より先のほうのサーチブロックの位置と対応する位置を
付与されるようにする。動きベクトル削減器は、4個の
動きベクトルのグループを編成し、出力フィールドの各
ブロックと関連付け、このブロック内の各ピクセルを、
この4個の動きベクトルのグループの中から選択された
1個を用いて最終的に補間する。
The motion vector reducer 220 performs the operation of reducing the possible branches of the motion vector for each pixel of the output field and subsequently supplies the motion vector to the motion vector selector 230. The output field is virtually divided into blocks of pixels, each block being provided with a position in the output field that corresponds to the position of the search block earlier in the selected input field. . The motion vector reducer organizes a group of four motion vectors, associates each block of the output field with each pixel in this block,
Final interpolation is performed using one selected from the group of four motion vectors.

【0029】「偽のベクトル」としてフラグが立てられ
たベクトルは、これらが隣接するブロックのフラグが立
てられていないベクトルと同一であるときは、ベクトル
削減過程で再度適格性を付与される。
Vectors flagged as "false vectors" are requalified in the vector reduction process when they are identical to the unflagged vectors of adjacent blocks.

【0030】この機能の一部として、動きベクトル削減
器220は「適格」な動きベクトル(即ち、確認試験及
び偽可能性試験を通過した動きベクトル、もしくは偽の
可能性なしとして再度適格性を付与された動きベクト
ル)の生成頻度を計数し、これらの動きベクトルを得る
のに用いた入力フィールドのブロック位置は考慮に入れ
ないものとする。適格な動きベクトルは、頻度の高い方
から低い方へと順に格付けされる。相互に明確に異なっ
ている適格な動きベクトルのうち最も共通性の高いベク
トルを「グローバル(広域)」動きベクトルとして分類
する。確認試験を通過した3個の動きベクトルを、出力
ピクセルの各ブロック用に選択し、ゼロ動きベクトルと
共に動きベクトル選択器320に供給し、更に処理され
る。これら3個の選択された動きベクトルは、下記の所
定の優先順位に従って選択される。 (1)対応するサーチブロックから生成した動きベクト
ル (2)周辺のサーチブロックから生成した動きベクトル
(ローカル(局所的)動きベクトル) (3)グローバル動きベクトル
As part of this function, motion vector reducer 220 requalifies "qualified" motion vectors (ie, motion vectors that have passed confirmation and false positive tests, or no false positives). Generated motion vectors) are counted and the block positions of the input fields used to obtain these motion vectors are not taken into account. Eligible motion vectors are ranked in descending order of frequency. The most common vector among the eligible motion vectors that are clearly different from each other is classified as a "global" motion vector. The three motion vectors that pass the verification test are selected for each block of output pixels and provided to the motion vector selector 320 with zero motion vectors for further processing. These three selected motion vectors are selected according to the following predetermined priority order. (1) Motion vector generated from corresponding search block (2) Motion vector generated from surrounding search block (local motion vector) (3) Global motion vector

【0031】動きベクトル選択器230は、サブサンプ
ル・タイムベース変換(TBC)遅延器180によって
選択され、動きベクトルを導出するのに用いられた2個
の入力フィールドを入力として受信する。これらのフィ
ールドに適度な遅延を与え、これらのフィールドから生
成するベクトルと同時に動きベクトル選択器230に供
給されるようにする。動きベクトル選択器230は、出
力フィールドのピクセルあたり1個の動きベクトルが対
応する出力を供給する。この動きベクトルは、動きベク
トル削減器220によって供給されるこのブロックに対
する4個の動きベクトルの中から選択される。
The motion vector selector 230 receives as inputs the two input fields selected by the subsample time base transform (TBC) delay unit 180 and used to derive the motion vector. These fields are given an appropriate delay so that they are supplied to the motion vector selector 230 at the same time as the vectors generated from these fields. Motion vector selector 230 provides an output to which one motion vector per pixel in the output field corresponds. This motion vector is selected from among the four motion vectors provided by the motion vector reducer 220 for this block.

【0032】ベクトルの選択過程(詳細はあとで説明す
る)は、試験中動きベクトルによって特定される2個の
入力フィールドの被試験ブロック間の相関度を検出する
ことを含む。試験ブロック間で最大の相関度を有する動
きベクトルが選択され、出力ピクセルの補間に用いられ
る。「動きフラグ」が同様にベクトル選択器230によ
って生成される。ゼロの動きベクトルによって特定され
るブロック間の相関度が所定のしきい値よりも大きいと
きは、このフラグは「靜止」(動きのない)として設定
される。
The vector selection process (discussed in more detail below) involves detecting the degree of correlation between the blocks under test of the two input fields identified by the motion vector under test. The motion vector with the highest degree of correlation between test blocks is selected and used to interpolate the output pixels. A “motion flag” is also generated by the vector selector 230. If the degree of correlation between blocks identified by a motion vector of zero is greater than a predetermined threshold, then this flag is set as "quiet" (no motion).

【0033】ベクトル後処理器240は、動きベクトル
選択器230によって選択された動きベクトルを再度フ
ォーマットし、画像の垂直方向の尺度が反映されるよう
にし、この再度フォーマットされたベクトルを補間器1
40に供給する。動きベクトルを用いることにより、補
間器140は、タイムベース変換遅延器130によって
選択された対応する2個の(サブサンプルされていな
い)補間された入力フィールドから出力フィールドを補
間して生成し、現在補間器140に供給されている動き
ベクトルによって示される画像の動きを考慮に入れる。
The vector post-processor 240 reformats the motion vector selected by the motion vector selector 230 so that the vertical scale of the image is reflected, and the reformatted vector is interpolated by the interpolator 1.
Supply to 40. By using the motion vector, the interpolator 140 interpolates and produces an output field from the corresponding two (non-subsampled) interpolated input fields selected by the time base conversion delay 130. It takes into account the motion of the image represented by the motion vector supplied to the interpolator 140.

【0034】動きフラグが、現在の出力ピクセルが画像
の動く部分にあることを示すときは、この補間器に供給
される2個の選択されたフィールドからのピクセルは、
2個の入力信号(制御信号tによって示す)に関する出
力フィールドの時間上の位置に応じた相対比率にて結合
され、より出力フィールドに近い入力フィールドが大き
な比率が用いられる。動きフラグの示すものが「靜止」
に設定されていれば、時間上の比重配分は行なわない。
補間器140の出力は、出力バッファ150に供給さ
れ、HDVS出力信号として出力すると共に、ダウンコ
ンバータ160にも供給されて、ここで動きフラグを用
いて通常精細度の出力信号165を生成させる。
When the motion flag indicates that the current output pixel is in the moving part of the image, the pixels from the two selected fields supplied to this interpolator are:
The two input signals (denoted by the control signal t) are combined at a relative ratio depending on the temporal position of the output field, with a larger ratio being used for the input field closer to the output field. What the motion flag indicates is "quick stop"
If it is set to, the weight distribution over time is not performed.
The output of the interpolator 140 is supplied to the output buffer 150 and is output as the HDVS output signal, and is also supplied to the down converter 160, where the motion flag is used to generate the output signal 165 of normal definition.

【0035】サブサンプラ170は、マトリクス回路1
20から受信した入力フィールドの水平及び垂直空間サ
ブサンプリングを行う。この水平サブサンプリングで
は、入力フィールドがまず帯域が半分のローパスフィル
タによって前ろ波されて(本実施例の場合、2:1の水
平間引き)、次に各ビデオラインに沿った1つおきのビ
デオサンプルが廃棄され、各ビデオライン上のサンプル
数を半分に削減する。
The subsampler 170 is a matrix circuit 1
Perform horizontal and vertical spatial subsampling of the input field received from 20. In this horizontal sub-sampling, the input field is first pre-filtered by a half band low pass filter (2: 1 horizontal decimation in this example) and then every other video along each video line. Samples are discarded, cutting the number of samples on each video line in half.

【0036】入力フィールドの垂直サブサンプリング
は、入力ビデオ信号がインターレースされるため複雑で
ある。このことは、各インターレースフィールドのビデ
オサンプルの一連のラインは、完成したフレームにおけ
る2本のビデオライン分だけ分離されているのと同一の
効果があり、各フィールドのラインは完成フレームのビ
デオラインにおける直前又は直後のフィールドのライン
から垂直に位置がずれる。実際に用いられる垂直サンプ
リングの方法は、垂直方向に低域通過ろ波する最初の段
階(エイリアシングを回避するため)と、これに続く各
ピクセルを垂直方向にビデオライン半分だけ下方に移動
させるか(偶数フィールドの場合)又は上方に移動させ
る(奇数フィールドの場合)ろ波動作とを含む。結果と
して生ずるフィールドは、2をファクタとして垂直方向
にサブサンプルされたプログレッシブ(順次)走査フレ
ームと大ざっぱに等価である。
Vertical subsampling of the input field is complicated because the input video signal is interlaced. This has the same effect as the series of lines of video samples in each interlaced field being separated by two video lines in the completed frame, and each field line in the completed frame's video line. Vertical shift from the line of the field immediately before or immediately after. The actual method of vertical sampling used is the first step of vertical low pass filtering (to avoid aliasing), followed by each pixel moving vertically down half a video line ( Filtering operation in case of even field) or moving upward (in case of odd field). The resulting field is roughly equivalent to a vertically subsampled progressive scan frame by a factor of two.

【0037】図2は、動きベクトル選択器230の動作
の概略を示す図である。
FIG. 2 is a diagram showing an outline of the operation of the motion vector selector 230.

【0038】上述したように、動きベクトル選択器23
0は動きベクトル削減器220からのローカル及びグロ
ーバル動きベクトルと、動きベクトルを生成させる2個
のサブサンプルされた入力フィールドと、タイムベース
変換遅延器180から制御信号tとを受信する。現在の
出力フィールド310の各ピクセル300に対して動き
ベクトル選択器230は、先行及び後続の各入力フィー
ルド320、330動きベクトルによって指示されてい
るピクセルのブロック340を比較することによって、
当該ピクセルに関する4個の考えられる動きベクトルの
各々を試験する。
As described above, the motion vector selector 23
0 receives the local and global motion vectors from the motion vector reducer 220, the two subsampled input fields that generate the motion vectors, and the control signal t from the timebase conversion delay 180. For each pixel 300 of the current output field 310, the motion vector selector 230 compares the block 340 of pixels pointed to by each of the preceding and succeeding input fields 320, 330 motion vectors,
Test each of the four possible motion vectors for that pixel.

【0039】被試験ブロック340の比較動作は、2個
のブロック内の対応するピクセル間の輝度の差の絶対値
の和を計算することによって行われ、和が小さい方がブ
ロック間に高い相関度があることになる。この比較動作
は、動きベクトル選択器230に供給される4個の動き
ベクトルの各々に対して行われるが、図の明瞭さのため
に、図2では、4個のうちの2個のみ(ゼロ動きベクト
ル350ともう1つの非ゼロ動きベクトル360)を示
す。
The comparison operation of the block under test 340 is performed by calculating the sum of the absolute values of the brightness differences between the corresponding pixels in the two blocks, and the smaller the sum, the higher the correlation between the blocks. There will be. This comparison operation is performed on each of the four motion vectors supplied to the motion vector selector 230, but for clarity of the drawing, in FIG. Motion vector 350 and another non-zero motion vector 360) are shown.

【0040】図3は、動きベクトル選択器230の概略
ブロック図である。出力ピクセルの各ブロックに関する
4個の動きベクトルは、動きベクトル削減器220によ
って動きベクトル選択器230へと供給される。これら
4個の動きベクトル、即ちゼロ動きベクトルとv1、v
2、v3によって示される3個の他のベクトルは、4個
の各処理ユニット400、410、420及び430に
供給される。処理ユニット440、410、420、4
30の各々は、アドレスオフセット演算器440、タイ
ムベース変換遅延器180によって選択された入力フィ
ールドのペアの各1個の関連部分を夫々記憶する2個の
ランダムアクセスメモリ(RAM)450、460及び
ブロック突合せ比較器470を具える。
FIG. 3 is a schematic block diagram of the motion vector selector 230. The four motion vectors for each block of output pixels are provided by motion vector reducer 220 to motion vector selector 230. These four motion vectors, namely the zero motion vector and v1, v
The three other vectors denoted by 2, v3 are provided to each of the four processing units 400, 410, 420 and 430. Processing units 440, 410, 420, 4
Each of the 30 includes two random access memories (RAMs) 450, 460 and blocks each storing an associated portion of each of the pairs of input fields selected by the address offset calculator 440, the time base conversion delay unit 180. A butt comparator 470 is provided.

【0041】各処理ユニットの中では、アドレスオフセ
ット演算器440が、タイムベース変換遅延器180に
よって生成する時間オフセット制御信号(t)と共に、
この処理ユニットに割り当てられた動きベクトルを受信
する。これら2個の値からアドレスオフセット演算器
は、その動きベクトルによって指し示されたピクセルの
被試験ブロックにアクセスするために、RAM450、
460に記憶されるべき複数のメモリアドレスを生成さ
せる。アドレスオフセット演算器によって供給されたア
ドレスに応じて、各RAM450、460は、試験ブロ
ックを表すピクセル値のアレイをブロック突合せ比較器
470に供給する。
In each processing unit, the address offset calculator 440, together with the time offset control signal (t) generated by the time base conversion delay unit 180,
The motion vector assigned to this processing unit is received. From these two values, the Address Offset Calculator will access the RAM 450, to access the block under test of the pixel pointed to by the motion vector.
Generate a plurality of memory addresses to be stored at 460. In response to the address provided by the address offset calculator, each RAM 450, 460 provides an array of pixel values representing a test block to a block match comparator 470.

【0042】ブロック突合せ比較器470は、2個の試
験ブロックの対応する位置におけるピクセル値(特にピ
クセル値の輝度成分)を比較する。各ピクセルペア間の
輝度の差値の絶対値が計算され、輝度差の絶対値の全合
算値(SAD)を生成させて、2個の試験ブロック間の
全体的な相関を表す。特定の動きベクトルに関するSA
D値が低いときは、この動きベクトルによって指し示さ
れた試験ブロック間の相関度が高いことを示している。
The block matching comparator 470 compares pixel values (especially luminance components of pixel values) at corresponding positions of two test blocks. The absolute value of the luminance difference value between each pixel pair is calculated and a sum of absolute luminance difference values (SAD) is generated to represent the overall correlation between the two test blocks. SA for a specific motion vector
When the D value is low, it indicates that the degree of correlation between the test blocks pointed to by this motion vector is high.

【0043】処理ユニット430は動きベクトルv3を
受信し、この動きベクトルによって指し示された被試験
ブロックに関するSAD値を計算する。処理ユニット4
30はそこでSAD値及びベクトルv3の識別子を処理
ユニット420に供給する。
The processing unit 430 receives the motion vector v3 and calculates the SAD value for the block under test pointed to by this motion vector. Processing unit 4
30 then supplies the SAD value and the identifier of the vector v3 to the processing unit 420.

【0044】処理ユニット420の中では、ベクトルv
2に関するSAD値は、夫々のブロック突合せ比較器4
70から生成する。そのSAD値は、そこで処理ユニッ
ト430から受信したv3に関するSAD値と比較され
る。このSAD値が低いときは、動きベクトル(v2又
はv3)は、この動きベクトルによって指し示される試
験ブロック間の相関度が高いことを示す。従って、処理
ユニット420は、SAD値の低い方475及びこの低
い方のSAD値が生成されたベクトルを特定するベクト
ル識別子480を出力する。
In the processing unit 420, the vector v
SAD values for 2 are calculated by the respective block matching comparators 4
It is generated from 70. The SAD value is then compared to the SAD value for v3 received from processing unit 430. When this SAD value is low, the motion vector (v2 or v3) indicates that the degree of correlation between the test blocks pointed to by this motion vector is high. Therefore, the processing unit 420 outputs a vector identifier 480 that identifies the lower SAD value 475 and the vector in which the lower SAD value was generated.

【0045】処理ユニット410は、ベクトルv1を受
信し、このベクトルからSAD値を計算する。v1に関
するSAD値を、処理ユニット420から供給されたベ
クトルv2及びv3の低い方のSAD値475と比較す
る。処理ユニット410は、ここでベクトルv1、v
2、v3のうちの最も低いSAD値477を、このSA
D値が生成されるベクトル識別子485と共に出力す
る。
The processing unit 410 receives the vector v1 and calculates the SAD value from this vector. The SAD value for v1 is compared to the lower SAD value 475 of vectors v2 and v3 supplied from processing unit 420. The processing unit 410 now has vectors v1, v
The lowest SAD value 477 of 2 and v3 is the SA
The D value is output together with the generated vector identifier 485.

【0046】処理ユニット400は、ゼロ動きベクトル
に関するSAD値を生成し、これを処理ユニット410
から受信したベクトルv1,v2,v3に関する現在の
最小のSAD値と比較する。この比較処理によって、4
個のベクトルのうち最小のSAD値を生成する1つを表
す選択されたベクトル識別子490を、処理ユニット4
00内のブロック突合せ比較器470から出力する。
Processing unit 400 generates a SAD value for the zero motion vector, which is processed by processing unit 410.
Compare with the current minimum SAD value for the vectors v1, v2, v3 received from By this comparison process, 4
The selected vector identifier 490 representing the one of the vectors that produces the smallest SAD value to the processing unit 4
It is output from the block matching comparator 470 in 00.

【0047】ゼロ動きベクトルに関するSAD値(処理
ユニット400内のブロック突合せ比較器470によっ
て生成する)を、比較器500に供給し、ここであらか
じめ設定されたしきい値510と比較する。ゼロ動きベ
クトルに関するSAD値は、4個のベクトル(ゼロ、v
1、v2、v3)のどれが出力ピクセル300の補間に
用いるべく選択されたかに関わりなく、比較器500に
供給される。
The SAD value for the zero motion vector (generated by block match comparator 470 in processing unit 400) is provided to comparator 500 where it is compared to a preset threshold value 510. The SAD value for the zero motion vector is four vectors (zero, v
1, v2, v3), regardless of which one was selected for use in interpolating the output pixel 300, is provided to the comparator 500.

【0048】比較器500は、ゼロ動きベクトルに関す
るSAD値がしきい値510よりも大きいとき、(画像
の動きありを示す)動きフラグ520をセットする。ゼ
ロ動きベクトルに関するSAD値がしきい値510より
も小さいときは、動きフラグはセットされず、現在の出
力ピクセルが実質的に画像の靜止部分に存在することを
示す。
Comparator 500 sets motion flag 520 (indicating that there is motion in the image) when the SAD value for the zero motion vector is greater than threshold 510. When the SAD value for the zero motion vector is less than the threshold value 510, the motion flag is not set, indicating that the current output pixel is substantially in the stationary portion of the image.

【0049】上述のように、補間器140の動作は、動
きフラグが補間中の出力ピクセルに関してセットされた
かどうかに従って変化する。この変化の理由を図4、
5、6、7及び図8を参照して説明する。
As mentioned above, the operation of interpolator 140 changes depending on whether the motion flag is set for the output pixel being interpolated. The reason for this change is shown in Figure 4.
The description will be made with reference to FIGS.

【0050】図4はひし形のプログレッシブ(順次)走
査されたビデオフレームの部分を示す概略図である。画
像が2個の連続するインターレース・ビデオフィールド
として示されているときは、図5のa(奇数ビデオフィ
ールド)及び図5のb(次の偶数ビデオフィールド)に
示すように、2個のビデオフィールドは再び結合されて
完全なひし形パターンが生成されるため、垂直方向の情
報損失はない。
FIG. 4 is a schematic diagram showing a portion of a progressively scanned video frame of a diamond. When an image is shown as two consecutive interlaced video fields, two video fields are displayed, as shown in Figure 5a (odd video field) and Figure 5b (next even video field). Are recombined to produce a complete diamond pattern, so there is no vertical information loss.

【0051】しかし、2個の連続するビデオフィールド
間に垂直方向の奇数番のラインだけの垂直な画像の動き
があるとき、情報は補間過程で損失する。この状態は図
6のa及びbに示される。図6aは図4に示すパターン
に由来する奇数番ビデオフィールドを表し、図6bは、
画像が1ライン分だけ垂直方向に移動したのちの次の
(偶数)ビデオフィールドを表す。図6a及び図6bに
示す図は同一であり、言い替えればこの場合画像情報の
半分は損失される。
However, information is lost in the interpolation process when there is only vertical odd-numbered vertical image motion between two consecutive video fields. This state is shown in a and b of FIG. FIG. 6a represents an odd video field derived from the pattern shown in FIG. 4, and FIG.
It represents the next (even) video field after the image has moved vertically by one line. The diagrams shown in Figures 6a and 6b are identical, in other words in this case half of the image information is lost.

【0052】上述の問題を解決するために、補間器14
0が、動きフラグがセットされたかどうかに応じて2つ
の動作モードの間にて切り替えを行なう。動きフラグが
セットされたときは、現在の出力ピクセルが画像の動き
のある部分を形成していることを示し、入力フィールド
のペアの各々のフィールド内補間によって、2個の中間
ピクセル値を生成する。これらの中間値を結合して出力
ピクセルを生成する。これに対して動きフラグがセット
されないときは、現在の出力ピクセルが画像の動きのあ
る部分を形成していないことを示し、2個の入力フィー
ルドからのピクセルをインターリーブ(間挿)し、この
インターリーブしたピクセルに対して単一フィルタリン
グ動作を行い、出力ピクセルを生成する。
To solve the above problems, the interpolator 14
0 switches between the two operating modes depending on whether the motion flag is set. When the motion flag is set, it indicates that the current output pixel forms a moving part of the image and intra-field interpolation of each of the pairs of input fields produces two intermediate pixel values. . These intermediate values are combined to produce the output pixel. In contrast, when the motion flag is not set, it indicates that the current output pixel does not form a moving part of the image, and the pixels from the two input fields are interleaved and this interleaved A single filtering operation is performed on the selected pixels to generate output pixels.

【0053】図7は、動きフラグがセットされたときの
補間器の動作を示す図である。半帯域幅(half-bandwid
th)補間フィルタ600が2個の入力フィールド32
0、330に夫々個別に適用され、夫々の中間ピクセル
値610、620を生成する。半帯域幅フィルタは垂直
エイリアス問題を避けるために用いられる。
FIG. 7 is a diagram showing the operation of the interpolator when the motion flag is set. Half-bandwid
th) Interpolation filter 600 has two input fields 32
Respectively applied to 0, 330 to produce respective intermediate pixel values 610, 620. Half-bandwidth filters are used to avoid the vertical aliasing problem.

【0054】ここでは、2個の中間ピクセル値610、
620を、現在の出力フィールドに時間上最も近いフィ
ールドから大きな比率で用いて中間ピクセルを形成する
という時間重み付けに従って結合し、出力ピクセルを生
成する。実際、2個の入力フィールド間における出力フ
ィールドの時間上の位置(t)に従い、結合比率が線形
に変化する。もしtが0と1との間の値であれば、これ
は、出力フィールドと先行する入力フィールドとの間の
時間的距離が1入力フィールド周期の一部であることを
示すので、2個の中間ピクセルが次のように結合され
る。 出力ピクセル=(1−t)×(先行する入力フィールド
からの中間ピクセル)+t×(後続する入力フィールド
からの中間ピクセル)
Here, two intermediate pixel values 610,
620 are combined according to the time weighting that the field closest in time to the current output field is used in large proportion to form the intermediate pixel to produce the output pixel. In fact, the coupling ratio varies linearly according to the temporal position (t) of the output field between the two input fields. If t is a value between 0 and 1, this indicates that the temporal distance between the output field and the preceding input field is part of one input field period, so two The intermediate pixels are combined as follows. Output pixel = (1-t) × (intermediate pixel from previous input field) + t × (intermediate pixel from subsequent input field)

【0055】図8は、動きフラグがセットされないとき
の補間器140の動作の概略を示す図である。この場
合、現在出力されているピクセルが画像の動きのある部
分を形成しておらず、従って垂直方向の周波数帯域が
(図5のa及びbに示すように)すべて使えると判断さ
れる。従って全帯域幅(full-bandwidth)補間フィルタ
630を2個の入力フィールド320及び330のイン
ターリーブされたピクセルに適用し、出力ピクセルを生
成させることになる。
FIG. 8 is a diagram showing the outline of the operation of the interpolator 140 when the motion flag is not set. In this case, it is determined that the pixels currently being output do not form a moving part of the image, and therefore all vertical frequency bands are available (as shown in a and b of FIG. 5). Therefore, a full-bandwidth interpolation filter 630 will be applied to the interleaved pixels of the two input fields 320 and 330 to produce output pixels.

【0056】図8に示すフィルタ構成に時間上の重み付
けを用いることが考えられるが、いくつかの理由により
本実施例では実際に採用していない。 (1)2組のピクセルの重み付けが変化しても、フィル
タは全体で1の利得を保つために空間的には変形されな
ければならない。このように変形させることは可能では
あるが、フィルタの設計上に新たな制約が加わり、フィ
ルタの性能(例えば帯域幅など)が低下する。 (2)時間上の重み付けを行うと、出力フィールドの時
間上の位置が2個の入力フィールドの一方に近づくにつ
れ、ピクセル値の半分の値がフィルタを凌ぐようにな
る。この結果フィルタの帯域幅が半減してしまう。 (3)更に、入力フィールドに対する出力フィールドの
時間位置が変化するので、上記の(2)で述べたように
帯域幅が周期的に減少する。これによって(60Hzか
ら50Hzへの変換の場合)10Hzの周期で靜的な物
体の外見上の明瞭さが周期的に変化する。
Although it is conceivable to use temporal weighting in the filter configuration shown in FIG. 8, it is not actually adopted in this embodiment for several reasons. (1) As the weightings of the two sets of pixels change, the filter must be spatially deformed to maintain a unity gain overall. Although such a modification is possible, a new constraint is added to the design of the filter, and the performance (for example, bandwidth) of the filter deteriorates. (2) With temporal weighting, as the temporal position of the output field approaches one of the two input fields, half of the pixel values dominate the filter. As a result, the bandwidth of the filter is halved. (3) Furthermore, since the time position of the output field with respect to the input field changes, the bandwidth decreases periodically as described in (2) above. This causes a periodic change in the apparent clarity of the murky object with a period of 10 Hz (in the case of conversion from 60 Hz to 50 Hz).

【0057】図9は、補間器140の概略ブロック図で
ある。ビデオフィールドの組は2個の補間器700、7
10に供給され、現在の出力フィールドは、先行及び後
続する入力フィールドから夫々補間する。各補間器70
0、710は図7及び図8のフィルタ構成に従い、選択
的に動作する。
FIG. 9 is a schematic block diagram of the interpolator 140. The set of video fields consists of two interpolators 700, 7
10 and the current output field is interpolated from the preceding and succeeding input fields, respectively. Each interpolator 70
0 and 710 selectively operate according to the filter configurations of FIGS. 7 and 8.

【0058】各出力ピクセルの動きフラグを「靜的」係
数メモリ720に供給し、また反転ゲート730を通じ
て「動的」係数メモリ740に供給する。フィルタ係数
の適当な組を係数メモリ720、740の1つから出力
し、動きフラグの状態に応じて出力ピクセルの補間に用
いる。選択された係数の組は並直列変換器750を介し
て補間器700、710に供給される。
The motion flag for each output pixel is provided to a "static" coefficient memory 720 and through an inversion gate 730 to a "dynamic" coefficient memory 740. An appropriate set of filter coefficients is output from one of the coefficient memories 720, 740 and used to interpolate output pixels depending on the state of the motion flag. The selected coefficient set is supplied to the interpolators 700 and 710 via the parallel-serial converter 750.

【0059】各補間器700、710は、選択されたフ
ィルタ係数の組に従って夫々の入力フィールドからの多
数のピクセルを結合させる。補間器の出力は2個の乗算
器760、770の重み付け係数を乗算され、ここから
の出力が加算器800によって加算される。0.5又は
t(出力フィールドの時間的な位置)のいずれかの重み
付け係数が、動きフラグの制御に従って並直列変換器7
80より乗算器760に供給される。同様に、0.5又
は(1−t)のいずれかの重み付け係数が、ここでも動
きフラグの制御に従って並直列変換器790より乗算器
770に供給される。
Each interpolator 700, 710 combines a number of pixels from each input field according to the selected set of filter coefficients. The output of the interpolator is multiplied by the weighting factors of the two multipliers 760 and 770, and the output from this is added by the adder 800. A weighting factor of either 0.5 or t (temporal position of the output field) is controlled by the parallel-serial converter 7 according to the control of the motion flag.
It is supplied from 80 to the multiplier 760. Similarly, a weighting factor of either 0.5 or (1-t) is again provided to the multiplier 770 by the parallel-to-serial converter 790 under the control of the motion flag.

【0060】重み付け係数としてt及び(1−t)を使
用するときは、動きフラグがセットされた係数との関連
から、補間器140が図7に示すフィルタリング構成に
従って動作し、2個の中間ピクセルを生成させ、時間的
重み付けを用いて結合させる。夫々の0.5の重み付け
をもつ「靜的」係数を使用するときは、図8に示すイン
ターリーブされた全帯域幅のフィルタ構成と等価にな
る。補間器140は、ゆえに動きフラグに応じて2個の
異なる補間器の一方として選択的に動作する。
When using t and (1-t) as the weighting factors, the interpolator 140 operates according to the filtering scheme shown in FIG. Are generated and combined using temporal weighting. When using the "hysterical" coefficients with their respective 0.5 weights, it is equivalent to the interleaved full bandwidth filter configuration shown in FIG. Interpolator 140 thus selectively operates as one of two different interpolators depending on the motion flag.

【0061】上述の実施例の様々な改良型によって、全
帯域幅フィルタ630が動作状態に切り替えられたと
き、静止に向かう運動物体が突然焦点状態に持ち込まれ
るという潜在的問題を軽減できるであろう。例えば、 (1)一方が「静的」(全帯域幅)補間器を用いて形成
され、他方が「動的」(半帯域幅)補間器を用いて形成
された2個の出力フィールド間にて、クロスフェード
(cross-fade:編集点で信号を滑らかに接続すること)
を行うことができる。 (2)全帯域幅フィルタを用いる前に、動きがゼロに定
着した後に1つ又は2つの中間帯域幅(全帯域幅と半帯
域幅との間)フィルタを用いることができる。
Various refinements of the above-described embodiments may alleviate the potential problem of a suddenly moving stationary object being brought into focus when the full bandwidth filter 630 is switched to the active state. . For example: (1) Between two output fields, one formed using a "static" (full bandwidth) interpolator and the other formed using a "dynamic" (half bandwidth) interpolator Cross-fade (connecting signals smoothly at edit points)
It can be performed. (2) Before using the full bandwidth filter, one or two intermediate bandwidth (between full bandwidth and half bandwidth) filters can be used after the motion has settled to zero.

【0062】[0062]

【発明の効果】本発明によれば、出力画像の各ピクセル
が、この出力画像の動的部分を表しているか靜的部分を
表しているかを検出する手段を具え、この手段を通じて
得た情報を、例えばこのピクセルを生成させる補間方法
の適合化に用いている。従って、入力画像がインターレ
ースされたビデオ信号の一連のフィールドから成る場
合、連続するフィールド間で奇数個のビデオラインだけ
画像が垂直に動くときの情報損失をうまく補償すること
ができる。
According to the present invention, there is provided means for detecting whether each pixel of the output image represents a dynamic part or a static part of the output image, and the information obtained through this means is detected. , For example, to adapt the interpolation method used to generate this pixel. Therefore, if the input image consists of a series of fields of interlaced video signals, information loss can be well compensated when the image moves vertically by an odd number of video lines between successive fields.

【図面の簡単な説明】[Brief description of drawings]

【図1】動き補償テレビジョン方式変換装置の概略を示
すブロック図である。
FIG. 1 is a block diagram showing an outline of a motion compensation television system conversion device.

【図2】動きベクトル選択器の動作の概略を示すブロッ
ク図である。
FIG. 2 is a block diagram showing an outline of operation of a motion vector selector.

【図3】動きベクトル選択器の概略を示すブロック図で
ある。
FIG. 3 is a block diagram showing an outline of a motion vector selector.

【図4】順次走査ビデオフレームの概略を示す図であ
る。
FIG. 4 is a diagram showing an outline of a progressive scanning video frame.

【図5】インターレースの関係にある2個の連続ビデオ
フィールドの例1を示す。
FIG. 5 shows Example 1 of two consecutive video fields in an interlaced relationship.

【図6】インターレースの関係にある2個の連続ビデオ
フィールドの例2を示す図である。
FIG. 6 is a diagram showing an example 2 of two continuous video fields having an interlaced relationship.

【図7】動きフラグがセットされたときの動き補償補間
器の動作の概略を示す図である。
FIG. 7 is a diagram showing an outline of operation of a motion compensation interpolator when a motion flag is set.

【図8】動きフラグがセットされないときの動き補償補
間器の動作の概略を示す図である。
FIG. 8 is a diagram showing an outline of the operation of the motion compensation interpolator when the motion flag is not set.

【図9】動き補償補間器の概略を示すブロック図であ
る。
FIG. 9 is a block diagram showing an outline of a motion compensation interpolator.

【符号の説明】 140 動き補償補間器 210 ベクトル推定器 220 ベクトル削減器 230 動きベクトル選択器(ベクトル選択手段) 240 ベクトル後処理器(動きフラグ生成手段) 470 ブロック突合せ比較器(ブロック間相関度検出
手段) 500 比較器(靜動検出手段) 780,790 並直列変換器(ピクセル選択手段)
[Description of Reference Signs] 140 motion compensation interpolator 210 vector estimator 220 vector reducer 230 motion vector selector (vector selection means) 240 vector post-processor (motion flag generation means) 470 block matching comparator (interblock correlation detection) Means) 500 Comparator (motion detection means) 780,790 Parallel-serial converter (pixel selection means)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 サイモン マシュー マンズ イギリス国 サリー,ギルドフォード デンジル ロード 2 (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー,ベーシング ストーク,ベーシング,リングフィール ド クロース 6 (56)参考文献 特開 平3−62690(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/00 - 7/68 H04N 11/00 - 11/22 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Simon Matthew Mans United Kingdom Sally, Guildford Denzil Road 2 (72) Inventor Martin Rex Dorricot United Kingdom Hampshire, Basing Stoke, Basing, Ringfield Claus 6 (56) Reference Document JP-A-3-62690 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 7/ 00-7/68 H04N 11/00-11/22

Claims (5)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 入力画像対間の画像の動きを表す動きベ
クトルを生成し、動きを補償する補間によって出力画像
を形成する動き補償ビデオ信号処理装置であって、画像の動きがあるときは、入力画像対の夫々について、
半帯域幅補間処理を施して2個の中間ピクセル値を生成
し、その後、これら2つの中間ピクセル値を時間重み付
けして結合して出力フィールドのピクセルを生成する手
段と、 画像の動きがないときは、入力画像対をインターリーブ
し、その後、インターリーブされたピクセルに対して全
帯域幅補間処理を実行することにより出力フィールドの
ピクセルを生成する手段 とを具えることを特徴とする動
き補償ビデオ信号処理装置。
1. A motion compensation video signal processing apparatus for generating a motion vector representing an image motion between a pair of input images, and forming an output image by interpolation for compensating the motion. For each input image pair,
Performs half-bandwidth interpolation to generate two intermediate pixel values
And then weight these two intermediate pixel values
And combine them to produce pixels in the output field.
Steps and interleave the input image pair when there is no image motion
And then all the interleaved pixels.
By performing the bandwidth interpolation process of the output field
Movement, characterized in that it comprises a means for generating a pixel
Compensation video signal processor .
【請求項2】 上記入力画像が、インターレースされ
た入力ビデオ信号の連続する2フィールドから成ること
を特徴とする請求項1記載の動き補償ビデオ信号処理
置。
Wherein said input image pair, be composed of two successive fields of an interlaced input video signal
The motion-compensated video signal processing device according to claim 1.
【請求項3】 上記出力画像が、インターレースされた
出力ビデオ信号のフィールドから成ることを特徴とする
請求項1記載動き補償ビデオ信号処理装置。
Wherein said output image is a motion compensated video signal processing apparatus <br/> according to claim 1, characterized in that it consists of fields of interlaced output video signal.
【請求項4】 入力画像対間の画像の動きを表す動きベ
クトルを生成し、動きを補償する補間によって出力画像
を形成する動き補償ビデオ信号処理装置であって、 複数の動き補償ピクセル補間器と、 該複数の動き補償ピクセル補間器から1つを選択し、こ
の入力画像間の画像の動き検出に応じて、この入力画
から出力画像のピクセル補間を行う手段とを具える
ことを特徴とする請求項1記載の動き補償ビデオ信号処
装置。
4. A motion-compensated video signal processing device for generating a motion vector representing a motion of an image between a pair of input images and forming an output image by interpolation for compensating the motion, comprising a plurality of motion-compensated pixel interpolators. select one from the plurality of motion compensation pixel interpolator in accordance with the motion detection of the image between the input image pair comprises a means for performing pixel interpolation of an output image from the input image pair
The motion-compensated video signal processor according to claim 1, characterized in that
Processing equipment.
【請求項5】 動き補償補間によって出力画像を生成す
るために、入力画像の対間の画像の動きを表す動きベク
トルを生成するビデオ信号処理方法であって、 画像の動きがあるときは、入力画像対の夫々について、
半帯域幅補間処理を施して2個の中間ピクセル値を生成
し、その後、これら2つの中間ピクセル値を時間重み付
けして結合して出力フィールドのピクセルを生成するこ
と、 画像の動きがないときは、入力画像対をインターリーブ
し、その後、インター リーブされたピクセルに対して全
帯域幅補間処理を実行することにより出力フィールドの
ピクセルを生成すること、 の各ステップを含むことを特
徴とするビデオ信号処理方法
5. An output image is generated by motion compensation interpolation.
Motion vector, which represents the motion of the image between a pair of input images.
A video signal processing method for generating a tor, when there is an image motion, for each of the input image pairs,
Performs half-bandwidth interpolation to generate two intermediate pixel values
And then weight these two intermediate pixel values
However, they can be combined to produce pixels in the output field.
And when there is no image motion, the input image pair is interleaved.
And, all Thereafter, the interleaved pixels
By performing the bandwidth interpolation process of the output field
Patent in that it comprises generating a pixel, the steps of
Video signal processing method .
JP07106794A 1993-04-08 1994-04-08 Motion compensated video signal processing apparatus and video signal processing method Expired - Fee Related JP3469626B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9307473:0 1993-04-08
GB9307473A GB2277004B (en) 1993-04-08 1993-04-08 Motion compensated video signal processing

Publications (2)

Publication Number Publication Date
JPH0795593A JPH0795593A (en) 1995-04-07
JP3469626B2 true JP3469626B2 (en) 2003-11-25

Family

ID=10733640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07106794A Expired - Fee Related JP3469626B2 (en) 1993-04-08 1994-04-08 Motion compensated video signal processing apparatus and video signal processing method

Country Status (2)

Country Link
JP (1) JP3469626B2 (en)
GB (2) GB2277004B (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509418A1 (en) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Method and circuit arrangement for subsampling in motion estimation
JP4119092B2 (en) * 1998-06-25 2008-07-16 株式会社日立製作所 Method and apparatus for converting the number of frames of an image signal
EP1075147A1 (en) * 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
KR100467625B1 (en) * 2003-02-03 2005-01-24 삼성전자주식회사 Image processing apparatus and method using frame-rate conversion
JP5347874B2 (en) * 2009-09-28 2013-11-20 富士通株式会社 Image processing apparatus, image processing method, and program
US8405769B2 (en) 2009-12-22 2013-03-26 Intel Corporation Methods and systems for short range motion compensation de-interlacing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2045574B (en) * 1979-03-22 1983-04-20 Quantel Ltd Video movement detection
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
JP2507138B2 (en) * 1990-05-21 1996-06-12 松下電器産業株式会社 Motion vector detection device and image shake correction device
GB2280811B (en) * 1993-08-03 1998-02-25 Sony Uk Ltd Motion compensated video signal processing

Also Published As

Publication number Publication date
GB2312806B (en) 1998-01-07
GB2277004B (en) 1998-01-07
JPH0795593A (en) 1995-04-07
GB2277004A (en) 1994-10-12
GB9715329D0 (en) 1997-09-24
GB9307473D0 (en) 1993-06-02
GB2312806A (en) 1997-11-05

Similar Documents

Publication Publication Date Title
US5600377A (en) Apparatus and method for motion compensating video signals to produce interpolated video signals
US5631706A (en) Converter and method for converting video signals of interlace format to video signals of progressive format
JP2832927B2 (en) Scanning line interpolation apparatus and motion vector detection apparatus for scanning line interpolation
US5526053A (en) Motion compensated video signal processing
KR100290969B1 (en) Motion Adaptive Image Processing System
US5386248A (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
US5485224A (en) Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
JP3469626B2 (en) Motion compensated video signal processing apparatus and video signal processing method
JP3201079B2 (en) Motion compensated prediction method, coding method and apparatus for interlaced video signal
JP4244685B2 (en) Moving picture time axis interpolation method and moving picture time axis interpolation apparatus
JPH05137122A (en) Signal processing method for video signal and circuit therefor
JPH06326980A (en) Movement compensating type processing system of picture signal
JP2000092455A (en) Image information converter and image information conversion method
GB2277006A (en) Generating motion vectors; subsampling video signals, interpolating correlation surfaces
JP3480015B2 (en) Apparatus and method for generating image data
JPS6132681A (en) Signal processing circuit
JP2770300B2 (en) Image signal processing
JP2938677B2 (en) Motion compensation prediction method
JP2003032636A (en) Main scanning conversion equipment using movement compensation and main scanning conversion method
JP3158802B2 (en) Video device with interpolation function
JP3800638B2 (en) Image information conversion apparatus and method
EP0474272B1 (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
JPH04505079A (en) signal processing device
JP3201344B2 (en) Motion compensated prediction method and coding apparatus for interlaced video signal
GB2281167A (en) Motion compensated video signal processing

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees