JP2005051460A - Apparatus and method for processing video signal - Google Patents

Apparatus and method for processing video signal Download PDF

Info

Publication number
JP2005051460A
JP2005051460A JP2003280600A JP2003280600A JP2005051460A JP 2005051460 A JP2005051460 A JP 2005051460A JP 2003280600 A JP2003280600 A JP 2003280600A JP 2003280600 A JP2003280600 A JP 2003280600A JP 2005051460 A JP2005051460 A JP 2005051460A
Authority
JP
Japan
Prior art keywords
inter
difference value
field
motion
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003280600A
Other languages
Japanese (ja)
Inventor
Tatsuro Yamauchi
達郎 山内
Haruyuki Nakamura
晴幸 中村
Kohei Nakae
公平 中江
Hiroyuki Torii
宏行 鳥居
Shunichi Hayashi
林  俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibasoku Co Ltd
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Shibasoku Co Ltd
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Shibasoku Co Ltd, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2003280600A priority Critical patent/JP2005051460A/en
Publication of JP2005051460A publication Critical patent/JP2005051460A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide apparatus and a method for processing a video signal employed for e.g., a format converter that reduces image distortion due to erroneous detection of a motion vector in a motion interpolation processing or the like using the motion vector. <P>SOLUTION: The video signal processor sets the motion vector to a prescribed value when an inter-field difference or an inter-frame difference subjected to motion correction is smaller than an inter-field difference or an inter-frame difference not subjected to the motion correction and when the inter-field difference or the inter-frame difference subjected to motion correction is equal to or move than a criterion. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。本発明は、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合に、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができるようにする。   The present invention relates to a video signal processing apparatus and a video signal processing method, and can be applied to, for example, a format conversion apparatus. The present invention determines the inter-field difference value or inter-frame difference value by motion correction when the inter-field difference value or inter-frame difference value by motion correction is smaller than the uncorrected inter-field difference value or inter-frame difference value. When the value is equal to or greater than the reference value, the motion vector is set to a predetermined value, so that image distortion due to erroneous detection of the motion vector can be reduced in motion interpolation processing using the motion vector.

従来、ビデオ信号の各種処理においては、動きベクトルを用いる方法が種々に利用されるようになされている。   Conventionally, a variety of methods using motion vectors have been used in various processes of video signals.

このような動きベクトルの検出においては、M画素×Nライン(M、Nは整数)のマクロブロック単位でビデオ信号を細分化した後、各マクロブロック毎に動きベクトルを検出するようになされており、この検出方法として、例えば特開昭55−162683号公報、特開昭55−162684号公報等にパターンマッチング法による動きベクトル検出方法が提案されるようになされ、また特開昭60−158786号公報等には、反復勾配法による動きベクトル検出方法が提案されるようになされている。   In such motion vector detection, a video signal is subdivided in units of macroblocks of M pixels × N lines (M and N are integers), and then a motion vector is detected for each macroblock. As this detection method, for example, a motion vector detection method by a pattern matching method is proposed in Japanese Patent Laid-Open Nos. 55-162683 and 55-162684, and Japanese Patent Laid-Open No. 60-158786. In the publications, a motion vector detection method using an iterative gradient method is proposed.

またこのような動きベクトルを用いたビデオ信号の処理の1つであるフォーマット変換においては、検出した動きベクトルによる動き内挿処理により、動きの不連続性を軽減するようになされている。すなわちこの処理においては、内挿フィールドのフィールド内挿比により、検出した動きベクトルを補正し、この補正した動きベクトルによりそれぞれ前フィールド、現フィールドを動き補正する。またこの動き補正した2つのフィールドによりフィールド間内挿演算し、内挿フィールドを生成するようになされている。   In the format conversion, which is one of the video signal processing using such motion vectors, motion discontinuity is reduced by motion interpolation processing using the detected motion vectors. That is, in this process, the detected motion vector is corrected by the field interpolation ratio of the interpolation field, and the previous field and the current field are corrected by the corrected motion vector, respectively. In addition, inter-field interpolation is performed using the two fields subjected to the motion correction to generate an interpolation field.

しかしながらこのような動きベクトルにおいては、対応する画像間で動きベクトルを正確に検出できない場合がある。すなわち図4(A)及び(B)に前フィールドG2の画像及び現フィールドG1の画像を示すように、背景Fの前面に静止物体による前景Eが存在し、矢印Aにより示すように背景Fが横方向に移動した場合、前景Eにそれまで隠されていた背景Rの領域αにおいては、対応する画像が前フィールドには存在しないことになる。これによりこの領域αに関しては、動きベクトルを正確に検出できなくなり、動きベクトルを誤検出することになる。   However, in such a motion vector, the motion vector may not be accurately detected between corresponding images. That is, as shown in FIGS. 4A and 4B, the foreground E by the stationary object exists in front of the background F as shown by the image of the previous field G2 and the image of the current field G1, and the background F is shown by the arrow A. When moving in the horizontal direction, the corresponding image does not exist in the previous field in the region R of the background R that has been hidden in the foreground E until then. As a result, for this region α, the motion vector cannot be accurately detected, and the motion vector is erroneously detected.

これにより従来のフィールド数の変換に係る動き内挿処理においては、画像歪みが発生する問題があった。   As a result, there has been a problem that image distortion occurs in the conventional motion interpolation processing related to the conversion of the number of fields.

すなわち図4との対比により図5に示すように、前フィールドG2及び現フィールドG1よりフィールド内挿比γの内挿フィールドG0を生成する場合において、現フィールドG1の背景Fに属するマクロブロックA1で動きベクトルVが検出され、このマクロブロックA1に対応する前フィールドG2における領域A2が背景Fに属する場合、このマクロブロックA1については、このマクロブロックA1で検出される動きベクトルVの分だけ、マクロブロックA1の画像を偏位させて動き補正すると、この動き補正したマクロブロックA1が前フィールドG2の背景Fに属する領域A2の画像と重なり合うことになる。   That is, as shown in FIG. 5 in comparison with FIG. 4, when an interpolation field G0 having a field interpolation ratio γ is generated from the previous field G2 and the current field G1, the macroblock A1 belonging to the background F of the current field G1 When the motion vector V is detected and the area A2 in the previous field G2 corresponding to the macroblock A1 belongs to the background F, the macroblock A1 is macroscopically equivalent to the motion vector V detected in the macroblock A1. When the image of the block A1 is deviated and the motion correction is performed, the macroblock A1 subjected to the motion correction overlaps with the image of the area A2 belonging to the background F of the previous field G2.

これによりこれらマクロブロックA1及び領域A2の現フィールドG1及び前フィールドG2における位置を直線により結べば、内挿フィールドG0における対応する領域A2もこの直線上に位置することになる。これによりこの場合、動きベクトルVを内挿比γにより補正して、前フィールドG2及び現フィールドG1のマクロブロックA1及び領域A2を、内挿フィールドG0の領域A0の位置に動き補正し、これら動き補正した画像データをフィールド間内挿処理することにより、内挿フィールドG0の画像データを正しく生成することができる。   Thus, if the positions of the macroblock A1 and the area A2 in the current field G1 and the previous field G2 are connected by a straight line, the corresponding area A2 in the interpolation field G0 is also located on the straight line. Accordingly, in this case, the motion vector V is corrected by the interpolation ratio γ, and the macroblock A1 and the region A2 of the previous field G2 and the current field G1 are corrected to the position of the region A0 of the interpolation field G0. By performing inter-field interpolation processing on the corrected image data, the image data of the interpolation field G0 can be generated correctly.

また現フィールドG1の前景Eに属するマクロブロックD1においては、静止していることにより動きベクトルVが値0により検出され、この動きベクトルVによる前フィールドG2の対応する領域D2においても、前景Eに属することになる。これによりこの場合も、動きベクトルVにより動き補正してフィールド間内挿処理することにより、内挿フィールドG0の画像データを正しく生成することができる。   In the macroblock D1 belonging to the foreground E of the current field G1, the motion vector V is detected by the value 0 because it is stationary, and the region D2 corresponding to the previous field G2 based on the motion vector V also changes to the foreground E. Will belong. Thereby, also in this case, the image data of the interpolation field G0 can be generated correctly by performing the motion correction by the motion vector V and performing the inter-field interpolation processing.

これに対して現フィールドG1では背景Fに属しているマクロブロックB1、C1であっても、前フィールドG2では、対応する領域B2、C2が前景Eで隠されている場合、前フィールドG2より各マクロブロックB1、C1に対応する領域B2、C2の画像データを適切に取得できなくなる。この場合、動きベクトルが誤検出され、この動きベクトルにより動き補正してフィールド間内挿処理したのでは、画像歪みが発生することになる。
特開昭55−162683号公報 特開昭55−162684号公報 特開昭60−158786号公報
On the other hand, even if the macroblocks B1 and C1 belong to the background F in the current field G1, if the corresponding regions B2 and C2 are hidden in the foreground E in the previous field G2, each of the macroblocks B1 and C1 is more than the previous field G2. The image data of the areas B2 and C2 corresponding to the macroblocks B1 and C1 cannot be acquired appropriately. In this case, if a motion vector is erroneously detected, and if motion compensation is performed using this motion vector and inter-field interpolation processing is performed, image distortion will occur.
Japanese Unexamined Patent Publication No. 55-162683 Japanese Patent Laid-Open No. 55-162684 JP 60-158786 A

本発明は以上の点を考慮してなされたもので、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができるビデオ信号処理装置及びビデオ信号の処理方法を提案しようとするものである。   The present invention has been made in consideration of the above points, and a video signal processing apparatus and video signal processing capable of reducing image distortion due to erroneous detection of motion vectors in motion interpolation processing using motion vectors, etc. We are going to propose a method.

係る課題を解決するため請求項1の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間の差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定する。   In order to solve such a problem, in the first aspect of the present invention, the present invention is applied to a video signal processing apparatus that processes a video signal using a motion vector, and motion correction is performed on consecutive fields or frames by the amount of the motion vector detected from the video signal. Then, by detecting the inter-field difference value or inter-frame difference value, the inter-field difference value or inter-frame difference value by motion correction is detected, and the inter-field difference value or By detecting the inter-frame difference value, the inter-field difference value or inter-frame difference value without motion correction is detected, and the inter-field difference value or inter-frame difference value by motion correction and the inter-field difference without motion correction are detected. Set the motion vector to a predetermined value by comparing with the value or the difference value between frames, Even if the inter-field difference value or inter-frame difference value by the motion correction is smaller than the non-motion-corrected inter-field difference value or the inter-frame difference value, the inter-field difference value or the inter-frame difference value by the motion correction is not less than the criterion value. In this case, the motion vector is set to a predetermined value.

また請求項2の発明においては、請求項1の構成において、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における動き補正によるフィールド間差分又はフレーム間差分の絶対値和と、一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行する。   According to the invention of claim 2, in the configuration of claim 1, the comparison between the inter-field difference value or inter-frame difference value obtained by motion correction and the inter-field difference value or inter-frame difference value that is not subjected to motion correction is constant. This is executed by comparing the absolute value sum of the inter-field difference or inter-frame difference due to motion correction in the region with the inter-field difference or inter-frame difference absolute value sum of the constant region that is not motion corrected.

また請求項3の発明においては、請求項1又は請求項2の構成において、所定値が、値0であるようにする。   According to a third aspect of the present invention, in the configuration of the first or second aspect, the predetermined value is a value of zero.

また請求項4の発明においては、請求項1、請求項2又は請求項3の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する。   According to a fourth aspect of the present invention, in the configuration of the first, second, or third aspect, after a field or frame is motion-corrected by a motion vector, interpolation is performed between fields or between frames. The number of fields or frames is converted by creating fields or interpolated frames.

また請求項5の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間の差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定する。   According to a fifth aspect of the present invention, the present invention is applied to a video signal processing method for processing a video signal using a motion vector, and motion correction is performed on a continuous field or frame by the amount of a motion vector detected from the video signal. By detecting an inter-frame difference value or an inter-frame difference value, an inter-field difference value or an inter-frame difference value by motion correction is detected, and an inter-field difference value or an inter-frame difference is detected without motion correction of consecutive fields or frames. By detecting the value, the inter-field difference value or inter-frame difference value that is not motion-corrected is detected, and the inter-field difference value or inter-frame difference value that is not motion-corrected, and the inter-field difference value or frame that is not motion-corrected The motion vector is set to a predetermined value by comparison with the difference value between Even if the field-to-field difference value or the frame-to-frame difference value is smaller than the field-to-field difference value or the frame-to-frame difference value that has not been subjected to motion correction, Set the vector to a predetermined value.

請求項1の構成により、ビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間値差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。   According to the configuration of the first aspect, the present invention is applied to a video signal processing apparatus, and motion correction is performed on a continuous field or frame by a motion vector detected from the video signal to detect an inter-field difference value or an inter-frame difference value. Therefore, motion compensation is not performed by detecting inter-field difference values or inter-frame difference values by motion compensation, and detecting inter-field difference values or inter-frame difference values without motion compensation of consecutive fields or frames. When detecting an inter-field difference value or an inter-frame difference value, the inter-field difference value or inter-frame difference value by the motion correction and the inter-field difference value or the inter-frame difference value that are not subjected to motion correction are respectively motion correction. Between the fields involved in processing and It will show the degree of difference between the beam. Accordingly, if the motion vector is set to a predetermined value by comparing the inter-field difference value or inter-frame difference value obtained by motion correction with the inter-field difference value or inter-frame value difference value that is not subjected to motion correction, the difference is reduced. The video signal can be processed by the side motion vector, and image distortion and the like can be prevented accordingly. However, even in such processing, if the inter-field difference value or inter-frame difference value due to motion correction rises above a certain value, there is no movement between these fields or frames, for example, it has been hidden in the foreground until then. It can be determined that this is the case of an area appearing as a result, or a scene change or the like. As a result, even when the inter-field difference value or inter-frame difference value obtained by motion correction is smaller than the inter-field difference value or inter-frame difference value that has not undergone motion correction, the inter-field difference value or inter-frame difference value obtained by motion correction is determined as the criterion value. In the above case, if the motion vector is set to a predetermined value, it is possible to reduce the image distortion caused by the motion correction and processing in the area that has been hidden in the foreground until then, and in the case of a scene change or the like. Thus, image distortion due to erroneous detection of motion vectors can be reduced in motion interpolation processing using motion vectors.

また請求項2の構成により、請求項1の構成において、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における動き補正によるフィールド間差分又はフレーム間の差分の絶対値和と、一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行すれば、簡易かつ確実に、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とを比較することができる。   According to the configuration of claim 2, in the configuration of claim 1, the comparison between the inter-field difference value or inter-frame difference value obtained by motion correction and the inter-field difference value or inter-frame difference value that is not motion-corrected is performed in a certain region. If it is executed by comparing the absolute value sum of the inter-field difference or the inter-frame difference due to the motion correction and the inter-field difference or the inter-frame difference uncorrected motion in a certain region, it is simple and sure, The inter-field difference value or inter-frame difference value obtained by motion correction can be compared with the inter-field difference value or inter-frame difference value that has not undergone motion correction.

また請求項3の構成により、請求項1又は請求項2の構成において、所定値が、値0であるようにすれば、動画と静止画とで処理を切り換えることができる。   Further, according to the configuration of claim 3, if the predetermined value is set to 0 in the configuration of claim 1 or claim 2, processing can be switched between a moving image and a still image.

また請求項4の構成により、請求項1、請求項2又は請求項3の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換すれば、フィールドの数の変換の処理に適用して、動きベクトルの誤検出による画像歪みを低減することができる。   According to the configuration of claim 4, in the configuration of claim 1, 2, or 3, the field or frame is corrected for motion by the motion vector, and then interpolated between the fields or frames to interpolate the field. Alternatively, if the number of fields or the number of frames is converted by creating an interpolation frame, it can be applied to the conversion of the number of fields to reduce image distortion due to erroneous detection of motion vectors.

また請求項5の構成により、ビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間の差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。   According to the configuration of claim 5, the present invention is applied to a video signal processing method, and motion correction is performed on a continuous field or frame by the amount of a motion vector detected from the video signal, and an inter-field difference value or an inter-frame difference value is obtained. By detecting the difference value between fields or the difference value between frames by the motion correction, the motion correction is performed by detecting the difference value between fields or the difference value between frames without correcting the motion of the continuous field or frame. When detecting the inter-field difference value or the inter-frame difference value, the inter-field difference value or the inter-frame difference value by the motion correction, and the inter-field difference value or the inter-frame difference value not subjected to the motion correction are respectively Whether the motion is corrected or not, the inter-field or It will show the degree of difference between frames. As a result, if the motion vector is set to a predetermined value by comparing the inter-field difference value or inter-frame difference value obtained by motion compensation with the inter-field difference value or inter-frame difference value that is not motion compensated, the difference becomes smaller. Thus, the video signal can be processed with the motion vector, and image distortion or the like can be prevented accordingly. However, even in such processing, when the difference value between fields or the difference value between frames due to motion correction rises above a certain value, there is no movement between these fields or frames, for example, it is hidden in the foreground until then. It can be determined that this is a case of an area that appears and a scene change or the like. As a result, even when the inter-field difference value or inter-frame difference value obtained by motion correction is smaller than the inter-field difference value or inter-frame difference value that has not undergone motion correction, the inter-field difference value or inter-frame difference value obtained by motion correction is determined as the criterion value. In the above case, if the motion vector is set to a predetermined value, it is possible to reduce the image distortion caused by the motion correction and processing in the area that has been hidden in the foreground until then, and in the case of a scene change or the like. Thus, image distortion due to erroneous detection of motion vectors can be reduced in motion interpolation processing using motion vectors.

本発明によれば、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。   According to the present invention, it is possible to reduce image distortion caused by erroneous detection of a motion vector in motion interpolation processing using a motion vector.

以下、適宜図面を参照しながら本発明の実施例を詳述する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.

(1)実施例の構成
図1は、本発明の実施例に係るビデオ信号処理装置を示すブロック図である。このビデオ信号処理装置1は、動き内挿によるフィールド間内挿処理によりビデオ信号S1のフィールド数を変換してビデオ信号S1にフォーマット変換する。
(1) Configuration of Embodiment FIG. 1 is a block diagram showing a video signal processing apparatus according to an embodiment of the present invention. The video signal processing apparatus 1 converts the number of fields of the video signal S1 by inter-field interpolation processing by motion interpolation, and converts the format to the video signal S1.

すなわちこのビデオ信号処理装置1において、前置フィルタ2は、二次元のローパスフィルタであり、ビデオ信号S1の輝度信号成分を入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。なおこの前置フィルタ2は、省略することも可能である。   That is, in this video signal processing apparatus 1, the pre-filter 2 is a two-dimensional low-pass filter, which inputs the luminance signal component of the video signal S1 and suppresses the high-frequency component, thereby erroneously detecting a motion vector due to noise. To prevent. The prefilter 2 can be omitted.

1フィールド遅延回路(1FD)3は、この前置フィルタ2から輝度信号成分を選択的に入力し、1フィールドの期間だけ遅延させて出力する。これにより1フィールド遅延回路3は、前置フィルタ2から出力される現フィールドのビデオ信号S2に対して前フィールドのビデオ信号S3を生成する。   A one-field delay circuit (1FD) 3 selectively inputs a luminance signal component from the pre-filter 2 and outputs it after delaying it by a period of one field. As a result, the 1-field delay circuit 3 generates the previous-field video signal S3 for the current-field video signal S2 output from the pre-filter 2.

動きベクトル検出回路4は、前置フィルタ2から出力されるビデオ信号S2にマクロブロックを順次設定して、1フィールド遅延回路3の出力信号との間で動きベクトルを検出することにより、現フィールドを基準にして動きベクトルを検出する。なおこの動きベクトル検出回路4において、フレーム間で動きベクトルを検出する場合、1フィールド遅延回路3に代えて1フレーム遅延回路を適用し、ビデオ信号S2を1フレーム遅延させることになる。また動きベクトルの検出手法にあっては、ブロックマッチング法、反復勾配法、位相相関法等、種々の検出手法を広く適用することができる。また画素毎に動きベクトルを検出するようにしてもよい。なおこの実施例では、マクロブロックを8画素×8ラインの大きさに設定した。   The motion vector detection circuit 4 sequentially sets macroblocks in the video signal S2 output from the prefilter 2 and detects a motion vector with respect to the output signal of the one-field delay circuit 3, thereby detecting the current field. A motion vector is detected with reference. When the motion vector detection circuit 4 detects a motion vector between frames, a 1-frame delay circuit is applied instead of the 1-field delay circuit 3, and the video signal S2 is delayed by 1 frame. As a motion vector detection method, various detection methods such as a block matching method, an iterative gradient method, and a phase correlation method can be widely applied. Further, a motion vector may be detected for each pixel. In this embodiment, the macroblock is set to a size of 8 pixels × 8 lines.

動きベクトル検出回路4は、このようにして検出した動きベクトルに、内挿フィールドに係る内挿比γ、1−γをそれぞれ乗算して動きベクトルを補正し、現フィールドから内挿フィールドへの動きベクトルVa、前フィールドから内挿フィールドへの動きベクトルVbを生成して出力する。   The motion vector detection circuit 4 corrects the motion vector by multiplying the motion vector detected in this way by interpolation ratios γ and 1-γ related to the interpolation field, and moves from the current field to the interpolation field. A vector Va and a motion vector Vb from the previous field to the interpolation field are generated and output.

遅延回路(D)5は、前置フィルタ2から出力される現フィールドのビデオ信号S2を一定時間遅延させて出力する。偏位回路6は、この遅延回路5から出力されるビデオ信号を内蔵のメモリに一時記録し、現フィールドから内挿フィールドへの動きベクトルVaに応じたタイミングにより出力する。これにより偏位回路6は、現フィールドを構成する画像の位置を動きベクトル検出回路4で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路6から出力されるビデオ信号を現フィールドによる動き補正のビデオ信号SCと呼ぶ。   The delay circuit (D) 5 delays the video signal S2 of the current field output from the prefilter 2 for a predetermined time and outputs it. The deviation circuit 6 temporarily records the video signal output from the delay circuit 5 in a built-in memory, and outputs it at a timing according to the motion vector Va from the current field to the interpolation field. As a result, the displacement circuit 6 deviates the position of the image constituting the current field in accordance with the motion vector detected by the motion vector detection circuit 4 and outputs it. Hereinafter, the video signal output from the displacement circuit 6 is referred to as a motion correction video signal SC based on the current field.

遅延回路(D)7は、この現フィールドによる動き補正のビデオ信号SCにタイミングが一致するように、現フィールドのビデオ信号S2を遅延させてビデオ信号SEを出力する。以下、このビデオ信号SEを、現フィールドによる動き補正していないビデオ信号と呼ぶ。   The delay circuit (D) 7 delays the video signal S2 in the current field and outputs the video signal SE so that the timing coincides with the video signal SC for motion correction in the current field. Hereinafter, this video signal SE is referred to as a video signal not subjected to motion correction in the current field.

遅延回路(D)8は、1フィールド遅延回路3から出力される前フィールドのビデオ信号S3を一定時間遅延させて出力する。偏位回路9は、この遅延回路8から出力されるビデオ信号を内蔵のメモリに一時記録し、前フィールドから内挿フィールドへの動きベクトルVbに応じたタイミングにより出力する。これにより偏位回路9は、前フィールドを構成する画像データの位置を動きベクトル検出回路4で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路9から出力されるビデオ信号を、前フィールドによる動き補正のビデオ信号SDと呼ぶ。   The delay circuit (D) 8 delays the video signal S3 of the previous field output from the 1-field delay circuit 3 by a predetermined time and outputs it. The displacement circuit 9 temporarily records the video signal output from the delay circuit 8 in a built-in memory, and outputs the video signal at a timing according to the motion vector Vb from the previous field to the interpolation field. As a result, the displacement circuit 9 deviates the position of the image data constituting the previous field in accordance with the motion vector detected by the motion vector detection circuit 4 and outputs it. Hereinafter, the video signal output from the displacement circuit 9 is referred to as a motion correction video signal SD based on the previous field.

遅延回路(D)10は、この前フィールドによる動き補正のビデオ信号SDにタイミングが一致するように、前フィールドのビデオ信号S3を遅延させてビデオ信号SFを出力する。以下、このビデオ信号SEを、前フィールドによる動き補正していないビデオ信号と呼ぶ。   The delay circuit (D) 10 outputs the video signal SF by delaying the video signal S3 in the previous field so that the timing coincides with the video signal SD for motion correction in the previous field. Hereinafter, this video signal SE is referred to as a video signal not subjected to motion correction by the previous field.

これらによりこのビデオ信号処理装置1では、前フィールド及び現フィールドのビデオ信号SF及びSE、前フィールド及び現フィールドのビデオ信号SF、SEを内挿フィールドに対応するように動き補正したビデオ信号SD及びSCを生成するようになされている。   Thus, in the video signal processing apparatus 1, the video signals SD and SC obtained by motion-correcting the video signals SF and SE of the previous field and the current field, and the video signals SF and SE of the previous field and the current field so as to correspond to the interpolation field. Has been made to generate.

動き判定回路11は、これらのビデオ信号SE〜SFにより、動きベクトル検出回路4から出力される動きベクトルVa、Vbを適宜補正して出力する。すなわち動き判定回路11は、前フィールド及び現フィールドの動き補正しないビデオ信号SF及びSE間で、フィールド間差分値を検出し、また前フィールド及び現フィールドの動き補正によるビデオ信号SD及びSC間で、フィールド間差分値を検出する。   The motion determination circuit 11 appropriately corrects and outputs the motion vectors Va and Vb output from the motion vector detection circuit 4 using these video signals SE to SF. That is, the motion determination circuit 11 detects the inter-field difference value between the video signals SF and SE that are not motion-corrected in the previous field and the current field, and between the video signals SD and SC by the motion correction in the previous field and the current field. Detect the difference value between fields.

この実施例では、これらフィールド間差分値の検出に、所定ブロックにおけるフィールド間差分の絶対値和が適用される。すなわち動き判定回路11は、動き補正しないビデオ信号SF及びSE間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動き補正していないフィールド間差分値FDを検出する。また同様に、動き補正によるビデオ信号SD及びSC間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動きベクトル検出回路4で検出した動きベクトルにより動き補正した際の動き補正によるフィールド間差分値DFDを検出する。なおこれら加算に供するブロックは、動きベクトル検出単位であるマクロブロックより小さなブロックが適用され、この実施例ではマクロブロックを細かく分割した、例えば1つのブロックが4画素×2ラインに設定される。なおこのような加算の処理を省略するようにして、画素単位で以降の処理を実行するようにしてもよい。   In this embodiment, the absolute value sum of inter-field differences in a predetermined block is applied to the detection of these inter-field difference values. That is, the motion determination circuit 11 sequentially calculates a difference value between corresponding pixels between the video signals SF and SE that are not motion-corrected, adds the absolute value of the difference value in units of a predetermined block, and thereby does not perform motion correction. The inter-field difference value FD is detected. Similarly, a difference value is sequentially calculated between corresponding pixels between the video signals SD and SC by the motion correction, and the absolute value of the difference value is added in units of a predetermined block, which is detected by the motion vector detection circuit 4. An inter-field difference value DFD by motion correction when motion correction is performed using a motion vector is detected. In addition, a block smaller than the macro block which is a motion vector detection unit is applied to the block used for the addition. In this embodiment, the macro block is finely divided, for example, one block is set to 4 pixels × 2 lines. Note that such addition processing may be omitted, and the subsequent processing may be executed in units of pixels.

動き判定回路11は、このようにして検出した動き補正していないフィールド間差分値FD、動き補正によるフィールド間差分値DFDを図2に示す構成により判定する。   The motion determination circuit 11 determines the inter-field difference value FD that has not been subjected to motion correction and the inter-field difference value DFD that have been detected as described above, based on the configuration shown in FIG.

すなわちこの図2に示す動き判定回路11において、比較回路11Aは、フィールド間差分値FD、DFDを比較回路11Aに入力して比較し、比較結果をスイッチ回路11Cに出力する。   That is, in the motion determination circuit 11 shown in FIG. 2, the comparison circuit 11A inputs and compares the inter-field difference values FD and DFD to the comparison circuit 11A, and outputs the comparison result to the switch circuit 11C.

比較回路11Bは、動き補正によるフィールド間差分値DFDを判定基準値βにより判定し、判定結果を出力する。   The comparison circuit 11B determines the inter-field difference value DFD by motion correction based on the determination reference value β, and outputs the determination result.

スイッチ回路11Cは、動きベクトル検出回路4から出力される現フィールドから内挿フィールドへの動きベクトルVa、前フィールドから内挿フィールドの動きベクトルVbを一方の接点に受け、値0の動きベクトル(図2においては、スイッチ回路11Cの接点の接地により示す)を他方の接点に受け、比較回路11A及び11Bの判定結果によりこれら接点入力を選択出力する。   The switch circuit 11C receives the motion vector Va from the current field to the interpolation field output from the motion vector detection circuit 4 and the motion vector Vb of the interpolation field from the previous field at one contact point, and receives a motion vector having a value of 0 (see FIG. 2 is indicated by the ground of the contact of the switch circuit 11C) at the other contact, and these contact inputs are selectively output according to the determination results of the comparison circuits 11A and 11B.

この判定結果による選択出力においてスイッチ回路11Cは、動き補正していないフィールド間差分値FDが動き補正によるフィールド間差分値DFDより小さい場合、値0の動きベクトルを選択出力する。また動き補正していないフィールド間差分値FDが動き補正によるフィールド間差分値DFD以上の場合、現フィールドから内挿フィールドへの動きベクトルVa、前フィールドから内挿フィールドの動きベクトルVbを選択出力する。   In the selection output based on the determination result, the switch circuit 11C selects and outputs a motion vector having a value of 0 when the inter-field difference value FD that has not undergone motion correction is smaller than the inter-field difference value DFD obtained by motion correction. When the inter-field difference value FD without motion correction is equal to or greater than the inter-field difference value DFD by motion correction, the motion vector Va from the current field to the interpolation field and the motion vector Vb of the interpolation field from the previous field are selectively output. .

すなわち図5との対比により図3に示すように、このようにして検出されるフィールド間差分値FD、DFDのうち、動き補正していないフィールド間差分値FDにおいては、内挿フィールドG0の対応する領域C0が、現フィールドG1及び前フィールドG2において、何ら動きが無い領域B01及びB02の場合に、すなわちこれら現フィールドG1及び前フィールドG2における対応する領域B01、B02が一致する場合に、ほぼ値0となる。これとは逆に領域C0が、現フィールドG1、前フィールドG2において動きのある領域に対応する領域である場合、動き補正していないフィールド間差分値FDにおいては、値が大きくなり、これらにより動き補正しない場合について、処理に係るフィールド間の相違の程度を示すことになる。   That is, as shown in FIG. 3 in comparison with FIG. 5, among the inter-field difference values FD and DFD detected in this way, the inter-field difference value FD not subjected to motion correction corresponds to the interpolation field G0. When the region C0 to be operated is the regions B01 and B02 in which no movement occurs in the current field G1 and the previous field G2, that is, when the corresponding regions B01 and B02 in the current field G1 and the previous field G2 match, 0. On the other hand, when the region C0 is a region corresponding to a region having motion in the current field G1 and the previous field G2, the inter-field difference value FD that has not undergone motion correction has a large value, which When the correction is not performed, the degree of difference between the fields related to the processing is indicated.

これに対して動き補正によるフィールド間差分値DFDにおいては、前フィールドG2における領域A2が現フィールドG1の領域A1に移動した場合であって、この移動に係る動きベクトルVにより動き補正された場合に、ほぼ値0となる。またこれとは逆に、この動き補正に係る動きベクトルの値が、正しい値より異なると、動き補正によるフィールド間差分値DFDにおいては、値が大きくなり、これらにより動き補正する場合について、処理に係るフィールド間の相違の程度を示すことになる。なおこの図3の例では、内挿フィールドG0の領域C0に対して、それぞれこれら2つのフィールド間差分は、DFD=Σ|A1−A2|、FD=Σ|B01−B02|となる。   On the other hand, in the inter-field difference value DFD by motion correction, when the area A2 in the previous field G2 moves to the area A1 in the current field G1, and the motion is corrected by the motion vector V related to this movement. The value is almost 0. On the other hand, if the value of the motion vector related to the motion correction is different from the correct value, the inter-field difference value DFD by the motion correction becomes large. It indicates the degree of difference between such fields. In the example of FIG. 3, the difference between these two fields is DFD = Σ | A1-A2 | and FD = Σ | B01−B02 | for the region C0 of the interpolation field G0.

これにより動き補正していないフィールド間差分値FDが動き補正によるフィールド間差分値DFDより小さい場合、値0の動きベクトルを選択出力し、また動き補正していないフィールド間差分値FDが動き補正によるフィールド間差分値DFD以上の場合、現フィールドから内挿フィールドへの動きベクトルVa、前フィールドから内挿フィールドの動きベクトルVbを選択出力することにより、動きのある領域については、動きベクトル検出回路4で検出される動きベクトルを出力し、動きの無い領域については、動きベクトル検出回路4で検出される動きベクトルを値0に補正して出力し得、動きベクトルの誤検出を補正することができる。   As a result, when the inter-field difference value FD without motion correction is smaller than the inter-field difference value DFD by motion correction, a motion vector of value 0 is selected and output, and the inter-field difference value FD without motion correction is selected by motion correction. In the case of the inter-field difference value DFD or more, by selecting and outputting the motion vector Va from the current field to the interpolation field and the motion vector Vb of the interpolation field from the previous field, the motion vector detection circuit 4 The motion vector detected in step S3 can be output, and for a region having no motion, the motion vector detected by the motion vector detection circuit 4 can be corrected to a value 0 and output, thereby correcting erroneous detection of the motion vector. .

しかしながらこのようにして動きベクトルを補正する場合にあっても、例えばそれまで前景に隠れていた領域、さらにシーンチェンジが発生した場合にあっては、何らフィールド間で対応する領域が無いにも係わらず、動き補正していないフィールド間差分値FDより動き補正によるフィールド間差分値DFDが小さくなる場合も発生する。   However, even when the motion vector is corrected in this way, for example, if there is an area that has been hidden in the foreground until then, and if a scene change occurs, there is no corresponding area between fields. In some cases, the inter-field difference value DFD by the motion correction is smaller than the inter-field difference value FD that is not subjected to motion correction.

すなわち動きが均一であり、動きベクトルが正常に検出された場合、現フールドを基準として検出された動きベクトルは、均一になり、また動き補正によるフィールド間差分値DFDも小さくなる。   That is, when the motion is uniform and the motion vector is normally detected, the motion vector detected with reference to the current field is uniform, and the inter-field difference value DFD by motion correction is also small.

しかしながら動きベクトルが正しく検出されない領域では、動き補正によるフィールド間差分値DFDが大きくなり、このような場合にあって静止画でない場合、動き補正しないフィールド間差分値FDも大きくなり、動き補正によるフィールド間差分値DFDが動き補正しないフィールド間差分値FDより小さくなり、動きベクトル検出回路4で検出される動きベクトルが選択される場合が発生する。この場合、この動きベクトルにより動き補正して内挿処理したのでは、図5について上述したように、画像歪みが発生し、却って動き補正しない方が、画像歪みが小さくなる。   However, in a region where the motion vector is not correctly detected, the inter-field difference value DFD due to motion correction becomes large. In such a case, if the image is not a still image, the inter-field difference value FD without motion correction also becomes large, and the field due to motion correction. The inter-field difference value DFD becomes smaller than the inter-field difference value FD that is not subjected to motion correction, and a motion vector detected by the motion vector detection circuit 4 is selected. In this case, when the motion correction is performed using the motion vector and the interpolation processing is performed, as described above with reference to FIG. 5, image distortion occurs, and the image distortion is smaller when the motion correction is not performed.

これにより動き判定回路11においては、動き補正によるフィールド間差分値DFDの値が判定基準値β以上の場合、動き補正によるフィールド間差分値DFDが動き補正していないフィールド間差分値FDより小さい場合であっても、値0により動きベクトルを所定値に設定して出力し、画像歪みを低減するようになされている。ここでこのビデオ信号処理装置1では、オペレータの操作によりこの判定基準値βを設定できるようになされ、これにより処理結果を確認して判定基準値βを設定することにより、処理対象であるビデオ信号に応じて判定基準値βを適宜設定して、従来に比して画像歪みを低減できるようになされている。   Thereby, in the motion determination circuit 11, when the value of the inter-field difference value DFD by the motion correction is equal to or larger than the determination reference value β, the inter-field difference value DFD by the motion correction is smaller than the inter-field difference value FD that is not motion-corrected. Even so, the motion vector is set to a predetermined value based on the value 0 and output to reduce image distortion. Here, in this video signal processing apparatus 1, the determination reference value β can be set by an operator's operation. By checking the processing result and setting the determination reference value β, the video signal to be processed is set. Accordingly, the determination reference value β is appropriately set so that image distortion can be reduced as compared with the conventional case.

これらによりこのビデオ信号処理装置1では、この動き判定回路11から出力される動きベクトルVa1、Vb1により動き内挿処理を実行する。すなわちビデオ信号処理装置1において、1フィールド遅延回路(1FD)14は、ビデオ信号S1を1フィールドの期間だけ遅延させ、これにより前フィールドのビデオ信号を生成して出力する。   As a result, the video signal processing apparatus 1 executes motion interpolation processing using the motion vectors Va1 and Vb1 output from the motion determination circuit 11. That is, in the video signal processing apparatus 1, the one-field delay circuit (1FD) 14 delays the video signal S1 by a period of one field, thereby generating and outputting the video signal of the previous field.

遅延回路15は、この前フィールドのビデオ信号を内蔵のメモリに一時記録した後、動き判定回路11から出力される対応する動きベクトルVb1に応じたタイミングで出力することにより、この前フィールドのビデオ信号を動き補正して出力する。   The delay circuit 15 temporarily records the video signal of the previous field in the built-in memory, and then outputs the video signal of the previous field by timing according to the corresponding motion vector Vb1 output from the motion determination circuit 11. Is output after motion correction.

遅延回路16は、ビデオ信号S1を内蔵のメモリに一時記録した後、動き判定回路11から出力される対応する動きベクトルVa1に応じたタイミングで出力することにより、現フィールドのビデオ信号を動き補正して出力する。   The delay circuit 16 temporarily records the video signal S1 in the built-in memory, and then outputs the video signal S1 at a timing according to the corresponding motion vector Va1 output from the motion determination circuit 11, thereby correcting the motion of the video signal in the current field. Output.

動き内挿回路17は、これら遅延回路15、16から出力されるビデオ信号S1を内挿演算処理し、これによりフィールド数を変化してなるビデオ信号S0を出力する。   The motion interpolation circuit 17 interpolates the video signal S1 output from the delay circuits 15 and 16 and outputs a video signal S0 having a changed number of fields.

(2)実施例の動作
以上の構成において、このビデオ信号処理装置1では、処理対象のビデオ信号S1である現フィールドのビデオ信号が1フィールド遅延回路14により1フィールド遅延されて前フィールドのビデオ信号が生成され、これらのビデオ信号が動き内挿回路17によりフィールド間内挿処理され、これによりビデオ信号S1のフィールド数が変換される。この処理において、このビデオ信号処理装置1では、前フィールド及び現フィールドのビデオ信号がそれぞれ遅延回路15、16により動き補正されて内挿処理されることにより、連続するフィールドで動きを滑らかにすることができる。
(2) Operation of Embodiment In the above configuration, in this video signal processing apparatus 1, the video signal of the current field, which is the video signal S1 to be processed, is delayed by one field by the one-field delay circuit 14, and the video signal of the previous field Are generated, and these video signals are subjected to inter-field interpolation processing by the motion interpolation circuit 17, whereby the number of fields of the video signal S1 is converted. In this processing, in the video signal processing apparatus 1, the video signals of the previous field and the current field are subjected to motion correction by the delay circuits 15 and 16, respectively, and subjected to interpolation processing, thereby smoothing the motion in consecutive fields. Can do.

このビデオ信号処理装置1は、このビデオ信号S1の輝度信号成分が、1フィールド遅延回路3により1フィールド遅延されて前フィールドのビデオ信号S3が生成され、この前フィールドのビデオ信号S3と現フィールドのビデオ信号S2とが動きベクトル検出回路4で処理されて、現フィールドを基準にした動きベクトルが検出される。またこの動きベクトルが内挿フィールドの内挿比γ、1−γにより補正され、それぞれ遅延回路15、16における前フィールド及び現フィールドの動き補正用の動きベクトルVa及びVbが生成される。   In the video signal processing apparatus 1, the luminance signal component of the video signal S1 is delayed by one field by the one-field delay circuit 3 to generate a video signal S3 of the previous field. The video signal S3 of the previous field and the current field The video signal S2 is processed by the motion vector detection circuit 4 to detect a motion vector based on the current field. This motion vector is corrected by the interpolation ratios γ and 1-γ of the interpolation field, and motion vectors Va and Vb for motion correction of the previous field and the current field in the delay circuits 15 and 16 are generated, respectively.

ビデオ信号処理装置1では、この動き補正用の動きベクトルVa及びVbでそれぞれ前フィールド及び現フィールドのビデオ信号S3及びS2が偏位回路6、9で動き補正され、前フィールド及び現フィールドのビデオ信号S3及びS2と共に動き判定回路11に入力され、この動き判定回路11において、これらのビデオ信号から、動き補正によるフィールド間差分値DFDと、動き補正していないフィールド間差分値FDが検出される。ビデオ信号処理装置1では、この動き補正によるフィールド間差分値DFDと、動き補正していないフィールド間差分値FDとの比較により、これらフィールド間差分値が小さくなる側となるように、動きベクトル検出回路4で生成された前フィールド及び現フィールドの動き補正用の動きベクトルVa及びVbが直接に、または値0に補正されて遅延回路15、16に出力される。   In the video signal processing apparatus 1, the motion signals Va and Vb for motion correction correct the motion of the video signals S3 and S2 of the previous field and the current field by the displacement circuits 6 and 9, respectively, and the video signals of the previous field and the current field This is input to the motion determination circuit 11 together with S3 and S2, and the motion determination circuit 11 detects an inter-field difference value DFD by motion correction and an inter-field difference value FD without motion correction from these video signals. In the video signal processing apparatus 1, motion vector detection is performed so that the inter-field difference value FD is reduced by comparing the inter-field difference value DFD obtained by the motion correction with the inter-field difference value FD that is not subjected to motion correction. The motion vectors Va and Vb for motion correction of the previous field and the current field generated by the circuit 4 are corrected directly to the value 0 and output to the delay circuits 15 and 16.

すなわち動き補正によるフィールド間差分値DFDの方が小さい場合には、動きベクトル検出回路4で生成された前フィールド及び現フィールドの動き補正用の動きベクトルVa及びVbが遅延回路15、16に出力されるのに対し、動き補正していないフィールド間差分値FDの方が小さい場合には、動きベクトルを値0に補正して遅延回路15、16に出力され、これによりそれぞれ動画、静止画に対応するフィールド間内挿処理により、ビデオ信号S1のフィールド数が変換される。   That is, when the inter-field difference value DFD by motion correction is smaller, the motion vectors Va and Vb for motion correction of the previous field and the current field generated by the motion vector detection circuit 4 are output to the delay circuits 15 and 16. On the other hand, if the inter-field difference value FD without motion correction is smaller, the motion vector is corrected to a value of 0 and output to the delay circuits 15 and 16, thereby corresponding to moving images and still images, respectively. The number of fields of the video signal S1 is converted by inter-field interpolation processing.

このビデオ信号処理装置1では、このようにして動きベクトルVa、Vbを処理する際に、動き補正によるフィールド間差分値DFDが所定値βより大きい場合には、このフィールド間差分値DFDが動き補正していないフィールド間差分値FDより小さい場合でも、検出された動きベクトルVa、Vbを値0に設定して遅延回路15、16に出力され、これにより例えばそれまで背景に隠されていた領域、シーンチェジンジ等の場面について、動き補正しないようにしてフィールド間内挿により内挿フィールドが生成される。これによりこのビデオ信号処理装置1では、従来に比して画像歪みを低減することができるようになされている。   In this video signal processing apparatus 1, when the motion vectors Va and Vb are processed in this way, if the inter-field difference value DFD by motion correction is larger than a predetermined value β, the inter-field difference value DFD is corrected for motion correction. Even if it is smaller than the inter-field difference value FD, the detected motion vectors Va and Vb are set to a value of 0 and output to the delay circuits 15 and 16, thereby, for example, an area that has been hidden in the background until now, For a scene such as scene change, an interpolation field is generated by inter-field interpolation without motion correction. As a result, the video signal processing apparatus 1 can reduce image distortion as compared with the conventional art.

(3)実施例の効果
以上の構成によれば、動き補正によるフィールド間差分値が動き補正していないフィールド間差分値より小さい場合に、動き補正によるフィールド間差分値が判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。
(3) Effects of the embodiment According to the above configuration, when the inter-field difference value by motion correction is smaller than the inter-field difference value not subjected to motion correction, the inter-field difference value by motion correction is greater than or equal to the determination reference value. By setting the motion vector to a predetermined value, image distortion due to erroneous detection of the motion vector can be reduced in motion interpolation processing using the motion vector.

またこのときこれらのフィールド間差分値を、フィールド間差分の絶対値和により検出することにより、簡易かつ確実にこれらフィールド間差分値を検出して比較することができる。   At this time, these inter-field difference values are detected by the sum of absolute values of the inter-field differences, so that these inter-field difference values can be detected and compared easily and reliably.

また動き補正によるフィールド間差分値が判定基準値以上の場合に設定する動きベクトルの所定値が値0であることにより、動画と静止画とで処理を切り換えることができる。   In addition, since the predetermined value of the motion vector to be set when the inter-field difference value by the motion correction is equal to or greater than the determination reference value, the process can be switched between the moving image and the still image.

またこのようにして補正してなる動きベクトルにより、動き補正した後、フィールド間内挿処理して内挿フィールドを作成することにより、フィールド数の変換に適用して、動きベクトルの誤検出による画像歪みを低減することができる。   In addition, after correcting for motion using the motion vector corrected in this way, an inter-field interpolation process is performed to create an interpolation field. Distortion can be reduced.

なお上述の実施例においては、フィールド間差分の絶対値和によりフィールド間差分値を検出する場合について述べたが、本発明はこれに限らず、例えばフィールド間差分の2乗和によりフィールド間差分値を検出する場合等、種々の検出手法を広く適用することができる。   In the above-described embodiment, the case where the inter-field difference value is detected by the absolute value sum of the inter-field difference is described. However, the present invention is not limited to this, and for example, the inter-field difference value is calculated by the square sum of the inter-field difference. For example, various detection methods can be widely applied.

また上述の実施例においては、フィールド数の変換に係るフォーマット変換に本発明を適用する場合について述べたが、本発明はこれに限らず、フレーム数の変換処理に係るフォーマット変換にも適用することができ、さらにはインターレスとノンインターレスとに係るフォーマット変換におけるフィールド間内挿処理、動きベクトルを用いたノイズ低減処理、高能率符号化装置におけるフィールド内挿画像の生成処理等、動きベクトルを用いた内挿処理に広く適用することができる。   In the above-described embodiments, the case where the present invention is applied to the format conversion related to the conversion of the number of fields has been described. However, the present invention is not limited to this, and the present invention is also applicable to the format conversion related to the conversion processing of the number of frames. Furthermore, motion vectors such as inter-field interpolation processing in interlaced and non-interlace format conversion, noise reduction processing using motion vectors, and field interpolated image generation processing in a high-efficiency encoding device can be used. The present invention can be widely applied to the interpolation processing used.

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。   The present invention relates to a video signal processing apparatus and a video signal processing method, and can be applied to, for example, a format conversion apparatus.

本発明の実施例1に係るビデオ信号処理装置を示すブロック図である。1 is a block diagram illustrating a video signal processing apparatus according to Embodiment 1 of the present invention. 図1のビデオ信号処理装置の動き判定回路を示すブロック図である。It is a block diagram which shows the motion determination circuit of the video signal processing apparatus of FIG. 図2の動き判定回路の動作の説明に供する図表である。3 is a chart for explaining the operation of the motion determination circuit of FIG. 2. 動きベクトルの誤検出の説明に供する平面図である。It is a top view with which it uses for description of the misdetection of a motion vector. 画像歪みの説明に供する略線図である。It is an approximate line figure used for explanation of image distortion.

符号の説明Explanation of symbols

1……ビデオ信号処理装置、3、14……1フィールド遅延回路、4……動きベクトル検出回路、5、7、8、10、15、16……遅延回路、6、9……偏位回路、11……動き判定回路、17……動き内挿回路
DESCRIPTION OF SYMBOLS 1 ... Video signal processing apparatus, 3, 14 ... 1 field delay circuit, 4 ... Motion vector detection circuit, 5, 7, 8, 10, 15, 16 ... Delay circuit, 6, 9 ... Deviation circuit , 11... Motion determination circuit, 17... Motion interpolation circuit

Claims (5)

動きベクトルによりビデオ信号を処理するビデオ信号処理装置において、
連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定する
ことを特徴とするビデオ信号処理装置。
In a video signal processing apparatus that processes a video signal by a motion vector,
By correcting the motion of consecutive fields or frames by the motion vector detected from the video signal and detecting the inter-field difference value or inter-frame difference value, the inter-field difference value or inter-frame difference value by motion correction is detected. Detect
By detecting the inter-field difference value or inter-frame difference value without correcting the motion of the continuous field or frame, the inter-field difference value or the inter-frame difference value without motion correction is detected,
By comparing the inter-field difference value or inter-frame difference value by the motion correction and the inter-field difference value or inter-frame difference value not subjected to the motion correction, the motion vector is set to a predetermined value,
Even if the inter-field difference value or the inter-frame difference value obtained by the motion correction is smaller than the inter-field difference value or the inter-frame difference value that is not subjected to the motion correction, the inter-field difference value or the inter-frame difference value obtained by the motion correction is determined as a criterion. The video signal processing apparatus, wherein if the value is equal to or greater than the value, the motion vector is set to a predetermined value.
前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における前記動き補正によるフィールド間差分又はフレーム間差分の絶対値和と、前記一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行する
ことを特徴とする請求項1に記載のビデオ信号処理装置。
The comparison between the inter-field difference value or inter-frame difference value obtained by the motion correction and the inter-field difference value or inter-frame difference value that is not subjected to the motion correction is performed. The video signal processing apparatus according to claim 1, wherein the video signal processing device is executed by comparing an absolute value sum with an absolute value sum of an inter-field difference or an inter-frame difference that is not motion-corrected in the fixed region.
前記所定値が、値0である
ことを特徴とする請求項1又は請求項2に記載のビデオ信号処理装置。
The video signal processing apparatus according to claim 1 or 2, wherein the predetermined value is a value of 0.
前記動きベクトルにより、前記フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する
ことを特徴とする請求項1、請求項2又は請求項3に記載のビデオ信号処理装置。
After the motion of the field or frame is corrected by the motion vector, the number of fields or the number of frames is converted by creating an interpolation field or an interpolation frame by interpolating between fields or frames. The video signal processing apparatus according to claim 1, 2, or 3.
動きベクトルによりビデオ信号を処理するビデオ信号の処理方法において、
連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定する
ことを特徴とするビデオ信号の処理方法。
In a video signal processing method of processing a video signal by a motion vector,
By correcting the motion of consecutive fields or frames by the motion vector detected from the video signal and detecting the inter-field difference value or inter-frame difference value, the inter-field difference value or inter-frame difference value by motion correction is detected. Detect
By detecting the inter-field difference value or inter-frame difference value without correcting the motion of the continuous field or frame, the inter-field difference value or the inter-frame difference value without motion correction is detected,
By comparing the inter-field difference value or inter-frame difference value by the motion correction and the inter-field difference value or inter-frame difference value not subjected to the motion correction, the motion vector is set to a predetermined value,
Even if the inter-field difference value or the inter-frame difference value obtained by the motion correction is smaller than the inter-field difference value or the inter-frame difference value that is not subjected to the motion correction, the inter-field difference value or the inter-frame difference value obtained by the motion correction is determined as a criterion. If the value is equal to or greater than the value, the motion vector is set to a predetermined value.
JP2003280600A 2003-07-28 2003-07-28 Apparatus and method for processing video signal Pending JP2005051460A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003280600A JP2005051460A (en) 2003-07-28 2003-07-28 Apparatus and method for processing video signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003280600A JP2005051460A (en) 2003-07-28 2003-07-28 Apparatus and method for processing video signal

Publications (1)

Publication Number Publication Date
JP2005051460A true JP2005051460A (en) 2005-02-24

Family

ID=34266367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003280600A Pending JP2005051460A (en) 2003-07-28 2003-07-28 Apparatus and method for processing video signal

Country Status (1)

Country Link
JP (1) JP2005051460A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074586A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, program, and recording medium
WO2007105433A1 (en) * 2006-02-28 2007-09-20 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method
JP2007329952A (en) * 2006-02-28 2007-12-20 Sharp Corp Image display device and method, and image processing device and method
WO2008078419A1 (en) * 2006-12-22 2008-07-03 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method
WO2008152951A1 (en) * 2007-06-13 2008-12-18 Sharp Kabushiki Kaisha Method of and apparatus for frame rate conversion
JP2010130155A (en) * 2008-11-26 2010-06-10 Mitsubishi Electric Corp Video signal processing apparatus and method, and video display apparatus
US7899122B2 (en) 2005-03-31 2011-03-01 Kabushiki Kaisha Toshiba Method, apparatus and computer program product for generating interpolation frame
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
US8462266B2 (en) 2007-04-27 2013-06-11 Sharp Kabushiki Kaisha Image processing device and method, and image display device and method
CN106375772A (en) * 2016-08-29 2017-02-01 北京小米移动软件有限公司 Video playing method and device

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899122B2 (en) 2005-03-31 2011-03-01 Kabushiki Kaisha Toshiba Method, apparatus and computer program product for generating interpolation frame
JP2007074586A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, program, and recording medium
JP4650682B2 (en) * 2005-09-09 2011-03-16 ソニー株式会社 Image processing apparatus and method, program, and recording medium
JP4504999B2 (en) * 2006-02-28 2010-07-14 シャープ株式会社 Image display apparatus and method, image processing apparatus and method
WO2007105433A1 (en) * 2006-02-28 2007-09-20 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method
JP2007329952A (en) * 2006-02-28 2007-12-20 Sharp Corp Image display device and method, and image processing device and method
US7965303B2 (en) 2006-02-28 2011-06-21 Sharp Kabushiki Kaisha Image displaying apparatus and method, and image processing apparatus and method
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
EP2094007A1 (en) * 2006-12-22 2009-08-26 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method
EP2094007A4 (en) * 2006-12-22 2011-11-02 Sharp Kk Image display device and method, and image processing device and method
WO2008078419A1 (en) * 2006-12-22 2008-07-03 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method
US8358373B2 (en) 2006-12-22 2013-01-22 Sharp Kabushiki Kaisha Image displaying device and method, and image processing device and method
US8462266B2 (en) 2007-04-27 2013-06-11 Sharp Kabushiki Kaisha Image processing device and method, and image display device and method
WO2008152951A1 (en) * 2007-06-13 2008-12-18 Sharp Kabushiki Kaisha Method of and apparatus for frame rate conversion
JP2010130155A (en) * 2008-11-26 2010-06-10 Mitsubishi Electric Corp Video signal processing apparatus and method, and video display apparatus
CN106375772A (en) * 2016-08-29 2017-02-01 北京小米移动软件有限公司 Video playing method and device
CN106375772B (en) * 2016-08-29 2019-10-01 北京小米移动软件有限公司 Video broadcasting method and device

Similar Documents

Publication Publication Date Title
KR101000612B1 (en) Signal processing apparatus and signal processing method
EP0765572B1 (en) Motion-compensated field rate conversion
JP2005051460A (en) Apparatus and method for processing video signal
WO1992007443A1 (en) Picture movement detector
US8345156B2 (en) Progressive scanning conversion apparatus and progressive scanning conversion method
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JPH08149421A (en) Motion interpolation method and circuit using motion vector
JP2007243627A (en) Video signal processor
JP4261381B2 (en) Video signal processing device
JP2005086631A (en) Video signal processor and video signal processing method
JP3121519B2 (en) Motion interpolation method and motion interpolation circuit using motion vector, and motion vector detection method and motion vector detection circuit
JP2009265688A (en) Movement detection device
JP2008118340A (en) Motion vector detecting device and video signal processor
JP3022977B2 (en) Television signal interpolation method
JP2762794B2 (en) Scan line interpolator
JP2689716B2 (en) Image motion detector
JP2003047011A (en) Motion correcting circuit using motion vector
JP2006129326A (en) Motion vector detecting device
JP3013898B2 (en) Motion interpolation method using motion vector in TV signal
JP2516580B2 (en) Image motion detector
JP3011739B2 (en) Television signal interpolation method
JP4274430B2 (en) Motion vector detection device
JP2005229568A (en) Motion vector detecting apparatus
JP2006031597A (en) Motion vector detection device
JPH1023374A (en) Device for converting system of picture signal and method for converting number of field