JP2009177524A - Scanning line interpolating device and scanning line interpolating method - Google Patents

Scanning line interpolating device and scanning line interpolating method Download PDF

Info

Publication number
JP2009177524A
JP2009177524A JP2008014184A JP2008014184A JP2009177524A JP 2009177524 A JP2009177524 A JP 2009177524A JP 2008014184 A JP2008014184 A JP 2008014184A JP 2008014184 A JP2008014184 A JP 2008014184A JP 2009177524 A JP2009177524 A JP 2009177524A
Authority
JP
Japan
Prior art keywords
interpolation
output
pixel
still
continuity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008014184A
Other languages
Japanese (ja)
Inventor
Tsukasa Kudo
司 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008014184A priority Critical patent/JP2009177524A/en
Publication of JP2009177524A publication Critical patent/JP2009177524A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a scanning line interpolating device and method which leave an improvement effect of an oblique interpolation, and reduce an image quality deterioration near a still image such as a caption, etc. of image quality deteriorations as an abuse of oblique interpolation processing. <P>SOLUTION: A first retarding means 12 retards an input video signal by one frame, a still determining means 13 inputs the input video signal and an output of the first retarding means to determine whether a pixel is still, a still continuity determining means 14 inputs an output of the still determining means and an output of a third retarding means to determine a temporal direction continuity of a still state of the pixel, a second retarding means 15 and the third retarding means 16 retard an output of the still continuity determining means by one field and further retard it by one field, an interpolative direction determining means 17 inputs the output of the still continuity determining means and an output of the second retarding means to determine a generating direction of a deterioration by an oblique interpolation, and an interpolating means 18 excludes a direction of the image quality deterioration from interpolative direction choices to carry out the oblique interpolation processing to generate an interpolative line signal. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、飛び越し走査画像を順次走査画像に変換する場合などに、斜め補間処理を行って補間ラインを生成する走査線補間装置及び走査線補間方法に関するものである。   The present invention relates to a scanning line interpolation apparatus and a scanning line interpolation method for generating an interpolation line by performing oblique interpolation processing when, for example, converting an interlaced scanning image into a sequential scanning image.

一般に、飛び越し走査(以下、インターレースという)方式の画像を順次走査(以下、プログレッシブという)方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線(以下、補間ラインという)を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。   In general, when an interlaced image (hereinafter referred to as an interlaced) image is converted into a progressively scanned (hereinafter referred to as a progressive) image, when the interlaced image is a still image, one field scan line is connected to the other Inter-field interpolation is performed to generate an interpolated scan line (hereinafter referred to as an interpolated line) by interpolating between the field scan lines, and when the interlaced image is a moving image, the interlaced image on the adjacent scan line in the same field. Intra-field interpolation is performed to generate an interpolation line using pixels.

フィールド内の補間処理でインターレースnラインとインターレースn+1ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Aとして、その上下の走査線n,n+1上の画素U,Dを加算して平均値(=(U+D)/2)を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。   When generating an interpolated line between interlaced n lines and interlaced n + 1 lines in the interpolation process in the field, the pixels U and D on the upper and lower scanning lines n and n + 1 are added and averaged as the pixel A on the interpolated line. The method of obtaining the value (= (U + D) / 2) is simple. However, when this vertical interpolation method is applied, depending on the pattern, an oblique line may appear jagged, so-called jaggy is noticeable.

また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、1フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。
As a technique for converting an interlaced image into a progressive image, there is a motion adaptive progressive conversion. This technique is a technique in which motion detection is performed in units of pixels or pixel blocks, and the inter-field interpolation processing result and inter-field interpolation processing result are mixed with a mixing ratio corresponding to the motion detection result. As motion detection, estimation is performed from a difference in signal level between pixels at the same position in one frame.
However, in the motion adaptive progressive conversion processing, if the upper and lower pixel average values are used as the intra-field interpolation processing, the vertical resolution is lowered, and there is a problem that the diagonal lines appear jagged.

一方、このような問題を解決する方法として、斜め補間という方法が知られている。
斜めの補間処理は、補間画素Aを生成するにあたり、その上下の走査線n,n+1から、補間ライン上の画素Aを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる方法である。
On the other hand, as a method for solving such a problem, a method called diagonal interpolation is known.
In the oblique interpolation process, when generating the interpolation pixel A, a pair of pixels that are point-symmetric with respect to the pixel A on the interpolation line is selected from the upper and lower scanning lines n and n + 1, and the average value is selected. This is a method used as an interpolated pixel value.

補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。   As an example of the method of selecting the interpolation direction, there is a method of using the one having the smallest absolute difference value between a pair of pixels. For example, the difference between a pair of pixels in the vertical and diagonal directions centered on the pixel to be interpolated is taken, a large diagonal correlation signal is used to determine the direction with high diagonal correlation, and an interpolation pixel is created. is there.

斜め補間に関する本出願人の出願による従来技術としては、特許文献1に記載のものがある。特許文献1には、入力する画像データの絵柄の輪郭を推測するための情報を算出し、この輪郭情報の出力を正側の閾値と負側の閾値と比較して3値化し、その3値データを用いて、補間ライン生成のための補間方向の候補を選択し、選択された補間方向候補から最終補間方向を決定する。そして、入力される画像データに対して、決定された補間方向の画素を用いた補間処理を行い、補間ラインを生成するものである。この方法によれば、まずインターレース画像の輪郭検出を行うことによって、上下ラインn,n+1上における、輪郭線に沿った適切な画素U,Dを用いて補間ライン上に補間画素Aを生成することができるので、絵柄の輪郭線を無視して補間画素Aを生成する誤りを防ぐことができる。   As a prior art according to the applicant's application relating to oblique interpolation, there is one described in Patent Document 1. In Patent Literature 1, information for estimating the contour of a pattern of input image data is calculated, and the output of the contour information is compared with a positive threshold value and a negative threshold value to be ternarized. Using the data, an interpolation direction candidate for generating an interpolation line is selected, and a final interpolation direction is determined from the selected interpolation direction candidate. The input image data is subjected to interpolation processing using pixels in the determined interpolation direction to generate an interpolation line. According to this method, by first detecting the contour of the interlaced image, the interpolation pixel A is generated on the interpolation line using the appropriate pixels U and D along the contour line on the upper and lower lines n and n + 1. Therefore, it is possible to prevent an error in generating the interpolation pixel A by ignoring the outline of the pattern.

しかしながら、この技術によって、垂直方向の見た目の解像感が高くなるのであるが、その弊害として補間方向を判定するにあたっての誤判定による画質劣化が起こり得ることが分かってきた。例えば、動画の上にグラフィックによる静止画(例えば静止文字)が重畳した画像データが入力として供給された場合、背面の動画の斜め線のギザギザ感は改善するが、静止文字の近辺に斜め補間処理の弊害による画質劣化が見られる。これは背景の動画上に置かれた静止文字の太字の凹んだり線で囲まれたりした部分や、静止文字とこれに隣接若しくは重ねられた背景の物体部分との間に形成される凹んだスペースに、静止文字自体の輪郭線や、静止文字とこれに隣接する背景画とによる擬似的な輪郭線に沿うように、静止文字の画素を用いて補間画素が形成されるために、静止文字の太字の凹んだり線で囲まれたりした部分が静止文字に類似した画素で補間されて、本来の静止文字の形状を損なうことに起因したものである。
特開2007−142669号公報
However, this technique increases the visual resolution in the vertical direction, but it has been found that image quality deterioration due to erroneous determination in determining the interpolation direction can occur as a negative effect. For example, when image data in which a graphic still image (for example, still characters) is superimposed on a moving image is supplied as input, the jagged feeling of the diagonal lines of the moving image on the back is improved, but diagonal interpolation processing is performed around the still character. Degradation of image quality due to the harmful effects of This is a portion of a stationary character placed on a background video that is bolded or surrounded by a line, or a recessed space formed between a stationary character and a background object portion that is adjacent or overlapped with the stationary character. In addition, since the interpolation pixels are formed using the pixels of the stationary character so as to follow the contour of the stationary character itself or the pseudo contour line of the stationary character and the background image adjacent thereto, This is due to the fact that the bolded or encircled part is interpolated with pixels similar to a stationary character and the shape of the original stationary character is impaired.
JP 2007-142669 A

本発明は上記の問題に鑑み、動画の中に字幕等のような静止画が重畳されたインターレース画像を入力して補間処理する際に、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、静止画近辺の画質劣化を軽減することができる走査線補間装置及び走査線補間方法を提供するものである。   In view of the above-described problems, the present invention leaves an improvement effect of diagonal interpolation while interpolating by inputting an interlaced image in which a still image such as subtitles is superimposed in a moving image, and performing the diagonal interpolation processing. An object of the present invention is to provide a scanning line interpolation apparatus and a scanning line interpolation method capable of reducing image quality deterioration in the vicinity of a still image among image quality deterioration as a negative effect.

本願発明の一態様によれば、入力映像信号を1フレーム分遅延させる第1の遅延手段と、前記入力映像信号と前記第1の遅延手段の出力を入力として画素が静止しているかどうかを判定する静止判定手段と、前記静止判定手段の出力と第3の遅延手段の出力とを入力として画素の静止状態の時間方向連続性を判定する静止連続性判定手段と、前記静止連続性判定手段の出力を1フィールド分遅延させる第2の遅延手段と、前記第2の遅延手段の出力を1フィールド分遅延させる前記第3の遅延手段と、前記静止連続性判定手段の出力と前記第2の遅延手段の出力を入力として、斜め補間によって劣化の生じる虞のある方向を判定する補間方向判定手段と、補間方向の選択肢から前記補間方向判定手段で判定された補間方向を除外して、斜め補間処理を行うことによって、補間ラインを生成する補間処理手段と、を備えることを特徴とする走査線補間装置が提供される。   According to one aspect of the present invention, first delay means for delaying an input video signal by one frame, and whether or not a pixel is stationary by using the input video signal and the output of the first delay means as inputs A stationary continuity determining unit, a stationary continuity determining unit that determines the temporal continuity of a stationary state of a pixel by using the output of the stationary determination unit and the output of the third delay unit as inputs. A second delay means for delaying the output by one field; a third delay means for delaying the output of the second delay means by one field; an output of the static continuity determining means and the second delay; Interpolation direction determination means for determining a direction in which there is a possibility of deterioration due to oblique interpolation, with the output of the means as input, and by interpolating the interpolation direction determined by the interpolation direction determination means from the choice of interpolation directions A scanning line interpolation device comprising: an interpolation processing means for generating an interpolation line by performing processing is provided.

本願発明の他の態様によれば、入力映像信号を1フレーム分遅延し、前記入力映像信号と前記1フレーム分遅延した映像信号とを静止判定手段に入力して1フレーム前後で画素が静止しているかどうかを判定し、その静止判定結果と静止連続性判定手段の判定出力を1フレーム分遅延した判定出力とを当該静止連続性判定手段に入力して画素の静止状態の時間方向連続性を判定し、前記静止連続性判定手段の静止連続性判定出力を1フィールド分遅延し、さらに1フィールド分遅延し、この2フィールド分遅延した静止連続性判定出力を前記静止連続性判定手段に供給し、前記静止連続性判定手段の静止連続性判定出力と前記1フィールド分遅延した静止連続性判定出力とを補間方向判定手段に入力して、斜め補間によって劣化の生じる虞のある補間方向を判定し、斜め補間処理を実行する補間処理手段にて補間方向の選択肢から前記補間方向判定手段で判定された劣化の生じる補間方向を除外して斜め補間処理を行い、補間ライン信号を生成することを特徴とする走査線補間方法が提供される。   According to another aspect of the present invention, the input video signal is delayed by one frame, and the input video signal and the video signal delayed by one frame are input to the stillness determining means, and the pixel is stationary at around one frame. And whether the stationary determination result and the determination output obtained by delaying the determination output of the stationary continuity determining unit by one frame are input to the stationary continuity determining unit, and the temporal continuity of the still state of the pixel is determined. The static continuity determination output of the static continuity determination means is delayed by one field, further delayed by one field, and the static continuity determination output delayed by two fields is supplied to the static continuity determination means. The static continuity determination output of the static continuity determination means and the static continuity determination output delayed by one field are input to the interpolation direction determination means, and there is a risk of deterioration due to oblique interpolation. Interpolation processing is performed by determining the interpolation direction and performing the diagonal interpolation process by excluding the interpolated direction determined by the interpolation direction determination means from the interpolation direction options in the interpolation processing means for executing the diagonal interpolation process. A scanning line interpolation method is provided that is characterized by generating.

本発明によれば、動画の中に字幕等のような静止画が重畳されたインターレース画像を入力して補間処理する際に、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、静止画近辺の画質劣化を軽減することができる走査線補間装置及び走査線補間方法を提供することができる。   According to the present invention, when an interlaced image in which a still image such as subtitles is superimposed on a moving image is input and interpolated, the improvement effect of the diagonal interpolation is left and the adverse effect of the diagonal interpolation processing is It is possible to provide a scanning line interpolation apparatus and a scanning line interpolation method that can reduce the deterioration in image quality in the vicinity of a still image among image quality deteriorations.

本発明の実施形態を図1乃至図6を参照して説明する前に、図7乃至図11を参照して本発明の関連技術を説明する。
インターレース画像をプログレッシブ画像に変換する技術として、一般的に用いられている動き適応型プログレッシブ変換の技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する。
Prior to describing embodiments of the present invention with reference to FIGS. 1 to 6, related techniques of the present invention will be described with reference to FIGS. 7 to 11.
As a technique for converting an interlaced image to a progressive image, a motion adaptive progressive conversion technique that is generally used performs motion detection in units of pixels or pixel blocks, and results of intra-field interpolation processing and inter-field interpolation processing Are mixed at a mixing ratio corresponding to the motion detection result.

図7は動き適応型IP(インターレース・プログレッシブ)変換の例を示している。この図7で、インターレース画像の1フレームは、トップフィールド(第1フィールドともいい、topと略記)とボトムフィールド(第2フィールドともいい、bottomと略記)で構成されている。フィールドA,B,Cの3つのフィールドについてみると、時間的にはフィールドA,B,Cの順に1フィールド期間(1V又は単に1フィールドという)経過するごとに入力する。従って、フィールドAとフィールドCでは、2フィールド期間(1フレーム期間と同じ、2V又は単に2フィールドという)の時間差がある。   FIG. 7 shows an example of motion adaptive IP (interlace / progressive) conversion. In FIG. 7, one frame of an interlaced image is composed of a top field (also referred to as a first field, abbreviated as top) and a bottom field (also referred to as a second field, abbreviated as bottom). As regards the three fields A, B, and C, the time A is input every time one field period (1V or simply referred to as one field) passes in the order of the fields A, B, and C. Therefore, the field A and the field C have a time difference of 2 field periods (same as 1 frame period, 2V or simply 2 fields).

いま、図7のように、フィールドBの上下に隣接する走査線(実線にて示す)間に補間ライン(点線にて示す)の画素bの値を生成する場合に、
フィールド間補間結果 (例えばフィールドAの画素aとフィールドCの画素cの平均値)
フィールド内補間結果 (例えばフィールドBの上下の画素buとbdの平均値)
の二種類の補間画素を画素bの位置における動き量に応じて混合する。ここで動き量は、例えば画素aと画素cの差分等から推定する。
Now, as shown in FIG. 7, when generating the value of the pixel b of the interpolation line (indicated by the dotted line) between the scanning lines adjacent to the upper and lower sides of the field B (indicated by the solid line),
Inter-field interpolation result (for example, average value of pixel a in field A and pixel c in field C)
Inter-field interpolation result (for example, average value of upper and lower pixels bu and bd of field B)
These two types of interpolation pixels are mixed according to the amount of motion at the position of the pixel b. Here, the amount of motion is estimated from the difference between the pixel a and the pixel c, for example.

上記動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値 ( 図7の例ではbuとbdの平均値 ) を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。   In the above-mentioned motion adaptive progressive conversion processing, if the upper and lower pixel average values (average values of bu and bd in the example of FIG. 7) are used as the intra-field interpolation processing, the resolution in the vertical direction becomes low and the diagonal lines become jagged. There is a problem to see.

その対策として斜め補間という技術がある。
斜め補間の先行技術(特許文献1)の技術によって、垂直方向の見た目の解像感が高くなるのであるが、その弊害として補間方向を判定するにあたっての誤判定による画質劣化が起こり得る。例として以下に斜め補間の効果およびその弊害を示すシミュレーション画像を以下に示す。ここでは、そのような画質劣化が起こり得るインターレース画像の例として、背面の自然画像(例えば動画)に静止文字等のグラフィック画像(静止画)が重畳されたインターレース画像が入力される場合について説明する。
As a countermeasure, there is a technique called diagonal interpolation.
Although the prior art of oblique interpolation (Patent Document 1) increases the apparent resolution in the vertical direction, image quality deterioration due to misjudgment in determining the interpolation direction can occur as an adverse effect. As an example, a simulation image showing the effect of diagonal interpolation and its adverse effects is shown below. Here, as an example of an interlaced image that may cause such image quality degradation, a case where an interlaced image in which a graphic image (still image) such as a still character is superimposed on a natural image (for example, a moving image) on the back is input will be described. .

比較のため、図8に斜め補間を行っていない場合(上下補間のみ)のフィールド内補間結果の例を示し、図9に斜め補間を行っている場合のフィールド内補間結果の例を示している。図10に図9における主な画質劣化部分を拡大したものを示している。   For comparison, FIG. 8 shows an example of the intra-field interpolation result when diagonal interpolation is not performed (only vertical interpolation), and FIG. 9 shows an example of the intra-field interpolation result when diagonal interpolation is performed. . FIG. 10 shows an enlarged main image quality degradation portion in FIG.

図9の斜め補間を行った場合は、図8の斜め補間を行っていない場合に比べて背面の自然画の斜め線のギザギザ感が改善しているが、図9及び図10に示すように静止文字の近辺 (丸で囲んだところ) に斜め補間処理の弊害による画質劣化が見られる。   When the diagonal interpolation of FIG. 9 is performed, the jagged feeling of the diagonal lines of the natural image on the back is improved as compared with the case where the diagonal interpolation of FIG. 8 is not performed, but as shown in FIGS. Image quality degradation due to the negative effects of diagonal interpolation processing is seen in the vicinity of the stationary characters (circled).

特許文献1では、図11に示すようにインターレース画像に画素の値が小さい部分と画素の値が大きい部分(例えば、黒い部分と白い部分)が存在していて、その2つの部分の境界が輪郭であった場合に、インターレースnラインとインターレースn+1ライン間に生成する補間ラインにおける輪郭付近に補間画素Aを生成するには、まず、インターレース画像の輪郭を検出し、その検出した輪郭に沿う斜め方向を補間方向として選び、その方向に該当するn,n+1ライン上のそれぞれの画素U,D、即ちnライン上の画素Uとn+1ライン上の画素Dについて、両画素の和の平均値を算出し、その算出値を補間画素Aの画素値として出力(生成)する。しかしながら、図9及び図10に示したような画質劣化が生じるのは、背面の自然画像(例えば動画)に静止文字等のグラフィック画像(静止画)が重畳されたインターレース画像が入力される場合、輪郭方向を誤って検出するために補間処理のときにその誤った補間方向上で背景の動画の位置に使う画素の代わりにグラフィック画像の画素を用いてしまっていることが原因となっている。   In Patent Document 1, as shown in FIG. 11, an interlaced image has a portion with a small pixel value and a portion with a large pixel value (for example, a black portion and a white portion), and the boundary between the two portions is an outline. In order to generate the interpolation pixel A in the vicinity of the contour in the interpolation line generated between the interlace n line and the interlace n + 1 line, first, the contour of the interlaced image is detected, and the oblique direction along the detected contour Is selected as the interpolation direction, and for each pixel U, D on the n, n + 1 line corresponding to that direction, that is, for the pixel U on the n line and the pixel D on the n + 1 line, the average value of the sum of both pixels is calculated. The calculated value is output (generated) as the pixel value of the interpolation pixel A. However, image quality degradation as shown in FIGS. 9 and 10 occurs when an interlaced image in which a graphic image (still image) such as a still character is superimposed on a natural image (for example, a moving image) on the back is input. This is because the pixel of the graphic image is used instead of the pixel used for the position of the background moving image on the erroneous interpolation direction during the interpolation process in order to detect the contour direction in error.

そこで、本発明の実施形態では、インターレース画像をプログレッシブ画像に変換するにあたり斜め補間処理を用いる場合に、字幕等の静止画の近辺の画質劣化が弊害として起こりうるが、この画質劣化を軽減するために、長時間静止状態判定処理を画素ごとに行い、長時間静止状態ではない位置(即ち動画と判定される位置)の補間画素の生成には、長時間静止状態の画素を使用しないようにするものである。   Therefore, in the embodiment of the present invention, when oblique interpolation processing is used to convert an interlaced image to a progressive image, image quality degradation in the vicinity of still images such as subtitles may occur as a harmful effect, but this image quality degradation is reduced. In addition, a long-time stationary state determination process is performed for each pixel, and a pixel that is not in a long-time stationary state is not used to generate an interpolation pixel at a position that is not in a stationary state for a long time (that is, a position that is determined as a moving image). Is.

以下、本発明の一実施の形態について図面を参照して説明する。
図1は本発明の一実施形態の走査線補間装置のブロック図を示している。
図1に示す走査線補間装置10は、入力端子11と、第1の遅延手段12と、静止判定手段13と、静止連続性判定手段14と、第2の遅延手段15と、第3の遅延手段16と、補間方向判定手段17と、補間処理手段18と、出力端子19とを備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of a scanning line interpolation apparatus according to an embodiment of the present invention.
The scanning line interpolation apparatus 10 shown in FIG. 1 includes an input terminal 11, a first delay unit 12, a stationary determination unit 13, a stationary continuity determination unit 14, a second delay unit 15, and a third delay. Means 16, interpolation direction determination means 17, interpolation processing means 18, and output terminal 19 are provided.

入力端子11には、インターレース方式の映像信号が入力される。第1の遅延手段12は、入力端子11から入力した映像信号を1フレーム分遅延させる2V遅延部で構成される。静止判定手段13は、現在入力している映像信号と第1の遅延手段12からの1フレーム分遅延した映像信号との2つの映像信号を入力し、画素が静止しているかどうかを判定する。
静止判定手段13に入力する2つの映像信号には2フィールド期間分の時間差があるので、静止判定手段13にはトップフィールド同士又はボトムフィールド同士の映像信号が同時に入力されることになる。
An interlace video signal is input to the input terminal 11. The first delay means 12 includes a 2V delay unit that delays the video signal input from the input terminal 11 by one frame. The stillness determination means 13 inputs two video signals, the currently input video signal and the video signal delayed by one frame from the first delay means 12, and determines whether or not the pixel is still.
Since the two video signals input to the stillness determination means 13 have a time difference corresponding to two field periods, the stillness determination means 13 is simultaneously input with the video signals of the top fields or the bottom fields.

静止連続性判定手段14は、静止判定手段13の判定出力と後述の第3の遅延手段16からの遅延出力とを入力として画素の静止状態の時間方向連続性を判定する。第2の遅延手段15は、静止連続性判定手段14の出力を1フィールド分遅延させる1V遅延部で構成される。第3の遅延手段16は、第2の遅延手段15の出力を1フィールド分遅延させる1V遅延部で構成される。
静止連続性判定手段14に入力する2つの静止判定出力には2フィールド期間分の時間差があるので、静止連続性判定手段14にはトップフィールド同士又はボトムフィールド同士の静止判定出力が同時に入力されることになる。
The stationary continuity determining unit 14 determines the temporal continuity of a pixel in a stationary state using the determination output of the stationary determining unit 13 and a delay output from a third delay unit 16 described later as inputs. The second delay means 15 is composed of a 1V delay section that delays the output of the static continuity determination means 14 by one field. The third delay means 16 is composed of a 1V delay section that delays the output of the second delay means 15 by one field.
Since the two stillness determination outputs input to the stillness continuity determination means 14 have a time difference corresponding to two field periods, the stillness determination outputs for the top fields or the bottom fields are simultaneously input to the stillness continuity determination means 14. It will be.

補間方向判定手段17は、静止連続性判定手段14の出力と第2の遅延手段15の遅延出力を入力として、斜め補間によって劣化の生じる虞のある方向(言い換えれば、斜め補間する補間方向候補のうちから除外すべき補間方向)を判定する。
補間方向判定手段17に入力する2つの静止連続性判定出力には1フィールド期間分の時間差があるので、補間方向判定手段17には2つの静止連続性判定出力のうちのどちらか一方がトップフィールドでもう一方がボトムフィールドの静止連続性判定出力が同時に入力されることになる。
The interpolation direction determination means 17 receives the output of the static continuity determination means 14 and the delay output of the second delay means 15 as inputs, in a direction in which degradation may occur due to diagonal interpolation (in other words, an interpolation direction candidate for diagonal interpolation). (Interpolation direction to be excluded).
Since the two static continuity determination outputs input to the interpolation direction determination means 17 have a time difference corresponding to one field period, either one of the two static continuity determination outputs is the top field. In the other, the bottom field static continuity determination output is input simultaneously.

補間処理手段18は、補間方向候補の複数の選択肢から補間方向判定手段17で判定された補間方向を除外して、斜め補間処理を行うことによって補間ライン信号を生成する。 出力端子19は、補間処理手段18からの補間ライン信号を出力する。   The interpolation processing unit 18 excludes the interpolation direction determined by the interpolation direction determination unit 17 from a plurality of choices of interpolation direction candidates, and generates an interpolation line signal by performing diagonal interpolation processing. The output terminal 19 outputs the interpolation line signal from the interpolation processing means 18.

なお、出力端子19の後段にライン選択手段を配設する構成とすることにより、出力端子19からの補間ライン信号を図示しないライン選択手段の一方の入力端に供給し、ライン選択手段のもう一方の入力端には入力端子11より入力した現在の1水平ライン分の映像信号を供給し、現在の入力映像信号と補間ライン信号とを1水平ライン毎に交互に切り替えて出力することによって、水平ラインが垂直補間されたプログレッシブ方式の映像信号を出力することができる。   In addition, by adopting a configuration in which the line selection means is provided at the subsequent stage of the output terminal 19, the interpolation line signal from the output terminal 19 is supplied to one input terminal of the line selection means (not shown) and the other of the line selection means is supplied. The video signal for one horizontal line input from the input terminal 11 is supplied to the input terminal of the input terminal, and the current input video signal and the interpolation line signal are alternately switched for each horizontal line and output. A progressive video signal in which lines are vertically interpolated can be output.

図2は静止判定手段13の構成例を示している。
図2に示す静止判定手段13は、入力端子11からの入力映像信号と第1の遅延手段12からの出力との差分をとる減算手段21と、減算手段21からの差分の絶対値をとる絶対値化手段22と、絶対値化手段22からの差分絶対値を閾値と比較し、差分絶対値が閾値以下であれば静止と判定し、閾値より大きければ動画と判定する比較判定手段23とを備えている。
FIG. 2 shows a configuration example of the stillness determination means 13.
The stillness determination means 13 shown in FIG. 2 includes a subtraction means 21 that takes the difference between the input video signal from the input terminal 11 and the output from the first delay means 12, and an absolute value that takes the absolute value of the difference from the subtraction means 21. A value determination unit 22 and a comparison determination unit 23 that compares the absolute difference value from the absolute value conversion unit 22 with a threshold value, determines that the difference absolute value is equal to or less than the threshold value, and determines that the moving image is larger than the threshold value. I have.

このような構成において、静止判定手段13は、入力映像信号と第1の遅延手段12の出力との差分絶対値を画素ごとに閾値と比較して静止判定結果を‘0’か‘1’かの2値で出力する。静止判定手段13の出力が‘0’であれば‘動’、‘1’であれば‘静止’であることを意味する。ここで閾値を‘0’とすると完全静止状態(即ち差分絶対値=0)のときのみ‘静止’と判定されて判定結果‘1’が出力され、差分絶対値≠0のとき‘動’と判定されて判定結果‘0’が出力される。   In such a configuration, the stillness determination unit 13 compares the absolute difference between the input video signal and the output of the first delay unit 12 with a threshold value for each pixel, and determines whether the stillness determination result is “0” or “1”. Is output in binary. If the output of the stationary determination means 13 is “0”, it means “moving”, and if it is “1”, it means “still”. Here, if the threshold is set to “0”, it is determined as “still” only in the completely stationary state (that is, the difference absolute value = 0), and the determination result “1” is output. The determination result “0” is output.

図3は静止連続性判定手段14の構成例を示している。
図3に示す静止連続性判定手段14は、静止判定手段13の出力と第3の遅延手段16の出力とを入力し、第3の遅延手段16からの2フィールド分遅延した出力(=1フレーム遅延出力)が入力するごとにカウントアップする例えば多ビットのカウンタで構成され、そのカウンタのカウント値を静止状態の長さを示す静止連続性判定結果として出力する。静止連続性判定手段14は、静止判定手段13からの入力が‘静止’という判定結果であれば、カウントアップし、そうでなければ0にリセットされる。そしてその結果があるリミット値に達した場合は飽和処理をする、という方法で実現できる。より具体的には、(1)静止判定手段13からの入力が動画‘0’という判定結果であれば、当該カウンタのカウント値として0を出力し、(2)そうではなくて第3の遅延手段16の出力が当該カウンタのリミット値(LIMITと略記、ここでは上限値のこと)に達した場合はそのリミット値を保持して出力し、(3)以上の2つの条件(1),(2)に該当しなければカウンタでカウントアップ(count++)しそのカウント値を出力する。(1)〜(3)の3つ条件は、(1)が優先度が最も高く、(3)が優先度が最も低く、(2)が(1)と(3)の中間の優先度となっている。
FIG. 3 shows a configuration example of the stationary continuity determination means 14.
3 receives the output of the stillness determination means 13 and the output of the third delay means 16, and outputs the output delayed by two fields from the third delay means 16 (= 1 frame). For example, a multi-bit counter that counts up each time (delay output) is input, and the count value of the counter is output as a still continuity determination result indicating the length of the still state. The stationary continuity determining unit 14 counts up if the input from the stationary determining unit 13 is a determination result of “still”, and is reset to 0 otherwise. And when the result reaches a certain limit value, it can be realized by a method of performing saturation processing. More specifically, (1) if the input from the stillness determination means 13 is the determination result that the moving image is “0”, 0 is output as the count value of the counter, and (2) the third delay instead. When the output of the means 16 reaches the limit value of the counter (abbreviated as LIMIT, here the upper limit value), the limit value is held and output, and the two conditions (1), (3) If it does not correspond to 2), the counter counts up (count ++ ) and the count value is output. The three conditions (1) to (3) are: (1) has the highest priority, (3) has the lowest priority, (2) has an intermediate priority between (1) and (3) It has become.

このような構成において、静止連続性判定手段14は、何らかの時間的な幅を持った値を出力できる。つまり、どの位長く静止しているかという静止状態の長さをカウント値として出力することができる。そして、このカウント値は例えば8ビットカウンタであれば、リミット値は256であり、この値が静止状態というべきか否かの判定は、次段の補間方向判定手段17の図5のフローチャートに示す閾値THTで判定する。カウンタのカウント値が閾値THTより大きければその画素は静止画であると判定される。なお、図5の閾値THTを例えば30とすれば、カウンタが30回カウントすることは、言い換えれば1フレーム遅延出力が入力するまでの期間に画素の静止判定出力が30回続いた状態(つまり1秒間静止した状態)に相当することを意味している。   In such a configuration, the static continuity determination unit 14 can output a value having some temporal width. That is, it is possible to output the length of the stationary state as to how long it is stationary as the count value. If the count value is, for example, an 8-bit counter, the limit value is 256. The determination as to whether or not this value should be in a stationary state is shown in the flowchart of FIG. Judge by threshold THT. If the count value of the counter is larger than the threshold value THT, it is determined that the pixel is a still image. Note that if the threshold value THT in FIG. 5 is set to 30, for example, the counter counts 30 times. In other words, the state in which the pixel stillness determination output continues 30 times during the period until the 1-frame delay output is input (that is, 1 It is equivalent to a state of being stationary for a second).

静止連続性判定手段14の出力は、その出力を1フィールド期間遅延する第2の遅延手段15の出力と共に、補間方向判定手段17へと入力される。   The output of the static continuity determination means 14 is input to the interpolation direction determination means 17 together with the output of the second delay means 15 that delays the output by one field period.

本実施形態では、図4に示すように斜め補間の補間方向の選択肢を決定することになる水平タップ数は例えば5タップとして説明する。このとき補間方向は図4に示すように方向0〜方向4の5通りである。補間に使用する上方ラインの静止連続性判定結果をU0〜U4、補間に使用する下方ラインの静止連続性判定結果をD0〜D4、補間出力位置(斜線付き○にて示す)における静止連続性判定結果をOUTとする。これらの静止連続性判定結果はいずれも、静止連続性判定手段14のカウンタのカウント値に相当している。   In the present embodiment, as illustrated in FIG. 4, the number of horizontal taps for determining an interpolation direction option for oblique interpolation will be described as 5 taps, for example. At this time, there are five interpolation directions, direction 0 to direction 4, as shown in FIG. Static continuity judgment result for upper line used for interpolation is U0 to U4, stationary continuity judgment result for lower line used for interpolation is D0 to D4, and static continuity judgment at interpolation output position (shown with a hatched circle) The result is OUT. These still continuity determination results all correspond to the count value of the counter of the still continuity determination means 14.

このとき補間方向判定手段17は、補間出力位置における静止連続性判定結果OUTが閾値THT(この閾値を超えると静止とする)を超えていない場合は、補間出力位置が動画であるとして、補間方向の候補として用いることが可能な方向は、U0〜U4, D0〜D4のペアがともに閾値THTを超えていないペアの方向となり、U0〜U4, D0〜D4のペアの少なくとも一方が閾値THTを超えていればその画素を含むペアの方向を補間方向の候補から除外することになる。これについては、次の図5のフローチャートで具体的に説明する。   At this time, the interpolation direction determination means 17 determines that the interpolation output position is a moving image if the stillness continuity determination result OUT at the interpolation output position does not exceed the threshold value THT (when it exceeds this threshold value, the interpolation direction). The directions that can be used as candidates for the pair are the directions in which the pair of U0 to U4 and D0 to D4 does not exceed the threshold value THT, and at least one of the pair of U0 to U4 and D0 to D4 exceeds the threshold value THT If so, the direction of the pair including the pixel is excluded from the interpolation direction candidates. This will be specifically described with reference to the flowchart of FIG.

図5は補間方向判定手段17における補間方向判定の具体的例としてのフローチャートを示している。
図5において、補間方向判定手段17は、静止連続性判定手段14の出力と第2の遅延手段15の出力とから同時に入力されるトップフィールド及びボトムフィールドについての2つの静止連続性判定結果に基づいて、トップフィールドにおける上下2本の水平ライン上の画素についての静止連続性判定結果U0〜U4,D0〜D4と、トップフィールドの上下2本の水平ライン間に相当する、ボトムフィールドにおける補間出力位置の画素についての静止連続性判定結果OUTとを得る。
FIG. 5 shows a flowchart as a specific example of the interpolation direction determination in the interpolation direction determination means 17.
In FIG. 5, the interpolation direction determination means 17 is based on two static continuity determination results for the top field and the bottom field that are simultaneously input from the output of the static continuity determination means 14 and the output of the second delay means 15. The interpolated output position in the bottom field corresponding to the static continuity determination results U0 to U4 and D0 to D4 for the pixels on the top and bottom two horizontal lines in the top field and the top and bottom two horizontal lines in the top field. The static continuity determination result OUT for the pixels of is obtained.

まず、補間出力位置の画素についての静止連続性判定結果OUTを静止画か否かの閾値THTと比較し(ステップS1)、静止連続性判定結果OUTの方が閾値THTより大きければ補間出力位置が静止画であるとして何もせず(つまり補間出力位置がグラフィックにおける静止部分であり、除外すべき補間方向候補は無しとする)、静止連続性判定結果OUTの方が閾値THT以下ならば補間出力位置が動画であると判定し、次ステップS2へ移行する。   First, the still continuity determination result OUT for the pixel at the interpolation output position is compared with a threshold value THT for determining whether or not the image is a still image (step S1). If the still continuity determination result OUT is greater than the threshold value THT, the interpolation output position is determined. If it is a still image, nothing is done (that is, the interpolation output position is a still part in the graphic and there are no interpolation direction candidates to be excluded), and if the still continuity determination result OUT is less than the threshold value THT, the interpolation output position Is determined to be a moving image, and the process proceeds to the next step S2.

ステップS2では、補間出力位置が動画であると判定されている状態で、上下2本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U0又はD4が閾値THTより大きければU0又はD4の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向0を斜め補間方向の候補から除外する情報として補間処理手段18に供給し(ステップS3)、次ステップS4へ移行する。ステップS2で、水平ライン上の画素の静止連続性判定結果U0又はD4が閾値THT以下ならばU0又はD4の画素位置が動画であるとして、次ステップS4へ移行する。   In step S2, if the interpolation output position is determined to be a moving image and the still continuity determination result U0 or D4 of the pixel on one of the upper and lower horizontal lines is greater than the threshold value THT. Assuming that the pixel position of U0 or D4 is a still image, the interpolation direction 0 connecting the pixel position and the interpolation output position is supplied to the interpolation processing means 18 as information to be excluded from the diagonal interpolation direction candidates (step S3). The process proceeds to step S4. If the still continuity determination result U0 or D4 of the pixels on the horizontal line is equal to or smaller than the threshold value THT in step S2, it is determined that the pixel position of U0 or D4 is a moving image, and the process proceeds to the next step S4.

ステップS4では、上下2本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U1又はD3が閾値THTより大きければU1又はD3の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向1を斜め補間方向の候補から除外する情報として補間処理手段18に供給し(ステップS5)、次ステップS6へ移行する。ステップS4で、水平ライン上の画素の静止連続性判定結果U1又はD3が閾値THT以下ならばU1又はD3の画素位置が動画であるとして、次ステップS6へ移行する。   In step S4, if the still continuity determination result U1 or D3 of the pixel on one of the upper and lower horizontal lines is greater than the threshold value THT, the pixel position of U1 or D3 is determined to be a still image, and the pixel Interpolation direction 1 connecting the position and the interpolation output position is supplied to the interpolation processing means 18 as information to be excluded from the diagonal interpolation direction candidates (step S5), and the process proceeds to the next step S6. If the still continuity determination result U1 or D3 of the pixel on the horizontal line is equal to or smaller than the threshold value THT in step S4, the pixel position of U1 or D3 is determined to be a moving image, and the process proceeds to the next step S6.

ステップS6では、上下2本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U3又はD1が閾値THTより大きければU3又はD1の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向3を斜め補間方向の候補から除外する情報として補間処理手段18に供給し(ステップS7)、次ステップS8へ移行する。ステップS6で、水平ライン上の画素の静止連続性判定結果U3又はD1が閾値THT以下ならばU3又はD1の画素位置が動画であるとして、次ステップS8へ移行する。   In step S6, if the static continuity determination result U3 or D1 of a pixel on one of the upper and lower horizontal lines is larger than the threshold value THT, the pixel position of U3 or D1 is determined to be a still image, and the pixel Interpolation direction 3 connecting the position and the interpolation output position is supplied to the interpolation processing means 18 as information to be excluded from the diagonal interpolation direction candidates (step S7), and the process proceeds to the next step S8. In step S6, if the still continuity determination result U3 or D1 of the pixel on the horizontal line is equal to or less than the threshold value THT, it is determined that the pixel position of U3 or D1 is a moving image, and the process proceeds to the next step S8.

ステップS8では、上下2本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U4又はD0が閾値THTより大きければU4又はD0の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向4を斜め補間方向の候補から除外する情報として補間処理手段18に供給し(ステップS9)、終了する。ステップS8で、水平ライン上の画素の静止連続性判定結果U4又はD0が閾値THT以下ならばU4又はD0の画素位置が動画であるとして、終了する。   In step S8, if the still continuity determination result U4 or D0 of a pixel on one of the upper and lower horizontal lines is greater than the threshold value THT, the pixel position of U4 or D0 is determined to be a still image, and the pixel Interpolation direction 4 that connects the position and the interpolation output position is supplied to the interpolation processing means 18 as information to be excluded from the oblique interpolation direction candidates (step S9), and the process ends. If the still continuity determination result U4 or D0 of the pixel on the horizontal line is equal to or smaller than the threshold value THT in step S8, the process ends, assuming that the pixel position of U4 or D0 is a moving image.

そして、補間方向判定手段17の出力は、補間処理手段18へ入力する。
補間処理手段18は、例えば特許文献1(特開2007-142669号公報)の図1,図25又は図26に示すような装置100,100A又は100Bで構成されていて、補間方向候補選択手段(第1のパターン比較部151及び第2のパターン比較部152、又は、第1のパターン比較部251及び第2のパターン比較部252)から出力される補間方向の選択肢(補間方向候補)の中から本願図1の補間方向判定手段17で判定された補間方向を除外して、斜め補間処理を行うことによって、画質劣化を生じない正しい補間方向を選択して補間ライン信号を生成することができる。なお、補間処理手段18は、特許文献1の構成に制限されるものではなく、斜め補間の複数の補間方向を推定し、その中から最終的に1つの補間方向を決定するアルゴリズムを有するものであれば広く適用可能である。
Then, the output of the interpolation direction determination means 17 is input to the interpolation processing means 18.
The interpolation processing means 18 is composed of, for example, a device 100, 100A or 100B as shown in FIG. 1, FIG. 25 or FIG. 26 of Patent Document 1 (Japanese Patent Laid-Open No. 2007-142669). From the interpolation direction options (interpolation direction candidates) output from the first pattern comparison unit 151 and the second pattern comparison unit 152, or the first pattern comparison unit 251 and the second pattern comparison unit 252). By performing the diagonal interpolation process by excluding the interpolation direction determined by the interpolation direction determination unit 17 of FIG. 1, it is possible to select the correct interpolation direction that does not cause image quality degradation and generate an interpolation line signal. The interpolation processing means 18 is not limited to the configuration of Patent Document 1, and has an algorithm that estimates a plurality of interpolation directions for oblique interpolation and finally determines one interpolation direction from them. If applicable, it is widely applicable.

図6は本実施形態で得られるシミュレーション結果を示している。
動画の上にグラフィックによる静止画が重畳した画像データが入力された場合でも、静止画素近辺に現れる図9及び図10に示したような画質劣化が生じることのないように防止することができる。
FIG. 6 shows a simulation result obtained in this embodiment.
Even when image data in which a graphic still image is superimposed on a moving image is input, it is possible to prevent image quality degradation as shown in FIGS. 9 and 10 appearing in the vicinity of a still pixel from occurring.

本発明の実施形態によれば、斜め補間処理を用いて走査線の補間処理を行うにあたり、長時間静止状態の画素を検出して、その結果を補間方向の選択に用いることにより、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、斜め補間の弊害である長時間静止画素近辺の画質劣化を軽減することができる。   According to the embodiment of the present invention, when performing the interpolation processing of the scanning line using the diagonal interpolation processing, the pixels in the stationary state for a long time are detected, and the result is used for selecting the interpolation direction. While leaving the improvement effect, among the image quality deterioration as the adverse effect of the diagonal interpolation process, the image quality deterioration in the vicinity of the long-time still pixel, which is an adverse effect of the diagonal interpolation, can be reduced.

本発明の一実施形態の走査線補間装置を示すブロック図。1 is a block diagram showing a scanning line interpolation apparatus according to an embodiment of the present invention. 本実施形態における静止判定手段の構成例を示すブロック図。The block diagram which shows the structural example of the stillness determination means in this embodiment. 本実施形態における静止連続性判定手段の構成例を示すブロック図。The block diagram which shows the structural example of the static continuity determination means in this embodiment. 本実施形態における斜め補間の補間方向を示す説明図。Explanatory drawing which shows the interpolation direction of the diagonal interpolation in this embodiment. 本実施形態における補間方向判定手段の具体例を説明するフローチャート。The flowchart explaining the specific example of the interpolation direction determination means in this embodiment. 本発明のシミュレーション結果を示す図。The figure which shows the simulation result of this invention. 図7乃至図11は本発明の関連技術を示しており、図7は動き適応型IP変換の例を示し動き適応IP変換の例7 to 11 show related techniques of the present invention, and FIG. 7 shows an example of motion adaptive IP conversion and an example of motion adaptive IP conversion. 補間を行っていない場合(上下補間のみ)のフィールド内補間結果の例を示す説明図。Explanatory drawing which shows the example of the interpolation result in a field when interpolation is not performed (only up-and-down interpolation). 斜め補間を行っている場合のフィールド内補間結果の例を示す説明図。Explanatory drawing which shows the example of the interpolation result in the field in the case of performing diagonal interpolation. 図9における主な画質劣化部分を拡大して示す拡大図。The enlarged view which expands and shows the main image quality degradation part in FIG. 斜め補間の先行技術(特許文献1)を説明する図。The figure explaining the prior art (patent document 1) of diagonal interpolation.

符号の説明Explanation of symbols

10…走査線補間装置
12…第1の遅延手段
13…静止判定手段
14…静止連続性判定手段
15…第2の遅延手段
16…第3の遅延手段
17…補間方向判定手段
18…補間ライン生成手段
21…減算手段
22…絶対値化手段
23・・・比較判定手段
10. Scanning line interpolation device
DESCRIPTION OF SYMBOLS 12 ... 1st delay means 13 ... Stillness determination means 14 ... Stillness continuity determination means 15 ... 2nd delay means 16 ... 3rd delay means 17 ... Interpolation direction determination means 18 ... Interpolation line generation means 21 ... Subtraction means 22 ... Absolute value means 23 ... Comparison determination means

Claims (5)

入力映像信号を1フレーム分遅延させる第1の遅延手段と、
前記入力映像信号と前記第1の遅延手段の出力を入力として画素が静止しているかどうかを判定する静止判定手段と、
前記静止判定手段の出力と第3の遅延手段の出力とを入力として画素の静止状態の時間方向連続性を判定する静止連続性判定手段と、
前記静止連続性判定手段の出力を1フィールド分遅延させる第2の遅延手段と、
前記第2の遅延手段の出力を1フィールド分遅延させる前記第3の遅延手段と、
前記静止連続性判定手段の出力と前記第2の遅延手段の出力を入力として、斜め補間によって劣化の生じる虞のある方向を判定する補間方向判定手段と、
補間方向の選択肢から前記補間方向判定手段で判定された補間方向を除外して、斜め補間処理を行うことによって補間ライン信号を生成する補間処理手段と、
を備えることを特徴とする走査線補間装置。
First delay means for delaying the input video signal by one frame;
Stillness determination means for determining whether a pixel is stationary with the input video signal and the output of the first delay means as inputs,
Stillness continuity determining means for determining the temporal continuity of the stationary state of a pixel by using the output of the stillness determining means and the output of the third delay means as inputs,
Second delay means for delaying the output of the static continuity determination means by one field;
The third delay means for delaying the output of the second delay means by one field;
Interpolation direction determination means for determining the direction in which deterioration may occur due to oblique interpolation, using the output of the static continuity determination means and the output of the second delay means as inputs.
Interpolation processing means for generating an interpolation line signal by performing an oblique interpolation process by excluding the interpolation direction determined by the interpolation direction determination means from choices of interpolation directions;
A scanning line interpolation apparatus comprising:
前記静止判定手段は、
前記入力映像信号と前記第1の遅延手段の出力の差分をとる減算手段と、
前記減算手段からの差分の絶対値をとる絶対値化手段と、
前記絶対値化手段からの差分絶対値を閾値と比較し、差分絶対値が閾値以下であれば静止、閾値より大きければ動画と判定する比較判定手段と、
を備えたことを特徴とする請求項1に記載の走査線補間装置。
The stationary determination means includes
Subtracting means for taking a difference between the input video signal and the output of the first delay means;
Absolute value taking means for taking the absolute value of the difference from the subtracting means;
A comparison determination unit that compares a difference absolute value from the absolute value conversion unit with a threshold value, and determines that the difference absolute value is equal to or less than a threshold value and is a still image;
The scanning line interpolation apparatus according to claim 1, further comprising:
前記静止連続性判定手段は、
前記静止判定手段の出力と前記第3の遅延手段の出力とを入力し、前記第3の遅延手段からの2フィールド分遅延した出力が入力するごとにカウントアップするカウンタを備え、当該カウンタのカウント値を静止状態の長さを表す静止連続性判定結果として出力するものであって、前記静止判定手段からの入力が動画という判定結果であれば、当該カウンタのカウント値として0を出力し、そうではなくて前記第3の遅延手段の出力が当該カウンタのリミット値に達した場合はそのリミット値を保持して出力し、以上の2つの条件に当たらなければ当該カウンタでカウントアップしそのカウント値を出力することを特徴とする請求項1又は2に記載の走査線補間装置。
The stationary continuity determination means includes
A counter that counts up each time an output delayed by two fields from the third delay means is input, and outputs the output of the stationary determination means and the output of the third delay means; If the value is output as a stillness continuity determination result indicating the length of the still state, and the input from the stillness determination means is a determination result that is a moving image, 0 is output as the count value of the counter. Instead, when the output of the third delay means reaches the limit value of the counter, the limit value is held and output, and when the above two conditions are not met, the counter counts up and the count value The scanning line interpolating apparatus according to claim 1, wherein:
前記補間方向判定手段は、
前記静止連続性判定手段の出力と前記第2の遅延手段の出力とから同時に入力されるトップフィールド及びボトムフィールドそれぞれの2つの静止連続性判定結果に基づいて、トップフィールドにおける上下2本の水平ライン上の画素についての静止連続性判定結果と、ボトムフィールドにおける前記トップフィールドの上下2本の水平ライン間に相当する補間出力位置の画素についての静止連続性判定結果とを得、補間出力位置の画素についての静止連続性判定結果を静止か否かの閾値と比較して静止連続性判定結果の方が閾値より大きければ補間出力位置が静止画であるとして何もせず、静止連続性判定結果の方が閾値以下ならば補間出力位置が動画であると判定し、その補間出力位置が動画であると判定されている状態で、上下2本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果が前記閾値より大きければその画素の位置と補間出力位置を結ぶ補間方向を斜め補間方向の候補から除外する情報として前記補間処理手段に供給することを特徴とする請求項1乃至3のいずれか1つに記載の走査線補間装置。
The interpolation direction determining means includes
Based on two static continuity determination results for each of the top field and the bottom field, which are simultaneously input from the output of the static continuity determination unit and the output of the second delay unit, two horizontal lines in the top field Obtain a still continuity determination result for the upper pixel and a still continuity determination result for the pixel at the interpolation output position corresponding to the two horizontal lines above and below the top field in the bottom field. Compare the static continuity determination result for the image with the threshold value for whether or not it is still, and if the static continuity determination result is greater than the threshold value, the interpolation output position is determined to be a still image, and the static continuity determination result If the interpolation output position is determined to be a movie, the interpolation output position is determined to be a movie. If the stationary continuity determination result of a pixel on one horizontal line of a flat line is larger than the threshold value, the interpolation processing is performed as information for excluding the interpolation direction connecting the position of the pixel and the interpolation output position from the candidate for the diagonal interpolation direction. 4. The scanning line interpolating apparatus according to claim 1, wherein the scanning line interpolating apparatus is supplied to the means.
入力映像信号を1フレーム分遅延し、
前記入力映像信号と前記1フレーム分遅延した映像信号とを静止判定手段に入力して1フレーム前後で画素が静止しているかどうかを判定し、
その静止判定結果と静止連続性判定手段の判定出力を1フレーム分遅延した判定出力とを当該静止連続性判定手段に入力して画素の静止状態の時間方向連続性を判定し、
前記静止連続性判定手段の静止連続性判定出力を1フィールド分遅延し、さらに1フィールド分遅延し、この2フィールド分遅延した静止連続性判定出力を前記静止連続性判定手段に供給し、
前記静止連続性判定手段の静止連続性判定出力と前記1フィールド分遅延した静止連続性判定出力とを補間方向判定手段に入力して、斜め補間によって劣化の生じる虞のある補間方向を判定し、
斜め補間処理を実行する補間処理手段にて補間方向の選択肢から前記補間方向判定手段で判定された劣化の生じる補間方向を除外して斜め補間処理を行い、補間ライン信号を生成することを特徴とする走査線補間方法。
Delay the input video signal by one frame,
The input video signal and the video signal delayed by one frame are input to the stillness determining means to determine whether or not the pixel is still before and after one frame,
The stillness determination result and the determination output obtained by delaying the determination output of the stillness continuity determination unit by one frame are input to the stillness continuity determination unit, and the temporal continuity of the still state of the pixel is determined.
The static continuity determination output of the static continuity determination means is delayed by one field, further delayed by one field, and the static continuity determination output delayed by two fields is supplied to the static continuity determination means,
The static continuity determination output of the static continuity determination unit and the static continuity determination output delayed by one field are input to the interpolation direction determination unit, and an interpolation direction in which degradation may occur due to oblique interpolation is determined.
The interpolation processing means for executing the diagonal interpolation processing excludes the interpolated direction determined by the interpolation direction determination means from the interpolation direction options and performs the diagonal interpolation processing to generate an interpolation line signal. Scan line interpolation method.
JP2008014184A 2008-01-24 2008-01-24 Scanning line interpolating device and scanning line interpolating method Pending JP2009177524A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008014184A JP2009177524A (en) 2008-01-24 2008-01-24 Scanning line interpolating device and scanning line interpolating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008014184A JP2009177524A (en) 2008-01-24 2008-01-24 Scanning line interpolating device and scanning line interpolating method

Publications (1)

Publication Number Publication Date
JP2009177524A true JP2009177524A (en) 2009-08-06

Family

ID=41032156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008014184A Pending JP2009177524A (en) 2008-01-24 2008-01-24 Scanning line interpolating device and scanning line interpolating method

Country Status (1)

Country Link
JP (1) JP2009177524A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011078092A (en) * 2010-09-08 2011-04-14 Toshiba Corp Device and method for color-difference signal format conversion
US8068173B2 (en) 2009-09-30 2011-11-29 Kabushiki Kaisha Toshiba Color difference signal format conversion device and method
JP2013034151A (en) * 2011-08-03 2013-02-14 Nippon Telegr & Teleph Corp <Ntt> Video stationary determination method, video stationary determination device and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068173B2 (en) 2009-09-30 2011-11-29 Kabushiki Kaisha Toshiba Color difference signal format conversion device and method
JP2011078092A (en) * 2010-09-08 2011-04-14 Toshiba Corp Device and method for color-difference signal format conversion
JP2013034151A (en) * 2011-08-03 2013-02-14 Nippon Telegr & Teleph Corp <Ntt> Video stationary determination method, video stationary determination device and program

Similar Documents

Publication Publication Date Title
CN101088290B (en) Spatio-temporal adaptive video de-interlacing method, device and system
JP3644874B2 (en) Image interpolation device
JP4207009B2 (en) Image processing apparatus and method
JP2004064788A (en) Deinterlacing apparatus and method
KR19990031433A (en) Scan converter circuit
KR101186143B1 (en) Frame rate conversion apparatus and method
US8411974B2 (en) Image processing apparatus, method, and program for detecting still-zone area
JP2004007696A (en) Method and system for edge adaptive interpolation for interlace-progressive transformation
JP5350501B2 (en) Video processing apparatus and video processing method
JP2009177524A (en) Scanning line interpolating device and scanning line interpolating method
US20120008692A1 (en) Image processing device and image processing method
US9495728B2 (en) Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof
CN111294545B (en) Image data interpolation method and device, storage medium and terminal
JP5241632B2 (en) Image processing circuit and image processing method
JP2003289511A (en) Image scan converting method and apparatus
JP4551343B2 (en) Video processing apparatus and video processing method
JP5300607B2 (en) Video processing apparatus and control method thereof
JP2009265688A (en) Movement detection device
JP2008118620A (en) Image display and displaying method, image processor and processing method
JP2006303910A (en) Film mode detecting apparatus
JP2004236012A (en) Image processing method and device thereof
JP5018198B2 (en) Interpolation signal generation circuit, interpolation signal generation method, program, and video signal processing apparatus
KR101100731B1 (en) Apparatus and Method for de-interlacing
KR101109153B1 (en) Method for deinterlacing using detecting judder and apparatus therefor
JP2011097339A (en) Video processing apparatus, and controlling method therein