JP2010093680A - Video signal processing apparatus, and video signal processing method - Google Patents

Video signal processing apparatus, and video signal processing method Download PDF

Info

Publication number
JP2010093680A
JP2010093680A JP2008263660A JP2008263660A JP2010093680A JP 2010093680 A JP2010093680 A JP 2010093680A JP 2008263660 A JP2008263660 A JP 2008263660A JP 2008263660 A JP2008263660 A JP 2008263660A JP 2010093680 A JP2010093680 A JP 2010093680A
Authority
JP
Japan
Prior art keywords
video signal
period
motion vector
frame
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008263660A
Other languages
Japanese (ja)
Inventor
Eiji Matsumoto
栄治 松本
Hideki Aiba
英樹 相羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2008263660A priority Critical patent/JP2010093680A/en
Publication of JP2010093680A publication Critical patent/JP2010093680A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video signal processing apparatus which performs conversion into a frame frequency higher than the frame frequency of an input video signal while reducing memories by sharing a memory required for interpolation frame generation and noise reduction processing. <P>SOLUTION: The video signal processing apparatus includes: motion vector detection sections 21, 22 for detecting a motion vector from an inputted first video signal and a second video signal delayed by one frame term; a noise reduction processing section 11 for canceling noise of the first video signal using the second video signal and the motion vector; a frame memory 12 which delays frames of the first video signal noise-canceled by the noise reduction processing section by the one frame term to obtain the second video signal; and an interpolation frame generation section 13 for generating one or more interpolation frames to be interpolated between neighboring actual frames of the first video signal using the first video signal and the second video signal. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、入力された映像信号を、その映像信号が有するフレーム周波数よりも高いフレーム周波数に変換して液晶パネル等の表示部に表示する映像信号処理装置及び映像信号処理方法に関する。   The present invention relates to a video signal processing apparatus and a video signal processing method for converting an input video signal into a frame frequency higher than the frame frequency of the video signal and displaying the converted video signal on a display unit such as a liquid crystal panel.

液晶パネルを用いた液晶表示装置においては、動画を表示したときに残像を生じるという問題点がある。この問題点を低減する１つの方法として、本出願人は、入力された映像信号のフレーム間に補間フレームを内挿するための補間フレーム生成部を設けて、入力映像信号より高いフレームレートに変換して液晶パネルに表示する画像表示装置を特許文献１に開示している。特許文献１記載の発明によれば、フレーム周波数６０Ｈｚの映像信号を例えばフレーム周波数１２０Ｈｚに変換して残像を低減させている。   In a liquid crystal display device using a liquid crystal panel, there is a problem that an afterimage occurs when a moving image is displayed. As one method for reducing this problem, the present applicant provides an interpolation frame generation unit for interpolating an interpolation frame between frames of an input video signal, and converts the frame rate to a higher frame rate than the input video signal. An image display device that displays on a liquid crystal panel is disclosed in Patent Document 1. According to the invention described in Patent Document 1, an afterimage is reduced by converting a video signal having a frame frequency of 60 Hz to, for example, a frame frequency of 120 Hz.

一方、近年、液晶表示装置の大型化が進み、入力映像信号に含まれるノイズ信号が目立つようになってきた。そこで、ノイズ信号を低減した高画質な映像を表示するための３次元ノイズリダクション（以下、３Ｄ−ＮＲと略す）処理部が、特許文献２に開示されている。
特開２００６−３３７４４８号公報 特開２００３−３１９２０３号公報 On the other hand, in recent years, liquid crystal display devices have been increased in size, and noise signals included in input video signals have become conspicuous. Therefore, Patent Document 2 discloses a three-dimensional noise reduction (hereinafter abbreviated as 3D-NR) processing unit for displaying a high-quality video with a reduced noise signal.
JP 2006-337448 A JP 2003-319203 A

ところで、液晶表示装置において、残像感とノイズを共に低減するためには、上述した補間フレーム生成部と３Ｄ−ＮＲ処理部を共に備える必要がある。そして、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と共に、入力映像信号を１フレーム期間遅延させた映像信号も用いなければならない。そのため、補間フレーム生成用とノイズリダクション処理用に、入力映像信号を１フレーム期間遅延させるための１フレーム分のフレームメモリがそれぞれ必要となっていた。   By the way, in the liquid crystal display device, in order to reduce both afterimage feeling and noise, it is necessary to provide both the above-described interpolation frame generation unit and 3D-NR processing unit. Both the interpolation frame generation unit and the 3D-NR processing unit must use a video signal obtained by delaying the input video signal by one frame period together with the input video signal. Therefore, a frame memory for one frame for delaying the input video signal by one frame period is required for interpolation frame generation and noise reduction processing.

また、補間フレーム生成部と３Ｄ−ＮＲ処理部の双方は、入力映像信号と１フレーム期間遅延させた映像信号の間の動きベクトルも用いる必要がある。そのため、補間フレーム生成部と３Ｄ−ＮＲ処理部に、動きベクトルを検出するためのラインメモリ等の遅延手段がそれぞれ必要となっていた。しかし、近年の高画質化を図った液晶表示装置では、上述以外の処理においても多くのメモリを必要とする。よって、従来とほぼ同等の高画質を維持し、且つメモリを削減した映像信号処理装置が望まれる。   Further, both the interpolation frame generation unit and the 3D-NR processing unit need to use a motion vector between the input video signal and the video signal delayed by one frame period. Therefore, the interpolation frame generation unit and the 3D-NR processing unit each require delay means such as a line memory for detecting a motion vector. However, in recent years, liquid crystal display devices with high image quality require a large amount of memory for processes other than those described above. Therefore, there is a demand for a video signal processing apparatus that maintains a high image quality that is almost the same as that of the prior art and that has reduced memory.

本発明はこのような問題点に鑑みなされたものであり、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有できる構成とし、メモリを削減した映像信号処理装置を提供することを目的とする。   The present invention has been made in view of such problems, and has a configuration in which a memory required for generating an interpolation frame and a noise reduction can be shared while maintaining a high image quality that is almost equivalent to the conventional one. An object is to provide a reduced video signal processing apparatus.

本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去するノイズリダクション処理部（１１）と、ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とするフレームメモリ（１２）と、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部（１３）とを有する映像信号処理装置（１）である。   In order to solve the above-described problems of the prior art, the present invention removes noise from the first video signal by using the second video signal obtained by delaying the input first video signal by one frame period. A noise reduction processing unit (11); a frame memory (12) that delays each frame of the first video signal from which noise has been removed by the noise reduction processing unit by one frame period to generate a second video signal; A video having an interpolation frame generation unit (13) that generates one or a plurality of interpolation frames to be interpolated between the first video signal and the second video signal using the video signal and the second video signal. It is a signal processing device (1).

ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために、第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部（３２，３３）と、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部（２１，２２）とを備え、ノイズリダクション処理部は、第２の映像信号と前記第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、ノイズリダクション処理部及び補間フレーム生成部に供給する第２の映像信号を第３の期間遅延する第３の遅延部（３１）と、第３の期間遅延された前記第２の映像信号に同期させるために、補間フレーム生成部に供給する第１の映像信号を第４の期間遅延する第４の遅延部（３４）とを備え、ノイズリダクション処理部は、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、補間フレーム生成部は、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。 Here, in order to detect a motion vector between the first video signal and the second video signal, the first and second video signals are delayed by predetermined first and second periods, respectively. Using the second delay unit (32, 33), the first video signal delayed for the first period, and the second video signal delayed for the second period, the first video signal and the second video signal First and second motion vector detection units (21, 22) for detecting first and second motion vectors between the video signals, respectively, and the noise reduction processing unit includes the second video signal and the first motion vector. The first motion vector is used to remove noise from the first video signal, and the interpolation frame generation unit uses the first video signal, the second video signal, and the second motion vector to perform one or a plurality of motions. It is preferable to generate an interpolation frame.
The second video signal supplied to the noise reduction processing unit and the interpolation frame generation unit is delayed by a third delay unit (31) for a third period, and the second video signal delayed by the third period is added to the second video signal. In order to synchronize, a fourth delay unit (34) that delays the first video signal supplied to the interpolation frame generation unit for a fourth period, and the noise reduction processing unit is delayed for the third period. 2, the noise of the first video signal is removed using the first video signal and the first motion vector, and the interpolation frame generation unit includes the first video signal delayed by the fourth period, and the third period. It is preferable to generate one or a plurality of interpolated frames using the delayed second video signal and the second motion vector.

本発明は、前述した従来の技術の課題を解決するため、入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、第１の映像信号のノイズを除去し、ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して第２の映像信号とし、第１の映像信号と第２の映像信号とを用いて、第１の映像信号と第２の映像信号の間に内挿する１または複数の補間フレームを生成する映像信号処理方法である。   In order to solve the above-described problems of the prior art, the present invention removes noise from the first video signal by using the second video signal obtained by delaying the input first video signal by one frame period. Each frame of the first video signal from which noise has been removed is delayed by one frame period to be a second video signal, and the first video signal and the second video signal are used by using the first video signal and the second video signal. This is a video signal processing method for generating one or a plurality of interpolation frames to be interpolated between two video signals.

ここで、第１の映像信号と第２の映像信号の間の動きベクトルを検出するために第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、第１の期間遅延された第１の映像信号と第２の期間遅延された第２の映像信号を用いて、第１の映像信号と第２の映像信号の間の第１及び第２の動きベクトルを検出し、第２の映像信号と第１の動きベクトルを用いて、第１の映像信号のノイズを除去し、第１の映像信号、第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。
また、第１の映像信号のノイズの低減及び補間フレームを生成するために第２の映像信号を第３の期間遅延し、第３の期間遅延された第２の映像信号に同期させて補間フレームを生成するための第１の映像信号を第４の期間遅延し、第３の期間遅延された第２の映像信号と第１の動きベクトルとを用いて、第１の映像信号のノイズを除去し、第４の期間遅延された第１の映像信号と、第３の期間遅延された第２の映像信号及び第２の動きベクトルを用いて、１または複数の補間フレームを生成することが好ましい。 Here, in order to detect a motion vector between the first video signal and the second video signal, the first and second video signals are respectively delayed by predetermined first and second periods, First and second motion vectors between the first video signal and the second video signal are detected using the first video signal delayed for the period and the second video signal delayed for the second period. Then, using the second video signal and the first motion vector, noise of the first video signal is removed, and using the first video signal, the second video signal, and the second motion vector, 1 Alternatively, it is preferable to generate a plurality of interpolation frames.
Further, in order to reduce noise of the first video signal and generate an interpolation frame, the second video signal is delayed for the third period, and the interpolation frame is synchronized with the second video signal delayed for the third period. The first video signal for generating the first video signal is delayed by a fourth period, and the second video signal delayed by the third period and the first motion vector are used to remove noise from the first video signal Preferably, one or a plurality of interpolation frames are generated using the first video signal delayed for the fourth period, the second video signal delayed for the third period, and the second motion vector. .

本発明によれば、従来とほぼ同等の高画質を維持しながら、補間フレーム生成とノイズリダクション生成のために必要となるメモリを共有化でき、メモリの削減が可能である。   According to the present invention, it is possible to share the memory required for generating an interpolation frame and noise reduction while maintaining a high image quality that is almost the same as the conventional one, and it is possible to reduce the memory.

以下、本発明の映像信号処理装置及び映像信号処理方法について、添付図面を参照して説明する。図１は、本発明の映像信号処理装置の一例を示すブロック図である。図１において、映像信号（第１の映像信号）Ｆ０が、映像信号処理装置１に入力される。   The video signal processing apparatus and video signal processing method of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block diagram showing an example of a video signal processing apparatus of the present invention. In FIG. 1, a video signal (first video signal) F <b> 0 is input to the video signal processing device 1.

ノイズリダクション処理部１１は、例えば３Ｄ−ＮＲであり、後述する第２の映像信号Ｆ１と動きベクトル検出部２１により検出された動きベクトルを用いて、第１の映像信号Ｆ０のノイズを低減する。ノイズリダクション処理部１１によりノイズを低減された第１の映像信号Ｆ０は、フレームメモリ１２に供給される。   The noise reduction processing unit 11 is, for example, 3D-NR, and reduces noise of the first video signal F0 using a second video signal F1 described later and a motion vector detected by the motion vector detection unit 21. The first video signal F0 whose noise is reduced by the noise reduction processing unit 11 is supplied to the frame memory 12.

フレームメモリ１２は、ノイズリダクション処理部１１より供給された第１の映像信号Ｆ０を１フレーム期間遅延して第２の映像信号Ｆ１を生成する。本実施形態においては、第１の映像信号の１フレーム期間は１／６０秒であり、第２の映像信号Ｆ１は１／６０秒（１フレーム）前の第１の映像信号Ｆ０である。また、遅延部３１は、ノイズリダクション処理部１１での信号処理に同期して、例えば第２の映像信号Ｆ１を１ライン分遅延して出力する。   The frame memory 12 generates the second video signal F1 by delaying the first video signal F0 supplied from the noise reduction processing unit 11 by one frame period. In the present embodiment, one frame period of the first video signal is 1/60 second, and the second video signal F1 is the first video signal F0 before 1/60 second (one frame). In addition, the delay unit 31 outputs, for example, the second video signal F1 with a delay of one line in synchronization with the signal processing in the noise reduction processing unit 11.

遅延部３２は、例えば第２の映像信号Ｆ１を１ライン分遅延するラインメモリであり、動きベクトル検出部２１の信号処理に同期して第２の映像信号Ｆ１を動きベクトル検出部２１に供給する。遅延部３３は、例えば第１の映像信号Ｆ０を１画素分遅延するメモリであり、動きベクトル検出部２１の信号処理に同期して第１の映像信号Ｆ０を動きベクトル検出部２１に供給する。   The delay unit 32 is a line memory that delays the second video signal F1 by one line, for example, and supplies the second video signal F1 to the motion vector detection unit 21 in synchronization with the signal processing of the motion vector detection unit 21. . The delay unit 33 is, for example, a memory that delays the first video signal F0 by one pixel, and supplies the first video signal F0 to the motion vector detection unit 21 in synchronization with the signal processing of the motion vector detection unit 21.

図２は、動きベクトル検出部２１において、ノイズリダクションを行うための動きベクトルの検出を説明する図である。ここで、第１の映像信号Ｆ０の動きを検出する対象画素をＰ０とし、図２に示す丸印は１画素を示している。   FIG. 2 is a diagram for explaining the detection of a motion vector for performing noise reduction in the motion vector detection unit 21. Here, the target pixel for detecting the motion of the first video signal F0 is P0, and the circle shown in FIG. 2 indicates one pixel.

動きベクトル検出部２１は、対象画素Ｐ０と第２の映像信号Ｆ１の水平方向の１ライン分の画素との間で画素値を比較する。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ1を検出する。なお、対象画素Ｐ０に対して最小の動きベクトルＭＶ1となる第２の映像信号Ｆ１の画素をＰ１としている。そして、第１の映像信号Ｆ０の対象画素Ｐ０は、１フレーム前の第２の映像信号Ｆ１より左に２画素分動いたことを示している。 The motion vector detection unit 21 compares pixel values between the target pixel P0 and the pixels for one line in the horizontal direction of the second video signal F1. As a result of comparing the pixel values, a motion vector MV 1 having a minimum difference in pixel values is detected. Note that the pixel of the second video signal F1 that has the minimum motion vector MV 1 with respect to the target pixel P0 is P1. The target pixel P0 of the first video signal F0 has moved by two pixels to the left of the second video signal F1 one frame before.

対象画素Ｐ０毎に検出された動きベクトルＭＶ1のデータは、ノイズリダクション処理部１１の信号処理に同期して、ノイズリダクション処理部１１に順次供給される。なお、本実施形態では、第１の映像信号Ｆ０の対象画素Ｐ０が含まれる水平方向のラインと、比較対象とする第２の映像信号Ｆ１の水平方向の１ラインは、同位置のラインとしている。 Data of the motion vector MV 1 detected for each target pixel P 0 is sequentially supplied to the noise reduction processing unit 11 in synchronization with the signal processing of the noise reduction processing unit 11. In the present embodiment, the horizontal line including the target pixel P0 of the first video signal F0 and the horizontal line of the second video signal F1 to be compared are lines at the same position. .

図３は、ノイズリダクション処理部１１の詳細な構成の一例を示すブロック図である。画素選択部５１には、第１の映像信号Ｆ０と、第１の映像信号Ｆ０に同期させるために遅延部３１により１ライン分遅延された第２の映像信号Ｆ１と、動きベクトル検出部２１より供給される画素Ｐ０毎の動きベクトルＭＶ1のデータが供給される。 FIG. 3 is a block diagram illustrating an example of a detailed configuration of the noise reduction processing unit 11. The pixel selection unit 51 includes a first video signal F0, a second video signal F1 delayed by one line by the delay unit 31 in order to synchronize with the first video signal F0, and a motion vector detection unit 21. Data of the motion vector MV 1 for each supplied pixel P0 is supplied.

画素選択部５１は、画素Ｐ０毎の動きベクトルＭＶ1から、第１の映像信号Ｆ０の選択された画素Ｐ０に対して動き補正した１フレーム前の映像信号の画素Ｐ１を得る。そして、画素選択部５１は、第１の映像信号Ｆ０の画素Ｐ０と動き補正した１フレーム前の映像信号の画素Ｐ１の画素値の差分を求め、差分値を示す差分信号ＦＴが、直交変換部５２に供給される。 Pixel selection unit 51, a motion vector MV 1 for each pixel P0, get pixel P1 of the motion corrected preceding frame of the video signal to the selected pixel P0 of the first video signal F0. Then, the pixel selection unit 51 obtains a difference between the pixel P0 of the first video signal F0 and the pixel P1 of the video signal one frame before the motion correction, and the difference signal FT indicating the difference value is an orthogonal transform unit. 52.

直交変換部５２は、画素選択部５１により供給された差分信号ＦＴをアダマール変換等により直交変換して周波数成分に分解する。周波数成分に分解された信号は、コアリング処理部５３に供給される。なお、映像信号中のノイズ成分はランダムに発生するため、周波数分解された信号は各周波数でそれぞれ小さな値をもつ。一方、映像信号中の動き成分はある程度偏りのある周波数分布となり、特定の周波数で大きな値をもつ。   The orthogonal transform unit 52 orthogonally transforms the difference signal FT supplied from the pixel selection unit 51 by Hadamard transform or the like to decompose it into frequency components. The signal decomposed into frequency components is supplied to the coring processing unit 53. Since noise components in the video signal are randomly generated, the frequency-resolved signal has a small value at each frequency. On the other hand, the motion component in the video signal has a frequency distribution that is somewhat biased and has a large value at a specific frequency.

コアリング処理部５３は、非線形な処理を行うフィルタであり、周波数成分に分解されたデータに含まれるノイズ成分と考えられる小振幅の周波数成分のみの信号を抽出する。すなわち、予め設定した閾値より大きな値をもつ信号を０とし、その閾値より小さな値をもつ信号のみを通過させて、直交逆変換部５４に供給する。直交逆変換部５４は、コアリング処理部５３により抽出されたノイズ成分と考えられる信号を直交逆変換して実空間領域のノイズとしてノイズ信号ＦＮを求める。   The coring processing unit 53 is a filter that performs non-linear processing, and extracts a signal having only a small-amplitude frequency component that is considered to be a noise component included in the data decomposed into frequency components. That is, a signal having a value larger than a preset threshold is set to 0, and only a signal having a value smaller than the threshold is passed and supplied to the orthogonal inverse transform unit 54. The orthogonal inverse transform unit 54 performs orthogonal inverse transform on the signal considered as the noise component extracted by the coring processing unit 53 to obtain the noise signal FN as noise in the real space region.

減算器５５は、第１の映像信号Ｆ０からノイズ信号ＦＮを減算して、ノイズ除去された第１の映像信号Ｆ０を生成して、フレームメモリ１３に供給する。   The subtractor 55 subtracts the noise signal FN from the first video signal F0 to generate a first video signal F0 from which noise has been removed, and supplies the first video signal F0 to the frame memory 13.

次に、補間フレームを生成する処理について説明する。図４は、補間フレーム生成部１３による補間フレームの生成を説明するための図である。入力映像信号Ｆ０のフレーム番号をＦＲ１、１フレーム（１／６０秒）前の映像信号をＦＲ２とする。フレームｆｒ１２は、フレームＦＲ１とＦＲ２のフレーム間の動きベクトルに基づいて求められ、フレームＦＲ１とＦＲ２のフレームとの間に挿入される。   Next, a process for generating an interpolation frame will be described. FIG. 4 is a diagram for explaining generation of an interpolation frame by the interpolation frame generation unit 13. The frame number of the input video signal F0 is FR1, and the video signal before one frame (1/60 second) is FR2. The frame fr12 is obtained based on the motion vector between the frames FR1 and FR2, and is inserted between the frames FR1 and FR2.

図４に示すように、フレームＦＲ２で左下部に位置する物体Ａは、フレームＦＲ１においては右上部に位置する。そして、フレームｆｒ１２の物体Ａの位置は、フレームＦＲ１とＦＲ２の中間に位置する。   As shown in FIG. 4, the object A located in the lower left part of the frame FR2 is located in the upper right part of the frame FR1. The position of the object A in the frame fr12 is located between the frames FR1 and FR2.

補間フレーム生成部１３の信号処理において、遅延部３１から出力される第２の映像信号Ｆ１と第１の映像信号Ｆ０を同期させる必要がある。遅延部３４は、遅延部３１から出力される第２の映像信号Ｆ１と同期させるために、第１の映像信号Ｆ０を１ライン分遅延させるラインメモリである。動きベクトル検出部２２は、第１の映像信号Ｆ０と第２の映像信号Ｆ１のフレーム間の動きベクトルＭＶ2を検出する。 In the signal processing of the interpolation frame generation unit 13, it is necessary to synchronize the second video signal F1 and the first video signal F0 output from the delay unit 31. The delay unit 34 is a line memory that delays the first video signal F0 by one line in order to synchronize with the second video signal F1 output from the delay unit 31. The motion vector detection unit 22 detects a motion vector MV 2 between the frames of the first video signal F0 and the second video signal F1.

図５は、動きベクトル検出部２２において動きベクトルＭＶ2の検出を説明するための図である。ここで、補間フレーム生成部１３にて生成される補間フレームの動きベクトルＭＶ2を求める対象画素をＨ０とする。動きベクトル検出部２２は、第１の映像信号Ｆ０の１ライン分の各画素と第２の映像信号Ｆ１の１ライン分の各画素を比較する。その際、比較する各映像信号のラインは、補間フレームの対象画素Ｈ０を含むラインと水平方向が同一なラインとする。画素値を比較した結果、画素値の差分が最小となる動きベクトルＭＶ2を検出する。 FIG. 5 is a diagram for explaining the detection of the motion vector MV 2 in the motion vector detection unit 22. Here, the target pixel for obtaining the motion vector MV 2 of the interpolation frame generated by the interpolation frame generation unit 13 is set to H0. The motion vector detection unit 22 compares each pixel for one line of the first video signal F0 with each pixel for one line of the second video signal F1. At this time, the lines of the video signals to be compared are the same in the horizontal direction as the line including the target pixel H0 of the interpolation frame. As a result of comparing the pixel values, a motion vector MV 2 having a minimum difference in pixel values is detected.

図５中、破線の矢印は水平方向のラインにおける画素間の動きベクトルの候補を示し、実線の矢印は画素値の差分が最小として検出された動きベクトルＭＶ2を示している。なお、第１の映像信号Ｆ０と第２の映像信号Ｆ１の水平方向に同一のラインにおいて、最小の動きベクトルＭＶ2を検出した第１の映像信号Ｆ０の画素をＨ１、第２の映像信号Ｆ１の画素をＨ２としている。 In FIG. 5, a broken arrow indicates a candidate for a motion vector between pixels on a horizontal line, and a solid arrow indicates a motion vector MV 2 detected with a minimum difference in pixel values. In the same line in the horizontal direction of the first video signal F0 and the second video signal F1, the pixel of the first video signal F0 that has detected the minimum motion vector MV 2 is H1, and the second video signal F1. This pixel is H2.

第１の映像信号Ｆ０の画素Ｈ１は、１フレーム前の第２の映像信号Ｆ１の画素Ｈ２より右に４画素分動いたときが動きベクトルＭＶ2が最小であることを示している。例えば、１フレーム分の補間フレームを挿入する場合、対象画素Ｈ０にを求める動きベクトルは、第１の映像信号Ｆ０より左に２画素分動くこととなる動きベクトルＭＶ2／２となる。２フレーム分の補間フレームを挿入する場合、動きベクトル検出部２２は、動きベクトルＭＶ2／３、２ＭＶ2／３に基づいて補間フレームを生成することになる。よって、動きベクトルの縮小率を変化させることにより、容易に１フレーム期間内に挿入する補間フレームを複数生成してフレーム周波数を挙げることが可能である。 Pixel H1 of the first video signal F0 indicates that vector MV 2 when moved 4 pixels from pixel H2 of the second video signal F1 in the previous frame to the right movement is minimal. For example, when inserting one frame of the interpolation frame, the motion vector to determine a pixel H0 two is a motion vector MV 2/2 serving as the than the first video signal F0 moves two pixels to the left. When inserting two frames of the interpolation frame, the motion vector detector 22 will generate an interpolation frame based on the motion vector MV 2 / 3,2MV 2/3. Therefore, by changing the reduction rate of the motion vector, it is possible to easily generate a plurality of interpolation frames to be inserted within one frame period and raise the frame frequency.

そして、対象画素Ｈ０毎に検出された動きベクトルＭＶ2のデータは、補間フレーム生成部１３の信号処理に同期して、補間フレーム生成部１３に順次供給される。 The data of the motion vector MV 2 detected for each target pixel H0 is sequentially supplied to the interpolation frame generation unit 13 in synchronization with the signal processing of the interpolation frame generation unit 13.

図６は、補間フレーム生成部１３の詳細な構成の一例を示すブロック図である。画素選択部６１は、補間フレームの対象画素Ｈ０を選択して、対象画素Ｈ０の動きベクトルＭＶ2により、第１の映像信号Ｆ０と第２の映像信号Ｆ１の少なくとも１つの映像信号から対象画素Ｈ０の映像信号（内挿映像信号）を生成して、補間画素記憶部６２に供給する。 FIG. 6 is a block diagram illustrating an example of a detailed configuration of the interpolation frame generation unit 13. Pixel selection unit 61 selects the target pixel H0 of the interpolation frame, the motion vector MV 2 of the target pixel H0, at least one target pixel from the video signal of the first video signal F0 second video signal F1 H0 Video signal (interpolated video signal) is generated and supplied to the interpolated pixel storage unit 62.

画素選択部６１は、各対象画素Ｈ０について順次同様の処理を行う。補間画素記憶部６２は、１フレーム分の映像信号を蓄積した後、蓄積した補間フレームの映像信号Ｆ２’を時系列変換メモリ１４に供給する。また、遅延部６３は補間フレームが時系列変換メモリ１４に供給されるタイミングと所定周期で同期させるために第２の映像信号Ｆ１を所定期間遅延して映像信号Ｆ１’を時系列変換メモリ１４に供給する。   The pixel selector 61 sequentially performs the same process for each target pixel H0. The interpolated pixel storage unit 62 accumulates the video signal for one frame, and then supplies the accumulated video signal F <b> 2 ′ of the interpolated frame to the time series conversion memory 14. Further, the delay unit 63 delays the second video signal F1 for a predetermined period to synchronize the interpolation frame with the timing at which the interpolated frame is supplied to the time series conversion memory 14, and sends the video signal F1 ′ to the time series conversion memory 14. Supply.

時系列変化メモリ１４は、映像信号Ｆ１’とＦ２’を２倍のフレーム周波数に変換して時系列順に映像信号Ｆ０’として出力する。時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１のみを用いたものであり、映像信号Ｆ２’は、ノイズリダクション処理部１１でノイズ低減された映像信号Ｆ１とノイズ低減されていない映像信号Ｆ０を用いたものである。   The time series change memory 14 converts the video signals F1 'and F2' into a double frame frequency and outputs them as a video signal F0 'in time series. The video signal F1 ′ input to the time series conversion memory 14 uses only the video signal F1 whose noise is reduced by the noise reduction processing unit 11, and the video signal F2 ′ is noise-reduced by the noise reduction processing unit 11. The video signal F1 that has been processed and the video signal F0 that has not been reduced in noise are used.

従って、時系列変化メモリ１４より出力される映像信号Ｆ０’は、従来のノイズ低減に比して３／４倍のノイズ低減がなされている。本出願人の実験結果によれば、本発明の映像信号処理装置１を用いることにより、従来と遜色ない表示画像を得られることが確かめられている。また、入力映像信号中に含まれるノイズが少ないと考えられる場合、時系列変換メモリ１４に入力される映像信号Ｆ１’は、ノイズ低減されていない映像信号Ｆ０を用いてもよい。   Therefore, the video signal F0 'output from the time-series change memory 14 is reduced in noise by 3/4 times compared to the conventional noise reduction. According to the experiment results of the present applicant, it has been confirmed that a display image comparable to the conventional display image can be obtained by using the video signal processing apparatus 1 of the present invention. In addition, when it is considered that the noise included in the input video signal is small, the video signal F1 'input to the time series conversion memory 14 may be the video signal F0 that has not been reduced in noise.

本発明は以上説明した本実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更可能である。例えば、動きベクトル検出部２１，２２は、垂直方向の画素や斜め方向の画素についても動きベクトルＭＶ1，ＭＶ2を検出する構成でもよく、例えばマッチング法等を用いることが可能である。その場合、遅延部３２，３３での遅延量を上述の構成と変えることで対応可能である。 The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the gist of the present invention. For example, the motion vector detection units 21 and 22 may be configured to detect the motion vectors MV 1 and MV 2 for vertical pixels and diagonal pixels. For example, a matching method or the like can be used. In that case, it is possible to cope with this by changing the delay amount in the delay units 32 and 33 from the above-described configuration.

また、図７に示す映像信号処理装置７１のように、動きベクトル検出部２１，２２は動きベクトル検出部２３として同一の検出部としてもよく、ノイズリダクション処理部１１と補正フレーム生成部１３で用いる動きベクトルは同一の方法で求められる。   Further, like the video signal processing device 71 shown in FIG. 7, the motion vector detection units 21 and 22 may be the same detection unit as the motion vector detection unit 23, and are used by the noise reduction processing unit 11 and the correction frame generation unit 13. The motion vector is obtained by the same method.

更に、遅延部３１〜３４は上述の構成に限定されることなく、所定期間遅延する機能を有していればよく、ラインメモリの代わりにフリップフロップを用いてもよい。   Furthermore, the delay units 31 to 34 are not limited to the above-described configuration, and may have a function of delaying for a predetermined period. A flip-flop may be used instead of the line memory.

以上説明してきたように、本実施形態によれば、従来とほぼ同等のノイズ低減効果があり、高画質な映像信号が得られると共に、ノイズリダクション処理部や補間フレーム生成部に使用されるフレームメモリや遅延部が削減できるのでコスト低減となる。   As described above, according to the present embodiment, the frame memory used for the noise reduction processing unit and the interpolated frame generation unit has a noise reduction effect substantially equivalent to that of the prior art and can obtain a high-quality video signal. Since the delay part can be reduced, the cost is reduced.

本発明の映像信号処理装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the video signal processing apparatus of this invention. 本発明のノイズリダクション処理部に用いる動きベクトルの検出を説明するための図である。It is a figure for demonstrating the detection of the motion vector used for the noise reduction process part of this invention. 本発明のノイズリダクション処理部の一例を示すブロック図である。It is a block diagram which shows an example of the noise reduction process part of this invention. 本発明の補間フレーム生成部による補間フレームの生成を説明するための図である。It is a figure for demonstrating the production | generation of the interpolation frame by the interpolation frame production | generation part of this invention. 本発明の補間フレーム生成部に用いる動きベクトルの検出を説明するための図である。It is a figure for demonstrating the detection of the motion vector used for the interpolation frame production | generation part of this invention. 本発明の補間フレーム生成部の一例を示すブロック図である。It is a block diagram which shows an example of the interpolation frame production | generation part of this invention. 本発明の映像信号処理装置の他の実施形態を示すブロック構成図である。It is a block block diagram which shows other embodiment of the video signal processing apparatus of this invention.

符号の説明Explanation of symbols

１、７１ 映像信号処理装置
１１ ノイズリダクション処理部
１２ フレームメモリ
１３ 補間フレーム生成部
１４ 時系列変換メモリ
２１〜２３ 動きベクトル検出部
３１〜３４ 遅延部
DESCRIPTION OF SYMBOLS 1,71 Video signal processing apparatus 11 Noise reduction process part 12 Frame memory 13 Interpolation frame production | generation part 14 Time series conversion memory 21-23 Motion vector detection part 31-34 Delay part

Claims (6)

入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去するノイズリダクション処理部と、
前記ノイズリダクション処理部によりノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とするフレームメモリと、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像信号処理装置。 A noise reduction processing unit that removes noise from the first video signal using a second video signal obtained by delaying the input first video signal by one frame period;
A frame memory in which each frame of the first video signal from which noise has been removed by the noise reduction processing unit is delayed by one frame period to be the second video signal;
An interpolation frame generation unit that generates one or a plurality of interpolation frames to be interpolated between the first video signal and the second video signal using the first video signal and the second video signal. When,
A video signal processing apparatus comprising: 前記第１の映像信号と前記第２の映像信号の間の動きベクトルを検出するために、前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延する第１及び第２の遅延部と、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルをそれぞれ検出する第１及び第２の動きベクトル検出部とを備え、
前記ノイズリダクション処理部は、前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１記載の映像信号処理装置。 In order to detect a motion vector between the first video signal and the second video signal, first and second delaying the first and second video signals for predetermined first and second periods, respectively. A second delay unit;
Using the first video signal delayed for the first period and the second video signal delayed for the second period, a first interval between the first video signal and the second video signal is obtained. A first and second motion vector detection unit for detecting the first and second motion vectors, respectively.
The noise reduction processing unit removes noise from the first video signal using the second video signal and the first motion vector,
2. The interpolation frame generation unit according to claim 1, wherein the interpolation frame generation unit generates one or a plurality of interpolation frames using the first video signal, the second video signal, and the second motion vector. Video signal processing device. 前記ノイズリダクション処理部及び前記補間フレーム生成部に供給する前記第２の映像信号を第３の期間遅延する第３の遅延部と、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレーム生成部に供給する前記第１の映像信号を第４の期間遅延する第４の遅延部とを備え、
前記ノイズリダクション処理部は、前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記補間フレーム生成部は、前記第４の期間遅延された第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項１または２記載の映像信号処理装置。 A third delay unit for delaying the second video signal supplied to the noise reduction processing unit and the interpolation frame generation unit for a third period;
A fourth delay unit for delaying the first video signal supplied to the interpolation frame generation unit for a fourth period in order to synchronize with the second video signal delayed for the third period;
The noise reduction processing unit removes noise of the first video signal using the second video signal delayed by the third period and the first motion vector,
The interpolation frame generation unit uses the first video signal delayed by the fourth period, the second video signal delayed by the third period, and the second motion vector, to provide one or more The video signal processing apparatus according to claim 1, wherein the interpolation frame is generated. 入力された第１の映像信号を１フレーム期間遅延させた第２の映像信号を用いて、前記第１の映像信号のノイズを除去し、
ノイズ除去された第１の映像信号の各フレームを１フレーム期間遅延して前記第２の映像信号とし、
前記第１の映像信号と前記第２の映像信号とを用いて、前記第１の映像信号と前記第２の映像信号の間に内挿する１または複数の補間フレームを生成することを特徴とする映像信号処理方法。 Using the second video signal obtained by delaying the input first video signal by one frame period, noise of the first video signal is removed,
Each frame of the first video signal from which noise has been removed is delayed by one frame period to be the second video signal,
One or a plurality of interpolation frames to be interpolated between the first video signal and the second video signal are generated using the first video signal and the second video signal. Video signal processing method. 第１の映像信号と第２の映像信号の間の動きベクトルを検出するために前記第１及び第２の映像信号をそれぞれ予め定めた第１及び第２の期間遅延し、
前記第１の期間遅延された前記第１の映像信号と前記第２の期間遅延された前記第２の映像信号を用いて、前記第１の映像信号と前記第２の映像信号の間の第１及び第２の動きベクトルを検出し、
前記第２の映像信号と前記第１の動きベクトルを用いて、前記第１の映像信号のノイズを除去し、
前記第１の映像信号、前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４記載の映像信号処理方法。 Delaying the first and second video signals for predetermined first and second periods, respectively, to detect a motion vector between the first video signal and the second video signal;
Using the first video signal delayed for the first period and the second video signal delayed for the second period, a first interval between the first video signal and the second video signal is obtained. Detecting the first and second motion vectors;
Using the second video signal and the first motion vector, noise of the first video signal is removed,
5. The video signal processing method according to claim 4, wherein one or a plurality of interpolation frames are generated using the first video signal, the second video signal, and the second motion vector. 前記第１の映像信号のノイズの低減及び前記補間フレームを生成するために前記第２の映像信号を第３の期間遅延し、
前記第３の期間遅延された前記第２の映像信号に同期させるために、前記補間フレームを生成するための前記第１の映像信号を第４の期間遅延し、
前記第３の期間遅延された前記第２の映像信号と前記第１の動きベクトルとを用いて、前記第１の映像信号のノイズを除去し、
前記第４の期間遅延された前記第１の映像信号と、前記第３の期間遅延された前記第２の映像信号及び前記第２の動きベクトルを用いて、１または複数の補間フレームを生成することを特徴とする請求項４または５記載の映像信号処理方法。 Delaying the second video signal for a third period to reduce noise in the first video signal and generate the interpolated frame;
Delaying the first video signal for generating the interpolated frame for a fourth period to synchronize with the second video signal delayed for the third period;
Using the second video signal delayed by the third period and the first motion vector, noise of the first video signal is removed,
One or more interpolation frames are generated using the first video signal delayed for the fourth period, the second video signal delayed for the third period, and the second motion vector. 6. The video signal processing method according to claim 4, wherein the video signal is processed.
JP2008263660A 2008-10-10 2008-10-10 Video signal processing apparatus, and video signal processing method Pending JP2010093680A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008263660A JP2010093680A (en) 2008-10-10 2008-10-10 Video signal processing apparatus, and video signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008263660A JP2010093680A (en) 2008-10-10 2008-10-10 Video signal processing apparatus, and video signal processing method

Publications (1)

Publication Number Publication Date
JP2010093680A true JP2010093680A (en) 2010-04-22

Family

ID=42255947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008263660A Pending JP2010093680A (en) 2008-10-10 2008-10-10 Video signal processing apparatus, and video signal processing method

Country Status (1)

Country Link
JP (1) JP2010093680A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155258A1 (en) * 2010-06-08 2011-12-15 シャープ株式会社 Image processing apparatus, method therefor, image display apparatus, and method therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322020A (en) * 1995-03-31 1996-12-03 Thomson Multimedia Sa Method and apparatus for up-conversion with motion compensated
JPH09261600A (en) * 1995-12-22 1997-10-03 Thomson Multimedia Sa Interpolation method for sequential frame
JP2009021868A (en) * 2007-07-12 2009-01-29 Sony Corp Video processing apparatus, video processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08322020A (en) * 1995-03-31 1996-12-03 Thomson Multimedia Sa Method and apparatus for up-conversion with motion compensated
JPH09261600A (en) * 1995-12-22 1997-10-03 Thomson Multimedia Sa Interpolation method for sequential frame
JP2009021868A (en) * 2007-07-12 2009-01-29 Sony Corp Video processing apparatus, video processing method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155258A1 (en) * 2010-06-08 2011-12-15 シャープ株式会社 Image processing apparatus, method therefor, image display apparatus, and method therefor
CN102918830A (en) * 2010-06-08 2013-02-06 夏普株式会社 Image processing apparatus, method therefor, image display apparatus, and method therefor
JP5490236B2 (en) * 2010-06-08 2014-05-14 シャープ株式会社 Image processing apparatus and method, image display apparatus and method
CN102918830B (en) * 2010-06-08 2015-06-17 夏普株式会社 Image processing apparatus, method therefor, image display apparatus, and method therefor
US9215353B2 (en) 2010-06-08 2015-12-15 Sharp Kabushiki Kaisha Image processing device, image processing method, image display device, and image display method

Similar Documents

Publication Publication Date Title
JP4869045B2 (en) Interpolation frame creation method and interpolation frame creation apparatus
JP2004312680A (en) Motion estimation apparatus and method for detecting scrolling text or graphic data
JP2015122553A (en) Image processing apparatus, image processing method, and program
JP2009060377A (en) Interpolation frame generating device and interpolation frame generating method
JP2009290802A (en) Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus
JP2010093680A (en) Video signal processing apparatus, and video signal processing method
US7362375B2 (en) Scanning conversion apparatus and method
WO2014129528A1 (en) Video signal processing device and method
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
US7791672B2 (en) Scanning conversion apparatus and method
CN112789848B (en) Interpolation frame generation device and method
JP2008124956A (en) Motion vector correcting device, motion vector correction program, interpolation frame generating device and video correcting device
JP5880116B2 (en) Video signal processing apparatus and method
JP5891913B2 (en) Video signal processing apparatus and method
JP2011082899A (en) Image processing apparatus and control method thereof
JP2009260539A (en) Image processing apparatus
JP4708811B2 (en) Method for converting interlaced image data into progressive image data, apparatus therefor and program therefor
JP5880119B2 (en) Video signal processing apparatus and method
JP2013074384A (en) Image processing apparatus and image processing method
JP5880118B2 (en) Video signal processing apparatus and method
JP5124008B2 (en) Image display method, image display apparatus, and program
JP2012147336A5 (en)
JP5051673B2 (en) Rendering method and rendering apparatus
JP2009033468A (en) Interpolation frame image display method and interpolation frame image generation apparatus for low frame rate moving image
JP5880117B2 (en) Video signal processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100916

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113