JP2011228975A

JP2011228975A - Video noise detection device

Info

Publication number: JP2011228975A
Application number: JP2010097550A
Authority: JP
Inventors: Ryutaro Ito; 隆太郎伊藤
Original assignee: Nikon Systems Inc
Current assignee: Nikon Systems Inc
Priority date: 2010-04-21
Filing date: 2010-04-21
Publication date: 2011-11-10
Anticipated expiration: 2030-04-21
Also published as: JP5449001B2

Abstract

PROBLEM TO BE SOLVED: To provide a video noise detection device that can automatically detect a video noise.SOLUTION: A video noise detection device 100 comprises: a memory controller 101 as a frame output unit for outputting an input frame of video as an arbitrary frame for forming an input video signal, a first frame of video as a frame that is positioned before the input frame of video by a predetermined number of frames and a second frame of video as a frame that is positioned before the first frame of video by the predetermined number of frames; a determination information calculation unit 104 for calculating a noise determination information on the basis of the input frame of video, the first frame of video and the second frame video; and a noise determination unit 105 for determining a noise included in the video signal on the basis of the noise determination information calculated in the determination information calculation unit 104.

Description

本発明は、映像ノイズ検知装置に関する。 The present invention relates to a video noise detection device.

現在の映像編集作業は主にテープ素材を一旦編集機材へ映像データとして転送し、編集を行い、再度テープへ出力するといったワークフローにより行われている。このような編集作業においては、映像データの転送時に、映像データではないノイズが入り込んでしまうことがあり、その確認は人の目視によって行われている。また、放送においては映像データの転送時に、放送機材をいくつも介し、さらに伝送回線も介ししており、この転送過程の途中で同じく映像にノイズが乗ってしまうことがある。このようなノイズとしてはフリーズや、ブラックアウトなどがあり、その検知には一部自動監視装置が導入されている（例えば、特許文献１参照）。 The current video editing work is mainly performed by a workflow in which a tape material is once transferred as video data to editing equipment, edited, and output to a tape again. In such editing work, noise that is not video data may be introduced when video data is transferred, and this is confirmed by human eyes. Also, in broadcasting, video data is transferred through a number of broadcasting equipment and also through a transmission line, and noise may be added to the video during the transfer process. Such noise includes freezing, blackout, and the like, and a partially automatic monitoring device is introduced for the detection (see, for example, Patent Document 1).

特開平８−０７９７５２号公報JP-A-8-079752

しかしながら、自動監視装置でノイズを検出する方法を用いても、細かいノイズは検知できないため、こちらもほとんどが目視で監視されているのが現状である。 However, even if a method for detecting noise with an automatic monitoring device is used, fine noise cannot be detected.

本発明はこのような課題に鑑みてなされたものであり、現状目視で行われている映像ノイズの検出を自動で行うことができる映像ノイズ検知装置を提供することを目的とする。 The present invention has been made in view of such problems, and an object of the present invention is to provide a video noise detection apparatus that can automatically detect video noise that is currently performed visually.

前記課題を解決するために、本発明に係る映像ノイズ検知装置は、入力された映像信号を構成する任意のフレームである入力フレーム映像、当該入力フレーム映像より所定のフレーム数だけ前のフレームである第１のフレーム映像、及び、当該第１のフレーム映像より所定のフレーム数だけ前のフレームである第２のフレーム映像を出力するフレーム出力部と、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像に基づいてノイズ判定情報を算出する判定情報算出部と、この判定情報算出部で算出されたノイズ判定情報に基づいて映像信号に含まれるノイズを判定するノイズ判定部と、を有する。 In order to solve the above-described problem, an image noise detection device according to the present invention is an input frame image that is an arbitrary frame constituting an input image signal, and a frame that is a predetermined number of frames before the input frame image. A frame output unit that outputs a first frame image and a second frame image that is a predetermined number of frames before the first frame image; an input frame image; a first frame image; A determination information calculation unit that calculates noise determination information based on the frame video, and a noise determination unit that determines noise included in the video signal based on the noise determination information calculated by the determination information calculation unit.

このような映像ノイズ検知装置において、判定情報算出部は、同一座標に設定された部分領域により、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査して、当該部分領域間の部分相関を算出し、ノイズ判定部は、この部分相関に基づいてノイズを判定することが好ましい。 In such a video noise detection device, the determination information calculation unit scans the input frame video, the first frame video, and the second frame video with the partial areas set to the same coordinates, and between the partial areas. It is preferable that the partial correlation is calculated, and the noise determination unit determines noise based on the partial correlation.

このとき、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像を走査したときに、ノイズを検出した部分領域の数をカウントし、この部分領域の数が所定の閾値以上の場合にノイズとして検出することが好ましい。 At this time, the noise determination unit counts the number of partial areas in which noise is detected when scanning the input frame video, the first frame video, and the second frame video, and the number of the partial areas is a predetermined threshold value. In the above case, it is preferable to detect as noise.

あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関は高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、ノイズとして検出することが好ましい。 Alternatively, the noise determination unit detects as noise when the partial correlation between the input frame video and the second frame video is high and the partial correlation between the input frame video and the first frame video is low. It is preferable to do.

あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が高く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関が低い場合に、予め想定されるノイズパターンと第１のフレーム映像の部分領域との相関を求め、当該相関が高い場合にノイズとして検出することが好ましい。 Alternatively, the noise determination unit is assumed in advance when the partial correlation between the input frame video and the second frame video is high and the partial correlation between the input frame video and the first frame video is low. It is preferable that the correlation between the noise pattern and the partial region of the first frame image is obtained and detected as noise when the correlation is high.

あるいは、ノイズ判定部は、入力フレーム映像と第２のフレーム映像との間の部分相関が低く、且つ、入力フレーム映像と第１のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。 Alternatively, the noise determination unit has a low partial correlation between the input frame video and the second frame video, and a feature pattern assumed in advance for the partial correlation between the input frame video and the first frame video. In some cases, it is preferable to detect as noise.

あるいは、ノイズ判定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像との間の部分相関に予め想定される特徴パターンがある場合にノイズとして検出することが好ましい。 Or it is preferable that a noise determination part detects as a noise, when there exists a characteristic pattern assumed beforehand in the partial correlation between an input frame image | video, a 1st frame image | video, and a 2nd frame image | video.

また、このような映像ノイズ検知装置において、判定情報算出部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の全体相関を算出し、ノイズ判定部は、全体相関が所定の閾値より小さい場合に、部分相関によるノイズ判定を行わないことが好ましい。 In such a video noise detection device, the determination information calculation unit calculates the overall correlation among the input frame video, the first frame video, and the second frame video, and the noise determination unit has a predetermined overall correlation. It is preferable not to perform noise determination based on partial correlation when the threshold value is smaller than.

また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の同一座標の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋第２のフレーム映像)−(第１のフレーム映像)×２の演算を行い、ノイズ判定部は、この演算結果から予め想定されるノイズパターンを抽出してノイズ判定を行うことが好ましい。 Further, in such a video noise detection device, the determination information calculation unit uses the luminance value of the pixel for each pixel of the same coordinate in the input frame video, the first frame video, and the second frame video (input It is preferable to perform a calculation of (frame video + second frame video) − (first frame video) × 2, and the noise determination unit performs noise determination by extracting a presumed noise pattern from the calculation result. .

また、このような映像ノイズ検知装置において、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像からそれぞれの特徴量を算出し、ノイズ判定部は、この特徴量を比較してノイズ判定を行うことが好ましい。 Further, in such a video noise detection device, the determination information calculation unit calculates respective feature amounts from the input frame image, the first frame image, and the second frame image, and the noise determination unit calculates the feature amounts. It is preferable to perform noise determination in comparison.

このとき、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像のうちいずれか２つの映像を選択し、それぞれの映像において、水平ライン毎にラインノイズの特徴となる垂直エッジ画素数の総和及び上下の複数の水平ラインとの関係を特徴量として算出することが好ましい。 At this time, the determination information calculation unit selects any two of the input frame video, the first frame video, and the second frame video, and each line has a feature of line noise in each video. It is preferable to calculate the sum of the number of vertical edge pixels and the relationship with a plurality of upper and lower horizontal lines as the feature amount.

あるいは、判定情報算定部は、入力フレーム映像若しくは第１のフレーム映像においてブロック状のノイズの特徴となる四角領域を検出し、入力フレーム映像若しくは第１のフレーム映像における四角領域の内部及び周辺領域と、当該映像より遅延された映像における四角領域に対応する領域の内部及び周辺領域との相関関係を特徴量として算出することが好ましい。 Alternatively, the determination information calculation unit detects a square region that is a feature of block noise in the input frame image or the first frame image, and includes the inside and peripheral regions of the square region in the input frame image or the first frame image. Preferably, the correlation between the inside and the surrounding area of the area corresponding to the square area in the video delayed from the video is calculated as the feature amount.

あるいは、判定情報算定部は、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像毎にショートラインノイズの特徴である短く連続する垂直エッジを検出し、入力フレーム映像、第１のフレーム映像及び第２のフレーム映像の間の垂直エッジの総量の変化を特徴量として算出することが好ましい。 Alternatively, the determination information calculation unit detects a short continuous vertical edge that is a characteristic of short line noise for each of the input frame image, the first frame image, and the second frame image, and the input frame image, the first frame image It is preferable to calculate a change in the total amount of vertical edges between the second frame images as the feature amount.

本発明に係る映像ノイズ検知装置を以上のように構成すると、映像ノイズの検出を自動で行うことができる。 When the video noise detection apparatus according to the present invention is configured as described above, video noise can be automatically detected.

映像ノイズ検査装置の一実施例を示すブロック図である。It is a block diagram which shows one Example of a video noise test | inspection apparatus. 部分相関処理を説明するための説明図である。It is explanatory drawing for demonstrating a partial correlation process. ラインノイズの検出方法を説明するための説明図であって、（ａ）はラインノイズ開始の検出方法を示し、（ｂ）はラインノイズ終了の検出方法を示す。It is explanatory drawing for demonstrating the detection method of a line noise, Comprising: (a) shows the detection method of a line noise start, (b) shows the detection method of the end of line noise. ブロックノイズの検出方法を説明するための説明図である。It is explanatory drawing for demonstrating the detection method of block noise. 白点・黒点ノイズの検出方法を説明するための説明図である。It is explanatory drawing for demonstrating the detection method of white spot / black spot noise. ストライプ状フリーズ及びストライブ状ブラックの検出方法を説明するための説明図である。It is explanatory drawing for demonstrating the detection method of stripe-like freeze and stripe-like black. ショートラインノイズの検出方法を説明するための説明図である。It is explanatory drawing for demonstrating the detection method of short line noise.

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る映像ノイズ検知装置の構成について説明する。この映像ノイズ検知装置１００は、入力映像信号（デジタル信号）から任意のフレーム遅延信号（例えば１フレーム遅延及び２フレーム遅延の信号を作成し、入力映像信号と合わせて３フレーム分の信号）を作成するフレーム出力部としてのメモリコントローラ１０１と、３フレーム分の信号からノイズを判定するための情報を算出する判定情報算出部１０４と、算出された情報から入力映像信号にノイズが発生しているか否かを判定するノイズ判定部１０５と、を有している。なお、判定情報算出部１０４としては、３フレーム分の信号から相関関係を求めて判定情報を算出する方法や、画像間演算を行って判定情報を算出する方法や、ブロック状のノイズ、ライン状のノイズ、白点・黒点ノイズ、ストライプ状のフリーズ、ストライプ状のブラックアウト、及び、ショートラインノイズの特徴を判定情報として検出する方法が用いられる。なお、映像ノイズとしては、目視において見落としやすい、１フレームから数フレームのみ一瞬発生するノイズが存在するが、本実施形態に係る映像ノイズ検知装置１００は、特にこれらについて検出が行える構成としている。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of the video noise detection apparatus according to the present embodiment will be described with reference to FIG. This video noise detection device 100 creates an arbitrary frame delay signal (for example, a signal of 1 frame delay and 2 frame delay from the input video signal (digital signal), and a signal for 3 frames together with the input video signal). A memory controller 101 as a frame output unit, a determination information calculation unit 104 that calculates information for determining noise from signals for three frames, and whether or not noise is generated in the input video signal from the calculated information And a noise determination unit 105 that determines whether or not. As the determination information calculation unit 104, a method of calculating the determination information by obtaining a correlation from signals of three frames, a method of calculating the determination information by performing an inter-image calculation, block-like noise, line-like In other words, a method of detecting the characteristics of noise, white spot / black spot noise, stripe-like freeze, stripe-like blackout, and short line noise as determination information is used. In addition, as the video noise, there is a noise that is easily overlooked by visual observation and is generated only for a few frames to a few frames. The video noise detection apparatus 100 according to the present embodiment is particularly configured to detect these.

入力映像信号はデジタル映像で、ＳＤＩ（Serial Digital Interface）やアナログ信号をＡＤ変換したもの等で構成される（ビット数は任意で通常は８〜２０ｂｉｔ程度）。入力されたデジタル映像信号（入力フレーム映像）は、メモリコントローラ１０１に取り込まれ、バッファメモリ１０２へ書き込まれる。このときバッファメモリ１０２はリングバッファ構成により複数のフレームを残しておくことができる。また、メモリコントローラ１０１は書込みと同時に読み出しを行うことができ、任意の過去に書き込んだフレームを複数同時に出力することができる。ここではバッファメモリ１０２とメモリコントローラ１０１によりにより１フレーム遅延した信号である１フレーム遅延映像（第１のフレーム映像）及び２フレーム遅延した信号である２フレーム遅延映像（第２のフレーム映像）が作られる。なお、ノイズとして、複数フレーム以上離れた画像間での相関により検出できるものがある場合は、任意のフレーム数だけ遅延させたフレーム遅延信号を出力して使用することも可能である。このようにして遅延された１フレーム遅延映像及び２フレーム遅延映像と入力フレーム映像とを合わせた３フレーム分の映像は判定情報算出部１０４に入力される。 The input video signal is a digital video, and is composed of an SDI (Serial Digital Interface), an analog signal obtained by AD conversion, or the like (the number of bits is arbitrary, usually about 8 to 20 bits). The input digital video signal (input frame video) is taken into the memory controller 101 and written into the buffer memory 102. At this time, the buffer memory 102 can leave a plurality of frames by the ring buffer configuration. Further, the memory controller 101 can perform reading simultaneously with writing, and can simultaneously output a plurality of frames written in any past. Here, a 1-frame delayed video (first frame video) which is a signal delayed by 1 frame by the buffer memory 102 and the memory controller 101 and a 2-frame delayed video (second frame video) which is a signal delayed by 2 frames are produced. It is done. If there is noise that can be detected by correlation between images separated by a plurality of frames or more, a frame delay signal delayed by an arbitrary number of frames can be output and used. The video for three frames including the one-frame delayed video and the two-frame delayed video and the input frame video delayed in this way is input to the determination information calculation unit 104.

ここで、判定情報算出部１０４は、フレーム間の全体相関又は部分相関を求める相関検出ブロック１０６と、画像間演算を行う画像間演算ブロック１０８と、ラインノイズの特徴を検出するラインノイズ特徴検出ブロック１１０と、ブロック状ノイズの特徴を検出するブロックノイズ特徴検出ブロック１１２と、白点・黒点ノイズの特徴を検出する白点・黒点ノイズ特徴検出ブロック１１４と、ストライプ状フリーズ（若しくはストライプ状ブラックアウト）の特徴を検出するストライプフリーズ特徴検出ブロック１１６と、ショートラインノイズの特徴を検出するショートラインノイズ特徴検出ブロック１１８と、から構成され、メモリコントローラ１０１から出力された３フレーム分の映像はそれぞれのブロックに入力されるように構成されている。また、ノイズ判定部１０５には、上述の判定情報算出部１０４を構成するブロックに対応して、相関ノイズ判定ブロック１０７と、画像間演算結果判定ブロック１０９と、ラインノイズ判定ブロック１１１と、ブロックノイズ判定ブロック１１３と、白点・黒点ノイズ判定ブロック１１５と、ストライプフリーズ判定ブロック１１７と、ショートラインノイズ判定ブロック１１９と、が設けられている。 Here, the determination information calculation unit 104 includes a correlation detection block 106 that calculates an overall correlation or a partial correlation between frames, an inter-image calculation block 108 that performs an inter-image calculation, and a line noise feature detection block that detects line noise characteristics. 110, a block noise feature detection block 112 that detects a feature of block noise, a white spot / black spot noise feature detection block 114 that detects a feature of white spot / black spot noise, and a stripe freeze (or stripe blackout). The stripe freeze feature detection block 116 for detecting the feature of the short-line noise and the short-line noise feature detection block 118 for detecting the feature of the short-line noise. Configured to be entered in It has been. The noise determination unit 105 also includes a correlation noise determination block 107, an inter-image calculation result determination block 109, a line noise determination block 111, a block noise corresponding to the blocks constituting the determination information calculation unit 104 described above. A determination block 113, a white / black point noise determination block 115, a stripe freeze determination block 117, and a short line noise determination block 119 are provided.

なお、どの方法によりノイズの検知を行うかを切り替えるために、検出判定制御ブロック１０３が設けられており、ＣＰＵバス１２３で接続されたＣＰＵ１２０からの制御信号により、この検出判定制御ブロック１０３が判定情報算出部１０４及びノイズ判定部１０５の作動を制御するように構成されている。また、ノイズ判定部１０５を構成する各々のブロックから出力される判定結果もＣＰＵバス１２３を介してＣＰＵ１２０に送信され、ＬＥＤや音声出力から構成されるアラーム出力１２１を介してノイズ検知が報知されたり、ネットワークコントローラ等からなる外部インタフェース１２２を介してＰＣ等の外部機器へノイズ検知の通知が行われる。もちろん、判定情報算出部１０４及びノイズ判定部１０５にすべてのブロックを設ける必要はなく、映像ノイズを検出するための方法を適宜選択して実装することができる。 Note that a detection determination control block 103 is provided in order to switch which method is used to detect noise, and this detection determination control block 103 is determined by the control signal from the CPU 120 connected by the CPU bus 123. The operation of the calculation unit 104 and the noise determination unit 105 is configured to be controlled. In addition, determination results output from each block constituting the noise determination unit 105 are also transmitted to the CPU 120 via the CPU bus 123, and noise detection is notified via an alarm output 121 including LEDs and audio outputs. Notification of noise detection is made to an external device such as a PC via an external interface 122 made up of a network controller or the like. Of course, it is not necessary to provide all the blocks in the determination information calculation unit 104 and the noise determination unit 105, and a method for detecting video noise can be appropriately selected and implemented.

それでは、判定情報算出部１０４及びノイズ判定部１０５を構成する各ブロックにおけるノイズ検知の方法について以下に説明する。 Then, the noise detection method in each block which comprises the determination information calculation part 104 and the noise determination part 105 is demonstrated below.

［相関検出］
相関検出ブロック１０６は、各フレーム映像の輝度値を用いて、入力フレーム映像と１フレーム遅延映像との間、入力フレーム映像と２フレーム遅延映像との間、及び、１フレーム遅延映像と２フレーム遅延映像との間で全体相関、及び、各フレームの同一の座標での部分相関を計算する。ここで、部分相関の求め方について図２を用いて説明する。なお、以降の説明において、図２に示すように、あるフレームの左上隅から１画素毎に水平方向に処理をして行き、右端に到達すると、一つ下（１画素下のライン）に移動して左端から右端に向かって水平方向に処理をし、この操作をフレームの右下隅まで繰り返し行うことを「水平走査」と呼ぶ。 [Correlation detection]
Correlation detection block 106 uses the luminance value of each frame image, between input frame image and 1 frame delay image, between input frame image and 2 frame delay image, and 1 frame delay image and 2 frame delay. Calculate the overall correlation with the video and the partial correlation at the same coordinates of each frame. Here, how to obtain the partial correlation will be described with reference to FIG. In the following description, as shown in FIG. 2, the processing is performed in the horizontal direction for each pixel from the upper left corner of a frame, and when it reaches the right end, it moves down one line (one pixel lower line). Then, processing in the horizontal direction from the left end to the right end, and repeating this operation to the lower right corner of the frame is called “horizontal scanning”.

部分相関では図２に示す、２フレーム遅延映像２０１、１フレーム遅延映像２０２、及び、入力フレーム映像２０３のそれぞれにおいて、同じ座標位置に、所定の大きさ（例えば、１６×８画素）を有する部分領域２０４を設定し、それぞれのフレーム間で相関を取る処理を水平走査により行う。すなわち、部分領域２０４は水平方向へ１画素ずつ移動させて部分相関を求め、また、垂直方向へも１画素ずつ移動させて部分相関を求める。例えば、図２に示すように、１フレーム遅延映像２０２に瞬間的なノイズが存在する場合には、２フレーム遅延映像２０１と入力フレーム映像２０３との間の相関が高いのに対して、２フレーム遅延映像２０１と１フレーム遅延映像２０２との間、及び、１フレーム遅延映像２０２と入力フレーム映像２０３との間の相関が低くなるため、この瞬間的なノイズを検出することができる。 In the partial correlation, a portion having a predetermined size (for example, 16 × 8 pixels) at the same coordinate position in each of the 2-frame delayed video 201, the 1-frame delayed video 202, and the input frame video 203 shown in FIG. A region 204 is set, and processing for obtaining a correlation between the respective frames is performed by horizontal scanning. In other words, the partial area 204 is moved one pixel at a time in the horizontal direction to obtain partial correlation, and is also moved one pixel at a time in the vertical direction to obtain partial correlation. For example, as shown in FIG. 2, when there is instantaneous noise in the 1-frame delayed video 202, the correlation between the 2-frame delayed video 201 and the input frame video 203 is high, whereas Since the correlation between the delayed video 201 and the one-frame delayed video 202 and between the one-frame delayed video 202 and the input frame video 203 is low, this instantaneous noise can be detected.

また、テープからの再生ノイズにおいては、相関関係に特徴的なパターンが現れるため、このパターンを検知することでノイズと判定することができる。例えば、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が高く、且つ、入力フレーム映像２０３と１フレーム遅延映像２０２の部分相関が低い場合に、予め想定されるノイズパターンと１フレーム遅延映像２０２の部分領域２０４との相関を求め、当該相関が高い場合にノイズとして検出することができる。あるいは、入力フレーム映像２０３と２フレーム遅延映像２０１との間の部分相関が低く、入力フレーム映像２０３と１フレーム遅延映像２０２との間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することができる。さらに、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間の部分相関に予め想定される特徴パターンが見られる場合にノイズとして検出することもできる。 Further, in the reproduction noise from the tape, since a characteristic pattern appears in the correlation, it can be determined as noise by detecting this pattern. For example, when the partial correlation between the input frame video 203 and the two-frame delayed video 201 is high and the partial correlation between the input frame video 203 and the one-frame delayed video 202 is low, a presumed noise pattern and one frame are used. A correlation with the partial area 204 of the delayed video 202 is obtained, and when the correlation is high, it can be detected as noise. Alternatively, when the partial correlation between the input frame video 203 and the two-frame delayed video 201 is low and a characteristic pattern assumed in advance in the partial correlation between the input frame video 203 and the one-frame delayed video 202 is seen, noise Can be detected as Furthermore, when a characteristic pattern assumed in advance in the partial correlation between the input frame video 203, the one-frame delayed video 202, and the two-frame delayed video 201 can be detected as noise.

このようにして求められた相関の結果は、相関ノイズ判定ブロック１０７に渡され、ここで相関関係及び相関のパターンとの比較が行われノイズが検知されたかを判断する。例えば、ノイズが検出された部分領域の数をカウントし、その数が所定の閾値を超えたときにノイズを検出することができる。そして、上述した様に、最終的にはＣＰＵ１２０がこの情報を読み出し、装置のアラーム出力１２１や、外部インタフェース１２２を介した通知でＰＣ等の外部機器に対してエラーの検知（映像ノイズの検知）を通知する。ここで、相関ノイズ判定ブロック１０７は、部分相関の結果からノイズを検出した場合には、どのフレームのどの位置（例えば、フレーム内の画素の座標で表す）でノイズが発生したのかをＣＰＵ１２０に出力するように構成することも可能である。なお、全体相関は、全体の画面として動きがあるかを確認するために使用される。全体に動きが大きい場合、すなわち、映像間の全体相関が所定の閾値より小さい場合には、部分的なノイズの誤検知が発生する為、このときの部分相関より検知されたノイズは最終的にはノイズと判定しない。 The correlation result thus obtained is passed to the correlation noise determination block 107, where it is compared with the correlation and the correlation pattern to determine whether noise has been detected. For example, the number of partial areas in which noise is detected can be counted, and noise can be detected when the number exceeds a predetermined threshold. As described above, the CPU 120 eventually reads out this information, and detects an error with respect to an external device such as a PC by a notification via the alarm output 121 of the apparatus or the external interface 122 (detection of video noise). To be notified. Here, when the noise is detected from the result of the partial correlation, the correlation noise determination block 107 outputs to the CPU 120 which position (for example, represented by the coordinates of the pixel in the frame) where the noise is generated. It is also possible to configure so as to. Note that the overall correlation is used to check whether there is a motion on the entire screen. If there is a large movement in the whole, that is, if the overall correlation between images is smaller than a predetermined threshold value, a partial false detection of noise will occur, so the noise detected from this partial correlation will eventually be Is not judged as noise.

また、以上の説明では、入力フレーム映像２０３、１フレーム遅延映像２０２及び２フレーム遅延映像２０１の間で部分相関及び全体相関を求めてノイズを検出するように構成した場合について説明したが、これら３つの映像２０１〜２０３のうち、いずれか２つを選択して部分相関及び全体相関を求めてノイズを検出するように構成することも可能である。 In the above description, a case has been described in which noise is detected by obtaining a partial correlation and an overall correlation between the input frame video 203, the one-frame delayed video 202, and the two-frame delayed video 201. It is also possible to select any two of the two images 201 to 203 and obtain a partial correlation and a total correlation to detect noise.

［画像間演算］
画像間演算ブロック１０８は、メモリコントローラ１０１から入力された２フレーム遅延映像、１フレーム遅延映像及び入力フレーム映像の同一位置の画素毎に当該画素の輝度値を用いて、(入力フレーム映像＋２フレーム遅延映像)−(１フレーム遅延映像)×２の計算を行う。すなわち、上記演算を行うことにより、変化の少ない画素はほぼゼロになり、反対に、１フレーム遅延映像にノイズが乗っている場合にはそのノイズによる輝度値だけが２倍されて出力されるため、ノイズの検出を容易に行うことができるからである。そして、画像間演算結果判定ブロック１０９は、あらかじめ想定されるノイズパターンを先の演算結果から抽出してノイズを検出し、エラーの検知を通知する。なお、画像間演算ブロック１０８において、上記画像間演算と同時に入力フレーム映像と２フレーム遅延映像におけるエッジの多い領域を求め、先の計算結果においてノイズを検出する領域から除外することにより、ノイズの検出精度を向上させることができる。これは、エッジの多い領域はノイズと正しい映像との区別がつきにくいためである。なお、部分領域を設定し、それぞれの映像においてこの部分領域を水平走査しながら上記画像間演算を行っても良い。 [Operation between images]
The inter-image calculation block 108 uses the luminance value of each pixel at the same position of the 2-frame delayed video, the 1-frame delayed video, and the input frame video input from the memory controller 101 to calculate (input frame video + 2 frame delay). Video)-(1 frame delayed video) × 2 is calculated. That is, by performing the above calculation, pixels with little change become almost zero, and on the contrary, when noise is added to a one-frame delayed image, only the luminance value due to the noise is output after being doubled. This is because noise can be easily detected. Then, the inter-image calculation result determination block 109 extracts a noise pattern assumed in advance from the previous calculation result, detects noise, and notifies error detection. In the inter-image calculation block 108, a region with many edges in the input frame video and the two-frame delayed video is obtained simultaneously with the above-described inter-image calculation, and is excluded from the noise detection region in the previous calculation result. Accuracy can be improved. This is because a region with many edges is difficult to distinguish between noise and a correct image. It is also possible to set a partial area and perform the inter-image calculation while horizontally scanning the partial area in each video.

［ラインノイズ特徴検出］
ラインノイズ特徴検出ブロック１１０は、図３（ａ）に示すように、入力フレーム映像３０３と１フレーム遅延映像３０１を用いてノイズの検出を行う。ここで、ラインノイズは横方向にエッジが並ぶ特徴があるため、ある画素のライン（図３（ａ）のライン３０１ａ，３０３ａ）とその画素の一つ下のライン（図３（ａ）のライン３０１ｂ，３０３ｂ）において画素毎に輝度値を比較し、所定の閾値以上の差があるときにそれらの画素の間に垂直エッジがあるとして検出し、その画素数を水平方向に足し込んで、ラインごとのエッジ量（エッジ画素カウント値）とする。このライン毎のエッジ量は、フレーム毎に設けられ、ライン毎に記録することができるエッジ画素カウント値記録メモリ３０２，３０４へ記録していく。以上のようにして、入力フレーム映像３０３と１フレーム遅延映像３０１の全てのラインに対してライン毎のエッジ量が記録されると、ラインノイズ判定ブロック１１１は、入力フレーム映像３０３と１フレーム遅延映像３０１との間で、ライン毎のエッジ画素カウント値記録メモリ３０２，３０４の値を比較し、１フレーム遅延映像３０１に対して入力フレーム映像３０３のエッジ量が急激に増えているラインをラインノイズ候補とする。 [Line noise feature detection]
The line noise feature detection block 110 detects noise using the input frame video 303 and the one-frame delayed video 301 as shown in FIG. Here, since line noise has a feature in which edges are aligned in the horizontal direction, a line of a pixel (lines 301a and 303a in FIG. 3A) and a line immediately below that pixel (line in FIG. 3A). 301b and 303b), the luminance value is compared for each pixel, and when there is a difference equal to or greater than a predetermined threshold, it is detected that there is a vertical edge between the pixels, and the number of pixels is added in the horizontal direction to Each edge amount (edge pixel count value). The edge amount for each line is provided for each frame, and is recorded in the edge pixel count value recording memories 302 and 304 that can be recorded for each line. As described above, when the edge amount for each line is recorded for all the lines of the input frame video 303 and the one-frame delayed video 301, the line noise determination block 111 displays the input frame video 303 and the one-frame delayed video. 301, the values of the edge pixel count value recording memories 302 and 304 for each line are compared with each other, and a line in which the edge amount of the input frame video 303 is rapidly increased with respect to the one-frame delayed video 301 is determined as a line noise candidate. And

また、もともと斜めの線がその近辺にあり、それがたまたま水平に変化することも考えられる為、ラインノイズ判定ブロック１１１は、上下数ラインのエッジ量の総和を求めてこれについても入力フレーム映像３０３と１フレーム遅延映像３０１の間で比較を行う。斜めの線が移動して水平になった場合には、１フレーム遅延映像３０１と入力フレーム映像３０３における上下数ラインのエッジ量の総和の変化が少なくなるからである。そして、上記でラインノイズ候補となったラインについて、上下数ラインのエッジ量の総和の差が閾値以上で明らかにラインが急激に現れたと判断される場合は、ラインノイズ発生開始としてラインごとに記録を行う。 In addition, since the diagonal line originally exists in the vicinity of the line and it may happen to change horizontally, the line noise determination block 111 obtains the sum of the edge amounts of the upper and lower lines to obtain the input frame image 303 as well. And 1-frame delayed video 301 are compared. This is because when the diagonal line moves and becomes horizontal, the change in the sum of the edge amounts of the upper and lower lines in the one-frame delayed video 301 and the input frame video 303 is reduced. If it is determined that the line noise candidate starts as described above, and the difference in the sum of the edge amounts of the upper and lower lines exceeds the threshold and it is clearly determined that the line has appeared suddenly, the line noise is started for each line. I do.

ラインノイズ発生開始となっているラインについて、図３（ｂ）に示すように、ラインノイズ特徴検出ブロック１１０により、次以降の入力フレーム映像３０７と１フレーム遅延映像３０５との間でもラインのエッジ量を算出し、ライン毎のエッジ画素カウント値記録メモリ３０６，３０８に記憶させ、ラインノイズ判定ブロック１１１において、このようにして算出されたエッジ量及び、上下数ラインのエッジ量の総和の比較を行う。変化が閾値以下の場合は、継続してラインノイズが発生していると判断する。また１フレーム遅延映像３０５に比べて入力フレーム映像３０７のエッジ量が急激に減り、且つエッジ量の総和も急激に減った場合には、ラインノイズ終了候補とする。このとき、ライン毎にラインノイズが発生したフレームから終了したフレームまでのフレーム数をラインノイズ発生継続フレーム数として記憶しておく。 For the line where the generation of line noise is started, the line noise feature detection block 110 causes the line edge amount between the subsequent input frame image 307 and the one-frame delayed image 305 to be detected as shown in FIG. Is stored in the edge pixel count value recording memories 306 and 308 for each line, and the line noise determination block 111 compares the edge amount thus calculated and the sum of the edge amounts of the upper and lower lines. . If the change is less than or equal to the threshold, it is determined that line noise is continuously generated. If the edge amount of the input frame image 307 is drastically reduced as compared to the one-frame delayed image 305 and the sum of the edge amounts is also drastically reduced, the line noise end candidate is determined. At this time, the number of frames from the line where the line noise is generated to the end frame is stored for each line as the line noise generation continuing frame number.

ラインノイズ判定ブロック１１１においてラインノイズ開始判定が間違っていた場合（映像中のラインをノイズと判定してしまっていた場合）にはラインの上下数ライン以内に急激なライン変化（ラインノイズ発生開始のラインが存在）が存在することになる。そのため、ラインノイズ判定ブロック１１１は、このラインノイズ発生開始のラインが上下数ライン以内に存在する場合には、ラインノイズではなかったと判断する。 If the line noise start block 111 is wrong in the line noise start determination (if the line in the video has been determined to be noise), a sudden line change (line noise generation start Line exists). Therefore, the line noise determination block 111 determines that the line noise is not line noise when the line noise generation start line exists within several lines above and below.

ラインノイズ判定ブロック１１１は、以上のようにしてラインノイズ終了候補で上下数ライン以内にラインノイズ発生開始のラインが存在しない場合で、そのラインのラインノイズ発生継続フレーム数が閾値以下の時にラインノイズ発生と判断し、ＣＰＵ１２０を介して通知が行われる。 As described above, the line noise determination block 111 is a line noise end candidate when there is no line noise generation start line within a few lines above and below the line noise, and when the line noise generation continuing frame number of the line is equal to or less than the threshold value, It is determined that it has occurred, and notification is sent via the CPU 120.

［ブロックノイズ特徴検出］
ブロックノイズ特徴検出部ブロック１１２は、図４に示すように入力フレーム映像４０２と１フレーム遅延映像４０１との比較を行い、入力フレーム映像４０２に四角状の領域４０４が検出された場合に、ブロック状ノイズの候補とする。そして、ブロックノイズ判定ブロック１１３は、その候補の領域内部４０４と四角領域の周辺領域４０５について比較を行い、下記の条件（１），（２）を満たした場合にノイズと判定する。（１）まず、四角領域４０４の内部輝度または色が１フレーム遅延映像４０１の同じ座標の四角領域４０３に比べて急激に変化していて、且つ四角領域の周辺領域４０５の輝度または色の変化が小さい場合で、この条件を満たす領域の数が閾値以上の場合。（２）四角領域４０４の内部輝度または色が急激に変化している場合で画像全体におけるこの条件を満たす領域の数が閾値以上の場合。なお、条件（１）の閾値は小さめに設定して、数が少なくてもノイズとすることが望ましい。また、条件（２）の閾値は大きめに設定して数が多い場合のみノイズとすることが望ましい。上記判定条件によりノイズとして検知されるとＣＰＵ１２０を介して通知が行われる。 [Block noise feature detection]
As shown in FIG. 4, the block noise feature detection block 112 compares the input frame video 402 with the one-frame delayed video 401, and if a square area 404 is detected in the input frame video 402, the block noise feature detection unit block 112 Candidate for noise. Then, the block noise determination block 113 compares the candidate region interior 404 and the peripheral region 405 of the square region, and determines that it is noise when the following conditions (1) and (2) are satisfied. (1) First, the internal luminance or color of the square area 404 changes abruptly as compared to the square area 403 having the same coordinates in the one-frame delayed video 401, and the luminance or color changes in the peripheral area 405 of the square area. If the number is small and the number of areas satisfying this condition is greater than or equal to the threshold value. (2) The case where the internal luminance or color of the square area 404 is changing rapidly and the number of areas satisfying this condition in the entire image is equal to or greater than the threshold value. Note that it is desirable that the threshold value of the condition (1) is set to be small and noise is generated even if the number is small. In addition, it is desirable that the threshold value of the condition (2) is set to a large value and is set as noise only when the number is large. If it is detected as noise according to the determination condition, a notification is made via the CPU 120.

具体的には以下の手順でノイズの検出が行われる。まず、ブロックノイズ特徴検出ブロック１１２は、入力フレーム映像４０２に対して、所定の大きさを有する領域（例えば、８×８画素の領域）を設定し、この領域を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い、四角領域４０４のエッジ検出を行う。入力フレーム映像４０２の左上隅から右下隅にかけて水平走査を行うと、まず、四角領域４０４の左上隅の角が検出される。すると、ブロックノイズ判定ブロック１１３は、入力フレーム映像４０２における四角領域４０４の左上側の輝度又は色の変化と周辺領域４０５の輝度又は色の変化、及び、１フレーム遅延画像４０１の同じ座標の四角領域４０３の輝度又は色の変化を取得する。そして、水平走査を続け、四角領域４０３，４０４及び周辺領域４０５の輝度又は色を取得するとともに、四角領域の右上、左下、及び右下を検出する。そして、このようにして検出された四角領域４０４が、上記条件（１），（２）を満足するか否かを判定し、満足する場合は、領域の数のカウントを行う。最後に、検出された四角領域４０４の数をブロックノイズ判定ブロック１１３に渡し、この領域の数が上記判定条件を満たしているときは、ノイズとして検知する。このように、入力フレーム映像４０２に対して水平走査を行い四角領域４０４のエッジを見つける度に、上記判定処理を行うことにより、検出のために使うメモリのサイズを小さくすることができる。なお、検出された四角領域４０４が、水平方向で４〜５０画素、垂直方向で４〜２０画素以内のときに、ブロックノイズとして判断することにより検出精度を向上させることができる。 Specifically, noise is detected by the following procedure. First, the block noise feature detection block 112 sets a region having a predetermined size (for example, a region of 8 × 8 pixels) for the input frame image 402, and moves this region by one pixel in the horizontal direction. In addition, the horizontal scanning is performed by moving one pixel at a time in the vertical direction, and the edge of the square area 404 is detected. When horizontal scanning is performed from the upper left corner to the lower right corner of the input frame image 402, first, the corner of the upper left corner of the square area 404 is detected. Then, the block noise determination block 113 performs a change in luminance or color on the upper left side of the square area 404 in the input frame image 402, a change in luminance or color in the peripheral area 405, and a square area with the same coordinates in the one-frame delayed image 401. The luminance or color change of 403 is acquired. Then, horizontal scanning is continued, and the luminance or color of the square areas 403 and 404 and the peripheral area 405 are acquired, and the upper right, lower left, and lower right of the square area are detected. Then, it is determined whether or not the square area 404 detected in this way satisfies the above conditions (1) and (2). If satisfied, the number of areas is counted. Finally, the number of detected square areas 404 is passed to the block noise determination block 113, and when the number of areas satisfies the above determination condition, it is detected as noise. In this way, the size of the memory used for detection can be reduced by performing the above-described determination process each time the input frame image 402 is horizontally scanned to find the edge of the square area 404. When the detected square area 404 is within 4 to 50 pixels in the horizontal direction and within 4 to 20 pixels in the vertical direction, the detection accuracy can be improved by determining as block noise.

なお、以上の説明では、入力フレーム映像４０２及び１フレーム遅延映像４０１の間でブロックノイズを検出するように構成した場合について説明したが、１フレーム遅延映像と２フレーム遅延映像との間でブロックノイズを検出するように構成することも可能である。 In the above description, the case where the block noise is detected between the input frame video 402 and the one-frame delayed video 401 has been described. However, the block noise is generated between the one-frame delayed video and the two-frame delayed video. It can also be configured to detect.

［白点・黒点特徴検出］
白点・黒点ノイズ特徴検出ブロック１１４は、図５に示すように入力フレーム映像５０３と１フレーム遅延映像５０２に対して検出領域５０１による水平走査を行うことにより比較を行う。ここで、検出領域５０１は、５×３画素の領域であって、この検出領域５０１の中央にある画素Ａが白点又は黒点であるかを周囲の画素（ａ〜ｌで示している）の輝度値から判定するものである。白点・黒点ノイズ特徴検出ブロック１１４は、入力フレーム映像５０３及び１フレーム遅延映像５０２に対して検出領域５０１を水平方向に１画素ずつ移動し、また、垂直方向に１画素ずつ移動させて水平走査を行い白点及び黒点の判定を行う。なお、１フレーム遅延映像５０２では白点・黒点ノイズが検出されないが、入力フレーム映像５０３で白点・黒点ノイズが検出された場合に、ノイズとする。また、このノイズの検出は、瞬間的なものを検出したい場合は入力フレーム映像５０３と１フレーム遅延映像５０２の比較を行うが、継続のものを含めて検出したい場合には、入力フレーム映像５０３のみで検出を行う。また、厳密に継続していないことを判断する為には、２フレーム遅延映像に対しても水平走査をして、ノイズが発生していないことを条件とする。 [White spot / black spot feature detection]
As shown in FIG. 5, the white spot / black spot noise feature detection block 114 compares the input frame image 503 and the one-frame delayed image 502 by performing horizontal scanning using the detection region 501. Here, the detection area 501 is an area of 5 × 3 pixels, and whether or not the pixel A in the center of the detection area 501 is a white point or a black point is indicated by surrounding pixels (indicated by a to l). It is determined from the luminance value. The white spot / black spot noise feature detection block 114 moves the detection area 501 one pixel in the horizontal direction and one pixel in the vertical direction with respect to the input frame image 503 and the one frame delayed image 502 and performs horizontal scanning. The white point and the black point are determined. Note that white point / black spot noise is not detected in the one-frame delayed video 502, but noise is detected when white spot / black spot noise is detected in the input frame video 503. In addition, this noise is detected by comparing the input frame video 503 with the one-frame delayed video 502 when it is desired to detect a momentary one. However, when it is desired to detect the noise including the continuation, only the input frame video 503 is detected. To detect. In addition, in order to determine that the continuation is not strictly performed, it is a condition that the 2-frame delayed video is also horizontally scanned and no noise is generated.

白点、黒点の判定条件は以下とする。
（１）周囲の値計算
まず、上述の検出領域５０１を構成するａ〜ｌの画素の輝度値を用いて、これらの画素の輝度値の加重平均、最大値及び最小値を以下の式により求める。
加重平均 (a+b+(c*2)+d+e+(f*2)+(g*2)+h+i+(j*2)+k+l)/16 （領域）
最大値 max(a,b,c,d,e,f,g,h,i,j,k,l)
最小値 min(a,b,c,d,e,f,g,h,i,j,k,l)
（２）白点の判定
そして、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを白点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が大きく、（ｉｉｉ）最大値と画素Ａの輝度値との差が所定の閾値以上で且つ最大値より画素Ａの輝度値が大きく、（ｉｖ）画素Ａの輝度値が所定の閾値以上の場合である。
（３）黒点の判定
同様に、判定対象の画素Ａの輝度値を、周辺画素の加重平均、最大値及び最小値と比較し、以下の条件を満足するとき、この判定対象の画素Ａを黒点であると判定する。すなわち、（ｉ）最大値と最小値との差が所定の閾値以下であり、（ｉｉ）加重平均と画素Ａの輝度値との差が所定の閾値以上で且つ加重平均より画素Ａの輝度値が小さく、（ｉｉｉ）最小値と画素Ａの輝度値との差が所定の閾値以上で且つ最小値より画素Ａの輝度値が小さく、（ｉｖ）画素Ａの輝度値が所定の閾値以下の場合である。 The judgment conditions for white and black points are as follows.
(1) Ambient value calculation First, using the luminance values of the pixels a to l constituting the detection region 501 described above, the weighted average, maximum value, and minimum value of the luminance values of these pixels are obtained by the following equations. .
Weighted average (a + b + (c * 2) + d + e + (f * 2) + (g * 2) + h + i + (j * 2) + k + l) / 16 (region)
Maximum value max (a, b, c, d, e, f, g, h, i, j, k, l)
Minimum value min (a, b, c, d, e, f, g, h, i, j, k, l)
(2) Judgment of white point The luminance value of the pixel A to be judged is compared with the weighted average, maximum value and minimum value of the surrounding pixels, and when the following condition is satisfied, the pixel A to be judged is white It is determined to be a point. That is, (i) the difference between the maximum value and the minimum value is equal to or smaller than a predetermined threshold value, and (ii) the difference between the weighted average and the luminance value of the pixel A is equal to or larger than the predetermined threshold value and the luminance value of the pixel A from the weighted average. (Iii) the difference between the maximum value and the luminance value of the pixel A is equal to or greater than a predetermined threshold, the luminance value of the pixel A is greater than the maximum value, and (iv) the luminance value of the pixel A is equal to or greater than the predetermined threshold It is.
(3) Determination of Black Point Similarly, the luminance value of the pixel A to be determined is compared with the weighted average, maximum value, and minimum value of surrounding pixels, and when the following condition is satisfied, It is determined that That is, (i) the difference between the maximum value and the minimum value is equal to or smaller than a predetermined threshold value, and (ii) the difference between the weighted average and the luminance value of the pixel A is equal to or larger than the predetermined threshold value and the luminance value of the pixel A from the weighted average. (Iii) The difference between the minimum value and the luminance value of the pixel A is equal to or greater than a predetermined threshold, the luminance value of the pixel A is smaller than the minimum value, and (iv) the luminance value of the pixel A is equal to or smaller than the predetermined threshold. It is.

白点・黒点ノイズ判定ブロック１１５は、以上の処理により白点・黒点ノイズ特徴検出ブロック１１４により検出された白点若しくは黒点ノイズの数をカウントし、検出されたノイズの数が閾値以上の場合にノイズとして検知してＣＰＵ１２０を介して通知を行う。 The white spot / black spot noise determination block 115 counts the number of white spots or black spot noises detected by the white spot / black spot noise feature detection block 114 by the above processing, and when the number of detected noises is equal to or greater than a threshold value. It detects as noise and notifies via CPU120.

なお、検出領域５０１の設定は図５のように、中央の画素Ａの両側の画素５０１ａ，５０１ｂを判定に使用しないようにしている。これはＨＤ（High Definition）の画像で１９２０×１０８０のサイズの画像が１４４０×１０８０の元画像から作成されている場合に水平方向に補間が行われ、白点、黒点がうまく検出できない場合があるためである。 Note that the detection area 501 is set such that the pixels 501a and 501b on both sides of the center pixel A are not used for determination as shown in FIG. This is an HD (High Definition) image, and when a 1920 × 1080 size image is created from an original image of 1440 × 1080, interpolation is performed in the horizontal direction, and white and black points may not be detected well. Because.

［ストライプフリーズ（ストライプブラックアウト）特徴検出］
ストライプフリーズ特徴検出ブロック１１６においては、図６（ａ）に示すように、入力フレーム映像６０２及び１フレーム遅延映像６０１の比較を行い、同一の位置にあるラインの画素ごとに相関を求め、閾値以上の相関の高い画素の数が水平ラインを構成する画素数に対して閾値以上あるラインをフリーズラインとする。同時にフリーズしている画素に対する垂直方向のエッジを検出して（エッジの検出方向はラインノイズ特徴検出ブロック１１０と同じ方法を用い、水平方向に並ぶ上下の画素の輝度値を比較して求める）水平ライン方向にこのエッジ数（画素数）をカウントし、そのカウント値が閾値以上あるラインをフリーズ境界ラインとする。 [Striped freeze (striped blackout) feature detection]
In the stripe freeze feature detection block 116, as shown in FIG. 6A, the input frame image 602 and the one-frame delayed image 601 are compared, and a correlation is obtained for each pixel of the line at the same position, and the threshold value or more is obtained. A line in which the number of highly correlated pixels is equal to or greater than a threshold with respect to the number of pixels constituting the horizontal line is defined as a freeze line. Simultaneously detect vertical edges for pixels that are frozen at the same time (the edge detection direction is obtained by comparing the luminance values of the upper and lower pixels arranged in the horizontal direction using the same method as the line noise feature detection block 110). The number of edges (number of pixels) is counted in the line direction, and a line whose count value is equal to or greater than a threshold is defined as a freeze boundary line.

ストライプフリーズ判定ブロック１１７は、フリーズラインが閾値以上でフリーズ境界ラインが閾値以上ある場合にストライプ状フリーズとして検知してＣＰＵ１２０を介して通知を行う。 The stripe freeze determination block 117 detects a stripe freeze when the freeze line is equal to or greater than the threshold value and the freeze boundary line is equal to or greater than the threshold value, and notifies the CPU 120 of the result.

またストライプ状のブラックアウトについても、上記と同じような検出が可能である。図６（ｂ）に示すように、入力フレーム映像又はその他の遅延フレーム映像６０４において、黒画素が閾値以上あるラインをブラックラインとして、その境界エッジを求めて、閾値以上のものをブラック境界ラインとし、ブラックラインが閾値以上で、ブラック境界ラインが閾値以上のものをストライプ状ブラックアウトとして検知してＣＰＵ１２０を介して通知する。ただし、ストライプ上のブラックアウトは複数のフレームでなくても検知可能である。 Also, the same detection as described above is possible for striped blackouts. As shown in FIG. 6B, in the input frame video or other delayed frame video 604, a line having black pixels equal to or larger than a threshold is determined as a black line, and a boundary edge thereof is obtained. When the black line is equal to or greater than the threshold value and the black boundary line is equal to or greater than the threshold value, it is detected as a stripe blackout and notified via the CPU 120. However, the blackout on the stripe can be detected even if it is not a plurality of frames.

［ショートラインノイズ特徴検出］
ショートラインノイズ特徴検出ブロック１１８は、図７に示すように入力フレーム映像７０３と１フレーム遅延映像７０２及び２フレーム遅延映像７０１のそれぞれに対して、対象画素領域７０４による水平走査を行い、以下の条件（１），（２）の両方を満たす画素数をカウントする。なお、対象画素領域７０４は、図７に示すよう２×５画素で構成し、各画素にａ〜ｊの符号を付した場合、各画素ａ〜ｊの輝度値を用いて以下の条件式により判定する。 [Short line noise feature detection]
As shown in FIG. 7, the short line noise feature detection block 118 performs horizontal scanning with the target pixel region 704 for each of the input frame image 703, the 1-frame delayed image 702, and the 2-frame delayed image 701, under the following conditions: The number of pixels satisfying both (1) and (2) is counted. The target pixel area 704 is configured by 2 × 5 pixels as shown in FIG. 7, and when the pixels a to j are assigned to the pixels, the luminance values of the pixels a to j are used according to the following conditional expressions. judge.

（カウント画素の判定条件）
（１）(a>f+閾値 && b>g+閾値 && c>h+閾値 && d>i+閾値 && e>j+閾値）
|| (ｆ>a+閾値 && g>b+閾値 && h>c+閾値 && i>d+閾値 && j>e+閾値）
（２）条件（１）を満たす画素が水平方向に所定の長さ以上続く（例えば２画素以上１６画素以下続く） (Count pixel judgment condition)
(1) (a> f + threshold &&b> g + threshold &&c> h + threshold &&d> i + threshold &&e> j + threshold)
|| (f> a + threshold &&g> b + threshold &&h> c + threshold &&i> d + threshold &&j> e + threshold)
(2) A pixel satisfying the condition (1) continues for a predetermined length in the horizontal direction (for example, continues for 2 pixels or more and 16 pixels or less).

次に、入力フレーム映像７０３における画素カウント値をＡとし、１フレーム遅延映像７０２における画素カウント値をＢとし、２フレーム遅延映像７０１における画素カウント値をＣとしてショートラインノイズ判定ブロック１１９にて以下の判定条件にしたがって、エラー判定を行う。すなわち、（３）Ｂ＞Ａ＋閾値を満足し、（４）Ｂ＞Ｃ＋閾値を満足するときショートラインノイズが発生していると判定する。ここで、この判定は、瞬間的に、短い水平方向のラインが急激に増えた場合を検出するものとなっている。なお、本実施形態においては、３つのフレーム７０１〜７０３から同時に短い水平方向のラインに属する画素数をカウントしているが、例えば、入力フレーム映像７０３についてのみ画素のカウントを行い、そのカウント値を遅延させることでも、同じことを実現することは可能である。以上の判定条件に基づいてショートラインノイズ判定ブロック１１９が判定したエラーはＣＰＵ１２０を介して通知される。 Next, the pixel count value in the input frame image 703 is set to A, the pixel count value in the 1-frame delayed image 702 is set to B, and the pixel count value in the 2-frame delayed image 701 is set to C. In the short line noise determination block 119, the following An error is determined according to the determination condition. That is, (3) B> A + threshold is satisfied, and (4) it is determined that short line noise is occurring when B> C + threshold is satisfied. Here, this determination is to detect a case where a short horizontal line increases suddenly. In the present embodiment, the number of pixels belonging to a short horizontal line is counted simultaneously from the three frames 701 to 703. For example, only the input frame image 703 is counted and the count value is calculated. The same can be achieved by delaying. The error determined by the short line noise determination block 119 based on the above determination conditions is notified via the CPU 120.

１００映像ノイズ検知装置１０１メモリコントローラ（フレーム出力部）
１０４判定情報算出部１０５ノイズ判定部 100 Image Noise Detection Device 101 Memory Controller (Frame Output Unit)
104 determination information calculation unit 105 noise determination unit

Claims

An input frame video that is an arbitrary frame constituting the input video signal, a first frame video that is a predetermined number of frames before the input frame video, and a predetermined frame from the first frame video A frame output unit that outputs a second frame image that is a number of previous frames;
A determination information calculation unit that calculates noise determination information based on the input frame image, the first frame image, and the second frame image;
A video noise detection device comprising: a noise determination unit that determines noise included in the video signal based on the noise determination information calculated by the determination information calculation unit.

The determination information calculation unit scans the input frame image, the first frame image, and the second frame image with partial areas set to the same coordinates, and calculates a partial correlation between the partial areas. ,
The video noise detection device according to claim 1, wherein the noise determination unit determines the noise based on the partial correlation.

The noise determination unit counts the number of the partial areas in which noise is detected when scanning the input frame video, the first frame video, and the second frame video, and the number of the partial areas is predetermined. The video noise detection device according to claim 2, wherein the video noise detection device detects noise when the threshold is equal to or greater than a threshold value.

The noise determination unit is configured such that the partial correlation between the input frame video and the second frame video is high and the partial correlation between the input frame video and the first frame video is low. The video noise detection device according to claim 3, wherein the video noise detection device is detected as noise.

The noise determination unit is configured such that the partial correlation between the input frame video and the second frame video is high and the partial correlation between the input frame video and the first frame video is low. The video noise detection apparatus according to claim 3, wherein a correlation between a noise pattern assumed in advance and the partial area of the first frame video is obtained and detected as noise when the correlation is high. .

The noise determination unit assumes that the partial correlation between the input frame image and the second frame image is low and the partial correlation between the input frame image and the first frame image is assumed in advance. The video noise detection device according to claim 3, wherein when there is a feature pattern to be detected, the image noise detection device is detected as noise.

The noise determination unit detects as noise when there is a characteristic pattern assumed in advance in the partial correlation among the input frame video, the first frame video, and the second frame video. The video noise detection device according to claim 3.

The determination information calculating unit calculates an overall correlation between the input frame image, the first frame image, and the second frame image;
The video noise detection apparatus according to claim 2, wherein the noise determination unit does not perform noise determination based on the partial correlation when the overall correlation is smaller than a predetermined threshold.

The determination information calculation unit uses the luminance value of the pixel for each pixel at the same coordinates of the input frame image, the first frame image, and the second frame image, to calculate (input frame image + second frame). Image)-(first frame image) x 2
The video noise detection apparatus according to claim 1, wherein the noise determination unit performs noise determination by extracting a presumed noise pattern from the calculation result.

The determination information calculation unit calculates each feature amount from the input frame video, the first frame video, and the second frame video,
The video noise detection apparatus according to claim 1, wherein the noise determination unit performs noise determination by comparing the feature amounts.

The determination information calculation unit selects any two images from the input frame image, the first frame image, and the second frame image, and in each image, a line noise characteristic is obtained for each horizontal line. The video noise detection device according to claim 10, wherein a total of the number of vertical edge pixels and a relationship with a plurality of upper and lower horizontal lines are calculated as the feature amount.

The determination information calculation unit detects a square area that is characteristic of block-like noise in the input frame video or the first frame video, and detects the inside of the square area in the input frame video or the first frame video. The video noise according to claim 10, wherein a correlation between the peripheral area and the inside and the peripheral area of the area corresponding to the square area in the video delayed from the video is calculated as the feature amount. Detection device.

The determination information calculation unit detects a short continuous vertical edge that is characteristic of short line noise for each of the input frame image, the first frame image, and the second frame image, and detects the input frame image, the first frame image, and the second frame image. The video noise detection apparatus according to claim 10, wherein a change in a total amount of the vertical edges between one frame video and the second frame video is calculated as the feature amount.