JP2013229872A - Method and apparatus for detecting tiling or blockiness - Google Patents
Method and apparatus for detecting tiling or blockiness Download PDFInfo
- Publication number
- JP2013229872A JP2013229872A JP2013091295A JP2013091295A JP2013229872A JP 2013229872 A JP2013229872 A JP 2013229872A JP 2013091295 A JP2013091295 A JP 2013091295A JP 2013091295 A JP2013091295 A JP 2013091295A JP 2013229872 A JP2013229872 A JP 2013229872A
- Authority
- JP
- Japan
- Prior art keywords
- column vector
- tiling
- power
- values
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000013598 vector Substances 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 abstract 3
- 238000001228 spectrum Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 208000019300 CLIPPERS Diseases 0.000 description 4
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、ビデオ圧縮技術に関し、特に、スペクトラム・パワーに基づくタイリング又はブロックノイズの検出に関する。 The present invention relates to video compression techniques, and more particularly, to tiling or block noise detection based on spectrum power.
テレビジョン・カメラのような元々の映像源からのビデオ信号は、デジタル化されると、多量のデータに相当する。このデータを受信装置に伝送するために、ビデオ信号は、Ｈ.２６４やＭＰＥＧ２のような周知のビデオ圧縮技術のいずれかを用いて、コーダ／デコーダ（コーデック）によって圧縮される。これら圧縮技術は、ビデオ信号で表される複数のフレーム又はビデオ画像のシーケンスを複数のデータ・ブロックに分割し、各データ・ブロックを圧縮することで圧縮ビデオが生成される。しかし、圧縮ビデオの受信装置への伝送は、データのビット・レートを低くすることが必要となり、情報が失われる、つまり、圧縮は「損失の多い」プロセスである。もし損失が多くなりすぎると、その圧縮ビデオが受信装置を適当なコーデックで伸張したときに、得られるビデオ信号は、圧縮されたときの元々のデータ・ブロックのエッジに対応して、一般にタイリング又はブロックノイズと呼ばれる視覚的なアーティファクトを有するフレーム又はビデオ画像を生成する。 Video signals from original video sources, such as television cameras, represent a large amount of data when digitized. In order to transmit this data to the receiving device, the video signal is compressed by a coder / decoder (codec) using any of the well-known video compression techniques such as H.264 or MPEG2. These compression techniques divide a plurality of frames or a sequence of video images represented by a video signal into a plurality of data blocks, and compress each data block to generate a compressed video. However, the transmission of compressed video to a receiver requires the data bit rate to be reduced and information is lost, ie compression is a “lossy” process. If the loss is too high, when the compressed video is decompressed with a suitable codec, the resulting video signal is generally tiled, corresponding to the edges of the original data block when compressed. Or generate a frame or video image with visual artifacts called block noise.
大気中又はケーブルを介しての無線周波数（ＲＦ）信号を用いた圧縮ビデオ・ストリームの送信又はインターネット・プロバイタ（ＩＰ）ネットワークを用いたデータとしての圧縮ビデオ・ストリームの送信は、時として更なるデータ損失が生じることが多い。この過渡的なデータ損失も、不完全な送信データを受信してデコードされた（つまり、いくつかの圧縮ビデオが欠落した）いくつかのフレームにおいて、視覚的に見られるブロックノイズの原因となるであろう。 Transmission of a compressed video stream using radio frequency (RF) signals in the atmosphere or via cable or transmission of a compressed video stream as data using an Internet provider (IP) network is sometimes further data. Loss often occurs. This transient data loss can also cause visually visible block noise in some frames that are received and decoded (ie, some compressed video is missing). I will.
過剰な圧縮又はデータ損失の両方の場合において、タイリング又はブロックノイズが視覚的に見られるであろうし、これは視聴者にとっていらいらするものであろう。測定環境において、得られるビデオ信号の障害の酷さレベルを決定するため、現在の１つの方法では、各圧縮ブロックと右に隣接するブロックとの間（水平エッジ又はＨエッジ）と、各圧縮ブロックと下に隣接するブロックとの間（垂直エッジ又はＶエッジ）のＡＣエネルギーを用いて、各圧縮ブロック内の交流電流（ＡＣ）エネルギーを比較している。これらＨ及びＶエネルギー比が合算されて、各ブロックに関するタイリング値を生成する。これらタイリング値は、フレーム内のいくつかの領域のそれぞれにおいて、複数のタイルに渡って加算（合算）され、その画像に関するタイリング値のグリッド（格子）を形成する。典型的には、その画像又はフレームに関する最大値がタイリング値として報告される。注意すべきは、画素０，０を含む一直線上にある（align）、つまり、画像の左上角を含む一直線上にあるブロック・グリッド上で発生するタイリングのみが検出され、結果としていくつかの問題が生じることである。
In both cases of excessive compression or data loss, tiling or block noise will be seen visually, which will be annoying to the viewer. In order to determine the severity level of the resulting video signal impairment in the measurement environment, one current method is between each compressed block and the right adjacent block (horizontal edge or H edge) and each compressed block. AC energy between each compressed block is compared using AC energy between the vertical block or the adjacent block below (vertical edge or V edge). These H and V energy ratios are summed to generate a tiling value for each block. These tiling values are added (summed) over a plurality of tiles in each of several regions in the frame to form a grid of tiling values for the image. Typically, the maximum value for that image or frame is reported as the tiling value. It should be noted that only tiling that occurs on the block grid that is aligned on the straight
ＭＰＥＧ２圧縮コード化（符号化）処理では、ビデオ信号中の複数の画像又はフレームのシリーズが、Ｉフレームとして個別に圧縮されるか、若しくは、Ｂ又はＰフレームのように、移動動作を推定して周囲のフレームとの関係を予測することによって圧縮される。画素０，０のタイリングは、典型的には、デコーダがＩフレームを出力する場合である。しかし、その現在のデコードから生じる関連のＰ及びＢフレームがタイリングを含んでいるかもしれないが、タイルは画素０，０からフレーム内で動きベクトルによって移動する。従って、これらフレームにおけるタイリングの酷さは、適切には示されない。また、先にコード化処理／デコード化処理された画像からのタイリングがある可能性もあるが、これは、第２コード化処理の一部としてリサンプルされるか又はシフトされてクロップされ、画素０，０を含む一直線上にはないので、検出されない。最後に、もし先のコード化処理／デコード化処理で生じたタイリングがあって、画像が１０８０ｉ（インタレース）から７２０ｐ（プログレッシブ）への変換のようにリサイズ（サイズ変更）された場合、ブロック又はタイルのサイズがもはやオリジナルの圧縮処理と同じグリッド間隔ではないので、そのタイリングは、デコーダの出力では検出されないであろう。
In MPEG2 compression coding (encoding) processing, multiple images or series of frames in a video signal are individually compressed as I frames, or the movement motion is estimated as B or P frames. It is compressed by predicting the relationship with surrounding frames. Tiling of
図１は、上述した現在の技術によるタイリングを検出できない結果となる典型的な状況を表す。オリジナルのビデオを表す圧縮されたＭＰＥＧ２信号は、Ｙ、Ｕ及びＶ信号のようなコンポーネント・ビデオ信号を生成するデコーダ２に入力される。デコーダ２は、デコーダからのベースバンド・ビデオを表すＹフレーム中に示されるように、タイリングを生成する。ＭＰＥＧ２は、８×８タイル（又は、場合により１６×１６タイル）に基づくので、得られるＹフレーム画像は、デコード（復号）された複数の８×８タイルを合成したものである。この状況では、Ｙフレームは、１０８０ｉビデオ信号（１０８０ライン×１９２０列）を表す。
FIG. 1 represents a typical situation that results in failure to detect tiling according to the current technology described above. The compressed MPEG2 signal representing the original video is input to a
ケーブル・テレビジョン会社のような仲介業者は、１０８０ｉビデオ信号をリサイズし、７２０ｐビデオ信号（７２０ライン×１２８０列）を生成することがある。オリジナルの８×８タイルの境界上の目に見えるタイリング・アーティファクトは、２／３（８×８）タイルにリサイズされる。この７２０ｐビデオ信号は、ＭＰＥＧ２信号を生成するためにコード化（符号化）され、ＭＰＥＧ２信号は、エンド・ユーザのテレビジョン装置に伝送される。エンド・ユーザは、ＭＰＥＧ２信号をデコード（復号）し、視聴用の最終バージョンを生成するが、これは、デコーダからの８×８タイルはもちろんのこと、リサイズされたタイル（２／３（８×８））との両方の目に見えるアーティファクトを含んでいる。その結果は、現在の技術では検出されない目に見える２／３（８×８）タイル・アーティファクトを多数有する画像となるかもしれない。 An intermediary such as a cable television company may resize a 1080i video signal and generate a 720p video signal (720 lines x 1280 columns). Visible tiling artifacts on the boundary of the original 8x8 tile are resized to 2/3 (8x8) tiles. This 720p video signal is encoded (encoded) to generate an MPEG2 signal, which is transmitted to the end user's television device. The end user decodes the MPEG2 signal to produce the final version for viewing, which is the 8x8 tile from the decoder as well as the resized tile (2/3 (8x 8)) and both visible artifacts. The result may be an image with many visible 2/3 (8 × 8) tile artifacts that are not detected by current technology.
デコーダ出力における過剰圧縮やデータ損失が原因のデコードされた圧縮ビデオ信号中のタイリング又はブロックノイズの酷さ（障害レベル）を検出する方法が必要とされており、この方法は、位相シフトや画素０，０を含む一直線上にタイリング・パターンを揃えることには関係なく、典型的な画像リサイズ比のいくつかに対応している。 What is needed is a method for detecting tiling or block noise severity (failure level) in a decoded compressed video signal due to over-compression or data loss at the decoder output. Regardless of aligning tiling patterns on a straight line including 0, 0, it corresponds to some typical image resizing ratios.
そこで、本発明は、画像中のタイリング又はブロックノイズによって生成されるスペクトラム・シグナチャを見つけるためのブロック・エッジにおける１次元ベクトルを用いた、スペクトラム・パワー・シグナチャによるタイリング又はブロックノイズ検出処理を提供する。シグナチャとは、同一性を示す独特の特徴のことである。輝度のような画像のベースバンド成分（コンポーネント）のエッジの値を増加させ、各水平ラインに沿った画素値が合算されて、その画像に関するエッジ値の合計である１次元の列ベクトルが形成される。列ベクトルのパワーと、列ベクトル内の選択された周波数成分のパワーが求められる。続いて、これらパワーは、合成されて、次元のない（無次元）値に変換され、上記選択周波数のそれぞれに関連するタイリング又はブロックノイズ値を生成する。 Therefore, the present invention performs a tiling or block noise detection process using a spectrum power signature using a one-dimensional vector at a block edge for finding a spectrum signature generated by tiling or block noise in an image. provide. A signature is a unique feature that shows identity. The value of the edge of the baseband component (component) of the image, such as luminance, is increased and the pixel values along each horizontal line are summed to form a one-dimensional column vector that is the sum of the edge values for that image. The The power of the column vector and the power of the selected frequency component in the column vector are determined. These powers are then combined and converted to dimensionless (dimensionless) values to produce tiling or block noise values associated with each of the selected frequencies.
より具体的には、本発明の概念１は、画像中のタイリング又はブロックノイズを検出する方法であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定するステップと、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために、上記パワー値を合成するステップと
を具えている。
More specifically,
Generating a column vector comprising a plurality of edge values for the image;
Determining, from the column vector, a power value of the column vector and a power value for each of a group of a plurality of predetermined frequencies;
Synthesizing the power values to generate tiling or block noise values for each of the predetermined frequencies.
本発明の概念２は、上記概念１による方法であって、上記生成するステップが、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。
The
Increasing edge values along each of the horizontal lines of the image to generate edge pixels having increased values;
Adding the edge pixels along each of the horizontal lines to generate a sum of pixels for each of the horizontal lines, wherein a plurality of the pixels for all of the horizontal lines are included. The sum forms a plurality of the edge values of the column vector.
本発明の概念３は、上記概念２による方法であって、上記生成するステップが、上記増加した値を、上記加算するステップの前に、上記エッジ画素に関する増加した値の絶対値に変換するステップを更に有している。
The
本発明の概念４は、上記概念３による方法であって、上記生成するステップが、ダイナミック・レンジを減らすために、上記加算するステップの前に、上記増加した値の絶対値をクリップする（clip：切り詰める）ステップを更に有している。
The concept 4 of the present invention is a method according to the
本発明の概念５は、上記概念１による方法であって、上記決定するステップが、
上記列ベクトルのＡＣ成分から上記パワー値を計算するステップと、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算するステップと、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。
The concept 5 of the present invention is a method according to the
Calculating the power value from the AC component of the column vector;
Calculating power values for the I and Q components of the AC component of the column vector at each of the predetermined frequencies;
Adding the power values for the I and Q components of each of the predetermined frequencies to generate the power value for each of the predetermined frequencies.
本発明の概念６は、上記概念５による方法であって、上記列ベクトルのパワー値を計算するステップが、
複数の上記エッジ値から上記列ベクトルに関する平均値を求めるステップと、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記ＡＣ成分を生成するステップと、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記ＡＣ成分に関する値の２乗の和（合計）として生成するステップと
を有している。
The concept 6 of the present invention is the method according to the concept 5, wherein the step of calculating the power value of the column vector includes:
Obtaining an average value for the column vector from a plurality of the edge values;
Subtracting the average value from each of the edge values in the column vector to generate the AC component of the column vector;
Generating the power value related to the column vector as a sum (sum) of squares of values related to the AC component of the column vector.
本発明の概念７は、上記概念６による方法であって、上記Ｉ及びＱ成分のパワー値を計算するステップが、
上記列ベクトルの上記ＡＣ成分をブロック・サイズ及び所定周波数に応じてダウン・コンバートし、上記所定周波数のそれぞれに関するＩ及びＱ成分を生成するステップと、
上記Ｉ及びＱ成分に関する値の２乗の和として、上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成するステップと、
上記所定周波数のそれぞれに関する上記Ｉ及びＱ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有している。
The concept 7 of the present invention is the method according to the concept 6, wherein the step of calculating the power values of the I and Q components includes:
Down-converting the AC component of the column vector according to a block size and a predetermined frequency to generate I and Q components for each of the predetermined frequencies;
Generating the power value for each of the I and Q components as a sum of squares of the values for the I and Q components;
Adding the I and Q components for each of the predetermined frequencies to generate the power value for each of the predetermined frequencies.
本発明の概念８は、上記概念１による方法であって、上記合成するステップが、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップと
を有している。
The
Converting the power value for each of the column vector and the predetermined frequency into a dimensionless quantity;
Subtracting the dimensionless quantity for the column vector from each of the dimensionless quantities for the predetermined frequency to generate a tiling or block noise value for each of the predetermined frequencies.
本発明の概念９は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループそれぞれに関するパワー値とを決定する手段と、
上記パワー値を合成し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を具えている。
Concept 9 of the present invention is an apparatus for detecting tiling or block noise in an image,
Means for generating a column vector comprising a plurality of edge values for the image;
Means for determining, from the column vector, a power value of the column vector and a power value for each group of a plurality of predetermined frequencies;
Means for combining the power values and generating tiling or block noise values for each of the predetermined frequencies.
本発明の概念１０は、上記概念９による装置であって、上記生成する手段が、
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成する手段と、
上記水平ラインのそれぞれに関する画素の和を生成するために、上記水平ラインのそれぞれに沿って上記エッジ画素を加算する手段とを有し、このとき、上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。
The
Means for increasing edge values along each of the horizontal lines of the image and generating edge pixels having increased values;
Means for adding the edge pixels along each of the horizontal lines to generate a sum of pixels for each of the horizontal lines, wherein a plurality of the pixels for all of the horizontal lines The sum forms a plurality of the edge values of the column vector.
本発明の概念１１は、上記概念１０による装置であって、上記生成する手段が、上記加算する手段に入力する前に、上記増加した値を、上記エッジ画素に関する増加した値の絶対値に変換する手段を更に有している。
The concept 11 of the present invention is the apparatus according to the
本発明の概念１２は、上記概念１１による装置であって、上記生成する手段が、ダイナミック・レンジを減らすために、上記加算する手段の前に、上記増加した値の絶対値をクリップする（clip：切り詰める）手段を更に有している。
The
本発明の概念１３は、上記概念９による装置であって、上記決定する手段が、
上記列ベクトルのＡＣ成分から上記パワー値を計算する手段と、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算する手段と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。
The concept 13 of the present invention is an apparatus according to the concept 9, wherein the means for determining is
Means for calculating the power value from the AC component of the column vector;
Means for calculating power values for the I and Q components of the AC component of the column vector at each of the predetermined frequencies;
Means for adding the power values for the I and Q components of each of the predetermined frequencies to generate the power values for each of the predetermined frequencies.
本発明の概念１４は、上記概念１３による装置であって、上記列ベクトルのパワー値を計算する手段が、
複数の上記エッジ値から上記列ベクトルに関する平均値を求める手段と、
上記列ベクトル中の上記エッジ値のそれぞれから上記平均値を引き算し、上記列ベクトルの上記ＡＣ成分を生成する手段と、
上記列ベクトルに関する上記パワー値を、上記列ベクトルの上記ＡＣ成分に関する値の２乗の和として生成する手段と
を有している。
The
Means for obtaining an average value for the column vector from a plurality of the edge values;
Means for subtracting the average value from each of the edge values in the column vector to generate the AC component of the column vector;
Means for generating the power value for the column vector as a sum of squares of values for the AC component of the column vector.
本発明の概念１５は、上記概念１４による装置であって、Ｉ及びＱ成分のパワー値を計算する手段が、
上記列ベクトルの上記ＡＣ成分をブロック・サイズ及び所定周波数に応じてダウン・コンバートし、上記所定周波数のそれぞれに関するＩ及びＱ成分を生成する手段と、
上記Ｉ及びＱ成分に関する値の２乗の和として、上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成する手段と、
上記所定周波数のそれぞれに関する上記Ｉ及びＱ成分を加算して、上記所定周波数のそれぞれに関する上記パワー値を生成する手段と
を有している。
The concept 15 of the present invention is the apparatus according to the
Means for down-converting the AC component of the column vector according to a block size and a predetermined frequency to generate I and Q components for each of the predetermined frequencies;
Means for generating the power value for each of the I and Q components as a sum of squares of the values for the I and Q components;
Means for adding the I and Q components for each of the predetermined frequencies to generate the power value for each of the predetermined frequencies.
本発明の概念１６は、上記概念９による装置であって、上記合成する手段が、
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換する手段と、
上記所定周波数に関する上記無次元量のそれぞれから、上記列ベクトルに関する上記無次元量を引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成する手段と
を有している。
The
Means for converting the power value for each of the column vector and the predetermined frequency into a dimensionless quantity;
Means for subtracting the dimensionless quantity relating to the column vector from each of the dimensionless quantities relating to the predetermined frequency to generate a tiling or block noise value relating to each of the predetermined frequencies.
本発明の概念１７は、画像中のタイリング又はブロックノイズを検出する装置であって、
上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、
上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、
上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部と
を具えている。
The concept 17 of the present invention is an apparatus for detecting tiling or block noise in an image,
A column vector generation unit which receives as input data representing the image and supplies as output a column vector consisting of a plurality of edge values related to the image;
A power determination unit that receives the column vector as an input and supplies the column vector and a power value related to a predetermined frequency in the column vector as an output;
A synthesizing unit that receives the power value related to the column vector and the predetermined frequency as an input and supplies a tiling or block noise value related to the predetermined frequency as an output.
本発明の概念１８は、上記概念１７による装置であって、上記列ベクトル生成部が、
上記画像を表すデータを入力とし、上記画像の上記水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を出力とするエッジ・フィルタと、
上記水平ラインに沿った複数の上記エッジ画素を入力とし、上記水平ラインのそれぞれに関する画素の和を出力とする加算部とを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成している。
The
An edge filter that takes data representing the image as input, increases the value of an edge along each of the horizontal lines of the image, and outputs an edge pixel having the increased value;
A plurality of the edge pixels along the horizontal line as an input, and an adder that outputs a sum of pixels relating to each of the horizontal lines,
The sum of the plurality of pixels for all of the horizontal lines forms the plurality of edge values of the column vector.
本発明の概念１９は、上記概念１８による装置であって、上記列ベクトル生成部が、上記増加した値を入力とし、上記エッジ画素に関する上記増加した値の絶対値を出力として上記加算部に入力させる絶対値コンバータを有している。
The concept 19 of the present invention is the apparatus according to the
本発明の概念２０は、上記概念１９による装置であって、上記列ベクトル発生部は、上記加算部への入力の前に、上記増加した値の絶対値を入力とし、ダイナミック・レンジを低減するために、上記増加した値の絶対値のクリップ値を出力とするクリッパを更に有している。
The
本発明の概念２１は、上記概念１７による装置であって、上記パワー決定部が、
上記列ベクトルのＡＣ成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第１パワー計算部と、
上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのＩ及びＱ成分に関する上記パワー値を出力とする第２パワー計算部と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部と
を有している。
The concept 21 of the present invention is an apparatus according to the concept 17, wherein the power determining unit is
A first power calculator that receives an AC component of the column vector as an input and outputs the power value related to the column vector;
A second power calculation unit that receives the AC component of the column vector as an input and outputs the power value related to the I and Q components of the column vector at each of the predetermined frequencies;
And an adder that inputs the power values related to the I and Q components of the predetermined frequencies and outputs the power values related to the predetermined frequencies.
本発明の概念２２は、上記概念２１による装置であって、上記第１パワー計算部が、
上記列ベクトルの複数の上記エッジ値を入力とし、出力として上記エッジ値の平均値を生成するＤＣ決定部と、
上記列ベクトルの複数の上記エッジ値を第１入力とし、上記平均値を第２入力とし、上記エッジ値と上記平均値の差として上記列ベクトルの上記ＡＣ成分を生成して出力とする減算部と、
上記ＡＣ成分を入力とし、上記列ベクトルの上記ＡＣ成分に関する上記エッジ値の２乗の和として上記列ベクトルの上記パワー値を生成して出力とするパワー生成部と
を有している。
The
A DC determining unit that receives a plurality of the edge values of the column vector as input and generates an average value of the edge values as an output;
A plurality of edge values of the column vector as a first input, the average value as a second input, a subtracting unit that generates and outputs the AC component of the column vector as a difference between the edge value and the average value When,
A power generation unit that receives the AC component as input, generates the power value of the column vector as a sum of squares of the edge values related to the AC component of the column vector, and outputs the generated power value.
本発明の概念２３は、上記概念２２による装置であって、上記第２パワー計算部が、
ブロック・サイズ及び上記所定周波数に応じた局部発振周波数と共に上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数に関するＩ及びＱ成分を出力とする上記所定周波数それぞれについてのダウン・コンバータと、
上記所定周波数に関する上記Ｉ及びＱ成分を入力とし、上記Ｉ及びＱ成分の値の２乗の和として上記Ｉ及びＱ成分のそれぞれに関する上記パワー値を生成して出力とするパワー生成部と、
上記所定周波数に関する上記Ｉ及びＱ成分を入力とし、上記所定周波数に関する上記パワー値を出力とする上記所定周波数のそれぞれについての合成部と
を有している。
The concept 23 of the present invention is an apparatus according to the
A down converter for each of the predetermined frequencies with the AC component of the column vector as input, together with a local oscillation frequency according to the block size and the predetermined frequency, and an output of I and Q components for the predetermined frequency;
A power generation unit that receives the I and Q components related to the predetermined frequency as input, generates the power value related to each of the I and Q components as a sum of squares of the values of the I and Q components, and outputs the generated power values;
And a combining unit for each of the predetermined frequencies having the I and Q components relating to the predetermined frequency as inputs and the power value relating to the predetermined frequency as an output.
本発明の概念２４は、上記概念１７による装置であって、上記合成部が、
上記所定周波数のそれぞれ及び上記列ベクトル用であって、それぞれの上記パワー値を入力とし、無次元値を出力とするコンバータと、
上記所定周波数のそれぞれ用であって、上記列ベクトル及び上記所定周波数に関する上記無次元値を入力とし、上記所定周波数に関するタイリング又はブロックノイズ値を出力とする減算部と
を有している。
The
A converter for each of the predetermined frequencies and for the column vector, each having the power value as an input and a dimensionless value as an output;
A subtracting unit for each of the predetermined frequencies, the column vector and the dimensionless value relating to the predetermined frequency as inputs, and a tiling or block noise value relating to the predetermined frequencies as outputs.
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。 The objects, advantages and other novel features of the present invention will become apparent from the following detailed description when read in conjunction with the appended claims and drawings.
ここで説明する方法は、現在デコード化（復号化）された画像に加えて、先にコード化（符号化）／デコード化された画像の両方において、タイリングが画像０，０（オリジナル位置において）を含む一直線上にあるかどうかに関係なく、タイリング又はブロックノイズの障害レベルの検出を提供する。タイリング（８ライン・パターン）又はマクロブロッキング（１６ライン・パターン）によって生成される垂直方向の空間周波数の小さな１セット（１組）であり、高速フーリエ変換（ＦＦＴ）係数に類似するスペクトラム・シグナチャ（Signature：同一性を示す独特の特徴）を見つけるため、ベースバンド・ビデオ信号の各フレームに関する画像中の水平方向に沿った複数のエッジの絶対値を表す１次元列ベクトルが生成される。また、この方法は、以前のコード化（プリ・コード化）によるタイリング又はマクロブロッキングを別途示すために、１０８０ｉ又は１０８０ｐから７２０ｐフォーマットへの典型的な画像のリサイズ処理及びその逆方向のフォーマットのリサイズ処理が原因の２／３及び３／２周波数成分も見つける。 In the method described here, in addition to the currently decoded image, in addition to the previously coded / encoded image, the tiling is 0,0 (at the original position). ) Provides detection of tiling or block noise impairment levels regardless of whether they are in line. A small set of vertical spatial frequencies generated by tiling (8-line pattern) or macroblocking (16-line pattern), a spectrum signature similar to fast Fourier transform (FFT) coefficients In order to find (Signature: a unique feature indicating identity), a one-dimensional column vector is generated that represents the absolute values of the edges along the horizontal direction in the image for each frame of the baseband video signal. Also, this method can be used to resize a typical image from 1080i or 1080p to 720p format and vice versa to separately indicate tiling or macroblocking due to previous coding (pre-coding). Also find 2/3 and 3/2 frequency components due to resizing.
ここで図２を参照すると、ＭＰＥＧ２信号のような圧縮ビデオ信号からデコードされた輝度（Ｙ）２次元画像成分のようなデコードされたベースバンド・ビデオ成分が、エッジ検出部１２に入力され、各水平ラインに沿った垂直エッジの値を増加させる。エッジ検出部１２から得られる画素についての絶対値は、オプションでクリッパ（clipper）１４に入力され、値に制限を設ける、即ち、ダイナミック・レンジを減少させ、続いて、加算部１６に入力されて、１次元（１Ｄ）列ベクトルＣＶ（ｎ）が生成され、これのＤＣ成分を除去したものが図３に表されている。従って、１０８０ｉ又は１０８０ｐ画像フレームについては、その１Ｄ列ベクトル中に１０８０個の値があり、各水平ラインに関する合計値は、つまるところ、ｎ＝０．．．，Ｎ−１である。典型的なエッジ検出部１２は、次の２Ｄフィルタ・カーネルがある。
Referring now to FIG. 2, a decoded baseband video component such as a luminance (Y) two-dimensional image component decoded from a compressed video signal such as an MPEG2 signal is input to the
クリッパ１４は、もし利用した場合には、８ビット画像について、クリップ・レベルＣＬ＝３０を有するとしても良い。列ベクトルＣＶは、ＤＣ成分を除去する平均（Mean）除去部１８で処理するようにしても良い。つまり、ＣＶ（ｎ）−Mean（ＣＶ）、このとき、Mean（ＣＶ）＝（１／Ｎ）*ｓｕｍ（ＣＶ（ｎ））である。
If used, the
平均除去部１８から得られるＣＶは、単純スペクトラム評価部２０に入力され、これは、タイリング又はブロックノイズ係数８又は１６、若しくはリサイズ係数２／３又は３／２に対応する列ベクトル値の周波数成分を検出する。図２は、実例として、オリジナル位置のタイリング又はブロックノイズと、２／３のリサイズしているブロックノイズとを検出するスペクトラム評価部２０のみを示している。周期Ｂ及び２／３Ｂの複数の局部発振器が、複素サイン及びコサイン信号を生成するのに利用される。
The CV obtained from the
これらは、それぞれ対応する乗算部２２、２４、２６、２８に入力され、列ベクトルＣＶをベースバンドの実部及び虚部へとダウン・コンバートする。オリジナル位置の乗算部２２、２４からの出力は、それぞれ対応する２乗加算部３０、３２に入力され、和（合計）の２乗が生成される。
These are input to the corresponding
同様に、プリ・コード化乗算部２６、２８からの出力は、それぞれ対応する２乗加算部３４、３６に入力され、和の２乗が生成される。
Similarly, the outputs from the
Ｐｑ、Ｐｉ及びＰ’ｑ、Ｐ’ｉは、各ダウン・コンバート処理におけるベースバンド・パワーを表す。また、列ベクトルＣＶは、２乗加算部３８にも入力され、２乗の和が生成される。
Pq, Pi and P′q, P′i represent the baseband power in each down-conversion process. The column vector CV is also input to the
これは、列ベクトルのパワーの和（合計）を表す。 This represents the sum (total) of column vector powers.
和の２乗Ｐｑ、Ｐｉ及びＰ’ｑ、Ｐ’ｉのそれぞれは、それぞれに対応する加算部４２、４４に入力されるが、これらは、プロセッサ上で動作しているソフトウェア・アプリケーション４０の一部分としても良く、出力信号は対数値に変換される。これは、出力Ｐｃｖも同様である。フレーム当たりのオリジナル位置のタイリング値が、オリジナル位置の加算部４２に関する対数値と、Ｐｃｖに関する対数値とを入力とする減算部４６で生成される一方、フレーム当たりのプリ・コード化タイリング値が、プリ・コード化加算部４４に関する対数値と、Ｐｃｖに関する対数値とを入力とする減算部４８で生成される。オリジナル位置のタイリング値は、次に示すように表すことができる。
Each of the sum squares Pq, Pi and P′q, P′i is input to a
そして、プリ・コード化タイリング値は、次のように表すことができる。 The pre-coded tiling value can then be expressed as:
これらの結果は、次元のない（無次元の）対数形式のパワー比率である。 These results are power ratios in a logarithmic form with no dimensions (dimensions).
図４は、１０８０ライン画像から得られた１つの列ベクトルに関する水平エッジ・パワーの線形スペクトラム・プロットである。ｘ軸は、垂直空間周波数、簡単のため、画像の高さ当たりのサイクルを単位とする周波数である。例えば、１０８０ラインの画像における８ライン繰り返しパターンは、１０８０／８の周波数を生成し、これは、画像の高さ当たり１３５サイクルである。マーカFmb及びFmb２が、オリジリナル位置の周波数及びプリ・コード化周波数のそれぞれに関して示されている。この例では、オリジリナル位置の周波数においてのみスパイクがあって、８×８のオリジナル位置タイリング・ブロック上のタイリングを示すと共に、更に高い周波数には基本的にタイリングがないことを示している。 FIG. 4 is a linear spectrum plot of horizontal edge power for one column vector obtained from a 1080 line image. The x-axis is the vertical spatial frequency, for simplicity, the frequency in cycles per image height. For example, an 8-line repeating pattern in a 1080 line image produces a frequency of 1080/8, which is 135 cycles per image height. Markers Fmb and Fmb2 are shown for the original position frequency and the pre-coded frequency, respectively. In this example, there is a spike only at the frequency of the original position, indicating tiling on the 8x8 original position tiling block, and basically showing no tiling at higher frequencies. .
図５は、別の７２０ライン画像に関する同様な線形スペクトラム・プロットであるが、ここでは、Fmb２の７２０／５.３３３、つまり、１３５サイクル／高さにおいて、かなり大きなスパイクがあり、２／３（８×８）、つまり５.３３３ラインにおいて、プリ・コード化ブロッキングが原因のタイリングの可能性を示している。７２０／１０.６６７、つまり、６７.５サイクル／高さにおいて、更に大きくさえあるスパイクがあり、プリ・コード化ブロッキングが原因の２／３（１６×１６）、つまり、１０.６６７ラインにおけるタイリングを示している。Fmb２におけるスパイクは、６７.５サイクル／高さにおけるスパイクの２次高調波であり、両方のスパイクは、
１６×１６グリッド上のプリ・コード化タイリング・アーティファクトによって作られたものであり、これは元々は１０８０ライン画像中にあったものが７２０ラインにリサイズされて、２／３（１６）、つまり、１０.６６７ライン毎に繰り返すエッジ・パターンを生成したものである。従って、どのようなプリ・コード化１６×１６タイリング・エッジも、高調波の大きなものを有するので、７２０ラインに変換された１０８０ライン画像上のプリ・コード化された１６×１６タイリング又は８×８タイリングのどちらも、Fmb２におけるスパイクによって検出可能である。小さなスパイクがFmbにおいて見られるが、相対的に小さな量のオリジナル位置の８×８タイリングを示しているに過ぎない。
FIG. 5 is a similar linear spectrum plot for another 720 line image, but here there is a fairly large spike at 720 / 5.333 of Fmb2, ie 135 cycles / height, 2/3 ( 8 × 8), or 5.333 lines, shows the possibility of tiling due to pre-coded blocking. At 720 / 10.667, or 67.5 cycles / height, there is a spike that is even larger, 2/3 (16 × 16) due to pre-coded blocking, ie a tie at the 10.667 line. Shows the ring. The spike in Fmb2 is the second harmonic of the spike at 67.5 cycles / height, both spikes are
Created by pre-coding tiling artifacts on a 16x16 grid, which was originally in a 1080 line image, resized to 720 lines, 2/3 (16), An edge pattern that repeats every 10.667 lines is generated. Thus, any pre-coded 16x16 tiling edge has a higher harmonic, so pre-coded 16x16 tiling on a 1080 line image converted to 720 lines or Both 8x8 tilings can be detected by spikes in Fmb2. Small spikes are seen in the Fmb, but only show a relatively small amount of 8 × 8 tiling of the original position.
特定の周波数のみに関心があるので、スペクトラム・パワー・シグナチャを生成するためにＦＦＴを使用する必要はない。従って、本発明は、示したように、リアルタイムで動作する。大きさのみ測定するので、タイリングの結果は位相とは関係が無い、つまり、垂直シフトとは関係がない。同様に、本発明は、水平方向のサイズ変更や水平方向のクロッピングとも関係がない。上述の説明では、各水平ラインに沿ったエッジ値を表す１Ｄ列ベクトルを生成しているが、同じプロセスを適用して、画像フレーム内における画素の各垂直列に関する１Ｄ列ベクトルを生成しても良い。更に、フレームを画像の高さに沿ってセグメントに分割し、各セグメントについて別々にタイリング値を生成するようにしても良い。特定の値を超えることが示された周波数におけるスペクトラム・パワー・シグナチャの振幅は、その所定周波数と共にタイリング又はブロックノイズとして報告されるようにしても良く、このとき、この特定の値は、経験に基づいて、目に見えるアーティファクトが視聴者の目を引き始めるレベルとして定めても良い。 There is no need to use FFT to generate the spectrum power signature because only specific frequencies are of interest. Thus, the present invention operates in real time as shown. Since only the magnitude is measured, the result of tiling is not related to phase, i.e. not related to vertical shift. Similarly, the present invention is not related to horizontal resizing or horizontal cropping. In the above description, a 1D column vector representing edge values along each horizontal line is generated, but the same process can be applied to generate a 1D column vector for each vertical column of pixels in an image frame. good. Further, the frame may be divided into segments along the height of the image, and tiling values may be generated separately for each segment. The amplitude of the spectrum power signature at a frequency indicated to exceed a certain value may be reported as tiling or block noise along with that predetermined frequency, this particular value being May be defined as a level at which visible artifacts begin to catch the viewer's eyes.
このように、本発明は、画像の全域に渡って複数のエッジ値からなる１次元列ベクトルを生成し、その１Ｄ列ベクトルに関する複数の所定周波数におけるパワーを決定し、各所定周波数におけるパワーから列ベクトル・パワーを引き算して、各所定周波数に関する無次元の値へと変換されたタイリング又はブロックノイズ値を生成することによって、スペクトラム・パワー・シグナチャに基づくタイリング又はブロックノイズ検出を提供する。 Thus, the present invention generates a one-dimensional column vector composed of a plurality of edge values over the entire area of the image, determines the power at a plurality of predetermined frequencies for the 1D column vector, and determines the sequence from the power at each predetermined frequency. Subtracting vector power to produce tiling or block noise values converted to dimensionless values for each predetermined frequency provides tiling or block noise detection based on spectrum power signatures.
１２ エッジ検出部
１４ クリッパ
１６ 加算部
１８ 平均除去部
２０ スペクトラム評価部
２２ 乗算部
２４ 乗算部
２６ 乗算部
２８ 乗算部
３０ ２乗加算部
３２ ２乗加算部
３４ ２乗加算部
３６ ２乗加算部
３８ ２乗加算部
４０ ソフトウェア・アプリケーション
４２ 加算部
４４ 加算部
４６ 減算部
４８ 減算部
12
Claims (9)
上記画像に関する複数のエッジ値からなる列ベクトルを生成するステップと、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定するステップと、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成するステップと
を具えるタイリング又はブロックノイズ検出方法。 A method for detecting tiling or block noise in an image, comprising:
Generating a column vector comprising a plurality of edge values for the image;
Determining, from the column vector, a power value of the column vector and a power value for each of a group of a plurality of predetermined frequencies;
A tiling or block noise detection method comprising: combining the power values to generate tiling or block noise values for each of the predetermined frequencies.
上記画像の水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を生成するステップと、
上記水平ラインのそれぞれに関する画素の和を生成するために上記水平ラインのそれぞれに沿って上記エッジ画素を加算するステップとを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成する請求項１記載の方法。 The method of claim 1, wherein the generating step comprises:
Increasing edge values along each of the horizontal lines of the image to generate edge pixels having increased values;
Adding the edge pixels along each of the horizontal lines to generate a sum of pixels for each of the horizontal lines;
The method of claim 1, wherein a sum of a plurality of the pixels for all of the horizontal lines forms a plurality of the edge values of the column vector.
上記列ベクトルのＡＣ成分から上記パワー値を計算するステップと、
上記所定周波数のそれぞれにおいて上記列ベクトルの上記ＡＣ成分のＩ及びＱ成分に関するパワー値を計算するステップと、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を加算し、上記所定周波数のそれぞれに関する上記パワー値を生成するステップと
を有する請求項１記載の方法。 The method of claim 1, wherein the determining step comprises:
Calculating the power value from the AC component of the column vector;
Calculating power values for the I and Q components of the AC component of the column vector at each of the predetermined frequencies;
The method of claim 1, further comprising: adding the power values for the I and Q components of each of the predetermined frequencies to generate the power value for each of the predetermined frequencies.
上記列ベクトル及び上記所定周波数のそれぞれに関する上記パワー値を無次元量に変換するステップと、
上記列ベクトルに関する上記無次元量を、上記所定周波数のそれぞれに関する上記無次元量から引き算し、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するステップと
を有する請求項１記載の方法 The method of claim 1, wherein the synthesizing step.
Converting the power value for each of the column vector and the predetermined frequency into a dimensionless quantity;
The method of claim 1, further comprising: subtracting the dimensionless quantity for the column vector from the dimensionless quantity for each of the predetermined frequencies to generate a tiling or block noise value for each of the predetermined frequencies.
上記画像に関する複数のエッジ値からなる列ベクトルを生成する手段と、
上記列ベクトルから、該列ベクトルのパワー値と、複数の所定周波数からなるグループのそれぞれに関するパワー値とを決定する手段と、
上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を生成するために上記パワー値を合成する手段と
を具えるタイリング又はブロックノイズ検出装置。 A device for detecting tiling or block noise in an image,
Means for generating a column vector comprising a plurality of edge values for the image;
Means for determining from the column vector a power value of the column vector and a power value for each of a group of a plurality of predetermined frequencies;
A tiling or block noise detection device comprising: means for synthesizing the power values to generate tiling or block noise values for each of the predetermined frequencies.
上記画像を表すデータを入力とし、上記画像に関する複数のエッジ値からなる列ベクトルを出力として供給する列ベクトル生成部と、
上記列ベクトルを入力とし、上記列ベクトル及び該列ベクトル内の所定周波数に関するパワー値を出力として供給するパワー決定部と、
上記列ベクトル及び上記所定周波数に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関するタイリング又はブロックノイズ値を出力として供給する合成部と
を具えるタイリング又はブロックノイズ検出装置。 A device for detecting tiling or block noise in an image,
A column vector generation unit which receives as input data representing the image and supplies as output a column vector consisting of a plurality of edge values related to the image;
A power determination unit that receives the column vector as an input and supplies the column vector and a power value related to a predetermined frequency in the column vector as an output;
A tiling or block noise detecting device comprising: a combining unit that receives the column vector and the power value related to the predetermined frequency as inputs and supplies a tiling or block noise value related to each of the predetermined frequencies as an output.
上記画像を表すデータを入力とし、上記画像の上記水平ラインのそれぞれに沿ってエッジの値を増加させ、増加した値を有するエッジ画素を出力とするエッジ・フィルタと、
上記水平ラインに沿った複数の上記エッジ画素を入力とし、上記水平ラインのそれぞれに関する画素の和を出力とする加算部とを有し、
上記水平ラインの全てについての複数の上記画素の和が、上記列ベクトルの複数の上記エッジ値を形成する請求項６記載の装置。 The apparatus according to claim 6, wherein the column vector generation unit is
An edge filter that takes data representing the image as input, increases the value of an edge along each of the horizontal lines of the image, and outputs an edge pixel having the increased value;
A plurality of the edge pixels along the horizontal line as an input, and an adder that outputs a sum of pixels relating to each of the horizontal lines,
The apparatus of claim 6, wherein a sum of a plurality of the pixels for all of the horizontal lines forms a plurality of the edge values of the column vector.
上記列ベクトルのＡＣ成分を入力とし、上記列ベクトルに関する上記パワー値を出力とする第１パワー計算部と、
上記列ベクトルの上記ＡＣ成分を入力とし、上記所定周波数のそれぞれにおける上記列ベクトルのＩ及びＱ成分に関する上記パワー値を出力とする第２パワー計算部と、
上記所定周波数のそれぞれの上記Ｉ及びＱ成分に関する上記パワー値を入力とし、上記所定周波数のそれぞれに関する上記パワー値を出力とする加算部と
を有する請求項６記載の装置。 7. The apparatus according to claim 6, wherein the power determining unit is
A first power calculator that receives an AC component of the column vector as an input and outputs the power value related to the column vector;
A second power calculation unit that receives the AC component of the column vector as an input and outputs the power value related to the I and Q components of the column vector at each of the predetermined frequencies;
The apparatus according to claim 6, further comprising: an adder configured to input the power value related to the I and Q components of each of the predetermined frequencies and to output the power value related to each of the predetermined frequencies.
上記所定周波数のそれぞれ及び上記列ベクトル用であって、それぞれの上記パワー値を入力とし、無次元値を出力とするコンバータと、
上記所定周波数のそれぞれ用であって、上記列ベクトル及び上記所定周波数に関する上記無次元値を入力とし、上記所定周波数に関するタイリング又はブロックノイズ値を出力とする減算部と
を有する請求項６記載の装置。 The apparatus according to claim 6, wherein the combining unit includes:
A converter for each of the predetermined frequencies and for the column vector, each having the power value as an input and a dimensionless value as an output;
The subtracting unit for each of the predetermined frequencies, having the column vector and the dimensionless value related to the predetermined frequency as inputs, and a tiling or block noise value related to the predetermined frequency as an output. apparatus.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/454,484 | 2012-04-24 | ||
| US13/454,484 US9071825B2 (en) | 2012-04-24 | 2012-04-24 | Tiling or blockiness detection based on spectral power signature |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013229872A true JP2013229872A (en) | 2013-11-07 |
| JP6259199B2 JP6259199B2 (en) | 2018-01-10 |
Family
ID=48190145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013091295A Active JP6259199B2 (en) | 2012-04-24 | 2013-04-24 | Tiling or block noise detection method and apparatus |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9071825B2 (en) |
| EP (1) | EP2658259B1 (en) |
| JP (1) | JP6259199B2 (en) |
| CN (1) | CN103379339B (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522349A (en) * | 2015-07-20 | 2018-08-09 | 学校法人沖縄科学技術大学院大学学園 | Two-dimensional discrete Fourier transform with simultaneous edge artifact removal for real-time applications |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107592541B (en) * | 2017-09-13 | 2022-03-04 | 中国科学院半导体研究所 | Image decompression method and system |
| EP3771213A1 (en) * | 2019-07-24 | 2021-01-27 | Deutsche Telekom AG | System and method to estimate blockiness in transform-based video encoding |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002372995A (en) * | 2001-06-15 | 2002-12-26 | Sony Corp | Encoding device and method, decoding device and method, encoding program and decoding program |
| US20110249892A1 (en) * | 2010-04-09 | 2011-10-13 | Chen Chunhua | Blind blocking artifact measurement approaches for digital imagery |
| US20120027103A1 (en) * | 2010-07-28 | 2012-02-02 | Muni Byas | Block noise detection in digital video |
| JP2012042462A (en) * | 2010-08-13 | 2012-03-01 | Tektronix Inc | Examination measurement instrument and trigger method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6437821B1 (en) * | 1999-12-22 | 2002-08-20 | Tektronix, Inc. | Harmonic measurement of blockiness in video signals |
| GB0026846D0 (en) * | 2000-11-03 | 2000-12-20 | Clayton John C | Motion compensation of images |
| US7720288B2 (en) * | 2006-03-21 | 2010-05-18 | Eastman Kodak Company | Detecting compositing in a previously compressed image |
| JP4649355B2 (en) * | 2006-03-27 | 2011-03-09 | 富士通株式会社 | Block noise detection method and apparatus, and block noise reduction method and apparatus |
| US8452117B2 (en) * | 2009-02-10 | 2013-05-28 | Silicon Image, Inc. | Block noise detection and filtering |
-
2012
- 2012-04-24 US US13/454,484 patent/US9071825B2/en active Active
-
2013
- 2013-04-22 EP EP13164725.7A patent/EP2658259B1/en active Active
- 2013-04-23 CN CN201310216605.XA patent/CN103379339B/en not_active Expired - Fee Related
- 2013-04-24 JP JP2013091295A patent/JP6259199B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002372995A (en) * | 2001-06-15 | 2002-12-26 | Sony Corp | Encoding device and method, decoding device and method, encoding program and decoding program |
| US20110249892A1 (en) * | 2010-04-09 | 2011-10-13 | Chen Chunhua | Blind blocking artifact measurement approaches for digital imagery |
| US20120027103A1 (en) * | 2010-07-28 | 2012-02-02 | Muni Byas | Block noise detection in digital video |
| JP2012042462A (en) * | 2010-08-13 | 2012-03-01 | Tektronix Inc | Examination measurement instrument and trigger method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018522349A (en) * | 2015-07-20 | 2018-08-09 | 学校法人沖縄科学技術大学院大学学園 | Two-dimensional discrete Fourier transform with simultaneous edge artifact removal for real-time applications |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6259199B2 (en) | 2018-01-10 |
| EP2658259A1 (en) | 2013-10-30 |
| US20130279607A1 (en) | 2013-10-24 |
| CN103379339B (en) | 2018-06-19 |
| CN103379339A (en) | 2013-10-30 |
| US9071825B2 (en) | 2015-06-30 |
| EP2658259B1 (en) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008508751A (en) | Apparatus and method for adaptive 3D fictitious video reduction for encoded image signals | |
| CN103037217B (en) | The image detected in interpolated image damages | |
| TW201004368A (en) | Low-complexity and high-quality error concealment techniques for video sequence transmissions | |
| JP2010512039A (en) | Image processing system for processing a combination of image data and depth data | |
| JP2010093779A (en) | Method and apparatus for periodic structure handling in motion compensation | |
| GB2437337A (en) | Measuring block artefacts in video data using an auto-correlation function | |
| JP2005159419A (en) | Apparatus and method of processing image, computer program and computer-readable storage medium | |
| Perra | A low computational complexity blockiness estimation based on spatial analysis | |
| JP6259199B2 (en) | Tiling or block noise detection method and apparatus | |
| JP6435029B2 (en) | Video encoding apparatus and video encoding program | |
| Yang et al. | Perceptual based SAO rate-distortion optimization method with a simplified JND model for H. 265/HEVC | |
| JP2009089177A (en) | Image processor and its method | |
| JP2014230143A (en) | Image differential amount calculation device, image encoding device and image differential amount calculation program | |
| Chen et al. | DC coefficient estimation of intra-predicted residuals in HEVC | |
| JP2008219100A (en) | Predictive image generating device, method and program, and image encoding device, method and program | |
| JP2010278519A (en) | Motion vector detector | |
| JP6069009B2 (en) | Image decoding apparatus and image decoding program | |
| JP5234812B2 (en) | Video quality estimation apparatus, method, and program | |
| Chen et al. | A gradient inverse weighted filtering approach for video deinterlacing | |
| KR101311143B1 (en) | Encoding device and method for high speed processing image | |
| KR101652266B1 (en) | Autocorrelation-based interlaced to progressive format conversion | |
| WO2006084419A1 (en) | Method for reducing bit rate requirements for encoding multimedia data | |
| Kim et al. | Autocorrelation-based interlaced to progressive format conversion | |
| Jung et al. | Deinterlacing method based on edge direction refinement using weighted maximum frequent filter | |
| Gandam et al. | Detection of Blocking Artifacts in JPEG Compressed Images at Low Bit Rate for IoT Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20160420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170428 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
| R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171208 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6259199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |