KR100525467B1 - Apparatus and Methods for Objective Measurement of Video Quality - Google Patents

Apparatus and Methods for Objective Measurement of Video Quality Download PDF

Info

Publication number
KR100525467B1
KR100525467B1 KR10-2003-0013188A KR20030013188A KR100525467B1 KR 100525467 B1 KR100525467 B1 KR 100525467B1 KR 20030013188 A KR20030013188 A KR 20030013188A KR 100525467 B1 KR100525467 B1 KR 100525467B1
Authority
KR
South Korea
Prior art keywords
image
outline
video sequence
video
source
Prior art date
Application number
KR10-2003-0013188A
Other languages
Korean (ko)
Other versions
KR20040078311A (en
Inventor
이철희
이상우
나동원
박현중
Original Assignee
에스케이 텔레콤주식회사
학교법인연세대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사, 학교법인연세대학교 filed Critical 에스케이 텔레콤주식회사
Priority to KR10-2003-0013188A priority Critical patent/KR100525467B1/en
Publication of KR20040078311A publication Critical patent/KR20040078311A/en
Application granted granted Critical
Publication of KR100525467B1 publication Critical patent/KR100525467B1/en

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F25D25/02—Charging, supporting, and discharging the articles to be cooled by shelves
    • F25D25/024—Slidable shelves
    • F25D25/025—Drawers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B88/00—Drawers for tables, cabinets or like furniture; Guides for drawers
    • A47B88/40—Sliding drawers; Slides or guides therefor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D17/00—Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces
    • F25D17/04—Arrangements for circulating cooling fluids; Arrangements for circulating gas, e.g. air, within refrigerated spaces for circulating air, e.g. by convection
    • F25D17/042—Air treating means within refrigerated spaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2317/00—Details or arrangements for circulating cooling fluids; Details or arrangements for circulating gas, e.g. air, within refrigerated spaces, not provided for in other groups of this subclass
    • F25D2317/04—Treating air flowing to refrigeration compartments

Abstract

본 발명은 동영상 화질평가 장치 및 방법에 관한 것으로, 원래의 동영상인 소스(source) 영상을 입력하기 위한 소스영상입력부; 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부; 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부; 외곽선추출부의 출력영상으로부터 마스크 이미지(image)를 생성하기 위한 마스크 이미지 생성부; 소스영상입력부로 입력되는 영상 중 마스크 이미지에 대응하는 영상 및 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부; 및 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하고, 원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하고, 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 자승평균오차를 산출하며, 자승평균오차에 대한 최대신호대잡음비를 산출하고, 최대신호대잡음비에 따라 평가를 산출함으로써, 평가시간을 단축할 수 있음은 물론 실시간으로 정해진 기준에 따라 객관적 동영상 화질평가를 수행할 수 있다.The present invention relates to an apparatus and method for evaluating moving image quality, comprising: a source image input unit for inputting a source image as an original moving image; An evaluation target image input unit for receiving an image to be evaluated; An outline extracting unit for extracting an outline region of the source image input to the source image input unit; A mask image generator for generating a mask image from the output image of the outline extractor; A signal-to-noise ratio calculation unit configured to calculate an outline maximum signal-to-noise ratio by inputting an image corresponding to a mask image and an image input to the evaluation target input unit among the images input to the source image input unit; And an image quality evaluation unit for evaluating the image quality from the output data of the signal-to-noise ratio calculation unit, and generating an outline video sequence by applying an outline extraction algorithm to each image of the source video sequence, which is the original video, and between the source video sequence and the target video sequence. By calculating the squared mean error for the pixels in the outline regions of the frame, calculating the maximum signal-to-noise ratio for the squared mean error, and calculating the evaluation according to the maximum signal-to-noise ratio, the evaluation time can be shortened, Accordingly, objective video quality evaluation can be performed.

Description

동영상 화질 평가장치 및 방법{Apparatus and Methods for Objective Measurement of Video Quality}Apparatus and Methods for Objective Measurement of Video Quality

본 발명은 동영상 품질을 객관적으로 평가할 수 있는 동영상 화질 평가 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for evaluating moving image quality that can objectively evaluate moving image quality.

일반적으로 동영상(Video)에 대한 품질의 평가는 동영상의 품질을 평가하는 평가자들에 의해 주관적으로 이루어지는데, 이러한 평가들의 대부분은 기준이 되는 동영상을 이용하여 이루어지고 있다.In general, the evaluation of the quality of a video is subjective by evaluators who evaluate the quality of the video, and most of these evaluations are performed using the reference video.

기준 평가에 있어서, 평가자는 기준이 되는 동영상과 이와 비교하여 평가를 할 동영상을 비교하고 평가를 할 동영상에 평가자 나름대로의 주관적인 점수를 부여하기 때문에 이러한 평가들은 비디오 품질의 주관적인 테스트라고 일컬어진다.In the standard evaluation, the evaluator is referred to as a subjective test of video quality because the evaluator compares the reference video with the video to be evaluated and gives a subjective score to the video to be evaluated.

즉, 이러한 종래의 평가 방법은 인간의 지각력을 반영하는 것으로서, 평가를 하는데 있어 다수의 평가자가 요구되기 때문에 시간이 많이 소요되고 그에 따른 평가 비용이 상승하며 실시간으로 평가를 수행할 수 없는 문제점이 있었다.That is, such a conventional evaluation method reflects human perception, and it requires a lot of evaluators to make an evaluation, so that it takes a lot of time, the evaluation cost increases, and the evaluation cannot be performed in real time. .

본 발명은 이와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 평가시간을 단축할 수 있음은 물론 실시간으로 평가를 수행하고 정해진 기준에 따라 객관적인 평가를 수행할 수 있는 동영상 화질평가 장치 및 방법을 제공하는데 있다.The present invention is to solve such a problem, an object of the present invention is to provide a video quality evaluation apparatus and method that can shorten the evaluation time as well as to perform the evaluation in real time and to perform an objective evaluation according to a predetermined criterion To provide.

상기의 목적을 달성하기 위한 본 발명에 따른 동영상 화질평가 장치는, 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부; 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부; 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부; 상기 외곽선추출부의 출력영상으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부; 상기 소스영상입력부로 입력되는 영상 중 상기 마스크 이미지에 대응하는 영상 및 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부; 및 상기 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하는 것을 특징으로 한다. 또한 본 발명에 따른 동영상 화질 평가 방법은, 원래 동영상인 소스 동영상 시퀀스(sequence)의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계; 상기 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 자승평균오차를 산출하는 단계; 상기 자승평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및 상기 최대신호대잡음비에 따라 평가를 산출하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for evaluating video quality, comprising: a source video input unit for inputting a source video as an original video; An evaluation target image input unit for receiving an image to be evaluated; An outline extraction unit for extracting an outline region of the source image inputted to the source image input unit; A mask image generator for generating a mask image from the output image of the outline extractor; A signal-to-noise ratio calculation unit configured to calculate an outline maximum signal-to-noise ratio by inputting an image corresponding to the mask image and an image input to the evaluation target input unit among the images input to the source image input unit; And an image quality evaluation unit for evaluating image quality from the output data of the signal-to-noise ratio calculation unit. In addition, the method for evaluating moving picture quality according to the present invention comprises: generating an outline moving picture sequence by applying an outline extraction algorithm to each image of a source moving picture sequence that is an original moving picture; Calculating a squared mean error for pixels of outline regions between the source video sequence and the evaluation target video sequence; Calculating a maximum signal-to-noise ratio for the squared mean error; And calculating the evaluation according to the maximum signal to noise ratio.

이하에서는 첨부된 도면을 참조하면 본 발명의 실시 예를 상세하게 설명하도록 한다. Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.

동영상의 품질을 평가하기 위한 방법 중의 하나는 소스 동영상과 평가대상 동영상의 자승평균오차(Mean Squared Error; 이하 'MSE'라 칭함)를 산출하는 것인데, 다음의 [수학식 1]에 의해 산출할 수 있다. One of the methods for evaluating the quality of a video is to calculate a mean squared error (hereinafter, referred to as 'MSE') between the source video and the video to be evaluated, which can be calculated by Equation 1 below. have.

S : 소스 비디오S: source video

P : 평가 대상 동영상P: Video to be evaluated

m : 행(row)에 대한 화소의 번호m: the number of pixels for the row

n : 열(column)에 대한 화소의 번호n: the number of pixels for the column

l : 프레임의 번호l: frame number

M: 전체 행(row)의 개수M: the total number of rows

N : 전체 열(column)의 개수N: total number of columns

L : 전체 프레임의 개수L: total number of frames

이에 따라 최대 신호대잡음비(Peak Signal-to-Noise Ratio, 이하 'PSNR'이라 칭함)는 다음의 수학식 2와 같이 산출하고 이를 이용하여 동영상을 평가할 수 있다.Accordingly, the peak signal-to-noise ratio (hereinafter referred to as 'PSNR') may be calculated as in Equation 2 below and the video may be evaluated using the same.

, 이때 P는 최대 화소(pixel) 값이다. Where P is the maximum pixel value.

그러나, 전술한 방법에 따라 자승평균오차를 산출하고 최대 신호대잡음비를 산출하는 방법은 동영상의 전체 프레임의 전체 화소에 대하여 연산을 수행하기 때문에 연산량이 과다하여 따라 상기 연산을 수행하는 장치의 부하가 가중되는 단점이 있었다.However, the method of calculating the squared mean error and calculating the maximum signal-to-noise ratio according to the above-described method performs an operation on all the pixels of all frames of the video, so the computation amount is excessive, thus increasing the load on the apparatus performing the operation. There was a disadvantage.

한편, 인간의 시각 시스템은 주로 영상에 포함된 이미지의 외곽선의 상태에 따라 영상의 화질이 좋고 나쁨을 인지한다. 따라서 본 발명은 동영상의 외곽선 부근의 화질의 저하를 측정하고 이로부터 얻어진 데이터를 이용하여 동영상의 품질을 평가할 수 있는 시스템 및 방법을 제공한다.On the other hand, the human visual system recognizes that the image quality of the image is good or bad according to the state of the outline of the image included in the image. Accordingly, the present invention provides a system and method for measuring the degradation of the image quality near the outline of a moving image and using the data obtained therefrom to evaluate the quality of the moving image.

도 1은 본 발명에 따른 동영상 화질 평가 시스템의 구성을 설명하기 위한 블록도이다.1 is a block diagram for explaining the configuration of a video quality evaluation system according to the present invention.

도 1을 참조하면, 본 발명에 따른 동영상 화질 평가 시스템은, 원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부(10)와, 상기 소스영상입력부(10)로 입력되는 소스영상의 외곽선을 추출하기 위한 외곽선 추출부(30)와, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부(20)와, 상기 외곽선추출부(30)의 출력으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부(40)와, 상기 마스크 이미지 생성부(40)의 출력을 입력으로 하여 외곽선 최대 신호대 잡음비(이하 'E-PSNR'라 칭함)을 산출하는 신호대잡음비산출부(이하 'E-PSNR산출부'라 칭함)(50)와, 상기 E- PSNR산출부(50)의 출력에 따라 화질을 평가하는 화질 평가부(60)를 포함하여 이루어진다.Referring to FIG. 1, the video quality evaluation system according to the present invention extracts a source image input unit 10 for inputting a source image that is an original video, and an outline of a source image input to the source image input unit 10. An outline extracting unit 30 for receiving the image, an evaluation target image input unit 20 for receiving an image to be evaluated, and a mask image generating unit 40 for generating a mask image from the output of the outline extracting unit 30. And a signal-to-noise ratio calculation unit (hereinafter referred to as an 'E-PSNR calculation unit') for calculating an outline maximum signal-to-noise ratio (hereinafter referred to as 'E-PSNR') using the output of the mask image generator 40 as an input. And an image quality evaluator 60 for evaluating the image quality in accordance with the output of the E-PSNR calculation unit 50.

상기 소스영상입력부(10) 및 평가대상 영상 입력부(20)는 외부 장치로부터 영상을 입력받는 입력장치 혹은 영상이 미리 저장된 소정의 저장장치일 수 있다.The source image input unit 10 and the evaluation target image input unit 20 may be an input device that receives an image from an external device or a predetermined storage device in which an image is stored in advance.

도 2는 본 발명에 따른 방법을 설명하기 위한 흐름도이다.2 is a flow chart for explaining the method according to the invention.

도 2를 참조하여, 본 발명에 따른 동영상 화질 평가 방법을 개략적으로 살펴보면, 먼저 소스영상으로부터 외곽선을 추출한다(S10). 이를 위해 소스영상입력부(10)를 통해 입력된 소스영상을 외곽선추출부(30)를 이용하여 외곽선을 추출한다.Referring to FIG. 2, a method of evaluating a video quality according to the present invention is outlined. First, an outline is extracted from a source image (S10). To this end, an outline is extracted from the source image input through the source image input unit 10 using the outline extractor 30.

상기 단계 S10에서 추출된 외곽선이미지로부터 마스크이미지를 생성한다(S20). 상기 마스크이미지는 마스크 이미지 생성부(40)로부터 생성한다.A mask image is generated from the outline image extracted in step S10 (S20). The mask image is generated from the mask image generator 40.

그리고 마스크 이미지를 이용하여 E-PSNR산출부(50)를 이용하여 E-PSNR을 산출(S30)하고, 그 결과를 이용하여 화질평가부(60)를 이용하여 화질평가를 수행한다(S40).The E-PSNR calculation unit 50 is used to calculate the E-PSNR using the mask image (S30), and the image quality evaluation is performed using the image quality evaluation unit 60 using the result (S40).

이하에서는 도 2의 본 발명에 따른 동영상 화질 평가방법에서 마스크 이미지의 생성과 E-PSNR 산출방법을 상세히 설명하도록 한다.Hereinafter, a method of generating a mask image and an E-PSNR calculation method in the video quality evaluation method according to the present invention of FIG. 2 will be described in detail.

먼저, 도 3 및 도 4를 참조하여 마스크 이미지의 생성에 대하여 설명하도록 한다. 도 3은 본 발명에 따른 소스 영상을 이용한 마스크 이미지를 생성하는 방법을 설명하기 위한 설명도이다.First, generation of a mask image will be described with reference to FIGS. 3 and 4. 3 is an explanatory diagram for explaining a method of generating a mask image using a source image according to the present invention.

도 3을 참조하면, 본 발명에서는 외곽선의 영역을 찾기 위해 소스 동영상에 외곽선 추출 알고리즘을 적용한다. 그리고 문턱 값을 이용하는 연산을 적용하여 구한 외곽선 영역의 MSE를 산출함으로써 외곽선 영역의 저하, 즉 외곽선의 디그라데이션(Degradation) 정도를 측정한다. 그리고 상기 MSE로부터 E-PSNR을 산출하고 그 결과를 동영상의 품질평가를 위한 데이터로 이용한다.Referring to FIG. 3, the present invention applies an outline extraction algorithm to a source video to find an area of an outline. In addition, the MSE of the outline region obtained by applying the operation using the threshold value is calculated to measure the degradation of the outline region, that is, the degree of degradation of the outline. The E-PSNR is calculated from the MSE and the result is used as data for quality evaluation of the video.

외곽선 검출 알고리즘은 먼저 외곽선 영역을 찾는데 적용된다. 이때 외곽선 검출 알고리즘에 따라 다소의 차이가 있지만, 기존에 제안된 알고리즘의 하나를 사용할 수 있다. 예를 들면, 외곽선 영역을 찾기 위해 구배 연산자(Gradient Operator)를 이용할 수 있다. The outline detection algorithm is first applied to find the outline region. In this case, although there are some differences depending on the edge detection algorithm, one of the conventionally proposed algorithms may be used. For example, a gradient operator can be used to find the outline region.

외곽선 추출부(30)는 수직 구배 연산자를 이용한 외곽선 추출 알고리즘을 도 4에 도시된 소스 이미지에 적용하여 수직 구배 이미지(gvertical(i,j))를 생성한다(S110). 이때 gvertical(i,j)는 소스 이미지의 화소(i,j)에 대하여 수직구배연산자(gvertical)를 적용하여 수직 구배 이미지를 생성하는 것을 의미한다.The outline extractor 30 generates a vertical gradient image g vertical (i, j) by applying an outline extraction algorithm using a vertical gradient operator to the source image shown in FIG. 4 (S110). In this case, g vertical (i, j) means generating a vertical gradient image by applying a vertical gradient operator (g vertical ) to the pixels (i, j) of the source image.

상기 수직 구배 이미지는 도 6에 도시된 바와 같다. The vertical gradient image is as shown in FIG. 6.

외곽선 추출부(30)는 단계 S110에서 상기 수직 구배 이미지를 생성함과 동시(혹은 생성한 후)에 소스 이미지에 수평 구배 연산을 적용하여 수평 구배 이미지(ghorizontal(i,j))를 생성한다(S120). 이때 ghorizontal(i,j)는 소스 이미지의 화소(i,j)에 대하여 수평구배연산자(ghorizontal)를 적용하여 수평구배 이미지를 생성하는 것을 의미한다. 상기 수평구배 이미지(ghorizontal(i,j))는 도 5에 도시된 바와 같다.The outline extractor 30 generates a horizontal gradient image g horizontal (i, j) by applying a horizontal gradient operation to the source image at the same time (or after generating) the vertical gradient image in step S110. (S120). In this case, g horizontal (i, j) means generating a horizontal gradient image by applying a horizontal gradient operator (g horizontal ) to the pixels (i, j) of the source image. The horizontal gradient image g horizontal (i, j) is as shown in FIG. 5.

그리고 상기 생성된 수직 및 수평 구배 이미지에 절대값 연산을 수행하여 수직 및 수평 구배 이미지(g(i,j))를 생성한다(S130). 상기 절대값 연산에 의한 수직 및 수평 구배 이미지(g(i,j))는 다음의 [수학식 3]과 나타낼 수 있으며 그 이미지는 도 7에 도시된 바와 같다.In addition, an absolute value operation is performed on the generated vertical and horizontal gradient images to generate vertical and horizontal gradient images g (i, j) (S130). The vertical and horizontal gradient images g (i, j) by the absolute value calculation may be represented by Equation 3 below, and the image is as shown in FIG. 7.

그리고 최종적으로, 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배이미지(g(i,j))에 문턱값 연산을 적용하여 수직 및 수평 구배 이미지(g(i,j))에서 화소 값의 크기가 소정치 이상인 것을 추출함으로써 MSE 산출을 위한 외곽선 영역을 찾는다(S140). Finally, the mask image generator 40 applies a threshold operation to the vertical and horizontal gradient images g (i, j) to determine the pixel values of the vertical and horizontal gradient images g (i, j). By extracting a size of more than a predetermined value to find the outline region for MSE calculation (S140).

즉, 상기 단계 S140에서는 수직 및 수평 구배 이미지(g(i,j))의 각 화소의 값이 미리 설정된 문턱값(te) 이상인 화소(pixel)만 추출하고 추출된 화소들이 외곽선 영역이 된다. 이에 따라 도 8에 도시된 바와 같이 마스크 이미지를 얻을 수 있다.That is, in step S140, only pixels whose values of the pixels of the vertical and horizontal gradient images g (i, j) are equal to or larger than a preset threshold t e are extracted, and the extracted pixels become outline regions. Accordingly, a mask image may be obtained as shown in FIG. 8.

전술한 본 실시예에서는 소스 이미지에 수평 구배 연산자와 수직 구배 연산자를 각각 개별로 적용하였으나 도 9에 나타낸 바와 같이 변형된 방법을 적용할 수 있다.In the above-described exemplary embodiment, the horizontal gradient operator and the vertical gradient operator are individually applied to the source image, but the modified method may be applied as shown in FIG. 9.

도 9는 본 발명에 따른 소스 영상을 사용하는 마스크 이미지를 생성하는 다른 방법을 설명하기 위한 설명도이다.9 is an explanatory diagram for explaining another method of generating a mask image using the source image according to the present invention.

도 9를 참조하면, 외곽선 추출부(30)는 소스 이미지에 수직 구배 연산자를 먼저 적용하여 수직 구배 이미지를 생성한다(S210). 수직구배 이미지는 도 10에 도시하였다.Referring to FIG. 9, the outline extractor 30 generates a vertical gradient image by first applying a vertical gradient operator to a source image (S210). Vertical gradient images are shown in FIG. 10.

그리고 상기 외곽선 추출부(30)는 상기 단계 S210에서 생성된 수직 구배 이미지에 수평 구배 연산자를 적용하여 연속적인 수직 및 수평 구배 이미지를 생성한다(S220). 상기 수직 및 수평 구배 이미지는 도 11에 도시하였다.The outline extractor 30 generates continuous vertical and horizontal gradient images by applying a horizontal gradient operator to the vertical gradient image generated in step S210 (S220). The vertical and horizontal gradient images are shown in FIG.

본 실시예에서는 단계 S210에서 수직 구배 이미지를 먼저 생성하고, 단계 S220에서 상기 수직 구배 이미지에 수평 구배 연산을 적용하여 수직 및 수평 구배 이미지를 생성하였으나, 그 순서는 바뀌어도 무방하다.In the present exemplary embodiment, a vertical gradient image is first generated in step S210, and vertical and horizontal gradient images are generated by applying a horizontal gradient operation to the vertical gradient image in step S220, but the order may be changed.

외곽선 추출부(30)에서 생성된 상기 수직 및 수평 구배 이미지는 마스크 이미지 생성부(40)로 전달되고, 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배 이미지로부터 마스크 이미지를 생성한다.The vertical and horizontal gradient images generated by the outline extractor 30 are transferred to the mask image generator 40, and the mask image generator 40 generates a mask image from the vertical and horizontal gradient images.

마스크 이미지를 생성하기 위해 마스크 이미지 생성부(40)는 상기 수직 및 수평 구배 이미지에 문턱 값 연산을 적용한다(S230). 이에 따라서 외곽선 영역인 마스크 이미지를 추출할 수 있다.In order to generate the mask image, the mask image generator 40 applies a threshold value operation to the vertical and horizontal gradient images (S230). Accordingly, a mask image that is an outline region can be extracted.

즉, 단계 S230에서는 상기 연속적 구배 이미지의 화소들 중 화소 값이 미리 설정된 문턱 값 이상인 화소들만을 추출하며, 그 화소들이 외곽선 영역을 나타내는 마스크 이미지가 된다. 상기 마스크 이미지는 도 12에 도시하였다.That is, in step S230, only pixels having a pixel value equal to or greater than a preset threshold value among pixels of the continuous gradient image are extracted, and the pixels become mask images representing an outline region. The mask image is shown in FIG. 12.

상기한 본 발명에 따른 두 가지 방법은 외곽선 추출 알고리즘이 될 수 있으며, 동영상 압축 알고리즘의 특성에 선택적으로 사용될 수 있다. 또한 유사한 외곽선 추출방법을 사용하여도 무방하다.The above two methods according to the present invention may be an outline extraction algorithm and may be selectively used for the characteristics of the video compression algorithm. Similar outline extraction methods may also be used.

전술한 바와 같이, 상기한 본 발명에 따른 두 가지 방법에 의해 생성된 외곽선 이미지는 도 7 및 도 11에 나타낸 바와 같다. 그리고 상기 도 7 및 도 11에 문턱 값 연산을 적용함으로써 화소 값이 문턱값 이상인 화소들을 추출하면 도 8 및 도 12에 도시한 마스크 이미지를 생성된다.As described above, the outline images generated by the two methods according to the present invention are as shown in Figs. 7 and 11, when the pixel value of the pixel value is greater than or equal to the threshold value, the mask image illustrated in FIGS. 8 and 12 is generated.

즉, 수직 및 수평 구배이미지의 화소 값이 문턱 값보다 작으면 해당 화소의 값을 영(zero)으로 설정하고, 화소 값이 문턱 값 이상이면 해당 화소 값을 영(zero)이 아닌 값으로 설정함으로써, 도 8과 도 12에 도시한 마스크 이미지를 얻을 수 있다.That is, if the pixel value of the vertical and horizontal gradient image is smaller than the threshold value, the pixel value is set to zero. If the pixel value is greater than or equal to the threshold value, the pixel value is set to a non-zero value. 8 and 12 can obtain the mask image.

본 발명에 따른 상기 마스크 이미지는 소스 이미지에 외곽선 추출 알고리즘을 적함으로써 얻어지는 것이나, 소정의 알고리즘에 의해 처리를 한 이미지에 대해서도 적용할 수 있으며, 어플리케이션에 따라서 선택적으로 적용할 수 있다.The mask image according to the present invention may be obtained by applying an outline extraction algorithm to a source image, or may be applied to an image processed by a predetermined algorithm, and may be selectively applied according to an application.

동영상은 프레임(frame) 또는 필드(field)들로 구성되므로 상기한 방법은 각 프레임 혹은 필드에 적용할 수 있다. 그리고 소스 동영상의 시퀀스와 평가대상이 되는 동영상의 시퀀스 간의 차이점은 마스크 이미지의 영(zero)이 아닌 화소에서 계산되며 그에 따라 품질을 평가한다.Since the video is composed of frames or fields, the above method can be applied to each frame or field. In addition, the difference between the sequence of the source video and the sequence of the video to be evaluated is calculated in the non-zero pixel of the mask image and the quality is evaluated accordingly.

이하에서는 전술한 과정에서 생성된 소스 동영상 시퀀스의 각 이미지와 평가대상 동영상 시퀀스의 각 이미지의 외곽선 영역간의 자승평균오차를 산출하는 과정을 설명하도록 한다. Hereinafter, a process of calculating a squared mean error between each image of the source video sequence generated in the above-described process and the outline region of each image of the evaluation target video sequence will be described.

도 13은 본 발명에 따른 방법의 적용을 설명하기 위한 설명도이다.13 is an explanatory diagram for explaining the application of the method according to the present invention.

도 13을 참조하면, 소스 동영상(S) 및 평가대상 동영상(P)은 이미지가 다수의 프레임(l,l+1,l+2)으로 구성된다. 각 프레임의 이미지는 다수의 화소(P)가 M개의 행(row)과 N개의 열(column)로 구성되며 각 화소(P)는 P(i,j)로 나타낼 수 있다.Referring to FIG. 13, the source video S and the evaluation target video P include an image having a plurality of frames (l, l + 1, l + 2). In the image of each frame, a plurality of pixels P may be composed of M rows and N columns, and each pixel P may be represented by P (i, j).

따라서 E-PSNR 산출부(50)는 다음의 [수학식 4]에 의해 l번째 프레임의 외곽선 영역의 오차를 산출한다. Therefore, the E-PSNR calculation unit 50 calculates an error of the outline region of the l-th frame by the following Equation 4.

: 소스 동영상 시퀀스의 l번째 이미지 : Lth image of the source movie sequence

: 평가 대상 동영상 시퀀스의 l번째 이미지 : The first image of the video sequence being evaluated

: 마스크 동영상 시퀀스의 l번째 이미지 : Lth image of the mask movie sequence

M : 행(row)의 수M: the number of rows

N : 열(column)의 수N: number of columns

상기 방법은 마스크 동영상 시퀀스를 생성하고, 생성된 마스크 동영상 시퀀스의 이미지의 화소들 중 그 값이 영이 아닌 값을 가지는 화소들을 대상으로 MSE를 산출한다.The method generates a mask video sequence, and calculates an MSE for pixels having a non-zero value among pixels of an image of the generated mask video sequence.

한편, 본 발명에 따르면, 마스크 동영상 시퀀스를 생성하지 않을 수 있다. 이때 마스크 동영상 시퀀스를 생성하지 않고 l번째 프레임의 외곽선 영역의 오차를 산출하기 위해서 다음의 [수학식 5]를 이용한다.Meanwhile, according to the present invention, the mask video sequence may not be generated. In this case, the following Equation 5 is used to calculate the error of the outline region of the l-th frame without generating the mask video sequence.

: 소스 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소 : The (i, j) th pixel of the l th image of the source movie sequence

: 평가 대상 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소 : The (i, j) th pixel of the l th image of the movie sequence to be evaluated

: 외곽선 동영상 시퀀스의 l번째 이미지의 (i,j)번째 화소 : (I, j) th pixel of the lth image of the outline video sequence

: 문턱값 : Threshold

M: 행(row)의 수M: the number of rows

N: 열(column)의 수N: number of columns

[수학식 4] 또는 [수학식 5]에 의해 산출되는 소스 동영상의 시퀀스와 평가대상 동영상 시퀀스의 자승평균오차(MSE)를 산출하기 위해 후술하는 [수학식 6]이 이용되며, 절대치를 이용한 형태도 이용될 수 있다.Equation 6, which will be described later, is used to calculate a squared mean error (MSE) of a source video sequence and an evaluation target video sequence calculated by Equation 4 or Equation 5, using an absolute value. May also be used.

전술한 방법은 동영상의 전체 프레임에 대하여 수행하며 본 발명의 외곽선 자승평균오차(MSE)는 다음의 [수학식 6]에 의해 산출된다.The above-described method is performed for the entire frame of the video and the outline squared error (MSE) of the present invention is calculated by Equation 6 below.

, 이때, K는 외곽선 영역의 전체 화소수이다. Where K is the total number of pixels in the outline area.

그리고, 외곽선 영역의 E-PSNR은 다음의 [수학식 7]에 의해 산출된다.Then, the E-PSNR of the outline region is calculated by the following equation (7).

, 이때 P는 최대 화소 값이다. Where P is the maximum pixel value.

E-PSNR 생성부(50)에서 생성된 데이터는 화질평가부(60)로 전달되고, 화질평가부(60)는 상기 데이터를 객관적인 동영상 품질을 평가하기 위한 측정 기준으로 이용한다,The data generated by the E-PSNR generator 50 is transferred to the image quality evaluator 60, and the image quality evaluator 60 uses the data as a measurement standard for evaluating the objective video quality.

이하에서는 컬러 동영상에 대한 본 발명의 적용 예를 설명하도록 한다.Hereinafter will be described an application example of the present invention to a color video.

도 14는 본 발명에 따른 동영상 화질평가 방법을 컬러 동영상에 적용한 예를 설명하기 위한 설명도이다.14 is an explanatory diagram illustrating an example in which a video quality evaluation method according to the present invention is applied to a color video.

대부분의 컬러 동영상은 3가지의 성분으로 표현할 수 있는데, RGB, YUV 및 YCrCb의 포맷형태로 나타낼 수 있다. 그리고 YUV 포맷은 스케일링 및 오프셋을 적용함으로써 YCrCb 형태로 변환된다. 이때 Y는 회색 성분을 나타내며, U 와 V (혹은 Cr 와 Cb) 는 색 정보를 나타낸다.Most color video can be represented by three components, which can be expressed in the format of RGB, YUV and YC r C b . The YUV format is converted into YC r C b by applying scaling and offset. At this time Y represents gray components and U and V (or C r and C b ) represent color information.

상기한 컬러 동영상의 각 성분에 대하여 전술한 본 발명의 실시예의 방법을 적용함으로써 각 성분과 그 평균은 객관적 품질을 평가하기 위한 기준으로 사용할 수 있다. 또한 상기 컬러 동영상의 모든 요소에 대하여 본 발명을 적용하지 않고 그 요소 중 가장 비중이 있는 요소(Dominant)인 Y에 대하여 전술한 실시예의 방법을 적용하여도 본 발명의 목적을 달성할 수 있다. By applying the method of the embodiment of the present invention to each component of the color video described above, each component and its average can be used as a criterion for evaluating the objective quality. In addition, even if the present invention is not applied to all the elements of the color video, the object of the present invention can be achieved by applying the method of the above-described embodiment to Y, which is the dominant element among the elements.

예를 들면, 컬러 동영상의 여러 요소 중 가장 비중이 있는 요소에 대하여 우선적으로 본 발명의 방법을 적용하여 E-PSNR을 산출하고, 그 후 나머지 요소들의 E-PSNR을 이용하여 상기 가장 비중이 있는 요소(Dominant)의 E-PSNR을 보정할 수 있으며, 다음과 같이 최종 VQM(video quality metric)을 계산할 수 있다.For example, the E-PSNR is calculated by first applying the method of the present invention to the most weighted element among the various elements of the color video, and then using the E-PSNR of the remaining elements, the most weighted element. The dominant E-PSNR can be corrected, and the final video quality metric (VQM) can be calculated as follows.

VQM=EPSNRdominant+f(EPSNRcomp2,EPSNRcomp3)VQM EPSNR = dominant + f (EPSNR comp2, EPSNR comp3)

이때 EPSNRcomp2 와 EPSNRcomp3은 나머지 요소들의 E-PSNR이며, f(x,y)의 함수이다.The EPSNR comp2 and EPSNR comp3 is EPSNR of the other elements and is a function of f (x, y).

상기 함수는 f(x,y)는 선형함수를 사용하고, 이 경우 f(EPSNRcomp2, EPSNRcomp3)는 상수 α 및 β를 이용하여 αEPSNRcomp2+βEPSNRcomp3로 표현할 수 있다. 이에 따라, VQM=EPSNRdominant+αEPSNRcomp2+βEPSNRcomp3으로 표현할 수 있으며, 상기 상수 α 및 β는 학습 비디오로부터 구할 수 있다.The function f (x, y) is to use a linear function, in which case f (EPSNR comp2, EPSNR comp3) can be expressed as αEPSNR comp2 + βEPSNR comp3 using constants α and β. In this way, can be expressed as VQM EPSNR = dominant + αEPSNR comp2 + βEPSNR comp3, the constants α and β can be obtained from the video learning.

대부분의 동영상 압축 표준인 MPEG 1, MPEG 2, MPEG 4, H.26x 등은 YCrCb의 포맷으로 나타내며, Y 요소가 E-PSNR을 산출하는데 가장 중요한 요소이다.Most video compression standards such as MPEG 1, MPEG 2, MPEG 4, and H.26x are represented in YC r C b format, and the Y element is the most important factor for calculating the E-PSNR.

본 발명에 따른 바람직한 실시예는 상기 EPSNRdominant는 Y요소에 대하여 수행하고, 상기 EPSNRcomp2 와 ESPNRcomp3는 나머지 요소인 U 및 V 또는 Cr 및 Cb에 대해 실시한다. RGB 포맷일 경우 동일한 가중치를 부여하여 VQM을 계산할 수 있다.A preferred embodiment according to the present invention is carried out with respect to the dominant EPSNR the Y component, and the EPSNR comp2 and ESPNR comp3 is carried out for the remaining elements of U and V, and C r and C b. In the case of the RGB format, the VQM can be calculated by giving the same weight.

도 15는 본 발명에 따른 객관적 동영상 화질평가 방법의 결과와 주관적 화질평가방법의 상관성을 설명하기 위한 그래프이다.15 is a graph illustrating the correlation between the results of the objective video quality evaluation method and the subjective quality evaluation method according to the present invention.

도 15를 참조하면, (a)는 일반적인 PSNR을 산출하는 방법에 따른 상관성을 나타낸 것이며, (b)는 본 발명에 따른 E-PSNR을 산출하고 그에 따른 상관성을 나타낸 그래프이다. 상기 본 발명에 따른 방법(E-PSNR)에 의한 결과에 대한 그래프(b)를 살펴보면 각 데이터들은 일반적인 PSNR을 산출하는 방법에 따른 결과의 데이터들보다 각 데이터간의 거리가 더 가까우며 상관성(correlation)이 더 높은 것을 알 수 있다.Referring to FIG. 15, (a) shows a correlation according to a method of calculating a general PSNR, and (b) is a graph showing the correlation according to calculating an E-PSNR according to the present invention. Looking at the graph (b) of the result by the method according to the present invention (E-PSNR), each data is closer to each other than the data of the result according to the method of calculating the general PSNR and the correlation (correlation) It can be seen that it is higher.

이상에서 상세히 설명한 바와 같이, 본 발명에 따른 동영상 화질 평가장치 및 방법에 의하면, 평가시간을 단축할 수 있음은 물론 실시간으로 정해진 기준에 따라 객관적인 평가를 수행할 수 있다.As described in detail above, according to the apparatus and method for evaluating moving picture quality according to the present invention, the evaluation time can be shortened and objective evaluation can be performed according to a predetermined criterion in real time.

도 1은 본 발명에 따른 동영상 화질평가 장치의 구성을 설명하기 위한 블록도,1 is a block diagram for explaining the configuration of a video quality evaluation apparatus according to the present invention;

도 2는 본 발명에 따른 동영상 화질평가 방법을 설명하기 위한 전체흐름도,2 is an overall flowchart illustrating a video quality evaluation method according to the present invention;

도 3은 본 발명에 따른 마스크 이미지 생성의 실시예를 설명하기 위한 설명도,3 is an explanatory diagram for explaining an embodiment of mask image generation according to the present invention;

도 4는 본 발명에 적용되는 소스 이미지의 예,4 is an example of a source image applied to the present invention;

도 5는 본 발명에 따른 도 4의 소스 이미지의 수평 구배 이미지의 예, 5 is an example of a horizontal gradient image of the source image of FIG. 4 in accordance with the present invention;

도 6은 본 발명에 따른 도 4의 소스 이미지의 수직 구배 이미지의 예,6 is an example of a vertical gradient image of the source image of FIG. 4 in accordance with the present invention;

도 7은 본 발명에 따른 수직 및 수평 구배 이미지를 나타내는 도면, 7 illustrates a vertical and horizontal gradient image according to the present invention;

도 8은 본 발명에 따른 도 7의 이미지에 대한 마스크 이미지,8 is a mask image for the image of FIG. 7 in accordance with the present invention;

도 9는 본 발명에 따른 마스크 이미지 생성의 다른 실시예를 설명하기 위한 설명도,9 is an explanatory diagram for explaining another embodiment of mask image generation according to the present invention;

도 10은 본 발명에 따른 도 4의 소스 이미지의 수직 구배 이미지, 10 is a vertical gradient image of the source image of FIG. 4 in accordance with the present invention;

도 11은 본 발명에 따른 도 10의 이미지를 수평 구배연산 처리한 수직/수평 구배 이미지,FIG. 11 is a vertical / horizontal gradient image obtained by performing horizontal gradient calculation on the image of FIG. 10 according to the present invention; FIG.

도 12는 본 발명에 따른 도 11의 마스크 이미지,12 is a mask image of FIG. 11 in accordance with the present invention;

도 13은 본 발명에 따른 동영상 화질평가 방법의 적용을 설명하기 위한 설명도,13 is an explanatory diagram for explaining an application of a video quality evaluation method according to the present invention;

도 14는 본 발명에 따른 동영상 화질평가 방법의 컬러 동영상 적용을 설명하기 위한 설명도,14 is an explanatory diagram for explaining a color video application of a video quality evaluation method according to the present invention;

도 15는 본 발명에 따른 동영상 화질평가 방법의 결과에 대한 상관성을 설명하기 위한 그래프이다.15 is a graph for explaining correlation with respect to the result of the video quality evaluation method according to the present invention.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

10:소스영상입력부 20:평가대상 영상 입력부10: source image input unit 20: evaluation target image input unit

30:외곽선추출부 40:마스크이미지 생성부30: outline extraction unit 40: mask image generation unit

50:E-PSNR산출부 60:화질평가부 50: E-PSNR calculation unit 60: Image quality evaluation unit

Claims (22)

원래의 동영상인 소스 영상을 입력하기 위한 소스영상입력부, 평가대상이 되는 영상을 입력 받기 위한 평가대상 영상입력부, 상기 소스영상입력부로 입력되는 소스영상의 외곽선 영역을 추출하기 위한 외곽선 추출부, 상기 외곽선 추출부의 출력영상으로부터 마스크 이미지를 생성하기 위한 마스크 이미지 생성부, 상기 소스영상입력부로 입력되는 영상과 상기 평가대상 입력부로 입력되는 영상을 입력으로 하여 상기 마스크 이미지의 외곽선 영역에 해당하는 화소들로부터 외곽선 최대 신호대 잡음비를 산출하는 신호대잡음비산출부 및 상기 신호대잡음비산출부의 출력 데이터로부터 화질을 평가하는 화질 평가부를 포함하는 동영상 화질 평가장치로서,A source image input unit for inputting a source image which is an original video, an evaluation target image input unit for receiving an image to be evaluated, an outline extracting unit for extracting an outline region of the source image inputted to the source image input unit, and the outline A mask image generator for generating a mask image from an output image of an extractor, an image inputted to the source image input unit, and an image inputted to the evaluation target input unit as inputs, and outlined from pixels corresponding to the outline region of the mask image A video quality evaluation apparatus including a signal to noise ratio calculation unit for calculating a maximum signal to noise ratio and an image quality evaluation unit for evaluating the image quality from the output data of the signal to noise ratio calculation unit. 상기 외곽선 추출부는, 외곽선 추출 알고리즘을 적용하여 소스영상의 외곽선 영역을 추출하고 그 이미지를 상기 신호대잡음비산출부로 전달하며,The outline extracting unit extracts an outline region of a source image by applying an outline extracting algorithm and transfers the image to the signal-to-noise ratio calculating unit. 상기 신호대잡음비산출부는, 상기 소스 동영상의 외곽선 영역과 이에 대응하는 평가대상 동영상의 외곽선 영역의 각 화소 사이의 값의 차를 계산하고, 그 전체 값을 상기 마스크 이미지 중 외곽선 영역에 해당하는 전체 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 것을 특징으로 하는 동영상 화질 평가장치.The signal-to-noise ratio calculation unit calculates a difference between a value of each pixel in the outline region of the source video and the corresponding outline region of the video to be evaluated, and the total number of pixels corresponding to the outline region in the mask image. The video quality evaluation apparatus, characterized in that to calculate the average error of only the outline area divided by. 제 1 항에 있어서,The method of claim 1, 상기 소스영상입력부 및 평가대상 영상 입력부는 외부 장치로부터 영상을 입력받는 입력장치 또는 영상이 미리 저장된 저장장치 중 어느 하나인 것을 특징으로 하는 동영상 화질 평가장치.And the source image input unit and the evaluation target image input unit are either an input device for receiving an image from an external device or a storage device in which an image is stored in advance. 제 1 항에 있어서,The method of claim 1, 상기 외곽선추출부는, 입력되는 동영상의 이미지에 수평 구배 연산과 수직 구배 연산에 의한 외곽선 추출알고리즘을 적용하여 외곽선 영역을 추출하고 그 이미지를 상기 신호대잡음비산출부로 전달하는 것을 특징으로 하는 동영상 화질 평가장치. The outline extractor extracts an outline region by applying a horizontal gradient algorithm and a vertical gradient algorithm to an image of an input video, and transfers the image to the signal-to-noise ratio calculation unit. 제 1 항에 있어서,The method of claim 1, 상기 마스크 이미지 생성부는 외곽선 추출부 출력영상의 화소 값이 미리 설정된 문턱 값 이하인 화소는 영으로 설정하고 문턱 값 이상인 화소는 영이 아닌 값으로 설정하는 것을 특징으로 하는 동영상 화질 평가 장치.And the mask image generator sets a pixel whose pixel value of the output image of the outline extracting unit is less than or equal to a preset threshold value to zero, and sets a pixel that is greater than or equal to the threshold value to a non-zero value. 제 1 항에 있어서,The method of claim 1, 상기 외곽선 영역의 각 화소 사이의 값의 차는 화소 값의 차이의 자승이고,The difference in value between each pixel in the outline area is a square of the difference in pixel values 상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질 평가장치.And the mean error is a square mean error. 동영상 화질평가방법에 있어서,In the video quality evaluation method, 원래 동영상인 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계; Generating an outline video sequence by applying an outline extraction algorithm to each image of the original video sequence; 상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소 사이의 값의 차를 계산하고, 그 결과에 대한 전체 프레임의 합을 산출하여 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;The difference between the pixels of the outline regions between the image of the source video sequence and the image to be evaluated is calculated, the total sum of the frames for the result is calculated, and the total sum is divided by the number of pixels of the outline region. Calculating an average error of only the region; 상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및Calculating a maximum signal-to-noise ratio for the average error; And 상기 최대신호대잡음비에 따라 평가를 산출하는 단계;Calculating an evaluation according to the maximum signal to noise ratio; 를 포함하는 것을 특징으로 하는 동영상 화질평가방법.Video quality evaluation method comprising a. 제 6 항에 있어서, The method of claim 6, 상기 외곽선 추출을 위한 알고리즘은 수직 구배 연산과 수평 구배 연산에 의한 구배 연산자를 사용하는 것을 특징으로 하는 동영상 화질 평가 방법. The algorithm for extracting the outline is a video quality evaluation method using a gradient operator by the vertical gradient operation and the horizontal gradient operation. 제 6항에 있어서,The method of claim 6, 상기 외곽선 영역의 각 화소 사이의 값의 차는 화소 값의 차이의 자승이고,The difference in value between each pixel in the outline area is a square of the difference in pixel values 상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.And the mean error is a square mean error. 제 6 항에 있어서,The method of claim 6, 상기 평균오차는 상기 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 전체 화소들 중 상기 외곽선 동영상 시퀀스의 대응되는 화소 값이 미리 설정된 문턱값 이상인 화소들을 대상으로 하는 것을 특징으로 하는 동영상 화질 평가방법.The average error is a video quality evaluation method, characterized in that the pixel value of the corresponding pixel value of the outline video sequence of all the pixels of the outline region between the source video sequence and the evaluation target video sequence is greater than or equal to a preset threshold. . 소스 동영상 시퀀스의 각 이미지에 외곽선 추출 알고리즘을 적용하여 외곽선 동영상 시퀀스를 생성하는 단계;Generating an outline video sequence by applying an outline extraction algorithm to each image of the source video sequence; 상기 외곽선 동영상 시퀀스의 각 이미지에 문턱값 연산을 수행하여 마스크 동영상 이미지를 생성하는 단계;Generating a mask video image by performing a threshold operation on each image of the outline video sequence; 상기 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 마스크 동영상 시퀀스의 영이 아닌 값을 갖는 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;The difference between the source video sequence corresponding to the pixel having a non-zero value of the mask video image sequence and the video object sequence to be evaluated is calculated, and the sum of the total frames for the result is calculated, and the total sum is zero of the mask video sequence. Calculating an average error of only the outline area by dividing by the number of pixels having a non-value; 상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및Calculating a maximum signal-to-noise ratio for the average error; And 상기 최대신호대잡음비에 따라 평가를 산출하는 단계;Calculating an evaluation according to the maximum signal to noise ratio; 를 포함하는 것을 특징으로 하는 동영상 화질평가방법.Video quality evaluation method comprising a. 제 10 항에 있어서, The method of claim 10, 상기 외곽선 추출 알고리즘은 수직 구배 연산과 수평 구배 연산에 의한 구배 연산인 것을 특징으로 하는 동영상 화질평가 방법.Wherein the outline extraction algorithm is a video quality evaluation method characterized in that the gradient operation by the vertical gradient operation and the horizontal gradient operation. 제 10 항에 있어서, The method of claim 10, 상기 문턱 값 연산은 화소 값이 미리 설정된 문턱 값 이하인 화소는 영으로 설정하고 문턱 값 이상인 화소는 영이 아닌 값으로 설정하는 것을 특징으로 하는 동영상 화질 평가 방법.The threshold value calculation may include setting a pixel having a pixel value equal to or less than a preset threshold to zero and a pixel having a threshold value greater than or equal to a non-zero value. 제 10 항에 있어서,The method of claim 10, 상기 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차는 마스크 동영상 이미지 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스의 차이의 자승이고,The difference between the source video sequence corresponding to the pixel having a non-zero value and the evaluation target video sequence of the mask video image sequence is the difference between the source video sequence corresponding to the pixel having the non-zero value of the mask video image sequence and the evaluation target video sequence. Square, 상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.And the mean error is a square mean error. 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘 및 수평 외곽선 추출 알고리즘을 순차적으로 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계;Generating a vertical / horizontal outline video sequence by sequentially performing a vertical outline extraction algorithm and a horizontal outline extraction algorithm on each image of the source video sequence; 상기 수직/수평 외곽선 동영상 시퀀스의 각 이미지에 미리 설정된 문턱값을 이용하는 문턱값 연산을 수행하여 마스크 동영상 시퀀스를 생성하는 단계;Generating a mask video sequence by performing a threshold operation using a preset threshold on each image of the vertical / horizontal outline video sequence; 상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;Calculating a difference between pixels of outline regions between an image of a source video sequence corresponding to a pixel having a non-zero value of the mask video sequence and an image to be evaluated, and calculating a sum of all frames of the result; Calculating an average error of only the outline region by dividing the total sum by the number of pixels of the outline region; 상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및Calculating a maximum signal-to-noise ratio for the average error; And 상기 최대신호대잡음비에 따라 평가를 산출하는 단계;Calculating an evaluation according to the maximum signal to noise ratio; 를 포함하는 것을 특징으로 하는 동영상 화질평가방법.Video quality evaluation method comprising a. 제 14 항에 있어서, The method of claim 14, 상기 수직 외곽선 추출 알고리즘 및 수평 외곽선 추출 알고리즘은 구배 연산자를 이용한 것임을 특징으로 하는 동영상 화질 평가 방법.The vertical outline extraction algorithm and the horizontal outline extraction algorithm use a gradient operator. 제 14 항에 있어서, The method of claim 14, 상기 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계는, 상기 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직 외곽선 동영상 시퀀스를 생성하는 단계; 및The generating of the vertical / horizontal outline video sequence may include generating a vertical outline video sequence by performing a vertical outline extraction algorithm on each image of the source video sequence; And 상기 수직 외곽선 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.And performing a horizontal outline extraction algorithm on each image of the vertical outline video sequence to generate a vertical / horizontal outline video sequence. 제 14 항에 있어서, The method of claim 14, 상기 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계는, 상기 소스 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수평 외곽선 동영상 시퀀스를 생성하는 단계; 및The generating of the vertical / horizontal outline video sequence may include generating a horizontal outline video sequence by performing a horizontal outline extraction algorithm on each image of the source video sequence; And 상기 수평 외곽선 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직/수평 외곽선 동영상 시퀀스를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가 방법.And performing a vertical outline extraction algorithm on each image of the horizontal outline video sequence to generate a vertical / horizontal outline video sequence. 제 16 항 또는 제 17 항에 있어서,The method according to claim 16 or 17, 상기 동영상 화질평가방법은, 상기 수직/수평 외곽선 동영상 시퀀스의 각 이미지의 화소들 중 그 값이 미리 설정된 문턱값 이하인 화소는 화소 값을 영으로 설정하고, 상기 문턱값 이상인 화소는 화소 값을 영이 아닌 값으로 설정하여 마스크 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 동영상 화질 평가방법.In the moving picture quality evaluation method, a pixel having a value equal to or less than a preset threshold among pixels of each image of the vertical / horizontal outline video sequence is set to a pixel value of zero, and a pixel having a value greater than or equal to the threshold is not set to zero. The method of claim 1, further comprising generating a mask image by setting a value. 제 14 항에 있어서,The method of claim 14, 상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차는 상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이의 자승이고,The difference between the pixels of the outline regions between the image of the source video sequence corresponding to the pixel having a non-zero value of the mask video sequence and the image to be evaluated is the source video corresponding to the pixel having a non-zero value of the mask video sequence. Square of the difference for the pixels in the outline regions between the image in the sequence and the video sequence image being evaluated, 상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.And the mean error is a square mean error. 소스 동영상 시퀀스의 각 이미지에 수직 외곽선 추출 알고리즘을 수행하여 수직 외곽선 동영상 시퀀스를 생성하는 단계;Generating a vertical outline video sequence by performing a vertical outline extraction algorithm on each image of the source video sequence; 상기 소스 동영상 시퀀스의 각 이미지에 수평 외곽선 추출 알고리즘을 수행하여 수평 외곽선 동영상 시퀀스를 생성하는 단계;Generating a horizontal outline video sequence by performing a horizontal outline extraction algorithm on each image of the source video sequence; 상기 수직/수평 동영상 시퀀스의 각 이미지에 미리 설정된 문턱값을 이용하는 문턱값 연산을 수행하여 마스크 동영상 시퀀스를 생성하는 단계;Generating a mask video sequence by performing a threshold operation using a preset threshold value for each image of the vertical / horizontal video sequence; 상기 마스크 동영상 시퀀스의 영이 아닌 값을 가지는 화소에 대응하는 소스 동영상 시퀀스와 평가대상 동영상 시퀀스 사이의 외곽선 영역들의 화소에 대한 차를 산출하고, 그 결과에 대한 전체 프레임의 합을 산출하며, 상기 전체 합을 외곽선 영역의 화소수로 나누어 외곽선 영역만의 평균오차를 산출하는 단계;Calculating a difference of pixels of outline regions between a source video sequence corresponding to a pixel having a non-zero value of the mask video sequence and an evaluation target video sequence, and calculating a sum of all frames of the result; Calculating an average error of only the outline region by dividing by the number of pixels of the outline region; 상기 평균오차에 대한 최대신호대잡음비를 산출하는 단계; 및Calculating a maximum signal-to-noise ratio for the average error; And 상기 최대신호대잡음비에 따라 평가를 산출하는 단계를 포함하는 것을 특징으로 하는 동영상 화질평가방법.And evaluating the evaluation according to the maximum signal to noise ratio. 제 20 항에 있어서, The method of claim 20, 상기 수직 외곽선 추출 알고리즘은 수직 구배 연산에 의한 구배 연산자를 이용한 것임을 특징으로 하는 동영상 화질 평가방법.The vertical outline extraction algorithm is a video quality evaluation method, characterized in that using the gradient operator by the vertical gradient operation. 제 20 항에 있어서, The method of claim 20, 상기 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이는 소스 동영상 시퀀스의 이미지와 평가대상 동영상 시퀀스 이미지 사이의 외곽선 영역들의 화소에 대한 차이의 자승이고,The difference of the pixels of the outline regions between the image of the source video sequence and the evaluation target video sequence image is the square of the difference of the pixels of the outline regions between the image of the source video sequence and the evaluation video sequence image, 상기 평균오차는 자승평균오차인 것을 특징으로 하는 동영상 화질평가방법.And the mean error is a square mean error.
KR10-2003-0013188A 2003-03-03 2003-03-03 Apparatus and Methods for Objective Measurement of Video Quality KR100525467B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0013188A KR100525467B1 (en) 2003-03-03 2003-03-03 Apparatus and Methods for Objective Measurement of Video Quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0013188A KR100525467B1 (en) 2003-03-03 2003-03-03 Apparatus and Methods for Objective Measurement of Video Quality

Publications (2)

Publication Number Publication Date
KR20040078311A KR20040078311A (en) 2004-09-10
KR100525467B1 true KR100525467B1 (en) 2005-11-02

Family

ID=37363627

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0013188A KR100525467B1 (en) 2003-03-03 2003-03-03 Apparatus and Methods for Objective Measurement of Video Quality

Country Status (1)

Country Link
KR (1) KR100525467B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933284B1 (en) * 2008-04-14 2009-12-22 연세대학교 산학협력단 Video quality evaluation system, video transmitter, video receiver and its method
KR101316699B1 (en) * 2009-11-24 2013-10-10 연세대학교 산학협력단 System for video quality mesurement, apparutus for transmitting video, apparutus for receiving video and method thereof

Also Published As

Publication number Publication date
KR20040078311A (en) 2004-09-10

Similar Documents

Publication Publication Date Title
Liu et al. A no-reference metric for perceived ringing artifacts in images
Ong et al. A no-reference quality metric for measuring image blur
EP0940996B1 (en) A method, an arrangement, an ASIC and their use for objective assessment of video quality
Li et al. Full-reference video quality assessment by decoupling detail losses and additive impairments
Martini et al. Image quality assessment based on edge preservation
JP2006505853A (en) Method for generating quality-oriented importance map for evaluating image or video quality
US20110007968A1 (en) Image evaluation method, image evaluation system and program
Feng et al. Saliency inspired full-reference quality metrics for packet-loss-impaired video
Attar et al. Image quality assessment using edge based features
Bong et al. Blind image blur assessment by using valid reblur range and histogram shape difference
Freitas et al. Using multiple spatio-temporal features to estimate video quality
Ong et al. No-reference JPEG-2000 image quality metric
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
Wang et al. Screen content image quality assessment with edge features in gradient domain
Narasimhan et al. A comparison of contrast enhancement techniques in poor illuminated gray level and color images
US20040175056A1 (en) Methods and systems for objective measurement of video quality
US6707943B2 (en) Method of monitoring the quality of distributed digital images by detecting false contours
JP2010124104A (en) Device for evaluating objective image quality of video image
Shoham et al. A novel perceptual image quality measure for block based image compression
KR100525467B1 (en) Apparatus and Methods for Objective Measurement of Video Quality
Joy et al. RECENT DEVELOPMENTS IN IMAGE QUALITY ASSESSMENT ALGORITHMS: A REVIEW.
Guo et al. Gabor difference analysis of digital video quality
Rohaly et al. Comparison of temporal pooling methods for estimating the quality of complex video sequences
KR100612667B1 (en) Apparatus and Methods for Objective Assessment of Video Quality
Keimel Design of Video Quality Metrics with Multi-Way Data Analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120919

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130930

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190916

Year of fee payment: 15