KR100834625B1 - 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 - Google Patents

비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 Download PDF

Info

Publication number
KR100834625B1
KR100834625B1 KR1020060070858A KR20060070858A KR100834625B1 KR 100834625 B1 KR100834625 B1 KR 100834625B1 KR 1020060070858 A KR1020060070858 A KR 1020060070858A KR 20060070858 A KR20060070858 A KR 20060070858A KR 100834625 B1 KR100834625 B1 KR 100834625B1
Authority
KR
South Korea
Prior art keywords
frame
psnr
predicted
current frame
calculated
Prior art date
Application number
KR1020060070858A
Other languages
English (en)
Other versions
KR20080010610A (ko
Inventor
이창현
김재석
이성주
오윤제
주영훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060070858A priority Critical patent/KR100834625B1/ko
Priority to US11/880,205 priority patent/US20080025402A1/en
Publication of KR20080010610A publication Critical patent/KR20080010610A/ko
Application granted granted Critical
Publication of KR100834625B1 publication Critical patent/KR100834625B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서, 현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보를 이용하여, 현재 프레임의 PSNR(peak signal to noise ratio)을 예측하는 과정과, 예측한 PSNR이 미리 설정된 기준치를 벗어나는지 판단하는 과정과, 판단 결과 상기 예측한 PSNR이 미리 설정된 기준치를 벗어날 경우에 현재 프레임에서 장면 전환이 이루어진 것으로 간주한다.
비디오, 장면 전환, 인코딩, 실시간, PSNR, 예측

Description

비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법{REAL-TIME SCENE-CHANGE DETECTION FOR RATE CONTROL OF VIDEO ENCODER}
도 1은 본 발명이 적용되는 비디오 인코더 장치의 블록 구성도
도 2는 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 흐름도
도 3은 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 테스트 결과를 나타낸 그래프
본 발명은 비디오 인코딩(encoding)에 관한 기술로서, 비디오 인코딩시에 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 관한 것이다.
비디오 신호의 전송이나 저장시에 높은 영상 화질을 유지하면서 낮은 데이터 레이트나 적은 저장 영역을 얻기 위한 다양한 디지털 비디오 압축 기술이 제안되어 왔다. 이러한 비디오 압축 기술은 H.261, H.263, H.264, MPEG-2, MPEG-4 등과 같은 국제 표준 규격들이다. 이러한 압축 기술은 이산 코사인 변환(DCT: Discrete Cosine Transform) 기법이나 모션 보상(MC: Motion Compensation) 기법 등에 의해, 비교적 높은 압축률을 달성하고 있다. 이러한 비디오 압축 기술은 비디오 데이터의 스트림이 다양한 디지털 네트워크, 예를 들면, 휴대전화 네트워크, 컴퓨터 네트워크, 케이블 네트워크, 위성 네트워크 등에 효율적으로 전달되도록 적용되고 있다. 또한 하드디스크, 광디스크, 디지털 비디오 디스크(DVD) 등의 기억 매체에도 효율적으로 저장되도록 적용되어 있다.
고화질을 위해서는, 비디오 인코딩시 많은 양의 데이터를 요구하게 된다. 그러나, 비디오 데이터를 전달하는 통신 네트워크는 인코딩에 적용할 수 있는 데이터 레이트를 제한할 수 있다. 예를 들어, 위성방송 시스템의 데이터 채널이나 디지털 케이블 텔레비전 네트워크의 데이터 채널은 일반적으로 고정 비트 레이트(CBR: Constant Bit Rate)로 데이터를 보내고 있다. 또한 디스크와 같은 저장 매체의 저장 용량도 한정되어 있다.
따라서, 비디오 인코딩 프로세스는 화질과 이미지 압축에 필요한 비트 수를 적절히 트레이드 오프하게 된다. 또한 비디오 인코딩은 비교적 복잡한 처리를 요구하므로, 예를 들어 소프트웨어로 이를 구현하려고 할 경우에는, 비디오 인코딩 프로세스는 비교적 많은 CPU 사이클을 필요로 하게 된다. 더욱이 이를 실시간 처리로 재생하려고 하면, 시간적인 제약이 인코딩 수행시의 정밀함을 제한하게 되며, 이에 따라 달성할 수 있는 화질이 제한된다.
이와 같이, 비디오 인코딩 데이터율 제어는 실제 사용환경에서 중요한 사안이며, 되도록이면 처리 방식의 복잡도와 전송 데이터율을 줄이면서도 고화질을 얻도록 하기 위한 비디오 인코딩 데이터율 제어 방식이 제안되고 있다.
JVT(Joint Video Team: ITU-T Video Coding Experts Group and ISO/IEC 14496-10 AVC Moving Picture Experts Group, Z. G. Li, F. Pan, K. P. Lim, G. Feng, X. Lin, and S. Rahardja, "Adaptive basic unit layer rate control for JVT", JVT-G012-r1, 7th Meeting Pattaya Ⅱ, Thailand, Mar. 2003.)에서는 MPEG 비디오 압축 알고리즘에 따른 비디오 프레임 인코딩시 양자화 파라미터(QP: Quantization Parameter)를 조절하여 데이터율을 제어하는 기본적인 기술이 개시되고 있다.
한편, 주어진 자원(전송율 등)이 제한된 상태에서 비디오 인코딩시 GOP(group of picture)내(內)의 인터(Inter) 프레임에서 장면 전환이 일어나면 인코딩 데이터율 제어의 흐름이 깨진다. 왜냐하면 인코딩 데이터율 제어는 앞선 프레임과의 유사성이 있다는 가정 하에 만들어졌기 때문이다. 이러한 경우를 사전에 막기 위해 실시간 장면 전환 검출이 필요하게 된다.
장면 전환 검출을 위해, 이웃하는 프레임간의 유사성을 찾기 위한 기법으로는 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방식을 사용한다. 또한 H.264/AVC로 압축된 비디오에서는 RDO(Rate Distortion Optimization) 과정에서 인터(Inter) 프레임내에 인트라(Intra) 코딩된 매크로블록(macroblock)이 존재할 수 있으며, 인터(Inter) 프레임내에 인트라 코딩된 매크로블록의 수가 일정수준 이상이 되면 그 프레임은 장면 전환되었다고 간주할 수 있다.
그러나, H.264/AVC로 압축된 비디오에서 인터 프레임내에 인트라 코딩된 매 크로블록의 수로 장면 전환을 판단하는 방식은 간단하지만 실시간 처리를 할 수 없다. 즉, H.264/AVC RDO 과정에서 발생하는 "Chicken&Egg dilemma"에 의해 양자화 파라미터(QP)없이 인터 프레임내에 인트라 코딩된 매크로블록의 수를 알 수 없다.
실시간 장면 전환 검출을 위한 다른 방식들은 비디오 코딩에서 사용되어지는 일반적인 기능(function) 이외의 복잡한 추가적인 기능을 필요로 한다. 이미지 강조(Image enhancement) 기법에서 주로 사용되어지는 히스토그램(Color-Histogram) 알고리즘의 경우, 이미지 데이터를 해당 색공간(color space)으로 변환시킨 후 이를 이용하여 다시 계산하는 등 추가적인 기능이 필요하다. 이는 수백만 게이트 카운트(gate count)를 필요로 하는 비디오 코덱의 하드웨어 복잡성을 증가시키게 된다. 이러한 기술의 예로는 본 발명의 출원인에 의해 선출원된 특허 출원번호 제2002-39579호(명칭: 장면전환검출장치 및 그 방법, 발명자: 김문철, 출원일: 2002.7.9)에 개시된 바를 들 수 있다.
따라서, 본 발명의 목적은 하드웨어 복잡성이 적으며 보다 효율적으로 실시간으로 장면 전환을 검출하기 위한 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법을 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명은 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서, 현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보를 이용하여, 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측하는 과정과, 상기 예측한 PSNR이 미리 설정된 기준치를 벗어나는지 판단하는 과정과, 상기 판단 결과 상기 예측한 PSNR이 미리 설정된 기준치를 벗어날 경우에 현재 프레임에서 장면 전환이 이루어진 것으로 간주하는 과정을 수행함을 특징으로 한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명이 적용되는 비디오 인코더 장치의 블록 구성도이다. 도 1을 참조하면, 본 발명이 적용되는 비디오 인코더 장치는 비디오 프레임 시퀀스를 입력받으며 출력으로서는 압축된 비디오 데이터를 출력하는 일반적인 H.264/AVC(Advanced Video Coding) 인코더(10)를 구비할 수 있다. 또한 프레임들을 저장하는 프레임 저장 메모리(20)와, 인코더(10)의 데이터 레이트 제어를 위한 양자화 파라미터(QP: Quantization Parameter) 제어 동작을 수행하는 인코더 QP 제어기(30)를 구비한다.
먼저, 인코더(10)의 구성 및 동작을 보다 상세히 설명하면, 인코더(10)는 주파수 변환기(104), 양자화기(106), 엔트로피 코더(108), 인코더 버퍼(110), 역양자 화기(116), 역주파수 변환기(114), 모션추정/보상기(120) 및 필터(112)를 포함한다.
현재 프레임이 인터 프레임(예를 들어 P프레임일 경우)이라면, 모션추정/보상기(120)는 프레임 저장 메모리(20)에 버퍼링되어 있는 이전 프레임의 재구성된 프레임인 기준 프레임에 대한, 현재 프레임내(內) 매크로블록의 모션을 추정하고 보상한다. 프레임은 원 영상의 예를 들어 16x16 픽셀에 대응하는 매크로블록의 단위로 처리된다. 각 매크로블록은 인트라(intra) 또는 인터(inter) 모드로 부호화된다. 모션추정시에는 부가 정보로서 모션 벡터와 같은 모션 정보를 출력하고, 모션보상시에는 모션정보를 재구성된 이전 프레임에 적용하여 모션보상된 현재 프레임을 생성한다. 이와 같이 모션보상된 현재 프레임의 매크로블록(예측 매크로블록)과 원래의 현재 프레임의 매크로블록간의 차이분이 주파수 변환기(104)로 제공된다.
주파수 변환기(104)는 공간 도메인의 비디오 정보를 주파수 도메인(예를 들어 스펙트럼) 데이터로 변환한다. 이때 주파수변환기(104)는 통상 이산 코사인 변환(DCT: Discrete Cosine Transform)을 수행하여 매크로블록단위로 DCT 계수 블록을 생성한다.
양자화기(106)는 상기 주파수 변환기(104)에서 출력되는 스펙트럼 데이터 계수의 블록을 양자화한다. 이때 양자화기(106)는 통상 프레임별 기반으로 가변되는 스텝-크기로 스펙트럼 데이터에 일정한 스칼라 양자화를 적용한다. 이러한 양자화기(106)는 데이터 레이트 컨트롤을 위해 프레임별로 양자화 파라미터(QP)의 가변 정보를 인코더 QP 제어기(30)의 QP조정부(34)로터 제공받게 된다.
엔트로피 코더(108)는 해당 매크로블록의 특정 부가 정보(예를 들어, 모션 정보, 공간 보외법 모드, 양자화 파라미터)를 비롯하여, 양자화기(106)로부터의 출력을 압축한다. 통상적으로 적용되는 엔트로피 코딩 기술은, 산술 코딩, 허프만 코딩, 런 랭스(run-length) 코딩, LZ(Lempel Ziv) 코딩 등이 있다. 엔트로피 코더(108)는 통상 다른 종류의 정보에 다른 코딩 기술을 적용한다.
엔트로피 코더(108)에서 압축된 비디오 정보는 인코더 버퍼(110)에 버퍼링된다. 인코더 버퍼(110)의 버퍼 레벨 지시자는 데이터 레이트 조절을 위해 인코더 QP 제어기(30)로 제공된다. 인코더 버퍼(110)에 저장된 비디오 정보는 예를 들어 고정된 전송율로 인코더 버퍼(110)로부터 출력 및 삭제된다.
한편, 상기에서 재구성된 현재 프레임이 후속 모션추정/보상에 필요한 경우, 역양자화기(116)는 양자화된 스펙트럼 계수에 대해 역양자화를 수행한다. 역주파수 변환기(114)는 주파수 변환기(104)의 동작을 역으로 수행하여, 역양자화기(116)의 출력으로부터 예를 들어 역DCT 변환을 통해 역차이 매크로블록이 생성된다. 이는 신호 손실 등의 영향으로 원래의 차이 매크로블록과 동일하지 않다.
현재 프레임이 인터 프레임일 경우에는, 재구성된 상기 역차이 매크로블록은 상기 모션추정/보상기(120)의 예측 매크로블록과 합쳐져서 재구성된 매크로블록을 생성하게 된다. 재구성된 매크로블록들은 프레임 저장 메모리(20)에 다음 프레임을 예측하는데 이용하기 위해 기준 프레임으로 저장된다. 이때 상기 재구성된 매크로블록은 원래의 매크로블록의 왜곡된 버전이므로 일부 실시예에서는 디블록킹(deblocking) 필터(112)를 재구성된 프레임에 적용하여, 매크로블록간 불연속성 을 원활하게 한다.
한편, 인코더(10)의 QP를 제어하는 인코더 QP 제어기(30)에는 본 발명의 특징에 따라 프레임 저장 메모리(20)에 저장된 현재 프레임 및 기준 프레임 등을 통해 실시간으로 장면전환을 검출하는 장면전환 검출부(32)를 구비한다. 장면전환 검출부(32)에서 장면 전환을 검출하게 되면, 이에 대한 정보는 QP조정부(34)로 제공되며, QP조정부(34)는 이에 따라 장면 전환 검출시에 양자화기(106)의 양자화 파라미터를 적절히 조정하여 현재 프레임의 장면 전환에 적절히 대응할 수 있도록 한다.
이를 위해, 본 발명에서 상기 장면전환 검출부(32)는 이전 저장된 기준 프레임(reference frame)과 입력되는 현재 프레임을 통하여 현재의 PSNR(Peak Signal to Noise Ratio)을 예측하여 장면 전환을 판단하게 된다. 즉 상기 예측된 PSNR이 미리 설정된 기준치를 벗어날 경우에는 현재 프레임에서 장면 전환이 일어난 것으로 간주하게 된다. 본 발명에서는 상기 예측된 PSNR이 기준치를 벗어나는 것에 대한 판단은 특정 임계값과의 단순 비교만을 행하는 것이 아니라, 이전 프레임(들)의 실제 계산한 PSNR과 예측된 PSNR의 비를 확인하는 것으로 이루어진다. 이와 같이 할 경우에 영상간에 발생할 수 있는 장면전환 임계값의 민감도를 둔화시킬 수 있게 된다. 이는 하기 수학식 1과 같이 계산되어질 수 있다.
Figure 112006054238529-pat00001
상기 수학식 1에서 RatioPSNR은 이전 프레임들의 실제 계산한 PSNR과 예측된 PSNR의 비율이다. 또한 PPSNR은 현재 프레임에서 예측된 PSNR을 의미하며, CPSNR은 이전 프레임들에서 계산된 PSNR이다. i는 현재 프레임의 프레임 번호이며, j는 현재 프레임의 바로 이전 프레임의 프레임 번호이다.
상기 수학식 1에 따르면, RationPSNR은 이전 프레임들의 계산한 PSNR(CSPNR)의 평균값과 현재 프레임의 예측된 PSNR(PPSNR)과의 비율임을 알 수 있다. 상기 PPSNR과 CPSNR은 하기 수학식 2, 3에 의해 구해질 수 있다.
Figure 112006054238529-pat00002
Figure 112006054238529-pat00003
수학식 2에서 PMSE는 현재 프레임의 예측된 MSE(Mean Square Error)이고, 수학식 3에서 CMSE는 이전 프레임에서 계산된 MSE이다. 이때 수학식 2, 3에서 n은 샘플(즉, 픽셀)당 갖는 비트수를 나타낸다. 일반적으로 n은 8이다.
수학식 2, 3에 개시된 바와 같이, 본 발명에서 PPSNR과 CPSNR은 현재 프레임과 이전 프레임의 움직임 추정이나 모드 결정(mode decision) 등에서도 사용되는 오차 정보와 같거나 유사하게 계산됨을 알 수 있다. 상기 수학식 2, 3에서 PMSE와 CMSE의 실제 계산은 하기 수학식 4, 5에 따라 수행될 수 있다.
Figure 112006054238529-pat00004
Figure 112006054238529-pat00005
상기 수학식 4, 5에서 Oi mn는 i번째 프레임(즉 현재 프레임)의 m열 n행 번째 오리지널(original) 샘플을 나타내고 Rj mn는 j번째 프레임(즉 이전 프레임)의 m열 n행 번째 재구성된(reconstructed) 기준 샘플을 나타낸다. 한 프레임은 M[m] x N[n] 픽셀로 구성된다.
상기 수학식 5에서와 같이, CMSEj는 이전의 j번째 프레임의 오리지널 샘플들과, 동일한 m열 n행 번째 대응관계에 있는 j번째 재구성된 기준 프레임의 샘플들의 평균 제곱 오차에 의해 구해짐을 알 수 있다. 또한 상기 수학식 4에서와 같이, PMSEi는 현재(i번째) 프레임의 오리지널 샘플과 동일한 m열 n행 번째 대응관계에 있는 이전(i-1번째) 프레임 즉 기준 프레임의 재구성된 기준 샘플들과의 평균 제곱 오차에 의해 구해짐을 알 수 있다.
상기 수학식들에 의해서 본 발명에서 PPSNR은 결국 현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보에 의해 예측됨을 알 수 있다. 본 발명에서는 상기와 같은 수학식들을 이용하여 얻어진 RatioPSNR 값이 0.5미만이면 그 프레임은 장면 전환 되었다고 판단한다. 이때 상기 임계값 0.5는 실험치에 의한 값이다. 상기 수학식 1 ~ 5에 사용된 변수들은 비디오 코덱에서 이미 사용되고 있거나 유사한 변수들(예를 들어. SAD: Sum of Absolute Difference)이 사용되어지고 있어 하드웨어 복잡성이 거의 증가하지 않는다. 또한 재구성된 이전 프레임(기준 프레임)을 이용하여 현재의 PSNR 값을 예측하므로 실시간 동작이 가능하다.
도 2는 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 흐름도로서, 도 1에 도시된 바와 같은 장면전환 검출부(32)에서 수행될 수 있는 동작이다. 도 2를 참조하면, 먼저, 첫번째 프레임이 입력되면 302단계에서 상기 수학식 3과 같이, 초기 PSNR을 계산하게 된다. 이후 새로운 프레임이 계속 입력됨에 따라 304단계에서 상기 수학식 2와 같이, PSNR을 예측하고, 이후 306단계에서는 상기 수학식 1과 같이, RatioPSNR을 계산하게 된다. 이후 308단계에서는 상기 수학식 1과 같이 계산한 RatioPSNR이 0.5 미만인지를 판단한다. 판단결과 0.5 미만이 아닐 경우에는 312단계로 진행하여 PSNR을 계산한 다음 상기 304단계로 리턴하여 상기의 과정을 반복진행하게 된다. 그런데 상기 308단계에서 판단 결과 RatioPSNR이 0.5 미만일 경우에는 310단계로 진행하여 장면 전환이 검출된 것으로 간주하고 장면 전환 검출 신호 등을 발생한 후 상기 312단계로 진행한다. 이와 같이 발생된 장면 전환 검출 신호는 이후 QP조정부(34)로 제공될 수 있으며, QP조정부(34)는 이에 따라 장면 전환 검출시에 양자화기(106)의 양자화 파라미터를 적절히 조정하게 된다.
도 3은 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 테스트 결과를 나타낸 그래프이다. 본 발명에 따른 장면 전환 검출 방식의 유효성을 알아보기 위 해 임의의 8개의 테스트 시퀀스 영상 일명, 'claire', 'news', 'foreman', 'silent', 'miss america', 'carphone', 'suzie' 및 'trevor'를 50 프레임씩 끊은 뒤 차례로 연결시켜 새로운 영상을 만들었다. 이에 따라 새로운 영상은 50번째 프레임마다 장면 전환이 발생한다. 이후 이 새로운 영상을 이용하여 상기 수학식 1의 RatioPSNR을 프레임별로 구하였으며, 이의 결과는 도 3에 도시된 그래프와 같이 나타났다. 도 3에서 개시된 바와 같이, 0.5 미만의 RatioPSNR값을 갖는 프레임은 기대한 바와 같이, 매 50번째 프레임임을 알 수 있다.
상기와 같이 본 발명의 일 실시예에 따른 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 예를 들어 상기의 설명에서는 본 발명에서 상기 오차 정보를 얻기 위하여 MSE를 이용한 것으로 설명하였으나, 이외에도 SAD를 이용하여 오차 정보를 계산하며, 이를 통해 일명 현재 예측된 SAD(PSAD)나, 계산된 SAD(CSAD)를 통해 유사한 과정을 통해 장면 전환을 검출할 수도 있다. 이외에도 본 발명의 다양한 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
상기한 바와 같이, 본 발명에 따른 비디오 인코딩 데이터율 제어를 위한 실 시간 장면 전환 검출 방식은 하드웨어 복잡성이 적으며 보다 효율적으로 실시간으로 장면 전환을 검출할 수 있다.

Claims (7)

  1. 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서,
    현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보를 이용하여, 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측하는 과정과,
    상기 예측한 PSNR이 미리 설정된 기준치를 벗어나는지 판단하는 과정과,
    상기 판단 결과 상기 예측한 PSNR이 미리 설정된 기준치를 벗어날 경우에 현재 프레임에서 장면 전환이 이루어진 것으로 간주하는 과정을 포함함을 특징으로 하는 실시간 장면 전환 검출 방법.
  2. 제1항에 있어서, 상기 예측한 PSNR이 미리 설정된 기준치를 벗어나는지 판단하는 것은 이전 프레임의 실제 계산한 PSNR과 상기 예측된 PSNR의 비를 확인하는 것임을 특징으로 하는 실시간 장면 전환 검출 방법.
  3. 제1항에 있어서, 상기 예측한 PSNR이 미리 설정된 기준치를 벗어나는지 판단하는 것은 이전 프레임들의 실제 계산한 PSNR의 평균과 상기 예측된 PSNR의 비를 확인하는 것임을 특징으로 하는 실시간 장면 전환 검출 방법.
  4. 제2항 또는 제3항에 있어서, 상기 실제 계산한 PSNR은 이전의 프레임의 원본 영상들과 동일한 대응관계에 있는 재구성된 이전 프레임의 샘플들의 평균 제곱 오차에 의해 구하며,
    상기 예측한 PSNR은 현재 프레임의 원본 영상과 동일한 대응관계에 있는 재구성된 이전 프레임의 샘플들과의 평균 제곱 오차에 의해 구함을 특징으로 하는 실시간 장면 전환 검출 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 오차 정보는 MSE(mean square error) 또는 SAD(Sum of Absolute Difference)임을 특징으로 하는 실시간 장면 전환 검출 방법.
  6. 제3항에 있어서, 상기 이전 프레임들의 실제 계산한 PSNR의 평균과 상기 예측된 PSNR을 비인 RatioPSNR은 하기 수학식 6에 따라 계산되어짐을 특징으로 하는 실시간 장면 전환 검출 방법.
    Figure 112006054238529-pat00006
    상기 수학식 6에서 PPSNR은 상기 현재 프레임에서 예측된 PSNR을 의미하며, CPSNR은 이전 프레임들에서 계산된 PSNR이며, i는 현재 프레임 번호이며, j는 이전 프레임 번호이다.
  7. 제6항에 있어서, 상기 PPSNR과 상기 CPSNR은 하기 수학식 7, 8에 따라 계산되어짐을 특징으로 하는 실시간 장면 전환 검출 방법.
    Figure 112006054238529-pat00007
    Figure 112006054238529-pat00008
    상기 수학식 7에서 PMSE는 현재 프레임의 예측된 MSE(Mean Square Error)이고, 상기 수학식 8에서 CMSE는 이전 프레임에서 계산된 MSE이며, 상기 수학식 7, 8에서 n은 샘플당 비트수이다.
    상기 PMSE와 상기 CMSE의 하기 수학식 9, 10에 따라 계산되어진다.
    Figure 112006054238529-pat00009
    Figure 112006054238529-pat00010
    상기 수학식 9, 10에서 Oi mn는 i번째 프레임의, m열 n행 번째 오리지널(original) 샘플을 나타내고 Rj mn는 j번째 프레임의 m열 n행 번째 재구성된(reconstructed) 샘플을 나타낸다(한 프레임은 M[m] x N[n] 픽셀로 구성됨).
KR1020060070858A 2006-07-27 2006-07-27 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 KR100834625B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060070858A KR100834625B1 (ko) 2006-07-27 2006-07-27 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
US11/880,205 US20080025402A1 (en) 2006-07-27 2007-07-20 Method of detecting scene conversion for controlling video encoding data rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060070858A KR100834625B1 (ko) 2006-07-27 2006-07-27 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법

Publications (2)

Publication Number Publication Date
KR20080010610A KR20080010610A (ko) 2008-01-31
KR100834625B1 true KR100834625B1 (ko) 2008-06-02

Family

ID=38986255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060070858A KR100834625B1 (ko) 2006-07-27 2006-07-27 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법

Country Status (2)

Country Link
US (1) US20080025402A1 (ko)
KR (1) KR100834625B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490521B1 (ko) 2007-10-10 2015-02-06 삼성전자주식회사 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2408453B1 (en) 2009-03-17 2022-01-05 Nicox Ophthalmics, Inc. Ophthalmic formulations of cetirizine and methods of use
KR101942371B1 (ko) * 2012-07-19 2019-04-18 한국전자통신연구원 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법
US9858656B2 (en) * 2013-03-13 2018-01-02 Raytheon Company Video interpretability and quality estimation
KR102235386B1 (ko) * 2017-07-07 2021-04-01 삼성에스디에스 주식회사 장면전환 검출 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050065104A (ko) * 2003-12-24 2005-06-29 엘지전자 주식회사 영상 오류 복구장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100232098B1 (ko) * 1997-03-26 1999-12-01 서평원 퍼지 제어를 이용한 mpeg 영상 신호의 전송율 제어 장치
EP1374429A4 (en) * 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
US6785334B2 (en) * 2001-08-15 2004-08-31 Koninklijke Philips Electronics N.V. Method for transmission control in hybrid temporal-SNR fine granular video coding
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
CN101697591A (zh) * 2005-03-10 2010-04-21 高通股份有限公司 用于多媒体处理的内容分类
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050065104A (ko) * 2003-12-24 2005-06-29 엘지전자 주식회사 영상 오류 복구장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490521B1 (ko) 2007-10-10 2015-02-06 삼성전자주식회사 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템

Also Published As

Publication number Publication date
KR20080010610A (ko) 2008-01-31
US20080025402A1 (en) 2008-01-31

Similar Documents

Publication Publication Date Title
US6037987A (en) Apparatus and method for selecting a rate and distortion based coding mode for a coding system
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
KR100850705B1 (ko) 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6765962B1 (en) Adaptive selection of quantization scales for video encoding
KR100790149B1 (ko) 비디오 인코딩 데이터율 제어 방법
EP1549074A1 (en) A bit-rate control method and device combined with rate-distortion optimization
EP1992169B1 (en) Method and apparatus for bit rate control in scalable video signal encoding using a rate-distortion optimisation
US20090296812A1 (en) Fast encoding method and system using adaptive intra prediction
US20090097546A1 (en) System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate
EP1551185A1 (en) Encoding method, decoding method, and encoding apparatus for a digital picture sequence
US8259793B2 (en) System and method of fast MPEG-4/AVC quantization
US8451891B2 (en) Rate control method for video encoder using Kalman filter and FIR filter
WO2005004335A2 (en) Cauchy-distribution based coding system and method
KR100834625B1 (ko) 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
US20050036548A1 (en) Method and apparatus for selection of bit budget adjustment in dual pass encoding
US8442113B2 (en) Effective rate control for video encoding and transcoding
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
KR100929607B1 (ko) 엠펙-2 메인 프로파일에서 ｈ.264/ａｖｃ 베이스라인프로파일로의 트랜스코딩 방법
KR100800838B1 (ko) 비디오 인코딩 데이터율 제어 방법
KR101336445B1 (ko) 비디오 인코딩 데이터율 제어 방법
KR100790148B1 (ko) 실시간 영상 복잡도 측정 방법
KR101490521B1 (ko) 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
US20060146929A1 (en) Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks
KR100809013B1 (ko) 복잡도 가변형 동영상 부호화 장치 및 그 방법
JP4281667B2 (ja) 画像符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee