KR100212560B1 - 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치 - Google Patents

하이브리드 윤곽 부호화에서의 부호화 모드 결정장치 Download PDF

Info

Publication number
KR100212560B1
KR100212560B1 KR1019960007859A KR19960007859A KR100212560B1 KR 100212560 B1 KR100212560 B1 KR 100212560B1 KR 1019960007859 A KR1019960007859 A KR 1019960007859A KR 19960007859 A KR19960007859 A KR 19960007859A KR 100212560 B1 KR100212560 B1 KR 100212560B1
Authority
KR
South Korea
Prior art keywords
contour
encoding
encoding mode
control signal
current
Prior art date
Application number
KR1019960007859A
Other languages
English (en)
Other versions
KR970068625A (ko
Inventor
김진헌
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960007859A priority Critical patent/KR100212560B1/ko
Publication of KR970068625A publication Critical patent/KR970068625A/ko
Application granted granted Critical
Publication of KR100212560B1 publication Critical patent/KR100212560B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상신호를 저전송율로 압축 부호화하는 하이브리드 윤곽 부호화 시스템에 관한 것으로, 특히 부호화하고자 하는 해당 물체의 윤곽선의 부호화 모드(인트라 모드 또는 인터 모드)를 적응적으로 선택할 수 있도록 하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정 장치에 관한 것이다.
이를 위한 본 발명은, 인트라 모드 부호화를 위한 제어신호를 발생하고, 현재 프레임내 물체의 현재 윤곽으로부터 다수의 버텍스 정보를 추출하고; 인터 모드 부호화를 위한 제어신호를 발생하고, 현재 윤곽과 재구성된 이전 프레임내 물체의 이전 윤곽에 의하여 움직임 벡터를 추출한 후 움직임 보상을 수행한 다음 움직임 보상되지 않은 잔여 윤곽 세그먼트들을 추출하고; 추출된 다수의 버텍스 정보를 카운트한 제 1 카운트값과 추출된 잔여 윤곽 세그먼트들을 카운트한 제 2 카운트값을 비교하여 그 비교 결과에 따라 부호화 모드 선택 제어신호를 발생하고; 발생된 부호화 모드 선택 제어신호에 의거하여 인트라 모드 부호화를 위한 제어신호 또는 인터 모드 부호화를 위한 제어신호중 어느 하나를 선택하여 하이브리드 윤곽 부호화에서의 부호화 모드로 결정하도록 하므로써, 전형적인 하이브리드 윤곽 부호화시에 부호화하고자 하는 윤곽선에서 발생하는 비트 할당이 많은 버텍스의 개수를 최대한 억제하면서 효율적인 윤곽선 부호화를 실현할 수 있는 것이다.

Description

하이브리드 윤곽 부호화에서의 부호화 모드 결정장치
제1도는 본 발명의 바람직한 실시예에 따른 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치에 대한 블록구성도이고,
제2도는 본 발명에 따라 물체의 윤곽을 다각형으로 근사화하는 과정을 예시적으로 도시한 도면이고,
제3도는 본 발명에 따라 두 개의 마스크를 이용하거나 윤곽 확장 기법을 이용하여 움직임 벡터를 검출하고 움직임 보상한 후에 얻어지는 잔여 윤곽 세그먼트의 일예를 도시한 도면이다.
* 도면의 주요부분에 대한 부호의 설명
110 : 버텍스 추출 블록 120 : 세그먼트 발생 블록
130 : 부호화 모드 판단 블록 140 : 부호화 모드 선택 블록
본 발명은 영상신호를 저전송율로 압축 부호화하는 하이브리드(Hybrid) 윤곽 부호화 시스템에 관한 것으로, 보다 상세하게는 디지털 영상신호에 포함되는 프레임 내의 물체 윤곽의 전체 윤곽선 정보를 부호화하는 인트라 모드와 이전의 윤곽선 정보를 이용하여 움직임 보상을 한 후 남는 잔여 윤곽 세그먼트들을 부호화하는 인터모드를 갖는 하이브리드 윤곽 부호화 시스템에서의 부호화 모드 결정장치에 관한 것이다.
이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.
따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.
한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 여기에서, 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transforml Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 Amotion Compensated Interframe Coding Scheme for 랙 Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.
보다 상세하게, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간의 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와 같이, 소정크기(예를들면, 8×8 크기)의 블록단위로 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수가 있을 것이다.
따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와 같이 저장된 부호화된 영상데이터는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.
보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT) 등의 변환 부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측 등을 통한 차분 부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.
통상적으로, 상술한 바와같은 DPCM/DCT 하이브리드 부호화 기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지털 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘 등에 주로 관련된다.
한편, 최근들어 PC의 급격한 성능 향상과 보급 확산, 디지털 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술 중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있다.
그러나, 상술한 바와같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(Glolbal motion)등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고 압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.
따라서, 현재로서는 기존의 DCT 변환에 기초한 하이브리드 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관적 화질을 중요시하는 MPEG4의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.
이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상 부호화 기법들로서는, 예를들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model-Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화(Segmentation-Based Coding), 영상의 자기 유사성을 이용하는 프렉탈 부호화(Fractal Coding) 등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.
본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object-oriented analysis-synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, Object-Oriented Analysis-Synthesis Coding Based on Moving Two-Dimentioanl Objects, Signal Processing : Image Communication 2, pp.409-428(December, 1990)에 개시되어 있다.
상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 윤곽 및 화소 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를들면 멀티플렉서 등을 통해 다중화되어 전송기로 보내질 것이다. 여기에서, 본 발명은 실질적으로 프레임내의 물체의 윤곽을 부호화하는 시스템에 관련된다.
특히, 물체의 윤곽을 처리하는데 있어서, 윤곽 정보는 물체의 모양을 해석 및 합성하는데 대단히 중요하며, 이러한 윤곽 정보를 나타내기 위한 통상의 부호화 기법으로는, 예를들면 체인 부호화(chain coding)방법이 있다. 이때, 체인 부호화 방법은 윤곽선상의 임의의 한 점에서 시작하여 화소들간의 연결상태에 따라 경계선을 일정한 방향으로 방향벡터들의 순열로써 나열해 가면서 윤곽정보를 부호화하는 기법인 것으로, 이러한 방법은 이미 이 기술분야에 잘 알려진 공지기술이다. 그러나, 체인 부호화는 윤곽정보의 손실이 없다 할지라도 실질적으로 상당한 양의 비트 할당이 필요하다.
또한, 윤곽을 근사화시키기 위한 방법으로, 다각형 근사 및 B-스플라인 근사(B-spline approximation) 등과 같은 몇가지 방법이 제안되어 있다. 여기에서, 다각형 근사의 주된 단점은 윤곽이 거칠게 나타나는 것이며, B-스플라인 근사는 윤곽을 보다 정확하게 나타낼 수 있지만, 근사 에러를 줄이는데 높은 차수의 다항식(polynomial)들이 필요로 함으로써 영상 부호화 시스템의 전체적인 계산이 복잡하게 된다.
상기한 바와 같은 다각형 근사에서 물체의 윤곽이 거칠게 나타나는 문제와 B-스플라인 근사에서의 계산상의 복잡성의 문제를 해결하기 위해 제시된 방법중의 하나가 이산 사인 변환(discrete sine transforma : DST)을 이용한 윤곽 근사 기법이다.
이와같은 윤곽의 다각형 근사와 DST를 이용한 윤곽 근사 기법을 채용하는 장치는 물체의 윤곽을 나타내기 위한 윤곽 근사 장치라는 명칭으로 출원되어 현재 계류 중인 미합중국 특허 제 08/423,604호에 개시되어 있다. 이러한 장치에서는, 다수의 버텍스 포인들이 결정되고, 윤곽을 라인 세그먼트로 맞추는 윤곽 근사에 의해 물체의 윤곽이 근사화된다. 그런 다음, 각 라인 세그먼트에 대해 N 개의 샘플 포인트가 선택되고, 각 라인 세그먼트에 대한 근사 에러의 세트를 구하기 위해 각 라인 세그먼트상에 위치한 각각의 N 개 샘플 포인트에서 근사에러가 계산된다. 이 때, N 개의 샘플 포인트들은 각 라인 세그먼트상에 동일한 간격으로 배치되며, 여기에서 각각의 근사에러는 N 개 샘플 포인트 각각과 윤곽 사이의 거리를 나타낸다. 그런 다음, 각 세트의 근사에러를 1차원 DST 하므로써 DST 계수들의 세트가 발생된다.
비록, 상술한 바와같은 장치는 DST를 이용한 윤곽근사를 사용하여 다각형 근사에서의 윤곽이 거칠게 나타나는 문제와 B-스플라인 근사에서의 계산의 복잡성 문제를 해결할 수는 있으나, 매 프레임마다 DST 계수들을 전송해야 하므로써 전송 데이터량이 증가한다는 문제가 있다. 따라서, 저전송율의 구현을 위해서는 상기한 바와 같이 DST를 이용한 윤곽근사를 수행할 때 발생하는 데이터 증가를 억제할 필요가 있으며, 이러한 물체의 부호화된 윤곽 정보의 발생 데이터를 억제하는 하나의 방편으로는 동영상내에서 움직이는 물체의 윤곽선을 부호화할 때 물체의 윤곽선 정보를 인트라 모드 또는 인터 모드로 분류하여 부호화하는 하이브리드 부호화 기법이 있다. 여기에서, 인트라 모드 부호화는 물체의 전체 윤곽선 정보를 부호화하여 전송하는 것이고, 인터 모드 부호화는 재구성된 이전의 윤곽선 정보를 이용하여 움직임 보상을 수행한 후에 남는 개곡선 또는 폐곡선 형태의 잔여 윤곽 세그먼트들을 부호화하여 전송하는 것이다.
인터 모드 부호화에서 잔여 윤곽 세그먼트들은 움직임 벡터에 의거하여 움직임 보상한 후 얻어지는 움직임 보상이 않된 부분의 잔여 세그먼트인 것으로 이러한 잔여 세그먼트들은 부호화한 후 전송해야 하는 데, 이것은 개곡선의 형태로 나타날 수도 있고 폐곡선의 형태로 나타날 수도 있다. 즉, 일반적인 경우에는 개곡선의 형태로 나타날 수 있겠지만, 만약 주밍(zooming)이 생겼다거나 새로운 물체가 등장할 경우에는 폐곡선의 형태로 나타날 수 있을 것이다.
한편, 윤곽선을 근사화하는 데 있어서 대부분의 정보는 버택스들을 부호화하는 데 할당되는 데, 이러한 점을 고려한다면 상기한 바와 같이 인트라 모드 부호화(전체 윤곽을 부호화하여 전송)와 인터 모드 부호화(이전 윤곽선 정보를 이용하여 움직임 보상을 한 후 남은 잔여 윤곽만을 부호화하여 전송)를 갖는 하이브리드 윤곽 부호화 기법에서 실질적으로 버텍스가 적어지는 부호화 방법, 즉 버텍스가 적어지는 부호화 모드(인트라 모드 또는 인터 모드)를 적응적으로 선택할 필요가 있을 것이다. 이것은 곧 윤곽선 정보의 부호화 효율과 직결된다고 볼 수 있을 것이다.
따라서, 본 발명은 상기한 점에 착안하여 안출한 것으로서, 본 발명의 목적은 하이브리드 윤곽 부호화에 있어서, 부호화하고자 하는 물체 윤곽선의 버텍스 정보와 윤곽 세그먼트 정보의 발생개수에 의거하여 윤곽선의 부호화 모드를 적응적으로 선택할 수 있는 부호화 모드 결정 장치를 제공하는 데 있다.
상기 목적을 달성하기 위하여 본 발명은, 현재 프레임에 나타나는 물체의 전체 윤곽선에 대해 DST를 사용한 다각형 근사 기법을 이용하여 부호화하는 인트라 모드와, 재구성된 이전 프레임을 이용하여 움직임 보상을 한 후에 얻어지는 잔여 윤곽 세그먼트들에 대해 상기한 DST를 사용한 다각형 근사 기법을 이용하여 부호화하는 인터 부호화 모드를 갖는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치에 있어서, 상기 인트라 모드 부호화를 위한 제1 부호화 모드 제어신호를 발생하며, 상기 현재 프레임에서 검출된 현재 윤곽에 대해 DST를 이용한 다각형 근사 기법을 통해 상기 현재 윤곽의 다수의 버텍스 정보들을 추출하는 버텍스 추출수단; 상기 인터 모드 부호화를 위한 제2 부호화 모드 제어신호를 발생하며, 상기 현재 프레임내의 물체의 현재 윤곽과 상기 재구성된 이전 프레임내의 물체의 이전 윤곽에 의거하여 상기 이전 프레임의 기설정된 소정 범위의 탐색 범위내에서 상기 현재 윤곽과 상기 이전 윤곽간의 변위를 나타내는 하나의 움직임 벡터를 추출하고, 이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행한 다음 움직임이 보상되지 않은 잔여 윤곽 세그먼트들을 추출하는 세그먼트 발생수단; 상기 추출된 버텍스 정보들을 입력하고 그 개수를 카운트하여 제1의 카운트값을 생성하고, 상기 잔여 윤곽 세그먼트들을 입력하고 그 개수를 카운트하여 제2의 카운트값을 생성하며, 상기 생성된 제1 및 제2의 카운트값을 기설정된 비교조건하에서 비교한 다음 그 비교결과에 상응하여 상기 제1 부호화 모드 제어신호 또는 제2의 부호화 모드 제어신호를 선택하기 위한 부호화 모드 제어신호를 발생하는 부호화 모드 판단수단; 및 상기 부호화 모드 제어신호에 의거하여, 상기 제1 및 제2의 부호화 모드 제어신호중 어느 하나를 선택하며, 이 선택된 부호화 모드 제어신호를 상기 하이브리드 윤곽 부호화에서의 부호화 모드로 결정하는 부호화 모드 선택 수단을 제공한다.
본 발명의 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
앞에서 이미 언급한 바와 같이, 물체 기반 부호화에서의 윤곽선 부호화할 때의 윤곽선을 근사화하는 데 있어서 대부분의 정보는 버텍스들을 부호화하는 데 할당되는 데, 본 발명에서는, 전형적인 하이브리드 윤곽 부호화 시스템에서 이러한 점을 고려한 효율적인 부호화를 수행할 수 있도록, 부호화하고자 하는 윤곽에서 발생 가능한 버텍스의 개수 정보에 기초하여 해당 윤곽을 인트라 모드 또는 인터 모드로 부호화할 수 있는 부호화 모드 결정장치를 제공한다. 따라서, 전형적인 하이브리드 윤곽 부호화 시스템에서는 부호화 모드의 적응적인 적용에 따라 부호화하고자 하는 윤곽 부호화 시스템에서는 부호화 모드의 적응적인 적용에 따라 부호화하고자 하는 윤곽선에서 발생하는 비트 할당이 많은 버텍스의 개수를 최대한 억제할 수 있어 부호화 효율을 증진시킬 수 있을 것이다.
제1도는 본 발명의 바람직한 실시예에 따른 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 본 발명의 부호화 모드 결정장치는 버텍스 추출 블록(110), 세그먼트 발생 블록(120), 부호화 판단 블록(130) 및 부호화 모드 선택 블록(140)을 포함한다.
제1도에 있어서, 버텍스 추출 블록(110)에서는 전형적인 하이브리드 윤곽 부호화 시스템을 통해 부호화하고자 하는 현재 프레임내의 물체에 대한 현재 윤곽에서 다각형 근사 DST를 이용한 근사 오차보상 기법 등을 통해 버텍스 정보들을 추출하며, 또한 하이브리드 윤곽 부호화 시스템에서의 윤곽 부호화시에 부호화하고자 하는 해당 윤곽을 인트라 부호화 모드로 부호화하기 위한 모드 제어신호를 발생한다.
보다 상세하게, 버텍스 추출 블록(110)에서는 라인 L11 상의 현재 윤곽에 대해 라인 세그먼트로 윤곽을 나타내는 통상의 근사 알고리즘을 사용하여 이루어지며, 이와 같은 다각형 근사 기법을 사용하여 윤곽을 분할하는 과정의 일예가 제2(a)도 내지 (c)도에 도시되어 있다.
제2도를 참조하면, 먼저 윤곽의 다각형 근사를 위해 2개의 시작 버텍스 포인트가 선택되는 데, 이때 현재 윤곽이 개곡선(open loop)인 경우에는 그 윤곽선의 양쪽 끝점, 예를들어 제2(a)도에 도시된 바와 같은 A점과 B점이 시작 포인트로서 선택될 것이다. 이와 반대로, 다각형 근사화하고자 하는 현재 윤곽이 폐곡선(closed loop)인 경우에는 윤곽선상에서 가장 멀리 떨어진 두 점이 시작 버텍스 포인트로서 선택될 것이다. 그런 다음, 제2(b)도에 도시된 바와 같이, 가장 먼 거리에 존재하는 점 C와 라인 세그먼트 A-B 사이의 거리 DMAX를 계산하여 그 거리 DMAX가 소정의 임계치 TH보다 큰 경우, 해당되는 점 C는 버텍스 포인트로 선택된다. 여기에서, 원영상의 윤곽선과 근사화된 직선 사이의 임계치 TH (즉, 주어진 최대 허용오차 거리)는 미리 정해진다. 이와같은 다각형 근사 과정은 각 세그먼트상에서 가장 먼 거리에 존재하는 점과의 거리 DMAX가 기설정된 소정의 임계치 TH보다 작아질 때까지 반복되며, 최종적으로 계산된 거리 DMAX가 기설정된 임계치 TH보다 작으면 그 부분에 대한 근사화는 종료된다. 제2도에 있어서, 참조번호 10은 현재 윤곽을, 참조부호 A, B, C, D, E-는 현재 윤곽에서 결정된 각 버텍스 포인트를 각각 나타낸다.
따라서, 주어진 윤곽에 대한 버텍스 포인트들의 개수는 기설정되는 소정의 임계치 TH에 의해 결정된다고 볼 수 있다. 그러므로, 임계치 TH를 높게 설정하면, 부호화 효율은 올라가는 반면 라인 세그먼트에 의해 나타나는 윤곽의 정확도가 떨어질 것이고, 임계치 TH를 낮게 설정하면, 부호화 효율은 떨어지는 반면 라인 세그먼트에 의해 나타나는 윤곽의 정확도가 올라갈 것이다.
그런 다음, 버텍스 추출 블록(110)은 라인 L13 상에 하이브리드 윤곽 부호화 시스템에서의 윤곽 부호화를 위한 부호화 모드 제어신호, 즉 부호화하고자 하는 해당 윤곽을 인트라 모드로 부호화하기 위한 모드 제어신호를 발생하여, 다음단의 부호화 모드 선택 블록(140)에 제공하고, 또한 상술한 바와같은 과정을 통해 현재 윤곽에서 추출한 버택스 정보들을 라인 L14 상에 발생하여 부호화 모드 판단 블록(130)으로 제공한다.
제1도를 참조하면, 세그먼트 발생 블록(120)에서는 라인 L11상의 현재 프레임내 물체의 현재 윤곽과 라인 L12 상의 재구성된 이전 프레임내 물체의 이전 윤곽을 이용하여 전체 윤곽에 대한 하나의 움직임 벡터를 추정한 다음, 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하여 움직임 보상이 않된 부분의 윤곽, 즉 잔여 윤곽 세그먼트들을 추출하며, 또한 하이브리드 윤곽 부호화 시스템에서의 윤곽 부호화시에 부호화하고자 하는 해당 윤곽을 인터 부호화 모드로 부호화하기 위한 모드 제어신호를 라인 L15를 통하여 부호화 모드 선택 블록(140)으로 발생한다.
또한, 시간축상에 존재하는 상관성을 줄이기 위해 추정, 보상 기법을 이용하는 윤곽선 영상의 경우 일반적인 영상에 비해 시간축상으로 존재하는 상관성이 매우 작다. 따라서, 본 발명에 따라 세그먼트 발생 블록(120)에서는 움직임 보상에 많은 정보량을 할당하지 않고 하나의 윤곽선에 대해 단지 하나의 움직임 벡터만을 추출하여 움직임 보상을 수행한다.
보다 상세하게, 세그먼트 발생 블록(120)에서는 라인 L11상의 현재 프레임에 대한 현재 윤곽과 라인 L13 상의 재구성된 이전 프레임에 대한 이전 윤곽간의 움직임 추정 및 보상을 이용하여 전체 윤곽에 대한 하나의 움직임 벡터를 추출하고, 이와 같이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하며, 움직임 보상한 후에 남는 잔여 윤곽선(즉, 움직임 보상을 한 후 움직임이 보상되지 않은 부분의 윤곽선)을 추출하여 라인 L16상에 발생한다. 여기에서, 전체 윤곽에 대한 하나의 움직임 벡터는 현재 프레임내의 전체 윤곽과 재구성된 이전 프레임의 주어진 탐색영역(예를 들면, 이전 윤곽의 경계를 따라 형성되는16 화소범위)내에서 가장 유사한 이전 윤곽 사이의 변위를 나타내며, 이와 같은 윤곽에 대한 하나의 움직임 벡터 추정은 두 개의 마스크를 이용하여 실현하거나 물체의 현재 윤곽을 소정폭, 예를 들면1 화소씩 확장시키는 윤곽 확장 기법을 이용하여 실현할 수 있는 데, 이러한 움직임 벡터 추정방법들은, 예를 들면 본 발명자에 제안되어 동일 출원인에 의해 동일자로 출원된 “물체의 윤곽 부호화를 위한 움직임 추정장치”에 상세하게 기재되어 있다.
상기한 바와 같은 하나의 움직임 벡터 추정방법중 하나인 마스크를 이용하는 방법은, 두 개의 마스크를 이용하여 주어진 탐색영역(예를 들면, 이전 윤곽선의 경계를 따라 형성되는16 화소 범위)에서 풀서치(full search)를 통해 현재 윤곽과 가장 매칭이 잘되는 후보 윤곽간의 하나의 움직임 벡터를 추출, 즉 두 개의 마스크를 매칭시킨 다음 미스매칭되는 영역의 화소수를 카운트하며, 이와 같이 카운트되는 화소수가 가장 적어지는 위치에 대한 하나의 움직임 벡터를 추출한다.
또한, 현재 윤곽 확장 기법을 이용하는 방법은, 물체의 현재 윤곽을 소정폭, 예를들면1 화소씩 확장시키는 데, 여기에서, 물체의 윤곽을1 화소씩 확장시키는 것은 실질적으로 1 화소 정도의 화소 에러는 동영상에서의 화질에 거의 영향을 미치지 않기 때문이다. 소정폭으로 확장된 현재 윤곽과 재구성된 이전 프레임내에 기설정되는 소정범위의 움직임 탐색범위내의 다수의 후보 윤곽간을 매칭시켜 가면서 예측된 윤곽 정보를 결정, 즉 이전 윤곽의 기설정된 탐색범위에서, 확장된 현재 윤곽과 후보 윤곽들을 각각 매칭시켜 매칭이 안돼는 각 이전 윤곽의 화소수를 카운트한 다음 탐색범위내의 후보 윤곽들중 그 카운트값이 가장 적은 후보 윤곽을 예측 윤곽으로 결정하며, 확장된 현재 윤곽으로부터 상기와 같이 결정된 예측 윤곽에 대한 하나의 움직임 벡터를 결정한다. 여기에서, 결정된 하나의 움직임 벡터는 현재 프레임내의 물체의 전체 윤곽과 이전 프레임에서의 기설정된 윤곽 탐색범위(예를들면, 이전 윤곽선의 경계를 따라 형성되는16 화소 범위)내의 결정된 물체의 후보 윤곽 사이의 변위를 나타낸다.
이때, 전체 윤곽의 움직임 추정을 위한 탐색범위로서는, 예를 들면 많은 실험을 통해 검증된 통계적인 윤곽의 움직임 범위(또는 정도)와 시스템 구현에 있어서의 실시간 처리에 적합한 움직임 추정을 위해 할애할 수 있는 탐색시간 등을 고려하여16 화소 정도가 바람직할 것이다. 물론, 전체 윤곽의 움직임 추정을 위한 고속 탐색 알고리즘의 출현이 가능하다면 이전 윤곽 정보에서의 탐색범위를 보다 더 확대할 수도 있을 것이다.
따라서, 세그먼트 발생 블록(120)에서는 상술한 바와같이 마스크 또는 윤곽 확장 기법을 이용하여 추출한 하나의 움직임 벡터를 이용하여 현재 윤곽과 이전 윤곽간의 움직임 보상을 수행한 다음 움직임 보상이 않된 잔여 윤곽 세그먼트들을 라인 L16상에 발생하여 부호화 모드 판단 블록(130)에 제공한다. 이때, 움직임 보상한 후에 얻어지는 잔여 윤곽선은 몇 개의 잔여 윤곽 세그먼트들로 이루어지는 데, 이것은 개곡선의 형태로 나타날 수도 있고 폐곡선의 형태로 나타날 수도 있다. 즉, 일반적인 경우에는, 일예로서 제3도에 도시된 바와같이, 개곡선의 형태로 나타나겠지만, 만약 주밍(zooming)이 생겼다거나 새로운 물체가 등장할 경우에는 폐곡선의 형태로 나타날 수 있다.
제3도는 하나의 움직임 벡터를 이용한 움직임 보상후에 얻어지는 잔여 윤곽 세그먼트가 두 개의 개곡선으로 이루어진 일예를 보여준다. 동도면에 있어서, 참조부호 N은 이전 프레임에서 검출한 이전 윤곽을, M은 현재 프레임에서 검출한 현재 윤곽을, O는 움직임 벡터를, P는 움직임 보상을 통해 매칭된 영역을, Q는 이전 프레임의 움직임 보상된 윤곽을, 굵은 선으로 도시된 R은 움직임 보상후에 남은 두 개의 잔여 윤곽 세그먼트(두개의 개곡선)를 각각 나타낸다.
한편, 부호화 모드 판단 블록(130)에서는 라인 L14를 통해 전술한 버텍스 추출 블록(110)으로부터 제공되는 추출된 버텍스 정보들의 개수를 카운트(이하, 제 1 카운트값이라고 함)하고, 또한 라인 L16을 통해 세그먼트 발생 블록(120)으로부터 제공되는 움직임 보상후에 남은 잔여 윤곽 세그먼트의 개수(제 2 카운트값이라 하고 함)를 카운트한 후, 제 1 카운트값과 제 2 카운트값의 크기를 아래에 도시된 바와 같은 조건식에 따라 비교한다.
1. Nv ≤ 2 × Ns ----------인트라 부호화 모드
2. 그외 -----------------인터 부호화 모드
상기 조건에서 Nv는 버텍스 추출 블록(110)에서 얻은 버텍스 정보의 개수를, Ns는 세그먼트 발생 블록(120)에서 얻은 잔여 윤곽 세그먼트의 개수를 각각 의미한다.
따라서, 부호화 모드 판단 블록(130)에서는 상기한 조건식에 따른 비교결과에 상응하는 제어신호(예를들면, 하이 또는 로우레벨의 논리신호)를 라인 L17을 통해 다음단의 부호화 모드 판단 블록(140)으로 제공한다. 이때의 제어신호는 부호화 모드 판단 블록(140)에서 연결된 라인 L13 상의 인트라 부호화 모드와 위한 모드 제어신호와L15 상의 인터 모드 부호화를 위한 모드 제어신호중의 어느 하나를 선택할 수 있도록 하기 위한 제어신호이다.
그 결과, 부호화 모드 선택 블록(140)에서는 상기한 바와 같이 부호화 모드 판단 블록(130)으로 붙 제공되는 각 카운트값 즉, 제 1 카운트값과 제 2 카운트값의 비교결과에 상응하는 제어신호에 의거하여, 라인 L13을 통해 전술한 버텍스 추출 블록(110)으로부터 제공되는 인트라 모드 부호화 제어신호와 라인 L15를 통해 전술한 세그먼트 발생 블록(120)으로부터 제공되는 인터 모드 부호화 제어신호중의 어느 하나를 선택한 다음, 그 선택된 부호화 모드 제어신호를 윤곽 부호화를 수행하는 전형적인 윤곽 부호화 시스템으로 제공한다. 즉, 부호화 모드 선택 블록(140)에서는 상술한 조건식 1이 충족되면 라인 L13 상의 인트라 모드 부호화 제어신호를 선택하여 도시 생략된 전형적인 하이브리드 윤곽 부호화 시스템으로 제공하고, 그 이외의 경우에는 라인 L15 상의 인터 모드 부호화 제어신호를 선택하여 도시 생략된 전형적인 하이브리드 윤곽 부호화 시스템으로 제공한다.
따라서, 전형적인 윤곽 부호화 시스템에서는 상술한 바와 같은 본 발명의 부호화 모드 결정장치로 부터의 부호화 모드 제어신호에 의거하여 부호화를 위해 입력되는 물체의 윤곽선을 인트라 또는 인터 모드로 부호화, 즉 인트라 부호화 모드일 때는 물체의 전체 윤곽선에 대해 다각형 근사, DST를 이용한 근사 오차보상, 양자화 및 버텍스 코딩 등을 통해 부호화하고, 인터 부호화 모드일 때는 이전 윤곽선을 이용하여 움직임 보상한 후에 남는 잔여 윤곽 세그먼트들만에 대해 다각형 근사, DST를 이용한 근사 오차보상, 양자화 및 버텍스 코딩 등을 통해 부호화하게 된다. 이때, 인터 모드 부호화에 있어서는, 수신측 하이브리드 윤곽 부호화 시스템 정보와 추출된 하나의 움직임 벡터도 함께 전송기로 보내주어야 할 것이다.
이상 설명한 바와같이 본 발명은, 부호화하고자 하는 윤곽에서 발생 가능한 버텍스 정보들의 개수 정보 및 윤곽 세그먼트 정보에 의거하여 하이브리드 윤곽 부호화에서의 부호화 모드(인트라 또는 인터 모드)를 적응적으로 결정함으로써, 전형적인 하이브리드 윤곽 부호화시에 부호화하고자 하는 윤곽선에서 발생하는 비트 할당이 많은 버텍스의 개수를 최대한 억제할 수 있어 결과적으로 윤곽선 부호화의 효율을 증진시킬 수 있는 효과를 제공한다.

Claims (5)

  1. 현재 프레임에 나타나는 물체의 전체 윤곽선에 대해 이산 사인 변환(DST)를 사용한 다각형 근사 기법을 이용하여 부호화하는 인트라 모드 부호화와, 재구성된 이전 프레임을 이용하여 움직임 보상을 한 후에 얻어지는 잔여 윤곽 세그먼트들에 대해 상기한 DST를 사용한 다각형 근사 기법을 이용하여 부호화하는 인터 부호화 모드를 갖는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치에 있어서, 상기 인트라 모드 부호화를 위한 제 1 부호화 모드 제어신호를 발생하며, 상기 현재 프레임에서 검출된 현재 윤곽에 대해 DST를 이용한 다각형 근사 기법을 통해 상기 현재 윤곽의 다수의 버텍스 정보들을 추출하는 버텍스 추출수단; 상기 인터 모드 부호화를 위한 제 2 부호화 모드 제어신호를 발생하며, 상기 현재 프레임내의 물체의 현재 윤곽과 상기 재구성된 이전 프레임내의 물체의 이전 윤곽에 의거하여 상기 이전 프레임의 기설정된 소정 범위의 탐색 범위내에서 상기 현재 윤곽과 상기 이전 윤곽간의 변위를 나타내는 하나의 움직임 벡터를 추출하고, 이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행한 다음 움직임이 보상되지 않은 잔여 윤곽 세그먼트들을 추출하는 세그먼트 발생수단; 상기 추출된 버텍스 정보들을 입력하고 그 개수를 카운트하여 제 1 의 카운트값을 생성하고, 상기 잔여 윤곽 세그먼트들을 입력하고 그 개수를 카운트하여 제 2의 카운트값을 생성하며, 상기 생성된 제 1 및 제 2의 카운트값을 기설정된 비교조건하에서 비교한 다음 그 비교결과에 상응하여 상기 제 1 부호화 모드 제어신호 또는 제 2의 부호화 모드 제어신호를 선택하기 위한 부호화 모드 제어신호를 발생하는 부호화 모드 판단수단; 및 상기 부호화 모드 제어신호에 의거하여, 상기 제 1 및 제 2의 부호화 모드 제어신호중 어느 하나를 선택하며, 이 선택된 부호화 모드 제어신호를 상기 하이브리드 윤곽 부호화에서의 부호화 모드로 결정하는 부호화 모드 선택 수단을 포함하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치.
  2. 제1항에 있어서, 상기 움직임 벡터는, 상기 현재 윤곽과 상기 이전 윤곽의 경계를 따라 형성되는16 화소 범위내에서 가장 유사한 이전 윤곽사이의 변위값이고, 두 개의 마스크를 매칭시킬 때 미스매칭되는 영역의 화소수가 가장 적어지는 위치로부터 추정되는 것을 특징으로 하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치.
  3. 제1항 또는 제4항에 있어서, 상기 움직임 벡터는, 상기 현재 윤곽을 그 경계를 따라 소정폭으로 확장하여 얻은 확장된 현재 윤곽과 상기 이전 프레임의 기설정된 움직임 탐색 범위내의 다수의 후보 윤곽간을 매칭시켜 예측된 윤곽간의 변위값인 것을 특징으로 하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치.
  4. 제3항에 있어서, 상기 현재 윤곽은 그 윤곽 경계를 따라1 화소씩 확장하고, 상기 예측 윤곽은 상기 이전 윤곽의 경계를 따라16 화소의 범위로 설정된 상기 움직임 탐색 범위내의 다수의 후보 윤곽과 상기 확장된 현재 윤곽과의 매칭을 통해 산출되는 미스 매칭 회소수에 의해 결정되는 것을 특징으로 하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치.
  5. 제1항에 있어서, 상기 부호화 모드 판단 수단에서 발생하는 상기 부호화 모드 선택 제어신호는 하이 또는 로우 논리 레벨을 갖는 논리 신호인 것을 특징으로 하는 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치.
KR1019960007859A 1996-03-22 1996-03-22 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치 KR100212560B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960007859A KR100212560B1 (ko) 1996-03-22 1996-03-22 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960007859A KR100212560B1 (ko) 1996-03-22 1996-03-22 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치

Publications (2)

Publication Number Publication Date
KR970068625A KR970068625A (ko) 1997-10-13
KR100212560B1 true KR100212560B1 (ko) 1999-08-02

Family

ID=19453679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960007859A KR100212560B1 (ko) 1996-03-22 1996-03-22 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치

Country Status (1)

Country Link
KR (1) KR100212560B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100457231B1 (ko) * 1997-03-20 2005-08-09 주식회사 팬택앤큐리텔 영상신호의모양부호화시이동보상예측결정장치및방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100457231B1 (ko) * 1997-03-20 2005-08-09 주식회사 팬택앤큐리텔 영상신호의모양부호화시이동보상예측결정장치및방법

Also Published As

Publication number Publication date
KR970068625A (ko) 1997-10-13

Similar Documents

Publication Publication Date Title
JP4180666B2 (ja) ビデオ信号符号化方法
KR0178231B1 (ko) 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
KR0181032B1 (ko) 인터리빙을 이용한 물체 기반 부호화방법 및 장치
JPH08242453A (ja) 動きベクトル推定装置
JPH08265780A (ja) ビデオ信号符号化／復号化装置及び方法
JP3703299B2 (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
KR0181031B1 (ko) 움직임 보상된 인터폴레이션에서의 엣지 보상 장치
KR100209409B1 (ko) 물체 왜곡을 이용한 물체 기반 부호화 방법 및 장치
KR0159370B1 (ko) 물체의 경계를 고려한 영상 부호화방법 및 장치
KR100238889B1 (ko) 형태 부호화를 위한 보더 화소 예측 장치 및 방법
KR100212559B1 (ko) 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법
JPH08265764A (ja) 映像信号符号化装置
KR100212560B1 (ko) 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치
KR100259471B1 (ko) 개선된형태부호화장치및방법
KR101349111B1 (ko) 다중 참조 영상 검색 방법
KR100220680B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
KR100203658B1 (ko) 물체의 윤곽 부호화를 위한 움직임 추정장치
KR100220581B1 (ko) 물체 윤곽 부호화를 위한 버텍스 부호화 장치
KR100203695B1 (ko) 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치
KR100249487B1 (ko) 적응적인 형태 부호화 장치 및 방법
EP0720373A1 (en) Method and apparatus for encoding a video signal using region-based motion vectors
KR100203626B1 (ko) 동영상 물체 부호화기
KR100238888B1 (ko) 적응적인 형태 부호화 장치 및 그 부호화 방법
KR100240344B1 (ko) 적응적인 윤곽선 부호화 장치 및 방법
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120503

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee