KR100305582B1 - 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 - Google Patents
영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 Download PDFInfo
- Publication number
- KR100305582B1 KR100305582B1 KR1019990055072A KR19990055072A KR100305582B1 KR 100305582 B1 KR100305582 B1 KR 100305582B1 KR 1019990055072 A KR1019990055072 A KR 1019990055072A KR 19990055072 A KR19990055072 A KR 19990055072A KR 100305582 B1 KR100305582 B1 KR 100305582B1
- Authority
- KR
- South Korea
- Prior art keywords
- complexity
- subblock
- matching scan
- motion
- block
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 abstract description 6
- 238000003379 elimination reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 비디오데이타를 압축하는 비디오 엔코더의 움직임 고속예측방법에 관한 것으로, 본 발명은 비디오 엔코더의 움직임 고속 예측방법을 구현하기 위해서, 현재 프레임의 기준블록과 이전 프레임의 검색창내 각 후보블록간의 매칭스캔에 있어서, 검색창내에서의 검색방향을 나선방향을 채택하고, 기준블럭의 복잡도에 기초해서 매칭스캔방향을 결정하는 적응적인 매칭스캔(adaptive matching scan)을 적용하고, 이와 동시에, 결정된 매칭스캔 도중에 불가능한 후보블럭으로 판단되면 해당 후보블록에 대한 매칭스캔을 중단하는 부분에러 제거(PDE:Partial Distortion Elimination)를 적용함으로써, 전영역검색(full search)에서의 계산량을 현저하게 줄일 수 있고, 이에따라 프레임간의 움직임예측을 고속으로 수행할 수 있게 되어, 움직임 예측에 대한 전영역검색을 알고리즘으로 구현할 수 있는 것이다.
Description
본 발명은 비디오데이타를 압축하는 비디오 엔코더의 움직임 고속예측방법에 관한 것으로, 특히 현재 프레임의 기준블록과 이전 프레임의 검색창내 각 후보블록간의 매칭스캔에, 영상의 복잡도에 기초하여 결정된 방향으로 매칭스캔을 수행하는 적응 매칭스캔(adaptive matching scan)을 적용함과 동시에, 매칭스캔동안에 부분에러 제거(PDE:Partial Distortion Elimination)를 적용함으로써, 전영역검색(full search)에서의 계산량을 현저하게 줄일 수 있도록 하여, 움직임예측을 고속으로 수행할 수 있는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법에 관한 것이다.
일반적으로, 영상의 데이타는 음성이나 문자데이타에 비해서 그 데이타량이 엄청나게 방대하기 때문에, 이 영상데이타를 압축하지 않으면 실시간처리가 불가능하게 된다. 이와같이 영상데이타를 소정의 방법으로 압축함으로써, 저장이나 전송에 있어서 영상신호의 실시간처리가 가능하게 되는데, 현재 영상을 압축하기 위한 국제표준에 있어서, 정지영상표준에는 JPEG, 동영상표준에는 텔레비젼방송에 이용되는 MPEG1, 위성방송에 이용되는 MPEG2 및 저속의 비트율 전송을 위해 현재 개발중인 MPEG4가 있다.
한편, 영상데이타의 압축은 중복데이타를 제거함에 의해 달성되는데, 이 데이터의 중복에는 하나의 프레임내에서의 공간적 중복, 확률적 중복과, 두 개의 프레임간의 시간적 중복이 있으며, 먼저, 공간적 중복은 인접 화소간 값의 유사성에서 기인하는 것으로, 이는 임의의 화소값과 그 주위의 화소값들이 서로 유사한 값을 가지는 것을 말하며, 이 공간적 중복의 처리는 이산코사인변환(DCT:Discrete Cosine Transform)을 이용하며, 이 변환은 영상의 정보를 프레임의 좌측상부에 모이게 한다. 그리고, 상기 확률적 중복은 심블의 유사성에 기인하는 것으로, 이는 데이터가 확률적으로 고르게 분포되어 있지 않고 임의의 심블이 인접 심블들과 서로 유사한 값을 가지는 것을 말하며, 이 확률적 중복의 처리는 엔트로피코딩방식인 가변길이코딩(Variable Length Coding)을 이용하며, 이 가변길이코딩은 심블의 크기에 비례하는 크기의 비트를 할당한다.
마지막으로, 시간적 중복은 하나의 프레임과 다른 하나의 인전 프레임간의 유사성에 기인하는 것으로, 이 시간적 중복의 처리는 움직임예측/움직임보상(ME:Motion Estimation/MC:Motion Conpensation)을 이용하는데, 이 움직임 예측은 현재 프레임과 이전 프레임간의 움직임벡터를 검출하고, 이 검출된 움직임 벡터를 이용하여 움직임보상에서 새로운 프레임을 생성신후, 현재 프레임에서 생성된 프레임을 뺄셈하여 현재 프레임과 생성된 프레임간의 동일한 데이터를 제거하도록 한다.
도 1은 일반적인 영상데이타 송수신시스템의 전체구성도로서, 도 1을 참조하면, 영상데이타 송수신시스템은 영상데이타를 압축하여 송신하는 영상데이타 송신기(100)와, 이 영상데이타 송신기(100)에서 영상신호를 수신하여 수신기로 송신하는 위성(1)과, 이 위성(1)으로부터의 영상신호를 수신하여 압축을 풀어 원래의 영상데이타로 복원하는 영상데이타 수신기(200)로 이루어져 있다.
상기 영상데이타 송신기(100)는 영상데이타와 사운드데이타를 압출하는 MPEG 소스엔코더(110)와, 텍스트를 압축하는 텍스트 엔코더(130)와, 상기 엔코딩된 데이터에 채널정보를 포함시켜 노이즈문제 해결을 위한 채널 엔코더(150)와, 이 엔코딩된 데이터를 변조하는 RF부(170)를 포함하고 있다.
그리고, 상기 영상데이타 수신기(200)는 위성(1)으로부터의 영상신호를 반송파제거를 통해서 베이스밴드의 영상데이타로 복원하는 베이스밴드 처리부(210)와, 이 베이스밴드 처리부(210)의 영상데이타에 대한 에러검출,정정 및 복원을 수행하는 채널디코더(220)와, 이 채널디코더(220)의 영상데이타에 대한 압축을 풀어 원래의 영상데이타로 복원하는 MPEG디코더(230)로 이루어져 있다.
도 2는 도1에 도시된 송신기에 포함된 MPEG 소스 엔코더의 내부 블록도로서, 도 2를 참조하면, MPEG 소스 엔코더는 입력되는 한 프레임의 데이타를 8*8블록으로 분할하는 8*8블록킹부(111)와, 이 8*8블록킹부(111)로부터의 현재 프레임에서 생성된 프레임을 뺄셈하는 감산기(112)와, 이 감산기(112)로 부터의 현재 프레임에 대해 이산코사인변환을 수행하는 8*8 이산코사인변환기(113)와, 이 8*8 이산코사인변환기(113)로부터의 프레임을 양자화시키는 8*8 양자화기(114)와, 이 8*8양자화기(114)로부터의 현재 프레임에 대해 가변길이코딩을 수행하는 가변길이코딩부(115)를 포함한다.
또한, 상기 MPEG 소스 엔코더는 상기 8*8 양자화기(114)로부터의 프레임을 역양자화시키는 8*8 역양자화기(117)와, 이 8*8 역양자화기(117)로부터의 프레임에 대해 역이산코사인변환을 수행하는 8*8 역이산코사인변환기(118)와, 이 8*8 역이산코사인변환기(118)로부터의 프레임과 생성된 프레임을 덧셈하는 덧셈기(119)와, 이 덧셈기(119)로부터의 프레임을 저장하는 프레임메모리(120)와, 상기 입력되는 한 프레임의 데이타를 16*16블록으로 분할시키는 16*16블록킹부(123)와, 이 16*16 블록킹부(123)로부터의 현재의 프레임과 상기 프레임메모리(120)로부터의 이전 프레임간의 화소값을 비교하는 과정을 통해서 움직임벡터를 예측하는 움직임 예측기(121)와, 상기 움직임 예측기(121)로부터의 움직임벡터를 상기 프레임메모리(120)의 프레임에 적용하여 새로운 프레임을 생성시키는 움직임보상기(122)와, 상기 8*8 가변길이코딩부(115)의 영상데이타와 움직임 예측기(121)로부터의 움직임벡터를 멀티플렉싱하는 멀티플렉서(116)를 포함하고 있다.
한편, 하나의 프레임의 해상도(가로 화소수*세로 화소수)는 720*480, 1192*1080등으로 그 종류는 다양하며, 이와같은 프레임에 있어서 현재의 프레임과 이전의 프레임간의 움직임 벡터를 예측하는 움직임 예측기에서는 MPEG규약에 따라 하나의 프레임을 16*16의 화소를 포함하는 블록크기로 분할하여 하나의 프레임을블록단위로 처리한다.
이와같은 움직임 예측기(121)는 현재 프레임(f(t))과 이전 프레임(f(t-1))을 비교하여 움직임변화에 대한 방향을 예측하는데, 이에 대한 동작을 구체적으로 설명하면, 도 3은 블록화된 프레임 예시도로서, 도 2의 16*16 블록킹부(123)에서는 MPEG규약에 따라 하나의 프레임을 16*16의 화소를 포함하는 블록(이하,'16*16블록'이라 한다)단위로 분할하는데, 이와같이 블록화된 프레임에 대한 예시도가 도 3에 도시되어 있다.
도 4는 도 3의 현재 프레임의 부분블록 예시도로서, 도 4에는 임의의 기준블록(B(t)22)을 중심으로 8개의 블록, 즉 총 9개의 부분 블록을 포함하는 현재 프레임(f(t))이 도시되어 있으며, 도 5는 도 4의 현재 프레임의 부분블록에 해당하는 이전 프레임의 부분 블록 예시도로서, 도 5에서는 도 4의 기준블록(B(t)22)에 대응하는 후보블록(B(t-1)22)을 중심으로 8개의 블록, 즉 총 9개의 블록을 포함하는 이전 프레임(f(t-1))이 도시되어 있다. 그리고 도 5에서 점선부분은 기준블록(B(t)22)과 동일한 블록을 복수개 포함하고 있는 검색창(SRW)으로서, 이 검색창(SRW)은 대략 초당 24프레임의 영상에 있어서 연속되는 두 프레임 사이에서 움직임 이동가능한 범위를 고려하여 결정하는 것으로, 일반적으로 후보블록(B(t-1)22)에 검색범위가 적용되는데, 이 검색범위는, 예를들어, '후보블록±블록크기/2'크기로 결정되며, 이 검색범위의 실예는 후보블록±8, 후보블록±4등으로 된다.
도 5를 참조하면, 도 2의 움직임 예측기(121)에서는 도4의 기준블록(B(t)22)을 도 5의 검색창(SRW)의 복수개의 후보블록중 검색방향에 따라 선택된 해당 후보블록과 매칭스캔을 수행하는데, 이 검색방향은 도 6a에 도시한 중심에서 시작하여 도 6b에 도시한 바와같이 나선방향으로 진행되며, 그리고, 기준블록과 선택된 후보블록간의 매칭스캔방향은 도 6c에 도시한 바와같이 상하수평방향이다. 이와같이 기준블록과 가장 유사하게 매칭되는 후보블록을 찾아서 움직임벡터를 예측하게 되는데, 이때 기준블록과 가장 유사한 매칭블록을 찾아내는 알고리즘을 블록매칭 알고리즘이라 한다.
여기서, 매칭스캔수행시, 기준블록과 후보블록간의 비교대상은 현재 프레임내 기준블록의 화소값과 이전 프레임내 후보블록의 화소값이며, 이때 매칭블록을 찾아내는 것은 기준블록의 화소값에서 후보블록의 화소값을 빼어서 그 에러(차)가 가장 적은 후보블록을 찾아내어 기준블록을 기준으로 하여 매칭되는 후보블록의 위치벡터(x,y축 좌표이용)를 산출하여 움직임벡터를 예측함에 의해 이루어진다.
통상적으로, 움직임예측기에서 수행되는 움직임벡터 예측은 고화질 및 고속예측이라는 두가지의 측면을 고려해서 이루어져야 한다.
종래의 비디오 부호화기내, 움직임 예측기가 비디오 부호화기 전체 소요시간의 60-70%가 소요되는데, 이 움직임 예측기의 고속 알고리즘에 이용되는 블록매칭 알고리즘에는 여러 가지 방법들이 있으며, 이들 방법중 영상의 화질이 가장 우수한 전영역 검색(full search)방법이 있다.
이 전영역 검색방법은 삼단계 검색방법등 다른 검색방법에 비해 예측된 영상의 화질은 우수하지만, 하나의 칼라화소를 표현하기 위해서는 3원색(R,G,B)각각이 8비트씩 총24비트가 필요하게 되므로, 전영역 검색과정에서 모든 화소값에 대해서 처리하는 것은 연산량이 너무 많기 때문에, 검색범위가 클 경우에는 실시간 처리 알고리즘의 구현이 불가능하게 된다는 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출한 것으로, 따라서 본 발명의 목적은 현재 프레임의 기준블록과 이전 프레임의 검색창내 각 후보블록간의 매칭스캔에, 영상의 복잡도에 기초하여 결정된 방향으로 매칭스캔을 수행하는 적응 매칭스캔(adaptive matching scan)을 적용함과 동시에, 매칭스캔동안에 부분에러 제거(PDE:Partial Distortion Elimination)를 적용함으로써, 전영역검색(full search)에서의 계산량을 줄여 프레임간의 움직임예측을 고속으로 수행할 수 있는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법을 제공하는데 있다.
도 1은 일반적인 영상데이타 송수신시스템의 전체구성도이다.
도 2는 도 1의 영상데이타 송신기에 포함된 MPEG소스 엔코더의 내부 블록도이다.
도 3은 블록화된 현재 프레임 예시도이다.
도 4는 도 3의 현재 프레임의 부분블록 예시도이다.
도 5는 도 4의 현재 프레임의 부분블록에 해당하는 이전 프레임의 부분블록 예시도이다.
도 6a는 검색창에서의 검색 시작위치를 보이는 도면이고, 도 6b는 검색창에서의 검색방향을 보이는 도면이며, 도 6c는 매칭스캔방향을 보이는 도면이다.
도 7은 본 발명에 따른 움직임 고속 예측방법을 보이는 플로우챠트이다.
도 8은 도 7의 복잡도를 이용한 매칭스캔방향 결정과정을 보이는 플로우챠트이다.
도 9는 도 7의 복잡도 계산을 위한 기준블럭의 서브블럭 예시도이다.
도 10a-10e는 도 8의 매칭스캔에 대한 제1 실시예이다.
도 11a-11e는 도 8의 매칭스캔에 대한 제2 실시예도이다.
도 12a-12e는 도 8의 매칭스캔에 대한 제3 실시예이다.
도 13a-13e는 도 8의 매칭스캔에 대한 제4 실시예이다.
도 14는 도 10의 매칭스캔방에 대한 제1 변형 실시예이다.
도 15은 도 10의 매칭스캔방에 대한 제2 변형 실시예이다.
도 16은 도 7의 매칭스캔 수행과정을 보이는 플로우챠트이다.
도 17a-17d는 본 발명과 종래 방법간 프레임수별 블록당 평균체크열의 개수를 보이는 비교그래프이다.
* 도면의 주요부분에 대한 부호의 설명 *
100 : 영상데이타 송신기 121 : 움직임 예측기
f(t) : 현재 프레임 f(t-1) : 이전 프레임
B(t) : 기준블록 B(t-1) : 후보블럭
SRW : 검색창 MV : 움직임 벡터(MOTION VECTOR)
SAD : 절대 에러합 SADmin : 절대 에러합의 최소값
SADtep : 현재 후보블록의 절대 에러합
상기한 본 발명의 목적을 달성하기 위한 기술적인 수단으로써, 본 발명의 방법은 영상데이타를 압축하는 엔코더의 움직임 예측기에서 수행되는, 현재 프레임(f(t))의 기준블록과 검색창내 후보블록간의 전영역 검색과정을 통해서 이전 프레임(f(t-1))의 검색창(SRW)내 복수의 후보블록중에서 매칭블럭을 검출하여 움직임벡터를 예측하는 움직임 고속 예측방법에 있어서, (a)현재 프레임내 기준블록의 복잡도를 계산한후, 이 복잡도에 기초해서 매칭스캔방향을 결정하는 단계; (b) 현재 기준블록과 검색창내 사전에 설정된 후보블록간의 SAD(Sum of Absolute Difference)를 계산하여 초기 최소값 SAD(SADmin)로 결정하는 단계; (c) 단계(a)에서 결정된 매칭스캔방향으로, 현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 계산하는 단계; (d) SADmin보다 SADtep이 작은지를 비교하여, 작지 않으면 다음단계로 진행하고, 작으면 SADmin을 SADtep으로 교체시킨후 다음단계로 진행하는 단계; (e) 현재 후보블록이 마지막 후보블록인지를 판단하여 마지막 후보블록이 아니면 검색창내의 다음 후보블럭으로 이동한후 단계(c)로 진행하고, 마지막 후보블록이면 다음단계로 진행하는 단계; (f) 현재 기준블럭과 SADmin에 해당하는 후보블럭의 중심좌표(x,y)에 기초해서 움직임벡터로 결정하는 단계; (g) 현재 기준블록이 마지막 기준블록인지를 판단하여, 마지막 기준블록이 아니면 다음 기준블록에 대한 움직임벡터예측 준비과정을 수행한후 단계(a)로 진행하고, 마지막 기준블록이면 하나의 프레임에 대한 움직임 예측을 종료하는 단계; 로 이루어짐을특징으로 한다.
이하, 본 발명에 따른 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법에 대해서 첨부한 도면을 참조하여 상세하게 설명한다.
본 발명은 나선검색방식을 채택하는 부분에러 제거(PDE:Partial Distortion Elimination) 알고리즘에, 이미지의 복잡도에 기초하여 매칭스캔방향을 결정하고 이 결정된 방향으로 매칭스캔을 수행하는 알고리즘을 적용함으로서, 불가능한 후보블록을 가능한 신속히 제거하여 움직임벡터를 고속으로 찾아내도록 한 것이다.
도 7 내지 도 17을 참조하여 본 발명을 구체적으로 설명하면, 먼저, 도 7은 본 발명에 따른 움직임 고속 예측방법을 보이는 플로우챠트로서, 도 7을 참조하면, 도 7의 71단계에 도시한 바와같이, 먼저, 단계(a)에서는 현재 기준블록의 복잡도를 계산한후, 이 복잡도에 기초해서 매칭스캔방향을 결정하는데, 이에 대해서 구체적으로 설명하면 다음과 같다.
도 8은 도 7의 복잡도를 이용한 매칭스캔방향 결정과정을 보이는 플로우챠트이고, 도 10a-10e는 도 8의 매칭스캔에 대한 제1 실시예로서, 도 8 및 도 10a-10e를 참조하면, 단계(a1)에서는 기준블록을 소정크기의 서브블록으로 블록화시키고, 단계(a2)에서는 단계(a1)의 각 서브블록별 복잡도를 구하며, 단계(a3)에서는 서브블록의 복잡도를 세로 블럭열별 및 가로 블럭열별로 각각 합산한다. 그리고, 단계(a4)에서는 단계(a3)에서 구한 열별 복잡도합중 가장큰 복잡도합에 해당하는 블록열 또는 행을 매칭스캔방향으로 결정한다.
도 9는 도 7의 복잡도 계산을 기준블럭을 서브블럭화한 예시도로서, 도 9를 참조하면, 영상의 복잡도를 계산할 때 중복성을 줄이기 위해서, 16*16크기의 기준블록을 서브블록으로 나누는데, 이 서브블록은 16*16 기준블록의 1/4크기인 8*8 서브블록으로 나누어서 이 8*8 서브블록별로 복잡도를 계산하며, 이 복잡도를 구하는 방법은 다음에 설명할 것이다.
이와같이, 도 10a-10e에 도시한 16*16크기의 기준블록을 8*8크기의 서브블록(sub-block)으로 분할하여 복잡도를 계산할 수도 있지만, 신속, 정확한 움직임 예측을 위해서, 도 12에 도시한 매칭스캔에 대한 제3실시예에 보인 바와같이, 상기 16*16크기의 기준블록을 4*4블록으로 분할하여 상기한 바와같은 방법으로 각 서브블록에 대한 복잡도를 구할 수도 있으며, 도 12a-12e에서는 서브블록의 참조블록 (1)에서는 상하방향으로, 서브블록(2)에서는 하상방향으로, 서브블록(3)에서는 좌우방향으로, 그리고 서브블록(4)에서는 우좌방향으로 적응적 매칭스캔 방향이 결정된 경우를 보이고 있다.
또는 상기 16*16 기준블록을 2*2블록으로 분할하여 이 분할된 각 서브블록에대한 복잡도를 계살할 수도 있다.
본 발명에서는, 매칭에러가 반복적인 시험과 연구를 통해서 영상의 복잡도에 따라 증가 한다는 사실을 확인할 수 있었고, 따라서, 본 발명에서는 영상의 복잡도를 이용하게 되었으며, 이와같은 성질을 갖는 영상의 복잡도를 측정하여 이에 기초한 적응 매칭스캔 방식, 즉 여러가지의 매칭스캔방식중 복잡도에 기초한 매칭스캔방식을 이용하는 것이다. 본 발명에서 이용하는 복잡도는 라플라시언(Laplacian)이나, 그라디언트(Gradient) 및 이들의 변형된 방식을 이용하여 측정할 수 있으며, 이 라플라시언과 그라디언트 및 이들의 변형된 방식은 일반적으로 알려진 수학적 공식이므로 이에대한 구체적인 설명은 생략한다.
도 9를 참조하면, 16*16 기준블록에 대한 복잡도를 측정하기 위하여 8*8 서브블록으로 나눈 다음에, 이 8*8 서브블록별 복잡도를 각각 구한후, 이들 서브블럭의 복잡도를 이용하여, 상측의 두 블록에 대한 복잡도합((i)+(ii)), 하측 두 블록의 복잡도합((iii)+(iⅳ)), 우측 두 블록의 복잡도합((i)+(iii)), 좌측 두 블록의 복잡도합((ii)+(ⅳ))을 구하고, 이들 복잡도중 가장 큰 복잡도에 해당하는 두 블록을 매칭스캔의 시작위치로 결정한다.
도10b 내지 10e에 도시한 4가지의 스캔방식중에서 한가지 스캔 방식만 사용하여 매칭 에러를 구한다면, 이 방법은 종래의 방식과 특별한 차이가 없게 되며,따라서, 본 발명에서는 영상의 특성에 따라 위의 스캔 방식을 적응적으로 사용하는 것으로서, 이렇게 적응적으로 여러 매칭스캔 방식을 사용하기 위하여 복잡도를 이용하는 것이다.
상기 단계(a4)에서 결정되는 매칭스캔방향은 상하(top-to-bottom)방향, 하상(bottom-to-top)방향, 좌우(left-to-right)방향, 우좌(right-to-top)방향중 하나의 방향인데, 이들 매칭스캔방향중에 하나의 매칭스캔방향이 하기와 같이 결정된다.
도 10a의 블록에서 상측 두 블록의 복잡도합((ⅰ)+(ⅱ))이 제일크면 도10b에 도시한 상하(top-to-bottom)방향의 수평스캔방향으로 결정하고, 도 10a의 블록에서 하측 두 블록의 합((ⅲ)+(ⅳ))이 제일크면 도 10c에 도시한 하상(bottom-to-top)방향의 수평스캔방향으로 결정하고, 도 10a의 블록에서 좌측 두 블록의 복잡도합((ⅰ)+(ⅲ))이 제일크면 도10d에 도시한 좌우(left-to-right)방향의 수직스캔방향으로 결정한다. 그리고 도 10a의 블록에서 우측 두 블록의 복잡도합((ⅱ)+(ⅳ))이 제일크면 도10e에 도시한 우좌(right-to-left)방향의 수평스캔방향으로 결정한다.
도 11a-11e는 도 8의 매칭스캔에 대한 제2 실시예로서, 도 11a를참조하면, 단계(a1)에서는 기준블록을 소정크기의 서브블록으로 블록화시키고, 단계(a2)에서는 단계(a1)의 각 서브블록별 복잡도를 구하며, 단계(a3)에서는 단계(a2)에서 구한복잡도의 크기순으로 서브블록을 정렬하고, 서브블록의 복잡도 크기순으로 매칭스캔 방향을 결정하는데, 도 11b-11e는 복잡도의 크기가 서브블록의 참조부호(1),(2),(3) 및 (4)순으로 경우에 대한 매칭스캔방향을 보이고 있다.
상기 단계(a1)에서, 각 서브블럭을 8*8 서브블록을 이용할 수도 있지만, 보다 정확하고 신속한 매칭스캔을 위해서는, 도 13에 도시한 매칭스캔에 대한 제4실시예에 보인 바와같이 16*16 기준블록을 4*4 서브블록으로 분할하여 각 서브블록에 대한 복잡도를 구하여 매칭스캔 방향을 결정항 수 있는데, 도 13a-13e에서는 4*4 서브블록 각각에 대한 복잡도를 구한 결과, 복잡도의 크기가, 서브블록 참조부호 (1),(2),...(15)순인 경우를 보이고 있다. 또는 2*2 서브블록으로 분할하여 이용할 수도 있다. 그리고, 상시 단계(a3)에서 결정되는 매칭스캔방향은 상하(top-to-bottom)방향으로 이루어진다.
도 14는 도 10의 매칭스캔방에 대한 제1 변형 실시예로서, 도 14를 참조하면, 단계(a1)에서는 기준블록을 소정크기의 서브블록으로 블록화시키고, 단계(a2)에서는 단계(a1)의 각 서브블록별 복잡도를 구하며, 단계(a3)에서는 서브블록의 복잡도를 세로열별 및 가로열별로 각각 합산한다. 그리고, 단계(a4)에서는 단계(a3)에서 구한 열별 복잡도합중 가장큰 복잡도합에 해당하는 서브블록열에 기초해서 매칭스캔방향을 결정하고, 단계(a5)에서는 매칭스캔방향 결정되면, 그 방향의 열별로 복잡도의 크기순으로 매칭스캔 순서를 결정한다.
상기 단계(a1)에서, 각 서브블럭을 8*8 서브블록을 이용할 수도 있지만, 보다 정확하고 신속한 매칭스캔을 위해서는 16*16 블록을 4*4 서브블록 또는 2*2 서브블록으로 분할하여 이용할 수도 있다. 그리고, 상기 단계(a4)에서 결정되는 매칭스캔방향은 가로방향, 세로방향중 하나의 방향이다.
도 15는 도 10의 매칭스캔방에 대한 제2 변형 실시예로서, 도 15을 참조하면, 단계(a1)에서는 기준블록을 소정크기의 서브블록으로 블록화시키고, 단계(a2)에서는 단계(a1)의 각 서브블록별 복잡도를 구하며, 단계(a3)에서는 단계(a2)에서 구한 복잡도의 크기순으로 서브블록을 정렬하고, 복잡도가 가장 큰 서브블럭을 시작 블록으로 하는 대각선방향으로 매칭스캔 방향을 결정한다.
상기 단계(a1)에서, 각 서브블럭을 8*8 서브블록을 이용할 수도 있지만, 보다 정확하고 신속한 매칭스캔을 위해서는 16*16 블록을 4*4 서브블록 또는 2*2 서브블록으로 분할하여 이용할 수도 있다. 상기 단계(a3)에서 결정되는 매칭스캔방향은 상좌-하우방향, 상우-하좌방향,하좌-상우방향, 하우-상좌방향중 하나의방향이다.
상기한 바와같이, 본 발명에 의해, 영상의 복잡도에 기초해서 매칭스캔방향을 결정하는 것에 대한 잇점은 매칭블럭을 찾기까지의 계산량을 가능한한 줄여서계산속도를 높이고자 하는 것으로, 이를 하기에 상세히 설명한다.
상기 단계(a)후, 도 7의 72단계에 도시한 바와같이, 단계(b)에서 현재 기준블록과 검색창내 사전에 설정된 후보블록간의 SAD를 계산하여 초기 최소값 SAD(SADmin)로 결정하는데, 이 SAD계산은 현재 기준블록의 화소값과 현재 후보블록의 화소값간의 에러(차)에 대한 절대값의 합을 계산하는 것이다.
도 16은 도 7의 매칭스캔 수행과정을 보이는 플로우챠트로서, 도 7 및 도 16을 참조하면, 단계(c)에서는 결정된 매칭스캔방향으로 전영역 검색을 수행하는데, 이 단계(c)에서는 단계(a)에서 결정된 매칭스캔방향으로, 현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 계산한다.
그리고, 상기한 현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 계산하는 동안에, 계산된 SADtep가 SADmin보다 큰지를 판단하여, 커지면 이 검색점에 대한 SADtep계산을 중단하고, 다음 과정으로 진행하게 되는데, 이때, 상기 에러합을 계산하는 방법으로는 화소별로 계산하거나, 또는 라이별로 계산할 수 있다.
이와같이, 움직임 벡터와 관계없는 블록에 대한 SADtep계산을 도중에 중단하여 계산량이 감소하게 되며, 이를 부분 에러제거(partial distortion elimination)라고 하며, 수학식으로 나타내어 보면 하기 수학식2와 같이 나타낼 수 있다.
여기서, N은 매칭 블록의 크기를 나타내며, 상기 수학식2에서 종래의 전영역 검색 알고리즘은 k 대신 N 이었는데, k가 작을수록 계산량을 줄일 수 있다. 매칭 에러를 계산하는 도중에, 현재까지의 최소 매칭 에러보다 큰 에러를 갖는 k가 발견되면 나머지 매칭 에러 계산은 중간에 그만 두게 되는 부분 에러 제거(partial distortion elimination)를 이용하여 계산을 줄이는데 있어서 중요한 것은 전역의 최소 매칭에러를 얼마나 빨리 얻느냐 하는 것과, 가능한 작은 k를 갖도록 하는 것인데, 본 발명에 의하면, k가 도 17a-17d에 보인 바와같이 작음을 알 수 있다.
다음으로, 도 7의 74,75단계에 도시한 바와같이, 단계(d)에서는 상기 단계(c)에서 계산한 SADtep이 SADmin보다 작은지를 비교하여, 작지 않으면 다음단계로 진행하고, 작으면 SADmin을 SADtep으로 교체시킨후 다음단계로 진행한다.
이와같이, 처음 설정된 SADmin을 이 SADmin보다 작은 현재 계산한 SADtep으로 교체시키는 과정을 통해서 검색창내 복수의 후보블록 각각과 현재 기준블록간의 에러가 가장적은 최적의 매칭블록을 찾아내는 것이다.
다음, 도 7의 76a,76b단계에 도시한 바와같이, 단계(e)에서는 현재 후보블록이 하나의 검색창내에서 마지막 후보블록인지를 판단하여 마지막 후보블록이 아니면 단계(c)로 진행하여 하나의 검색창내 다음 후보블록에 대한 SADtep계산을 수행하고, 마지막 후보블록이면 하나의 블록에 대한 검색이 완료된 것으로 판단하여 다음단계로 진행한다.
이와같이, 상기 단계(e)에서 현재 기준블록과 검색창내 복수의 후보블록과의 검색이 완료되면, 도 7의 77단계에 도시한 바와같이, 단계(f)에서는 상기 단계(d)에서 최소값인 SADmin에 해당하는 후보블럭의 중심좌표와 현재 기준블럭의 중심좌표에 기초해서 움직임벡터로 결정한다.
마지막으로, 도 7의 78a,78b단계에 도시한 바와같이, 단계(g)에서는 블록화된 하나의 프레임내에서 현재 기준블록이 마지막 기준블록인지를 판단하여, 마지막 기준블록이 아니면 다음 현재 프레임내 다음 기준블록에 대한 움직임벡터예측 준비과정을 수행한후 상기 단계(a)로 진행하여, 상기 단계(a)에서 단계(f)까지를 반복수행하고, 반면에 현재 기준블록이 현재 프레임에서 마지막 기준블록이면 하나의 프레임에 대한 움직임 예측을 종료한다.
상기 단계(g)에서, 마지막 기준블럭이 아니면, 다음 기준블럭으로 이동하는데, 이때 이동하는 검색방향은 나선형 검색(spiral search)으로, 이 나선형 검색 (spiral search)을 이용하면, 전역의 최소 매칭에러를 가능한 빨리 얻을 수 있으며, 가능한 작은 k를 갖도록 하기 위한 시도는 본 발명의 기술분야에서 본 발명이 처음으로 시도하는 것으로서, 본 발명에서는 이 k를 가능한 작게 검출 되도록 하였다. 전술한 바와 같이, k가 작을수록 더 많은 계산을 감축 할 수 있다.
도 17a-17d는 본 발명과 기존방법간 프레임갯수별 평균체크열의 개수를 보이는 비교그래프로서, 도 17a는 'foreman 스퀀서'에 대한 블록당 체킹열의 개수이고, 도 17b는 'car ohone 스퀀서'에 대한 블록당 체킹열의 개수이며, 도 17c는 'Trevor 스퀀서'에 대한 블록당 체킹열의 개수이다. 그리고, 도 17d는 'Claire 스퀀서'에 대한 블록당 체킹열의 개수로서, 도 17a-17d에 보인 바와같이, 본 발명에 의한 움직임 예측방법에 의하면, 종래의 단순한 나선검색을 이용하는 움직임 예측방법에 비하여 상대적으로 후보블록내의 체킹열이 감소되었음을 알 수 있으며, 또한, 매칭스캔에 대한 제1실시예, 제2실시예, 제3실시예 및 제4실시예별로 체킹열이 감소하고 있음을 알 수 있다.
이상의 설명은 본 발명의 일실시예에 대한 설명에 불과하며, 본 발명은 그 구성의 범위내에서 다양한 변경 및 개조가 가능하다.
상술한 바와같은 본 발명에 따르면, 현재 프레임의 기준블록과 이전 프레임의 검색창내 각 후보블록간의 매칭스캔에 있어서, 검색창내에서의 검색방향을 나선방향을 채택하고, 기준블럭의 복잡도에 기초해서 매칭스캔방향을 결정하는 적응적인 매칭스캔(adaptive matching scan)을 적용하고, 이와동시에, 결정된 매칭스캔 도중에 불가능한 후보블럭으로 판단되면 해당 후보블록에 대한 매칭스캔을 중단하는 부분에러 제거(PDE:Partial Distortion Elimination)를 적용함으로써, 전영역검색(full search)에서의 계산량을 현저하게 줄일 수 있고, 이에따라 프레임간의 움직임예측을 고속으로 수행할 수 있게 되어, 움직임 예측에 대한 전영역검색을 알고리즘으로 구현할 수 있는 특별한 효과가 있다.
Claims (26)
- 영상데이타를 압축하는 엔코더의 움직임 예측기에서 수행되는, 현재 프레임(f(t))의 기준블록과 검색창내 후보블록간의 전영역 검색과정을 통해서 이전 프레임(f(t-1))의 검색창(SRW)내 복수의 후보블록중에서 매칭블럭을 검출하여 움직임벡터를 예측하는 움직임 고속 예측방법에 있어서,현재 프레임내 기준블록의 복잡도를 계산한후, 이 복잡도에 기초해서 매칭스캔방향을 결정하고, 이 결정된 매칭스캔방향으로 매칭스캔을 수행하여 움직임을 예측하는 것을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 영상데이타를 압축하는 엔코더의 움직임 예측기에서 수행되는, 현재 프레임(f(t))의 기준블록과 검색창내 후보블록간의 전영역 검색과정을 통해서 이전 프레임(f(t-1))의 검색창(SRW)내 복수의 후보블록중에서 매칭블럭을 검출하여 움직임벡터를 예측하는 움직임 고속 예측방법에 있어서,(a) 현재 프레임내 기준블록의 복잡도를 계산한후, 이 복잡도에 기초해서 매칭스캔방향을 결정하는 단계;(b) 현재 기준블록과 검색창내 사전에 설정된 후보블록간의 SAD(Sum of Absolute Difference)를 계산하여 초기 최소값 SAD(SADmin)로 결정하는 단계;(c) 단계(a)에서 결정된 매칭스캔방향으로, 현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 계산하는 단계;(d) SADmin보다 SADtep이 작은지를 비교하여, 작지 않으면 다음단계로 진행하고, 작으면 SADmin을 SADtep으로 교체시킨후 다음단계로 진행하는 단계;(e) 현재 후보블록이 마지막 후보블록인지를 판단하여 마지막 후보블록이 아니면 검색창내의 다음 후보블럭으로 이동한후 단계(c)로 진행하고, 마지막 후보블록이면 다음단계로 진행하는 단계;(f) 현재 기준블럭과 SADmin에 해당하는 후보블럭의 중심좌표(x,y)에 기초해서 움직임벡터로 결정하는 단계;(g) 현재 기준블록이 마지막 기준블록인지를 판단하여, 마지막 기준블록이 아니면 다음 기준블록에 대한 움직임벡터예측 준비과정을 수행한후 단계(a)로 진행하고, 마지막 기준블록이면 하나의 프레임에 대한 움직임 예측을 종료하는 단계; 로 이루어짐을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(a)는(a1) 기준블록을 소정크기의 서브블록으로 블록화시키는 단계;(a2) 단계(a1)의 각 서브블록별 복잡도를 구하는 단계;(a3) 서브블록의 복잡도를 세로 블럭열별 및 가로 블럭열별로 각각 합산하는단계;(a4) 단계(a3)에서 구한 열별 복잡도합중 가장큰 복잡도합에 해당하는 블록열 또는 행을 매칭스캔방향으로 결정하는 단계;로 이루어짐을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제3항에 있어서, 상기 단계(a4)에서 결정되는 매칭스캔방향은상하(top-to-bottom)방향, 하상(bottom-to-top)방향, 좌우(left-to-right)방향, 우좌(right-to-top)방향중 하나의 방향임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제3항에 있어서, 상기 단계(a1)에서각 서브블럭은 8*8 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제3항에 있어서, 상기 단계(a1)에서각 서브블럭은 4*4 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제3항에 있어서, 상기 단계(a1)에서각 서브블럭은 2*2 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(a)는(a1) 기준블록을 소정크기의 서브블록으로 블록화시키는 단계;(a2) 단계(a1)의 각 서브블록별 복잡도를 구하는 단계;(a3) 단계(a2)에서 구한 복잡도의 크기순으로 서브블록을 정렬하고, 서브블록의 복잡도 크기순으로 매칭스캔 방향을 결정하는 단계; 로 이루어짐을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제8항에 있어서, 상기 단계(a1)에서각 서브블럭은 8*8 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제8항에 있어서, 상기 단계(a1)에서각 서브블럭은 4*4 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제8항에 있어서, 상기 단계(a1)에서각 서브블럭은 2*2 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제8항에 있어서, 상기 단계(a3)에서 결정되는 매칭스캔방향은상하(top-to-bottom)방향임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(a)는(a1) 기준블록을 소정크기의 서브블록으로 블록화시키는 단계;(a2) 단계(a1)의 각 서브블록별 복잡도를 구하는 단계;(a3) 서브블록의 복잡도를 세로열별 및 가로열별로 각각 합산하는 단계;(a4) 단계(a3)에서 구한 열별 복잡도합중 가장큰 복잡도합에 해당하는 서브블록열에 기초해서 매칭스캔방향을 결정하는 단계;(a5) 매칭스캔방향 결정되면, 그 방향의 열별로 복잡도의 크기순으로 매칭스캔 순서를 결정하는 단계; 로 이루어짐을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제13항에 있어서, 상기 단계(a1)에서각 서브블럭은 8*8 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제13항에 있어서, 상기 단계(a1)에서각 서브블럭은 4*4 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제13항에 있어서, 상기 단계(a1)에서각 서브블럭은 2*2 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제13항에 있어서, 상기 단계(a4)에서 결정되는 매칭스캔방향은가로방향, 세로방향중 하나의 방향임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속
- 제2항에 있어서, 상기 단계(a)는(a1) 기준블록을 소정크기의 서브블록으로 블록화시키는 단계;(a2) 단계(a1)의 각 서브블록별 복잡도를 구하는 단계;(a3) 단계(a2)에서 구한 복잡도의 크기순으로 서브블록을 정렬하고, 복잡도가 가장 큰 서브블럭을 시작 블록으로 하는 대각선방향으로 매칭스캔 방향을 결정하는 단계; 로 이루어짐을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제18항에 있어서, 상기 단계(a1)에서각 서브블럭은 8*8 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제18항에 있어서, 상기 단계(a1)에서각 서브블럭은 4*4 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제18항에 있어서, 상기 단계(a1)에서각 서브블럭은 2*2 서브블록임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제18항에 있어서, 상기 단계(a3)에서 결정되는 매칭스캔방향은상좌-하우방향, 상우-하좌방향,하좌-상우방향, 하우-상좌방향중 하나의방향임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(c)는현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 계산하는 동안에, 계산된 SADtep가 SADmin보다 큰지를 판단하여, 커지면 이 검색점에 대한 SADtep계산을 중단하고, 다음 과정으로 진행하는 단계; 를 포함함을 특징으로 하는영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(c)는현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 화소별로 계산하면서, 계산된 SADtep가 SADmin보다 큰지를 판단하여, 커지면 이 검색점에 대한 SADtep계산을 중단하고, 다음 과정으로 진행하는 단계; 를 포함함을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(c)는현재 기준블록과 현재 후보블록간의 절대 에러합(SADtep)을 라인별로 계산하면서, 계산된 SADtep가 SADmin보다 큰지를 판단하여, 커지면 이 검색점에 대한 SADtep계산을 중단하고, 다음 과정으로 진행하는 단계; 를 포함함을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
- 제2항에 있어서, 상기 단계(e)에서 검색창내에서 후보블럭의 검색방향이사전에 설정된 위치를 중심으로 하는 나선형(spiral)방향임을 특징으로 하는 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속 예측방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990055072A KR100305582B1 (ko) | 1999-02-22 | 1999-12-06 | 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 |
| GB0003276A GB2349535A (en) | 1999-02-22 | 2000-02-11 | Estimation of fast motion in an image |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990005770 | 1999-02-22 | ||
| KR19990005770 | 1999-02-22 | ||
| KR1019990055072A KR100305582B1 (ko) | 1999-02-22 | 1999-12-06 | 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000057040A KR20000057040A (ko) | 2000-09-15 |
| KR100305582B1 true KR100305582B1 (ko) | 2001-11-05 |
Family
ID=26634729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990055072A KR100305582B1 (ko) | 1999-02-22 | 1999-12-06 | 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR100305582B1 (ko) |
| GB (1) | GB2349535A (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100468844B1 (ko) * | 2002-01-07 | 2005-01-29 | 삼성전자주식회사 | 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법 |
| KR100961760B1 (ko) * | 2002-08-13 | 2010-06-07 | 퀄컴 인코포레이티드 | 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치 |
| KR100910209B1 (ko) * | 2006-11-28 | 2009-07-30 | 한양대학교 산학협력단 | 세분화된 탐색 영역을 기반으로 하는 고속 전영역 움직임예측 방법 및 그 장치 |
| KR100870554B1 (ko) * | 2007-01-08 | 2008-11-27 | 한양대학교 산학협력단 | 웨이블릿 기반의 효율적인 스케일러블 비디오 부호화를위한 움직임 보상 시간적 필터링 방법 및 그 방법을실행하기 위한 프로그램이 기록된 기록매체 |
| KR101037743B1 (ko) * | 2009-10-29 | 2011-05-27 | 숭실대학교산학협력단 | 효율적인 조기중단 기법을 사용하는 움직임 추정 방법 및 이를 이용한 비디오 인코딩 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2313514B (en) * | 1993-08-03 | 1998-02-25 | Sony Uk Ltd | Motion compensated video signal processing |
| US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
-
1999
- 1999-12-06 KR KR1019990055072A patent/KR100305582B1/ko not_active IP Right Cessation
-
2000
- 2000-02-11 GB GB0003276A patent/GB2349535A/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000057040A (ko) | 2000-09-15 |
| GB2349535A (en) | 2000-11-01 |
| GB0003276D0 (en) | 2000-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7015255B2 (ja) | 適応型動き情報改良を用いるビデオ符号化 | |
| EP1797722B1 (en) | Adaptive overlapped block matching for accurate motion compensation | |
| US7302015B2 (en) | Motion estimation method for moving picture compression coding | |
| US6192148B1 (en) | Method for determining to skip macroblocks in encoding video | |
| US20070268964A1 (en) | Unit co-location-based motion estimation | |
| EP1732329A1 (en) | Method and apparatus for coding moving images | |
| US8619859B2 (en) | Motion estimation apparatus and method and image encoding apparatus and method employing the same | |
| US11356672B2 (en) | System and method for controlling video coding at frame level | |
| US20090097546A1 (en) | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate | |
| US11134250B2 (en) | System and method for controlling video coding within image frame | |
| KR20090079286A (ko) | 고속 전역탐색 블록정합 알고리즘을 이용한 동영상 움직임추정 방법 및 장치 | |
| JP2004215275A (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| KR100305582B1 (ko) | 영상복잡도에 기초한 적응 매칭스캔을 이용한 움직임 고속예측방법 | |
| US5790207A (en) | Motion compensation method for use in an image encoding system | |
| KR100286818B1 (ko) | 실시간 영상압축을 위한 고속 움직임 예측방법 | |
| KR100602148B1 (ko) | 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법 | |
| KR101490521B1 (ko) | 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템 | |
| KR100987581B1 (ko) | 고속 움직임 추정을 위한 부분 블록정합 방법 | |
| KR100747544B1 (ko) | 움직임 추정 방법 및 장치 | |
| KR100203695B1 (ko) | 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치 | |
| KR100388802B1 (ko) | 오류은폐장치및방법 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| KR100212560B1 (ko) | 하이브리드 윤곽 부호화에서의 부호화 모드 결정장치 | |
| KR100203658B1 (ko) | 물체의 윤곽 부호화를 위한 움직임 추정장치 | |
| KR100617177B1 (ko) | 움직임 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |