BRPI0716540A2 - Method and apparatus for multi-step video encoding and decoding - Google Patents
Method and apparatus for multi-step video encoding and decoding Download PDFInfo
- Publication number
- BRPI0716540A2 BRPI0716540A2 BRPI0716540-4A BRPI0716540A BRPI0716540A2 BR PI0716540 A2 BRPI0716540 A2 BR PI0716540A2 BR PI0716540 A BRPI0716540 A BR PI0716540A BR PI0716540 A2 BRPI0716540 A2 BR PI0716540A2
- Authority
- BR
- Brazil
- Prior art keywords
- coding step
- video
- motion
- image
- coding
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/97—Matching pursuit coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
MÉTODO E APARELHO PARA CODIFICAÇçO E DECODIFICAÇÀO DE VÍDEO PASSOS MéLTIPLOS. Proporciona-se um codificador de vídeo, um decodificador de vídeo e um método correspondente para codificar e decodificar dados de sinais de vídeo usando um esquema e codificação de vídeo de passos múltiplos. O codificador de vídeo inclui um estimador de movimento (116) e um módulo de decomposição (174). O estimador de movimento executa estimativa de movimento nos dados de sinais de vídeo, para obter um movimento residual correspondente aos dados de sinais de vídeo em um primeiro passo de codificação. O módulo de decomposição, em comunicação por sinal com o estimador de movimento, decompõe o movimento residual em um passo de codificação subsequente.METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING PASSOS MÉLTIPLOS. A video encoder, a video decoder and a corresponding method for encoding and decoding video signal data using a multi-step video scheme and encoding are provided. The video encoder includes a motion estimator (116) and a decomposition module (174). The motion estimator performs motion estimation on the video signal data, to obtain a residual movement corresponding to the video signal data in a first coding step. The decomposition module, in signal communication with the motion estimator, decomposes the residual motion in a subsequent coding step.
Description
"MÉTODO E APARELHO PARA CODIFICAÇÃO E DECODIFICAÇÃO DE VÍDEO DE PASSOS MÚLTIPLOS""METHOD AND APPARATUS FOR MULTIPLE VIDEO ENCODING AND DECODING"
REMISSÃO RECÍPROCA A PEDIDOS DE PATENTES RELACIONADOSRECIPROCED REFERENCE TO RELATED PATENT APPLICATIONS
Este pedido de patente reivindica o benefício do pedido de patente internacional PCT/US2006/037139, depositado em 22 de setembro de 2006 e intitulado "METHOD AND APARATUS FOR MULTIPLE PASS VIDEO CODING AND DECODING", que é incorporado na sua totalidade no presente relatório descritivo.This patent application claims the benefit of International Patent Application PCT / US2006 / 037139, filed September 22, 2006, entitled "METHOD AND APARATUS FOR MULTIPLE PASS VIDEO CODING AND DECODING", which is incorporated in its entirety in this specification. .
CAMPO DA INVENÇÃOFIELD OF INVENTION
A presente invenção se refere, de uma maneira geral, a codificação e decodificação e, mais particularmente, a um método e um aparelho para codificação e decodificação de vídeo de passos múltiplos.The present invention relates generally to encoding and decoding, and more particularly to a method and apparatus for multi-step video encoding and decoding.
ANTECEDENTES DA INVENÇÃOBACKGROUND OF THE INVENTION
A Organização Internacional para o padrão H.264 do Setor de Telecomunicação, União de Telecomunicação Internacional de Padronização de Codificação de Vídeo Avan- çado (AVC), Parte 10, do Grupo-4 de Especialistas em Imagens Móveis (MPEG-4) da Co- missão Eletrotécnica de Padronização Internacional (ISO/IEC) (a seguir, o padrão "MPEG- 4/H.264) ou simplesmente o "padrão H.264") é atualmente o padrão de codificação de vídeo mais poderoso e da técnica anterior. Como todos os outros padrões de codificação de vídeo, o padrão H.264 usa codificação de transformação similar à transformação de co-seno distin- to (DCT) e de compensação de movimento à base de bloqueio. É bem conhecido que a DCT é eficiente para codificação de vídeo e adequada para aplicações de topo de linha, como televisão de difusão de alta definição (HDTV). No entanto, o algoritmo DCT não é bem adequado para aplicações que precisam de taxas de bits muito baixas, tal como telefone celular de vídeo dedicado. A taxas de bits muito baixas, a transformação DCT vai introduzir artefatos de bloqueio, mesmo com o uso de filtros de desbloqueio, porque coeficientes muito baixos podem ser codificados a taxas de bits muito baixas, e cada coeficiente tende a ter uma etapa de quantificação muito grosseira.The International Organization for Telecommunication Sector Standard H.264, International Telecommunication Union for Advanced Video Coding Standardization (AVC), Part 10, Co-Group of Mobile Imaging Experts (MPEG-4) - International Standard Electrotechnical Mission (ISO / IEC) (hereinafter the "MPEG-4 / H.264 standard" or simply the "H.264 standard") is currently the most powerful and prior art video coding standard. Like all other video coding standards, the H.264 standard uses transformation coding similar to distinct cosine transform (DCT) and lock-based motion compensation. efficient for video encoding and suitable for high-end applications such as high definition broadcast television (HDTV), however, the DCT algorithm is not well suited for applications that need very low bit rates such as dedicated video mobile phone At very low bit rates, the DCT transformation will introduce lock artifacts even with the use of unlock filters, because very low coefficients can be encoded at very low bit rates, and each coefficient tends to have a very rough quantification step.
A busca de equiparação (MP) é um algoritmo intenso para decompor qualquer sinal em uma expansão linear de formas de onda, que são selecionadas de um dicionário redun- dante de funções. Essas formas de onda são selecionadas para melhor equiparar-se às es- truturas dos sinais.Match matching (MP) is an intense algorithm for breaking down any signal into a linear expansion of waveforms, which are selected from a redundant dictionary of functions. These waveforms are selected to best match the signal structures.
Supor que se tenha um sinal 1-D f(t) e deseja-se decompor esse sinal usando veto- res de base de um conjunto supercompleto de dicionários G. As funções dos dicionários individuais podem ser denotados como se segue:Suppose you have a 1-D signal f (t) and you want to decompose that signal using base vectors from a supercomplete set of G dictionaries. The functions of individual dictionaries can be denoted as follows:
g,[t)eG (1)g, [t) and G (1)
na qual γ é um parâmetro de indexação associado com um elemento de dicionário particular. A decomposição começa por seleção de γ, para maximizar o valor absoluto do produto interno, como se segue:where γ is an indexing parameter associated with a particular dictionary element. Decomposition begins by selecting γ to maximize the absolute value of the internal product as follows:
p-<fiU,\$ <2>p- <fiU, \ $ <2>
Depois, o sinal residual é computado como se segue:Then the residual signal is computed as follows:
*(»)=/«-/*,« <3>* (') = /' - / *, '<3>
Esse sinal residual é então expandido do mesmo modo que o sinal original. O pro- cedimento continua iterativamente, até que todos os números do conjunto dos coeficientes de expansão sejam gerados ou algum limiar de energia para o residual seja atingido. Cada estágio η gera uma função de dicionário γη. Após um total de M estágios, o sinal pode ser aproximado por uma função linear dos elementos dos dicionários, como se segue:This residual signal is then expanded in the same way as the original signal. The procedure continues iteratively until all numbers in the set of expansion coefficients are generated or some energy threshold for the residual is reached. Each stage η generates a dictionary function γη. After a total of M stages, the signal can be approximated by a linear function of the dictionary elements as follows:
/0)-±P.gr.M (4)/0)->P.gr.M (4)
A complexidade de uma decomposição de Busca de Equiparação de um sinal de η amostras prova ser da ordem de k.N.d.nlog2n. Aqui d depende do tamanho do dicionário, sem considerar as traduções, N é o número de coeficientes de expansão selecionados, e a constante k depende da estratégia para selecionar as funções dos dicionários. Supondo um dicionário supercompleto, a Busca de Equiparação consome mais computação do que as transformações de números inteiros 8x8 e 4x4 usadas no padrão H.264, cuja complexidade é definida como 0(nlog2n).The complexity of a Match Search decomposition of a η sample signal proves to be of the order of k.N.d.nlog2n. Here d depends on the size of the dictionary, regardless of translations, N is the number of expansion coefficients selected, and the constant k depends on the strategy for selecting dictionary functions. Assuming a supercomplete dictionary, Match Search consumes more computation than the 8x8 and 4x4 integer transformations used in the H.264 standard, whose complexity is set to 0 (nlog2n).
Em geral, o algoritmo de Busca de Equiparação é compatível com qualquer conjun- to de formas de bases redundantes. Propôs-se expandir um sinal usando a base supercom- pleta de funções Gabor. O dicionário Gabor 2-D é extremamente redundante, e cada forma pode existir em qualquer local de pixel de número inteiro na imagem residual codificada. Uma vez que a Busca de Equiparação tem um conjunto de dicionários muito maior e cada função de base codificada é bem adequada às estruturas no sinal residual, o dicionário Ga- bor à base de quadros não inclui uma estrutura de blocos artificiais.In general, the Match Search algorithm is compatible with any set of redundant base shapes. It has been proposed to expand a signal using the Gabor supercomplete base of functions. The Gabor 2-D dictionary is extremely redundant, and each shape can exist anywhere in the integer pixel in the encoded residual image. Since Match Match Search has a much larger dictionary set and each coded base function is well suited to the structures in the residual signal, the frame-based Gabor dictionary does not include an artificial block structure.
O conjunto de dicionários redundante Gabor foi adotado para codificação de vídeo de taxa de bits muito baixa, com base em buscas de equiparação, com relação a um siste- ma de codificação de vídeo proposto usando um algoritmo de busca de equiparação (a se- guir, referido como a "abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor da técnica anterior). O sistema proposto é baseado na estrutura de um sistema DCT híbrido de baixa taxa de bits referido como Modelo de Simulação para Codificação de Imagem de Taxa de Bits Muito Baixa, ou em suma "SIM3), no qual o codificador residual DCT é substituído com um codificador de Busca de Equiparação. Esse codificador usa Bus- ca de Equiparação para decompor as imagens residuais de movimento pelas funções Gabor 2-D separáveis no dicionário. O sistema proposto foi mostrado como funcionando bem em seqüencias de baixo movimento a baixa taxa de bits. Uma janela de seno ao quadrado de 16x16 uniforme foi aplicada às imagens espe- radas para partições 8x8 na abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor. O codec (codificador / decodificador) de vídeo de Busca de Equiparação na abordagem de codificação de vídeo de Busca de Equiparação à base de Gabor é baseada no codec ITU-T H.263. No entanto, o padrão H.264 propicia compensação de movimentação de tamanho de bloco variável com pequenos tamanhos de bloco, para compensação de movimento luma, possa sertão pequena quanto 4x4. Além do mais, o padrão H.264 é base- ado basicamente em uma transformação em forma de DCT 4x4 para a linha de base e o perfil principal, e não 8x8 com são a maior parte dos outros padrões de codificação de vídeo da técnica anterior proeminentes. A previsão espacial direcional para a intracodificação a- perfeiçoa a qualidade dos sinais de previsão. Todos aqueles aspectos de projeto realçados tornam o padrão H.264 mais eficiente, mas é necessário que lide com situações mais com- plicadas, quando da aplicação de Busca de Equiparação no padrão H.264. A janela de se- no-quadro 16x16 uniforme é representada da seguinte maneira:The Gabor redundant dictionary set has been adopted for very low bit rate video coding based on match searches against a proposed video coding system using a match search algorithm (hereinafter , referred to as the "prior art Gabor-based Match Search video coding approach). The proposed system is based on the structure of a low bit rate hybrid DCT system referred to as the Simulation Model for Very Low Bit Rate, or in short "SIM3), in which the DCT residual encoder is replaced with a Match Search encoder. This encoder uses Match Search to decompose the residual motion images by the separable Gabor 2-D functions in the dictionary. The proposed system has been shown to work well in low motion low bit rate sequences. A uniform 16x16 squared sine window was applied to images expected for 8x8 partitions in the Gabor-based Match Search video coding approach. Match Search video codec (encoder / decoder) in the Gabor-based Match Search video coding approach is based on the ITU-T H.263 codec. However, the H.264 standard provides variable block size motion compensation with small block sizes, so luma motion compensation can be as small as 4x4. Moreover, the H.264 standard is based primarily on a 4x4 DCT-shaped transformation for the baseline and main profile, not 8x8 with most other prior art video coding standards. prominent. Directional spatial prediction for intracoding improves the quality of the prediction signals. All of those enhanced design aspects make the H.264 standard more efficient, but you need to deal with more complicated situations when applying H.264 Standard Match Search. The uniform 16x16 frame window is represented as follows:
Um esquema de codificação híbrido (a seguir, o "esquema de codificação híbrido da técnica anterior") foi proposto, que se beneficia de alguns dos aspectos introduzidos pelo padrão H.264, para estimativa de movimento e substitui a transformação no domínio espaci- al. O erro de previsão é codificado usando o algoritmo de Busca de Equiparação, que de- compõe o sinal por um dicionário redundante, anisotrópico, bidimensional projetado ade- quadamente. Além do mais, uma técnica rápida de busca de átomo foi introduzida. No en- tanto, o esquema de codificação híbrido da técnica anterior proposto não foi abordado se usa ou não o esquema de um passo ou de dois passos. Além do mais, o esquema de codifi- cação híbrido da técnica anterior proposto descreveu que a parte de estimativa de movimen- to é compatível com o padrão H.264, mas não abordou se quaisquer filtros de desbloqueio foram usados no esquema de codificação ou se quaisquer outros métodos foram usados para uniformizar os artefatos de bloqueio provocados pelas imagens previstas a uma taxa de bits muito rápida.A hybrid coding scheme (hereinafter the "prior art hybrid coding scheme") has been proposed, which benefits from some of the features introduced by the H.264 standard for motion estimation and replaces transformation in the spatial domain. . The prediction error is coded using the Match Search algorithm, which decomposes the signal by an appropriately designed, redundant, anisotropic dictionary. In addition, a quick atom search technique has been introduced. However, the proposed prior art hybrid coding scheme has not been addressed whether or not it uses the one-step or two-step scheme. Furthermore, the proposed prior art hybrid coding scheme described that the motion estimation part is H.264 compliant, but did not address whether any unlock filters were used in the coding scheme or whether any other methods were used to even out the blocking artifacts caused by the predicted images at a very fast bit rate.
RESUMO DA INVENÇÃOSUMMARY OF THE INVENTION
Essas e outras deficiências de desvantagens da técnica anterior são abordadas pe- la presente invenção, que é dirigida a um método e a um aparelho para codificação e deco- dificação de vídeo de passos múltiplos.These and other disadvantages of prior art disadvantages are addressed by the present invention, which is directed to a method and apparatus for multi-step video encoding and decoding.
De acordo com um aspecto da presente invenção, proporciona-se um codificador de vídeo para a codificação de dados de sinais de vídeo, usando um esquema de codifica-According to one aspect of the present invention there is provided a video encoder for encoding video signal data using a coding scheme.
//
H/(/,/)=<u(/)-6>0)>H / (/, /) = <u (/) - 6> 0)>
i, 7 e {0,1,...,Ar-I)i, 7 and {0.1, ..., Ar-I)
(5) ção de passos múltiplos. O codificador de vídeo inclui um estimador de movimento e um módulo de decomposição. O estimador de movimento executa uma estimativa de movimen- to nos dados de sinais de vídeo, para obter um movimento residual correspondendo aos dados de sinais de vídeo em um primeiro passo de codificação. O módulo de decomposição, em comunicação de sinal com o estimador de movimento, decompõe o movimento residual em uma passo de codificação subsequente.(5) multi-step tion. The video encoder includes a motion estimator and a decomposition module. The motion estimator performs a motion estimate on the video signal data to obtain a residual motion corresponding to the video signal data in a first coding step. The decomposition module, in signal communication with the motion estimator, decomposes the residual motion into a subsequent coding step.
De acordo com um outro aspecto da presente invenção, proporciona-se um método para codificar dados de sinais de vídeo usando um esquema de codificação de vídeo de passos múltiplos. O método inclui a execução de uma estimativa de movimento nos dados de sinais de vídeo, para obter um movimento residual correspondente aos dados de sinais de vídeo em um primeiro passo de codificação, e decomposição do movimento residual em um passo de codificação subsequente.According to another aspect of the present invention, there is provided a method for encoding video signal data using a multistep video encoding scheme. The method includes performing a motion estimate on the video signal data to obtain a residual motion corresponding to the video signal data in a first coding step, and decomposing the residual motion in a subsequent coding step.
De acordo com um outro aspecto da presente invenção, proporciona-se um decodi- ficador de vídeo para decodificação de um fluxo de bits de vídeo. O decodificador de vídeo inclui um decodificador de entropia, um decodificador de átomos, um transformador inverso, um compensador de movimento, um filtro de desbloqueio, e um combinador. O decodifica- dor de entropia decodifica o fluxo de bits para obter um fluxo de bits de vídeo descomprimi- do. O decodificador de átomos, em comunicação por sinal com o decodificador de entropia, decodifica os átomos descomprimidos correspondentes ao fluxo de bits descomprimido para obter átomos decodificados. O transformador inverso, em comunicação por sinal com o de- codificador de átomos, aplica uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída. O compensador de movimento, em comunicação por sinal com o decodificador de entropia, executa a compensação de movimento usando vetores de movimento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída. O filtro de desbloqueio, em comunicação por sinal com o compensador de movimento, executa a filtração por desbloqueio na imagem prevista re- construída, para uniformizar a imagem prevista reconstruída. O combinador, em comunica- ção por sinal com o transformador inverso e o compensador de movimento em blocos so- brepostos, combina a imagem prevista e a imagem residual para obter uma imagem recons- truída.According to another aspect of the present invention there is provided a video decoder for decoding a video bit stream. The video decoder includes an entropy decoder, an atom decoder, an inverse transformer, a motion compensator, an unlock filter, and a combiner. The entropy decoder decodes the bit stream to obtain an uncompressed video bit stream. The atom decoder, in signal communication with the entropy decoder, decodes the decompressed atoms corresponding to the decompressed bit stream to obtain decoded atoms. The inverse transformer, in signal communication with the atom decoder, applies an inverse transformation to the decoded atoms to form a reconstructed residual image. The motion compensator, in signal communication with the entropy decoder, performs motion compensation using motion vectors corresponding to the decompressed bit stream to form a reconstructed predicted image. The unlocking filter, in signal communication with the motion compensator, performs unlocking filtration on the reconstructed predicted image to even out the reconstructed predicted image. The combiner, in signal communication with the inverse transformer and the superimposed block motion compensator, combines the predicted image and the residual image to obtain a reconstructed image.
De acordo com mais um aspecto da presente invenção, proporciona-se um método para decodificar um fluxo de bits de vídeo. O método inclui a decodificação do fluxo de bits de vídeo para obter um fluxo de bits de vídeo descomprimidos, a decodificação de átomos descomprimidos correspondentes ao fluxo de bits descomprimido para obter átomos decodi- ficados, a aplicação de uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída, a execução de uma compensação de movimento usan- do vetores de movimento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída, a execução de filtração de desbloqueio na imagem prevista reconstruída para uniformizar a imagem prevista reconstruída, e a combinação da imagem prevista reconstruída e a imagem residual para obter uma imagem reconstruída.According to a further aspect of the present invention there is provided a method for decoding a video bit stream. The method includes decoding the video bit stream to obtain an uncompressed video bit stream, decoding decompressed atoms corresponding to the decompressed bit stream to obtain decoded atoms, applying an inverse transformation to the decoded atoms to form a reconstructed residual image, performing motion compensation using motion vectors corresponding to the decompressed bit stream to form a reconstructed predicted image, performing unblocking filtering on the reconstructed predicted image to uniform the reconstructed predicted image, and the combination of the reconstructed predicted image and the residual image to obtain a reconstructed image.
Esses e outros aspectos, característica e vantagens da presente invenção vão ficar evidentes da descrição detalhada apresentada a seguir das modalidades exemplificativas, que deve ser lida em conjunto com os desenhos em anexo.These and other aspects, features and advantages of the present invention will be apparent from the following detailed description of exemplary embodiments, which should be read in conjunction with the accompanying drawings.
BREVE DESCRIÇÃO DOS DESENHOSBRIEF DESCRIPTION OF DRAWINGS
A presente invenção pode ser melhor entendida de acordo com as seguintes figuras exemplificativas, nas quais: as Figuras 1A e 1B são diagramas para as primeira e segunda partes de passo e-The present invention may be better understood in accordance with the following exemplary figures, in which: Figures 1A and 1B are diagrams for the first and second step parts.
xemplificativas de um codificador em um codificador / decodificador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos, ao qual os presentes princípios po- dem ser aplicados de acordo com uma modalidade dos presentes princípios;examples of an encoder in a two-step H.264 standard Matching Encoder / Decoder (CODEC) to which the present principles may be applied in accordance with one embodiment of the present principles;
a Figura 2 é um diagrama para um decodificador exemplificativo em um codificador / decodificador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos, ao qual os presentes princípios podem ser aplicados de acordo com uma modalidade dos presentes princípios;Figure 2 is a diagram for an exemplary two-step H.264 Standard Matching Encoder / Decoder (CODEC) decoder to which the present principles may be applied in accordance with one embodiment of the present principles;
a Figura 3 é um diagrama para um método exemplificativo para codificação de uma seqüencia de vídeos de entrada, de acordo com uma modalidade dos presentes princípios; eFigure 3 is a diagram for an exemplary method for encoding an input video sequence according to one embodiment of the present principles; and
a Figura 4 é um diagrama para um método exemplificativo para decodificação de uma seqüencia de vídeos de entrada, de acordo com uma modalidade dos presentes princí- pios.Figure 4 is a diagram for an exemplary method for decoding an input video sequence according to one embodiment of the present principles.
DESCRIÇÃO DETALHADA A presente invenção é dirigida a um método e a um aparelho para codificação e de-DETAILED DESCRIPTION The present invention is directed to a method and apparatus for coding and de-
codificação de vídeo de passos múltiplos. Vantajosamente, a presente invenção corrige os artefatos de bloqueio introduzidos pela transformação DCT usada no, por exemplo, padrão H.264 em aplicações de taxas de bits muito baixas. Além do mais, vai-se considerar que a presente invenção não é limitada apenas às aplicações de taxas de bits muito baixas, mas pode ser usada também para outras taxas de bits (mais altas), enquanto mantendo-se no âmbito da presente invenção.multi-step video encoding. Advantageously, the present invention corrects the blocking artifacts introduced by the DCT transformation used in, for example, the H.264 standard in very low bit rate applications. Furthermore, it will be appreciated that the present invention is not only limited to very low bit rate applications, but may also be used for other (higher) bit rates while remaining within the scope of the present invention.
A presente descrição ilustra os princípios da presente invenção. Aqueles versados na técnica vão, desse modo, considerar que vai ser possível elaborar várias disposições, que, embora não descritas ou mostradas explicitamente no presente relatório descritivo, representam os princípios da invenção e são incluídas dentro dos seus espírito e âmbito.The present description illustrates the principles of the present invention. Those skilled in the art will therefore consider that it will be possible to elaborate various provisions, which, although not described or explicitly shown in this specification, represent the principles of the invention and are included within its spirit and scope.
Todos os exemplos e a linguagem condicional aqui indicada são intencionados para fins pedagógicos, para auxiliar o leitor a entender os princípios da invenção e o conceitos contribuídos pelo inventor para incrementar a técnica, e devem ser considerados como sen- do sem limitação a esses exemplos e condições indicados especificamente.All examples and the conditional language given herein are intended for pedagogical purposes to assist the reader in understanding the principles of the invention and the concepts contributed by the inventor to further the technique, and should be construed as being without limitation to such examples and conditions specifically indicated.
Além do mais, todas as indicações no presente relatório descritivo relacionando os princípios, aspectos e modalidades da invenção, bem como os seus exemplos específicos, são intencionados para abranger ambos os seus equivalentes estruturais e funcionais. Adi- cionalmente, intenciona-se que esses equivalentes incluam ambos os equivalentes atual- mente conhecidos, bem como os equivalentes desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que executem a mesma função, independentemente da estrutura.Furthermore, all indications in this specification relating to the principles, aspects and embodiments of the invention, as well as their specific examples, are intended to encompass both their structural and functional equivalents. In addition, it is intended that these equivalents include both currently known equivalents as well as future developed equivalents, that is, any developed elements that perform the same function, regardless of structure.
Desse modo, aqueles versados na técnica vão considerar que os diagramas de blocos apresentados no presente relatório descritivo representam as vistas conceituais do conjunto de circuitos representando os princípios da invenção. De modo similar, vai-se con- siderar que quaisquer fluxogramas, diagramas de fluxo, diagramas de estados de transição, pseudocódigo e assemelhados representam vários processos, que podem ser substancial- mente representados em meios legíveis por computador e, desse modo, executados por um computador ou processador, se ou não tal computador ou processador for mostrado explici- tamente.Accordingly, those skilled in the art will appreciate that the block diagrams presented in this specification represent the conceptual views of the circuitry representing the principles of the invention. Similarly, it will be appreciated that any flowcharts, flow diagrams, transition state diagrams, pseudocode, and the like represent various processes, which can be substantially represented in computer readable media and thus executed by a computer or processor, whether or not such a computer or processor is explicitly shown.
As funções dos vários elementos mostrados nas figuras podem ser proporcionadas por uso de hardware dedicado, bem como hardware capaz de executar software em associ- ação com software adequado. Quando proporcionadas por um processador, as funções po- dem ser proporcionadas por um único processador dedicado, por um único processador partilhado, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser partilhados. Além do mais, o uso explícito do termo "processador" ou "controlador" não deve ser considerado como referindo-se exclusivamente a hardware capaz de executar software, e pode incluir implicitamente, sem limitação, hardware de processador de sinais digitais ("DSP"), memória exclusiva de leitura ("ROM") para armazenar software, memória de acesso aleatório ("RAM"), e armazenamento não volátil.The functions of the various elements shown in the figures may be provided by use of dedicated hardware as well as hardware capable of running software in association with suitable software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared. In addition, explicit use of the term "processor" or "controller" should not be construed as referring solely to hardware capable of running software, and may implicitly include, without limitation, digital signal processor ("DSP") hardware. ), read-only memory ("ROM") for storing software, random access memory ("RAM"), and nonvolatile storage.
Outro hardware, convencional e/ou personalizado, também pode ser incluído. De modo similar, quaisquer desvios mostrados nas figuras são apenas conceituais. A função deles pode ser conduzida pela operação de lógica de programa, por lógica dedicada, pela interação de controle de programa e lógica dedicada, ou mesmo manualmente, a técnica particular sendo selecionável pelo implementador, como entendido mais especificamente do contexto.Other hardware, conventional and / or custom, may also be included. Similarly, any deviations shown in the figures are conceptual only. Their function may be driven by program logic operation, dedicated logic, program control interaction and dedicated logic, or even manually, the particular technique being selectable by the implementer, as understood more specifically from the context.
Nas reivindicações aqui apresentadas, qualquer elemento expresso como um meio para executar uma função específica é intencionado para abranger qualquer modo de exe- cução dessa função, incluindo, por exemplo, a) uma combinação de elementos de circuito que execute essa função, ou b) software em qualquer forma, incluindo, portanto, programa- ção em hardware, microcódigo ou assemelhados, combinado com um conjunto de circuitos adequado para executar esse software para desempenhar a função. A invenção, como defi- nida nessas reivindicações, reside no fato de que as funcionalidades proporcionadas pelos vários meios indicados são combinadas e unidas na maneira exigida pelas reivindicações. Considera-se, desse modo, que qualquer meio que possa proporcionar essas funcionalida- des são equivalentes àquelas mostradas no presente relatório descritivo.In the claims set forth herein, any element expressed as a means of performing a specific function is intended to encompass any mode of performing that function, including, for example, a) a combination of circuit elements that performs that function, or b) software in any form, including hardware, microcode or the like, combined with a suitable circuitry to perform such software to perform the function. The invention as defined in these claims resides in the fact that the functionalities provided by the various indicated means are combined and joined in the manner required by the claims. It is therefore considered that any means that can provide these features are equivalent to those shown in this descriptive report.
De acordo com os presentes princípios, um esquema de codificação e decodifica- ção de vídeo de passos múltiplos é proporcionado. O esquema de codificação e decodifica- ção de vídeo de passos múltiplos pode ser usado com a Busca de Equiparação. Em uma modalidade ilustrativa, um esquema de codificação à base de H.264 de dois passos é des- crito para codificação de vídeo Busca de Equiparação.In accordance with the present principles, a multi-step video encoding and decoding scheme is provided. The multi-step video encoding and decoding scheme can be used with Match Match. In an illustrative embodiment, a two-step H.264-based coding scheme is described for Match Match video coding.
O padrão H.264 aplica compensação de movimento à base de blocos e transforma- ção como DCT similar a outros padrões de compressão de vídeo. A taxas de bits muito bai- xas, a transformação DCT vai introduzir artefatos de bloqueio, mesmo com o uso de filtros de desbloqueio, porque muito poucos coeficientes podem ser codificados a taxas de bits muito baixas, e cada coeficiente tende a ter uma etapa de quantificação muito grosseira. De acordo com os presentes princípios, a busca de equiparação, usando uma base supercom- pleta, é aplicada para codificar as imagens residuais. As partes de compensação de movi- mento e de decisão de modo são compatíveis com o padrão H.264. A compensação de mo- vimento de bloqueio sobreposto (OBMC) é aplicada para uniformizar as imagens previstas. Além disso, uma nova abordagem é proporcionada para selecionar uma base diferentes de Busca de Equiparação.The H.264 standard applies block-based motion compensation and transformation as DCT similar to other video compression standards. At very low bit rates, the DCT transformation will introduce lock artifacts even with the use of unlock filters, because very few coefficients can be encoded at very low bit rates, and each coefficient tends to have a step of. very crude quantification. In accordance with the present principles, the search for equalization using a supercomplete basis is applied to encode the residual images. Motion compensation and mode decision parts are compatible with the H.264 standard. Overlap lock motion compensation (OBMC) is applied to even out the predicted images. In addition, a new approach is provided to select a different Match Search base.
De acordo com os presentes princípios, um codificador e/ou decodificador de vídeo aplica OBMC em imagens previstas, para reduzir os artefatos de bloqueio provocados pelos modelos de previsão. O algoritmo Busca de Equiparação é usado para codificar as imagens residuais. A vantagem da Busca de Equiparação é que não é à base de blocos, mas à base de quadros, de modo que não há artefatos de bloqueio provocados pela diferença de resí- duos de codificação.In accordance with the present principles, a video encoder and / or decoder applies OBMC to predicted images to reduce the blocking artifacts caused by prediction models. The Match Search algorithm is used to encode the residual images. The advantage of Match Matching is that it is not block-based but frame-based, so there are no blocking artifacts caused by the difference in coding residues.
Voltando às Figuras 1A e 1B, as partes primeiro e segundo passos de um codifica- dor em um codificador / decodificador (CODEC) Busca de Equiparação à base de padrão H.264 de dois passos são geralmente indicadas pelos números de referência 110 e 160. O codificador é indicado geralmente pelo número de referência 190 e uma parte decodificador é indicada geralmente pelo número de referência 191.Turning to Figures 1A and 1B, the first and second step portions of an encoder in a two-step H.264 standard-based Match Encoder / Decoder (CODEC) are generally indicated by reference numerals 110 and 160. The encoder is generally indicated by reference numeral 190 and a decoder part is generally indicated by reference numeral 191.
Com referência à Figura 1A, uma entrada da primeira parte passo 110 é conectada em comunicação por sinal com uma entrada de não inversão de um combinador 112, uma entrada de um módulo de controle de codificador 114, e uma primeira entrada de um esti- mador de movimento 116. Uma primeira saída do combinador 112 é conectada em comuni- cação por sinal com uma primeira entrada de um armazenamento temporário 118. Uma se- gunda saída do combinador 112 é conectada em comunicação por sinal com uma entrada de um módulo de transformação / escalonamento / quantificação de números inteiros 120. Uma saída do módulo de transformação / escalonamento / quantificação de números intei- ros 120 é conectada em comunicação por sinal com uma primeira entrada de um módulo de escalonamento / transformação inversa 122.Referring to Figure 1A, an input of the first part step 110 is connected in signal communication with a noninverting input of a combiner 112, an input of an encoder control module 114, and a first input of an estimator. 116. A first output of combiner 112 is connected in signal communication with a first input of a temporary storage 118. A second output of combiner 112 is connected in signal communication with an input of a transformation module. / integer scaling / quantization 120. An output of the transformation / scaling / integer quantization module 120 is connected in signal communication with a first input of a scaling / inverse transformation module 122.
Uma primeira saída do módulo de controle de codificador 114 é conectada em co- municação por sinal com uma primeira entrada de um prognosticador intraquadros 126. Uma segunda saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma primeira entrada de um compensador de movimento 124. Uma terceira saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma segunda entrada do estimador de movimento 116. Uma quarta saída do módulo de controle de codificador 114 é conectada em comunicação por sinal com uma segunda en- trada do módulo de escalonamento / transformação inversa 122. Uma quinta saída do mó- dulo de controle de codificador 114 é conectada em comunicação por sinal com a primeira entrada do armazenamento temporário 118.A first output of encoder control module 114 is connected in signal communication with a first input of an intraframe predictor 126. A second output of encoder control module 114 is connected in signal communication with a first input of an motion compensator 124. A third output of encoder control module 114 is connected in signal communication with a second input of motion estimator 116. A fourth output of encoder control module 114 is connected in signal communication with a second scaling / inverse transform module input 122. A fifth output from encoder control module 114 is connected in signal communication with the first temporary storage input 118.
Uma saída do estimador de movimento 116 é conectada em comunicação por sinal com uma segunda entrada de um compensador de movimento 124 e uma segunda entrada do armazenamento temporário 128. Uma entrada de inversão do combinador 112 é conec- tada seletivamente em comunicação por sinal com uma saída do compensador de movimen- to 124 ou uma saída de um prognosticador intraquadros 126. A saída selecionada de qual- quer do compensador de movimento 124 ou do prognosticador intraquadros 126 é conecta- da em comunicação por sinal com uma primeira entrada de um combinador 128. Uma saída do módulo de escalonamento / transformação inversa 122 é conectada em comunicação por sinal com uma segunda entrada do combinador 128. Uma saída do combinador 128 é co- nectada em comunicação por sinal com uma segunda entrada do prognosticador intraqua- dros 126, uma terceira entrada do estimador de movimento 116 e uma entrada / saída do compensador de movimento 124. Uma saída do armazenamento temporário 118 é disponí- vel como uma saída da parte primeiro passo 110.A motion estimator output 116 is connected in signal communication with a second input of a motion compensator 124 and a second temporary storage input 128. A reverse input of combiner 112 is selectively connected in signal communication with a motion compensator output 124 or an intraframe predictor output 126. The selected output of either the motion compensator 124 or intra frame predictor 126 is connected in signal communication with a first input of a combiner 128 An output of the scaling / inverse transform module 122 is connected in signal communication with a second input of combiner 128. A output of combiner 128 is connected in signal communication with a second input of intra-frame predictor 126, a third motion estimator input 116 and one motion compensator input / output 124. One arm output temporary storage 118 is available as an output from the first step part 110.
Com relação à parte primeiro passo 110, o módulo de controle de codificador 114, o módulo de transformação / escalonamento / quantificação de números inteiros 120, o arma- zenamento temporário 118 e o estimador de movimento 116 são incluídos no codificador 190. Além do mais, com relação à parte primeiro passo, o módulo de escalonamento / trans- formação inversa 122, o prognosticador intraquadros 126 e o compensador de movimento 124 são incluídos na parte decodificador 191. A entrada da parte primeiro passo 110 recebe um vídeo de entrada 111 e armazenaWith respect to the first step part 110, the encoder control module 114, the integer transformation / scaling / quantization module 120, the temporary storage 118 and the motion estimator 116 are included in the encoder 190. In addition , with respect to the first step part, the step / reverse transform module 122, the intraframe predictor 126 and the motion compensator 124 are included in the decoder part 191. The input of the first step part 110 receives an input video 111 and stores
no armazenamento temporário 118 dados de controle (por exemplo, vetores de movimento, seleções de modos, imagens previstas, e assim por diante), para uso na parte segundo pas- so 160.in temporary storage 118 control data (eg, motion vectors, mode selections, preview images, and so forth) for use in the second step 160.
Com referência à Figura 1B, uma primeira entrada da parte segundo passo 160 é conectada em comunicação por sinal com uma entrada de um codificador de entropia 166. A primeira entrada recebe dados de controle 162 (por exemplo, seleções de modo e assim por diante) e vetores de movimento 164 da parte primeiro passo 110. Uma segunda entrada da parte segundo passo 160 é conectada em comunicação por sinal com uma entrada de não inversão de um combinador 168. Uma terceira entrada da parte segundo passo 160 é co- nectada em comunicação por sinal com uma entrada de um módulo de compensação de movimento de blocos sobrepostos (OBMC) / desbloqueio 170. A segunda entrada da parte segundo passo 160 recebe o vídeo de entrada 111, e a terceira entrada da parte segundo passo recebe as imagens previstas 187 da parte primeiro passo 110.Referring to Figure 1B, a first input from the second step part 160 is connected in signal communication with an input from an entropy encoder 166. The first input receives control data 162 (e.g. mode selections and so on) and motion vectors 164 of the first step part 110. A second input of the second step part 160 is connected in signal communication with a non-reversing input of a combiner 168. A third input of the second step part 160 is connected in communication by signal with an input of an overlapping block / motion compensation (OBMC) module 170. The second input of the second step part 160 receives the input video 111, and the third input of the second step part receives the predicted images 187 from the first step part 110.
Uma saída do combinador 168, que proporciona um resíduo 172, é conectada em comunicação por sinal com uma entrada de um Iocalizador de átomos 174. Uma saída do Iocalizador de átomos 174, que proporciona um resíduo codificado 178, é conectada em comunicação por sinal com uma entrada de um codificador de átomos 176 e uma primeira entrada de não inversão de um combinador 180. Uma saída do módulo OBMC / desbloqueio 170 é conectada em comunicação por sinal com uma entrada de inversão do combinador 168 com uma segunda entrada de não inversão do combinador 180. Uma saída do combi- nador 180, que proporciona um vídeo de saída, é conectada em comunicação por sinal com uma entrada de um armazenamento temporário de referência 182. Uma saída do codificador de átomos 176 é conectada em comunicação por sinal com a entrada da parte segundo passo 160 e proporciona um fluxo de bits de saída.An output of combiner 168, which provides a residue 172, is connected in signal communication with an input of an atom locator 174. An output of atom finder 174, which provides a coded residue 178, is connected in signal communication with an input from an atom encoder 176 and a first non-reversing input from a combiner 180. An OBMC / unlock module output 170 is connected in signal communication with a combiner reversing input 168 with a second non-reversing input from the combiner. 180. An output of combiner 180, which provides an output video, is connected in signal communication with an input of a reference buffer 182. An output of atom encoder 176 is connected in signal communication with the second step 160 and provides an output bit stream.
Com relação à parte segundo passo 160, o codificador de entropia é incluído no codificador 190, e o combinador 168, o módulo OBMC 170, o Iocalizador de átomos 176, o codificador de átomos 176 e o armazenamento temporário de referência 182 são incluídos na parte decodificador 191.With respect to the second step part 160, the entropy encoder is included in encoder 190, and combiner 168, OBMC module 170, atom locator 176, atom encoder 176 and reference temporary storage 182 are included in part decoder 191.
Voltando à Figura 2, um decodificador exemplificativo em um codificador / decodifi- cador (CODEC) de Busca de Equiparação à base de padrão H.264 de dois passos é indica- do genericamente pelo número de referência 200. Uma entrada do decodificador 200 é conectada em comunicação por sinal com umaReturning to Figure 2, an exemplary decoder in a two-step H.264 standard Match Match Encoder / Decoder (CODEC) is generally indicated by reference numeral 200. A decoder input 200 is connected. in signal communication with a
entrada de um decodificador de entropia 210. Uma saída do decodificador de entropia é co- nectada em comunicação por sinal com uma entrada de um decodificador de átomos 220 e uma entrada de um compensador de movimento 250. Uma saída do módulo de transforma- ção inversa 230, que proporciona resíduos, é conectada em comunicação por sinal com uma primeira entrada de não inversão de um combinador 270. Uma saída do compensador de movimento 250 é conectada em comunicação por sinal com uma entrada de um módulo OBMC / desbloqueio 260. Uma saída do módulo OBMC / desbloqueio 260 é conectada em comunicação por sinal com uma segunda entrada de não inversão do combinador 270. Uma saída do combinador é disponível como uma saída do decodificador 200.input of an entropy decoder 210. An input of the entropy decoder is connected in signal communication with an input of an atom decoder 220 and an input of a motion compensator 250. An output of the reverse transform module 230, which provides debris, is connected in signal communication with a first non-reversing input of a combiner 270. A motion compensator output 250 is connected in signal communication with an input of an OBMC / unlock module 260. An output of the OBMC / unlock module 260 is connected in signal communication with a second combiner non-reversing input 270. A combiner output is available as a decoder output 200.
Diferentemente do codec de vídeo Busca de Equiparação na abordagem de codifi- cação de vídeo Busca de Equiparação à base de Gabor1 que é baseado no codec H.263, os presentes princípios são aplicáveis ao sistema de codificação ITU-T H.264/AVC. Devido à codificação residual à base de quadros, aplica-se OBMC em imagens previstas, o que não é implementado no codec H.264/AVC.Unlike the Match Search video codec in the Gabor1 based Match Search video coding approach which is based on the H.263 codec, these principles apply to the ITU-T H.264 / AVC coding system. Due to frame-based residual encoding, OBMC is applied to predicted images, which is not implemented in the H.264 / AVC codec.
Em uma modalidade de acordo com os presentes princípios, um primeiro passo em um esquema de codificação de vídeo é compatível com o padrão H.264. Não há qualquer codificação efetiva no primeiro passo. Todos os dados de controle, tais como, por exemplo, as seleções de modo, as imagens previstas e os vetores de movimento, são salvas em um armazenamento temporário para o segundo passo. A transformação DCT é ainda aplicada no primeiro passo para compensação de movimento e nas seleções de modo usando Otimi- zação de Distorção de Taxas (RDO). Em vez de codificar a imagem residual usando os coe- ficientes DCT, todas as imagens residuais são salvas para o segundo passo. Em uma mo- dalidade dos presentes princípios, propõe-se aplicar intracodificação restrita 16 χ 16 ou in- tracodificação restrita compatível com padrão H.264, e tratar, especialmente, as partes limi- tes entre os macroblocos intracodificados e entrecodificados.In one embodiment according to the present principles, a first step in a video coding scheme is compatible with the H.264 standard. There is no effective coding in the first step. All control data, such as mode selections, preview images, and motion vectors, are saved in temporary storage for the second step. DCT transformation is further applied in the first step for motion compensation and mode selections using Rate Distortion Optimization (RDO). Instead of encoding the residual image using DCT coefficients, all residual images are saved for the second step. In one mode of the present principles, it is proposed to apply 16 χ 16 restricted intracoding or H.264 standard compliant restricted encoding, and especially to treat the boundary parts between the intracoded and inter-coded macroblocks.
No segundo passo, os vetores de movimento e os dados de controle podem ser co- dificados por codificação de entropia. As imagens residuais podem ser codificadas por Bus- ca de Equiparação. A busca de átomos e a codificação de parâmetros podem ser conduzi- das, por exemplo, de acordo com a abordagem de codificação de vídeo Busca de Equipara- ção à base de Gabor. As imagens reconstruídas são salvas para os quadros de referência.In the second step, motion vectors and control data can be coded by entropy coding. Residual images can be encoded by Matching Search. Atom searching and parameter coding can be conducted, for example, according to the Gabor-based Match Search video coding approach. The reconstructed images are saved to the reference frames.
Um dos benefícios da codificação de vídeo de Busca de Equiparação é que a Bus- ca de Equiparação não é baseada em blocos, de modo que não há artefatos de bloqueio. No entanto, quando a previsão de movimento é conduzida em uma base de blocos e é im- precisa, ainda origina alguns artefatos de bloqueio a taxas de bits muito baixas. As simula- ções mostraram que os átomos aparecem nos contornos de movimento e nas áreas nas quais os vetores de movimento (MVs) não são muito precisos. O aperfeiçoamento da esti- mativa de movimento propicia que os átomos representem melhor os resíduos.One of the benefits of Match Match video encoding is that Match Match is not block-based, so there are no blocking artifacts. However, when motion prediction is conducted on a block basis and is inaccurate, it still gives rise to some blocking artifacts at very low bit rates. Simulations have shown that atoms appear in motion contours and in areas where motion vectors (MVs) are not very accurate. Improving the motion estimate enables atoms to better represent residues.
Para eliminar os artefatos da previsão de movimento, um método envolve o uso de um filtro de desbloqueio similar a H.264 ou aperfeiçoado, para uniformizar o limite de blo- queio em uma imagem profética. Em outra abordagem, um modelo de movimento mais uni- forme usando blocos de sobreposição (OBMC) é empregado. Na abordagem de codificação de vídeo Busca de Equiparação à base de Gabor da técnica anterior, uma janela de seno ao quadrado 16 χ 16 foi adotada. Ajanela de seno ao quadrado NxN pode ser definida, por exemplo, de acordo com o esquema de codificação híbrido da técnica anterior. A janela de seno ao quadrado 16 χ 16 é projetada blocos 8 χ 8, e os blocos 16x16 são tratados como quatro blocos 8x8.To eliminate motion prediction artifacts, one method involves using an unblocking filter similar to H.264 or improved to even out the lockout limit on a prophetic image. In another approach, a more uniform motion model using overlapping blocks (OBMC) is employed. In the prior art Gabor-based Match Search video coding approach, a 16 χ 16 squared sine window was adopted. Sine squared window NxN can be defined, for example, according to the prior art hybrid coding scheme. The 16 χ 16 sine squared window is projected 8 χ 8 blocks, and the 16x16 blocks are treated as four 8x8 blocks.
No entanto, no padrão H.264, as partições com o tamanho de bloco luma, as amos- tras 16x 16, 16x8, 8x 16e8x8 são suportadas. No caso no qual as partições com as amostras 8x8 são selecionadas, a partição 8 χ 8 é ainda dividida nas partições das amos- tras Iuma 8x4, 4x8ou4x4eas amostras croma correspondentes. No presente relatório descritivo, quatro abordagens são propostas para lidar com mais tipos de partições. A pri- meira abordagem é para usar uma janela de seno ao quadrado 8x8 para partições 4x4. Para todas as outras partições acima de 4 χ 4, dividir essas partições em várias partições 4 χ 4. A segunda abordagem é usar uma janela de seno ao quadrado 16x16 para 8 χ 8 e as partições mencionadas acima, mas não toca as partições menores que 8 χ 8. A terceira a- bordagem é usar OBMC adaptativa para todas as partições. Todas essas três abordagens apenas implementam os filtros de desbloqueio diferentes de OBMC, e a quarta abordagem é combinar OBMC com um ou mais filtros de desbloqueio. Além do conjunto de dicionários Gabor redundante na abordagem de codificação deHowever, in the H.264 standard, luma block size partitions, 16x 16, 16x8, 8x 16e8x8 samples are supported. In the case where partitions with 8x8 samples are selected, the 8 χ 8 partition is further divided into the Iuma 8x4, 4x8or4x4 sample partitions and the corresponding chroma samples. In this descriptive report, four approaches are proposed to deal with more partition types. The first approach is to use an 8x8 squared sine window for 4x4 partitions. For all other partitions above 4 χ 4, divide these partitions into several 4 χ 4 partitions. The second approach is to use a 16x16 sine squared window for 8 χ 8 and the partitions mentioned above, but do not touch the partitions smaller than 8 χ 8. The third edge is to use adaptive OBMC for all partitions. All three of these approaches only implement non-OBMC unlock filters, and the fourth approach is to combine OBMC with one or more unlock filters. In addition to the redundant Gabor dictionary set in the coding approach of
vídeo de Busca de Equiparação à base de Gabor, que foi implementada para codificação residual, propõe-se utilizar mais bases supercompletas. A baixas taxas de bits, o modelo de movimento de tradução falha em representar precisamente o movimento natural de aspec- tos visuais relevantes, tais como bordas móveis. Por conseguinte, a maior parte da energia de erro residual é localizada nessas áreas. Desse modo, é significativo usar um dicionário redundante de detecção de borda para representar as imagens de erro. Uma transformação de pequena onda distinta (por exemplo, a Transformação de Pequena Onda Distinta de Ár- vore Dupla - DDWT), tendo menos redundância que o dicionário Gabor 2-D, pode ser usada, ou algum outro dicionário de detecção de borda pode ser usado. O DDWT 2-D tem mais subbandas / direções que o DWT 2-D. Cada subbanda representa uma direção, e é de de- tecção de borda. Após moldagem de ruído, a DDWT 2-D obtém PSNR mais alto, com os mesmos coeficientes retidos em comparação com a DWT 2-D. Desse modo, é mais ade- quado codificar as informações de borda. Após aplicar OBMC nas imagens previstas, as imagens de erro vão ter bordas mais uniformes. Os dicionários 2-D supercompletos paramé- tricôs podem ser usados para proporcionar bordas mais uniformes.Gabor-based Match Search video, which was implemented for residual coding, proposes to use more supercomplete bases. At low bit rates, the translation motion model fails to accurately represent the natural motion of relevant visual aspects such as moving edges. Therefore, most of the residual error energy is located in these areas. Thus, it is significant to use a redundant edge detection dictionary to represent error images. A distinct small wave transform (for example, the Double Tree Distinct Small Wave Transform - DDWT), having less redundancy than the Gabor 2-D dictionary, can be used, or some other edge detection dictionary can be used. used. DDWT 2-D has more subbands / directions than DWT 2-D. Each subband represents a direction, and is edge detection. After noise molding, DDWT 2-D gets higher PSNR, with the same retained coefficients compared to DWT 2-D. Thus, it is better to encode the edge information. After applying OBMC to the predicted images, the error images will have more uniform edges. Supercomplete parametric 2-D dictionaries can be used to provide more uniform edges.
Voltando à Figura 3, um método exemplificativo para codificação de uma seqüencia de vídeo de entrada é indicado genericamente pelo número de referência 300. O método 300 inclui um bloco de partida 305, que passa o controle para um bloco de decisão 310. O bloco de decisão 310 determina se ou não o quadro atual é um quadro I. Sendo assim, en- tão o controle é passado para um bloco de função 355. De outro modo, o controle é passado para um bloco de função 315.Turning to Figure 3, an exemplary method for encoding an input video sequence is generally indicated by reference numeral 300. Method 300 includes a starting block 305, which passes control to a decision block 310. The input block Decision 310 determines whether or not the current frame is a frame I. Therefore, control is passed to a function block 355. Otherwise, control is passed to a function block 315.
O bloco de função 355 executa codificação de quadro compatível com padrão Η.264, para proporcionar um fluxo de bits de saída, e passa o controle para um bloco final 370.Function block 355 performs compatível.264 standard compliant frame coding to provide an output bit stream, and passes control to an end block 370.
O bloco de função 315 executa a compensação de movimento compatível com pa- drão H.264, e passa o controle para um bloco de função 320. O bloco de função 320 salva os vetores de movimento (MVs), os dados de controle e os blocos previstos, e passa o con- trole a um bloco de decisão 325. O bloco de decisão 325 determina se ou não a extremida- de do quadro foi atingida. Sendo assim, então o controle é passado para um bloco de fun- ção 330. De outro modo, o controle é retornado para o bloco de função 315.Function block 315 performs H.264-compliant motion compensation, and passes control to function block 320. Function block 320 saves motion vectors (MVs), control data, and predicted blocks, and passes the control to a decision block 325. Decision block 325 determines whether or not the end of the frame has been reached. Thus, control is then passed to function block 330. Otherwise, control is returned to function block 315.
O bloco de função 330 executa filtração de OBMC e/ou de desbloqueio nas ima- gens previstas, e passa o controle para um bloco de função 335. O bloco de função 355 ob- tém uma imagem residual das imagens originais e previstas, e passa o controle para um bloco de função 340. O bloco de função 340 codifica um resíduo usando Busca de Equipa- ração e passa o controle para um bloco de função 345. O bloco de função 345 executa codi- ficação de entropia, para proporcionar uma corrente de bits de saída e passa o controle para o bloco final 370.Function block 330 performs OBMC filtering and / or unlocking on predicted images, and passes control to function block 335. Function block 355 takes a residual image of the original and predicted images, and passes control for function block 340. Function block 340 encodes a residue using Match Search and passes control to function block 345. Function block 345 performs entropy coding to provide a current output bits and passes control to the final block 370.
Voltando à Figura 4, um método exemplificativo para decodificar uma seqüencia de vídeo de entrada é indicado genericamente pelo número de referência 400. O método 400 inclui um bloco de partida 405, que passa o controle para um bloco de decisão 410. O bloco de decisão 410 determina se ou não o quadro de momento é um quadro I. Sendo assim, então o controle é passado para um bloco de função 435. De outro modo, o controle é pas- sado para um bloco de função 415.Turning to Figure 4, an exemplary method for decoding an input video sequence is generally indicated by reference numeral 400. Method 400 includes a starting block 405, which passes control to a decision block 410. The decision block 410 determines whether or not the moment frame is an I frame. Thus, control is then passed to a function block 435. Otherwise, control is passed to a function block 415.
O bloco de função 435 executa decodificação compatível com padrão H.264, para proporcionar uma imagem reconstruída, e passa o controle para um bloco final 470.Function block 435 performs H.264 compliant decoding to provide a reconstructed image and passes control to a final block 470.
O bloco de função 415 decodifica os vetores de movimento, os dados de controle e os átomos de Busca de Equiparação, e passa o controle para um bloco de função 420 e um bloco de função 425. O bloco de função 420 reconstrói a imagem residual usando átomos decodificados e passa o controle para um bloco de função 430. O bloco de função 425 re- constrói as imagens previstas por decodificação dos vetores de movimento e outros dados de controle e aplica filtração OBMC e/ou de desbloqueio, e passa o controle para o bloco de função 430. O bloco de função 430 combina a imagem residual reconstruída e as imagens previstas reconstruídas, para proporcionar uma imagem reconstruída, e passa o controle para o bloco final 470.Function block 415 decodes motion vectors, control data, and Match Search atoms, and passes control to function block 420 and function block 425. Function block 420 reconstructs the residual image using decoded atoms and passes control to a function block 430. Function block 425 rebuilds predicted images by decoding motion vectors and other control data and applies OBMC and / or unlock filtering, and passes control to function block 430. Function block 430 combines the reconstructed residual image and reconstructed predicted images to provide a reconstructed image, and passes control to the final block 470.
Uma descrição vai ser então feita de algumas das vantagens / aspectos associados da presente invenção, alguns dos quais foram mencionados acima. Por exemplo, uma van- tagem / aspecto é um codificador de vídeo para codificação de dados de sinais de vídeo, usando um esquema de codificação de vídeo de passos múltiplos, em que o codificador de vídeo inclui um estimador de movimento e um módulo de decomposição. O estimador de vídeo executa estimativa de movimento nos dados de sinais de vídeo, para obter um movi- mento residual correspondente aos dados de sinais de vídeo, em um primeiro passo de co- dificação. O módulo de decomposição, em comunicação por sinal com o estimador de mo- vimento, decompõe o movimento residual em um passo de codificação subsequente.A description will then be made of some of the advantages / associated aspects of the present invention, some of which have been mentioned above. For example, an advantage / aspect is a video encoder for encoding video signal data using a multistep video encoding scheme wherein the video encoder includes a motion estimator and a decomposition module. . The video estimator performs motion estimation on the video signal data to obtain a residual motion corresponding to the video signal data in a first coding step. The decomposition module, in signal communication with the motion estimator, decomposes the residual motion into a subsequent coding step.
Outra vantagem / aspecto é o codificador de vídeo como descrito acima, no qual oAnother advantage / aspect is the video encoder as described above, in which the
esquema de codificação de vídeo de passos múltiplos é um esquema de codificação de ví- deo de dois passos. O codificador de vídeo inclui um armazenamento temporário, em comu- nicação por sinal com o estimador de movimento e o módulo de decomposição, para arma- zenar o movimento residual obtido no primeiro passo de codificação, para uso subsequente em um segundo passo de codificação. O módulo de decomposição decompõe o movimento residual usando um conjunto de dicionários Gaber redundante no segundo passo de codifi- cação.Multi-step video encoding scheme is a two-step video encoding scheme. The video encoder includes temporary storage, in signal communication with the motion estimator and the decomposition module, to store the residual motion obtained in the first coding step for subsequent use in a second coding step. The decomposition module decomposes the residual motion using a redundant Gaber dictionary set in the second coding step.
Mais um outro aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o estimador de movimento executa a estimativa de movimento e a seleção do modo de codificação em conformidade com o pa- drão H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações (ITU-U) no primeiro passo de codificação.A further aspect is the video encoder using the two-step video coding scheme as described above, wherein the motion estimator performs motion estimation and coding mode selection in accordance with standard H .264 of the Telecommunications Sector of the International Telecommunication Union (ITU-U) in the first coding step.
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OMBC) na imagem prevista, usando uma janela de seno ao quadrado 16x16, para uniformizar a imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subseqüente no segundo passo de codificação.A further advantage / aspect is the video encoder using the two-step video encoding scheme as described above, wherein the video encoder further includes a prediction module and an overlapping block motion compensator. The prediction module, in signal communication with the temporary storage, forms a predicted image corresponding to the video signal data in the first coding step. The overlapping block motion compensator, in signal communication with temporary storage, performs overlapping block motion compensation (OMBC) on the predicted image using a 16x16 squared sine window to even out the predicted image in the second coding step . Temporary storage stores the image provided for therein in the first coding step for subsequent use in the second coding step.
Além do mais, outra vantagem / aspecto é o codificador de vídeo usando o esque- ma de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos so- brepostos. O módulo de previsão, em comunicação por sinal com o armazenamento tempo- rário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunica- ção por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OBMC) em apenas 8 χ 8 e partições maiores da imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codifi- cação.Furthermore, another advantage / aspect is the video encoder using the two-step video encoding scheme as described above, wherein the video encoder further includes a prediction module and a block motion compensator only. - bracts. The prediction module, in signal communication with the temporary storage, forms a predicted image corresponding to the video signal data in the first coding step. The overlapping block motion compensator, in signal communication with temporary storage, performs overlapping block motion compensation (OBMC) on only 8 χ 8 and larger partitions of the image predicted in the second coding step. Temporary storage stores the image provided for therein in the first coding step for subsequent use in the second coding step.
Além disso, outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O compensador de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobrepostos (OBMC) usando uma janela de seno ao quadrado 8x8, para partições 4 χ 4 da imagem prevista no segundo passo de codificação. Todas as partições da imagem prevista são divididas em partições 4x4, quando a OBMC é conduzida no segundo passo de codifi- cação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação. Também, outra vantagem / aspecto é o codificador de vídeo usando o esquema deIn addition, another advantage / aspect is the video encoder using the two-step video encoding scheme as described above, wherein the video encoder further includes a prediction module and an overlapping block motion compensator. The prediction module, in signal communication with the temporary storage, forms a predicted image corresponding to the video signal data in the first coding step. The overlapping block motion compensator, in signal communication with the temporary storage, performs overlapping block motion compensation (OBMC) using an 8x8 squared sine window for 4 χ 4 partitions of the predicted image in the second coding step. All partitions of the predicted image are divided into 4x4 partitions when OBMC is conducted in the second coding step. Temporary storage stores the image provided for therein in the first coding step for subsequent use in the second coding step. Also, another advantage / aspect is the video encoder using the
codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um compensador de movimento de blocos sobrepos- tos. O módulo de previsão, compensador de movimento de blocos sobrepostos forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codifi- cação. O compensação de movimento de blocos sobrepostos, em comunicação por sinal com o armazenamento temporário, executa compensação de movimento de blocos sobre- postos (OBMC) adaptativa para todas as partições da imagem prevista no segundo passo de codificação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação. Adicionalmente, outra vantagem / aspecto é o codificador de vídeo usando o es-A two-step video encoding, as described above, wherein the video encoder further includes a prediction module and an overlapping block motion compensator. The overlapping block motion prediction module forms a predicted image corresponding to the video signal data in the first coding step. Overlapping block motion compensation, in signal communication with temporary storage, performs adaptive overlapping block motion compensation (OBMC) for all image partitions provided for in the second coding step. Temporary storage stores the image provided for therein in the first coding step for subsequent use in the second coding step. Additionally, another advantage / aspect is the video encoder using the
quema de codificação de vídeo de dois passos, como descrito acima, em que o codificador de vídeo inclui ainda um módulo de previsão e um filtro de desbloqueio. O módulo de previ- são, em comunicação por sinal com o armazenamento temporário, forma uma imagem pre- vista correspondente aos dados de sinais de vídeo no primeiro passo de codificação. O filtro de desbloqueio, em comunicação por sinal com o armazenamento temporário, forma uma imagem prevista correspondente aos dados de sinais de vídeo no primeiro passo de codifi- cação. O filtro de desbloqueio, em comunicação por sinal com o armazenamento temporá- rio, executa uma operação de desbloqueio na imagem prevista no segundo passo de codifi- cação. O armazenamento temporário armazena a imagem prevista nele, no primeiro passo de codificação, para uso subsequente no segundo passo de codificação.a two-step video encoding system as described above, wherein the video encoder further includes a prediction module and an unlock filter. The prediction module, in signal communication with the temporary storage, forms a preview image corresponding to the video signal data in the first coding step. The unlocking filter, in signal communication with the temporary storage, forms a predicted image corresponding to the video signal data in the first coding step. The unlocking filter, in signal communication with the temporary storage, performs an unlocking operation on the image provided for in the second coding step. Temporary storage stores the image provided for therein in the first coding step for subsequent use in the second coding step.
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos, como descrito acima, em que o módulo de decomposi- ção executa uma transformação de pequena onda de árvore dupla para decompor o movi- mento residual.Another advantage / aspect is the video encoder using the two-step video encoding scheme as described above, wherein the decomposition module performs a small double-tree-wave transformation to decompose the residual motion. .
Mais uma outra vantagem / aspecto é o codificador de vídeo usando o esquema de codificação de vídeo de dois passos e a transformação de pequena onda de árvore dupla, como descritos acima, em que o módulo de decomposição usa moldagem de ruído para selecionar os coeficientes da transformação de pequena onda de árvore dupla.Another advantage / aspect is the video encoder using the two-step video coding scheme and the double-tree small wave transformation, as described above, where the decomposition module uses noise shaping to select the coefficients of the Small tree double wave transformation.
Além do mais, outra vantagem / aspecto é o codificador de vídeo usando o esque- ma de codificação de vídeo de dois passos, como descrito acima, em que o módulo de de- composição aplica dicionários 2-D supercompletos paramétricos para decompor o movimen- to residual no segundo passo de decodificação.In addition, another advantage / aspect is the video encoder using the two-step video encoding scheme as described above, where the compositing module applies parametric supercomplete 2-D dictionaries to decompose motion. residual in the second decoding step.
Além disso, outra vantagem / aspecto é um decodificador de vídeo para decodificar um fluxo de bits de vídeo, em que o decodificador de vídeo inclui um decodificador de entro- pia, um decodificador de átomos, um transformador inverso, um compensador de movimen- to, um filtro de desbloqueio e um combinador. O decodificador de entropia decodifica o fluxo de bits de vídeo, para obter um fluxo de bits de vídeo descomprimido. O decodificador de átomos, em comunicação por sinal com o decodificador de entropia, decodifica os átomos descomprimidos correspondentes ao fluxo de bits descomprimido, para obter átomos deco- dificados. O transformador inverso, em comunicação por sinal com o decodificador de entro- pia, aplica uma transformação inversa aos átomos decodificados para formar uma imagem residual reconstruída. O compensador de movimento, em comunicação por sinal com o de- codificador de entropia, executa compensação de movimento usando os vetores de movi- mento correspondentes ao fluxo de bits descomprimido, para formar uma imagem prevista reconstruída. O filtro de desbloqueio, em comunicação por sinal com o compensador de mo- vimento, executa filtração de desbloqueio na imagem prevista reconstruída, para uniformizar a imagem prevista reconstruída. O combinador, em comunicação por sinal com o compen- sador de movimento de blocos sobrepostos, combina a imagem prevista reconstruída e a imagem residual, para obter uma imagem reconstruída.In addition, another advantage / aspect is a video decoder for decoding a video bit stream, wherein the video decoder includes an input decoder, an atom decoder, a reverse transformer, a motion compensator. , an unlock filter and a combiner. The entropy decoder decodes the video bit stream to obtain an uncompressed video bit stream. The atom decoder, in signal communication with the entropy decoder, decodes the decompressed atoms corresponding to the decompressed bit stream to obtain decoded atoms. The inverse transformer, in signal communication with the input decoder, applies an inverse transformation to the decoded atoms to form a reconstructed residual image. The motion compensator, in signal communication with the entropy decoder, performs motion compensation using the motion vectors corresponding to the decompressed bit stream to form a reconstructed predicted image. The unlocking filter, in signal communication with the motion compensator, performs unlocking filtering on the reconstructed predicted image to even out the reconstructed predicted image. The combiner, in signal communication with the overlapping block motion compensator, combines the reconstructed predicted image and the residual image to obtain a reconstructed image.
Esses e outros aspectos e vantagens da presente invenção podem ser determina- dos facilmente por aqueles versados na técnica pertinente, com base nos ensinamentos do presente relatório descritivo. Deve-se entender que os ensinamentos da presente invenção podem ser implementados em várias formas de hardware, software, programação em hard- ware, processadores para fins específicos, ou suas combinações.These and other aspects and advantages of the present invention can be readily determined by those skilled in the relevant art, based on the teachings of the present disclosure. It should be understood that the teachings of the present invention may be implemented in various forms of hardware, software, hardware programming, special purpose processors, or combinations thereof.
Especialmente, os ensinamentos da presente invenção são implementados como uma combinação de hardware e software. Além do mais, o software pode ser implementado como um programa de aplicação, incorporado tangivelmente em uma unidade de armaze- namento de programas. O programa de aplicação pode ser transferido para, e executado por, uma máquina compreendendo qualquer arquitetura adequada. De preferência, a má- quina é implementada em uma plataforma de computador tendo hardware, tais como uma ou mais unidades de processamento centrais ("CPUs"), uma memória de acesso aleatório ("RAM") e interfaces de entrada / saída ("l/Os"). A plataforma de computador pode também incluir um sistema operacional e um código de microinstruções. Os vários processos e fun- ções descritos no presente relatório descritivo podem ser qualquer parte do código de micro- instruções ou parte do programa de aplicação, ou qualquer combinação delas, que possa ser executada por uma CPU. Além disso, várias outras unidades periféricas podem ser co- nectadas à plataforma de computador, tal como uma unidade de armazenamento de dados e uma unidade de impressão adicionais. Deve-se ainda entender que, em virtude de que alguns dos componentes constitu-Especially, the teachings of the present invention are implemented as a combination of hardware and software. In addition, the software can be implemented as an application program, tangibly embedded in a program storage unit. The application program may be transferred to and executed by a machine comprising any suitable architecture. Preferably, the machine is implemented on a computer platform having hardware such as one or more central processing units ("CPUs"), random access memory ("RAM") and input / output interfaces (" I / Os "). The computer platform may also include an operating system and a microinstruction code. The various processes and functions described in this descriptive report may be any part of the micro-instruction code or part of the application program, or any combination thereof, which may be performed by a CPU. In addition, several other peripheral units can be connected to the computer platform, such as an additional data storage unit and a print unit. It should also be understood that because some of the constituent components of
intes do sistema e dos métodos ilustrados nos desenhos em anexo serem, de preferência, implementados em software, as conexões efetivas entre os componentes do sistema ou os blocos de funções de programa podem diferir, dependendo da maneira na qual a presente invenção é programada. Em vista dos ensinamentos da presente invenção, uma pessoa versada na técnica vai ser capaz de considerar essas e implementações ou configurações similares da presente invenção.Although the system and methods illustrated in the accompanying drawings are preferably implemented in software, the actual connections between system components or program function blocks may differ depending upon the manner in which the present invention is programmed. In view of the teachings of the present invention, a person skilled in the art will be able to consider such and similar implementations or configurations of the present invention.
Embora as modalidades ilustrativas tenham sido descritas no presente relatório descritivo com referência aos desenhos em anexo, deve-se entender que a presente inven- ção não é limitada a essas modalidades precisas, e que várias mudanças de modificações podem ser feitas nela por aqueles versados na técnica pertinente, sem que se afaste do âmbito ou espírito da presente invenção. Todas essas mudanças e modificações são inten- cionadas para ser incluídas dentro do âmbito da presente invenção, como apresentado nas reivindicações em anexo.Although the illustrative embodiments have been described in this specification with reference to the accompanying drawings, it is to be understood that the present invention is not limited to such precise embodiments, and that various changes of modifications may be made thereto by those skilled in the art. relevant technique without departing from the scope or spirit of the present invention. All such changes and modifications are intended to be included within the scope of the present invention as set forth in the appended claims.
Claims (24)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USPCT/US2006/037139 | 2006-09-22 | ||
US2006037139 | 2006-09-22 | ||
PCT/US2007/004110 WO2008036112A1 (en) | 2006-09-22 | 2007-02-15 | Method and apparatus for multiple pass video coding and decoding |
Publications (1)
Publication Number | Publication Date |
---|---|
BRPI0716540A2 true BRPI0716540A2 (en) | 2012-12-25 |
Family
ID=38521211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BRPI0716540-4A BRPI0716540A2 (en) | 2006-09-22 | 2007-02-15 | Method and apparatus for multi-step video encoding and decoding |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP2070334A1 (en) |
JP (2) | JP5529537B2 (en) |
KR (2) | KR20150047639A (en) |
CN (2) | CN102833544A (en) |
BR (1) | BRPI0716540A2 (en) |
WO (1) | WO2008036112A1 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10194175B2 (en) * | 2007-02-23 | 2019-01-29 | Xylon Llc | Video coding with embedded motion |
WO2011098488A1 (en) * | 2010-02-11 | 2011-08-18 | Thomson Licensing | Method for coding and for reconstruction of a block of an image sequence |
WO2013077650A1 (en) * | 2011-11-23 | 2013-05-30 | 한국전자통신연구원 | Method and apparatus for decoding multi-view video |
WO2014109826A1 (en) | 2012-11-13 | 2014-07-17 | Intel Corporation | Video codec architecture for next generation video |
WO2015054813A1 (en) | 2013-10-14 | 2015-04-23 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
WO2015054811A1 (en) | 2013-10-14 | 2015-04-23 | Microsoft Corporation | Features of intra block copy prediction mode for video and image coding and decoding |
JP6336058B2 (en) | 2013-10-14 | 2018-06-06 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Features of base color index map mode for video and image encoding and decoding |
BR112016015080A2 (en) | 2014-01-03 | 2017-08-08 | Microsoft Technology Licensing Llc | BLOCK VECTOR PREDICTION IN VIDEO AND IMAGE ENCODING / DECODING |
US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
EP3158734A1 (en) | 2014-06-19 | 2017-04-26 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
EP3917146A1 (en) | 2014-09-30 | 2021-12-01 | Microsoft Technology Licensing, LLC | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5699121A (en) * | 1995-09-21 | 1997-12-16 | Regents Of The University Of California | Method and apparatus for compression of low bit rate video signals |
JP2002315004A (en) * | 2001-04-09 | 2002-10-25 | Ntt Docomo Inc | Image-encoding method and device, image-decoding method and device, and image processing system |
EP1629436B8 (en) * | 2003-03-28 | 2006-10-04 | Digital Accelerator Corporation | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression |
US7653133B2 (en) * | 2003-06-10 | 2010-01-26 | Rensselaer Polytechnic Institute (Rpi) | Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders |
EP1642463A1 (en) * | 2003-06-30 | 2006-04-05 | Koninklijke Philips Electronics N.V. | Video coding in an overcomplete wavelet domain |
WO2005013201A1 (en) * | 2003-08-05 | 2005-02-10 | Koninklijke Philips Electronics N.V. | Video encoding and decoding methods and corresponding devices |
KR20060071394A (en) * | 2003-08-12 | 2006-06-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Video encoding and decoding method and corresponding devices |
JP4191729B2 (en) * | 2005-01-04 | 2008-12-03 | 三星電子株式会社 | Deblock filtering method considering intra BL mode and multi-layer video encoder / decoder using the method |
KR100703744B1 (en) * | 2005-01-19 | 2007-04-05 | 삼성전자주식회사 | Method and apparatus for fine-granularity scalability video encoding and decoding which enable deblock controlling |
-
2007
- 2007-02-15 CN CN2012102958552A patent/CN102833544A/en active Pending
- 2007-02-15 KR KR1020157009755A patent/KR20150047639A/en not_active Application Discontinuation
- 2007-02-15 JP JP2009529167A patent/JP5529537B2/en not_active Expired - Fee Related
- 2007-02-15 WO PCT/US2007/004110 patent/WO2008036112A1/en active Application Filing
- 2007-02-15 CN CNA2007800349523A patent/CN101518085A/en active Pending
- 2007-02-15 BR BRPI0716540-4A patent/BRPI0716540A2/en not_active IP Right Cessation
- 2007-02-15 EP EP07750912A patent/EP2070334A1/en not_active Withdrawn
- 2007-02-15 KR KR1020097005789A patent/KR20090073112A/en not_active Application Discontinuation
-
2012
- 2012-07-31 JP JP2012169948A patent/JP5639619B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20150047639A (en) | 2015-05-04 |
JP2010504689A (en) | 2010-02-12 |
CN101518085A (en) | 2009-08-26 |
WO2008036112A1 (en) | 2008-03-27 |
JP2012235520A (en) | 2012-11-29 |
EP2070334A1 (en) | 2009-06-17 |
KR20090073112A (en) | 2009-07-02 |
CN102833544A (en) | 2012-12-19 |
JP5529537B2 (en) | 2014-06-25 |
JP5639619B2 (en) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BRPI0716540A2 (en) | Method and apparatus for multi-step video encoding and decoding | |
TWI735172B (en) | Mutual excluding settings for multiple tools | |
TWI711300B (en) | Signaling for illumination compensation | |
Chen et al. | Analysis and design of macroblock pipelining for H. 264/AVC VLSI architecture | |
TW202002628A (en) | Methods and apparatuses of video processing with overlapped block motion compensation in video coding systems | |
BR122020002127B1 (en) | METHOD AND DEVICE FOR DERIVING PREDICTION MODE VALUES OF REFERENCE AND CODING AND DECODING OF INFORMATION REPRESENTING PREDICTION MODES, AND STORAGE MEDIA | |
KR101878515B1 (en) | Video encoding using motion compensated example-based super-resolution | |
KR20090095317A (en) | Method and apparatus for encoding and decoding image | |
WO2011064673A1 (en) | Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames | |
JP2001028756A (en) | Method and device for executing selection between intra- frame coding mode and inter-frame coding mode in context base | |
JP2007501555A (en) | Video encoding and decoding method and corresponding apparatus | |
KR100694050B1 (en) | Motion prediction method and apparatus thereof | |
KR20120123132A (en) | Methods and apparatus for reducing vector quantization error through patch shifting | |
US20100040146A1 (en) | Method and apparatus for multiple pass video coding and decoding | |
JP2023063506A (en) | Method for deriving constructed affine merge candidate | |
Ahmmed et al. | Enhanced homogeneous motion discovery oriented prediction for key intermediate frames | |
US20100111181A1 (en) | Video processing apparatus and methods | |
BR112020019740A2 (en) | apparatus and image processing method | |
WO2024077562A1 (en) | Coding method and apparatus, decoding method and apparatus, coder, decoder, code stream, and storage medium | |
TW202406349A (en) | Method and apparatus for video coding | |
TW202416713A (en) | Affine candidate refinement | |
TW202402054A (en) | Threshold of similarity for candidate list | |
Wang et al. | Improving intra coding in H. 264\AVC by image epitome | |
TW202402059A (en) | Method and apparatus for video coding | |
Wei et al. | A parallel computing algorithm for H. 264/AVC decoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 10A ANUIDADE. |
|
B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] | ||
B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/583 (2014.01), H04N 19/30 (2014.01), H04N |