BRPI0620645A2 - método para codificação e método para decodificação, aparelhos para tal, programas para tal, e meio de armazenagem para armazenar os programas - Google Patents
método para codificação e método para decodificação, aparelhos para tal, programas para tal, e meio de armazenagem para armazenar os programas Download PDFInfo
- Publication number
- BRPI0620645A2 BRPI0620645A2 BRPI0620645-0A BRPI0620645A BRPI0620645A2 BR PI0620645 A2 BRPI0620645 A2 BR PI0620645A2 BR PI0620645 A BRPI0620645 A BR PI0620645A BR PI0620645 A2 BRPI0620645 A2 BR PI0620645A2
- Authority
- BR
- Brazil
- Prior art keywords
- parallax
- reference image
- data
- video
- decoding
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
MéTODO PARA CODIFICAçãO E MéTODO PARA DECODIFICAçãO, APARELHOS PARA TAL, PROGRAMAS PARA TAL, E MEIO DE ARMAZENAGEM PARA ARMAZENAR OS PROGRAMAS. A presente invenção refere-se a um método para codificação de vídeo para codificar imagens de vídeo como uma imagem de vídeo única através do uso de compensação da paralaxe que executa prognóstico pelo uso da paralaxe entre as imagens de vídeo, e um método de decodificação correspondente. O número de parâmetros como dados da paralaxe usados para a compensação da paralaxe é selecionado e ajustado para cada imagem de referência. Os dados do número ajustado de parâmetros são codificados, e os dados da paralaxe de acordo com o número de parâmetros são codificados. Durante a decodificação, os dados do número de parâmetro da paralaxe, que são incluídos nos dados codificados e designam o número de parâmetros como dados da paralaxe para cada imagem de referência, são decodificados, e os dados da paralaxe de acordo com o número de parâme- tros são decodificados, onde os dados da paralaxe são incluídos nos dados codificados.
Description
Relatório Descritivo da Patente de Invenção para "MÉTODO PARA CODIFICAÇÃO E MÉTODO PARA DECODIFICAÇÃO, APARE- LHOS PARA TAL, PROGRAMAS PARA TAL, E MEIO DE ARMAZENA- GEM PARA ARMAZENAR OS PROGRAMAS".
CAMPO TÉCNICO
A presente invenção refere-se a técnicas de codificação e deco- dificação de imagens de vídeo de múltiplos pontos de vista.
A prioridade é reivindicada no Pedido de Patente Japonesa 2006-000394, depositado em 5 de janeiro de 2006, cujo conteúdo está aqui incorporado a título de referência. ANTECEDENTES DA TÉCNICA
Imagens de vídeo de múltiplos pontos de vista são imagens de vídeo obtidas por fotografação do mesmo tema e seus antecedentes usando uma pluralidade de câmeras em posições diferentes. Abaixo, uma imagem de vídeo obtida por uma câmera única é chamada uma "uma imagem de vídeo bidimensional", e um conjunto de imagens de vídeo bidimensionais obtido por fotografação do mesmo tema e seus antecedentes é chamado de uma "imagem de vídeo de múltiplos pontos de vista". Existe uma forte corre- lação entre imagens de vídeo bidimensionais (das diferentes câmeras) inclu- idas na imagem de vídeo de múltiplos pontos de vista. Se as câmeras são sincronizadas umas com as outras, as estruturas (das câmeras) que corres- pondem ao mesmo tempo capturaram o tema e seus antecedentes na totali- dade do mesmo estado, de modo que existe uma forte correlação entre as câmeras.
Primeiro, serão mostradas as técnicas convencionais que se referem à codificação de imagens de vídeo bidimensionais. Em muitos mé- todos conhecidos de codificação de imagens de vídeo bidimensionais, tais como H. 264, MPEG-4, MPEG-2 (que são padrões de codificação interna- cionais), e o similar, é executada uma codificação altamente eficiente por meio de compensação de movimento, transformação ortogonal, quantização, codificação de entropia, ou o similar. Por exemplo, em H. 264, cada estrutura I pode ser codificada por meio de correlação intra-estrutura; cada estrutura P pode ser codificada por meio de correlação interestruíura junto com uma plu- ralidade de estruturas passadas; e cada estrutura B pode ser codificada por meio de correlação de interestrutura junto com uma pluralidade de estruturas passadas ou futuras.
Ainda que o Documento Não-Patente 1 descreva as técnicas H. 264 em detalhes, seu esboço será descrito abaixo. Em cada estrutura I, a estrutura é dividida em blocos (chamados "macroblocos", o tamanho de ca- da bloco é 16x16 (pixels)), e um prognóstico de intra-estrutura (intraprognós- tico) é executado em cada macrobloco. No intraprognóstico, cada macroblo- co é adicionalmente dividido em blocos menores ("chamados sub-blocos", abaixo), e um método de intracodificação individual pode ser aplicado a cada sub-bloco.
Em cada estrutura Ρ, o intraprognóstico ou interprognóstico (prognóstico de interestrutura) pode ser executado em cada macrobloco. O intraprognóstico aplicado a uma estrutura P é similar àquela aplicada a uma estrutura I. No interprognóstico, é executada a compensação de movimento. Também na compensação de movimento, cada macrobloco é dividido em blocos menores, e cada sub-bloco pode ter um vetor de movimento individu- al e uma imagem de referência individual.
Também em cada estrutura B, pode ser executado um intra- prognóstico ou interprognóstico. No interprognóstico da estrutura B, além de uma estrutura passada, uma estrutura futura pode ser referida como uma imagem de referência em compensação de movimento. Por exemplo, quan- do codificando uma seqüência de estrutura de "I—»B—>B-»P", as estruturas podem ser codificadas na ordem de "I—>P—»B—^P". Também em cada estru- tura B, a compensação de movimento pode ser executada por referência através de uma estrutura I ou P. Adicionalmente, similar a cada estrutura P, cada sub-bloco (obtido por divisão de um macrobloco) pode ter um vetor de movimento individual.
Quando executando um intra ou interprognóstico, é obtido um prognóstico residual. Em cada macrobloco, um bloco de prognóstico residual é submetido à DCT(transformação discreta de coseno), de modo a executar a quantização. Os valores quantizados obtidos de coeficientes de DCT são então submetidos à codificação de comprimento variável. Em cada estrutura P ou estrutura B, a imagem de referência pode ser selecionada para cada sub-bloco, e é indicada por um valor numérico chamado um "índice de ima- gem de referência", e é submetida à codificação de comprimento variável. Em H. 264, quanto menor o índice de imagem de referência, mais curto o código usado na codificação de comprimento variável. Por conseguinte, em H. 264, o índice de imagem de referência é explicitamente variado para cada estrutura. Dessa maneira, quanto maior a freqüência de uso de uma imagem de referência, menor o índice de imagem de referência, designado para a imagem de referência, desse modo codificando eficientemente o índice de imagem de referência.
Em um método conhecido para codificação de imagens de vídeo de múltiplos pontos de vista, as imagens de vídeo de múltiplos pontos de vista são de maneira altamente eficientes codificadas por meio descompen- sação da paralaxe" em que a compensação de movimento é aplicada a ima- gens obtidas por diferentes câmeras ao mesmo tempo. Aqui a "paralaxe" é a diferença entre as posições, às quais o mesmo ponto sobre um tema é pro- jetado, sobre um plano de imagem de câmeras que são dispostas em dife- rentes posições.
A figura 13 é uma vista esquemática mostrando o conceito da paralaxe gerado entre tais câmeras. Na vista esquemática, um plano de i- magem de câmeras, cujos eixos óticos são paralelos uns aos outros, é olha- do verticalmente para baixo. Geralmente, tais pontos, aos quais o mesmo ponto em um tema é projetado, sobre um plano de imagem de diferentes câmeras, são chamados "pontos correspondentes". Na compensação da paralaxe, o ponto correspondente sobre uma imagem de uma câmera de referência, que corresponde a um pixel alvo em uma imagem de uma câme- ra alvo para a codificação relevante, é estimado usando uma imagem de referência, e o valor do pixel é prognosticado pelo uso de um valor de pixel designado ao ponto correspondente. Abaixo, tal "paralaxe estimada" é tam- bém chamada "paralaxe" por conveniência de explanação, e em tal método, os dados da paralaxé e cada resíduo de prognóstico são codificados.
Em muitos métodos, a paralaxe é representada por um vetor (isto é, vetor da paralaxe (ou disparidade)) em um plano de imagem. Por exemplo, no método descrito pelo Documento Não-Patente 2, uma compen- sação da paralaxe é executada para cada bloco como uma unidade, onde tal paralaxe para bloco de unidade é representada usando um vetor bidimensi- onal, isto é, pelo uso de dois parâmetros (isto é, componente χ e componen- te y). A figura 14 é uma vista esquemática mostrando um vetor da paralaxe.
Ou seja, nesse método, os dados da paralaxe formados por dois parâmetros e o residual de prognóstico relevante são codificados. Como esse método não usa parâmetros de câmera na codificação, é eficaz quando os parâme- tros da câmera são desconhecidos.
Por outro lado, o Documento Não-Patente 3 descreve um méto- do de codificação de imagens de múltiplos pontos de vista (isto é, imagens estáticas). No método, são usados parâmetros de câmera para codificação, e cada vetor da paralaxe é representado por dados unidimensionais basea- dos na geometria Epipolar coagida, codificando, dessa maneira, eficiente- mente as imagens de múltiplos pontos de vista.
A figura 15 é uma vista esquemática mostrando o conceito de geometria Epipolar coagida. De acordo com a geometria Epipolar coagida, em duas imagens obtidas por duas câmeras (isto é, "câmera 1 e "câmera 2"), o ponto m' (designado para o ponto M em um tema) em uma das ima- gens, que corresponde ao ponto m na outra imagem, é coagido em uma li- nha reta chamada uma "linha Epipolar". No método do Documento Não- Patente 3, a paralaxe com respeito a cada imagem de referência é represen- tada usando um parâmetro, isto é, a posição em uma linha Epipolar unidi- mensional. Ou seja, nesse método, os dados da paralaxe, que são represen- tados por um parâmetro único, e o prognóstico relevante residual são codificados.
Mesmo que existam duas ou mais imagens de referência (obti- das por câmeras diferentes), a paralaxe para cada imagem de referência pode ser representada usando um parâmetro único por meio de sujeição geométrica Epipolar. Por exemplo, quando a paralaxe na linha Epipolar para uma imagem de referência é conhecida, então a paralaxe para uma imagem de referência obtida por uma outra câmera pode ser reconstituída.
Além disso, quando existe uma pluralidade de imagens de refe- rência obtida por diferentes câmeras, a compensação da paralaxe pode ser executada usando uma técnica de imagem de ponto de vista arbitrária. O Documento de Não-Patente 4 descreve compensação da paralaxe usando uma técnica de imagem do ponto de vista arbitrária. Mais especificamente, cada valor de pixel de uma imagem obtida por uma câmera alvo para a codi- ficação relevante é prognosticado por meio de interpolação usando os valo- res de pixel de pontos correspondentes (pertencendo a câmeras diferentes) que correspondem ao pixel relevante. A figura 16 é uma vista esquemática mostrando tal interpolação. Na interpolação, o valor de pixel m em uma ima- gem alvo a ser codificada é prognosticado por execução de interpolação en- tre os pixels m' e m" de imagens de referência 1 e 2, onde os pixels m' e m" correspondem ao pixel m.
Documento Não-Patente 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Codificação de Vídeo Avançada", Esboço de Comitê Final, Documento JVT- E022, de setembro de 2002.
Documento Não-Patente 2: Hideaki Kimata e Masaki Kitahara, "Resultados preliminares em codificação de vídeo de múltiplas vistas (3DAV)", documento M10976 MPEG no Encontro de Remond, em julho de 2004.
Documento Não-Patente 3: Koichi Hata, Minoru Etoh, e Kunihiro Chihara, "Codificação de Imagens de Múltiplos Pontos de Vista" transações IEICE, Vol. J82-D-II, N° 11m pp.1921-1929 (1999).
Documento Não-Patente 4: Masayuki Tanimoto, Toshiaki Fujii, "Resposta à Chamada para Evidência em Codificação de Vídeo de Múltiplas Vistas, documento Mxxxxx MPEG Encontro em Hong Kong, em janeiro de 2005.
Em métodos convencionais de codificação de imagens de vídeo de múltiplos pontos de vista quando os parâmetros da câmera são conheci- dos, os dados da paralaxe de cada imagem de referência podem ser repre- sentados por um parâmetro único independente do número de imagens de referência, por meio de sujeição de geometria Epipolar, codificando desse modo eficientemente os dados da paralaxe.
No entanto, quando é obtida uma imagem de vídeo de múltiplos pontos de vista através de cârrieras reais é uma imagem alvo a ser codifica- da, e a compensação da paralaxe é executada por sujeição da paralaxe em uma linha Epipolar, então a eficiência do prognóstico pode ser degradada devido a um erro em parâmetros medidos da câmera. Além disso, como ca- da imagem de referência inclui uma distorção devido à codificação, a efici- ência do prognóstico pode também ser degradada quando está executando compensação da paralaxe por sujeição da paralaxe em uma linha Epipolar. Tal degradação na eficiência de prognóstico causa um aumento na quanti- dade de código do resíduo de prognóstico relevante, de modo que a eficiên- cia de codificação total é degradada.
DESCRIÇÃO DA INVENÇÃO
De modo a solucionar o problema acima na codificação de ima- gens de vídeo de múltiplos pontos de vista, um objetivo da presente inven- ção é controlar o grau de liberdade na compensação da paralaxe de acordo com a característica de cada imagem de referência, e aperfeiçoar a precisão de compensação da paralaxe mesmo quando existe uma distorção de codifi- cação em uma imagem de referência ou um erro em parâmetros da câmera medida, de modo a obter uma eficiência de codificação maior em compara- ção com as técnicas convencionais.
A maior característica distinta da presente invenção em compa- ração com as técnicas convencionais é que o número de parâmetros como dados da paralaxe é variável de modo a controlar o grau de liberdade na compensação da paralaxe de acordo com a característica de cada imagem de referência, e que os dados do número de parâmetro da paralaxe ou da- dos do índice, que indicam o número de parâmetros, são codificados para serem incluídos em dados codificados.
Além do número de parâmetros como dados da paralaxe, dados para indicar cada imagem de referência usada para compensação da para- Iaxe podem também ser incluídos em dados dé índice, e outros dados po- dem também ser incluídos aí.
Mais especificamente, em um primeiro modo dos métodos de codificação e decodificação de vídeo da presente invenção, é executado um processo de codificar ou de decodificar o número de parâmetros da parala- xe, onde o número de parâmetros da paralaxe designa o número de parâme- tros como dados da paralaxe usados para compensação da paralaxe, de acordo com os dados da imagem do vídeo.
Os dados do número de parâmetros da paralaxe podem desig- nar a dimensão de um vetor da paralaxe para cada imagem de referência. Quando existem duas imagens de referência (A e B), é possível a seguinte designação de valor:
(i) pNum = 0: ambas as imagens de referência AeB têm um vetor da pa- ralaxe unidimensional
(ii) pNum = 1: a imagem de referência A tem um vetor da paralaxe unidi- mensional, e a imagem de referência B tem um vetor da paralaxe bidi- mensional.
(iii) pNum = 2: a imagem de referência A tem um vetor da paralaxe bidi- mensional, e a imagem de referência B tem um vetor da paralaxe uni- dimensional
(iv) pNum = 3: ambas as imagens de referência AeB têm um vetor da pa- ralaxe bidimensional
Os dados de índice acima pNum podem ser definidos como os dados do número do parâmetro da paralaxe.
Primeiro, no lado de codificação do vídeo, o número de parâme- tros de modo a representar os dados da paralaxe é ajustado em uma etapa de ajuste do número de parâmetro da paralaxe. Então, os dados do número de parâmetros da paralaxe com respeito ao número de parâmetros ajustado na etapa de ajuste do número de parâmetro da paralaxe são codificados em uma etapa de codificar dados do número de parâmetro da paralaxe.
Por outro lado, no lado de codificação do vídeo, os dados do número de parâmetro da paralaxe é primeiro decodificado em uma etapa de decodificação de dados do número de parâmetro da paralaxe. Então, os da- dos da paralaxe do número de parâmetros, que é designado pelos dados do número de parâmetro da paralaxe decodificado, são decodificados em uma etapa de decodificação de dados da paralaxe.
Em um segundo modo dos métodos de codificação e decodifica- ção de vídeo da presente invenção, as imagens de referência que podem ser usadas para compensação da paralaxe são designadas para cada valor de índice de imagem de referência. Por exemplo, quando duas imagens de referência são usadas para gerar uma compensação da paralaxe de imagem prognosticada, e três imagens de referência (A, B e C), que podem ser usa- das, são armazenadas em uma memória de imagem de referência, então a designação do valor seguinte é possível:
(i) refldx = 0: imagens de referência AeB
(ii) refldx = 1: imagens de referência B e C
(iii) refldx = 2: imagens de referência A e C
Aqui, refldx é o índice de imagem de referência. Além do acima, pode ser definido um índice (valor) da imagem de referência correspondente a cada imagem decodificada de uma câmera alvo para codificação relevante.
No lado de codificação do vídeo, além do processo executado no primeiro modo acima, uma etapa de ajuste de imagem de referência de determinar uma imagem de referência usada em compensação da paralaxe, e uma etapa de codificação da imagem de referência de codificar o índice de imagem de referência são executadas. No lado de decodificação de vídeo, uma etapa de decodificar o índice de imagem de referência é executada.
Quando tal método é combinado com o método convencional acima descrito de variar o número de índice de imagem de referência H. 264, cada valor de índice pode ser ajustado de acordo com a característica da imagem de vídeo relevante de uma maneira tal que um pequeno valor é designado para uma imagem de referência pelo qual uma imagem prognos- ticada de alta qualidade pode ser gerada, aperfeiçoando desse modo a efici- ência da codificação.
Em um terceiro modo dos métodos de codificação e decodifica- ção de vídeo da presente invenção, dados de número do parâmetro da para- laxe, que podem ser usados, são designados para cada índice (valor) de imagem de referência. Por exemplo, quando duas imagens de referência são usadas para gerar uma imagem prognosticada da compensação da parala- xe, três imagens de referência (A, B e C), que podem ser usadas, são arma- zenadas em uma memória de imagem de referência, e os dados de número de parâmetro da paralaxe pNum têm dois valores (isto é, pNum=0 ou 1), en- tão a designação de valor seguinte é possível:
(i) refldx= 0: imagens de referência AeB, pNum=0
(ii) refldx= 1: imagens de referência A e B, pNum=1
(iii) refldx= 2: imagens de referência B e C, pNum=0
(iv) refldx= 3: imagens de referência B e C, pNum=1
(v) refldx= 4: imagens de referência A e C, pNum=0
(vi) refldx= 5: imagens de referência A e C, pNum=1
Nesse caso, no lado de codificação de vídeo, uma etapa de co- dificação de índice de imagem de referência de codificação do índice de i- magem de referência é executada, onde os dados de número de parâmetro da paralaxe são codificados nessa etapa. No lado de codificação de vídeo, uma etapa de codificação de índice de imagem de referência de codificação do índice de imagem é executada, onde os dados de número de parâmetro da paralaxe são codificados nessa etapa.
Quando tal método é combinado com o acima descrito método convencional de variar o número de índice de imagem de referência H. 264, o comprimento de um código de comprimento variável designado aos dados de número de parâmetro da paralaxe que podem ser variados de acordo com a característica da imagem de vídeo relevante, desse modo codificando eficientemente os dados de número de parâmetro da paralaxe.
Em compensação da paralaxe usada para codificar imagens de vídeo de múltiplos pontos de vista, (i) se a eficiência do prognóstico é degra- dada quando o prognóstico é executado de acordo com a sujeição geométri- ca Epipolar, devido a um erro de medição em parâmetros da câmera ou em uma distorção de codificação em cada imagem de referência, então o núme- ro de parâmetros para dados da paralaxe é aumentado de modo a executar um prognóstico tendo um alto grau de liberdade, e (ii) se a eficiência do prognóstico é suficiente mesmo quando o prognóstico é executado de acor- do com a sujeição de geometria Epipolar, então é executado um prognóstico que representa a paralaxe usando um parâmetro. Tal seleção pode ser de maneira adaptável controlada de acordo com a característica de cada estru- tura ou bloco (como uma unidade) na imagem decodificada relevante. Por conseguinte, uma maior eficiência de codificação pode ser obtida em compa- ração com as técnicas convencionais.
BREVE DESCRIÇÃO DOS DESENHOS
A figura 1 é um diagrama mostrando um aparelho de codificação de vídeo como uma primeira modalidade da presente invenção.
A figura 2 é um diagrama mostrando relações de referênciai en- tre as câmeras na primeira modalidade.
A figura 3 é um diagrama mostrando o arranjo de câmeras na primeira modalidade.
A figura 4 é um fluxograma de codificação na primeira modalida- de.
A figura 5 é um diagrama mostrando um aparelho de decodifica- ção de vídeo na primeira modalidade.
A figura 6 é um fluxograma de decodificação na primeira modali- dade.
A figura 7 é um diagrama mostrando relações de referência en- tre câmeras em uma segunda modalidade da presente invenção.
A figura 8 é um diagrama mostrando um aparelho de codificação de vídeo na segunda modalidade.
A figura 9 é um fluxograma de codificação na segunda modali- dade.
A figura 10 é um fluxograma detalhado da etapa S304 na figura 9. A figura 11 é um diagrama mostrando um aparelho de decodifi- cação de vídeo na segunda modalidade.
A figura 12 é um fluxograma de decodificação na segunda mo- dalidade.
A figura 13 é uma vista esquemática mostrando o conceito da paralaxe gerado entre as câmeras.
A figura 14 é uma vista esquemática mostrando um vetor da pa- ralaxe.
A figura 15 é uma vista esquemática mostrando o conceito de sujeição da geométrica Epipolar.
A figura 16 é uma vista esquemática mostrando interpolação do valor do pixel.
MELHOR MODO PARA REALIZAR A INVENÇÃO Primeira modalidade
Uma primeira modalidade será explanada. A figura 1 é um dia- grama mostrando a estrutura de um aparelho de codificação de vídeo na primeira modalidade.
O aparelho de codificação de vídeo 100 inclui uma parte de en- trada de imagem 101 em que cada imagem original de câmera C (isto é, i- magem alvo a ser codificada) é captada; uma parte de entrada de imagem de referência 102 em que as imagens decodificadas (como imagens de refe- rência) de câmeras AeB são captadas; uma memória de imagem de refe- rência 103 para armazenar cada imagem de referência; uma parte de ajuste de número de parâmetro da paralaxe 104 para ajustar o número de parâme- tros da paralaxe para representar dados da paralaxe que são usados para compensação da paralaxe; uma parte de codificação de dados de número do parâmetro da paralaxe 105 para dados de codificação do número de pa- râmetros da paralaxe; uma parte de codificação de dados da paralaxe 106 para codificar os dados da paralaxe; e uma parte de codificação do prognós- tico residual 107 para codificar um prognóstico residual gerado na compen- sação da paralaxe.
A figura 2 é um diagrama mostrando relações de referência en- tre câmeras na primeira modalidade. Como mostrado na figura 2, na modali- dade presente para codificação de imagens de vídeo de múltiplos pontos obtidos por três câmeras, as imagens de vídeo da câmera C são codificadas usando imagens decodificadas de câmeras AeB, como imagens de referência.
As setas na figura 2 representam relações de referência em compensação da paralaxe. De modo a codificar cada imagem de câmara C, as imagens decodificadas (de câmeras AeB) tendo o mesmo tempo de ex- posição são codificadas como imagens de referência. No processo relevan- te, uma imagem prognosticada é gerada por computação de uma média en- tre valores de pixel dos pontos correspondentes que pertencem às câmeras A e B.
A figura 3 é um diagrama mostrando o arranjo de câmeras na primeira modalidade. Na presente modalidade, os pontos de vista das três câmeras se alinham ao longo de uma linha reta em intervalos regulares, e os seus eixos óticos são perpendiculares à linha reta. Isto é, os eixos óticos das três câmeras são paralelos uns aos outros.
Além disso, o sistema coordenado x-y no plano de imagem rele- vante pode ser obtido por translação paralela (nenhuma rotação ou o similar é executado) com respeito à linha reta em que as câmeras são dispostas, e são formados pixelsrpor divisão de cada um dos eixos χ e y do plano de i- magem em intervalos regulares para cada câmera. Isto é, cada câmera tem a mesma resolução, e uma paralaxe entre as câmeras CeA corresponde a uma paralaxe de pixels P entre as câmeras CeB.
A figura 4 é um fluxograma de codificação na primeira modalidade.
O fluxograma mostra processos executados quando estão codi- ficando uma imagem obtida pela câmera C, e a codificação de imagem de vídeo é executada por repetição dos processos para cada imagem.
Na modalidade presente, o método de representar os dados da paralaxe é adaptavelmente comutado em compensação da paralaxe, entre (i) o método de representar a paralaxe entre imagens de referência de câme- ras A e B pelo uso de dados da paralaxe que indicam a posição na linha E- pipolar para a câmera A através do uso de um parâmetro único (isto é, o va- lor de índice "pNum" é 0), e (ii) a paralaxe para a imagem de referência que pertence a cada uma das câmeras A e B é representada por um vetor bidi- mensional, e os dados da paralaxe relevantes são representados pelo uso de quatro parâmetros (isto é, o valor do índice "pNum" é 1), onde pNum é um índice para indicar os dados com relação ao número de parâmetros da paralaxe.
Tal comutação para o número de parâmetros da paralaxe é exe- cutada para cada bloco (como uma unidade) tendo pixels NxN em ambos os eixos XeY, obtidos por divisão de cada imagem em blocos. Isto é, para ca- da bloco NxN, um (pNum=0) ou quatro parâmetros (pNum=1) são codifica- dos como dados da paralaxe.
Mediante as condições acima, a operação de codificação será explanada de acordo com o fluxograma da figura 4.
Primeiro, uma imagem de câmera C é captada na parte de en- trada de imagem 101 (vide etapa S101), onde imagens decodificadas, que pertencem às câmeras AeBe têm o mesmo tempo de exposição, foram armazenadas na memória de imagem de referência 103 via a parte de en- trada de imagem de referência 102.
No presente fluxograma, "blk" é um índice que indica cada um dos blocos NxN obtidos por divisão da imagem relevante, e "maxBlk" indica o número total de blocos definidos em cada imagem.
Depois do índice blk para cada bloco NxN ser inicializado para zero (vide etapa S102), as etapas seguintes (S103 a S116) são repetida- mente aplicadas a cada bloco NxN enquanto "1" é adicionado ao índice blk (vide a etapa S115), até o índice blk alcançar o número total maxBlk de blo- cos (vide etapa S116).
Primeiro, na parte de ajuste de número de parâmetro da parala- xe 104, dados de um bloco-alvo a ser codificado (na imagem C), que corres- pondem ao índice blk, são lidos, e imagens de referência correspondentes às câmeras AeB são lidas da memória de imagem de referência 103. Tam- bém na parte de ajuste de número de parâmetro da paralaxe 104, um pro- cesso de busca da paralaxe é executado para cada um dos casos pNum=0 e pNum=1 (vide etapas S104 a S106).
A busca da paralaxe é executada de uma maneira tal que um custo de taxa de distorção o "custo" é minimizado baseado em (i) a soma total "SAD" dos valores absolutos de prognósticos residuais no bloco NxN relevante, que são obtidos por compensação da paralaxe, e (ii) um valor es- timado Rdisp da quantidade de códigos designados para os dados da parala- xe. Aqui, o "custo" é calculado pela seguinte fórmula:
Custo = SAD + λRdisp (1)
onde λ é um multiplicador de Lagrange indefinido, e é um valor predetermi- nado. Além disso, de modo a computar Rdisp, os dados da paralaxe são submetidos à codificação de comprimento variável de modo a computar a quantidade relevante de códigos.
Para cada um dos casos pNum=0 e pNum=1, o pCusto de valor mínimo de "custo" e dados da paralaxe para adquirir pCusto são computa- dos, e dos dados da paralaxe que correspondem ao pCusto menor é deter- minado para ser usado para codificação (vide etapas S107 a S110).
No fluxograma da figura 4, "minPCusto" é uma variável para ar- mazenar o valor mínimo de pCusto, e é ajustado para "maxPCusto" (isto é, de modo a ser inicializado) que é um valor arbitrário maior do que o valor máximo possível de pCusto quando o bloco "blk" é processado.
Quando pNum=0, o processo a seguir é executado na etapa 105.
Isto é, a busca da paralaxe é executada em uma faixa predeter- minada. No arranjo da câmera da presente invenção, quando está seguindo a sujeição da geometria Epipolar, a paralaxe da câmera A com respeito ao pixel (x, y) da câmera C é (x+dx, y) onde dx>0, e a paralaxe correspondente da câmera B é (x+dx, y). Aqui, no sistema coordenado no plano da imagem tendo pixels Ixl nas direções horizontal e vertical, o pixel superior esquerdo é definido como (0,0), o pixel superior direito é definido como (1-1,0), o pixel inferior esquerdo é definido como (0,1-1). Na presente modalidade, a faixa para a busca é dx=0 para P. Por conseguinte, SAD[dx] é computado dentro da faixa de "dx=0 para P" pela seguinte fórmula:
SAD[dx] = ΣiΣj ABS(DECa [x+i+dx, y+j]/2 + DECB [x+i+dx, y+j]/2 - IMGc [x+i, y+j]) (2)
onde Σi é a soma total relevante quando i=0 para N-1, e Σj é a soma total relevante quando j=0 para N-1. "ABS()" indica para computar o valor absolu- to do elemento no parêntesis. "DECA[x,y]" e "DECB[x,y]" respectivamente indicam valores de brilho do pixel (x,y) em cada imagem decodificada de câmeras AeB. "IMGc [x,y]" indica o valor de brilho do pixel (x,y) na imagem original da câmera C. Aqui (x,y) indica as coordenadas do pixel superior es- querdo no bloco relevante NxN no plano da imagem.
Além disso, o valor estimado RdisP[dx] da quantidade de código designado para os dados da paralaxe (quando a paralaxe é dx) é computa- do, e o custo da taxa de distorção "Custotdx]" para o dx da paralaxe é compu- tado usando a formula acima (1). A paralaxe cujo custo minimizado [dx] é definido como "bestDispNumO", e ò custo correspondente é definido como "pCusto".
A seguir, depois do "minPCusto" ser ajustado para pCusto, e "bestPnum" para armazenar o pNum ótimo é ajustado para 0, a operação é deslocada para o processo executado quando pNum=1.
Quando pNum=1, o processo seguinte é executado na etapa 106.
Isto é, a sujeição da geometria Epipolar não é considerada quando pNum=1, e uma busca da paralaxe bidimensional é executada. Mais especificamente, as faixas respectivas para busca no eixo X para as câme- ras A e B são definidas como "dx,A, dx,B = -P a P" (isto é, a faixa "-P para P" para cada de dx,A e dx,B), e as respectivas faixas para busca no eixo Y para as câmeras AeB são definidas como "dy,A, dy,B = -P a P" (isto é, a faixa "-P para P" para cada de dyiA, dy,B). Para toda combinação para (dx,A, dx,B, dy,A, dy,B), o seguinte SAD[dx,A, dx,B, dv,A) dv,B] é computado:
SAD[dx,A, dy,A, dy,A, dy,B] = Σi Σj ABS(DECA[x+i+dx,A, y+j+dy,A]/2 + DECB[x+i+dx,B, y+j+dy,B]/2 - IMGc[x+i, y+j]) (3)
Além disso, o valor estimado Rdisp[dx,A, dx,B, dy,A, dy,B] da quanti- dade de código designada para os dados da paralaxe (quando a paralaxe é (dx,A, dx,B, dy,A, dy,B)) é computado, e o custo da taxa de distorção "custo[dXiA, dx,B, dy,A, dy,B]" para a paralaxe é computado usando a fórmula acima (1). A paralaxe cujo custo minimizado [dX,A, dx,B, dy,A, dy,B] é definido como "me- lhorDispNum1", e o custo correspondente é definido como "pCusto".
Se o pCusto < minPcusto (vide a etapa S107), o minPcusto é ajustado para pCusto, e bestPNum, para o que o pNum ótimo é armazena- do, é ajustado para 1 (vide a etapa S108).
A seguir, na parte de codificação de dados de número do parâ- metro de paralaxe 105, o bestPNum é submetido a codificação de compri- mento variável (vide etapa S111). Adicionalmente, na parte de codificação de dados da paralaxe 106, os dados da paralaxe são codificados. Quando o bestPNum=0, os dados dx são submetidos à codificação de comprimento variável. Quando bestPNum=1, os dados dx,A, dx,B, dy,A, dy,B são submetidos à codificação de comprimento variável. Finalmente, na parte de codificação do prognóstico residual 107, o prognóstico residual é codificado (vide etapas S112 a S114).
A figura 5 mostra um aparelho de decodificação de vídeo usado na primeira modalidade. O aparelho de decodificação de vídeo 200 inclui uma parte de decodificação de dados de número de parâmetro da paralaxe 201 para decodificar os dados do número de parâmetros da paralaxe (isto é, dados de número de parâmetro da paralaxe); uma parte de decodificação de dados da paralaxe 202 para decodificar os dados da paralaxe que corres- pondem aos dados de número de parâmetro da paralaxe; uma parte de de- codificação de prognóstico residual 203 para decodificar o prognóstico resi- dual; uma parte de compensação da paralaxe 204; e uma memória de ima- gem de referência 205.
A figura 6 é um fluxograma de decodificação da presente moda- lidade. Esse fluxograma mostra a operação para decodificar uma estrutura de câmera C, e será explanado em detalhes abaixo.
Depois o índice "blk" para cada bloco NxN é inicializado para ser "0" (vide etapa S201), as etapas seguintes S202 a S208 são repetidas para cada bloco NxN na relevante uma estrutura (o número de blocos em uma estrutura é "maxBlk"), a uma estrutura da câmera C é decodificada. Aqui, as estruturas que têm o mesmo tempo das câmeras A e B já foram decodifica- das, e as imagens decodificadas foram armazenadas na memória de ima- gem de referência 205.
Primeiro, a parte de decodificação de dados de número de pa- râmetro da paralaxe 201 decodifica os dados de número do parâmetro da paralaxe "bestPNum" (vide etapa S202). De acordo com o valor do bestP- Num (vide etapa S203), o seguinte processo é executado.
Quando o bestPNum=0, na parte de decodificação de dados da paralaxe 202, os dados da paralaxe dx são decodificados. Então, na parte de compensação da paralaxe 204, o bestPNum de dados do número do parâ- metro da paralaxe e os dados da paralaxe dx são captados, e os blocos NxN de câmeras AeB, que correspondem aos dados da paralaxe dx, são tam- bém captados da memória de imagem de referência 205. Quando a posição de cada pixel no bloco-alvo NxN (para codificação) é indicado pela forma (x,y), uma imagem prognosticada PRED[x+i, y+j] é gerada pela seguinte forma (vide etapa S204):
<formula>formula see original document page 18</formula>
Quando o bestPNum=1, na parte de decodificação de dados da paralaxe 202, os dados da paralaxe (dx,A, dXjB, dyiA, dy,B) são decodificados. Então, na parte de compensação da paralaxe 204, o bestPNum de dados do número do parâmetro da paralaxe e os dados da paralaxe (dXiA, dx,B, dy>A, dy,B) são captados, e os blocos NxN das câmeras AeB, que correspondem aos dados da paralaxe dx, são também captados da memória de imagem de referência 205. Quando a posição de cada pixel no bloco-alvo NxN (para codificar) é indicada pela forma (x,y), uma imagem prognosticada PRED[x+i, y+j] é gerada pela seguinte fórmula (vide etapa S205):
<formula>formula see original document page 18</formula>
onde <formula>formula see original document page 18</formula>
Depois, a parte de decodificação de prognóstico residual 203, em que o prognóstico residual codificado foi captado, um bloco de prognósti- co residual de NxN "RES[x+i, y+j]" é decodificado. O bloco de prognóstico residual é captado na parte de compensação da paralaxe 204, e a soma do bloco de prognóstico residual e a imagem prognosticada são computadas pela seguinte fórmula, de modo a obter uma imagem decodificada DECc[x+i, y+j] (vide etapa S206):
DECc[x+i, y+j] = RES[x+i, y+j] + PRED[x+i, y+j] (6)
O processo acima é repetidamente executado enquanto "i" é adicionado ao índice blk (vide etapa S207), até o índice blk alcançar o núme- ro maxBlk de blocos em uma estrutura, obtendo dessa maneira uma imagem decodificada da câmera C.
Segunda Modalidade
Uma segunda modalidade será explanada abaixo.
Na presente modalidade, como mostrado pelas relações de refe- rência entre as câmeras na figura 7, imagens de vídeo de múltiplos pontos de vista são codificados, em que uma imagem de vídeo da câmera C é codi- ficada pelo uso de imagens decodificadas das câmeras A, B, D e E como imagens de referência.
Na primeira modalidade acima descrita, cada imagem da câmera C é codificada somente pelo uso de compensação da paralaxe. No entanto, na presente modalidade, a codificação é executada pela execução, de ma- neira comutável, de uma compensação de movimento e compensação da paralaxe para cada bloco como uma unidade. As setas da figura 7 indicam relações de referência quando é executada compensação de movimento ou compensação da paralaxe.
Na compensação da paralaxe, as imagens prognosticadas são geradas por uma pluralidade de pares selecionados de câmeras A, B, D e E (aqui, três pares de "A e B", "A e D", e "B e Ε"). O método de gerar cada i- magem prognosticada é similar à primeira modalidade, isto é, a imagem prognosticada é gerada usando uma média dos valores de pixel de pontos correspondentes entre as duas câmeras relevantes.
Similares à primeira modalidade, na presente modalidade, os pontos de vista das cinco câmeras se alinham em uma linha reta em interva- los regulares, e os eixos óticos das câmeras são perpendiculares a essa li- nha reta. Isto é, as cinco câmeras têm as relações como mostradas na figura 3, e os seus eixos óticos são paralelos uns aos outros.
A figura 8 é um diagrama mostrando a estrutura de um aparelho de codificação de vídeo da segunda modalidade.
O aparelho de codificação de vídeo 300 inclui uma parte de en- trada de imagem 301 em que cada imagem original da câmera C é captada; uma parte de entrada de imagem de referência 302 em que as imagens de- codificadas das câmeras A, B1 D e F são captadas; uma memória de ima- gem de referência 303 para armazenar cada imagem de referência; uma parte de compensação da paralaxe 304 para executar compensação da pa- ralaxe, uma parte de compensação de movimento 305 para executar com- pensação de movimento, uma parte de ajuste de imagem de referência 306, uma parte de codificação do índice da imagem de referência 307, uma parte de codificação de dados de movimento 308, uma parte de codificação de dados da paralaxe 309, uma parte de codificação de prognóstico residual 310, e uma parte de decodificação local 311.
A figura 9 é um fluxograma de codificação executada na presen- te modalidade. A figura 10 é um fluxograma detalhado da etapa S304 na figura 9.
Os fluxogramas mostram uma operação executada quando uma imagem da câmera C é codificada, e a codificação do vídeo é executada por repetição da operação. Na presente modalidade, é executada a codificação por execução de comutação adaptável entre os seguintes processos:
(i) compensação de movimento usando uma imagem decodificada passa- da da câmera C: refIdx=O, 1
(ii) compensação da paralaxe usando imagens de referência das câmeras A e B (pNum= 0): refldx=2
(iii) compensação da paralaxe usando imagens de referência das câmeras A e B (pNum= 1): refldx=3
(iv) compensação da paralaxe usando imagens de referência das câmeras A e D (pNum= 0): refldx=4
(ν) compensação da paralaxe usando imagens de referência das câmeras
A e D (pNum= 1): refldx=5
(vi) compensação da paralaxe usando imagens de referência das câmeras
B e E (pNum= 0): refldx=6
(vii) compensação da paralaxe usando imagens de referência das câmeras
B e E (pNum= 1): refldx=7
em que "refldx" é um índice de imagem de referência.
Com respeito à "refldx=0, 1", "refldx=0" indica uma imagem de- codificada (da câmera C) que é a uma estrutura antes da presente estrutura, e "refldx=1" indica uma imagem decodificada (da câmera C) que é a estrutu- ra dois antes da presente estrutura.
Na presente modalidade, em codificação, o índice de imagem de referência, que corresponde ao método e a imagem de referência usados para cada bloco, é codificado, e na decodificação, os valores de pixel de ca- da bloco são decodificados usando o índice de imagem de referência.
A designação de valor acima (i) a (vii) do índice de imagem de referência é usada de modo a codificar a imagem "C" na e depois da terceira estrutura.
Para a primeira estrutura, como não existe imagem decodificada da câmera C, nenhum índice de imagem de referência pode ser designado para compensação de movimento, e um valor menor do que o valor desig- nado acima por 2 é designado para cada caso ((iii) a (vii)) de compensação da paralaxe (por exemplo, para "compensação da paralaxe usando imagens de referência de câmeras AeB (pNum= 0)", refldx é ajustado para 0 pela designação do valor do índice da imagem de referência).
Para a segunda estrutura, como somente "refldx= 0" é eficaz para a compensação de movimento, um valor menor do que o valor desig- nado acima por 1 é designado para cada caso ((iii) a (vii)) de compensação da paralaxe (por exemplo, para "a compensação da paralaxe usando ima- gens de referência de câmeras AeB (pNum= 0)", refldx é ajustado para 1 pela designação do valor do índice de imagem de referência). Mediante as condições acima descritas, a operação de codifica- ção será explanada com referência ao fluxograrria da figura 9, em que a pre- sente operação é aplicada à câmera C, na e depois da terceira estrutura.
Primeiro, uma imagem da câmera C é captada na parte de en- trada de imagem 301 (vide etapa S301), onde as imagens decodificadas, que pertencem às câmeras A, B, D e E têm o mesmo tempo de exposição, foram armazenadas na memória de imagem de referência 303 via a parte de entrada de imagem de referência 302. Além disso, as imagens decodificadas da câmera C, que são de uma estrutura e duas estruturas antes da presente estrutura e foram decodificadas pela parte de decodificação local 311, foram captadas na memória de imagem de referência 303.
No presente fluxograma, "blk" é um índice que indica cada um dos blocos NxN obtidos pela divisão da imagem relevante, e "maxBlk" indica o número total de blocos definido em cada imagem. Depois do índice blk para cada bloco NxN ser inicializado para zero (vide etapa S302), as seguin- tes etapas (S303 a S312) são repetidamente aplicadas a cada bloco NxN enquanto "1" é adicionado ao índice blk (vide etapa S311), até o índice blk alcançar o número total maxBlk de blocos (vide etapa S312).
Primeiro, o índice de imagem de referência "refldx" é inicializado para ter um valor de "0", e uma variável "minRefCusto" para armazenar o valor mínimo de um valor de custo "refCusto" ser inicializada para ter um valor arbitrário "maxRefCusto", que é maior do que o valor máximo possível de resCusto quando processando o bloco "blk" (vide etapa S303).
Em cada bloco NxN indicado pelo índice "blk", um processo de prognóstico correspondente ao índice de imagem de referência relevante "refldx" é executado (vide etapa S304). No processo de prognóstico, o valor de custo refCusto correspondente ao índice de referência relevante "refldx" é computado, e o índice de imagem de referência "refldx" correspondente ao refCusto mínimo é usado para codificar o bloco NxN presente (vide etapas S305 e S306).
Abaixo, o processo correspondente a cada índice de imagem de referência "refldx" na etapa S304 será explanado com referência ao fluxo- grama da figura 10. No seguinte, é executada a compensação de movimento ou a compensação da paralaxe. Em qualquer caso, os dados de movimento ou da paralaxe são obtidos por minimização do "custo" que é computado pela fórmula a seguir:
Custo = SAD + ARdisp (7) onde Rvec é um valor estimado da quantidade de códigos designados aos dados de movimento relevante ou dados da paralaxe, e SAD é a soma total dos valores absolutos de resíduos de prognóstico.
Quando refldx é 2 ou maior, ele corresponde à compensação da paralaxe (vide etapa S3041). Por conseguinte, as imagens decodificadas de duas câmeras correspondentes ao refldx são lidas como imagens de refe- rência pela parte de compensação da paralaxe 304, de modo a executar compensação da paralaxe.
Também quando refldx é 2 ou maior, ele tem dados do número de parâmetro correspondentes pNum, que é O ou 1. Dessa maneira, o pro- cesso de compensação da paralaxe designado para pNum=0 ou pNum=1 é executado similar à primeira modalidade.
Isto é, quando o número de parâmetros da paralaxe (isto é, pNum) é 1 (vide etapa S3042), a paralaxe na linha Epipolar relevante é bus- cada por cerca de duas imagens de referência correspondentes ao índice de imagem de referência "refldx", de modo a minimizar o custo da taxa de dis- torção, e o valor do custo mínimo é armazenado como "refCusto" (vide etapa S3043).
Quando os dados do número de parâmetro (pNum) não é 1 (vide etapa S3042), a paralaxe no plano de imagem relevante é buscada para cerca de duas imagens de referência correspondentes ao índice de imagem de referência "refldx", de modo a minimizar o custo da taxa de distorção, e o valor do custo mínimo é armazenado como "refCusto" (vide etapa S3044).
Em cada das etapas acima S3043 e S3044, o refCusto é final- mente determinado por adição de uma quantidade estimada de códigos para codificação do índice de imagem de referência "refldx" para o valor mínimo computado (refCusto) do custo. Quando refldx é 0 ou 1, ele corresponde à compensação do mo- vimento, e a operação procede para a etapa S3045. Nesse caso, uma ima- gem decodificada da câmera C correspondente ao refldx relevante é lida como a imagem de referência pela parte de compensação de movimento 305, de modo a executar compensação de movimento. Especificamente, a compensação de movimento é executada por minimização do "custo", que é computado pela fórmula (7). Nesse caso, refCusto é determinado por adição de uma quantidade estimada de códigos para a codificação do índice da i- magem de referência "refldx" para o valor mínimo computado de "custo" (vi- de etapa S3045).
Se o refCusto computado é menor do que "minRefCusto" para armazenar o valor mínimo presente (vide etapa S305), o minRefCusto é a- justado para refCusto, e o refldx correspondente é armazenado como "me- lhorRefIdx" (vide etapa S306). O processo acima é repetido enquanto "1" é adicionado a refldx, até refldx alcançar "melhorRefNum" que é o número total de valores de índice (vide etapas S307 e S308).
Depois a operação acima descrita e aplicada a cada imagem de referência, cujo índice da imagem de referência minimizado refCusto (isto é, melhorRefldx) é obtido pela parte de ajuste de imagem de referência 306, de modo que o índice de imagem de referência usado para codificar é determinado.
A seguir, melhorRefldx é codificado pela parte de codificação do índice da imagem de referência 307 (vide etapa S309), os dados de movi- mento ou da paralaxe relevantes são codificados pela parte de codificação de dados de movimento 308 ou pela parte de codificação de dados da para- laxe 309, e o prognóstico residual é codificado pela parte de codificação de prognóstico residual 310 (vide etapa S310).
Então, 1 é adicionado ao índice "blk" (vide etapa S311), e a ope- ração acima é repetida até "blk" alcançar o número total maxBlk de blocos (vide etapa S312), codificando dessa maneira uma estrutura da câmera C.
A figura 11 mostra um aparelho de decodificação de vídeo usado na segunda modalidade. O aparelho de decodificação de vídeo 400 inclui uma parte de decodificação do índice de imagem de referência 401 para de- codificar o índice de imagem de referência; uma parte de decodificação de dados da paralaxe 402 para decodificar os dados da paralaxe; uma parte de decodificação de dados de movimento 403 para decodificar os dados de movimento; uma parte de decodificação de prognóstico residual 404 para decodificar o prognóstico residual; uma memória de imagem de referência 405 para armazenar cada imagem de referência; uma parte de compensa- ção da paralaxe 406 para executar a compensação da paralaxe; e uma parte de compensação de movimento 407 para executar compensação de movi- mento.
A figura 12 é um fluxograma de decodificação da presente mo- dalidade. Esse fluxograma mostra a operação para decodificar uma estrutura da câmera C, e será explanado em detalhes abaixo.
Depois o índice blk para cada bloco NxN é inicializado para "0" (vide etapa S401), as seguintes etapas S402 a S410 são repetidas para ca- da bloco NxN enquanto "1" é adicionado ao índice "blk" (vide etapa S409), até o blk alcançar o número total maxBlk de blocos (vide etapa S410). Dessa maneira, uma estrutura de câmera C é decodificada. Aqui, (i) imagens deco- dificadas das estruturas que têm o mesmo tempo de câmeras A, Β, E e D, e (ii) imagens decodificadas de estruturas passadas, que são respectivamente uma estrutura e duas estruturas antes da presente estrutura, de câmera C, já foram armazenadas na memória de imagem de referência 405.
Primeiro, a parte de decodificação do índice de imagem de refe- rência 401 decodifica o índice de imagem de referência "melhorRefldx" (vide etapa S402). De acordo com o valor de melhorRefldx (vide etapas S403 e S404), o processo seguinte é executado.
Quando o melhorRefldx= 0 ou 1, ele é um índice de imagem de referência correspondente à compensação de movimento, e os dados de movimento são decodificados pela parte de decodificação de dados de mo- vimento 403. Então a imagem de referência correspondente ao melhorRefldx (0 ou 1) é lido pela parte de compensação de movimento 407, de modo a gerar uma imagem prognosticada (vide etapa S407). A parte de decodificação de prognóstico residual 404 decodifica o prognóstico residual, e a parte de compensação de movimento 407 adicio- na a imagem prognosticada ao prognóstico residual (vide etapa S408), ge- rando desse modo a imagem decodificada do bloco NxN relevante.
Quando o melhorRefldx é 2 ou maior, ele é um índice de ima- gem de referência que corresponde à compensação da paralaxe, e as ima- gens de referência pertencendo a duas câmeras, que correspondem ao índi- ce de imagem de referência melhorRefldx, são lidas, e a decodificação é executada por meio de compensação da paralaxe.
Nesse caso, como o valor dos dados de número do parâmetro da paralaxe pNum é designado para o índice de imagem de referência me- lhorRefldx, o processo correspondente a pNum é executado. O processo de compensação da paralaxe é similar à primeira modalidade (vide etapas S404 a S406). A parte de decodificação de prognóstico residual 404 decodifica o prognóstico residual, e a parte de compensação de movimento 407 adiciona a imagem prognosticada ao prognóstico residual (vide etapa S408), gerando desse modo a imagem decodificada do bloco NxN relevante.
Então "1" é adicionado ao índice "blk" (vide etapa S409), e a o- peração acima é repetida até blk alcançar o número total maxBlk de blocos (vide etapa S410), decodificando desse modo uma estrutura de câmera C.
A acima descrita correspondência entre o índice de imagem de referência e os "dados para indicar qual da compensação de movimento e compensação da paralaxe é usada, a imagem de referência, e os dados de número do parâmetro da paralaxe" são justo um exemplo, e tal correspon- dência é uma matéria de projeto que pode ser arbitrariamente determinada quando a presente invenção é implementada.
Os acima descritos processos de codificação e de decodificação de vídeo podem ser implementados pelo uso de um computador e um pro- grama de software. Tal programa pode ser fornecido através do seu arma- zenamento em um meio de armazenagem legível por computador, ou atra- vés de uma rede.
APLICABILIDADE INDUSTRIAL Na compensação da paralaxe usada para codificação de ima- gens de vídeo de múltiplos pontos de vista, (i) se a eficiência de prognóstico é degradada quando o prognóstico é executado de acordo com a sujeição geométrica Epipolar, devido a um erro de medição nos parâmetros da câme- ra ou uma distorção de codificação em cada imagem de referência, então o número de parâmetros para os dados da paralaxe é aumentado de modo a executar um prognóstico tendo um alto grau de liberdade, e (ii) se a eficiên- cia de prognóstico é suficiente mesmo quando o prognóstico é executado de acordo com a sujeição de geometria Epipolar, então é executado um prog- nóstico que representa a paralaxe usando um parâmetro. Tal seleção pode ser, de modo adaptativo, controlada de acordo com a característica de cada estrutura ou bloco (como uma unidade) na imagem decodificada relevante. Por conseguinte, uma maior eficiência de codificação pode ser obtida em comparação com as técnicas convencionais.
Claims (14)
1. Método para codificação de vídeo para codificar imagens de vídeo como uma imagem de vídeo única usando compensação da paralaxe que executa prognóstico pelo uso da paralaxe entre as imagens de vídeo, o método compreendendo: uma etapa de ajustar o número do parâmetro da paralaxe para selecionar e ajustar o número de parâmetros como os dados da paralaxe usados para a compensação da paralaxe para cada imagem de referência; uma etapa de codificação de dados de número do parâmetro da paralaxe para codificar os dados do número de parâmetros, que é ajustado na etapa de ajustar o número do parâmetro da paralaxe; e uma etapa de codificação de dados da paralaxe para codificar os dados da paralaxe correspondentes ao número de parâmetros.
2. Método para codificação de vídeo de acordo com a reivindica- ção 1, compreendendo adicionalmente: uma etapa de ajuste da imagem de referência para selecionar e determinar cada imagem de referência usada na compensação da paralaxe; e uma etapa de codificação do índice da imagem de referência para selecionar um de uma pluralidade de índices de imagem de refe- rência, para cada do qual a imagem de referência usada na compensação da paralaxe é designada previamente, em que o índice da imagem de refe- rência corresponde à imagem de referência determinada na etapa de ajuste da imagem de referência, e codificar o índice de imagem de referência selecionado.
3. Método para codificação de vídeo para codificar imagens de vídeo como uma imagem de vídeo única pelo uso de compensação da para- laxe que executa o prognóstico através do uso da paralaxe entre as imagens de vídeo, o método compreendendo: uma etapa de compensação da paralaxe para executar a com- pensação da paralaxe através da seleção do número de parâmetros como dados da paralaxe usados para a compensação da paralaxe; uma etapa de ajuste da imagem de referência para selecionar e determinar uma imagem de referência usada na compensação da paralaxe; uma etapa de codificação do índice da imagem de referência para: selecionar um de uma pluralidade de índices da imagem de refe- rência, para cada do qual a imagem de referência e o número de parâmetros como dados da paralaxe usados na compensação da paralaxe são designa- dos previamente, em que o índice da imagem de referência selecionado cor- responde ao número de parâmetros selecionados na etapa de compensação da paralaxe e a imagem de referência determinada na etapa de ajuste da imagem de referência, e codificar o índice da imagem de referência selecionado; e uma etapa de codificação de dados da paralaxe para decodificar os dados da paralaxe correspondentes ao número de parâmetros.
4. Método para decodificação de vídeo para decodificar imagens de vídeo como uma imagem de vídeo única pelo uso de compensação da paralaxe que executa o prognóstico através do uso da paralaxe entre as i- magens de vídeo, o método compreendendo: uma etapa de decodificação de dados do número de parâmetro da paralaxe para decodificar os dados do número de parâmetro da paralaxe que são incluídos em dados codificados e indicam o número de parâmetros como dados da paralaxe para cada imagem de referência; uma etapa de decodificação de dados da paralaxe para decodifi- car os dados da paralaxe que são incluídos nos dados codificados e corres- pondem ao número de parâmetros; e uma etapa de compensação da paralaxe para executar a com- pensação da paralaxe através do uso dos dados da paralaxe decodificada.
5. Método para decodificação de vídeo de acordo com a reivindi- cação 4, compreendendo adicionalmente: uma etapa de decodificação do índice da imagem de referência para decodificar um índice da imagem de referência incluído nos dados codi- ficados, em que o índice da imagem de referência é um de índices da ima- gem de referência, para cada dos quais a imagem de referência usada na compensação da paralaxe é designada previamente, em que na etapa de compensação da paralaxe, a compensação da paralaxe é executada pelo uso da imagem de referência indicada pelo índice da imagem de referência decodificado.
6. Método para decodificação de vídeo para decodificar imagens de vídeo como uma imagem de vídeo única pelo uso de compensação da paralaxe que executa prognóstico através do uso da paralaxe entre as ima- gens de vídeo, o método compreendendo: uma etapa de decodificação do índice da imagem de referência para decodificar o índice da imagem de referência incluído nos dados codifi- cados, em que o índice da imagem de referência é um de índices da imagem de referência, para cada dos quais a imagem de referência e o número de parâmetros como dados da paralaxe usados na compensação da paralaxe são designados previamente; uma etapa de decodificação de dados da paralaxe para decodifi- car os dados da paralaxe que são incluídos nos dados codificados e corres- pondem ao número de parâmetros indicados pelo índice da imagem de refe- rência; e uma etapa de compensação da paralaxe para executar a com- pensação da paralaxe através do uso dos dados da paralaxe decodificados e a imagem de referência indicada pelo índice da imagem de referência de- codificado.
7. Aparelho de decodificação de vídeo para decodificar imagens de vídeo como uma imagem de vídeo única através do uso de compensação da paralaxe que executa prognóstico pelo uso da paralaxe entre as imagens de vídeo, o aparelho compreendendo: um dispositivo de ajuste do número do parâmetro da paralaxe para selecionar e ajustar o número de parâmetros como dados da paralaxe usados para compensação da paralaxe para cada imagem de referência; um dispositivo de codificação de dados do número de parâmetro da paralaxe para codificar dados do número de parâmetros, que são ajusta- dos pelo dispositivo do número de parâmetro da paralaxe; e um dispositivo de codificar dados da paralaxe para codificar os dados da paralaxe correspondentes ao número de parâmetros.
8. Aparelho para codificar vídeo para codificar imagens de vídeo como uma imagem de vídeo única através do uso de compensação da para- laxe que executa prognóstico pelo uso da paralaxe entre as imagens de ví- deo, o aparelho compreendendo: um dispositivo de compensação da paralaxe para executar a compensação da paralaxe pela seleção do número de parâmetros como da- dos da paralaxe usados para a compensação da paralaxe; um dispositivo de ajuste da imagem de referência para selecio- nar e determinar uma imagem de referência usada na compensação da pa- ralaxe; um dispositivo de codificar índice da imagem de referência para: selecionar um de uma pluralidade de índices da imagem de refe- rência, para cada do qual a imagem de referência e o número de parâmetros como dados da paralaxe usados na compensação da paralaxe são designa- dos previamente, em que o índice da imagem de referência selecionada cor- responde ao número de parâmetros selecionados pelo dispositivo de com- pensação da paralaxe e dã imagem de referência determinado pelo disposi- tivo de ajuste da imagem de referência, e codificar o índice da imagem de referência selecionada; e um dispositivo para codificação de dados da paralaxe para codi- ficar os dados da paralaxe correspondentes ao número de parâmetros.
9. Aparelho para decodificação de vídeo para decodificar ima- gens de vídeo como uma imagem de vídeo única através do uso de com- pensação da paralaxe que executa prognóstico pelo uso da paralaxe entre as imagens de vídeo, o aparelho compreendendo: um dispositivo para decodificação de dados do número de pa- râmetro da paralaxe para decodificar os dados do número de parâmetro da paralaxe que são incluídos em dados codificados e indicam o número de parâmetros como dados da paralaxe para cada imagem de referência; um dispositivo para decodificação de dados da paralaxe para decodificar dados da paralaxe que são incluídos nos dados codificados e correspondem ao número de parâmetros; e um dispositivo de compensação da paralaxe para executar a compensação da paralaxe através do uso dos dados da paralaxe decodificados.
10. Aparelho para decodificação de vídeo para decodificar ima- gens de vídeo como uma imagem de vídeo única através do uso de com- pensação da paralaxe que executa prognóstico pelo uso da paralaxe entre as imagens de vídeo, o aparelho compreendendo: um dispositivo para decodificação do índice da imagem de refe- rência para decodificar um índice de imagem de referência incluído nos da- dos codificados, em que o índice da imagem de referência é um dos índices da imagem de referência, para cada dos quais a imagem de referência e o número de parâmetros como dados da paralaxe usados na compensação da paralaxe são designados previamente; um dispositivo para decodificação de dados da paralaxe para decodificar dados da paralaxe que são incluídos nos dados codificados e correspondem ao número de parâmetros indicados pelo índice da imagem de referência; e um dispositivo de compensação da paralaxe para executar a compensação da paralaxe pelo uso dos dados da paralaxe decodificados e a imagem de referência indicada pelo índice da imagem de referência decodificada.
11. Programa de codificação de vídeo para fazer um computador executar o método de codificação de vídeo como definido em qualquer uma das reivindicações 1, 2 e 3.
12. Programa de decodificação de vídeo para fazer um compu- tador executar o método de decodificação como definido em qualquer uma das reivindicações 4, 5 e 6.
13. Meio de armazenagem legível por computador que armaze- na um programa de codificação de vídeo para fazer um computador executar o método de codificação de vídeo como definido em qualquer uma das rei- vindicações 1, 2 e 3.
14. Meio de armazenagem legível por computador que armaze- na um programa de decodificação para fazer um computador executar o mé- todo de decodificação de vídeo como definido em qualquer uma das reivindi- cações 4, 5 e 6.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006000394 | 2006-01-05 | ||
| JP2006-000394 | 2006-01-05 | ||
| PCT/JP2006/326297 WO2007077942A1 (ja) | 2006-01-05 | 2006-12-29 | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| BRPI0620645A2 true BRPI0620645A2 (pt) | 2011-11-16 |
| BRPI0620645B1 BRPI0620645B1 (pt) | 2020-09-15 |
| BRPI0620645B8 BRPI0620645B8 (pt) | 2022-06-14 |
Family
ID=38228291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0620645A BRPI0620645B8 (pt) | 2006-01-05 | 2006-12-29 | Método e aparelho de codificação de vídeo, e método e aparelho de decodificação de vídeo |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US8548064B2 (pt) |
| EP (1) | EP1971154A4 (pt) |
| JP (1) | JP5234586B2 (pt) |
| KR (1) | KR100968920B1 (pt) |
| CN (1) | CN101346998B (pt) |
| BR (1) | BRPI0620645B8 (pt) |
| CA (2) | CA2845591C (pt) |
| RU (1) | RU2374786C1 (pt) |
| TW (1) | TW200737990A (pt) |
| WO (1) | WO2007077942A1 (pt) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8290289B2 (en) | 2006-09-20 | 2012-10-16 | Nippon Telegraph And Telephone Corporation | Image encoding and decoding for multi-viewpoint images |
| US8385628B2 (en) | 2006-09-20 | 2013-02-26 | Nippon Telegraph And Telephone Corporation | Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
| JP5400133B2 (ja) * | 2008-04-15 | 2014-01-29 | オランジュ | 線形形状の画素区画にスライスされた画像または画像シーケンスの符号化および復号 |
| EP2491723A4 (en) * | 2009-10-20 | 2014-08-06 | Ericsson Telefon Ab L M | METHOD AND ARRANGEMENT FOR MULTILOOK VIDEO COMPRESSION |
| JP4927928B2 (ja) * | 2009-11-30 | 2012-05-09 | パナソニック株式会社 | 多視点動画像復号装置及び多視点動画像復号方法 |
| JP4837772B2 (ja) * | 2009-12-15 | 2011-12-14 | パナソニック株式会社 | 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路 |
| JP2011199396A (ja) * | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
| US8284307B1 (en) * | 2010-11-01 | 2012-10-09 | Marseille Networks, Inc. | Method for processing digital video fields |
| US20120163457A1 (en) * | 2010-12-28 | 2012-06-28 | Viktor Wahadaniah | Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus |
| JPWO2012131895A1 (ja) * | 2011-03-29 | 2014-07-24 | 株式会社東芝 | 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム |
| JP2012257198A (ja) * | 2011-05-17 | 2012-12-27 | Canon Inc | 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置 |
| KR101953522B1 (ko) * | 2011-06-17 | 2019-02-28 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 및 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램 |
| KR101753551B1 (ko) * | 2011-06-20 | 2017-07-03 | 가부시키가이샤 제이브이씨 켄우드 | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체 |
| BR112013033333B1 (pt) * | 2011-06-30 | 2022-07-26 | Sony Corporation | Dispositivo e método de processamento de imagem |
| US9635355B2 (en) | 2011-07-28 | 2017-04-25 | Qualcomm Incorporated | Multiview video coding |
| US9674525B2 (en) | 2011-07-28 | 2017-06-06 | Qualcomm Incorporated | Multiview video coding |
| JP5706264B2 (ja) | 2011-08-01 | 2015-04-22 | 日本電信電話株式会社 | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム |
| US9451232B2 (en) | 2011-09-29 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Representation and coding of multi-view images using tapestry encoding |
| JP5485969B2 (ja) * | 2011-11-07 | 2014-05-07 | 株式会社Ｎｔｔドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム |
| TWI775701B (zh) | 2012-01-20 | 2022-08-21 | 美商Ｇｅ影像壓縮有限公司 | 允許平行處理之編碼器、解碼器、傳送解多工器、系統、儲存媒體、方法及電腦程式 |
| WO2013136365A1 (ja) * | 2012-03-14 | 2013-09-19 | 株式会社 東芝 | 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法 |
| JPWO2013136365A1 (ja) * | 2012-03-14 | 2015-07-30 | 株式会社東芝 | 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法 |
| EP3174295B1 (en) | 2012-04-13 | 2018-12-12 | GE Video Compression, LLC | Low delay picture coding |
| JP2013258577A (ja) * | 2012-06-13 | 2013-12-26 | Canon Inc | 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム |
| CN115442626A (zh) | 2012-06-29 | 2022-12-06 | Ge视频压缩有限责任公司 | 视频数据流、编码器、编码视频内容的方法以及解码器 |
| BR112015004216B1 (pt) * | 2012-09-26 | 2023-01-17 | Sun Patent Trust | Método de decodificação de imagem, método de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação de imagem |
| JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
| JP6150277B2 (ja) * | 2013-01-07 | 2017-06-21 | 国立研究開発法人情報通信研究機構 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
| JP5894338B2 (ja) * | 2013-04-12 | 2016-03-30 | 日本電信電話株式会社 | 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム |
| US10027947B2 (en) * | 2013-06-05 | 2018-07-17 | Sony Corporation | Image processing apparatus and image processing method |
| RU2679566C1 (ru) * | 2013-12-10 | 2019-02-11 | Кэнон Кабусики Кайся | Улучшенный палитровый режим в hevc |
| PL3425914T3 (pl) | 2013-12-10 | 2022-02-14 | Canon Kabushiki Kaisha | Sposób i aparatura do kodowania lub dekodowania palety w trybie kodowania palety |
| EP3171598A1 (en) * | 2015-11-19 | 2017-05-24 | Thomson Licensing | Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device |
| WO2018199792A1 (en) | 2017-04-26 | 2018-11-01 | Huawei Technologies Co., Ltd | Apparatuses and methods for encoding and decoding a panoramic video signal |
| EP3639517B1 (en) | 2017-06-14 | 2021-02-24 | Huawei Technologies Co., Ltd. | Intra-prediction for video coding using perspective information |
| CN110070564B (zh) * | 2019-05-08 | 2021-05-11 | 广州市百果园信息技术有限公司 | 一种特征点匹配方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1665545A1 (ru) | 1988-07-21 | 1991-07-23 | Винницкий политехнический институт | Телевизионное устройство селекции изображений объектов |
| RU2030119C1 (ru) | 1991-04-19 | 1995-02-27 | Смирнов Александр Иванович | Устройство формирования стереотелевизионного изображения подвижного объекта |
| US5625408A (en) * | 1993-06-24 | 1997-04-29 | Canon Kabushiki Kaisha | Three-dimensional image recording/reconstructing method and apparatus therefor |
| JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
| JP4013286B2 (ja) * | 1997-01-22 | 2007-11-28 | 松下電器産業株式会社 | 画像符号化装置と画像復号化装置 |
| JPH11239351A (ja) | 1998-02-23 | 1999-08-31 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体 |
| JP3519594B2 (ja) * | 1998-03-03 | 2004-04-19 | Ｋｄｄｉ株式会社 | ステレオ動画像用符号化装置 |
| US6519358B1 (en) * | 1998-10-07 | 2003-02-11 | Sony Corporation | Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media |
| US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| JP4608136B2 (ja) | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | 動きベクトル及び視差ベクトル検出装置 |
| JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| JP4213646B2 (ja) * | 2003-12-26 | 2009-01-21 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。 |
| JP2006000394A (ja) | 2004-06-17 | 2006-01-05 | Tokai Kiki Kogyo Co Ltd | 畳側面の縫着方法及び畳用縫着装置 |
| KR100679740B1 (ko) * | 2004-06-25 | 2007-02-07 | 학교법인연세대학교 | 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법 |
| JP4363295B2 (ja) * | 2004-10-01 | 2009-11-11 | オムロン株式会社 | ステレオ画像による平面推定方法 |
| KR100738867B1 (ko) | 2005-04-13 | 2007-07-12 | 연세대학교 산학협력단 | 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법 |
-
2006
- 2006-12-29 WO PCT/JP2006/326297 patent/WO2007077942A1/ja active Application Filing
- 2006-12-29 CA CA2845591A patent/CA2845591C/en active Active
- 2006-12-29 KR KR20087015483A patent/KR100968920B1/ko active IP Right Grant
- 2006-12-29 RU RU2008125846A patent/RU2374786C1/ru active
- 2006-12-29 JP JP2007552992A patent/JP5234586B2/ja active Active
- 2006-12-29 BR BRPI0620645A patent/BRPI0620645B8/pt active IP Right Grant
- 2006-12-29 US US12/087,040 patent/US8548064B2/en active Active
- 2006-12-29 CA CA 2633637 patent/CA2633637C/en active Active
- 2006-12-29 EP EP06843675A patent/EP1971154A4/en not_active Withdrawn
- 2006-12-29 CN CN2006800491986A patent/CN101346998B/zh active Active
-
2007
- 2007-01-02 TW TW096100017A patent/TW200737990A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007077942A1 (ja) | 2007-07-12 |
| JPWO2007077942A1 (ja) | 2009-06-11 |
| CA2633637C (en) | 2014-06-17 |
| CA2633637A1 (en) | 2007-07-12 |
| TW200737990A (en) | 2007-10-01 |
| KR100968920B1 (ko) | 2010-07-14 |
| KR20080076974A (ko) | 2008-08-20 |
| CA2845591C (en) | 2015-12-08 |
| EP1971154A4 (en) | 2010-10-27 |
| TWI335185B (pt) | 2010-12-21 |
| CN101346998B (zh) | 2012-01-11 |
| US8548064B2 (en) | 2013-10-01 |
| RU2374786C1 (ru) | 2009-11-27 |
| CA2845591A1 (en) | 2007-07-12 |
| EP1971154A1 (en) | 2008-09-17 |
| CN101346998A (zh) | 2009-01-14 |
| BRPI0620645B8 (pt) | 2022-06-14 |
| JP5234586B2 (ja) | 2013-07-10 |
| BRPI0620645B1 (pt) | 2020-09-15 |
| US20090028248A1 (en) | 2009-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0620645A2 (pt) | método para codificação e método para decodificação, aparelhos para tal, programas para tal, e meio de armazenagem para armazenar os programas | |
| KR100977255B1 (ko) | 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 | |
| CA2663084C (en) | Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs | |
| CA2663672C (en) | Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs | |
| WO2018219357A1 (en) | Intra prediction using unequal weight planar prediction | |
| US20070189396A1 (en) | Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs | |
| KR20160118363A (ko) | 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램 | |
| Oh | An adaptive quantization algorithm without side information for depth map coding | |
| US20170019683A1 (en) | Video encoding apparatus and method and video decoding apparatus and method | |
| WO2013035452A1 (ja) | 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06G | Technical and formal requirements: other requirements [chapter 6.7 patent gazette] |
Free format text: ESCLARECA O DEPOSITANTE A DIVERGENCIA EXISTENTE ENTRE O QUADRO DE DEPOSITANTES E QUADRO DE INVENTORES CONSTANTE DA PETICAO INICIAL E DA PUBLICACAO WO 2007/077942 DE 12/07/2007. |
|
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/147 (2014.01), H04N 13/00 (2018.01), H04N |
|
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06T | Formal requirements before examination [chapter 6.20 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04N 19/147 , H04N 13/00 , H04N 19/19 , H04N 19/503 , H04N 19/597 Ipc: H04N 19/147 (2014.01), H04N 19/19 (2014.01), H04N |
|
| B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 15/09/2020, OBSERVADAS AS CONDICOES LEGAIS. |
|
| B16C | Correction of notification of the grant [chapter 16.3 patent gazette] |
Free format text: REF. RPI 2593 DE 15/09/2020 QUANTO AO INVENTOR. |