BRPI1015330B1 - Dispositivo e método de processamento de imagem, e, meio de armazenamento legível por computador - Google Patents

Dispositivo e método de processamento de imagem, e, meio de armazenamento legível por computador Download PDF

Info

Publication number
BRPI1015330B1
BRPI1015330B1 BRPI1015330-6A BRPI1015330A BRPI1015330B1 BR PI1015330 B1 BRPI1015330 B1 BR PI1015330B1 BR PI1015330 A BRPI1015330 A BR PI1015330A BR PI1015330 B1 BRPI1015330 B1 BR PI1015330B1
Authority
BR
Brazil
Prior art keywords
prediction
intra
pixel
unit
adjacent
Prior art date
Application number
BRPI1015330-6A
Other languages
English (en)
Inventor
Kazushi Sato
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BRPI1015330A2 publication Critical patent/BRPI1015330A2/pt
Publication of BRPI1015330B1 publication Critical patent/BRPI1015330B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy

Abstract

dispositivo e método de processamento de imagem o assunto descrito relaciona-se a um aparelho e método de processamento de imagem, a eficiência de codificação de intra-predição de qual habilitam é melhorada. quando o modo de intra-predição mais adequado é modo 0, os pixéis vizinhos usados na predição de um bloco visado são os pixéis a0, a1, a2 e a3. usando estes pixéis e um filtro de fir de 6 derivações, pixéis a-0, a+-.5,...., de precisão de 1/2 pixel são gerados, adicionalmente, interpolação linear é usada para gerar pixéis a-0.75, a-0.25, a+0.25, e a+0.75 de precisão de 1/4 pixel. adicionalmente, a diferença de fase entre os pixéis inteiros e os pixéis de precisão de pixel decimal gerados, isto é, os valores - 0.75 a +0.75 são usados como candidatos para quantidades de deslocamento de direção horizontal, e a quantidade de deslocamento mais adequada é determinada. o assunto descrito pode ser aplicado a um aparelho de codificação de imagem que codifica usando o esquema de h.264/avc, por exemplo.

Description

Campo Técnico
[001] A presente invenção relaciona-se a um dispositivo e método de processamento de imagem, e especificamente relaciona-se a um dispositivo e método de processamento de imagem que habilitam aumento em informação comprimida ser suprimido e também habilitam precisão de predição ser melhorada.
Fundamentos da Técnica
[002] Nos últimos anos, dispositivos entraram em uso difundido que submetem uma imagem à codificação de compressão empregando um sistema de codificação operando informação de imagem como sinais digitais, e neste momento comprimem a imagem através de transformada ortogonal tal como transformada de co-seno discreta ou similar e compensação de movimento, tirando proveito de redundância que é uma característica da informação de imagem, a fim de executar transmissão e acumulação de informação altamente eficientes. Exemplos deste método de codificação incluem MPEG (Grupo de Peritos de Imagem em Movimento) e assim sucessivamente.
[003] Em particular, MPEG2 (ISO/IEC 13818-2) está definido como um sistema de codificação de imagem de propósito geral, e é um padrão cercando ambas imagens de varredura entrelaçada e imagens de varredura sequencial, e imagens de resolução padrão e imagens de alta definição. Por exemplo, MPEG2 foi empregado amplamente agora por ampla gama de aplicações para uso profissional e para uso de consumidor. Empregando o sistema de compressão de MPEG2, uma quantidade de código (taxa de bit) de 4 por 8 Mbps é alocada no evento de uma imagem de varredura entrelaçada de resolução padrão tendo 720 x 480 pixéis, por exemplo. Empregando o sistema de compressão de MPEG2, uma quantidade de código (taxa de bit) de 18 por 22 Mbps é alocada no evento de uma imagem de varredura entrelaçada de alta resolução tendo 1920 x 1088 pixéis, por exemplo. Assim, uma alta taxa de compressão e qualidade de imagem excelente podem ser realizadas.
[004] MPEG2 foi visado principalmente para codificação de imagem de alta qualidade adaptada para uso radiodifundindo, mas não opera quantidade de código mais baixa (taxa de bit) do que a quantidade de código de MPEG1, isto é, um sistema de codificação tendo uma taxa de compressão mais alta. É esperado que demanda para um tal sistema de codificação aumentará de agora em diante devido à expansão de assistentes digitais pessoais, e em resposta a isto, padronização do sistema de codificação de MPEG4 foi executada. Com relação a um sistema de codificação de imagem, a especificação disso era confirmada como padrão internacional como ISO/IEC 14496-2 em dezembro em 1998.
[005] Adicionalmente, nos últimos anos, padronização de um padrão chamado H.26L (ITU-T Q6/16 VCEG) progrediu com codificação de imagem para uso de conferência de televisão como o objetivo. Com H.26L, foi conhecido que entretanto maior quantidade de computação seja pedida para codificação e decodificação disso quando comparado a um sistema de codificação convencional tal como MPEG2 ou MPEG4, eficiência de codificação mais alta é realizada. Também, atualmente, como parte de atividade de MPEG4, padronização para tirar vantagem de uma função que não é suportada por H.26L com este H.26L tomado como base para realizar eficiência de codificação mais alta foi executada como Modelo Associado de Codificação de Vídeo de Compressão Aumentada. Como um programa de padronização, H.264 e MPEG-4 Parte 10 (Codificação de Vídeo Avançada, daqui por diante chamada H.264/AVC) se torna um padrão internacional em março de 2003.
[006] Adicionalmente, como uma extensão disso, padronização de FRExt (Extensão de Alcance de Fidelidade) incluindo uma ferramenta de codificação necessária para uso empresarial tal como RGB, 4:2:2, ou 4:4:4, 8x8DCT e matriz de quantização estipulados por MPEG-2 foram completados em fevereiro de 2005. Assim, H.264/AVC se tornou um sistema de codificação capaz de expressar adequadamente até mesmo ruído de filme incluído em filmes, e foi empregado para as aplicações de gama extensa tais como Disco Blue-Ray (marca registrada) e assim sucessivamente.
[007] Porém, hoje em dia, necessidades por codificação de alta compressão adicional foram aumentadas, tal como pretendida para comprimir uma imagem tendo ao redor de 4000 x 2000 pixéis, que é o quádruplo de uma imagem de alta visão. Alternativamente, necessidades por codificação de alta compressão adicional foram aumentadas, tal como pretendida para distribuir uma imagem de alta visão dentro de um ambiente com capacidade de transmissão limitada como a Internet. Portanto, com o supracitado VCEG (=Grupo de Peritos de Codificação de Vídeo) sob o controle de ITU-T, estudos relativos à melhoria de eficiência de codificação foram executados continuamente.
[008] Por exemplo, com o sistema de MPEG2, predição de movimento e processamento de compensação com precisão de 1/2 pixel foram executados através de processamento de interpolação linear. Por outro lado, com o sistema de H.264/AVC, processamento de predição e compensação com precisão de 1/4 pixel usando um filtro de FIR de 6 derivações (Filtro de Resposta de Impulso Finita) foi executado.
[009] Sobre este processamento de predição e compensação com precisão de 1/4 pixel, nos últimos anos, estudos para melhorar adicionalmente eficiência do sistema de H.264/AVC foram executados. Como um de sistemas de codificação para isto, com NPL 1, predição de movimento com precisão de 1/8 pixel foi proposta.
[0010] Especificamente, com NPL 1, processamento de interpolação com precisão de 1/2 pixel é executada por um filtro [-3, 12, -39, 158, 158, -39, 12, -3]/256. Também, processamento de interpolação com precisão de 1/4 pixel é executada por um filtro [-3, 12, -37, 229, 71, -21, 6, -1]/256, e processamento de interpolação com precisão de 1/8 pixel é executada através de interpolação linear.
[0011] Deste modo, predição de movimento usando processamento de interpolação com precisão de pixel mais alta é executada, por meio de que precisão de predição pode ser melhorada, e melhoria em eficiência de codificação pode ser realizada particularmente com uma sequência de movimento relativamente lenta tendo textura alta em resolução.
[0012] Incidentemente, como um fator para o sistema de H.264/AVC realizando eficiência de codificação alta quando comparado ao sistema de MPEG2 de acordo com a técnica relacionada e assim sucessivamente, adoção de um sistema de intra-predição descrito a seguir foi proposta.
[0013] Com o sistema de H.264/AVC, houve modos de intra-predição definidos para sinais de luminância de nove tipos de modos de predição em unidades de bloco de 4 x 4 pixéis e 8 x 8 pixéis, e quatro tipos de modos de predição em unidades de macrobloco de 16 x 16 pixéis. Com relação a sinais de diferença de cor, houve modos de intra-predição definidos de quatro tipos de modos de predição em unidades de bloco de 8 x 8 pixéis. Os modos de intra- predição para sinais de diferença de cor podem ser fixados independentemente dos modos de intra-predição para sinais de luminância. Note que os tipos dos modos de predição correspondem a direções indicadas com números 0, 1, 3 por 8 na Figura 1. O modo de predição 2 é predição de valor médio.
[0014] Tal sistema de intra-predição foi empregado, por esse meio realizando melhoria em precisão de predição. Porém, com o sistema de H.264/AVC, como ilustrado nas direções na Figura 1, intra-predição em incrementos de 22,5 graus só é executada. Por conseguinte, no evento que a inclinação de uma borda tem um ângulo diferente desse, melhoria em eficiência de codificação é restringida.
[0015] Portanto, com NPL 2, proposta foi feita para melhoria adicional em eficiência de codificação em que predição é executada com um ângulo melhor que 22,5 graus.
Lista de Citação Literatura Não Patente
[0016] NPL 1: "Motion compensated prediction with 1/8-pel displacement vector resolution", VCEG-AD09, ITU - Setor de Padronização de Telecomunicações GRUPO de ESTUDO Pergunta 6 Grupo de Peritos de Codificação de Vídeo (VCEG), 23-27 de outubro de 2006.
[0017] NPL 2: Virginie Drugeon, Thomas Wedi, e Torsten Palfner, "High Precision Edge Prediction for Intra Coding", 2008.
Sumário da Invenção Problema Técnico
[0018] Porém, com a intra-predição do sistema de H.264/AVC, um pixel adjacente predeterminado do bloco a ser codificado é usado para predição, mas por outro lado, com a proposta descrita em NPL 2, um pixel diferente de um pixel adjacente do bloco a ser codificado também tem que ser usado.
[0019] Por conseguinte, com a proposta descrita em NPL 2, até mesmo ao executar predição com um ângulo melhor que em incrementos de 22,5 graus, o número de vezes de acesso de memória, e processamento aumentam.
[0020] A presente invenção foi feita em vista de tal situação, que adicionalmente melhora eficiência de codificação em intra-predição enquanto suprimindo aumento no número de vezes de acesso de memória e processamento.
Solução para o Problema
[0021] Um dispositivo de processamento de imagem de acordo com um primeiro aspecto da presente invenção inclui: meio de determinação de modo configurado para determinar um modo de predição para intra-predição relativa ao bloco de intra-predição a ser submetido à intra-predição sobre dados de imagem; meio de deslocamento de fase configurado para deslocar a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada conforme uma direção de deslocamento de acordo com o modo de predição determinado pelo meio de determinação de modo, e uma quantidade de deslocamento servindo como um candidato; meio de determinação de quantidade de deslocamento configurado para determinar a quantidade ótima de deslocamento da fase sobre o pixel adjacente usando o pixel adjacente e o pixel adjacente de qual a fase é deslocada pelo meio de deslocamento de fase; e meio gerador de imagem de predição configurado para gerar uma imagem de predição do bloco de intra-predição usando o pixel adjacente do qual a fase é deslocada conforme a quantidade ótima de deslocamento determinada pelo meio de determinação de quantidade de deslocamento.
[0022] O dispositivo de processamento de imagem pode adicionalmente incluir: meio de codificação configurado para codificar informação de diferença entre a imagem do bloco de intra-predição, e a imagem de predição gerada pelo meio gerador de imagem de predição para gerar um fluxo codificado; e meio de transmissão configurado para transmitir informação de quantidade de deslocamento indicando a quantidade ótima de deslocamento determinada pelo meio de determinação de quantidade de deslocamento, e informação de modo de predição indicando o modo de predição determinado pelo meio de determinação de modo junto com um fluxo codificado gerado pelo meio de codificação.
[0023] O meio de codificação pode codificar informação de diferença indicando diferença entre a quantidade ótima de deslocamento determinada relativa ao bloco de intra-predição, e quantidade ótima de deslocamento determinada relativa a um bloco que provê MostProbableMode como a informação de quantidade de deslocamento, e o meio de transmissão pode transmitir um fluxo codificado gerado pelo meio de codificação, e a informação de diferença.
[0024] O meio de deslocamento de fase pode inibir deslocamento da fase no evento que o modo de predição determinado pelo meio de determinação de modo é um modo de predição de CC.
[0025] O meio de deslocamento de fase pode deslocar a fase na direção horizontal sobre um pixel adjacente superior dos pixéis adjacentes conforme uma quantidade de deslocamento servindo como o candidato, e inibir deslocamento da fase na direção vertical sobre um pixel adjacente esquerdo dos pixéis adjacentes no evento que o modo de predição determinado pelo meio de determinação de modo é um modo de predição Vertical, modo de predição Diag_Down_Left, ou modo de predição Vertical_Left.
[0026] O meio de deslocamento de fase pode deslocar a fase na direção vertical sobre um pixel adjacente esquerdo dos pixéis adjacentes conforme uma quantidade de deslocamento servindo como o candidato, e inibir deslocamento da fase na direção horizontal sobre um pixel adjacente superior dos pixéis adjacentes no evento que o modo de predição determinado pelo meio de determinação de modo é um modo de predição Horizontal, ou modo de predição Horizontal_Up.
[0027] O meio de determinação de modo pode determinar todos dos modos de predição da intra-predição, o meio de deslocamento de fase pode deslocar a fase do pixel adjacente conforme direções de deslocamento de acordo com todos os modos de predição determinados pelo meio de determinação de modo, e uma quantidade de deslocamento servindo como um candidato, e o meio de determinação de quantidade de deslocamento pode usar o pixel adjacente e o pixel adjacente do qual a fase é deslocada pelo meio de deslocamento de fase para determinar a quantidade ótima de deslocamento da fase, e o modo ótimo de predição sobre o pixel adjacente.
[0028] O dispositivo de processamento de imagem pode adicionalmente incluir meio de compensação de predição de movimento configurado para executar inter-predição de movimento relativa ao bloco de inter-predição de movimento da imagem, e o meio de deslocamento de fase pode usar um filtro usado na hora de predição de precisão de pixel fracionário pelo meio de compensação de predição de movimento para deslocar a fase do pixel adjacente.
[0029] Um método de processamento de imagem de acordo com o primeiro aspecto da presente invenção pode incluir a etapa de: fazer um dispositivo de processamento de imagem determinar o modo de predição de intra-predição relativa a um bloco de intra-predição a ser processado para intra- predição sobre dados de imagem; deslocar a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada conforme uma direção de deslocamento de acordo com o modo de predição determinado, e uma quantidade de deslocamento servindo como um candidato; determinar a quantidade ótima de deslocamento da fase sobre o pixel adjacente usando o pixel adjacente e o pixel adjacente do qual a fase é deslocada; e gerar uma imagem de predição do bloco de intra-predição usando o pixel adjacente do qual a fase é deslocada conforme a quantidade ótima de deslocamento determinada.
[0030] Um dispositivo de processamento de imagem de acordo com um segundo aspecto da presente invenção inclui: meio de recepção configurado para receber informação de modo de predição indicando o modo de predição de intra-predição relativa a um bloco de intra-predição a ser processado para intra- predição, e informação de quantidade de deslocamento indicando uma quantidade de deslocamento para deslocar a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada de acordo com o modo de predição indicado pela informação de modo de predição; meio de deslocamento de fase configurado para deslocar a fase do pixel adjacente conforme uma direção de deslocamento e uma quantidade de deslocamento de acordo com o modo de predição recebido pelo meio de recepção; e meio gerador de imagem de predição configurado para gerar uma imagem de predição do bloco de intra-predição usando o pixel adjacente do qual o deslocamento é deslocado pelo meio de deslocamento de fase.
[0031] O meio de recepção pode receber informação de diferença indicando diferença entre uma quantidade de deslocamento relativa ao bloco de intra-predição, e uma quantidade de deslocamento relativa a um bloco que provê MostProbableMode como a informação de quantidade de deslocamento.
[0032] O dispositivo de processamento de imagem pode adicionalmente incluir meio de decodificação configurado para decodificar o bloco de intra-predição usando uma imagem de predição gerada pelo meio gerador de imagem de predição.
[0033] O meio de decodificação pode decodificar a informação de modo de predição recebida pelo meio de recepção, e a informação de quantidade de deslocamento.
[0034] O meio de deslocamento de fase pode inibir deslocamento da fase do pixel adjacente no evento que o modo de predição decodificado pelo meio de decodificação é um modo de predição de CC.
[0035] O meio de deslocamento de fase pode deslocar a fase na direção horizontal sobre um pixel adjacente superior dos pixéis adjacentes conforme a quantidade de deslocamento decodificada pelo meio de decodificação, e inibir deslocamento da fase na direção vertical sobre um pixel adjacente esquerdo dos pixéis adjacentes no evento que o modo de predição decodificado pelo meio de decodificação é um modo de predição Vertical, modo de predição Diag_Down_Left, ou modo de predição Vertical_Left.
[0036] O meio de deslocamento de fase pode deslocar a fase na direção vertical sobre um pixel adjacente esquerdo dos pixéis adjacentes conforme a quantidade de deslocamento decodificada pelo meio de decodificação, e inibir deslocamento da fase na direção horizontal sobre um pixel adjacente superior dos pixéis adjacentes no evento que o modo de predição decodificado pelo meio de decodificação é um modo de predição Horizontal, ou modo de predição Horizontal_Up.
[0037] O dispositivo de processamento de imagem pode adicionalmente incluir meio de compensação de predição de movimento configurado para executar inter-predição de movimento usando um vetor de movimento a ser decodificado pelo meio de decodificação junto com um bloco de inter-predição de movimento codificado, e o meio de deslocamento de fase pode deslocar a fase do pixel adjacente usando um filtro a ser usado na hora de predição de precisão de pixel fracionário pelo meio de compensação de predição de movimento.
[0038] Um método de processamento de imagem de acordo com o segundo aspecto da presente invenção inclui a etapa de: fazer um dispositivo de processamento de imagem receber informação de modo de predição indicando o modo de predição de intra-predição relativo a um bloco de intra-predição a ser processado para intra-predição, e informação de quantidade de deslocamento indicando uma quantidade de deslocamento para deslocar a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada de acordo com o modo de predição indicado pela informação de modo de predição; deslocar a fase do pixel adjacente conforme uma direção de deslocamento e uma quantidade de deslocamento de acordo com o modo de predição recebido; e gerar uma imagem de predição do bloco de intra-predição usando o pixel adjacente do qual a fase é deslocada.
[0039] Com o primeiro aspecto da presente invenção, o modo de predição de intra-predição é determinado relativo a um bloco de intra-predição a ser processado para intra-predição sobre dados de imagem, e a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada conforme uma direção de deslocamento é deslocada de acordo com o modo de predição determinado, e uma quantidade de deslocamento servindo como um candidato. Subsequentemente, a quantidade ótima de deslocamento da fase é determinada sobre o pixel adjacente usando o pixel adjacente e o pixel adjacente do qual a fase é deslocada, e uma imagem de predição do bloco de intra-predição é gerada usando o pixel adjacente do qual a fase é deslocada conforme a quantidade ótima de deslocamento determinada.
[0040] Com o segundo aspecto da presente invenção, informação de modo de predição indicando o modo de predição de intra-predição relativo a um bloco de intra-predição a ser processado para intra-predição, e informação de quantidade de deslocamento indicando uma quantidade de deslocamento para deslocar a fase de um pixel adjacente, adjacente ao bloco de intra-predição com uma relação posicional predeterminada de acordo com o modo de predição indicado pela informação de modo de predição são recebidas, e a fase do pixel adjacente é deslocada conforme uma direção de deslocamento e uma quantidade de deslocamento de acordo com o modo de predição recebido. Subsequentemente, uma imagem de predição do bloco de intra-predição é gerada usando o pixel adjacente do qual a fase é deslocada.
[0041] Note que os supracitados dispositivos de processamento de imagem podem ser dispositivos independentes, ou podem ser blocos internos compondo um único dispositivo de codificação de imagem ou dispositivo de decodificação de imagem.
Efeitos Vantajosos da Invenção
[0042] De acordo com o primeiro aspecto da presente invenção, uma imagem de predição pode ser gerada através de intra-predição. Também, de acordo com o primeiro aspecto da presente invenção, eficiência de codificação pode ser melhorada sem aumentar o número de vezes de acesso de memória e processamento.
[0043] De acordo com o segundo aspecto da presente invenção, uma imagem de predição pode ser gerada através de intra-predição. Também, de acordo com o segundo aspecto da presente invenção, eficiência de codificação pode ser melhorada sem aumentar o número de vezes de acesso de memória e processamento.
Descrição Breve dos Desenhos
[0044] Figura 1 é um diagrama para descrever a direção de intra- predição de 4 x 4 pixéis.
[0045] Figura 2 é um diagrama de bloco ilustrando uma configuração de uma concretização de um dispositivo de codificação de imagem ao qual a presente invenção foi aplicada.
[0046] Figura 3 é um diagrama para descrever processamento de predição e compensação de movimento com precisão de 1/4 pixel.
[0047] Figura 4 é um diagrama para descrever um método e compensação de predição de movimento de quadros de multi-referência.
[0048] Figura 5 é um diagrama para descrever um exemplo de uma método de geração de informação de vetor de movimento.
[0049] Figura 6 é um diagrama de bloco ilustrando um exemplo de configuração de uma unidade de intra-predição e uma unidade de interpolação de pixel adjacente.
[0050] Figura 7 é um fluxograma para descrever o processamento de codificação do dispositivo de codificação de imagem na Figura 2.
[0051] Figura 8 é um fluxograma para descrever processamento de predição na etapa S21 na Figura 7.
[0052] Figura 9 é um diagrama para descrever sequência de processamento no evento de um modo de intra-predição de 16 x 16 pixéis.
[0053] Figura 10 é um diagrama ilustrando os tipos de modo de intra- predição de 4 x 4 pixéis para sinais de luminância.
[0054] Figura 11 é um diagrama ilustrando os tipos de modo de intra- predição de 4 x 4 pixéis para sinais de luminância.
[0055] Figura 12 é um diagrama para descrever a direção de intra- predição de 4 x 4 pixéis.
[0056] Figura 13 é um diagrama para descrever intra-predição de 4 x 4 pixéis.
[0057] Figura 14 é um diagrama para descrever codificação do modo de intra-predição de 4 x 4 pixéis para sinais de luminância.
[0058] Figura 15 é um diagrama ilustrando os tipos de modo de intra- predição de 16 x 16 pixéis para sinais de luminância.
[0059] Figura 16 é um diagrama ilustrando os tipos de modo de intra- predição de 16 x 16 pixéis para sinais de luminância.
[0060] Figura 17 é um diagrama para descrever intra-predição de 16 x 16 pixéis.
[0061] Figura 18 é um diagrama para descrever operação para realizar intra-predição com precisão de pixel fracionário.
[0062] Figura 19 é um diagrama para descrever um exemplo de efeito vantajoso de intra-predição com precisão de pixel fracionário.
[0063] Figura 20 é um fluxograma para descrever processamento de intra-predição na etapa S31 na Figura 8.
[0064] Figura 21 é um fluxograma para descrever processamento de interpolação de pixel adjacente na etapa S45 na Figura 20.
[0065] Figura 22 é um fluxograma para descrever processamento de inter-predição de movimento na etapa S32 na Figura 8.
[0066] Figura 23 é um diagrama de bloco ilustrando outro exemplo de configuração da unidade de intra-predição e a unidade de interpolação de pixel adjacente.
[0067] Figura 24 é um fluxograma para descrever outro exemplo de processamento de intra-predição na etapa S31 na Figura 8.
[0068] Figura 25 é um fluxograma para descrever processamento de interpolação de pixel adjacente na etapa S101 na Figura 24.
[0069] Figura 26 é um diagrama de bloco ilustrando a configuração de uma concretização de um dispositivo de decodificação de imagem ao qual a presente invenção foi aplicada.
[0070] Figura 27 é um diagrama de bloco ilustrando outro exemplo de configuração da unidade de intra-predição e da unidade de interpolação de pixel adjacente.
[0071] Figura 28 é um fluxograma para descrever o processamento de decodificação da dispositivo de decodificação de imagem na Figura 26.
[0072] Figura 29 é um fluxograma para descrever processamento de predição na etapa S138 na Figura 28.
[0073] Figura 30 é um diagrama de bloco ilustrando um exemplo de configuração do hardware de um computador.
Descrição de Concretizações
[0074] Daqui por diante, uma concretização da presente invenção será descrita com referência aos desenhos.
Exemplo de Configuração de Dispositivo de Codificação de Imagem
[0075] Figura 2 representa a configuração de uma concretização de um dispositivo de codificação de imagem servindo como um dispositivo de processamento de imagem ao qual a presente invenção foi aplicada.
[0076] Esta dispositivo de codificação de imagem 51 submete uma imagem à codificação de compressão usando, por exemplo, o sistema H.264 e MPEG-4 Parte 10 (Codificação de Vídeo Avançada) (daqui por diante, descrito como 264/AVC).
[0077] Com o exemplo na Figura 2, o dispositivo de codificação de imagem 51 é configurado de uma unidade de conversão A/D 61, uma memória temporária de seleção de tela 62, uma unidade de computação 63, uma unidade de transformada ortogonal 64, uma unidade de quantização 65, uma unidade de codificação sem perda 66, uma memória temporária de acumulação 67, uma unidade de quantização inversa 68, uma unidade de transformada ortogonal inversa 69, uma unidade de computação 70, um filtro de desbloqueio 71, memória de quadro 72, um comutador 73, uma unidade de intra-predição 74, uma unidade de interpolação de pixel adjacente 75, uma unidade de predição/compensação de movimento 76, uma unidade de seleção de imagem de predição 77, e uma unidade de controle de taxa 78.
[0078] A unidade de conversão A/D 61 converte uma imagem de entrada de analógica para digital, e produz para a memória temporária de seleção de tela 62 para armazenamento. A memória temporária de seleção de tela 62 seleciona as imagens de quadros na ordem armazenada para exibição na ordem de quadros para codificação de acordo com GOP (Grupo de Imagem).
[0079] A unidade de computação 63 subtrai da imagem lida da memória temporária de seleção de tela 62 a imagem de predição da unidade de intra-predição 74 selecionada pela unidade de seleção de imagem de predição 77 ou a imagem de predição da unidade de predição/compensação de movimento 76, e produz informação de diferença disso para a unidade de transformada ortogonal 64. A unidade de transformada ortogonal 64 submete a informação de diferença da unidade de computação 63 à transformada ortogonal, tal como transformada de co-seno discreta, transformada de Karhunen-Loéve, ou similar, e produz um coeficiente de transformada disso. A unidade de quantização 65 quantiza o coeficiente de transformada que a unidade de transformada ortogonal 64 produz.
[0080] O coeficiente de transformada quantizado que é a produzido da unidade de quantização 65 é entrado à unidade de codificação sem perda 66, e submetido à codificação sem perda, tal como codificação de comprimento variável, codificação aritmética, ou similar, e comprimido.
[0081] A unidade de codificação sem perda 66 obtém informação indicando intra-predição, e assim sucessivamente da unidade de intra-predição 74, e obtém informação indicando um modo de intra/inter-predição, e assim sucessivamente da unidade de predição/compensação de movimento 76. Note que, daqui por diante, a informação indicando intra-predição também será chamada informação de modo de intra-predição. Também, informação indicando um modo de informação indicando inter-predição também será chamada informação de modo de inter-predição.
[0082] A unidade de codificação sem perda 66 codifica o coeficiente de transformada quantizado, e também codifica a informação indicando intra- predição, a informação indicando um modo de inter-predição, e assim sucessivamente, e toma estes como parte de informação de cabeçalho na imagem comprimida. A unidade de codificação sem perda 66 provê os dados codificados à memória temporária de acumulação 67 para acumulação.
[0083] Por exemplo, com a unidade de codificação sem perda 66, processamento de codificação sem perda, tal como codificação de comprimento variável, codificação aritmética, ou similar, é executado. Exemplos do codificação de comprimento variável incluem CAVLC (Codificação de Comprimento Variável Adaptável a Contexto) determinada pelo sistema de H.264/AVC. Exemplos da codificação aritmética incluem CABAC (Codificação Aritmética Binária Adaptável a Contexto).
[0084] A memória temporária de acumulação 67 produz os dados providos da unidade de codificação sem perda 66 para, por exemplo, um dispositivo de armazenamento a jusante ou caminho de transmissão ou similar não mostrado no desenho, como uma imagem comprimida codificada pelo sistema de H.264/AVC.
[0085] Também, o coeficiente de transformada quantizado produzido da unidade de quantização 65 também é entrado à unidade de quantização inversa 68, submetido à quantização inversa, e então submetido à transformada ortogonal inversa adicional na unidade de transformada ortogonal inversa 69. A saída submete à transformada ortogonal inversa é adicionada à imagem de predição provida da unidade de seleção de imagem de predição 77 pela unidade de computação 70, e mudada em uma imagem decodificada localmente. O filtro de desbloqueio 71 remove distorção de bloco da imagem decodificada, e então provê para a memória de quadro 72 para acumulação. Uma imagem antes que o processamento de filtro de desbloqueio seja executado pelo filtro de desbloqueio 71 também é provida à memória de quadro 72 para acumulação.
[0086] O comutador 73 produz as imagens de referência acumuladas na memória de quadro 72 para a unidade de predição/compensação de movimento 76 ou unidade de intra-predição 74.
[0087] Com este dispositivo de codificação de imagem 51, a imagem I, imagem B, e imagem P da memória temporária de seleção de tela 62 são providas à unidade de intra-predição 74 como uma imagem a ser submetida à intra-predição (também chamado intra-processamento), por exemplo. Também, a imagem B e imagem P lidas da memória temporária de seleção de tela 62 são providas à unidade de predição/compensação de movimento 76 como uma imagem a ser submetida à inter-predição (também chamado inter- processamento).
[0088] A unidade de intra-predição 74 executa processamento de intra- predição em todos dos modos de intra-predição servindo como candidatos baseado na imagem a ser submetida à intra-predição lida da memória temporária de seleção de tela 62, e a imagem de referência provida da memória de quadro 72 para gerar uma imagem de predição.
[0089] A unidade de intra-predição 74 calcula um valor de função de custo sobre os modos de intra-predição em que uma imagem de predição foi gerada, e seleciona o modo de intra-predição do qual o valor de função de custo calculado provê o valor mínimo, como o modo ótimo de intra-predição. A unidade de intra-predição 74 provê um pixel adjacente para o bloco atual para intra-predição, e a informação de modo ótimo de intra-predição, para a unidade de interpolação de pixel adjacente 75.
[0090] A unidade de interpolação de pixel adjacente 75 desloca a fase do pixel adjacente na direção de deslocamento de acordo com o modo ótimo de intra-predição da unidade de intra-predição 74 por uma quantidade de deslocamento servindo como um candidato. Na realidade, a unidade de interpolação de pixel adjacente 75 aplica filtro de FIR de 6 derivações a um pixel adjacente para executar interpolação linear relativa à direção de deslocamento de acordo com o modo ótimo de intra-predição, por esse meio deslocando a fase do pixel adjacente com precisão de pixel fracionário. Por conseguinte, daqui por diante, para conveniência de descrição, o pixel adjacente do qual a fase foi deslocada por filtro de FIR de 6 derivações e interpolação linear será chamado um pixel adjacente interpolado ou um pixel adjacente do qual a fase foi deslocada como apropriado, mas estes têm o mesmo significado.
[0091] A unidade de interpolação de pixel adjacente 75 provê o pixel adjacente do qual a fase foi deslocada à unidade de intra-predição 74.
[0092] A unidade de intra-predição 74 usa o valor de pixel do pixel adjacente de uma memória temporária de imagem adjacente 81, e os valores de pixel do pixel adjacente do qual a fase foi deslocada pela unidade de interpolação de pixel adjacente 75 para determinar a quantidade ótima de deslocamento da fase sobre o pixel adjacente. Também, a unidade de intra- predição 74 usa o valor de pixel do pixel adjacente do qual a fase foi deslocada com a quantidade ótima de deslocamento determinada para gerar uma imagem de predição do bloco atual, e provê a imagem de predição gerada e um valor de função de custo calculado relativo ao modo ótimo de intra-predição correspondente à unidade de seleção de imagem de predição 77.
[0093] No evento que a imagem de predição gerada no modo ótimo de intra-predição foi selecionada pela unidade de seleção de imagem de predição 77, a unidade de intra-predição 74 provê a informação indicando o modo ótimo de intra-predição, e a informação da quantidade ótima de deslocamento para a unidade de codificação sem perda 66. No evento que a informação foi transmitida da unidade de intra-predição 74, a unidade de codificação sem perda 66 codifica esta informação, e toma isto como parte da informação de cabeçalho na imagem comprimida.
[0094] A unidade de predição/compensação de movimento 76 executa processamento de predição e compensação de movimento considerando todos dos modos de inter-predição servindo como candidatos. Especificamente, sobre a unidade de predição/compensação de movimento 76, a imagem a ser submetida a inter-processamento lida da memória temporária de seleção de tela 62 é provida e a imagem de referência é provida da memória de quadro 72 pelo comutador 73. A unidade de predição/compensação de movimento 76 detecta os vetores de movimento de todos dos modos de inter-predição servindo como candidatos baseado na imagem a ser submetida a inter-processamento e a imagem de referência, submete a imagem de referência a processamento de compensação baseado nos vetores de movimento, e gera uma imagem de predição.
[0095] Também, a unidade de predição/compensação de movimento 76 calcula um valor de função de custo sobre todos dos modos de inter-predição servindo como candidatos. A unidade de predição/compensação de movimento 76 determina, dos valores de função de custo calculados, um modo de predição que provê o valor mínimo, ser o modo ótimo de inter-predição.
[0096] A unidade de predição/compensação de movimento 76 provê a imagem de predição gerada no modo ótimo de inter-predição, e o valor de função de custo disso à unidade de seleção de imagem de predição 77. No evento no que a imagem de predição gerada no modo ótimo de inter-predição foi selecionada pela unidade de seleção de imagem de predição 77, a unidade de predição/compensação de movimento 76 produz informação indicando o modo ótimo de inter-predição (informação de modo de inter-predição) para a unidade de codificação sem perda 66.
[0097] Note que, de acordo com necessidade, a informação de vetor de movimento, informação de bandeira, informação de quadro de referência, e assim sucessivamente são produzidas à unidade de codificação sem perda 66. A unidade de codificação sem perda 66 também submete a informação da unidade de predição/compensação de movimento 76 a processamento de codificação sem perda tal como codificação de comprimento variável ou codificação aritmética, e insere na porção de cabeçalho da imagem comprimida.
[0098] A unidade de seleção de imagem de predição 77 determina o modo ótimo de predição do modo ótimo de intra-predição e o modo ótimo de inter- predição baseado nos valores de função de custo produzidos da unidade de intra-predição 74 ou unidade de predição/compensação de movimento 76. A unidade de seleção de imagem de predição 77 então seleciona a imagem de predição no modo ótimo de predição determinado, e provê para as unidades de computação 63 e 70. Neste momento, a unidade de seleção de imagem de predição 77 provê a informação de seleção da imagem de predição para a unidade de intra-predição 74 ou unidade de predição/compensação de movimento 76.
[0099] A unidade de controle de taxa 78 controla a taxa da operação de quantização da unidade de quantização 65 baseado em uma imagem comprimida acumulada na memória temporária de acumulação 67 para não causar transbordamento ou subutilização.
Descrição de Sistema de H.264/AVC
[00100] Figura 3 é um diagrama ilustrando um exemplo do tamanho de bloco de predição e compensação de movimento de acordo com o sistema de H.264/AVC. Com o sistema de H.264/AVC, predição e compensação de movimento é executada com o bloco tamanho tomado como variável.
[00101] Macroblocos compostos de 16 x 16 pixéis divididos em partições de 16 x 16 pixéis, 16 x 8 pixéis, 8 x 16 pixéis, e 8 x 8 pixéis são mostrados da esquerda em ordem na fileira superior na Figura 3. Também, partições de 8 x 8 pixéis divididas em sub-partições de 8 x 8 pixéis, 8 x 4 pixéis, 4 x 8 pixéis, e 4 x 4 pixéis são mostradas da esquerda em ordem na fileira inferior na Figura 3.
[00102] Especificamente, com o sistema de H.264/AVC, um macrobloco pode ser dividido em uma de partições de 16 x 16 pixéis, 16 x 8 pixéis, 8 x 16 pixéis, e 8 x 8 pixéis, com cada partição tendo informação de vetor de movimento independente. Também, uma partição de 8 x 8 pixéis pode ser dividida em uma de sub-partições de 8 x 8 pixéis, 8 x 4 pixéis, 4 x 8 pixéis, e 4 x 4 pixéis com cada sub-partição tendo informação de vetor de movimento independente.
[00103] Figura 4 é um diagrama para descrever processamento de predição e compensação com precisão de 1/4 pixel de acordo com o sistema de H.264/AVC. Com o sistema de H.264/AVC, processamento de predição e compensação com precisão de 1/4 pixel usando filtro de FIR de 6 derivações (Filtro de Resposta de Impulso Finita) é executado.
[00104] Com o exemplo na Figura 4, posições A indicam as posições de pixéis de precisão inteira, e posições b, c e d indicam posições com precisão de 1/2 pixel, e posições e1, e2 e e3 indicam posições com precisão de 1/4 pixel. Primeiro, daqui por diante, Clipe () é definido como a Expressão (1) seguinte.
Figure img0001
[00105] Note que, no evento que a imagem de entrada tem precisão de 8 bits, o valor de max_pix se torna 255.
[00106] Os valores de pixel nas posições b e d são gerados como a Expressão (2) seguinte usando um filtro de FIR de 6 derivações. [Expressão Matemática 2] F = A-2 - 5 • A-1 + 20 • A0 + 20 • A1 - 5 • A2 + A3 b, d = Clip1((F + 16) >> 5) (2)
[00107] O valor de pixel na posição c é gerado como a Expressão (3) seguinte aplicando um filtro de FIR de 6 derivações na direção horizontal e na direção vertical. [Expressão Matemática 3] F = b-2 - 5 • b-1 + 20 • b0 + 20 • b1 - 5 • b2+ b3 ou F = d-2 - 5 • d-1 + 20 • d0 + 20 • d1 - 5 • d2 + d3 c = Clip1((F + 512) >> 10) (3)
[00108] Note que processamento de Clipe é executado finalmente só uma vez depois que ambos de processamento de soma de produtos na direção horizontal e na direção vertical são executados.
[00109] Posições e1 por e3 são geradas através de interpolação linear como mostrado na Expressão (4) seguinte. [Expressão Matemática 4] e1 = (A + b + 1) >> 1 e2 = (b + d + 1) >> 1 e3 = (b + c + 1) >> 1 (4)
[00110] Com o sistema de H.264/AVC, pelo processamento de predição e compensação de movimento descrito acima com referência às Figuras 3 por 4 sendo executado, vastas quantidades de informação de vetor de movimento são geradas, e se estas forem codificadas sem mudança, deterioração em eficiência de codificação é causada. Em resposta a isto, com o sistema de H.264/AVC, de acordo com um método mostrado na Figura 5, redução em informação de codificação de vetor de movimento foi realizada.
[00111] Figura 5 é um diagrama para descrever um método de geração de informação de vetor de movimento de acordo com o sistema de H.264/AVC.
[00112] Com o exemplo na Figura 5, o bloco atual E a ser codificado de agora em diante (por exemplo, 16 x 16 pixéis), e blocos A por D, que já foram codificados, adjacentes ao bloco E atual são mostrados.
[00113] Especificamente, o bloco D é adjacente ao esquerdo superior do bloco atual E, o bloco B é adjacente a sobre o bloco atual E, o bloco C é adjacente à direita superior do bloco atual E, e o bloco A é adjacente à esquerda do bloco atual E. Note que a razão por que os blocos A por D não são secionados é porque cada um dos blocos representa um bloco tendo uma estrutura de 16 x 16 pixéis por 4 x 4 pixéis descrito acima com referência à Figura 2.
[00114] Por exemplo, nos deixe dizer que informação de vetor de movimento sobre X (= A, B, C, D, E) é representada com mvX. Primeiro, informação de vetor de movimento de predição pmvE sobre o bloco atual E é gerada como a Expressão (5) seguinte por predição mediana usando informação de vetor de movimento relativa aos blocos A, B e C.pmvE = med(mvA, mvB, mvC) (5)
[00115] A informação de vetor de movimento relativa ao bloco C pode não ser usada (pode estar indisponível) devido a uma razão tal como a borda de um quadro de imagem, antes de codificação, ou similar. Neste caso, a informação de vetor de movimento relativa ao bloco D é usada em vez da informação de vetor de movimento relativa ao bloco C.
[00116] Dados MvdE a serem adicionados à porção de cabeçalho da imagem comprimida, servindo como a informação de vetor de movimento sobre o bloco atual E, são gerados como a Expressão (6) seguinte usando pmvE.mvdE = mvE - pmvE (6)
[00117] Note que, na realidade, processamento é executado independentemente sobre os componentes na direção horizontal e direção vertical da informação de vetor de movimento.
[00118] Deste modo, informação de vetor de movimento de predição é gerada, os dados mvdE que são diferença entre a informação de vetor de movimento de predição gerada baseado em correlação com um bloco adjacente, e a informação de vetor de movimento é adicionada à porção de cabeçalho da imagem comprimida como informação de vetor de movimento, por meio de que a informação de vetor de movimento pode ser reduzida.
[00119] Aqui, o processamento de predição e compensação com precisão de 1/4 pixel no sistema de H.264/AVC descrito acima com referência à Figura 4 é executado na unidade de predição/compensação de movimento, mas com o dispositivo de codificação de imagem 51 na Figura 2, predição com precisão de 1/4 pixel também é executada em intra-predição. Esta intra- predição com precisão de pixel fracionário é executada pela unidade de intra- predição 74 e unidade de interpolação de pixel adjacente 75, que serão descritas a seguir.
Exemplo de configuração de Unidade de Intra-Predição e Unidade de Interpolação de Pixel Adjacente
[00120] Figura 6 é um diagrama de bloco ilustrando um exemplo de configuração detalhado da unidade de intra-predição e unidade de interpolação de pixel adjacente.
[00121] No caso do exemplo na Figura 6, a unidade de intra-predição 74 é configurada de uma memória temporária de imagem adjacente 81, uma unidade de determinação de modo ótimo 82, uma unidade de determinação de quantidade ótima de deslocamento 83, e uma unidade geradora de imagem de predição 84.
[00122] A unidade de interpolação de pixel adjacente 75 é configurada de uma unidade de determinação de modo 91, uma unidade de interpolação de direção horizontal 92, e uma unidade de interpolação de direção vertical 93.
[00123] A memória temporária de imagem adjacente 81 acumula um pixel adjacente do bloco a ser submetido à intra-predição da memória de quadro 72. No caso de Figura 6, desenho do comutador 73 é omitido, mas o pixel adjacente é provido da memória de quadro 72 para a memória temporária de imagem adjacente 81 pelo comutador 73.
[00124] Uma imagem a ser submetida à intra-predição lida da memória temporária de seleção de tela 62 é entrada à unidade de determinação de modo ótimo 82. A unidade de determinação de modo ótimo 82 lê um pixel adjacente correspondendo ao bloco a ser submetido à intra-predição da memória temporária de imagem adjacente 81.
[00125] A unidade de determinação de modo ótimo 82 executa processamento de intra-predição de todos os modos de intra-predição servindo como candidatos usando o pixel adjacente correspondendo à imagem do bloco a ser submetido à intra-predição para gerar uma imagem de predição. A unidade de determinação de modo ótimo 82 calcula valores de função de custo sobre os modos de intra-predição dos quais as imagens de predição foram geradas, e determina o modo de intra-predição do qual o valor de função de custo calculado provê o valor mínimo para ser o modo ótimo de intra-predição. A informação do modo de predição determinado é provida à unidade de determinação de modo 91, unidade de determinação de quantidade ótima de deslocamento 83, e unidade geradora de imagem de predição 84. Também, o valor de função de custo correspondendo ao modo de predição provido também é provido à unidade geradora de imagem de predição 84.
[00126] A imagem a ser submetida à intra-predição lida da memória temporária de seleção de tela 62, e a informação do modo de predição determinado ser o modo ótimo pela unidade de determinação ótima 82 são entradas à unidade de determinação de quantidade ótima de deslocamento 83. Também, o pixel adjacente, que foi submetido à interpolação linear pela unidade de interpolação de direção horizontal 92 e unidade de interpolação de direção vertical 93 e a fase de qual foi deslocada de acordo com o modo ótimo de intra-predição é entrada à unidade de determinação de quantidade ótima de deslocamento 83. A unidade de determinação de quantidade ótima de deslocamento 83 lê o pixel adjacente correspondendo ao bloco a ser submetido à intra-predição da memória temporária de imagem adjacente 81.
[00127] A unidade de determinação de quantidade ótima de deslocamento 83 usa a imagem do bloco a ser submetido à intra-predição, o pixel adjacente correspondente, e o valor de pixel do pixel adjacente interpolado correspondendo relativo ao modo de predição determinado pela unidade de determinação de modo ótimo 82 para determinar a quantidade ótima de deslocamento. A unidade de determinação de quantidade ótima de deslocamento 83 calcula, por exemplo, erro de predição (erro residual) ou similar, e determina uma quantidade de deslocamento tendo o erro de predição mínimo calculado ser a quantidade ótima de deslocamento. A informação da quantidade ótima de deslocamento determinada pela unidade de determinação de quantidade ótima de deslocamento 83 é provida à unidade geradora de imagem de predição 84.
[00128] O valor de função de custo correspondendo à informação de modo de predição determinada pela unidade de determinação de modo ótimo 82, e a informação de quantidade ótima de deslocamento determinada pela unidade de determinação de quantidade ótima de deslocamento 83 são entradas à unidade geradora de imagem de predição 84. A unidade geradora de imagem de predição 84 lê o pixel adjacente correspondendo ao bloco a ser submetido à intra-predição da memória temporária de imagem adjacente 81, e desloca a fase do pixel adjacente lido na direção de fase de acordo com o modo de predição com a quantidade ótima de deslocamento.
[00129] A unidade geradora de imagem de predição 84 executa intra- predição no modo ótimo de intra-predição determinado pela unidade de determinação de modo ótimo 82 usando o pixel adjacente do qual a fase foi deslocada para gerar uma imagem de predição do bloco a ser processado. A unidade geradora de imagem de predição 84 produz a imagem de predição gerada e o valor de função de custo correspondente para a unidade de seleção de imagem de predição 77.
[00130] Também, no evento que a imagem de predição gerada no modo ótimo de intra-predição foi selecionada pela unidade de seleção de imagem de predição 77, a unidade geradora de imagem de predição 84 provê a informação indicando o modo ótimo de intra-predição, e a informação da quantidade de deslocamento para a unidade de codificação sem perda 66.
[00131] A unidade de determinação de modo 91 produz o sinal de controle de acordo com o modo de predição determinado pela unidade de determinação de modo ótimo 82 à unidade de interpolação de direção horizontal 92 e unidade de interpolação de direção vertical 93. Por exemplo, um sinal de controle indicando ON de processamento de interpolação é produzido de acordo com o modo de predição.
[00132] A unidade de interpolação de direção horizontal 92 e unidade de interpolação de direção vertical 93 cada uma leu um pixel adjacente da memória temporária de imagem adjacente 81 de acordo com o sinal de controle da unidade de determinação de modo 91. A unidade de interpolação de direção horizontal 92 e unidade de interpolação de direção vertical 93 cada uma deslocou a fase do pixel adjacente lido na direção horizontal e direção vertical por filtro de FIR de 6 derivações e interpolação linear. A informação do pixel adjacente interpolado pela unidade de interpolação de direção horizontal 92 e unidade de interpolação de direção vertical 93 é provida à unidade de determinação de quantidade ótima de deslocamento 83.
Descrição de Processamento de Codificação de Dispositivo de Codificação de Imagem
[00133] A seguir, o processamento de codificação da dispositivo de codificação de imagem 51 na Figura 2 será descrito com referência ao fluxograma na Figura 7.
[00134] Na etapa S11, a unidade de conversão A/D 61 converte uma imagem de entrada de analógica para digital. Na etapa S12, o memória temporária de seleção de tela 62 armazena a imagem provida da unidade de conversão de A/D 61, e executa seleção da sequência para exibir as imagens à sequência para codificação.
[00135] Na etapa S13, a unidade de computação 63 computa a diferença entre uma imagem ordenada na etapa S12 e a imagem de predição. A imagem de predição é provida à unidade de computação 63 da unidade de predição/compensação de movimento 76 no evento de executar inter-predição, e da unidade de intra-predição 74 no evento de executar intra-predição, pela unidade de seleção de imagem de predição 77.
[00136] Os dados de diferença são menores na quantidade de dados quando comparados aos dados de imagem originais. Por conseguinte, a quantidade de dados pode ser comprimida quando comparada ao caso de codificar a imagem original sem mudança.
[00137] Na etapa S14, a unidade de transformada ortogonal 64 submete a informação de diferença provida da unidade de computação 63 à transformada ortogonal. Especificamente, transformada ortogonal, tal como transformada de co-seno discreta, transformada de Karhunen-Loéve, ou similar, é executada, e um coeficiente de transformada é produzido. Na etapa S15, a unidade de quantização 65 quantiza o coeficiente de transformada. Na hora deste quantização, uma taxa é controlada tal que processamento descrito mais tarde na etapa S25 será descrito.
[00138] A informação de diferença assim quantizada é decodificada localmente como segue. Especificamente, na etapa S16, a unidade de quantização inversa 68 submete o coeficiente de transformada quantizado pela unidade de quantização 65 à quantização inversa usando uma propriedade correspondendo à propriedade da unidade de quantização 65. Na etapa S17, a unidade de transformada inversa ortogonal 69 submete o coeficiente de transformada submetido à quantização inversa pela unidade de quantização inversa 68 à transformada ortogonal inversa usando uma propriedade correspondendo à propriedade da unidade de transformada ortogonal 64.
[00139] Na etapa S18, a unidade de computação 70 adiciona a imagem de predição entrada pela unidade de seleção de imagem de predição 77 à informação de diferença decodificada localmente, e gera uma imagem decodificada localmente (a imagem correspondendo à entrada à unidade de computação 63). Na etapa S19, o filtro de desbloqueio 71 submete a saída de imagem da unidade de computação 70 à filtragem. Assim, distorção de bloco é removida. Na etapa S20, a memória de quadro 72 armazena a imagem submete à filtragem. Note que uma imagem não submete a processamento de filtragem pelo filtro de desbloqueio 71 também é provida da unidade de computação 70 para a memória de quadro 72 para armazenamento.
[00140] Na etapa S21, a unidade de intra-predição 74 e unidade de predição/compensação de movimento 76 cada uma executa processamento de predição de imagem. Especificamente, na etapa S21, a unidade de intra- predição 74 executa processamento de intra-predição no modo de intra- predição. A unidade de predição/compensação de movimento 76 executa processamento de predição e compensação de movimento no modo de inter- predição.
[00141] Os detalhes do processamento de predição na etapa S21 serão descritos mais tarde com referência à Figura 8, mas de acordo com este processamento, os processos de predição em todos dos modos de intra-predição servindo como candidatos são executados, e os valores de função de custo em todos os modos de predição servindo como candidatos são calculados. O modo ótimo de intra-predição é selecionado baseado nos valores de função de custo calculados, e a imagem de predição gerada pela intra-predição no modo ótimo de intra-predição, e o valor de função de custo disso são providos à unidade de seleção de imagem de predição 77.
[00142] Especificamente, neste momento, a unidade de intra-predição 74 provê a imagem de predição gerada por intra-predição usando o pixel adjacente do qual a fase foi deslocada na direção de deslocamento de acordo com o modo ótimo de intra-predição por filtro de FIR de 6 derivações e interpolação linear com a quantidade ótima de deslocamento, para a unidade de seleção de imagem de predição 77. Note que o valor de função de custo relativo ao modo ótimo de intra-predição também é provido à unidade de seleção de imagem de predição 77 junto com a imagem de predição.
[00143] Por outro lado, baseado nos valores de função de custo calculados, o modo ótimo de inter-predição é determinado fora dos modos de inter-predição, e a imagem de predição gerada no modo ótimo de inter- predição, e o valor de função de custo disso são providos à unidade de seleção de imagem de predição 77.
[00144] Na etapa S22, a unidade de seleção de imagem de predição 77 determina um do modo ótimo de intra-predição e do modo ótimo de inter- predição ser o modo ótimo de predição baseado nos valores de função de custo produzidos da unidade de intra-predição 74 e da unidade de predição/compensação de movimento 76. A unidade de seleção de imagem de predição 77 então seleciona a imagem de predição no modo ótimo de predição determinado, e provê para as unidades de computação 63 e 70. Esta imagem de predição é, como descrito acima, usada para cálculos nas etapas S13 e S18.
[00145] Note que a informação de seleção desta imagem de predição é provida à unidade de intra-predição 74 ou unidade de predição/compensação de movimento 76. No evento que a imagem de predição no modo ótimo de intra- predição foi selecionada, a unidade de intra-predição 74 provê informação indicando o modo ótimo de intra-predição (isto é, informação de modo de intra-predição) e informação da quantidade de deslocamento determinada ser o ótima, para a unidade de codificação sem perda 66.
[00146] No evento que a imagem de predição no modo ótimo de inter- predição foi selecionada, a unidade de predição/compensação de movimento 76 produz informação indicando o modo ótimo de inter-predição, e de acordo com necessidade, informação de acordo com o modo ótimo de inter-predição à unidade de codificação sem perda 66. Exemplos da informação de acordo com o modo ótimo de inter-predição incluem informação de vetor de movimento, informação de bandeira, e informação de quadro de referência. Especificamente, no evento que a imagem de predição de acordo com o modo de inter-predição foi selecionada como o modo ótimo de inter- predição, a unidade de predição/compensação de movimento 76 produz a informação de modo de inter-predição, informação de vetor de movimento, e informação de quadro de referência à unidade de codificação sem perda 66.
[00147] Na etapa S23, a unidade de codificação sem perda 66 codifica o coeficiente de transformada quantizado saído da unidade de quantização 65. Especificamente, a imagem de diferença é submete à codificação sem perda tal como codificação de comprimento variável, codificação aritmética, ou similar, e comprimida. Neste momento, a informação de modo de intra- predição da unidade de intra-predição 74, ou a informação de acordo com o modo ótimo de inter-predição da unidade de predição/compensação de movimento 76, e assim sucessivamente entrada à unidade de codificação sem perda 66 na etapa S22 descrita acima também são codificadas, e adicionadas à informação de cabeçalho.
[00148] Na etapa S24, a memória temporária de acumulação 67 acumula a imagem de diferença como a imagem comprimida. A imagem comprimida acumulada na memória temporária de acumulação 67 é lida como apropriado, e transmitida ao lado de decodificação pelo caminho de transmissão.
[00149] Na etapa S25, a unidade de controle de taxa 78 controla a taxa da operação de quantização da unidade de quantização 65 baseado na imagem comprimida acumulada no memória temporária de acumulação 67 para não causar transbordamento ou subutilização.
Descrição de Processamento de Predição
[00150] A seguir, o processamento de predição na etapa S21 na Figura 7 será descrito com referência ao fluxograma na Figura 8.
[00151] No evento que a imagem a ser processada, provida da memória temporária de seleção de tela 62, é uma imagem em um bloco a ser submetido a intra- processamento, a imagem decodificada a ser referenciada é lida da memória de quadro 72, e provida à unidade de intra-predição 74 pelo comutador 73.
[00152] Na etapa S31, a unidade de intra-predição 74 usa a imagem provida para submeter pixéis do bloco a ser processado à intra-predição em todos dos modos de intra-predição servindo como candidatos. Note que pixéis não submetidos à filtragem de desbloqueio pelo filtro de desbloqueio 71 são usados como os pixéis decodificados a serem referenciados.
[00153] Os detalhes do processamento de intra-predição na etapa S31 serão descritos mais tarde com referência à Figura 20, mas de acordo com este processamento, intra-predição é executada usando todos dos modos de intra- predição servindo como candidatos. Um valor de função de custo é calculado sobre todos dos modos de intra-predição servindo como candidatos, e o modo ótimo de intra-predição é determinado baseado nos valores de função de custo calculados.
[00154] Subsequentemente, de acordo com o filtro de FIR de 6 derivações e interpolação linear, a fase de um pixel adjacente é deslocada com a quantidade ótima de deslocamento na direção de deslocamento de acordo com o modo ótimo de intra-predição determinado. Uma imagem de predição é gerada através de intra-predição no modo ótimo de intra-predição usando o pixel adjacente do qual a fase foi deslocada. A imagem de predição gerada e o valor de função de custo do modo ótimo de intra-predição são providos à unidade de seleção de imagem de predição 77.
[00155] No evento que a imagem a ser processada provida da memória temporária de seleção de tela 62 é uma imagem a ser submetida a inter- processamento, a imagem a ser referenciada é lida da memória de quadro 72, e provida à unidade de predição/compensação de movimento 76 pelo comutador 73. Na etapa S32, baseado nestes imagens, a unidade de predição/compensação de movimento 76 executa processamento de inter-predição de movimento. Quer dizer, a unidade de predição/compensação de movimento 76 referencia a imagem provida da memória de quadro 72 para executar o processamento de predição de movimento em todos dos modos de inter-predição servindo como candidatos.
[00156] Os detalhes do processamento de inter-predição de movimento na etapa S32 serão descritos mais tarde com referência à Figura 22, mas de acordo com este processamento, o processamento de predição de movimento em todos dos modos de inter-predição servindo como candidatos é executado, e um valor de função de custo sobre todos dos modos de inter-predição servindo como candidatos é calculado.
[00157] Na etapa S33, a unidade de predição/compensação de movimento 76 compara os valores de função de custo sobre os modos de inter- predição calculados na etapa S32, e determina o modo de predição que provê o valor mínimo, ser o modo ótimo de inter-predição. A unidade de predição/compensação de movimento 76 provê a imagem de predição gerada no modo ótimo de inter-predição, e o valor de função de custo disso à unidade de seleção de imagem de predição 77.
Descrição de Processamento de Intra-predição de acordo com Sistema de H.264/AVC
[00158] A seguir, os modos de intra-predição determinados pelo sistema de H.264/AVC serão descritos.
[00159] Primeiro, os modos de intra-predição sobre sinais de luminância serão descritos. Com os modos de intra-predição para sinais de luminância, três sistemas de um modo de intra-predição 4 x 4, um modo de intra-predição 8 x 8, e um modo de intra-predição 16 x 16 são determinados. Estes são modos para determinar unidades de bloco, e são fixados para cada macrobloco. Também, um modo de intra-predição pode ser fixado para sinais de diferença de cor independentemente de sinais de luminância para cada macrobloco.
[00160] Adicionalmente, no evento do modo de intra-predição 4 x 4, um modo de predição pode ser dividido dos nove tipos de modos de predição para cada bloco atual de 4 x 4 pixéis. No evento do modo de intra-predição 8 x 8, um modo de predição pode ser dividido dos nove tipos de modos de predição para cada bloco atual de 8 x 8 pixéis. Também, no evento do modo de intra- predição 16 x 16, um modo de predição pode ser dividido a um macrobloco atual de 16 x 16 pixéis fora dos quatro tipos de modos de predição.
[00161] Note que, daqui por diante, o modo de intra-predição 4 x 4, modo de intra-predição 8 x 8, e modo de intra-predição 16 x 16 também serão chamados modo de intra-predição de 4 x 4 pixéis, modo de intra-predição de 8 x 8 pixéis, e modo de intra-predição de 16 x 16 pixéis como apropriado, respectivamente.
[00162] Com o exemplo na Figura 9, numeral -1 por 25 anexados aos blocos representam a sequência de fluxo de bits (sequência de processamento no lado de decodificação) dos blocos disso. Note que, com relação a sinais de luminância, um macrobloco é dividido em 4 x 4 pixéis, e DCT de 4 x 4 pixéis é executada. Só no evento do modo de intra-predição 16 x 16, como mostrado em um bloco de -1, os componentes de CC dos blocos são coletados, uma matriz 4 x 4 é gerada, e é adicionalmente submete à transformada ortogonal.
[00163] Por outro lado, com relação a sinais de diferença de cor, depois que um macrobloco é dividido em 4 x 4 pixéis, e DCT de 4 x 4 pixéis é executada, como mostrado nos blocos 16 e 17, os componentes de CC dos blocos são coletados, uma matriz 2 x 2 é gerada, e esta é adicionalmente submete à transformada ortogonal.
[00164] Note que, com relação ao modo de intra-predição 8 x 8, este pode ser aplicado só a um caso onde o macrobloco atual é submetido à transformada ortogonal 8 x 8 com um perfil alto ou um perfil além deste.
[00165] Figura 10 e Figura 11 são diagramas mostrando nove tipos de modo de intra-predição de 4 x 4 pixéis (Intra_4x4_pred_mode) para sinais de luminância. Os oito tipos de modos diferentes de o modo 2 mostrando predição de valor médio (CC) corresponde às direções indicadas com números 0, 1, 3 por 8 na Figura 8, respectivamente.
[00166] Os nove tipos de intra_4x4_pred_mode serão descritos com referência à Figura 12. Com o exemplo na Figura 12, pixéis a por p representam os pixéis do bloco a ser submetido a intra-processamento, e valores de pixel A por M representam os valores de pixel de pixéis pertencendo a um bloco adjacente. Especificamente, os pixéis a por p são uma imagem a ser processada lida da memória temporária de seleção de tela 62, e os valores de pixel A por M são os valores de pixel de uma imagem decodificada a ser lida da memória de quadro 72 e referenciada.
[00167] No evento dos modos de intra-predição mostrados na Figura 10 e Figura 11, os valores de pixel de predição dos pixéis a por p são gerados como segue usando os valores de pixel A por M dos pixéis pertencendo a um pixel adjacente. Aqui, um valor de pixel está "disponível" representa que o valor de pixel está disponível sem uma razão tal que o pixel seja posicionado na borda do quadro de imagem, ou ainda não foi codificado. Por outro lado, que um valor de pixel está "indisponível" representa que o valor de pixel está indisponível devido a uma razão tal que o pixel seja posicionado na borda do quadro de imagem, ou ainda não foi codificado.
[00168] O modo 0 é um modo de Predição Vertical (modo de predição vertical), e é aplicado só a um caso onde os valores de pixel A por D estão "disponíveis". Neste caso, o valores dos pixéis pixel de predição a por p são gerados como a Expressão (7) seguinte. Valores de pixel de predição de pixéis a, e, i, e m = A Valores de pixel de predição de pixéis b, f, j, e n = B Valores de pixel de predição de pixéis c, g, k, e o = C Valores de pixel de predição de pixéis d, h, l, e p = D (7)
[00169] O modo 1 é um modo de Predição Horizontal (modo de predição horizontal), e é aplicado só a um caso onde o valores de pixel I por L estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (8) seguinte. Valores de pixel de predição de pixéis a, b, c, e d = I Valores de pixel de predição de pixéis e, f, g, e h = J Valores de pixel de predição de pixéis i, j, k, e l = K Valores de pixel de predição de pixéis m, n, o, e p = L (8)
[00170] O modo 2 é um modo de predição de CC, e o valor de pixel de predição é gerado como Expressão (9) quando o valores de pixel A, B, C, D, I, J, K e L estão todos "disponíveis".(A + B + C + D + I + J + K + L + 4) >> 3 (9)
[00171] Também, quando os valores de pixel A, B, C e D estão todos "indisponíveis", o valor de pixel de predição é gerado como Expressão (10).(I + J + K + L + 2) >> 2 (10)
[00172] Também, quando o valores de pixel que I, J, K, e L estão todos "indisponíveis", o valor de pixel de predição é gerado como Expressão (11).(A + B + C + D + 2) >> 2 ... (11)
[00173] Note que, quando o valores de pixel A, B, C, D, I, J, K e L estão todos "indisponíveis", 128 é empregado como o valor de pixel de predição.
[00174] O modo 3 é um Modo de predição Diagonal_Down_Left, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (12) seguinte. Valor de pixel de predição de pixel a = (A + 2B + C + 2) >> 2 Valores de pixel de predição de pixéis b E e = (B + 2C + D + 2) >> 2 Valores de pixel de predição de pixéis c, f, e i = (C + 2D + E + 2) >> 2 Valores de pixel de predição de pixéis d, g, j, e m = (D + 2E + F + 2) >> 2 Valores de pixel de predição de pixéis h, k, e n = (E + 2F + G + 2) >> 2 Valores de pixel de predição de pixéis l e o = (F + 2G + H + 2) >> 2 Valor de pixel de predição de pixel p = (G + 3H + 2) >> 2 (12)
[00175] O modo 4 é um Modo de predição Diagonal_Down_Right, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (13) seguinte. Valor de pixel de predição de pixel m = (J + 2K + L + 2) >> 2 Valores de pixel de predição de pixéis i e n = (I + 2J + K + 2) >> 2 Valores de pixel de predição de pixéis e, j, e o = (M + 2I + J + 2) >> 2 Valores de pixel de predição de pixéis a, f, k, e p = (A + 2M + eu + 2) >> 2 Valores de pixel de predição de pixéis b, g, e l = (M + 2A + B + 2) >> 2 Valores de pixel de predição de pixéis c e h = (A + 2B + C + 2) >> 2 Valor de pixel de predição de pixel d = (B + 2C + D + 2) >> 2 (13)
[00176] O modo 5 é um Modo de predição Diagonal_Vertical_Right, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (14) seguinte. Valores de pixel de predição de pixéis a e j = (M + A + 1) >> 1 Valores de pixel de predição de pixéis b e k = (A + B + 1) >> 1 Valores de pixel de predição de pixéis c e l = (B + C + 1) >> 1 Valor de pixel de predição de pixel d = (C + D + 1) >> 1 Valores de pixel de predição de pixéis e e n = (1 + 2M + A + 2) >> 2 Valores de pixel de predição de pixéis f e o = (M + 2A + B + 2) >> 2 Valores de pixel de predição de pixéis g e p = (A + 2B + C + 2) >> 2 Valor de pixel de predição de pixel h = (B + 2C + D + 2) >> 2 Valor de pixel de predição de pixel i = (M + 2I + J + 2) >> 2 Valor de pixel de predição de pixel m = (I + 2J + K + 2) >> 2 (14)
[00177] O modo 6 é um Modo de predição Horizontal_Down, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (15) seguinte. Valores de pixel de predição de pixéis a e g = (M + I + 1) >> 1 Valores de pixel de predição de pixéis b e h = (I + 2M + A + 2) >> 2 Valor de pixel de predição de pixel c = (M + 2A + B + 2) >> 2 Valor de pixel de predição de pixel d = (A + 2B + C + 2) >> 2 Valores de pixel de predição de pixéis e e k = (I + J + 1) >> 1 Valores de pixel de predição de pixéis f e l = (M + 2I + J + 2) >> 2 Valores de pixel de predição de pixéis i e o = (J + K + 1) >> 1 Valores de pixel de predição de pixéis j e p = (I + 2J + K + 2) >> 2 Valor de pixel de predição de pixel m = (K + L + 1) >> 1 Valor de pixel de predição de pixel n = (J + 2K + L + 2) >> 2 (15)
[00178] O modo 7 é um Modo de predição Vertical_Left, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, o pixel de predição valores dos pixéis a por p são gerados como a Expressão (16) seguinte. Valor de pixel de predição de pixel a = (A + B + 1) >> 1 Valores de pixel de predição de pixéis b e i = (B + C + 1) >> 1 Valores de pixel de predição de pixéis c e j = (C + D + 1) >> 1 Valores de pixel de predição de pixéis d e k = (D + E + 1) >> 1 Valor de pixel de predição de pixel l = (E + F + 1) >> 1 Valor de pixel de predição de pixel e = (A + 2B + C + 2) >> 2 Valores de pixel de predição de pixéis f e m = (B + 2C + D + 2) >> 2 Valores de pixel de predição de pixéis g e n = (C + 2D + E + 2) >> 2 Valores de pixel de predição de pixéis h e o = (D + 2E + F + 2) >> 2 Valor de pixel de predição de pixel p = (E + 2F + G + 2) >> 2 (16)
[00179] O modo 8 é um Modo de predição Horizontal_Up, e é aplicado só a um caso onde o valores de pixel A, B, C, D, I, J, K, L e M estão "disponíveis". Neste caso, os valores de pixel de predição dos pixéis a por p são gerados como a Expressão (17) seguinte. Valor de pixel de predição de pixel a = (I + J + 1) >> 1 Valor de pixel de predição de pixel b = (I + 2J + K + 2) >> 2 Valores de pixel de predição de pixéis c e e = (J + K + 1) >> 1 Valores de pixel de predição de pixéis d e f = (J + 2K + L + 2) >> 2 Valores de pixel de predição de pixéis g e i = (K + L + 1) >> 1 Valores de pixel de predição de pixéis h e j = (K + 3L + 2) >> 2 Valores de pixel de predição de pixéis k, l, m, n, o, e p = L (17)
[00180] A seguir, o sistema de codificação do intra-modo de predição de 4 x 4 pixéis (Intra_4x4_pred_mode) para sinais de luminância será descrito com referência à Figura 13. Com o exemplo na Figura 13, o bloco atual C a ser codificado, que é composto de 4 x 4 pixéis, é mostrado, e um bloco A e um bloco B, que são adjacentes ao bloco atual C e são compostos de 4 x 4 pixéis, são mostrados.
[00181] Neste caso, pode ser concebido que o Intra_4x4_pred_mode no bloco atual C, e o Intra_4x4_pred_mode no bloco A e bloco B têm correlação alta. Processamento de codificação é executado como segue usando esta correlação, por meio de que eficiência de codificação mais alta pode ser realizada.
[00182] Especificamente, com o exemplo na Figura 13, o Intra_4x4_pred_mode no bloco A e bloco B são levados como Intra_4x4_pred_modeA e Intra_4x4_pred_modeB respectivamente, e MostProbableMode é definido como a Expressão (18) seguinte.
[00183] MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB) (18)
[00184] Quer dizer, do bloco A e bloco B, um para o qual um mode_number menor é nomeado é levado como MostProbableMode.
[00185] Dois valores chamados como prev_intra4x4_pred_mode_flag[luma4x4Blkldx] estão definidos dentro de fluxo de bit como parâmetros sobre o bloco atual C, e processamento de decodificação é executado processando baseado no pseudo-código mostrado na Expressão (19) seguinte, por meio de que os valores de Intra_4x4_pred_mode e Intra4x4PredMode[luma4x4Blkldx] sobre o bloco atual C podem ser obtidos. se (prev_intra4x4_pred_mode_flag[luma4x4Blkldx]) Intra4x4PredMode[luma4x4Blkldx] = MostProbableMode senão se (rem_intra4x4_pred_mode[luma4x4Blkldx] < MostProbableMode) Intra4x4PredMode[luma4x4Blkldx]=rem_intra4x4_pred_mode [luma4x4Blkldx] senão Intra4x4PredMode[luma4x4Blkldx]=rem_intra4x4_pred_mode [luma4x4Blkldx] + 1 (19)
[00186] A seguir, o modo de intra-predição de 16 x 16 pixéis será descrito. Figura 14 e Figura 15 são diagramas mostrando os quatro tipos dos modo de intra-predição de 16 x 16 pixéis para sinais de luminância (Intra_16x16_pred_mode).
[00187] Os quatro tipos de modos de intra-predição serão descritos com referência à Figura 16. Com o exemplo na Figura 16, o macrobloco atual A a ser submetido a intra-processamento é mostrado, e P(x, y); x, y = -1, 0, ..., 15 representa o valor de pixel de um pixel adjacente ao macrobloco atual A.
[00188] O modo 0 é um modo de Predição Vertical, e é aplicado só quando P(x, -1); x, y = -1, 0, ..., 15 está "disponível". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (20) seguinte. Pred(x, y) = P(x, -1); x, y = 0, ..., 15 (20)
[00189] O modo 1 é um modo de Predição Horizontal, e é aplicado só quando P(-1, y); x, y = -1, 0, ., 15 está "disponível". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (21) seguinte. Pred(x, y) = P(-1, y); x, y = 0, ..., 15 (21)
[00190] O modo 2 é um modo de predição de CC, e no evento que todos de P(x, -1) e P(-1, y); x, y = -1, 0, ..., 15 estão "disponíveis", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (22) seguinte.
Figure img0002
[00191] Também, no evento que P(x, -1); x, y = -1, 0, ..., 15 está "indisponível", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (23) seguinte.
Figure img0003
[00192] No evento que P(-1, y); x, y = -1, 0, ..., 15 está "indisponível", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (24) seguinte.
Figure img0004
[00193] No evento que todos de P(x, -1) e P(-1, y); x, y = -1, 0, ..., 15 estão "indisponíveis", 128 é empregado como o valor de pixel de predição.
[00194] O modo 3 é um modo de Predição Plano, e só é aplicado quando todos de P(x, -1) e P(-1, y); x, y = -1, 0, ..., 15 estão "disponíveis". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (25) seguinte.
Figure img0005
[00195] A seguir, os modos de intra-predição sobre sinais de diferença de cor serão descritos. Figura 17 é um diagrama mostrando os quatro tipos de modos de intra-predição para sinais de diferença de cor (Intra_chroma_pred_mode). Os modos de intra-predição para sinais de diferença de cor podem ser fixados independentemente dos modos de intra- predição para sinais de luminância. Os modos de intra-predição sobre sinais de diferença de cor se conformam aos supracitados modos de intra-predição de 16 x 16 pixéis para sinais de luminância.
[00196] Porém, os modos de intra-predição de 16 x 16 pixéis para sinais de luminância levam um bloco de 16 x 16 pixéis como um objeto, mas por outro lado, os modos de intra-predição sobre sinais de diferença de cor levam um bloco de 8 x 8 pixéis como um objeto. Adicionalmente, como mostrado nas supracitadas Figura 14 e Figura 17, números de modo entre ambos não correspondem.
[00197] Agora, nos deixe conformar às definições dos valores de pixel do bloco atual A no modo de intra-predição de 16 x 16 pixéis, e um valor de pixel adjacente. Por exemplo, nos deixe dizer que o valor de pixel de um pixel adjacente ao macrobloco atual A (8 x 8 pixéis no evento de diferença de cor) a ser submetido a intra-processamento é levado como P(x, y); x, y = -1, 0, ..., 7.
[00198] O modo 0 é um Modo de predição de CC, e no evento que todos de P(x, -1) e P(-1, y); x, y = -1, 0, ..., 7 estão "disponíveis", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (26) seguinte.
Figure img0006
[00199] Também, no evento que P(-1, y); x, y = -1, 0, ..., 7 está "indisponível", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (27) seguinte.
Figure img0007
[00200] Também, no evento que P(x, -1); x, y = -1, 0, ..., 7 está "indisponível", o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (28) seguinte.
Figure img0008
[00201] O modo 1 é um modo de Predição Horizontal, e só é aplicado quando P(-1, y); x, y = -1, 0, ..., 7 está "disponível". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (29) seguinte. Pred(x, y) = P(-1, y); x, y = 0, ..., 7 (29)
[00202] O modo 2 é um modo de Predição Vertical, e só é aplicado quando P(x, -1); x, y = -1, 0, ..., 7 está "disponível". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (30) seguinte. Pred(x, y) = P(x, -1); x, y = 0, ..., 7 (30)
[00203] O modo 3 é um modo de Predição Plano, e é aplicado só quando P(x, -1) e P(-1, y); x, y = -1, 0, ..., 7 estão "disponíveis". Neste caso, o valor de pixel de predição Pred(x, y) de cada pixel do macrobloco atual A é gerado como a Expressão (31) seguinte.
Figure img0009
[00204] Como descrito acima, os modos de intra-predição para sinais de luminância incluem os nove tipos de modos de predição de unidades de bloco de 4 x 4 pixéis e 8 x 8 pixéis, e os quatro tipos de modos de predição de unidades de macrobloco de 16 x 16 pixéis. Os modos destas unidades de bloco são fixados para cada unidade de macrobloco. Os modos de intra-predição para sinais de diferença de cor incluem os quatro tipos de modos de predição de unidades de bloco de 8 x 8 pixéis. Os modos de intra-predição para sinais de diferença de cor podem ser fixados independentemente dos modos de intra- predição para sinais de luminância.
[00205] Também, com relação aos modos de intra-predição de 4 x 4 pixéis (modos de intra-predição 4 x 4), e os modos de intra-predição de 8 x 8 pixéis (modos de intra-predição 8 x 8) para sinais de luminância, um modo de intra-predição é fixado para cada bloco de sinal de luminância de 4 x 4 pixéis e 8 x 8 pixéis. Com relação ao modo de intra-predição de 16 x 16 pixéis (modo de intra-predição 16 x 16) para sinais de luminância e os modos de intra- predição para sinais de diferença de cor, um modo de predição é fixado sobre um macrobloco.
[00206] Note que os tipos de modos de predição correspondem a direções indicadas com os supracitados números 0, 1, 3 por 8 na Figura 1. O modo de predição 2 é predição de valor médio.
[00207] Como descrito acima, a intra-predição de acordo com o sistema de H.264/AVC é executada com precisão de pixel inteiro. Por outro lado, com a dispositivo de codificação de imagem 51, intra-predição com precisão de pixel de fração é executada.
Operação de Intra-predição com Precisão de Pixel de Fração
[00208] A seguir, operação para realizar intra-predição com precisão de pixel de fração será descrita com referência à Figura 18. Note que o exemplo na Figura 18 ilustra um exemplo no evento que o bloco atual tem 4 x 4 pixéis.
[00209] No caso do exemplo na Figura 18, círculos sólidos representam os pixéis do bloco atual a ser submetido à intra-predição, e círculos brancos representam pixéis adjacentes, adjacentes ao bloco atual. Adicionalmente, em detalhes, dos pixéis adjacentes que são os círculos brancos, o pixel adjacente esquerdo superior, adjacente à poção esquerda superior do bloco atual é A-1 e também I-1, e este pixel é equivalente a um pixel do qual o valor de pixel é M na Figura 12. Dos pixéis adjacentes que são círculos brancos, os pixéis adjacentes superiores adjacentes à porção superior do bloco atual são A0, A1, A2, e assim por diante, e estes pixéis são equivalentes a pixéis dos quais os valores de pixel são A por H na Figura 12. Dos pixéis adjacentes que são círculos brancos, a esquerda pixéis adjacentes, adjacentes à porção esquerda do bloco atual são I0, I1, I2, e assim por diante, e estes pixéis são equivalentes a pixéis dos quais os valores de pixel são I por L na Figura 12.
[00210] Também, a-0.5, a+0.5, e assim por diante, e i-0.5, i+0.5, e assim por diante mostrado entre os pixéis adjacentes represente pixéis com precisão de 1/2 pixel. Adicionalmente, a-0.75, a-0.25, a+0.25, a+0.75, e assim por diante, e i-0.75, i- 0.25, i+0.25, i+0.75, e assim por diante mostrados entre os pixéis a-0.5, a+0.5, e assim por diante, e i-0.5, i+0.5, e assim por diante represente pixéis com precisão de 1/4 pixel.
[00211] Primeiro, como uma primeira operação, com a unidade de intra- predição 74, intra-predição é executada sobre os modos de intra-predição usando os valores de pixel A por M mostrados na Figura 12, e a intra-predição ótima é determinada fora dos modos de intra-predição. No evento que o bloco atual é 4 x 4, este modo ótimo de intra-predição é um dos nove modos de predição na Figura 10 ou Figura 11.
[00212] Por exemplo, nos deixe dizer que o modo 0 (modo de Predição Vertical) foi selecionado como o modo ótimo de intra-predição. Neste momento, pixéis adjacentes usados para predição do bloco atual são os pixéis A0, A1, A2, e A3 na Figura 18 de qual os valores de pixel são valores de pixel A por D na Figura 12.
[00213] Como uma segunda operação, com a unidade de interpolação de pixel adjacente 75, de acordo com o filtro de FIR de 6 derivações de acordo com o sistema de H.264/AVC descrito acima com referência à Figura 4, pixéis a-0.5, a+0.5, e assim por diante com precisão de 1/2 pixel na Figura 18 são gerados. Quer dizer, o pixel a-0.5 é mostrado com a Expressão (32) seguinte.a-0.5 = (A-2 -5*A-1 + 20*A0 + 20*A1 -5*A1 + A2 + 16) >> 5 (32)
[00214] Isto pode ser aplicado a outros pixéis a+0.5, a+1.5, e assim sucessivamente com precisão de 1/2 pixel.
[00215] Como uma terceira operação, com a unidade de interpolação de pixel adjacente 75, pixéis a-0.75, a-0.25, a+0.25, e a+0.75 com precisão de 1/4 pixel na Figura 18 são gerados de pixéis A0, A1, A2, A3, e pixéis a-0.5, a+0.5, e assim sucessivamente através de interpolação linear. Especificamente, o pixel a+0.25 é indicado pela Expressão (33) seguinte.a-0.5 = A0 + a+0.5 + 1) >> 2 (33)
[00216] Isto pode ser aplicado a outros pixéis com precisão de 1/4 pixel.
[00217] Como uma quarta operação, com a unidade de intra-predição 74, no caso do modo 0, valores -0.75, -0.50, -0.25, +0.25, +0.50, e +0.75, que são diferenças de fase entre um pixel inteiro e cada uma das precisões de pixel fracionário são levados como candidatos na quantidade de deslocamento na direção horizontal, e a quantidade ótima de deslocamento é determinada.
[00218] Por exemplo, no evento que a quantidade de deslocamento é +0.25, intra-predição é executada usando os valores de pixel de pixéis a+0.25, a+1.25, a+2.25, e a+3.25 em vez dos valores de pixel dos pixéis A0, A1, A2 e A3.
[00219] Deste modo, a quantidade ótima de deslocamento é determinada sobre o modo ótimo de intra-predição selecionado na primeira operação. Por exemplo, pode haver um caso onde a quantidade de deslocamento é 0 é determinado ser a ótima, e o valores de pixel de um pixel inteiro é usado.
[00220] Note que, dos nove modos de predição mostrados na Figura 10 ou Figura 11, com relação ao modo 2 (modo de predição de CC), processamento de valor médio é executado. Por conseguinte, até mesmo ao executar deslocamento, isto não está envolvido diretamente com melhoria em eficiência de codificação, e por conseguinte, a supracitada operação é inibida e não executada.
[00221] Com relação ao modo 0 (modo de Predição Vertical), modo 3 (Modo de predição Diagonal_Down_Left), ou modo 7 (Modo de predição Vertical_Left), deslocamento só com os pixéis adjacentes superiores A0, A1, A2, e assim por diante na Figura 18 serve como um candidato.
[00222] Com relação ao modo 1 (modo de Predição Horizontal) ou modo 8 (Modo de predição Horizontal_Up), deslocamento só com os pixéis adjacentes esquerdos I0, I1, I2, e assim por diante na Figura 18 serve como um candidato.
[00223] Com relação aos outros modos (modos 4 por 6), deslocamento tem que ser levado em conta considerando ambos os pixéis adjacentes superiores e pixéis adjacentes esquerdos.
[00224] Também, com relação aos pixéis adjacentes superiores, só a quantidade de deslocamento na direção horizontal é determinada, e com relação aos pixéis adjacentes esquerdos, só a quantidade de deslocamento na direção vertical é determinada.
[00225] As supracitadas primeira por quarta operações são pré-formadas para determinar a quantidade ótima de deslocamento, por meio de que as seleções de valores de pixel usados no modo de intra-predição podem ser aumentadas, e adicionalmente intra-predição ótima pode ser executada. Assim, eficiência de codificação em intra-predição pode ser melhorada adicionalmente.
[00226] Também, com o sistema de H.264/AVC, como descrito acima com referência à Figura 4, o circuito de um filtro de FIR de 6 derivações só usado para compensação de inter-predição de movimento também pode ser usado efetivamente para intra-predição. Assim, eficiência pode ser melhorada sem aumentar o circuito.
[00227] Adicionalmente, pode ser executada intra-predição com resolução adicional melhor que 22,5 graus que é a resolução para intra-predição determinada no sistema de H.264/AVC.
Exemplo de Efeito Vantajoso de Intra-predição com Precisão de Pixel Fracionário
[00228] Com o exemplo na Figura 19, linhas pontilhadas representam as direções dos modos de predição de intra-predição de acordo com o sistema de H.264/AVC descrito acima com referência à Figura 1. Números anexados com as linhas pontilhadas correspondem aos números dos nove modos de predição mostrados na Figura 10 ou Figura 11, respectivamente. Note que o modo 2 é predição de valor médio, e por conseguinte, o número disso não é mostrado.
[00229] Com o sistema de H.264/AVC, intra-predição pode ser executada só com resolução de 22,5 graus mostrada em linhas pontilhadas. Por outro lado, com o dispositivo de codificação de imagem 51, intra-predição é executada com precisão de pixel fracionário, intra-predição com resolução melhor que 22,5 graus como representado com uma linha grossa. Assim, em particular, eficiência de codificação sobre textura tendo uma borda oblíqua pode ser melhorada.
Descrição de Processamento de Intra-Predição
[00230] A seguir, processamento de intra-predição servindo como as supracitadas operações será descrito com referência ao fluxograma na Figura 20. Note que este processamento de intra-predição é o processamento de intra- predição na etapa S31 na Figura 8, e com o exemplo na Figura 20, descrição será feita de um caso de sinais de luminância como um exemplo.
[00231] Na etapa S41, a unidade de determinação de modo ótimo 82 executa intra-predição sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis.
[00232] Como descrito acima, com o modos de intra-predição 4 x 4 e os modos de intra-predição 8 x 8, são providos nove tipos de modos de predição, e um modo de predição pode ser definido para cada bloco, respectivamente. Com relação ao modo de intra-predição 16 x 16, e o modo de intra-predição para sinais de diferença de cor, um modo de predição pode ser definido sobre um macrobloco.
[00233] A unidade de determinação de modo ótimo 82 se refere a um pixel adjacente decodificado lido da memória temporária de imagem adjacente 81 para submeter um pixel do bloco a ser processado à intra-predição usando todos os tipos dos modos de intra-predição. Assim, imagens de predição são geradas relativas a todos os tipos dos modos de predição dos modos de intra- predição. Note que como para um pixel decodificado ser referenciado, um pixel não submetido à filtragem de desbloqueio pelo filtro de desbloqueio 71 é usado.
[00234] Na etapa S42, a unidade de determinação de modo ótimo 82 calcula um valor de função de custo sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis. Aqui, cálculo de um valor de função de custo é executado baseado em uma das técnicas de um modo de Alta Complexidade ou modo de Baixa Complexidade. Estes modos são determinados em JM (Modelo Associado), isso é software de referência no sistema de H.264/AVC.
[00235] Especificamente, no modo de Alta Complexidade, por tentativas, até que processamento de codificação seja executado sobre todos os modos de predição servindo como candidatos como o processamento na etapa S41. Um valor de função de custo representado com a Expressão (34) seguinte é calculado sobre os modos de predição, e um modo de predição que provê o valor mínimo disso é selecionado como o modo ótimo de predição.Cost(Mode) = D + X • R (34)
[00236] D denota diferença (distorção) entre a imagem bruta e uma imagem decodificada, R denota uma quantidade de código gerada incluindo um coeficiente de transformada ortogonal, e X denota um multiplicador de LaGrange a ser provido como uma função de um parâmetro de quantização QP.
[00237] Por outro lado, no modo de Baixa Complexidade, uma imagem de predição é gerada, e até bits de cabeçalho de informação de vetor de movimento, informação de modo de predição, informação de bandeira, e assim sucessivamente são calculados sobre todos dos modos de predição servindo como candidatos como o processamento na etapa S41. Um valor de função de custo representado com a Expressão (35) seguinte é calculado sobre os modos de predição, e um modo de predição que provê o valor mínimo disso é selecionado como o modo ótimo de predição.Cost(Mode) = D + QPtoQuant(QP) • Header_Bit (35)
[00238] D denota diferença (distorção) entre a imagem bruta e uma imagem decodificada, Header_Bit denota bits de cabeçalho sobre um modo de predição, e QPtoQuant é uma função a ser provida como uma função do parâmetro de quantização QP.
[00239] No modo de Baixa Complexidade, uma imagem de predição só é gerada sobre todos dos modos de predição, e não há nenhuma necessidade para executar processamento de codificação e processamento de decodificação, e por conseguinte, uma quantidade de cálculo pode ser reduzida.
[00240] Na etapa S43, a unidade de determinação de modo ótimo 82 determina o modo ótimo sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis. Especificamente, como descrito acima, no caso do modo de intra-predição 4 x 4 e modo de intra-predição 8 x 8, o número de tipos de modo de predição é nove, e no evento do modo de intra-predição 16 x 16, o número de tipos de modo de predição é quatro. Por conseguinte, a unidade de determinação de modo ótimo 82 determina, baseado nos valores de função de custo calculados na etapa S42, o modo ótimo de intra-predição4 x 4, modo ótimo de intra-predição 8 x 8, e modo ótimo de intra-predição 16 x 16 fora disso.
[00241] Na etapa S44, a unidade de determinação de modo ótimo 82 seleciona o modo ótimo de intra-predição fora dos modos ótimos determinados sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis baseado nos valores de função de custo calculados na etapa S42. Especificamente, a unidade de determinação de modo ótimo 82 seleciona um modo do qual o valor de função de custo é o valor mínimo fora dos modos ótimos determinados sobre 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis, como o modo ótimo de intra-predição.
[00242] A informação de modo de predição determinada é provida à unidade de determinação de modo 91, unidade de determinação de quantidade ótima de deslocamento 83, e unidade geradora de imagem de predição 84. Também, o valor de função de custo correspondendo ao modo de predição também é provido à unidade geradora de imagem de predição 84.
[00243] Na etapa S45, a unidade de interpolação de pixel adjacente 75 e unidade de determinação de quantidade ótima de deslocamento 83 executam processamento de interpolação adjacente. Os detalhes do processamento de interpolação adjacente na etapa S45 serão descritos depois com referência à Figura 21, mas de acordo com este processamento, a quantidade ótima de deslocamento é determinada na direção de deslocamento de acordo com o modo ótimo de intra-predição determinado. Informação relativa à quantidade ótima de deslocamento determinada é provida à unidade geradora de imagem de predição 84.
[00244] Na etapa S46, a unidade geradora de imagem de predição 84 gera uma imagem de predição usando o pixel adjacente do qual a fase foi deslocada com a quantidade ótima de deslocamento.
[00245] Especificamente, a unidade geradora de imagem de predição 84 lê o pixel adjacente correspondendo ao bloco atual a ser submetido à intra- predição da memória temporária de imagem adjacente 81. A unidade geradora de imagem de predição 84 então desloca a fase do pixel adjacente lido na direção de fase de acordo com o modo de predição com a quantidade ótima de deslocamento pelo filtro de FIR de 6 derivações e interpolação linear. A unidade geradora de imagem de predição 84 executa intra-predição no modo de predição determinado pela unidade de determinação de modo ótimo 82 usando o pixel adjacente do qual a fase foi deslocada para gerar uma imagem de predição do bloco atual, e provê a imagem de predição gerada e o valor de função de custo correspondente para a unidade de seleção de imagem de predição 77.
[00246] Note que no evento que a quantidade ótima de deslocamento é 0, o valor de pixel do pixel adjacente da memória temporária de imagem adjacente 81 é usado.
[00247] No evento que a imagem de predição gerada no modo ótimo de intra-predição pela unidade de seleção de imagem de predição 77 foi selecionado, informação indicando a intra-predição ótima, e informação da quantidade de deslocamento são providas à unidade de codificação sem perda 66 pela unidade geradora de imagem de predição 84. Estes são então codificados na unidade de codificação sem perda 66, e adicionados à informação de cabeçalho da imagem comprimida (etapa S23 supracitada na Figura 7).
[00248] Note que como para codificação da informação da quantidade de deslocamento, diferença entre a quantidade de deslocamento determinada do bloco atual, e a quantidade de deslocamento em um bloco que provê o MostProbableMode descrito acima com referência à Figura 13 é codificada.
[00249] Porém, por exemplo, no evento que o MostProbableMode é o modo 2 (predição de CC), e o modo de predição do bloco atual é o modo 0 (predição Vertical), não há nenhuma quantidade de deslocamento na direção horizontal no bloco que provê o MostProbableMode. Também, até mesmo com uma situação em que este bloco é um intra-macrobloco em inter-pedaço, não há nenhuma quantidade de deslocamento na direção horizontal no bloco que provê o MostProbableMode.
[00250] Em tal caso, processamento de codificação de diferença será executado assumindo que a quantidade de deslocamento na direção horizontal no bloco que provê o MostProbableMode é 0.
Descrição de Processamento de Interpolação de Pixel Adjacente
[00251] A seguir, o processamento de interpolação de pixel adjacente na etapa S45 na Figura 20 será descrito com referência ao fluxograma na Figura 21. Com o exemplo na Figura 21, descrição será feita relativa a um caso onde o bloco atual é 4 x 4.
[00252] A informação do modo de predição determinado pela unidade de determinação de modo ótimo 82 é provida à unidade de determinação de modo 91. Na etapa S51, a unidade de determinação de modo 91 determina se ou não o modo ótimo de intra-predição é o modo de CC. No evento que determinação é feita na etapa S51 que o modo ótimo de intra-predição não é o modo de CC, o processo procede à etapa S52.
[00253] Na etapa S52, a unidade de determinação de modo 91 determina se o modo ótimo de intra-predição é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left.
[00254] No evento que determinação é feita na etapa S52 que o modo ótimo de intra-predição é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left, o processamento procede à etapa S53.
[00255] Na etapa S53, a unidade de determinação de modo 91 produz um sinal de controle para a unidade de interpolação de direção horizontal 92 para executar interpolação na direção horizontal. Especificamente, em resposta ao sinal de controle da unidade de determinação de modo 91, a unidade de interpolação de direção horizontal 92 lê um pixel adjacente superior da memória temporária de imagem adjacente 81, e desloca a fase na direção horizontal do pixel adjacente superior lido pelo filtro de FIR de 6 derivações e interpolação linear. A unidade de interpolação de direção horizontal 92 provê a informação do pixel adjacente superior interpolado para a unidade de determinação de quantidade ótima de deslocamento 83.
[00256] Na etapa S54, a unidade de determinação de quantidade ótima de deslocamento 83 determina a quantidade ótima de deslocamento do pixel adjacente superior de -0.75 por +0.75 relativo ao modo de predição determinado pela unidade de determinação de modo ótimo 82. Note que, com esta determinação, a imagem do bloco atual a ser submetido à intra-predição, e a informação do pixel adjacente superior lida da memória temporária de imagem adjacente 81, e o pixel adjacente superior interpolado são usadas. Também, neste momento, a quantidade ótima de deslocamento relativo aos pixéis adjacentes esquerdos é fixada a 0. A informação da quantidade ótima de deslocamento determinada é provida à unidade geradora de imagem de predição 84.
[00257] No evento que determinação é feita na etapa S52 que o modo ótimo de intra-predição não é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left, o processamento procede à etapa S55.
[00258] Na etapa S55, a unidade de determinação de modo 91 determina se o modo ótimo de intra-predição é o modo de Predição Horizontal ou Modo de predição Horizontal_Up. No evento que determinação é feita na etapa S55 que o modo ótimo de intra-predição é o modo de Predição Horizontal ou Modo de predição Horizontal_Up, o processamento procede à etapa S56.
[00259] Na etapa S56, a unidade de determinação de modo 91 produz um sinal de controle para a unidade de interpolação de direção vertical 93 para executar interpolação na direção vertical. Especificamente, em resposta ao sinal de controle da unidade de determinação de modo 91, a unidade de interpolação de direção vertical 93 lê uma pixel adjacente esquerdo da memória temporária de imagem adjacente 81, e desloca a fase na direção vertical do pixel adjacente lido pelo filtro de FIR de 6 derivações e interpolação linear. A unidade de interpolação de direção vertical 93 provê a informação da pixel adjacente esquerdo interpolado para a unidade de determinação de quantidade ótima de deslocamento 83.
[00260] Na etapa S57, a unidade de determinação de quantidade ótima de deslocamento 83 determina a quantidade ótima de deslocamento do pixel adjacente esquerdo de -0.75 por +0.75 relativo ao modo de predição determinado pela unidade de determinação de modo ótimo 82. Note que, com esta determinação, a imagem do bloco atual a ser submetido à intra-predição, e a informação do pixel adjacente esquerdo lido da memória temporária de imagem adjacente 81, e o pixel adjacente esquerdo interpolado é usado. Também, neste momento, a quantidade ótima de deslocamento relativa aos pixéis adjacentes superiores é fixada a 0. A informação da quantidade ótima de deslocamento determinada é provida à unidade geradora de imagem de predição 84.
[00261] No evento que determinação é feita na etapa S55 que o modo ótimo de intra-predição não é o modo de Predição Horizontal ou Modo de predição Horizontal_Up, o processamento procede à etapa S58.
[00262] Na etapa S58, a unidade de determinação de modo 91 produz um sinal de controle para a unidade de interpolação de direção horizontal 92 para executar interpolação na direção horizontal, e produz um sinal de controle para a unidade de interpolação de direção vertical 93 para executar interpolação na direção vertical.
[00263] Especificamente, em resposta ao sinal de controle da unidade de determinação de modo 91, a unidade de interpolação de direção horizontal 92 lê um pixel adjacente superior da memória temporária de imagem adjacente 81, e desloca a fase na direção horizontal do pixel adjacente superior lido pelo filtro de FIR de 6 derivações e interpolação linear. A unidade de interpolação de direção horizontal 92 provê a informação do pixel adjacente superior interpolado para a unidade de determinação de quantidade ótima de deslocamento 83.
[00264] Também, em resposta ao sinal de controle da unidade de determinação de modo 91, a unidade de interpolação de direção vertical 93 lê um pixel adjacente esquerdo da memória temporária de imagem adjacente 81, e desloca a fase na direção vertical do pixel adjacente lido pelo filtro de FIR de 6 derivações e interpolação linear. A unidade de interpolação de direção vertical 93 provê a informação do pixel adjacente esquerdo interpolado para a unidade de determinação de quantidade ótima de deslocamento 83.
[00265] Na etapa S59, a unidade de determinação de quantidade ótima de deslocamento 83 determina as quantidades ótimas de deslocamento dos pixéis adjacentes superiores e esquerdos de -0.75 por +0.75 relativo ao modo de predição determinado pela unidade de determinação de modo ótimo 82. Com esta determinação, a imagem do bloco atual a ser submetido à intra- predição, e a informação dos pixéis adjacentes superiores e esquerdos lidos da memória temporária de imagem adjacente 81, e os pixéis adjacentes superiores e esquerdos interpolados são usados. A informação das quantidades ótimas de deslocamento determinadas é provida à unidade geradora de imagem de predição 84.
[00266] Por outro lado, no evento que determinação é feita na etapa S51 que o modo ótimo de intra-predição é o modo de CC, o processamento de interpolação de pixel adjacente é terminado. Especificamente, nem a unidade de interpolação de direção horizontal 82 nem a unidade de interpolação de direção vertical 83 opera, e com a unidade de determinação de quantidade ótima de deslocamento 83, a quantidade ótima de deslocamento é determinada ser zero.
Descrição de Processamento de Inter-Predição de Movimento
[00267] A seguir, o processamento de inter-predição de movimento na etapa S32 na Figura 8 será descrito com referência ao fluxograma na Figura 22.
[00268] Na etapa S61, a unidade de predição/compensação de movimento 76 determina um vetor de movimento e uma imagem de referência sobre cada um dos oito tipos dos modos de inter-predição compostos de 16 x 16 pixéis por 4 x 4 pixéis. Quer dizer, um vetor de movimento e uma imagem de referência são determinados sobre o bloco a ser processado em cada um dos modos de inter-predição.
[00269] Na etapa S62, a unidade de predição/compensação de movimento 76 submete a imagem de referência a processamento de predição e compensação de movimento baseado no vetor de movimento determinado na etapa S61 considerando cada um dos oito tipos dos modos de inter-predição compostos de 16 x 16 pixéis por 4 x 4 pixéis. De acordo com este processamento de predição e compensação de movimento, uma imagem de predição em cada um dos modos de inter-predição é gerada.
[00270] Na etapa S63, a unidade de predição/compensação de movimento 76 gera informação de vetor de movimento a ser adicionada à imagem comprimida relativa aos vetores de movimento determinados sobre cada um dos oito tipos dos modos de inter-predição compostos de 16 x 16pixéis por 4 x 4 pixéis. Neste momento, o método de geração de vetor de movimento descrito acima com referência à Figura 5 é empregado.
[00271] A informação de vetor de movimento gerada também é empregada na hora de cálculo de valores de função de custo no próxima etapa S64, e no evento que a imagem de predição correspondente foi selecionada finalmente pela unidade de seleção de imagem de predição 77, esta imagem de predição é produzida à unidade de codificação sem perda 66 junto com a informação de modo de predição e informação de quadro de referência.
[00272] Na etapa S64, a unidade de predição/compensação de movimento 76 calcula o valor de função de custo mostrado na supracitada Expressão (34) ou Expressão (35) sobre cada um dos oito tipos dos modos de inter- predição compostos de 16 x 16 pixéis por 4 x 4 pixéis. O valor de função de custo calculado aqui é empregado na hora de determinar o modo ótimo de inter-predição no supracitada etapa S34 na Figura 8.
[00273] Note que o princípio de operação de acordo com a presente invenção não está restringido às operações descritas acima com referência à Figura 18, Figura 20 e Figura 21. Por exemplo, um arranjo pode ser feito em que sobre todos os modos de intra-predição, os valores de predição de todas das quantidades de deslocamento servindo como candidatos são calculados, e erro residual disso é calculado, e o modo ótimo de intra-predição e quantidade ótima de deslocamento são determinadas. Um exemplo de configuração da unidade de intra-predição e unidade de interpolação de pixel adjacente no caso de executar esta operação será mostrado na Figura 23.
Outro Exemplo de Configuração de Unidade de Intra-Predição e Unidade de Interpolação de Pixel Adjacente
[00274] Figura 23 é um diagrama de bloco ilustrando outro exemplo de configuração da unidade de intra-predição e unidade de interpolação de pixel adjacente.
[00275] No caso do exemplo na Figura 23, a unidade de intra-predição 74 é configurada de uma memória temporária de imagem adjacente 101, uma unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102, e uma unidade geradora de imagem de predição 103.
[00276] A unidade de interpolação de pixel adjacente 75 é configurada de uma unidade de interpolação de direção horizontal 111, e uma unidade de interpolação de direção vertical 112.
[00277] A memória temporária de imagem adjacente 101 acumula um pixel adjacente do bloco atual a ser submetido à intra-predição da memória de quadro 72. No caso da Figura 23 igualmente, desenho do comutador 73 é omitido, mas na realidade, um pixel adjacente é provido da memória de quadro 72 para a memória temporária de imagem adjacente 101, pelo comutador 73.
[00278] Os pixéis do bloco atual a ser submetido à intra-predição são entrados da memória temporária de seleção de tela 62 para a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102. A unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 lê um pixel adjacente correspondendo ao bloco atual a ser submetido à intra-predição da memória temporária de imagem adjacente 101.
[00279] A unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 provê a informação de um modo de intra-predição de candidato (daqui por diante, chamado modo de candidato) para a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112. A informação do pixel adjacente interpolado de acordo com o modo de candidato é entrada à unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 da unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112.
[00280] A unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 executa intra-predição sobre todos dos modos de candidato e todas das quantidades de deslocamento de candidato usando os pixéis do bloco atual a ser submetido à intra-predição, o pixel adjacente correspondente, e o valor de pixel do pixel adjacente interpolado para gerar uma imagem de predição. A unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 então calcula um valor de função de custo, erro de predição, e assim sucessivamente para determinar o modo ótimo de intra-predição e a quantidade ótima de deslocamento fora de todos dos modos de candidato e todas das quantidades de deslocamento. A informação do modo de predição determinado e quantidade de deslocamento é provida à unidade geradora de imagem de predição 103. Note que, neste momento, o valor de função de custo sobre o modo de predição é provido também à unidade geradora de imagem de predição 103.
[00281] A unidade geradora de imagem de predição 103 lê um pixel adjacente correspondendo ao bloco atual a ser submetido à intra-predição da memória temporária de imagem adjacente 101, e desloca a fase do pixel adjacente lido na direção de fase de acordo com o modo de predição pelo filtro de FIR de 6 derivações e interpolação linear com a quantidade ótima de deslocamento.
[00282] A unidade geradora de imagem de predição 103 executa intra- predição com o modo ótimo de intra-predição determinado pela unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 usando o pixel adjacente do qual a fase foi deslocada para gerar uma imagem de predição do bloco atual. A unidade geradora de imagem de predição 103 produz a imagem de predição gerada e o valor de função de custo correspondente para a unidade de seleção de imagem de predição 77.
[00283] Também, no evento que a imagem de predição gerada no modo ótimo de intra-predição foi selecionada pela unidade de seleção de imagem de predição 77, a unidade geradora de imagem de predição 103 provê informação indicando o modo ótimo de intra-predição e a informação da quantidade de deslocamento à unidade de codificação sem perda 66.
[00284] A unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 cada uma leu um pixel adjacente da memória temporária de imagem adjacente 101 de acordo com o modo de candidato da unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102. A unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 deslocam a fase do pixel adjacente lido na direção horizontal e direção vertical pelo filtro de FIR de 6 derivações e interpolação linear, respectivamente.
Outra Descrição de Processamento de Intra-Predição
[00285] A seguir, o processamento de intra-predição que a unidade de intra-predição 74 e unidade de interpolação de pixel adjacente 75 na Figura 23 executam será descrito com referência ao fluxograma na Figura 24. Note que este processamento de intra-predição é outro exemplo do processamento de intra-predição na etapa S31 na Figura 8.
[00286] A unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 provê informação dos modo de intra-predição de candidato para a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112.
[00287] Na etapa S101, a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 executam o processamento de interpolação de pixel adjacente sobre todos dos modos de intra-predição de candidato. Especificamente, na etapa S101, o processamento de interpolação de pixel adjacente é executado sobre cada um dos modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis.
[00288] Os detalhes do processamento de interpolação adjacente na etapa S101 serão descritos mais tarde com referência à Figura 25, mas de acordo com este processamento, informação do pixel adjacente interpolado na direção de deslocamento de acordo com cada um dos modos de intra-predição é provida à unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102.
[00289] Na etapa S102, a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 executa intra-predição sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis, e as quantidades de deslocamento.
[00290] Especificamente, a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 executa intra-predição sobre todos dos modos de intra-predição e todas das quantidades de deslocamento de candidato usando os pixéis do bloco atual a ser submetido à intra-predição, o pixel adjacente correspondente, e o valor de pixel do pixel adjacente interpolado. Como resultado disso, imagens de predição são geradas sobre todos dos modos de intra-predição e todas das quantidades de deslocamento de candidato.
[00291] Na etapa S103, a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 calcula o valor de função de custo da supracitada Expressão (34) ou Expressão (35) sobre cada um dos modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis, em que uma imagem de predição é gerada, e cada quantidade de deslocamento.
[00292] Na etapa S104, a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 compara os valores de função de custo calculados, por esse meio determinando o modo ótimo e quantidade ótima de deslocamento sobre cada um dos modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis.
[00293] Na etapa S105, a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 seleciona o modo ótimo de intra- predição e quantidade ótima de deslocamento fora dos modos ótimos e quantidades ótimas de deslocamento determinadas na etapa S104 baseado nos valores de função de custo calculados na etapa S103. Especificamente, o modo ótimo de intra-predição e quantidade ótima de deslocamento são selecionados fora dos modos ótimos e quantidades ótimas de deslocamento determinadas sobre os modos de intra-predição de 4 x 4 pixéis, 8 x 8 pixéis e 16 x 16 pixéis. Informação do modo de predição selecionado e quantidade de deslocamento é provida à unidade geradora de imagem de predição 103 junto com o valor de função de custo correspondente.
[00294] Na etapa S106, a unidade geradora de imagem de predição 103 gera uma imagem de predição usando um pixel adjacente do qual a fase foi deslocada com a quantidade ótima de deslocamento.
[00295] Especificamente, a unidade geradora de imagem de predição 103 lê o pixel adjacente correspondendo ao bloco atual a ser submetido à intra- predição da memória temporária de imagem adjacente 101. A unidade geradora de imagem de predição 103 então desloca a fase do pixel adjacente lido na direção de fase de acordo com o modo de predição determinado com a quantidade ótima de deslocamento pelo filtro de FIR de 6 derivações e interpolação linear.
[00296] A unidade geradora imagem de predição 103 executa intra- predição no modo de predição determinado pela unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 usando o pixel adjacente do qual a fase foi deslocada para gerar uma imagem de predição do bloco atual. A imagem de predição gerada é provida à unidade de seleção de imagem de predição 77 junto com o valor de função de custo correspondente.
Descrição de Processamento de Interpolação de Pixel Adjacente
[00297] A seguir, o processamento de interpolação de pixel adjacente na etapa S101 na Figura 24 será descrito com referência ao fluxograma na Figura 25. Note que este processamento de pixel interpolação adjacente é processamento a ser executado para cada modo de intra-predição de candidato. Também, etapas S111 por S116 na Figura 25 executam o mesmo processamento como as etapas S51 por S53, S55, S56, e S58 na Figura 21, e por conseguinte, descrição detalhada disso será omitida como apropriado.
[00298] A informação do modo de intra-predição de candidato da unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102 é provida à unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112. Na etapa S111, a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 determinam se ou não o modo de intra-predição de candidato é o modo de CC. No evento que determinação é feita na etapa S111 que o modo de intra- predição de candidato não é o modo de CC, o processamento procede à etapa S112.
[00299] Na etapa S112, a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 determinam se ou não o modo de intra-predição de candidato é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left.
[00300] No evento que determinação é feita na etapa S112 que o modo de intra-predição de candidato é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left, o processamento procede à etapa S113.
[00301] Na etapa S113, a unidade de interpolação de direção horizontal 111 executa interpolação na direção horizontal de acordo com o modo de intra- predição de candidato. A unidade de interpolação de direção horizontal 111 provê informação de um pixel adjacente superior interpolado para unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102. Neste momento, a unidade de interpolação de direção vertical 112 não executa processamento de interpolação na direção vertical.
[00302] No evento que determinação é feita na etapa S112 que o modo de intra-predição de candidato não é o modo de Predição Vertical, Modo de predição Diagonal_Down_Left, ou Modo de predição Vertical_Left, o processamento procede à etapa S114.
[00303] Na etapa S114, a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 determinam se o modo de intra-predição de candidato é o modo de Predição Horizontal ou Modo de predição Horizontal_Up. No evento que determinação é feita na etapa S114 que o modo de intra-predição de candidato é o modo de Predição Horizontal ou Modo de predição Horizontal_Up, o processamento procede à etapa S115.
[00304] Na etapa S115, a unidade de interpolação de direção vertical 112 executa interpolação na direção vertical de acordo com o modo de intra- predição de candidato. A unidade de interpolação de direção vertical 112 provê informação de um pixel adjacente esquerdo interpolado para a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102. Neste momento, a unidade de interpolação de direção horizontal 111 não executa processamento de interpolação na direção horizontal.
[00305] No evento que determinação é feita na etapa S114 que o modo de intra-predição de candidato não é o modo de Predição Horizontal ou Modo de predição Horizontal_Up, o processamento procede à etapa S116.
[00306] Na etapa S116, a unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 executam interpolação na direção horizontal e interpolação na direção vertical, respectivamente, conforme o modo de intra-predição de candidato. A unidade de interpolação de direção horizontal 111 e unidade de interpolação de direção vertical 112 provêem informação relativa ao pixel adjacente superior interpolado e pixel adjacente esquerdo para a unidade de determinação de modo ótimo/quantidade ótima de deslocamento 102, respectivamente.
[00307] A imagem comprimida codificada é transmitida por um caminho de transmissão predeterminado, e decodificada por um dispositivo de decodificação de imagem.
Exemplo de Configuração de Dispositivo de Decodificação de Imagem
[00308] Figura 26 representa a configuração de uma concretização de um dispositivo de decodificação de imagem servindo como o dispositivo de processamento de imagem ao qual foi aplicado.
[00309] Um dispositivo de decodificação de imagem 151 é configurado de uma memória temporária de acumulação 161, um unidade de decodificação sem perda 162, uma unidade de quantização inversa 163, uma unidade de transformada ortogonal inversa 164, uma unidade de computação 165, um filtro de desbloqueio 166, uma memória temporária de seleção de tela 167, uma unidade de conversão D/A 168, memória de quadro 169, um comutador 170, uma unidade de intra-predição 171, uma unidade de interpolação de pixel adjacente 172, uma unidade predição/compensação de movimento 173, e um comutador 174.
[00310] A memória temporária de acumulação 161 acumula uma imagem comprimida transmitida. A unidade de decodificação sem perda 162 decodifica informação provida do memória temporária de acumulação 161 e codificada pela unidade de codificação sem perda 66 na Figura 2 usando um sistema correspondendo ao sistema de codificação da unidade de codificação sem perda 66. A unidade de quantização inversa 163 provê a imagem decodificada pela unidade de decodificação sem perda 162 para quantização inversa usando um sistema correspondendo ao sistema de quantização da unidade de quantização 65 na Figura 2. A unidade de transformada ortogonal inversa 164 provê a saída da unidade de quantização inversa 163 para transformada ortogonal inversa usando um sistema correspondendo ao sistema de transformada ortogonal da unidade de transformada ortogonal 64 na Figura 2.
[00311] A saída submete à transformada ortogonal inversa é decodificada sendo adicionada com a imagem de predição provida do comutador 174 pela unidade de computação 165. O filtro de desbloqueio 166 remove a distorção de bloco da imagem decodificada, então provê para a memória de quadro 169 para acumulação, e também produz para a memória temporária de seleção de tela 167.
[00312] A memória temporária de seleção de tela 167 executa seleção de imagens. Especificamente, a sequência de quadros ordenada para sequência de codificação pela memória temporária de seleção de tela 62 na Figura 2 é referida na sequência de exibição original. A unidade de conversão D/A 168 converte a imagem provida da memória temporária de seleção de tela 167 de digital para analógica, e produz para uma exibição não mostrada para exibição.
[00313] O comutador 170 lê uma imagem a ser submetida a inter- processamento e uma imagem a ser referenciada da memória de quadro 169, produz para a unidade de predição/compensação de movimento 173, e também lê uma imagem a ser usada para intra-predição da memória de quadro 169, e provê para a unidade de intra-predição 171.
[00314] Informação indicando o modo de intra-predição obtida decodificando a informação de cabeçalho, e informação da quantidade de deslocamento de um pixel adjacente é provida da unidade de decodificação sem perda 162 à unidade de intra-predição 171. A unidade de intra-predição 171 também produz tal informação à unidade de interpolação de pixel adjacente 172.
[00315] A unidade de intra-predição 171 faz, baseada em tal informação, de acordo com necessidade, a unidade de interpolação de pixel adjacente 172 deslocar a fase do pixel adjacente, gera uma imagem de predição usando o pixel adjacente do pixel adjacente de qual a fase foi deslocada, e produz a imagem de predição gerada para o comutador 174.
[00316] A unidade de interpolação de pixel adjacente 172 desloca a fase do pixel adjacente na direção de deslocamento de acordo com o modo de intra- predição provido da unidade de intra-predição 171 com a quantidade de deslocamento provida da unidade de intra-predição 171. Na realidade, a unidade de interpolação de pixel adjacente 172 executa interpolação linear aplicando o filtro de FIR de 6 derivações ao pixel adjacente na direção de deslocamento de acordo com o modo de intra-predição, por esse meio deslocando a fase do pixel adjacente com precisão de pixel fracionário. A unidade de interpolação de pixel adjacente 172 provê o pixel adjacente do qual a fase foi deslocada à unidade de intra-predição 171.
[00317] Informação obtida decodificando a informação de cabeçalho (informação de modo de predição, informação de vetor de movimento, e informação de quadro de referência) é provida da unidade de decodificação sem perda 162 à unidade de predição/compensação de movimento 173. No evento que informação indicando o modo de inter-predição foi provida, a unidade de predição/compensação de movimento 173 provê a imagem para processamento de predição e compensação de movimento baseado na informação de vetor de movimento e informação de quadro de referência para gerar uma imagem de predição. A unidade de predição/compensação de movimento 173 produz a imagem de predição gerada no modo de inter- predição ao comutador 174.
[00318] O comutador 174 seleciona a imagem de predição gerada pela unidade de predição/compensação de movimento 173 ou unidade de intra- predição 171, e provê para a unidade de computação 165.
Exemplo de configuração de Unidade de Intra-Predição e Unidade de Interpolação de Pixel Adjacente
[00319] Figura 27 é um diagrama de bloco ilustrando um exemplo de configuração detalhada da unidade de intra-predição e unidade de interpolação de pixel adjacente.
[00320] No caso do exemplo na Figura 27, a unidade de intra-predição 171 é configurada de uma unidade de recepção de modo de predição 181, uma unidade de recepção de quantidade de deslocamento 182, e uma unidade geradora de imagem de intra-predição 183. A unidade de interpolação de pixel adjacente 172 é configurada de uma unidade de interpolação de direção horizontal 191 e uma unidade de interpolação de direção vertical 192.
[00321] A unidade de recepção de modo de predição 181 recebe a informação de modo de intra-predição decodificada pela unidade de decodificação sem perda 162. A unidade de modo de predição recepção 181 provê a informação de modo de intra-predição recebida para a unidade geradora de imagem de intra-predição 183, unidade de interpolação de direção horizontal 191, e unidade de interpolação de direção vertical 192.
[00322] A unidade de recepção de quantidade de deslocamento 182 recebe a informação das quantidades de deslocamento (direção horizontal e direção vertical) decodificada pela unidade de decodificação sem perda 162. A unidade de recepção de quantidade de deslocamento 182 provê, das quantidades de deslocamento recebidas, a quantidade de deslocamento na direção horizontal para a unidade de interpolação de direção horizontal 191, e provê a quantidade de deslocamento na direção vertical para a unidade de interpolação de direção vertical 192.
[00323] A informação do modo de intra-predição recebida pela unidade de recepção de modo de predição 181 é entrada à unidade geradora de imagem de intra-predição 183. Também, a informação do pixel adjacente superior ou pixel adjacente superior interpolado da unidade de interpolação de direção horizontal 191, e a informação do pixel adjacente esquerdo ou pixel adjacente esquerdo interpolado da unidade de interpolação de direção vertical 192 é entrada à unidade geradora de imagem de intra-predição 183.
[00324] A unidade geradora de imagem de intra-predição 183 executa intra-predição no modo de predição que a informação de modo de intra- predição de entrada indica usando o valor de pixel do pixel adjacente ou pixel adjacente interpolado para gerar uma imagem de predição, e produz a imagem de predição gerada para o comutador 174.
[00325] A unidade de interpolação de direção horizontal 191 lê um pixel adjacente superior da memória de quadro 169 de acordo com o modo de predição da unidade de recepção de modo de predição 181. A unidade de interpolação de direção horizontal 191 desloca a fase do pixel adjacente superior lido com a quantidade de deslocamento na direção horizontal da unidade de recepção de quantidade de deslocamento 182 pelo filtro de FIR de 6 derivações e interpolação linear. A informação do pixel adjacente superior interpolado ou pixel adjacente superior não interpolado (isto é, pixel adjacente da memória de quadro 169) é provida à unidade geradora de imagem de intra- predição 183. No caso de Figura 27, desenho do comutador 170 é omitido, mas o pixel adjacente é lido da memória de quadro 169 pelo comutador 170.
[00326] A unidade de interpolação de direção vertical 192 lê um pixel adjacente esquerdo da memória de quadro 169 de acordo com o modo de predição da unidade de recepção de modo de predição 181. A unidade de interpolação de direção vertical 192 desloca a fase do pixel adjacente esquerdo lido com a quantidade de deslocamento na direção vertical da unidade de recepção de quantidade de deslocamento 182 pelo filtro de FIR de 6 derivações e interpolação linear. A informação do pixel adjacente esquerdo interpolado linearmente ou pixel adjacente esquerdo não interpolado (isto é, pixel adjacente da memória de quadro 169) é provida à unidade geradora de imagem de intra- predição 183.
Descrição de Processamento de Decodificação de Dispositivo de Decodificação de Imagem
[00327] A seguir, o processamento de decodificação que o dispositivo de decodificação de imagem 151 executa será descrito com referência ao fluxograma na Figura 28.
[00328] Na etapa S131, a memória temporária de acumulação 161 acumula a imagem transmitida. Na etapa S132, a unidade de decodificação sem perda 162 decodifica a imagem comprimida provida da memória temporária de acumulação 161. Especificamente, a imagem I, imagem P, e imagem B codificadas pela unidade de codificação sem perda 66 na Figura 2 são decodificadas.
[00329] Neste momento, a informação de vetor de movimento, informação de quadro de referência, informação de modo de predição (informação indicando o modo de intra-predição ou modo de inter-predição), informação de bandeira, informação de quantidade de deslocamento, e assim sucessivamente também são decodificadas.
[00330] Especificamente, no evento que a informação de modo de predição é informação de modo de intra-predição, a informação de modo de predição e informação de quantidade de deslocamento são providas à unidade de intra-predição 171. No evento que a informação de modo de predição é informação de modo de inter-predição, informação de vetor de movimento e informação de quadro de referência correspondendo à informação de modo de predição são providas à unidade de predição/compensação de movimento 173.
[00331] Na etapa S133, a unidade de quantização inversa 163 quantiza inversamente o coeficiente de transformada decodificado pela unidade de decodificação sem perda 162 usando uma propriedade correspondendo à propriedade da unidade de quantização 65 na Figura 2. Na etapa S134, a unidade de transformada ortogonal inversa 164 submete o coeficiente de transformada quantizado inversamente pela unidade de quantização inversa 163 à transformada ortogonal inversa usando uma propriedade correspondendo à propriedade da unidade de transformada ortogonal 64 na Figura 2. Isto significa que informação de diferença correspondendo à entrada da unidade de transformada ortogonal 64 na Figura 2 (a saída da unidade de computação 63) foi decodificada.
[00332] Na etapa S135, a unidade de computação 165 adiciona a imagem de predição selecionada no processamento na etapa S141 descrita mais tarde e introduzida pelo comutador 174, para a informação de diferença. Assim, a imagem original é decodificada. Na etapa S136, o filtro de desbloqueio 166 submete a saída de imagem da unidade de computação 165 à filtragem. Assim, distorção de bloco é removida. Na etapa S137, a memória de quadro 169 armazena a imagem submete à filtragem.
[00333] Na etapa S138, a unidade de intra-predição 171 e unidade de predição/compensação de movimento 173 executam o processamento de predição de imagem correspondente em resposta à informação de modo de predição provida da unidade de decodificação sem perda 162.
[00334] Especificamente, no evento que a informação de modo de intra- predição foi provida da unidade de decodificação sem perda 162, a unidade de intra-predição 171 executa o processamento de intra-predição no modo de intra-predição. Neste momento, a unidade de intra-predição 171 executa processamento de intra-predição usando o pixel adjacente do qual a fase foi deslocada na direção de deslocamento de acordo com o modo de intra-predição com a quantidade de deslocamento provida da unidade de decodificação sem perda 162.
[00335] Os detalhes do processamento de predição na etapa S138 serão descritos mais tarde com referência à Figura 29, mas de acordo com este processamento, a imagem de predição gerada pela unidade de intra-predição 171 ou a imagem de predição gerada pela unidade de predição/compensação de movimento 173 é provida ao comutador 174.
[00336] Na etapa S139, o comutador 174 seleciona a imagem de predição. Especificamente, a imagem de predição gerada pela unidade de intra- predição 171 ou a imagem de predição gerada pela unidade de predição/compensação de movimento 173 é provida. Por conseguinte, a imagem de predição provida é selecionada, provida à unidade de computação 165, e na etapa S134, como descrito acima, adicionada à saída da unidade de transformada ortogonal inversa 164.
[00337] Na etapa S140, a memória temporária de seleção de tela 167 executa seleção. Especificamente, a sequência de quadros ordenados para codificação pela memória temporária de seleção de tela 62 do dispositivo de codificação de imagem 51 é ordenada na sequência de exibição original.
[00338] Na etapa S141, a unidade de conversão D/A 168 converte a imagem da memória temporária de seleção de tela 167 de digital para analógica. Esta imagem é produzida para uma exibição não mostrada, e a imagem é exibida.
Descrição de Processamento de Predição
[00339] A seguir, o processamento de predição na etapa S138 na Figura 28 será descrito com referência ao fluxograma na Figura 29.
[00340] Na etapa S171, a unidade de recepção de modo de predição 181 determina se ou não o bloco atual foi submetido à intra-codificação. Na informação de modo de intra-predição sendo provida da unidade de decodificação sem perda 162 à unidade de recepção de modo de predição 181, na etapa S171, a unidade de recepção de modo de predição 181 determina que o bloco atual foi submetido à intra-codificação, e o processamento procede à etapa S172.
[00341] Na etapa S172, a unidade de recepção de modo de predição 181 recebe e obtém a informação de modo de intra-predição da unidade de decodificação sem perda 162. A unidade de recepção de predição de modo 181 provê a informação modo de intra-predição recebida para a unidade geradora de imagem de intra-predição 183, unidade de interpolação de direção horizontal 191, e unidade de interpolação de direção vertical 192.
[00342] Na etapa S173, a unidade de recepção de quantidade de deslocamento 182 recebe e obtém a informação das quantidades de deslocamento (direção horizontal e direção vertical) do pixel adjacente decodificado pela unidade de decodificação sem perda 162. A unidade de recepção de quantidade de deslocamento 182 provê, das quantidades de deslocamento recebida, a quantidade de deslocamento na direção horizontal para a unidade de interpolação de direção horizontal 191, e provê a quantidade de deslocamento na direção vertical para a unidade de interpolação de direção vertical 192.
[00343] A unidade de interpolação de direção horizontal 191 e unidade de interpolação de direção vertical 192 lêem um pixel adjacente da memória de quadro 169, e na etapa S174 executam o processamento de interpolação de pixel adjacente. Os detalhes do processamento de interpolação adjacente na etapa S174 são basicamente o mesmo processamento como o processamento de interpolação adjacente descrito acima com referência à Figura 25, e por conseguinte, descrição e ilustração disso serão omitidas.
[00344] De acordo com este processamento, o pixel adjacente interpolado na direção de deslocamento de acordo com o modo de intra- predição da unidade de recepção de modo de predição 181, ou o pixel adjacente não interpolado de acordo com o modo de intra-predição é provido à unidade geradora de imagem de intra-predição 183.
[00345] Especificamente, no evento que o modo de intra-predição é o modo 2 (predição de CC), a unidade de interpolação de direção horizontal 191 e unidade de interpolação de direção vertical 192 provêem os pixéis adjacentes superior e esquerdo lidos da memória de quadro 169 para a unidade geradora de imagem de intra-predição 183 sem executar interpolação dos pixéis adjacentes.
[00346] No evento que o modo de intra-predição é o modo 0 (predição Vertical), modo 3 (predição de Diagonal_Down_Left), ou modo 7 (predição de Vertical_Left), só interpolação na direção horizontal será executada. Especificamente, a unidade de interpolação de direção horizontal 191 interpola o pixel adjacente superior lido da memória de quadro 169 com a quantidade de deslocamento na direção horizontal da unidade de recepção de quantidade de deslocamento 182, e provê o pixel adjacente superior interpolado para a unidade geradora de imagem de intra-predição 183. Neste momento, a unidade de interpolação de direção vertical 192 provê o pixel adjacente esquerdo lido da memória de quadro 169 para a unidade geradora de imagem de intra-predição 183 sem executar interpolação do pixel adjacente esquerdo.
[00347] No evento que o modo de intra-predição é o modo 1 (predição Horizontal) ou modo 8 (predição Horizontal_Up), só interpolação na direção vertical será executada. Especificamente, a unidade de interpolação de direção vertical 192 interpola o pixel adjacente esquerdo lido da memória de quadro 169 com a quantidade de deslocamento na direção vertical da unidade de recepção de quantidade de deslocamento 182, e provê o pixel adjacente esquerdo interpolado para a unidade geradora de imagem de intra-predição 183. Neste momento, a unidade de interpolação de direção horizontal 191 provê o pixel adjacente superior lido da memória de quadro 169 para a unidade geradora de imagem de intra-predição 183 sem executar interpolação do pixel adjacente superior.
[00348] No evento que o modo de intra-predição é outro modo de predição, interpolação na direção horizontal e direção vertical será executada. Especificamente, a unidade de interpolação de direção horizontal 191 interpola o pixel adjacente superior lido da memória de quadro 169 com a quantidade de deslocamento na direção horizontal da unidade de recepção de quantidade de deslocamento 182, e provê o pixel adjacente superior interpolado para a unidade geradora de imagem de intra-predição 183. A unidade de interpolação de direção vertical 192 interpola o pixel adjacente esquerdo lido da memória de quadro 169 com a quantidade de deslocamento na direção vertical da unidade de recepção de quantidade de deslocamento 182, e provê o pixel adjacente esquerdo interpolado para a unidade geradora de imagem de intra-predição 183.
[00349] Na etapa S175, a unidade geradora de imagem de intra-predição 183 executa intra-predição no modo de predição que a informação de modo de intra-predição de entrada indica usando os valores de pixel dos pixéis adjacentes ou pixéis adjacentes interpolados da unidade de interpolação de direção horizontal 191 e unidade de interpolação de direção vertical 192. De acordo com esta intra-predição, uma imagem de predição é gerada, e a imagem de predição gerada é produzida ao comutador 174.
[00350] Por outro lado, no evento que determinação é feita na etapa S171 que o bloco atual não foi submetido à intra-codificação, o processamento procede à etapa S176.
[00351] No evento que a imagem a ser processada é uma imagem a ser submetida a inter-processamento, a informação de modo de inter-predição, informação de quadro de referência, e informação de vetor de movimento da unidade de decodificação sem perda 162 são providas à unidade de predição/compensação de movimento 173. Na etapa S176, a unidade de predição/compensação de movimento 173 obtém a informação de modo de inter-predição, informação de quadro de referência, informação de vetor de movimento, e assim sucessivamente da unidade de decodificação sem perda 162.
[00352] Na etapa S177, a unidade de predição/compensação de movimento 173 executa inter-predição de movimento. Especificamente, no evento que a imagem a ser processada é uma imagem a ser submetida a processamento de inter-predição, uma imagem necessária é lida da memória de quadro 169, e provida à unidade de predição/compensação de movimento 173 pelo comutador 170. Na etapa S177, a unidade de predição/compensação de movimento 173 executa predição de movimento no modo de inter-predição para gerar uma imagem de predição baseada no vetor de movimento obtido na etapa S176. A imagem de predição gerada é produzida ao comutador 174.
[00353] Como descrito acima, com o dispositivo de codificação de imagem 51, um pixel com precisão de pixel fracionário é obtido pelo filtro de FIR de 6 derivações e interpolação linear, e a quantidade ótima de deslocamento é determinada, por meio de que seleções de valores de pixel a serem usados no modo de intra-predição podem ser aumentadas. Assim, a intra-predição ótima pode ser executada, e eficiência de codificação na intra- predição pode ser melhorada adicionalmente.
[00354] Também, com o sistema de H.264/AVC, o circuito de um filtro de FIR de 6 derivações só usado para compensação de predição de movimento que foi descrita acima com referência à Figura 4 também pode ser usado efetivamente para intra-predição. Assim, eficiência pode ser melhorada sem aumentar o circuito.
[00355] Adicionalmente, pode ser executada intra-predição com resolução melhor adicional do que 22,5 graus que é resolução para intra- predição determinada no sistema de H.264/AVC.
[00356] Note que, com o dispositivo de codificação de imagem 51, distinto da proposta descrita em NPL 2, só um pixel adjacente ao bloco atual a ser usado para intra-predição do sistema de H.264/AVC com uma posição predeterminada é usado para intra-predição. Quer dizer, o pixel a ser lido para a memória temporária de pixel adjacente 81 pode ser um pixel adjacente sozinho.
[00357] Por conseguinte, aumento no número de vezes de acesso de memória e processamento devido a pixéis que não um pixel adjacente do bloco a ser codificado sendo usado na proposta de NPL 2, isto é, deterioração em eficiência de processamento pode ser prevenida.
[00358] Note que, com a descrição anterior, o caso do modo de intra- predição 4 x 4 para sinais de luminância foi descrito como um exemplo do processamento de interpolação de pixel adjacente, mas a presente invenção também pode ser aplicada aos casos dos modos de intra-predição 8 x 8 e 16 x 16. Também, a presente invenção pode ser aplicada ao caso dos modos de intra-predição para sinais de diferença de cor.
[00359] Note que no evento do modo de intra-predição 8 x 8, da mesma maneira como com o caso do modo de intra-predição 4 x 4, processamento de valor médio é executado relativo ao modo 2 (modo de predição de CC). Por conseguinte, até mesmo ao executar deslocamento, isto não está envolvido diretamente com melhoria em eficiência de codificação, e por conseguinte, as supracitadas operações são inibidas e não são executadas.
[00360] Com relação ao modo 0 (modo de Predição Vertical), modo 3 (Modo de predição Diagonal_Down_Left), ou modo 7 (Modo de predição Vertical_Left), deslocamento só com os pixéis adjacentes superiores A0, A1, A2, e assim por diante na Figura 18 serve como um candidato.
[00361] Com relação ao modo 1 (modo de Predição Horizontal) ou modo 8 (Modo de predição Horizontal_Up), deslocamento só com os pixéis adjacentes esquerdos I0, I1, I2, e assim por diante na Figura 18 serve como um candidato.
[00362] Com relação aos outros modos (modos 4 por 6), deslocamento tem que ser levado em conta considerando ambos os pixéis adjacentes superiores e pixéis adjacentes esquerdos.
[00363] Também, no evento do modo de intra-predição 16 x 16 e do modo de intra-predição para sinais de diferença de cor, com relação ao modo de Predição Vertical, só deslocamento na direção horizontal de pixéis adjacentes superiores é executado. Com relação ao modo de Predição Horizontal, só deslocamento na direção vertical de pixéis adjacentes esquerdos é executado. Com relação ao modo de Predição de CC, nenhum processamento de deslocamento é executado. Com relação ao modo de Predição Plano, ambos de deslocamento na direção horizontal de pixéis adjacentes superiores, e deslocamento na direção vertical de pixéis adjacentes esquerdos são executados.
[00364] Adicionalmente, como descrito em NPL 1, no evento que processamento de interpolação com precisão de 1/8 pixel é executado em predição de movimento, com a presente invenção igualmente, processamento de interpolação com precisão de 1/8 pixel é executado.
[00365] Descrição foi feita até agora com o sistema de H.264/AVC empregado como um sistema de codificação, mas a presente invenção não está restringida a isto, e outro sistema de codificação/sistema de decodificação para executar intra-predição usando pixéis adjacentes pode ser empregado.
[00366] Note que a presente invenção pode ser aplicada a um dispositivo de codificação de imagem e um dispositivo de decodificação de imagem usados na hora de receber informação de imagem (fluxos de bits) comprimida através de transformada ortogonal tal como transformada de co- seno discreta ou similar e compensação de movimento por um meio de rede tal como radiodifusão de satélite, uma televisão a cabo, a Internet, um telefone celular, ou similar, por exemplo, como com MPEG, H.26x, ou similar. Também, a presente invenção pode ser aplicada a um dispositivo de codificação de imagem e um dispositivo de decodificação de imagem usados na hora de processar informação de imagem em meio de armazenamento tal como um disco óptico, um disco magnético, e memória flash. Adicionalmente, a presente invenção pode ser aplicada a um dispositivo de compensação de predição de movimento incluído em um tal dispositivo de codificação de imagem e um dispositivo de decodificação de imagem e assim sucessivamente.
[00367] A supracitada série de processamento pode ser executada através de hardware, ou pode ser executada através de software. No evento de executar a série de processamento através de software, um programa compondo o software disso é instalado em um computador. Aqui, exemplos do computador incluem um computador construído em hardware dedicado, e um computador pessoal de propósito geral por meio de que várias funções podem ser executadas por vários tipos de programas sendo instalados para esse fim.
[00368] Figura 30 é um diagrama de bloco ilustrando um exemplo de configuração do hardware de um computador que executa a supracitada série de processamento usando um programa.
[00369] Com o computador, uma CPU (Unidade de Processamento Central) 301, ROM (Memória Só de Leitura) 302, e RAM (Memória de Acesso Aleatório) 303 estão conectadas mutuamente por um barramento 304.
[00370] Adicionalmente, uma interface de entrada/saída 305 está conectada ao barramento 304. Uma unidade de entrada 306, uma unidade de saída 307, uma unidade de armazenamento 308, uma unidade de comunicação 309, e uma unidade de disco 310 estão conectadas à interface de entrada/saída 305.
[00371] A unidade de entrada 306 é composta de um teclado, um mouse, um microfone, e assim sucessivamente. A unidade de saída 307 é composta de uma exibição, um alto-falante, e assim sucessivamente. A unidade de armazenamento 308 é composta de um disco rígido, memória não volátil, e assim sucessivamente. A unidade de comunicação 309 é composta de uma interface de rede e assim sucessivamente. A unidade de disco 310 aciona um meio removível 311 tal como um disco magnético, um disco óptico, um disco magneto-óptico, memória de semicondutor, ou similar.
[00372] Com o computador assim configurado, por exemplo, a CPU 301 carrega um programa armazenado na unidade de armazenamento 308 à RAM 303 pela interface de entrada/saída 305 e barramento 304, e executa o programa, e por conseguinte, a supracitada série de processamento é executada.
[00373] O programa que o computador (CPU 301) executa pode ser provido sendo gravado no meio removível 311 servindo como um meio de pacote ou similar, por exemplo. Também, o programa pode ser provido por um cabo ou meio de transmissão sem fios tal como uma rede local, a Internet, ou radiodifusão digital.
[00374] Com o computador, o programa pode ser instalado na unidade de armazenamento 308 pela interface de entrada/saída 305 montando o meio removível 311 na unidade de disco 310. Também, o programa pode ser recebido pela unidade de comunicação 309 por um cabo ou meio de transmissão sem fios, e instalado na unidade de armazenamento 308. Adicionalmente, o programa pode ser instalado na ROM 302 ou unidade de armazenamento 308 previamente.
[00375] Note que o programa que o computador executa pode ser um programa em que o processamento é executado na sequência de tempo ao longo da sequência descrita na presente Especificação, ou pode ser um programa em que o processamento é executado em paralelo ou na  temporização necessária tal como quando solicitação é executada.
[00376] As concretizações da presente invenção não estão restringidas à supracitada concretização, e várias modificações podem ser feitas sem partir da essência da presente invenção. Lista de Sinais de Referência 51 - dispositivo de codificação de imagem 66 - unidade de codificação sem perda 74 - unidade de intra-predição 75 - unidade de interpolação de pixel adjacente 76 - unidade de predição/compensação de movimento 77 - unidade de seleção de imagem de predição 81 - memória temporária de pixel adjacente 82 - unidade de determinação de modo ótimo 83 - unidade de determinação de quantidade ótima de deslocamento 84 - unidade geradora de imagem de predição 91 - unidade de determinação de modo 92 - unidade de interpolação de direção horizontal 93 - unidade de interpolação de direção vertical 151 - dispositivo de decodificação de imagem 162 - unidade de decodificação sem perda 171 - unidade de intra-predição 172 - unidade de interpolação de pixel adjacente 173 - unidade de predição/compensação de movimento 174 - comutador 181 - unidade de recepção de modo de predição 182 - unidade de recepção de quantidade de deslocamento 183 - unidade geradora de imagem de intra-predição 191 - unidade de interpolação de direção horizontal 192 - unidade de interpolação de direção vertical

Claims (11)

1. Dispositivo de processamento de imagem (51) caracterizado pelo fato de compreender: meio de determinação de modo (82, 201) configurado para determinar um modo de predição para intra-predição relativa ao bloco de intra-predição a ser submetido à intra-predição sobre dados de imagem; meio de deslocamento de fase (75) configurado para selecionar se ou não deslocar horizontalmente a fase de um pixel adjacente superior, adjacente a bloco de intra-predição como um pixel de referência de intra- predição conforme uma direção de deslocamento de acordo com o modo de predição determinado pelo meio de determinação de modo, e uma quantidade de deslocamento servindo como um candidato; meio de determinação de quantidade de deslocamento (83, 102) configurado para determinar a quantidade ótima de deslocamento da fase sobre pixel adjacente usando o pixel adjacente e o pixel adjacente do qual a fase é deslocada pelo meio de deslocamento de fase; e meio gerador de imagem de predição (84, 103) configurado para realizar a intra-predição usando o pixel adjacente superior como o pixel de referência e para gerar uma imagem de predição do bloco de intra-predição usando o pixel adjacente do qual a fase é deslocada conforme a quantidade ótima de deslocamento determinada pelo meio de determinação de quantidade de deslocamento; um meio de decodificação (162) configurada para decodificar o bloco de intra-predição gerado pelo meio gerador de imagem de predição; em que o pixel interpolado é gerado como o pixel de referência da intra-predição e o pixel interpolado está entre o pixel superior que é horizontalmente adjacente ao pixel superior adjacente em uma condição que o meio de deslocamento de fase seleciona deslocar horizontalmente a fase do pixel adjacente ao bloco de intra-predição.
2. Dispositivo de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que o meio de deslocamento de fase desloca horizontalmente a fase do pixel adjacente superior por interpolação para os pichéis adjacentes.
3. Dispositivo de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que o meio de deslocamento de fase desloca horizontalmente a fase do pixel adjacente em uma posição com base em precisão de pixel fracionário.
4. Dispositivo de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que o meio gerador de imagem de predição realiza a intra-predição com precisão de pixel fracionário.
5. Dispositivo de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que o meio de deslocamento de fase seleciona se ou não desloca horizontalmente a fase do pixel superior adjacente ao bloco de intra-predição como o pixel de referência da intra- predição de acordo com a direção do modo de intra-predição e um tamanho de bloco dentro do bloco de intra-predição.
6. Método de processamento de imagem caracterizado pelo fato de compreender a etapa de: fazer um dispositivo de processamento de imagem: determinar o modo de predição de intra-predição relativo a um bloco de intra-predição a ser processado para intra-predição sobre dados de imagem; selecionar se ou não deslocar horizontalmente a fase de um pixel adjacente superior, adjacente ao bloco de intra-predição como um pixel de referência de intra-predição conforme uma direção de deslocamento de acordo com o modo de predição determinado, e uma quantidade de deslocamento servindo como um candidato; determinar a quantidade ótima de deslocamento da fase sobre o pixel adjacente usando o pixel adjacente e o pixel adjacente do qual a fase é deslocada; e realizar a intra-predição usando o pixel superior adjacente como o pixel de referência e gerar uma imagem de predição do bloco de intra- predição usando o pixel adjacente do qual a fase é deslocada conforme a quantidade ótima de deslocamento determinada; decodificar o bloco de intra-predição usando a imagem de predição gerada; em que um pixel interpolado é gerado como um pixel de referência de intra-pedição e o pixel interpolado está entre o pixel superior adjacente e um outro pixel superior adjacente que é horizontalmente adjacente ao pixel adjacente superior em uma condição em que seleção é feita para deslocar horizontalmente a fase do pixel superior adjacente para o bloco de intra-predição.
7. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a fase do pixel adjacente superior é horizontalmente deslocada por interpolação linear para pixéis adjacentes superiores.
8. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a fase do pixel superior adjacente é horizontalmente deslocada em uma posição com base em precisão de pixel fracionário.
9. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a intra-predição é realizada com precisão de pixel fracionário.
10. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a seleção de se ou não deslocar horizontalmente a fase do pixel adjacente superior adjacente ao bloco de intra-predição como o pixel de referência é feito conforme com a direção do modo de intra-predição e um tamanho de bloco dentro do bloco de intra-predição.
11. Meio de armazenamento legível por computador, caracterizado pelo fato de que compreende instruções que, quando executadas em um processador, fazem com que o processador realize um método como definido na reivindicação 6.
BRPI1015330-6A 2009-04-24 2010-04-22 Dispositivo e método de processamento de imagem, e, meio de armazenamento legível por computador BRPI1015330B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009105937A JP5169978B2 (ja) 2009-04-24 2009-04-24 画像処理装置および方法
JP2009-105937 2009-04-24
PCT/JP2010/057127 WO2010123056A1 (ja) 2009-04-24 2010-04-22 画像処理装置および方法

Publications (2)

Publication Number Publication Date
BRPI1015330A2 BRPI1015330A2 (pt) 2016-05-31
BRPI1015330B1 true BRPI1015330B1 (pt) 2021-04-13

Family

ID=43011172

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1015330-6A BRPI1015330B1 (pt) 2009-04-24 2010-04-22 Dispositivo e método de processamento de imagem, e, meio de armazenamento legível por computador

Country Status (12)

Country Link
US (4) US10755444B2 (pt)
EP (3) EP2424246A4 (pt)
JP (1) JP5169978B2 (pt)
KR (5) KR101690471B1 (pt)
CN (5) CN104320664B (pt)
AU (1) AU2010240090B2 (pt)
BR (1) BRPI1015330B1 (pt)
CA (2) CA2755889C (pt)
MX (1) MX2011010960A (pt)
RU (3) RU2665877C2 (pt)
TW (5) TWI531216B (pt)
WO (1) WO2010123056A1 (pt)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
CN101783957B (zh) * 2010-03-12 2012-04-18 清华大学 一种视频预测编码方法和装置
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
SG10201706999WA (en) 2010-12-17 2017-09-28 Mitsubishi Electric Corp Image coding device, image decoding device, image coding method, and image decoding method
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
JP2012147332A (ja) * 2011-01-13 2012-08-02 Sony Corp 符号化装置および符号化方法、並びに復号装置および復号方法
TW201235974A (en) * 2011-02-25 2012-09-01 Altek Corp Image processing apparatus and memory accessing method thereof
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
CN104954805B (zh) * 2011-06-28 2019-01-04 三星电子株式会社 用于使用帧内预测进行图像编码和解码的方法和设备
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9420280B2 (en) * 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
TWI484442B (zh) * 2012-09-20 2015-05-11 Univ Nat Taiwan Science Tech 錯視影像產生裝置及其方法
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维-Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
CN105338366B (zh) * 2015-10-29 2018-01-19 北京工业大学 一种视频序列中分数像素的解码方法
KR20170058837A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면내 예측모드 부호화/복호화 방법 및 장치
CN114189682A (zh) * 2016-04-26 2022-03-15 英迪股份有限公司 图像解码方法、图像编码方法以及传输比特流的方法
KR102385396B1 (ko) * 2016-10-11 2022-04-11 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
US11431971B2 (en) 2019-06-24 2022-08-30 Industrial Technology Research Institute Method and image processing apparatus for video coding
JP7188594B2 (ja) * 2019-07-18 2022-12-13 日本電気株式会社 画像処理装置および画像処理方法
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023192336A1 (en) * 2022-03-28 2023-10-05 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction
WO2023212254A1 (en) * 2022-04-27 2023-11-02 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high precision intra prediction

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078657A (ko) * 1996-05-20 1997-12-12 구자홍 비디오 데이타 압축 장치
FR2756399B1 (fr) * 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP2000041248A (ja) * 1998-07-23 2000-02-08 Sony Corp 画像復号装置及び画像復号方法
EP1095370A1 (en) * 1999-04-05 2001-05-02 Hughes Electronics Corporation Spectral phase modeling of the prototype waveform components for a frequency domain interpolative speech codec system
US6987893B2 (en) * 2001-01-05 2006-01-17 Lg Electronics Inc. Image interpolation method and apparatus thereof
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2003037843A (ja) * 2001-07-23 2003-02-07 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7120196B2 (en) * 2002-04-29 2006-10-10 Ess Technology, Inc. Intra-prediction using intra-macroblock motion compensation
JP2003348595A (ja) 2002-05-28 2003-12-05 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4474288B2 (ja) * 2003-01-10 2010-06-02 トムソン ライセンシング 符号化された画像における誤り隠蔽のための補間フィルタの定義
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
AU2004217221B2 (en) * 2003-03-03 2009-09-03 Agency For Science, Technology And Research Fast mode decision algorithm for intra prediction for advanced video coding
JP3968712B2 (ja) * 2003-04-28 2007-08-29 ソニー株式会社 動き予測補償装置及びその方法
US8417066B2 (en) * 2004-03-04 2013-04-09 Broadcom Corporation Method and system for polyphase filtering by combining IIR and FIR filters and its applications in video scaling
JP5037938B2 (ja) * 2004-04-28 2012-10-03 日立コンシューマエレクトロニクス株式会社 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US20060013320A1 (en) * 2004-07-15 2006-01-19 Oguz Seyfullah H Methods and apparatus for spatial error concealment
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
US7830960B2 (en) * 2005-01-13 2010-11-09 Qualcomm Incorporated Mode selection techniques for intra-prediction video encoding
EP2461590A3 (en) * 2005-04-13 2012-08-29 NTT DoCoMo, Inc. Image prediction on the basis of a frequency band analysis of the to be predicted image
KR100718135B1 (ko) * 2005-08-24 2007-05-14 삼성전자주식회사 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법
JP4650173B2 (ja) * 2005-09-05 2011-03-16 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US20100232505A1 (en) 2006-02-17 2010-09-16 Thomson Licensing Process for Coding Images Using Intra Prediction Mode
US7929608B2 (en) * 2006-03-28 2011-04-19 Sony Corporation Method of reducing computations in intra-prediction and mode decision processes in a digital video encoder
US7545740B2 (en) 2006-04-07 2009-06-09 Corrigent Systems Ltd. Two-way link aggregation
US20070286277A1 (en) * 2006-06-13 2007-12-13 Chen Xuemin Sherman Method and system for video compression using an iterative encoding algorithm
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
CN102685496B (zh) * 2006-07-10 2014-11-05 夏普株式会社 用于组合多层比特流中的层的方法和系统
EP2056606A1 (en) 2006-07-28 2009-05-06 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
JP4854019B2 (ja) 2006-11-29 2012-01-11 独立行政法人情報通信研究機構 意見収集システム、意見収集方法および意見収集プログラム
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
US8942505B2 (en) 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
ES2393226T3 (es) 2007-02-23 2012-12-19 Nippon Telegraph And Telephone Corporation Método de predicción Intra de codificación de video y método de descodificación, su dispositivo, su programa y medio de programa grabado
JP4762938B2 (ja) * 2007-03-06 2011-08-31 三菱電機株式会社 データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法
JP2008271371A (ja) * 2007-04-24 2008-11-06 Sharp Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
JP2009010492A (ja) * 2007-06-26 2009-01-15 Hitachi Ltd 画像復号化装置及び画像変換回路
CN101115207B (zh) * 2007-08-30 2010-07-21 上海交通大学 基于预测点间相关性的帧内预测实现的方法及装置
CN101884219B (zh) * 2007-10-16 2014-08-20 Lg电子株式会社 处理视频信号的方法和装置
EP2081386A1 (en) 2008-01-18 2009-07-22 Panasonic Corporation High precision edge prediction for intracoding
JP2009284275A (ja) 2008-05-23 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
CN104661033B (zh) * 2009-12-10 2018-02-06 Sk电信有限公司 使用树形结构的解码装置
JP5614233B2 (ja) 2010-10-21 2014-10-29 トヨタ自動車株式会社 排気部品の遮熱構造
JP2012086745A (ja) 2010-10-21 2012-05-10 Tenryu Kogyo Kk 乗物用座席のヘッドレスト構造
JP5488685B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5488684B2 (ja) 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体

Also Published As

Publication number Publication date
RU2665876C2 (ru) 2018-09-04
CN104363457A (zh) 2015-02-18
US10755445B2 (en) 2020-08-25
JP2010258740A (ja) 2010-11-11
RU2015103369A3 (pt) 2018-07-27
CN104320666A (zh) 2015-01-28
MX2011010960A (es) 2011-11-02
RU2011142001A (ru) 2013-04-27
TWI540901B (zh) 2016-07-01
RU2015103369A (ru) 2015-06-20
TWI528789B (zh) 2016-04-01
KR101697056B1 (ko) 2017-01-16
KR20160086419A (ko) 2016-07-19
EP2424246A1 (en) 2012-02-29
EP2424246A4 (en) 2013-10-02
US11107251B2 (en) 2021-08-31
TW201347558A (zh) 2013-11-16
CN104320665A (zh) 2015-01-28
TW201105144A (en) 2011-02-01
RU2665877C2 (ru) 2018-09-04
US20190221007A1 (en) 2019-07-18
TWI524743B (zh) 2016-03-01
TW201347559A (zh) 2013-11-16
KR20120027145A (ko) 2012-03-21
CN102396230A (zh) 2012-03-28
KR101641400B1 (ko) 2016-07-20
CA2973288A1 (en) 2010-10-28
CA2755889A1 (en) 2010-10-28
US20130301941A1 (en) 2013-11-14
EP3211896A1 (en) 2017-08-30
AU2010240090A1 (en) 2011-10-27
EP3211895A1 (en) 2017-08-30
RU2547634C2 (ru) 2015-04-10
KR20160086420A (ko) 2016-07-19
KR20150022027A (ko) 2015-03-03
AU2010240090B2 (en) 2015-11-12
CA2973288C (en) 2018-12-04
CN102396230B (zh) 2015-06-17
CN104320665B (zh) 2018-08-31
RU2015103222A (ru) 2016-08-20
US20120033736A1 (en) 2012-02-09
KR101690471B1 (ko) 2016-12-27
CA2755889C (en) 2017-08-15
TWI531216B (zh) 2016-04-21
CN104320666B (zh) 2018-11-02
RU2015103222A3 (pt) 2018-07-27
TW201347561A (zh) 2013-11-16
CN104363457B (zh) 2018-09-04
JP5169978B2 (ja) 2013-03-27
US10755444B2 (en) 2020-08-25
US9123109B2 (en) 2015-09-01
CN104320664A (zh) 2015-01-28
US20200320746A1 (en) 2020-10-08
KR101786418B1 (ko) 2017-10-17
TW201347560A (zh) 2013-11-16
KR20170005158A (ko) 2017-01-11
WO2010123056A1 (ja) 2010-10-28
KR101641474B1 (ko) 2016-07-20
BRPI1015330A2 (pt) 2016-05-31
TWI400960B (zh) 2013-07-01
CN104320664B (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
BRPI1015330B1 (pt) Dispositivo e método de processamento de imagem, e, meio de armazenamento legível por computador
US10284853B2 (en) Projected interpolation prediction generation for next generation video coding
TWI572196B (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
US9473777B2 (en) Video encoding device and encoding method thereof, video decoding device and decoding method thereof, and directional intra-prediction method to be used thereto
BR112019027261A2 (pt) refinamento de vetor de movimento para previsão de multirreferências
EP3087744B1 (en) Projected interpolation prediction generation for next generation video coding
BR112019027821A2 (pt) emparelhamento de gabarito com base em reconstrução parcial para derivação de vetor de movimento
US7822116B2 (en) Method and system for rate estimation in a video encoder
BR112016015998B1 (pt) Sinalização de resolução de vetor de movimento adaptativa para codificação de vídeo
US20200288166A1 (en) Methods and apparatuses for video encoding and video decoding
JP2007067731A (ja) 符号化方法
JP2006524000A (ja) ビデオトランスコーディング
KR20120118457A (ko) 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2013059132A (ja) 画像処理装置および方法、並びに記録媒体
JP4243286B2 (ja) 符号化方法
AU2015255215B2 (en) Image processing apparatus and method
US20130170565A1 (en) Motion Estimation Complexity Reduction
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
KR20090027091A (ko) 동영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: G06T 9/00 (2006.01), H04N 19/105 (2014.0

B15K Others concerning applications: alteration of classification

Ipc: H04N 19/105 (2014.01), H04N 19/117 (2014.01), H04N

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 13/04/2021, OBSERVADAS AS CONDICOES LEGAIS.