BR112016014478A2 - Aparelho e método de processamento de imagem - Google Patents
Aparelho e método de processamento de imagem Download PDFInfo
- Publication number
- BR112016014478A2 BR112016014478A2 BR112016014478-3A BR112016014478A BR112016014478A2 BR 112016014478 A2 BR112016014478 A2 BR 112016014478A2 BR 112016014478 A BR112016014478 A BR 112016014478A BR 112016014478 A2 BR112016014478 A2 BR 112016014478A2
- Authority
- BR
- Brazil
- Prior art keywords
- unit
- residual
- residual data
- image
- bit depth
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title abstract description 486
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 230000003247 decreasing effect Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 438
- 238000004364 calculation method Methods 0.000 description 213
- 239000000872 buffer Substances 0.000 description 69
- 238000006073 displacement reaction Methods 0.000 description 63
- 238000010586 diagram Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 56
- 230000002441 reversible effect Effects 0.000 description 55
- 238000013139 quantization Methods 0.000 description 47
- 238000005516 engineering process Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 34
- 230000005540 biological transmission Effects 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 19
- 230000005236 sound signal Effects 0.000 description 19
- 230000008707 rearrangement Effects 0.000 description 17
- 238000009825 accumulation Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 10
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 239000000039 congener Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 2
- 101150029664 PELO gene Proteins 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102100022359 CAAX prenyl protease 2 Human genes 0.000 description 1
- 101000824514 Homo sapiens CAAX prenyl protease 2 Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM.
A presente descrição refere-se a um dispositivo e a um método de processamento de imagem capazes de impedir que uma eficiência de codificação diminua. Um dispositivo de processamento de imagem compreende: uma unidade de previsão residual para, quando uma previsão de dados residuais entre uma imagem de entrada que consiste em uma pluralidade de componentes e uma imagem de previsão for realizada entre os ditos componentes, corresponder as profundidades de bit dos ditos dados residuais umas com as outras entre os ditos componentes para realizar a dita previsão; e uma unidade de codificação para codificação dos dados residuais previstos gerados de acordo com a dita previsão pela dita unidade de previsão residual. A presente descrição é aplicável, por exemplo, a um dispositivo de codificação de imagem que codifica dados de imagem ou a um dispositivo de processamento de imagem, tal como um dispositivo de decodificação de imagem que decodifica dados codificados obtidos pela codificação de dados de imagem.
Description
1 / 172 “APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM”
[001] A presente descrição refere-se a um aparelho e a um método de processamento de imagem e, mais particularmente, a um aparelho e a um método de processamento de imagem capazes de suprimir uma diminuição na eficiência de codificação.
[002] Recentemente, o número de solicitações para a compressão de dados brutos que são gerados por um sensor de imagem ou congêneres e são dados de imagem antes da execução de um processo de desmosaicação e congêneres aumentou.
[003] Como um sistema de codificação de dados de imagem, há MPEG-4 Parte 10 (Codificação Avançada de Vídeo, a seguir, referida como AVC). Recentemente, a fim de melhorar a eficiência de codificação, a padronização de um sistema de codificação chamado de Codificação de Vídeo de Alta Eficiência (HEVC) progrediu pela Equipe de Colaboração em Conjunto - Codificação de Vídeo (JCTVC), que é uma organização de padrões em conjunto do Setor de Padronização de Telecomunicação da União Internacional de Telecomunicação (ITU-T) e da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO/IEC) (por exemplo, veja o Documento de Patente 1).
[004] Em um sistema de codificação como este, um método para fazer uma previsão de um sinal residual entre componentes foi considerado (por exemplo, veja Documento Não Patente 2).
[005] Documento Não Patente 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last
2 / 172 Call)", JCTVC-L1003_version 34, 2013-03-19
[006] Documento Não Patente 2: Wei Pu, Woo-Shik Kim, Jianle Chen, Joel Sole, Marta Karczewicz, "RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4", JCTVC-O0202, 2013-11-11
[007] Entretanto, no geral, as profundidades de bit dos dados de componentes são independentes umas das outras e, desta maneira, há uma possibilidade de que valores mutuamente diferentes sejam definidos para as mesmas. Entretanto, em um método descrito no Documento Não Patente 2, uma previsão de uma profundidade de bit entre componentes mutuamente diferentes não é considerada, e há preocupação de que uma previsão não seja corretamente feita e a eficiência de codificação seja diminuída.
[008] A presente descrição é feita em consideração de uma situação como esta e deve suprimir uma diminuição na eficiência de codificação.
[009] De acordo com uma modalidade da presente tecnologia, é provido um aparelho de processamento de imagem que inclui: uma unidade de previsão residual que realiza uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e uma unidade de codificação que codifica dados residuais previstos gerados através da previsão realizada pela unidade de previsão residual.
[0010] A unidade de previsão residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit.
[0011] A unidade de previsão residual pode realizar a previsão com as
3 / 172 profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada não for zero.
[0012] A unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que a diferença entre as profundidades de bit for positiva e omitir a previsão em um caso em que a diferença entre as profundidades de bit for negativa.
[0013] A unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que um espaço de cor da imagem de entrada não for um espaço RGB e omitir a previsão em um caso em que o espaço de cor da imagem de entrada for o espaço RGB.
[0014] Um espaço de cor da imagem de entrada pode ser um espaço YUV, e a unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente de luminância e um componente de diferença de cor.
[0015] Um espaço de cor da imagem de entrada pode ser um espaço RGB, e a unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B.
[0016] A unidade de previsão residual pode realizar a previsão pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada, realização do deslocamento de bit dos dados residuais de um componente dentre os dois componentes que
4 / 172 correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado, e aquisição de uma diferença entre os dados residuais do outro componente e o resultado da multiplicação com bit deslocado.
[0017] A unidade de previsão residual pode definir o coeficiente de ponderação que é comum a uma pluralidade de componentes.
[0018] De acordo com uma modalidade da presente tecnologia, é provido um método de processamento de imagem que inclui: realizar uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e codificar os dados residuais previstos gerados através da previsão.
[0019] De acordo com uma outra modalidade da presente tecnologia, é provido um aparelho de processamento de imagem que inclui: uma unidade de decodificação que decodifica dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e uma unidade de restauração residual que realiza restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela unidade de decodificação pela decodificação dos dados codificados.
[0020] A unidade de restauração residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit.
5 / 172
[0021] Uma unidade de recepção que recebe informação em relação às profundidades de bit pode ser adicionalmente incluída, e a unidade de restauração residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada com base na informação em relação às profundidades de bit recebida pela unidade de recepção e realização do deslocamento de bit com base na diferença adquirida entre as profundidades de bit.
[0022] A unidade de restauração residual, em um caso em que a diferença adquirida entre as profundidades de bit não for zero, pode arranjar as profundidades de bit dos dados residuais para serem uniformes através do deslocamento de bit.
[0023] A unidade de restauração residual pode realizar restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit em um caso em que a diferença adquirida entre as profundidades de bit for positiva e omitir a restauração em um caso em que a diferença entre as profundidades de bit for negativa.
[0024] A unidade de recepção pode receber adicionalmente a informação em relação a um espaço de cor da imagem, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que o espaço de cor da imagem não for um espaço RGB com base na informação em relação ao espaço de cor da imagem recebida pela unidade de recepção e omitir a restauração em um caso em que o espaço de cor da imagem for o espaço RGB.
[0025] Um espaço de cor da imagem pode ser um espaço YUV, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes
6 / 172 entre um componente de luminância e um componente de diferença de cor através do deslocamento de bit.
[0026] Um espaço de cor da imagem pode ser um espaço RGB, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B.
[0027] A unidade de restauração residual, pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a restauração é realizada, realização do deslocamento de bit dos dados residuais restaurados de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado e adição do resultado da multiplicação com bit deslocado e dos dados residuais previstos, pode realizar a restauração dos dados residuais do outro componente.
[0028] De acordo com uma outra modalidade da presente tecnologia, é provido um método de processamento de imagem que inclui: decodificar os dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e realizar restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados.
[0029] De acordo com uma modalidade da presente tecnologia, uma previsão é realizada com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada
7 / 172 entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista, e dados residuais previstos gerados através da previsão são codificados.
[0030] De acordo com uma outra modalidade da presente tecnologia, são decodificados dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados, e restauração é realizada com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados.
[0031] De acordo com a presente descrição, uma imagem pode ser codificada e decodificada. Particularmente, uma diminuição na eficiência de codificação pode ser suprimida.
[0032] A figura 1 é um diagrama que ilustra uma configuração de exemplo de uma unidade de codificação.
[0033] A figura 2 é um diagrama que ilustra um exemplo de semântica.
[0034] A figura 3 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem.
[0035] A figura 4 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.
[0036] A figura 5 é um fluxograma que ilustra um exemplo do fluxo de um processo de codificação.
[0037] A figura 6 é um fluxograma que ilustra um exemplo do fluxo
8 / 172 de um processo de previsão residual.
[0038] A figura 7 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.
[0039] A figura 8 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.
[0040] A figura 9 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.
[0041] A figura 10 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem.
[0042] A figura 11 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.
[0043] A figura 12 é um fluxograma que ilustra um exemplo do fluxo de um processo de decodificação.
[0044] A figura 13 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.
[0045] A figura 14 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.
[0046] A figura 15 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.
[0047] A figura 16 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.
[0048] A figura 17 é um diagrama que ilustra um exemplo de semântica.
[0049] A figura 18 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.
[0050] A figura 19 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.
9 / 172
[0051] A figura 20 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.
[0052] A figura 21 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.
[0053] A figura 22 é um diagrama que ilustra um exemplo de semântica.
[0054] A figura 23 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.
[0055] A figura 24 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.
[0056] A figura 25 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.
[0057] A figura 26 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.
[0058] A figura 27 é um diagrama que ilustra um exemplo de semântica.
[0059] A figura 28 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.
[0060] A figura 29 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.
[0061] A figura 30 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.
[0062] A figura 31 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.
10 / 172
[0063] A figura 32 é um diagrama que ilustra um exemplo de sintaxe.
[0064] A figura 33 é um diagrama que ilustra um exemplo de semântica.
[0065] A figura 34 é um diagrama que ilustra um exemplo de semântica.
[0066] A figura 35 é um diagrama que ilustra um exemplo de semântica.
[0067] A figura 36 é um diagrama que ilustra um exemplo de sintaxe.
[0068] A figura 37 é um diagrama que ilustra um exemplo de semântica.
[0069] A figura 38 é um diagrama que ilustra um exemplo de semântica.
[0070] A figura 39 é um diagrama que ilustra um exemplo de semântica.
[0071] A figura 40 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem com múltiplos pontos de visualização.
[0072] A figura 41 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem com múltiplos pontos de visualização de acordo com a presente tecnologia.
[0073] A figura 42 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem com múltiplos pontos de visualização de acordo com a presente tecnologia.
[0074] A figura 43 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem hierárquica.
[0075] A figura 44 é um diagrama que ilustra um exemplo de codificação escalonável espacial.
[0076] A figura 45 é um diagrama que ilustra um exemplo de codificação escalonável temporal.
[0077] A figura 46 é um diagrama que ilustra um exemplo de
11 / 172 codificação escalonável de uma razão de sinal por ruído.
[0078] A figura 47 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem hierárquica de acordo com a presente tecnologia.
[0079] A figura 48 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem hierárquica de acordo com a presente tecnologia.
[0080] A figura 49 é um diagrama de blocos que ilustra um exemplo da configuração principal de um computador.
[0081] A figura 50 é diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de televisão.
[0082] A figura 51 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um telefone celular.
[0083] A figura 52 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de gravação / reprodução.
[0084] A figura 53 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de formação de imagem.
[0085] A figura 54 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um conjunto de vídeo.
[0086] A figura 55 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um processador de vídeo.
[0087] A figura 56 é um diagrama de blocos que ilustra um outro exemplo da configuração esquemática de um processador de vídeo.
[0088] A seguir, modalidades (a seguir, referidas como modalidades) para realizar a presente descrição serão descritas. A descrição será apresentada na seguinte ordem.
1. Primeira Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem)
12 / 172
2. Segunda Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem)
3. Terceira Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem)
4. Quarta Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem)
5. Quinta Modalidade (Comunização do Coeficiente de Ponderação)
6. Sexta Modalidade (Aparelho de Codificação de Imagem com Múltiplos Pontos de Visualização / Aparelho de Decodificação de Imagem com Múltiplos Pontos de Visualização)
7. Sétima Modalidade (Aparelho de Codificação de Imagem Hierárquica / Aparelho de Decodificação de Imagem Hierárquica)
8. Oitava Modalidade (Computador)
9. Nona Modalidade (Exemplo de Aplicação)
10. Décima Modalidade (Aparelho / Unidade / Módulo / Processador) <1. Primeira Modalidade> <Fluxo de Padronização da Codificação de Imagem>
[0089] Recentemente, informação de imagem é tratada como dados digitais e, neste momento, com o propósito de transmitir e acumular informação com alta eficiência, são amplamente usados dispositivos que comprimem e codificam uma imagem pelo emprego de um sistema de codificação que comprime dados através de uma transformada ortogonal, tal como uma transformada discreta de cosseno, e uma compensação de movimento pelo uso de redundância que é específica da informação de imagem. Exemplos de um sistema de codificação como este incluem Grupo de Especialistas em Imagem em Movimento (MPEG) e congêneres.
[0090] Particularmente, MPEG2 (ISO/IEC 13818-2) é definido como
13 / 172 um sistema de codificação de imagem de uso geral e é um padrão que cobre tanto uma imagem de escaneamento entrelaçado e uma imagem de escaneamento sequencial quanto uma imagem de resolução padrão e uma imagem de alta definição. Por exemplo, atualmente, MPEG2 é amplamente usado para uma ampla faixa de aplicações para uso profissional e uso pelo consumidor. Pelo uso do sistema de compressão MPEG2, por exemplo, no caso de uma imagem de escaneamento entrelaçado da resolução padrão com 720 x 480 pixels, uma quantidade de código (taxa de bit) de 4 até 8 Mbps é atribuída. Além do mais, pelo uso do sistema de compressão MPEG2, por exemplo, no caso de uma imagem de escaneamento entrelaçado de alta resolução com 1.920 x 1.088 pixels, uma quantidade de código (taxa de bit) de 18 a 22 Mbps é atribuída. Desta maneira, uma alta taxa de compressão e uma satisfatória qualidade de figura podem ser realizadas.
[0091] O MPEG2 é principalmente visado para codificação de imagem de alta qualidade que é principalmente apropriada para uma difusão, mas não se conforma com um sistema de codificação com uma quantidade de código (taxa de bit) mais alta do que aquela de MPEG1, em outras palavras, com uma taxa de compressão mais alta do que aquela de MPEG1. Entretanto, é considerado que o número de tais solicitações será maior no futuro de acordo com o amplo uso de terminais portáteis, e a padronização de um sistema de codificação MPEG4 foi feita de acordo com isto. Seu padrão em relação a um sistema de codificação de imagem foi aprovado em dezembro de 1998 como ISO/IEC 14496-2.
[0092] Além do mais, nos últimos anos, com o propósito inicial de codificação de imagem para conferências de televisão, H.26L Setor de Padronização de Telecomunicação da União Internacional de Telecomunicação (ITU-T) Q6/16 Grupo de Especialistas de Codificação de Vídeo (VCEG)) foi padronizado. É conhecido que H.26L exige uma maior quantidade de cálculo devido ao processo de codificação e ao processo de
14 / 172 decodificação do mesmo do que aquela de um sistema de codificação convencional, tais como MPEG2 ou MPEG4, e realiza eficiência de codificação mais alta. Além do mais, atualmente, como parte das atividades de MPEG4, um padrão que realiza eficiência de codificação mais alta pela introdução de funções não suportadas de acordo com H.26L com base em H.26L foi feito como Modelo Conjunto da Codificação de Vídeo com Compressão Aprimorada.
[0093] Como uma agenda da padronização do mesmo, em março de 2003, um padrão internacional foi feito com base nos nomes de H.264 e MPEG-4 Parte 10 (Codificação Avançada de Vídeo; a seguir, referida como AVC).
[0094] Além do mais, como uma extensão de H.264/AVC, padronização da Extensão da Faixa de Fidelidade (FRExt) que inclui ferramentas de codificação exigidas para um uso empresarial e DCT 8 x 8 e uma matriz de quantização definidas em MPEG-2, que são chamadas de RGB, 4:2:2, e 4:4:4, foi concluída em fevereiro de 2005. Desta maneira, um sistema de codificação capaz de representar um ruído de filme incluído em um filme é formado pelo uso de H.264/AVC, e H.264/AVC está em um estágio de ser usado em uma ampla faixa de aplicações de Disco Blu-Ray (marca registrada) e congêneres.
[0095] Entretanto, recentemente, o número de solicitações para codificação com uma taxa de compressão ainda mais alta, tais como uma solicitação para comprimir uma imagem de cerca de 4.000 x 2.000 pixels, que compreende quatro vezes o número de pixels de uma imagem de alta definição e uma solicitação para distribuir uma imagem de alta definição em um ambiente com uma capacidade de transmissão limitada, tal como a Internet, aumentou. Por este motivo, revisões para aumentar a eficiência de codificação foram continuamente feitas pelo VCEG afiliado com o ITU-T supradescrito.
15 / 172
[0096] Assim, atualmente, com o propósito de melhorar adicionalmente a eficiência de codificação para ficar mais alta do que aquela de AVC, padronização de um sistema de codificação chamado de Codificação de Vídeo de Alta Eficiência (HEVC) foi desenvolvida por uma Equipe de Colaboração em Conjunto - Codificação de Vídeo (JCTVC), que é uma organização de padronização conjunta de ITU-T e da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO/IEC). Em consideração do padrão HEVC, uma versão preliminar do comitê que é uma edição em versão preliminar do relatório descritivo foi emitida em janeiro de 2013 (por exemplo, veja Documento Não Patente 1). <Sistema de Codificação>
[0097] A seguir, a presente tecnologia será descrita no caso de ser aplicada na codificação / decodificação de imagem do sistema de Codificação de Vídeo de Alta Eficiência (HEVC) como um exemplo. <Unidade de Codificação>
[0098] No sistema de Codificação Avançada de Vídeo (AVC), uma estrutura hierárquica configurada por um macrobloco e um submacrobloco é definida. Entretanto, um macrobloco de 16 x 16 pixels não é ideal para um grande quadro de imagem chamado de Ultra Alta Definição (UHD; 4.000 pixels x 2.000 pixels) que se torna um alvo para um sistema de codificação da próxima geração.
[0099] Ao contrário disto, no sistema HEVC, da forma ilustrada na figura 1, uma unidade de codificação (CU) é definida.
[00100] Uma CU também é chamada de um Bloco de Árvore de Codificação (CTB) e é uma área parcial de uma unidade de figura que alcança um papel similar àquele do macrobloco no sistema AVC. Ao mesmo tempo em que o macrobloco é fixo no tamanho de 16 x 16 pixels, o tamanho da CU não é fixo, mas é designado na informação de compressão de imagem em cada sequência.
16 / 172
[00101] Por exemplo, no conjunto de parâmetro de sequência (SPS) incluído nos dados codificados que são uma saída, um tamanho máximo (Maior Unidade de Codificação (LCU)) e um tamanho mínimo (Menor Unidade de Codificação (SCU)) da CU são definidos.
[00102] Em cada LCU, pela definição de split_flag = 1 em uma faixa não abaixo do tamanho da SCU, a LCU pode ser dividida em CUs com um tamanho menor. No exemplo ilustrado na figura 1, o tamanho da LCU é 128, e uma maior profundidade hierárquica é 5. Quando o valor de split_flag for "1", a CU com um tamanho de 2N x 2N é dividida em CUs, cada qual com um tamanho de N x N em uma hierarquia um nível abaixo.
[00103] Além do mais, a CU é dividida em unidades de previsão (PUs) que são áreas (áreas parciais de uma imagem em unidades de figuras) que são unidades de processamento de uma intraprevisão ou uma interprevisão e é dividida em unidades de transformada (TUs) que são áreas (áreas parciais de uma imagem em unidades de figuras) que são unidades de processamento de uma transformada ortogonal. Atualmente, no sistema HEVC, transformadas ortogonais 16 x 16 e 32 x 32 podem ser usadas, além das transformadas ortogonais 4 x 4 e 8 x 8.
[00104] Como no sistema HEVC supradescrito, no caso de um sistema de codificação no qual uma CU é definida, e vários processos são realizados em unidades de CUs, pode ser considerado que um macrobloco do sistema AVC corresponde a uma LCU, e um bloco (sub-bloco) corresponde a uma CU. Além do mais, um bloco de compensação de movimento do sistema AVC pode ser considerado para corresponder a uma PU. Entretanto, já que a CU tem uma estrutura hierárquica, no geral, o tamanho da LCU da hierarquia mais alta é definido para ser maior do que aquele do macrobloco do sistema AVC, tal como 128 x 128 pixels.
[00105] Assim, a seguir, é considerado que uma LCU inclui um macrobloco do sistema AVC, também, e é considerado que uma CU inclui um
17 / 172 bloco (sub-bloco) do sistema AVC, também. Em outras palavras, um "bloco" usado na descrição apresentada a seguir representa uma área parcial arbitrária na figura, e o tamanho, a forma, a característica e congêneres do mesmo não são especificamente limitados. Em outras palavras, um "bloco", por exemplo, inclui áreas arbitrárias, tais como uma TU, uma PU, uma SCU, uma CU, uma LCU, um sub-bloco, um macrobloco e uma fatia. É aparente que uma área parcial (unidade de processamento) diferente daquelas também é aqui incluída. Além do mais, um caso em que o tamanho, a unidade de processamento, ou congêneres precisam ser limitados será apropriadamente descrito.
[00106] Neste relatório descritivo, uma Unidade de Árvore de Codificação (CTU) é considerada como uma unidade que inclui um Bloco de Árvore de Codificação (CTB) de uma CU de um maior número (LCU) e um parâmetro no momento do processamento na base da LCU (nível) da mesma. Além do mais, uma unidade de codificação (CU) que configura a CTU é considerada como uma unidade que inclui um Bloco de Codificação (CB) e um parâmetro no momento do processamento na base da CU (nível) da mesma. <Seleção de Modo>
[00107] Nos sistemas de codificação AVC e HEVC, a fim de alcançar eficiência de codificação mais alta, a seleção de um apropriado modo de previsão é significativa.
[00108] Como um exemplo de um sistema de seleção como este, há um método no qual o sistema de seleção é embutido em software de referência (publicado em http://iphome.hhi.de/suehring/tml/index.htm) de H.264/MPEG- 4AVC chamado de um JM (Modelo Conjunto).
[00109] No JM, um método de determinação de modo para determinar dois modos, incluindo um modo de alta complexidade e um modo de baixa complexidade a serem descritos a seguir, pode ser selecionado. Em qualquer
18 / 172 um dos modos, um valor da função de custo em relação a cada modo de previsão Modo é calculado, e um modo de previsão com um menor valor da função de custo é selecionado como um modo ideal para o bloco ou o macrobloco.
[00110] A função de custo no modo de alta complexidade é representada a seguir como na Equação (1). [Fórmula Matemática 1] Custo(Modo ∈ ) = D + Ȝ * R ... (1)
[00111] Aqui, é um conjunto universal de modos candidatos usados para codificação do bloco ou do macrobloco, D é energia diferencial entre uma imagem decodificada e uma imagem de entrada em um caso em que codificação for realizada no modo de previsão. Além do mais, Ȝ é um multiplicador indefinido de Lagrange dado em função de um parâmetro de quantização. R é uma quantidade de código total de um caso em que codificação é realizada no modo que inclui o coeficiente de transformada ortogonal.
[00112] Em outras palavras, quando codificação for realizada no modo de alta complexidade, a fim de calcular os supradescritos parâmetros D e R, um processo de codificação provisional precisa ser realizado uma vez para todos os modos candidatos e, desta maneira, uma maior quantidade de cálculo é necessária.
[00113] Uma função de custo no modo de baixa complexidade é representada a seguir como na Equação (2). [Fórmula Matemática 2] Custo(Modo ∈ ) = D + QP2Quant(QP) * HeaderBit ... (2)
[00114] Aqui, D, diferente daquele do caso do modo de alta complexidade, é energia diferencial entre uma imagem prevista e uma imagem de entrada. Além do mais, QP2Quant (QP) é dado em função de um parâmetro de quantização QP, e HeaderBit é uma quantidade de código em
19 / 172 relação a informação que pertence a um cabeçalho, tais como um vetor de movimento e um modo que não inclui um coeficiente de transformada ortogonal.
[00115] Em outras palavras, no modo de baixa complexidade, embora um processo de previsão precise ser realizado para cada modo candidato, uma imagem decodificada não é necessária, e o processo de codificação não precisa ser realizado. Por este motivo, o modo de baixa complexidade pode realizar uma quantidade de cálculo mais alta do que àquela do modo de alta complexidade. < Previsão Residual>
[00116] Neste particular, na HEVC, um método para fazer uma previsão (também referido como uma previsão residual) de um sinal residual entre componentes no momento de 444 codificação foi considerado (por exemplo, veja Documento Não Patente 2).
[00117] Em um método descrito neste Documento Não Patente 2, um componente de diferença de cor (Cb/Cr) (ou um componente R ou um componente B) é previsto usando um componente de luminância (Y) (ou um componente G) como na seguinte Equação (3). [Fórmula Matemática 3] ¨rc(x, y) = rc(x, y) - (Į x rL(x, y)) >> 3 ... (3)
[00118] Aqui, rc(x, y) representa dados residuais (uma diferença entre uma imagem de entrada e uma imagem prevista) de um componente de diferença de cor (Cb ou Cr). Além do mais, rL(x, y) representa dados residuais (uma diferença entre uma imagem de entrada e uma imagem prevista) de um componente de luminância (Y). Além do mais, ¨rc(x, y) representa um resultado da previsão (os dados residuais do componente de diferença de cor (Cb ou Cr) são previstos usando dados residuais do componente de luminância (Y)) de uma previsão residual (também referidos como dados residuais previstos). Nestes, "x, y" representa uma posição (coordenadas) em
20 / 172 uma imagem.
[00119] Além do mais, Į representa um coeficiente de ponderação e toma um valor de um de ±(0, 1, 2, 4, 8). Este valor é definido em unidades de TUs (em outras palavras, o valor é transmitido para o lado de decodificação em unidades de TUs). Aqui, ">>" representa um deslocamento de bit para o lado direito (deslocamento para a direita). Por exemplo, ">> n" representa um deslocamento para a direita correspondente a n bits.
[00120] Se uma previsão residual como esta é feita ou não é controlado em unidades de conjuntos de parâmetro de figura (PPS). Em outras palavras, em um PPS, um indicador ativo / inativo que controla se uma previsão residual como esta é feita ou não é transmitido para o lado da decodificação.
[00121] Neste particular, no geral, as profundidades de bit dos dados de componentes são independentes umas das outras e, assim, há uma possibilidade de que valores mutuamente diferentes sejam definidos. Entretanto, da forma ilustrada na Equação (3) supradescrita, no método de previsão descrito no Documento Não Patente 2, há uma premissa de que as profundidades de bit dos dados residuais (componentes de luminância ou componentes de diferença de cor) dos componentes sejam as mesmas, e um caso em que as profundidades de bit dos dados residuais são diferentes entre os componentes não é considerado. Em outras palavras, em uma previsão representada na Equação (3), em um caso em que as profundidades de bit dos dados residuais forem diferentes umas das outras entre os componentes, uma correta previsão não é feita, e há preocupação de que a eficiência de codificação seja diminuída. <Escalonamento da Profundidade de Bit>
[00122] Assim, quando uma previsão (previsão residual) entre componentes for feita para dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista, as profundidades de bit dos dados residuais são arranjadas para serem uniformes
21 / 172 (escalonamento é realizado) entre os componentes. Pelo arranjo como tal, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, uma previsão pode ser feita com as profundidades de bit dos dados residuais dos componentes sendo uniforme e, desta maneira, a previsão residual pode ser corretamente feita. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.
[00123] Embora um método para arranjar as profundidades de bit dos dados residuais como uniformes entre os componentes seja arbitrário, por exemplo, as profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes entre os componentes pela realização de um deslocamento de bit dos dados residuais. Pela configuração como tal, as profundidades de bit dos dados residuais podem ser facilmente arranjadas para serem uniformes entre os componentes. Em outras palavras, a carga do processamento e o tempo do processamento podem ser diminuídos.
[00124] Aqui, o espaço de cor da imagem de entrada na qual as profundidades de bit dos dados residuais são arranjadas para serem uniformes é arbitrário. Por exemplo, o espaço de cor pode ser um espaço YUV (YUV444 ou congêneres) ou um espaço RGB (RGB444 ou congêneres). Por exemplo, em um caso em que o espaço de cor de uma imagem de entrada for o espaço YUV, a previsão pode ser feita com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através de um deslocamento de bit. Mais especificamente, por exemplo, a previsão pode ser feita depois que a profundidade de bit do componente de luminância for arranjada para ser uniforme em relação à profundidade de bit do componente de diferença de cor através de um deslocamento de bit. Além do mais, por exemplo, em um caso em que o espaço de cor da imagem de entrada for o espaço RGB, a previsão pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente
22 / 172 G e um componente R ou um componente B através de um deslocamento de bit. Mais especificamente, por exemplo, a previsão pode ser feita depois que a profundidade de bit do componente G for arranjada para ser uniforme em relação à profundidade de bit do componente R ou do componente B através de um deslocamento de bit. <Operação de Deslocamento>
[00125] Um exemplo específico do deslocamento de bit (operação de deslocamento) para arranjar as profundidades de bit como uniformes, da forma supradescrita será descrito. Um método para a operação de deslocamento é arbitrário. Por exemplo, em um caso em que uma diferença da profundidade de bit entre dois componentes a serem previstos não for zero, uma previsão pode ser feita com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes através de um deslocamento de bit. Por exemplo, da forma representada na seguinte Equação (4), ela pode ser configurada de maneira tal que uma diferença (diferença da profundidade de bit) das profundidades de bit dos dados residuais entre os componentes seja adquirida e, da forma representada nas Equações (5) até (8), um deslocamento de bit correspondente à diferença da profundidade de bit é feito. Neste momento, o deslocamento de bit correspondente ao valor absoluto da diferença da profundidade de bit, da forma representada nas Equações (6) ou (8), pode ser feito. Em um caso como este, por exemplo, uma direção do deslocamento pode ser determinada da forma representada na Equação (6) e na Equação (8) com base em se as condições de Equação (5) e Equação (7) são satisfeitas ou não. [Fórmula Matemática 4] ¨bitdepth = BitDepthY - BitDepthC ... (4) se(¨bitdepth 0) ... (5) ¨rc(x, y) = rc(x, y) - (Į x (rL(x, y) >> ¨bitdepth)) >> 3 ... (6) caso contrário ... (7)
23 / 172 ¨rc(x, y) = rc(x, y) - (Į x (rL(x, y) << -¨bitdepth)) >> 3 ... (8)
[00126] Na Equação (4) até a Equação (8), BitDepthY representa a profundidade de bit dos dados residuais do componente de luminância (Y), e BitDepthC representa a profundidade de bit dos dados residuais do componente de diferença de cor (Cb ou Cr). Além do mais, ¨bitdepth representa uma diferença da profundidade de bit (uma diferença entre a profundidade de bit (BitDepthY) dos dados residuais do componente de luminância (Y) e a profundidade de bit (BitDepthC) dos dados residuais do componente de diferença de cor (Cb ou Cr)) entre componentes.
[00127] Além do mais, rc(x, y) representa os dados residuais do componente de diferença de cor (Cb ou Cr). Além do mais, rL(x, y) representa os dados residuais do componente de luminância (Y). Além do mais, ¨rc(x, y) representa dados residuais previstos (os dados residuais do componente de diferença de cor (Cb ou Cr) são previstos usando os dados residuais do componente de luminância (Y)) entre componentes. Nestes, "x, y" representa uma posição (coordenadas) em uma imagem.
[00128] Além do mais, Į representa um coeficiente de ponderação. O valor de Į é arbitrário e, por exemplo, é definido em um valor de um de ±(0, 1, 2, 4, 8). Este valor é definido em unidades de TUs (em outras palavras, o valor é transmitido para o lado da decodificação em unidades de TUs). Aqui, ">>" representa um deslocamento de bit para o lado direito (deslocamento para a direita), e "<<" representa um deslocamento de bit para o lado esquerdo (deslocamento para a esquerda). Por exemplo, ">>n" representa um deslocamento para a direita correspondente a n bits, e "<<m" representa um deslocamento para a esquerda correspondente a m bits.
[00129] No caso deste exemplo, da forma representada na Equação (4) até na Equação (8), uma diferença da profundidade de bit (¨bitdepth) entre componentes é calculada usando a Equação (4). Então, em um caso em que este valor satisfaz a condição da Equação (5), em outras palavras, em um caso
24 / 172 em que ¨bitdepth for zero ou mais, dados residuais previstos (¨rc(x, y)) são calculados como na Equação (6). Da forma representada na Equação (6), embora um método de cálculo deste caso seja, basicamente, o mesmo da Equação (3), os dados residuais previstos (¨rc(x, y)) são calculados pelo deslocamento dos dados residuais (rL(x, y)) do componente de luminância (Y) para o lado direito em correspondência com a diferença da profundidade de bit (¨bitdepth).
[00130] Por outro lado, em um caso em que a diferença da profundidade de bit (¨bitdepth) entre os componentes tiver um valor negativo (um valor menor do que zero) e não satisfizer a condição da Equação (5) (a condição da Equação (7) é satisfeita), dados residuais previstos (¨rc(x, y)) são calculados como na Equação (8). Da forma representada na Equação (8), embora um método de cálculo deste caso seja, basicamente, o mesmo da Equação (3), os dados residuais previstos (¨rc(x, y)) são calculados pelo deslocamento dos dados residuais (rL(x, y)) do componente de luminância (Y) para o lado esquerdo direito em correspondência com a diferença da profundidade de bit (-¨bitdepth).
[00131] Em outras palavras, em um caso como este, a profundidade de bit (BitDepthY) dos dados residuais (rL(x, y)) do componente de luminância (Y) pode ser arranjada para ser uniforme para a profundidade de bit (BitDepthC) dos dados residuais (rc(x, y)) do componente de diferença de cor (Cb ou Cr), e dados residuais previstos (¨rc(x, y)) são calculados. Mais especificamente, uma diferença entre as profundidades de bit de dois componentes usados para uma previsão residual é adquirida, um deslocamento de bit (escalonamento) correspondente a uma diferença entre as profundidades de bit é feito para os dados residuais de um componente dos dois componentes, os dados residuais que passam por deslocamento de bit são multiplicados por um coeficiente de ponderação predeterminado, um deslocamento de bit correspondente a um número de bits predeterminado é
25 / 172 feito para um resultado da multiplicação, e uma diferença entre os dados residuais do outro componente e o resultado da multiplicação que passou por deslocamento de bit é adquirida. Uma previsão pode ser feita como exposto.
[00132] Em um caso em que ¨bitdepth for zero, a quantidade de deslocamento de bit dos dados residuais (rL(x, y)) do componente de luminância (Y) é zero e, assim, os dados residuais previstos (¨rc(x, y)) podem ser considerados como sendo calculados como na Equação (3).
[00133] Pelo cálculo como exposto, também em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, dados residuais previstos (¨rc(x, y)) podem ser corretamente calculados. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida. <Semântica>
[00134] A fim de realizar escalonamento da profundidade de bit, como exposto, semântica pode ser descrita como um exemplo ilustrado na figura 2. Uma porção da semântica ilustrada na figura 2 na qual um sublinhado é aplicado é uma descrição correspondente ao escalonamento (por exemplo, Equação (5) até Equação (8)) supradescrito. <Aparelho de Codificação de Imagem>
[00135] A figura 3 é um diagrama de blocos que ilustra um exemplo da configuração de um aparelho de codificação de imagem que é um aspecto de um aparelho de processamento de imagem de acordo com a presente tecnologia. O aparelho de codificação de imagem 100 ilustrado na figura 3 codifica dados de imagem de uma imagem em movimento, por exemplo, pelo uso de um processo de previsão de HEVC ou um processo de previsão de um sistema que é em conformidade com o mesmo. A seguir, será descrito um caso como um exemplo no qual o espaço de cor de uma imagem de entrada é YUV444.
[00136] Da forma ilustrada na figura 3, o aparelho de codificação de
26 / 172 imagem 100 inclui: um buffer de rearranjo de tela 102; uma unidade de cálculo 103; uma unidade de transformada ortogonal 104; uma unidade de quantização 105; uma unidade de codificação reversível 106; um buffer de acúmulo 107; uma unidade de quantização inversa 108; e uma unidade de transformada ortogonal inversa 109. Além do mais, o aparelho de codificação de imagem 100 inclui: uma unidade de cálculo 110; um filtro em malha 111; uma memória de quadro 112; uma unidade de intraprevisão 113; uma unidade de interprevisão 114; uma unidade de seleção de imagem prevista 115; e uma unidade de controle de taxa 116. Além do mais, o aparelho de codificação de imagem 100 inclui: uma unidade de processamento de cabeçalho 121; uma unidade de previsão residual 122; e uma unidade de restauração residual 123.
[00137] O buffer de rearranjo de tela 102 armazena imagens de quadros dos dados de imagem de entrada na ordem de exibição, rearranja as imagens armazenadas dos quadros na ordem para codificação de acordo com um Grupo De Figura (GOP), e supre as imagens adquiridas pelo rearranjo da ordem de quadros para a unidade de cálculo 103. Além do mais, o buffer de rearranjo de tela 102 supre as imagens adquiridas pelo rearranjo da ordem de quadros, também, para a unidade de intraprevisão 113 e a unidade de interprevisão 114.
[00138] A unidade de cálculo 103 subtrai uma imagem prevista suprida a partir da unidade de intraprevisão 113 ou da unidade de interprevisão 114 através da unidade de seleção de imagem prevista 115 a partir de uma imagem lida a partir do buffer de rearranjo de tela 102 e supre informação da diferença (dados residuais) da mesma para a unidade de previsão residual 122. Por exemplo, no caso de uma imagem para a qual intracodificação é realizada, a unidade de cálculo 103 subtrai uma imagem prevista suprida a partir da unidade de intraprevisão 113 de uma imagem lida a partir do buffer de rearranjo de tela 102. Por outro lado, por exemplo, no caso de uma imagem para a qual intercodificação é realizada, a unidade de cálculo 103 subtrai uma
27 / 172 imagem prevista suprida a partir da unidade de interprevisão 114 de uma imagem lida a partir do buffer de rearranjo de tela 102.
[00139] A unidade de transformada ortogonal 104 realiza uma transformada ortogonal, tais como uma transformada discreta de cosseno ou uma transformada Karhuren-Loève, para os dados residuais do componente de luminância ou os dados residuais previstos do componente de diferença de cor supridos a partir da unidade de previsão residual 122. A unidade de transformada ortogonal 104 supre coeficientes de transformada adquiridos através da transformada ortogonal para a unidade de quantização 105.
[00140] A unidade de quantização 105 quantiza os coeficientes de transformada supridos a partir da unidade de transformada ortogonal 104. A unidade de quantização 105 define parâmetros de quantização com base na informação em relação a um valor alvo de uma quantidade de codificação que é suprida a partir da unidade de controle de taxa 116 e realiza a quantização dos mesmos. A unidade de quantização 105 supre os coeficientes de transformada quantizados para a unidade de codificação reversível 106.
[00141] A unidade de codificação reversível 106 codifica os coeficientes de transformada quantizados, quantizados pela unidade de quantização 105 usando um sistema de codificação arbitrário. Já que os dados de coeficiente são quantizados sob o controle da unidade de controle de taxa 116, a quantidade de codificação se torna o valor alvo (ou um valor próximo do valor alvo) definido pela unidade de controle de taxa 116.
[00142] Além do mais, a unidade de codificação reversível 106 adquire informação que representa o modo da intraprevisão e congêneres a partir da unidade de intraprevisão 113 e adquire a informação que representa o modo da interprevisão, informação do vetor de movimento diferencial e congêneres a partir da unidade de interprevisão 114.
[00143] A unidade de codificação reversível 106 codifica tais vários itens de informação usando um sistema de codificação arbitrário e configura a
28 / 172 informação codificada como uma parte da informação de cabeçalho dos dados codificados (também referidos como um fluxo contínuo codificado) (multiplexado). A unidade de codificação reversível 106 supre os dados codificados adquiridos pelo processo de codificação para o buffer de acúmulo 107, desse modo, acumulando os dados codificados nos mesmos.
[00144] Exemplos do sistema de codificação da unidade de codificação reversível 106 incluem uma codificação de comprimento variável, codificação aritmética e congêneres. Como exemplos da codificação de comprimento variável, há Codificação de Comprimento Variável Adaptável ao Contexto (CAVLC) definida no sistema H.264/AVC e congêneres. Como exemplos da codificação aritmética, há Codificação Aritmética Binária Adaptável ao Contexto (CABAC) ou congêneres.
[00145] O buffer de acúmulo 107 mantém temporariamente os dados codificados supridos a partir da unidade de codificação reversível 106. Além do mais, o buffer de acúmulo 107 transmite os dados codificados mantidos para o exterior do aparelho de codificação de imagem 100 em sincronização predeterminada. Em outras palavras, o buffer de acúmulo 107 é uma unidade de transmissão que também transmite os dados codificados.
[00146] Além do mais, os coeficientes de transformada quantizados pela unidade de quantização 105 também são supridos para a unidade de quantização inversa 108. A unidade de quantização inversa 108 realiza quantização inversa dos coeficientes de transformada quantizados pelo uso de um método correspondente ao processo de quantização realizado pela unidade de quantização 105. A unidade de quantização inversa 108 supre os coeficientes de transformada adquiridos pelo processo de quantização inversa para a unidade de transformada ortogonal inversa 109.
[00147] A unidade de transformada ortogonal inversa 109 realiza uma transformada ortogonal inversa dos coeficientes de transformada supridos a partir da unidade de quantização inversa 108 pelo uso de um método
29 / 172 correspondente ao processo de transformada ortogonal realizado pela unidade de transformada ortogonal 104. A unidade de transformada ortogonal inversa 109 supre a saída (os dados residuais do componente de luminância restaurado e os dados residuais previstos do componente de diferença de cor) para a qual a transformada ortogonal inversa é realizada para a unidade de restauração residual 123. Além do mais, a unidade de transformada ortogonal inversa 109 também supre os dados residuais do componente de luminância restaurado para a unidade de previsão residual 122.
[00148] A unidade de cálculo 110 adiciona uma imagem prevista suprida a partir da unidade de intraprevisão 113 ou da unidade de interprevisão 114 através da unidade de seleção de imagem prevista 115 nos dados residuais restaurados de cada componente suprido a partir da unidade de restauração residual 123, desse modo, adquirindo uma imagem (a seguir, referida como uma imagem de reconstrução) que é localmente reconstruída. A imagem restaurada é suprida para o filtro em malha 111 ou a unidade de intraprevisão 113.
[00149] O filtro em malha 111 inclui um filtro de desbloqueio, um filtro em malha adaptativo ou congêneres e realiza apropriadamente um processo de filtro para uma imagem de reconstrução suprida a partir da unidade de cálculo 110. Por exemplo, o filtro em malha 111 remove uma distorção do bloco da imagem de reconstrução pela realização de um processo do filtro de desbloqueio para a imagem de reconstrução. Além do mais, por exemplo, o filtro em malha 111 realiza um processo de filtro em malha usando um filtro Wiener para um resultado (uma imagem de reconstrução a partir da qual a distorção do bloco foi removida) do processo do filtro de desbloqueio, desse modo, melhorando a qualidade da imagem.
[00150] Além do mais, o filtro em malha 111 pode ser configurado para realizar qualquer outro processo de filtro arbitrário adicional para a imagem de reconstrução. Além do mais, o filtro em malha 111, conforme seja
30 / 172 necessário, pode ser configurado para suprir informação, tais como coeficientes de filtro usados para o processo de filtro e congêneres, para a unidade de codificação reversível 106 para codificar a informação.
[00151] O filtro em malha 111 supre um resultado do processo de filtro (a seguir, referida como uma imagem decodificada) para a memória de quadro
112.
[00152] A memória de quadro 112 armazena a imagem decodificada suprida e supre a imagem decodificada armazenada para a unidade de interprevisão 114 em sincronização predeterminada como uma imagem de referência.
[00153] A unidade de intraprevisão 113 realiza uma intraprevisão (previsão intratela) na qual uma imagem prevista é gerada pelo uso de valores de pixel em uma figura alvo de processamento que é uma imagem de reconstrução suprida a partir da unidade de cálculo 110 como uma imagem de referência. A unidade de intraprevisão 113 realiza a intraprevisão usando uma pluralidade de modos de intraprevisão preparados antecipadamente.
[00154] A unidade de intraprevisão 113 gera imagens previstas em todos os modos de intraprevisão que são candidatos, avalia um valor da função de custo de cada imagem prevista pelo uso de uma imagem de entrada suprida a partir do buffer de rearranjo de tela 102, e seleciona um modo ideal. Quando o modo de intraprevisão ideal for selecionado, a unidade de intraprevisão 113 supre a imagem prevista gerada no modo ideal para a unidade de seleção de imagem prevista 115.
[00155] Além do mais, como exposto, a unidade de intraprevisão 113 supre apropriadamente a informação do modo de intraprevisão que representa o modo de intraprevisão empregado e congêneres para a unidade de codificação reversível 106 para codificar a mesma.
[00156] A unidade de interprevisão 114 realiza um processo de interprevisão (um processo de previsão de movimento e um processo de
31 / 172 compensação) pelo uso de uma imagem de entrada suprida a partir do buffer de rearranjo de tela 102 e uma imagem de referência suprida a partir da memória de quadro 112. Mais especificamente, a unidade de interprevisão 114 realiza um processo de compensação de movimento de acordo com um vetor de movimento detectado pela realização de uma previsão de movimento como um processo de interprevisão, desse modo, gerando uma imagem prevista (informação da imagem de interprevisão). A unidade de interprevisão 114 realiza uma interprevisão como esta em uma pluralidade de modos de interprevisão preparados antecipadamente.
[00157] A unidade de interprevisão 114 gera imagens de previsão em todos os modos de interprevisão que são candidatos. A unidade de interprevisão 114 avalia um valor da função de custo de cada imagem prevista pelo uso da imagem de entrada suprida a partir do buffer de rearranjo de tela 102 e da informação do vetor de movimento da diferença gerado e congêneres, e seleciona um modo ideal. Quando o modo de interprevisão ideal for selecionado, a unidade de interprevisão 114 supre a imagem prevista gerada no modo ideal para a unidade de seleção de imagem prevista 115.
[00158] A unidade de interprevisão 114 supre informação que representa um modo de interprevisão empregado, informação exigida para realizar o processo no modo de interprevisão no momento da decodificação dos dados codificados e congêneres para a unidade de codificação reversível 106 para codificar a informação. Como a informação exigida, por exemplo, há informação do vetor de movimento da diferença gerado, um indicador que representa um índice de um vetor de movimento previsto como informação do vetor de movimento previsto e congêneres.
[00159] A unidade de seleção de imagem prevista 115 seleciona uma fonte de suprimento de uma imagem prevista a ser suprida para a unidade de cálculo 103 e a unidade de cálculo 110. Por exemplo, no caso da intracodificação, a unidade de seleção de imagem prevista 115 seleciona a
32 / 172 unidade de intraprevisão 113 como uma fonte de suprimento de uma imagem prevista e supre a imagem prevista suprida a partir da unidade de intraprevisão 113 para a unidade de cálculo 103 e a unidade de cálculo 110. Por outro lado, por exemplo, no caso da intercodificação, a unidade de seleção de imagem prevista 115 seleciona a unidade de interprevisão 114 como uma fonte de suprimento de uma imagem prevista e supre a imagem prevista suprida a partir da unidade de interprevisão 114 para a unidade de cálculo 103 e a unidade de cálculo 110.
[00160] A unidade de controle de taxa 116 controla a taxa da operação de quantização realizada pela unidade de quantização 105 com base na quantidade de codificação dos dados codificados acumulados no buffer de acúmulo 107, de maneira tal que um sobrefluxo ou um subfluxo não ocorram.
[00161] A unidade de processamento de cabeçalho 121, por exemplo, gera informação adicional (também referida como informação de cabeçalho), tais como um conjunto do parâmetro de vídeo (VPS), um conjunto de parâmetro de sequência (SPS), um conjunto de parâmetro de figura (PPS), informação de intensificação complementar (SEI) e um cabeçalho de fatia diferente da informação de imagem. A unidade de processamento de cabeçalho 121 supre a informação de cabeçalho gerada para a unidade de codificação reversível 106 e transmite a informação de cabeçalho tendo sido incluída em um fluxo contínuo de bits para o lado da decodificação. Além do mais, a unidade de processamento de cabeçalho 121 supre informação necessária entre a informação de cabeçalho gerada para a unidade de previsão residual 122. Detalhes disto serão descritos a seguir.
[00162] A unidade de previsão residual 122 realiza uma previsão residual pelo uso dos dados residuais de um componente de diferença de cor suprido a partir da unidade de cálculo 103 e dos dados residuais de um componente de luminância restaurado suprido a partir da unidade de transformada ortogonal inversa 109. Mais especificamente, a unidade de
33 / 172 previsão residual 122 realiza uma previsão dos dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância restaurado, desse modo, gerando dados residuais previstos. Neste momento, a unidade de previsão residual 122 realiza uma previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes. Detalhes disto serão descritos a seguir. A unidade de previsão residual 122 supre os dados residuais previstos do componente de diferença de cor adquiridos através de uma previsão residual como esta e os dados residuais do componente de luminância supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que a previsão residual não for realizada, a unidade de previsão residual 122 supre os dados residuais de cada componente supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.
[00163] A unidade de restauração residual 123 restaura os dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância e dos dados residuais previstos do componente de diferença de cor supridos a partir da unidade de transformada ortogonal inversa 109 (também referida como restauração residual). Neste momento, a unidade de restauração residual 123 realiza restauração pelo arranjo das profundidades de bit dos dados residuais para serem uniformes entre os componentes. O processo da restauração residual é, basicamente, similar ao processo da restauração residual realizado no lado da decodificação e, assim, quando o lado da decodificação for descrito, a descrição do processo da restauração residual será apresentada pelo uso da descrição para o lado da decodificação. A unidade de restauração residual 123 supre os dados residuais de cada componente que foi restaurado para a unidade de cálculo 110.
[00164] <Unidade de processamento de cabeçalho e unidade de previsão residual>
[00165] A figura 4 é um diagrama de blocos que ilustra um exemplo
34 / 172 das configurações principais da unidade de processamento de cabeçalho 121 e da unidade de previsão residual 122 ilustradas na figura 3. Da forma ilustrada na figura 4, a unidade de processamento de cabeçalho 121 inclui: uma unidade de processamento de SPS 131; e uma unidade de processamento de PPS 132.
[00166] A unidade de processamento de SPS 131, por exemplo, realiza um processo em relação à geração de um conjunto de parâmetro de sequência (SPS). Além do mais, a unidade de processamento de SPS 131, por exemplo, supre informação que inclui informação (por exemplo, bit_depth_luma_minus8), que é incluída no conjunto de parâmetro de sequência (SPS), que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor para a unidade de previsão residual 122 (uma unidade de cálculo da diferença da profundidade de bit 151 a ser descrita posteriormente).
[00167] A unidade de processamento de PPS 132, por exemplo, realiza um processo em relação à geração de um conjunto de parâmetro de figura (PPS). Além do mais, a unidade de processamento de PPS 132, por exemplo, supre informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se uma previsão residual é realizada ou não para a unidade de previsão residual 122 (uma unidade de controle de deslocamento de bit 152 a ser descrita posteriormente).
[00168] A unidade de previsão residual 122 supre os dados residuais (rY(x, y)) do componente de luminância supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104. A unidade de
35 / 172 previsão residual 122 inclui uma unidade de controle 141 e uma unidade de previsão 142. A unidade de controle 141 realiza um processo em relação ao controle de cálculo de uma previsão residual. A unidade de previsão 142 é controlada pela unidade de controle 141 e realiza cálculo em relação à previsão da mesma. Por exemplo, a unidade de previsão 142, sob o controle da unidade de controle 141, gera dados residuais previstos (¨rcr(x, y) e ¨rcb(x, y)) fazendo uma previsão (previsão residual) dos dados residuais (rCr(x, y) e rCb(x, y)) do componente de diferença de cor, que é adquirido a partir da unidade de cálculo 103, pelo uso do componente residual restaurado (r'Y(x, y)) do componente de luminância, que é adquirido a partir da unidade de transformada ortogonal inversa 109, e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Além do mais, a unidade de previsão 142, sob o controle da unidade de controle 141, supre os dados residuais (rCr(x, y) e rCb(x, y)) do componente de diferença de cor adquirido a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104 sem fazer uma previsão residual.
[00169] A unidade de controle 141 inclui: uma unidade de cálculo da diferença da profundidade de bit 151; uma unidade de controle de deslocamento de bit 152; e uma unidade de definição do coeficiente de ponderação 153.
[00170] A unidade de cálculo da diferença da profundidade de bit 151 calcula uma diferença da profundidade de bit entre os dados residuais dos componentes usados para uma previsão residual. Por exemplo, a unidade de cálculo da diferença da profundidade de bit 151 adquire a informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou a informação que inclui a informação que representa a profundidade de bit do componente de luminância e a informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou a informação que inclui a
36 / 172 informação que representa a profundidade de bit do componente de diferença de cor a partir da unidade de processamento de SPS 131 e calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes pela realização do cálculo representado na Equação (4) pelo uso de tal informação. A unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de controle de deslocamento de bit 152.
[00171] Além do mais, a unidade de cálculo da diferença da profundidade de bit 151, sob o controle da unidade de controle de deslocamento de bit 152, supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de previsão 142. Por exemplo, em um caso em que um deslocamento para a direita dos dados residuais for realizado no momento do escalonamento da profundidade de bit, a unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de deslocamento direito 162. Por outro lado, em um caso em que um deslocamento para a esquerda dos dados residuais for realizado no momento do escalonamento da profundidade de bit, a unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (-delta_bitdepth) para a unidade de deslocamento esquerdo 163.
[00172] A unidade de controle de deslocamento de bit 152 controla o cálculo realizado pela unidade de previsão 142 com base no valor da diferença da profundidade de bit (delta_bitdepth) entre os componentes supridos a partir da unidade de cálculo da diferença da profundidade de bit
151. Por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for zero, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que um deslocamento de bit (o escalonamento da profundidade de bit) dos dados residuais não seja realizado. Além do mais,
37 / 172 neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth) não seja suprida para a unidade de previsão 142.
[00173] Além do mais, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor positivo (> 0), a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado direito (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth) seja suprida para a unidade de previsão 142 (a unidade de deslocamento direito 162).
[00174] Por outro lado, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor negativo (< 0), a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado esquerdo (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (-delta_bitdepth) seja suprida para a unidade de previsão 142 (a unidade de deslocamento esquerdo 163).
[00175] Além do mais, a unidade de controle de deslocamento de bit 152, por exemplo, adquire informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não a partir da unidade de processamento de PPS 132 e controla se uma previsão residual é realizada ou não com base no valor da
38 / 172 mesma. Por exemplo, em um caso em que for representado que uma previsão residual não é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142, de maneira tal que cálculo em relação à previsão não seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que o suprimento da diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja interrompido. Além do mais, a unidade de controle de deslocamento de bit 152, em um caso como este, realiza controle da unidade de definição do coeficiente de ponderação 153, de maneira tal que o coeficiente de ponderação Į não seja definido.
[00176] Por outro lado, por exemplo, em um caso em que for representado que uma previsão residual é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 de maneira tal que o cálculo em relação à previsão seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth ou -delta_bitdepth) seja suprida para a unidade de previsão 142. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de definição do coeficiente de ponderação 153 para definir o coeficiente de ponderação Į e supre o coeficiente de ponderação para a unidade de previsão 142 (unidade de multiplicação do coeficiente de ponderação 164).
[00177] A unidade de definição do coeficiente de ponderação 153 define o coeficiente de ponderação Į sob o controle da unidade de controle de deslocamento de bit 152. Um método de definição do coeficiente de
39 / 172 ponderação Į e o valor do mesmo são arbitrários. Por exemplo, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir independentemente o coeficiente de ponderação Į para cada componente. Além do mais, em um caso em que o coeficiente de ponderação Į for definido, a unidade de definição do coeficiente de ponderação 153 supre o coeficiente de ponderação Į para a unidade de previsão 142 (a unidade de multiplicação do coeficiente de ponderação 164). Este coeficiente de ponderação Į também é usado para restauração residual e, assim, é provido para o lado da decodificação tendo sido incluído em um fluxo contínuo de bits.
[00178] A unidade de previsão 142 inclui: uma unidade de seleção 161; uma unidade de deslocamento direito 162; uma unidade de deslocamento esquerdo 163; uma unidade de multiplicação do coeficiente de ponderação 164; uma unidade de deslocamento direito 165; uma unidade de cálculo 166; e uma unidade de cálculo 167.
[00179] A unidade de seleção 161 seleciona um destino de suprimento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, supridos a partir da unidade de transformada ortogonal inversa 109 sob o controle da unidade de controle de deslocamento de bit 152. Por exemplo, no caso da realização de escalonamento (deslocamento para a direita) da profundidade de bit, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento direito 162. Neste caso, o cálculo representado na Equação (6) é realizado. Além do mais, no caso da realização de escalonamento (deslocamento para a esquerda) da profundidade de bit, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento esquerdo
163. Neste caso, o cálculo representado na Equação (8) é realizado. Por outro lado, por exemplo, em um caso em que o escalonamento da profundidade de
40 / 172 bit não for realizado, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de multiplicação do coeficiente de ponderação 164. Neste caso, o cálculo representado na Equação (3) é realizado.
[00180] A unidade de deslocamento direito 162 realiza o escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 161 para o lado direito em correspondência com uma diferença da profundidade de bit (delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 151. A unidade de deslocamento direito 162 supre um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 164.
[00181] A unidade de deslocamento esquerdo 163 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 161 para o lado esquerdo em correspondência com uma diferença da profundidade de bit (-delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 151. A unidade de deslocamento esquerdo 163 supre um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 164.
[00182] A unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais do componente de luminância que foram restaurados a partir de uma da unidade de seleção 161 para a unidade de deslocamento esquerdo 163. Por exemplo, a unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y)) do componente de luminância que não passou por deslocamento de bit a partir da unidade de seleção 161. Além do mais, por exemplo, a unidade de
41 / 172 multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y) >> delta_bitdepth) do componente de luminância que foram deslocados para o lado direito a partir da unidade de deslocamento direito 162. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y) << -delta_bitdepth) do componente de luminância que foram deslocados para o lado esquerdo a partir da unidade de deslocamento esquerdo 163.
[00183] Além do mais, a unidade de multiplicação do coeficiente de ponderação 164 adquire o coeficiente de ponderação Į a partir da unidade de definição do coeficiente de ponderação 153. A unidade de multiplicação do coeficiente de ponderação 164 multiplica os dados residuais restaurados do componente de luminância que foram adquiridos pelo coeficiente de ponderação Į e supre um resultado (Į x (r'Y(x, y)), Į x (r'Y(x, y) >> delta_bitdepth) ou Į x (r'Y(x, y) << -delta_bitdepth)) da multiplicação para a unidade de deslocamento direito 165.
[00184] A unidade de deslocamento direito 165 desloca os dados residuais restaurados (Į x (r'Y(x, y)), Į x (r'Y(x, y) >> delta_bitdepth) ou Į x (r'Y(x, y) << -delta_bitdepth)) do componente de luminância, que foram supridos a partir da unidade de multiplicação do coeficiente de ponderação 164, para o lado direito em bits predeterminados. Embora a quantidade de deslocamento de bit seja arbitrária, por exemplo, no caso da Equação (3), da Equação (6) e da Equação (8), a unidade de deslocamento direito 165 desloca os dados residuais para o lado direito em três bits. A unidade de deslocamento direito 165 supre um resultado (Į x (r'Y(x, y)) >> 3, Į x (r'Y(x, y) >> delta_bitdepth) >> 3, ou Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita para a unidade de cálculo 166 ou a unidade de cálculo 167.
[00185] A unidade de cálculo 166 gera dados residuais previstos (¨rCr(x, y)) do componente de diferença de cor (Cr) pela subtração dos dados
42 / 172 residuais restaurados (Į x (r'Y(x, y)) >> 3,Į x (r'Y(x, y) >> delta_bitdepth) >> 3 ou, Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 165, dos dados residuais (rCr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de cálculo 103 e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que tal cálculo não for realizado, a unidade de cálculo 166 supre os dados residuais (rCr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.
[00186] A unidade de cálculo 167 gera dados residuais previstos (¨rCb(x, y)) do componente de diferença de cor (Cb) pela subtração dos dados residuais restaurados (Į x (r'Y(x, y)) >> 3, Į x (r'Y(x, y) >> delta_bitdepth) >> 3, ou, Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 165, dos dados residuais (rCb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de cálculo 103 e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que tal cálculo não for realizado, a unidade de cálculo 167 supre os dados residuais (rCb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.
[00187] Da forma supradescrita, em uma previsão residual, a unidade de previsão residual 122 realiza a previsão pela realização de escalonamento das profundidades de bit dos dados residuais restaurados dos componentes de luminância. Desta maneira, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de previsão residual 122 pode calcular corretamente os dados residuais previstos. Portanto, de acordo com o aparelho de codificação de imagem 100, uma diminuição na eficiência de codificação pode ser suprimida. <Fluxo do Processo de Codificação>
43 / 172
[00188] A seguir, um exemplo do fluxo de cada processo executado pelo aparelho de codificação de imagem 100 será descrito. Primeiro, um exemplo do fluxo do processo de codificação será descrito em relação a um fluxograma representado na figura 5.
[00189] Quando o processo de codificação for iniciado, a unidade de processamento de cabeçalho 121, por exemplo, gera informação de cabeçalho, tais como um conjunto de parâmetro de sequência (SPS) ou um conjunto de parâmetro de figura (PPS), na Etapa S101.
[00190] Na Etapa S102, o buffer de rearranjo de tela 102 armazena imagens de quadros (figuras) de uma imagem em movimento de entrada na ordem de exibição e rearranja as imagens da ordem de exibição das figuras para a ordem de codificação.
[00191] Na Etapa S103, a unidade de intraprevisão 113 realiza um processo de intraprevisão de um modo de intraprevisão.
[00192] Na Etapa S104, a unidade de interprevisão 114 realiza um processo de interprevisão no qual uma previsão de movimento, uma compensação de movimento e congêneres são realizadas no modo de interprevisão.
[00193] Na Etapa S105, a unidade de seleção de imagem prevista 115 seleciona uma da imagem prevista gerada de acordo com a intraprevisão da Etapa S103 e uma imagem prevista gerada de acordo com a interprevisão da Etapa S104 com base em um valor da função de custo ou congêneres.
[00194] Na Etapa S106, a unidade de cálculo 103 calcula uma diferença entre uma imagem de entrada na qual a ordem de quadro é rearranjada pelo processo da Etapa S102 e uma imagem prevista selecionada pelo processo da Etapa S105. Em outras palavras, a unidade de cálculo 103 gera dados residuais entre uma imagem de entrada e uma imagem predeterminada. A quantidade de dados dos dados residuais adquiridos desta maneira é menor do que aquela dos dados de imagem originais. Desta
44 / 172 maneira, a quantidade de dados pode ser comprimida mais do que em um caso em que uma imagem é diretamente codificada. Um processo como este é realizado para cada um dos componentes (Y, Cr, e Cb).
[00195] Na Etapa S107, a unidade de previsão residual 122 realiza uma previsão residual pelo uso de dados residuais do componente de luminância para os dados residuais do componente de diferença de cor adquiridos pelo processo da Etapa S106. Neste momento, a unidade de previsão residual 122 realiza uma previsão com profundidades de bit dos dados residuais sendo uniformes entre os componentes. Este processo será descrito com detalhes a seguir.
[00196] Na Etapa S108, a unidade de transformada ortogonal 104 realiza uma transformada ortogonal para os dados residuais do componente de luminância gerados pelo processo da Etapa S106 e os dados residuais previstos do componente de diferença de cor gerados pelo processo da Etapa S107.
[00197] Na Etapa S109, a unidade de quantização 105 quantiza coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S108 pelo uso dos parâmetros de quantização calculados pela unidade de controle de taxa 116.
[00198] Na Etapa S110, a unidade de quantização inversa 108 realiza quantização inversa dos coeficientes quantizados (também referidos como coeficientes de quantização) gerados pelo processo da Etapa S109 pelo uso das características correspondentes às características da quantização.
[00199] Na Etapa S111, a unidade de transformada ortogonal inversa 109 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S108.
[00200] Na Etapa S112, a unidade de restauração residual 123 restaura os dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância restaurados pelo processo da Etapa
45 / 172 S111 e dos dados residuais previstos do componente de diferença de cor. Neste momento, a unidade de restauração residual 123 realiza restauração com as profundidades de bit dos dados residuais sendo uniformes entre os componentes. Este processo será descrito com detalhes a seguir.
[00201] Na Etapa S113, a unidade de cálculo 110 gera os dados de imagem de uma imagem de reconstrução pela adição da imagem prevista selecionada pelo processo da Etapa S105 nos dados residuais de cada componente restaurado pelo processo da Etapa S111 e da Etapa S112.
[00202] Na Etapa S114, o filtro em malha 111 realiza um processo de filtro em malha para os dados de imagem da imagem de reconstrução gerados pelo processo da Etapa S113. Desta maneira, uma distorção do bloco e congêneres da imagem de reconstrução são eliminados.
[00203] Na Etapa S115, a memória de quadro 112 armazena uma imagem decodificada, que é localmente decodificada, adquirida pelo processo da Etapa S114.
[00204] Na Etapa S116, a unidade de codificação reversível 106 codifica os coeficientes quantizados adquiridos pelo processo da Etapa S109. Em outras palavras, para dados correspondentes aos dados residuais, codificação reversível, tais como codificação de comprimento variável ou codificação aritmética, é realizada.
[00205] Além do mais, neste momento, a unidade de codificação reversível 106 codifica informação em relação ao modo de previsão da imagem prevista selecionada pelo processo da Etapa S105 e adiciona a informação codificada nos dados codificados adquiridos pela codificação de uma imagem diferencial. Em outras palavras, a unidade de codificação reversível 106 codifica informação do modo de intraprevisão ideal suprida a partir da unidade de intraprevisão 113 ou informação correspondente ao modo de interprevisão ideal suprida a partir da unidade de interprevisão 114 e congêneres, e adiciona a informação codificada nos dados codificados.
46 / 172
[00206] Na Etapa S117, o buffer de acúmulo 107 armazena os dados codificados e congêneres adquiridos pelo processo da Etapa S116. Os dados codificados e congêneres armazenados no buffer de acúmulo 107 são apropriadamente lidos como um fluxo contínuo de bits e são transmitidos para o lado da decodificação através de uma linha de transmissão ou uma mídia de gravação.
[00207] Na Etapa S118, a unidade de controle de taxa 116 controla a taxa do processo de quantização da Etapa S109 com base na quantidade de codificação (quantidade de codificação gerada) dos dados codificados e congêneres armazenados no buffer de acúmulo 107 pelo processo da Etapa S117, de maneira tal que um sobrefluxo ou um subfluxo não ocorram.
[00208] Quando o processo da Etapa S118 terminar, o processo de codificação termina. <Fluxo do Processo de Previsão Residual>
[00209] A seguir, um exemplo do fluxo do processo de previsão residual realizado na Etapa S107 de um processo de codificação como este será descrito em relação a um fluxograma ilustrado na figura 6.
[00210] Quando o processo de previsão residual for iniciado, na Etapa S121, a unidade de cálculo da diferença da profundidade de bit 151 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 151 realiza o cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00211] Na Etapa S122, a unidade de controle de deslocamento de bit
47 / 172 152 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S121 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S123. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).
[00212] Na Etapa S123, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S124.
[00213] Na Etapa S124, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação Į para cada TU.
[00214] Na Etapa S125, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes sem realizar escalonamento das profundidades de bit. Detalhes deste processo serão descritos a seguir.
[00215] Na Etapa S125, quando a previsão residual terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00216] Por outro lado, por exemplo, na Etapa S123, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S124 e da Etapa S125 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00217] Além do mais, na Etapa S122, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o
48 / 172 processo prossegue para a Etapa S126.
[00218] Na Etapa S126, a unidade de controle de deslocamento de bit 152 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S121 é positiva ou não. Em um caso em que ser positiva é determinado, o processo prossegue para a Etapa S127. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).
[00219] Na Etapa S127, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S128.
[00220] Na Etapa S128, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação Į para cada TU.
[00221] Na Etapa S129, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes pela realização de escalonamento das profundidades de bit pelo uso de um deslocamento para a direita. Detalhes deste processo serão descritos a seguir.
[00222] Quando a previsão residual realizada na Etapa S129 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00223] Por outro lado, por exemplo, na Etapa S127, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S128 e da Etapa S129 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
49 / 172
[00224] Além do mais, na Etapa S126, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positivo (determinado como negativo), o processo prossegue para a Etapa S130. Em um caso como este, a previsão residual é realizada da forma representada na Equação (8) (escalonamento usando um deslocamento para a esquerda é realizado).
[00225] Na Etapa S130, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S131.
[00226] Na Etapa S131, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação Į para cada TU.
[00227] Na Etapa S132, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes pela realização de escalonamento das profundidades de bit de acordo com um deslocamento para a esquerda. Detalhes deste processo serão descritos a seguir.
[00228] Quando a previsão residual realizada na Etapa S132 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00229] Por outro lado, por exemplo, na Etapa S130, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S131 e da Etapa S132 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
50 / 172 <Fluxo do Processo de Geração de Dados Residuais Previstos>
[00230] A seguir, um exemplo do fluxo do processo de geração de dados residuais previstos realizado na Etapa S125 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 7.
[00231] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S141, a unidade de multiplicação do coeficiente de ponderação 164 da unidade de previsão 142 multiplica os dados residuais restaurados (r'Y(x, y)) do componente de luminância pelo coeficiente de ponderação Į definido pelo processo da Etapa S124 ilustrado na figura 6 (Į x r'Y(x, y)).
[00232] Na Etapa S142, a unidade de deslocamento direito 165 desloca um resultado da multiplicação (Į x r'Y(x, y)) calculado na Etapa S141 para o lado direito em três bits ((Į x r'Y(x, y)) >> 3).
[00233] Na Etapa S143, a unidade de cálculo 166 gera dados residuais previstos (¨rCr(x, y)) pela subtração do resultado do deslocamento para a direita ((Į x r'Y(x, y)) >> 3) calculado na Etapa S142 a partir dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) -(Į x r'Y(x, y)) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (¨rCb(x, y)) pela subtração do resultado do deslocamento para a direita ((Į x r'Y(x, y)) >> 3) calculado na Etapa S142 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - (Į x r'Y(x, y)) >> 3).
[00234] Quando os dados residuais previstos (¨rCr(x, y) e ¨rCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura
6. <Fluxo do Processo de Geração de Dados Residuais Previstos>
[00235] A seguir, um exemplo do fluxo do processo de geração de
51 / 172 dados residuais previstos realizado na Etapa S129 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 8.
[00236] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S151, a unidade de deslocamento direito 162 da unidade de previsão 142 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado direito em correspondência com a diferença da profundidade de bit (delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S121 ilustrado na figura 6 ((r'Y(x, y) >> delta_bitdepth)).
[00237] Na Etapa S152, a unidade de multiplicação do coeficiente de ponderação 164 multiplica um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita calculado na Etapa S151 pelo coeficiente de ponderação Į definido pelo processo da Etapa S128 ilustrado na figura 6 (Į x (r'Y(x, y) >> delta_bitdepth)).
[00238] Na Etapa S153, a unidade de deslocamento direito 165 desloca um resultado da multiplicação (Į x (r'Y(x, y) >> delta_bitdepth)) calculado na Etapa S152 para o lado direito em três bits (Į x (r'Y(x, y) >> delta_bitdepth) >> 3).
[00239] Na Etapa S154, a unidade de cálculo 166 gera dados residuais previstos (¨rCr(x, y)) pela subtração do resultado (Į x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) - Į x (r'Y(x, y) >> delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (¨rCb(x, y)) pela subtração do resultado (Į x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - Į x (r'Y(x, y) >> delta_bitdepth) >> 3).
[00240] Quando os dados residuais previstos (¨rCr(x, y) e ¨rCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura
52 / 172
6. <Fluxo do Processo de Geração de Dados Residuais Previstos>
[00241] A seguir, um exemplo do fluxo do processo de geração de dados residuais previstos realizado na Etapa S132 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 9.
[00242] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S161, a unidade de deslocamento esquerdo 163 da unidade de previsão 142 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado esquerdo em correspondência com a diferença da profundidade de bit (-delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S121 ilustrado na figura 6 (r'Y(x, y) << - delta_bitdepth).
[00243] Na Etapa S162, a unidade de multiplicação do coeficiente de ponderação 164 multiplica um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda calculado na Etapa S161 pelo coeficiente de ponderação Į definido pelo processo da Etapa S131 ilustrado na figura 6 (Į x (r'Y(x, y) << -delta_bitdepth)).
[00244] Na Etapa S163, a unidade de deslocamento direito 165 desloca o resultado da multiplicação (Į x (r'Y(x, y) << -delta_bitdepth)) calculado na Etapa S162 para o lado direito em três bits Į x (r'Y(x, y) << -delta_bitdepth) >> 3).
[00245] Na Etapa S164, a unidade de cálculo 166 gera dados residuais previstos (¨rCr(x, y)) pela subtração do resultado (Į x (r'Y(x, y) << - delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) - Į x (r'Y(x, y) << -delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (¨rCb(x, y)) pela subtração do resultado (Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado
53 / 172 na Etapa S163 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - Į x (r'Y(x, y) << -delta_bitdepth) >> 3).
[00246] Quando os dados residuais previstos (¨rCr(x, y) e ¨rCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura
6.
[00247] Pela realização de cada processo, como exposto, a unidade de previsão residual 122 pode calcular corretamente os dados residuais previstos, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes umas das outras entre componentes. Desta maneira, o aparelho de codificação de imagem 100 pode suprimir uma diminuição na eficiência de codificação. <Restauração Residual>
[00248] A seguir, a decodificação dos dados codificados (fluxo contínuo de bits), codificados como exposto, será descrita. A fim de realizar restauração residual correspondente à previsão residual (em outras palavras, restaurar os dados residuais do componente de diferença de cor), como fica aparente da Equação (3) até a Equação (8), na restauração residual, os dados residuais restaurados do componente de luminância usados para a previsão residual podem ser adicionados nos dados residuais previstos do componente de diferença de cor gerados pela previsão residual.
[00249] Em outras palavras, como nos exemplos representados na Equação (6) e na Equação (8), em um caso em que as profundidades de bit forem arranjadas para serem uniformes entre o componente no momento da realização de uma previsão residual, também, na restauração residual correspondente à previsão residual, os dados residuais dos componentes de diferença de cor podem ser restaurados com as profundidades de bit sendo arranjadas para serem uniformes entre os componentes. Pela configuração como tal, também, em um caso em que as profundidades de bit dos dados
54 / 172 residuais forem diferentes umas das outras entre os componentes, restauração pode ser realizada com as profundidades de bit dos dados residuais dos componentes sendo arranjadas para serem uniformes e, desta maneira, a restauração residual pode ser corretamente realizada. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.
[00250] Embora um método para arranjar as profundidades de bit dos dados residuais como uniformes entre os componentes seja arbitrário, o arranjo pode ser realizado de uma maneira similar àquela no momento da realização da previsão residual. Por exemplo, as profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes entre os componentes pela realização de um deslocamento de bit dos dados residuais. Pela configuração como tal, as profundidades de bit dos dados residuais podem ser facilmente arranjadas como uniformes entre os componentes. Em outras palavras, a carga do processamento e o tempo do processamento podem ser diminuídos.
[00251] Naturalmente, também, no caso da restauração residual, similarmente ao caso da decodificação residual, o espaço de cor de uma imagem na qual as profundidades de bit dos dados residuais são arranjadas para serem uniformes é arbitrário. Por exemplo, o espaço de cor pode ser um espaço YUV (YUV444 ou congêneres) ou um espaço RGB (RGB444 ou congêneres). Por exemplo, em um caso em que o espaço de cor da imagem for o espaço YUV, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através de um deslocamento de bit. Mais especificamente, por exemplo, a restauração pode ser realizada depois que a profundidade de bit do componente de luminância for arranjada para ser uniforme em relação à profundidade de bit do componente de diferença de cor através de um deslocamento de bit. Além do mais, por exemplo, em um caso em que o espaço de cor da imagem for o
55 / 172 espaço RGB, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente G e um componente R ou um componente B através de um deslocamento de bit. Mais especificamente, por exemplo, a restauração pode ser realizada depois que a profundidade de bit do componente G for arranjada para ser uniforme em relação à profundidade de bit do componente R ou do componente B através de um deslocamento de bit. <Cálculo da Restauração Residual>
[00252] Um exemplo específico do cálculo da restauração residual, como exposto, será descrito. Por exemplo, como na Equação (3), em um caso em que o escalonamento das profundidades de bit não for realizado na previsão residual, também na restauração residual, como na seguinte Equação (9), o escalonamento das profundidades de bit pode não ser realizado. Similarmente, na previsão residual, por exemplo, em um caso em que o escalonamento das profundidades de bit for realizado, como na Equação (4) até na Equação (8), também, na restauração residual, como na seguinte Equação (10) até na Equação (14), o escalonamento das profundidades de bit pode ser realizado. [Fórmula Matemática 5] r'c(x, y) = ¨r'c(x, y) + (Į x rL(x, y)) >> 3 ... (9) ¨bitdepth = BitDepthY - BitDepthC ... (10) se(¨bitdepth 0) ... (11) r'c(x, y) = ¨r'c(x, y) + (Į x (rL(x, y) >> ¨bitdepth)) >> 3 ... (12) caso contrário ... (13) r'c(x, y) = ¨r'c(x, y) + (Į x (rL(x, y) << -¨bitdepth)) >> 3 ... (14)
[00253] Um método de cálculo de deslocamento para arranjar as profundidades de bit para serem uniformes, como exposto, é arbitrário. As profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes pela transmissão da informação em relação à profundidade de bit
56 / 172 dos dados residuais de cada componente a partir do lado da codificação, aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais uma previsão é realizada com base na informação em relação à profundidade de bit dos dados residuais de cada componente transmitido a partir do lado da codificação, e realização de um deslocamento de bit com base na diferença adquirida entre as profundidades de bit. Então, em um caso em que a diferença da profundidade de bit entre os dois componentes não for zero, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes através de um deslocamento de bit. Por exemplo, como na Equação (10) supradescrita, ela pode ser configurada de maneira tal que uma diferença (diferença da profundidade de bit) das profundidades de bit dos dados residuais entre os componentes seja adquirida e, da forma representada na Equação (11) até na Equação (14), um deslocamento de bit é realizado em correspondência com a diferença da profundidade de bit. Neste momento, o deslocamento de bit, como na Equação (12) e na Equação (14), pode ser realizado em correspondência com o valor absoluto da diferença da profundidade de bit. Em um caso como este, por exemplo, a direção do deslocamento pode ser determinada da forma representada na Equação (12) e na Equação (14) com base em se as condições da Equação (11) e da Equação (13) são satisfeitas ou não.
[00254] Em outras palavras, em um caso como este, a restauração é realizada com a profundidade de bit (BitDepthY) dos dados residuais (rL(x, y)) do componente de luminância (Y) sendo arranjada para ser uniforme em relação à profundidade de bit (BitDepthC) dos dados residuais (rc(x, y)) do componente de diferença de cor (Cb ou Cr). Mais especificamente, uma diferença da profundidade de bit entre dois componentes para os quais a restauração é realizada é adquirida, um deslocamento de bit correspondente à diferença da profundidade de bit é realizado para os dados residuais
57 / 172 restaurados de um componente dentre os dois componentes, os dados residuais com bit deslocado são multiplicados por um coeficiente de ponderação predeterminado, um deslocamento de bit correspondente a um número de bits predeterminado é realizado para o resultado da multiplicação, e o resultado da multiplicação com bit deslocado e os dados residuais previstos são adicionados em conjunto, de acordo com o que, os dados residuais do outro componente são restaurados. A restauração pode ser realizada como exposto.
[00255] Em um caso em que ¨bitdepth for zero, a quantidade de deslocamento de bit dos dados residuais (rL(x, y)) do componente de luminância (Y) é zero e, desta maneira, os dados residuais (r'c(x, y)) podem ser considerados calculados, da forma representada na Equação (9).
[00256] Pelo cálculo como exposto, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, os dados residuais (r'c(x, y)) podem ser corretamente restaurados. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida. <Aparelho de Decodificação de Imagem>
[00257] A figura 10 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem correspondente ao aparelho de codificação de imagem 100 ilustrado na figura 3, que é um aspecto do aparelho de processamento de imagem de acordo com a presente tecnologia.
[00258] O aparelho de decodificação de imagem 200 ilustrado na figura 10 decodifica os dados codificados gerados pelo aparelho de codificação de imagem 100 usando um método de decodificação correspondente ao método de codificação.
[00259] Da forma ilustrada na figura 10, o aparelho de decodificação de imagem 200 inclui: um buffer de acúmulo 201; uma unidade de decodificação reversível 202; uma unidade de quantização inversa 203; uma
58 / 172 unidade de transformada ortogonal inversa 204; uma unidade de cálculo 205; um filtro em malha 206; e um buffer de rearranjo de tela 207. Além do mais, o aparelho de decodificação de imagem 200 inclui: uma memória de quadro 209; uma unidade de intraprevisão 210; uma unidade de interprevisão 211; e uma unidade de seleção de imagem prevista 212. Além do mais, o aparelho de decodificação de imagem 200 inclui: uma unidade de aquisição de cabeçalho 221; e uma unidade de restauração residual 222.
[00260] O buffer de acúmulo 201 também serve como uma unidade de recepção que recebe dados codificados transmitidos a partir do lado da codificação (por exemplo, o aparelho de codificação de imagem 100). O buffer de acúmulo 201 recebe e acumula os dados codificados transmitidos e supre os dados codificados para a unidade de decodificação reversível 202 em sincronização predeterminada. Aqui, informação exigida para um processo de decodificação, tais como informação do modo de previsão e congêneres, é adicionada nos dados codificados. A unidade de decodificação reversível 202 decodifica a informação, que é suprida a partir do buffer de acúmulo 201, codificada pela unidade de codificação reversível 106 usando um sistema de decodificação correspondente ao sistema de codificação. A unidade de decodificação reversível 202 supre dados de coeficiente quantizados que são adquiridos pelo processo de decodificação para a unidade de quantização inversa 203.
[00261] Além do mais, a unidade de decodificação reversível 202 determina se o modo de intraprevisão ou o modo de interprevisão é selecionado como um modo de previsão ideal e supre informação em relação ao modo de previsão ideal para o um modo da unidade de intraprevisão 210 e da unidade de interprevisão 211 que é determinado como selecionado. Em outras palavras, por exemplo, em um caso em que o modo de intraprevisão for selecionado como o modo de previsão ideal no aparelho de codificação de imagem 100, informação em relação ao modo de previsão ideal é suprida para
59 / 172 a unidade de intraprevisão 210. Por outro lado, por exemplo, em um caso em que o modo de interprevisão for selecionado como o modo de previsão ideal no aparelho de codificação de imagem 100, informação em relação ao modo de previsão ideal é suprida para a unidade de interprevisão 211.
[00262] Além do mais, a unidade de decodificação reversível 202 supre informação exigida para quantização inversa, tais como uma matriz de quantização e parâmetros de quantização, para a unidade de quantização inversa 203.
[00263] Além do mais, a unidade de decodificação reversível 202 supre informação de cabeçalho, tais como um conjunto de parâmetro de sequência (SPS), um conjunto de parâmetro de figura (PPS) ou um cabeçalho de fatia, para a unidade de aquisição de cabeçalho 221.
[00264] A unidade de quantização inversa 203 realiza quantização inversa dos dados de coeficiente quantizados adquiridos através do processo de decodificação realizado pela unidade de decodificação reversível 202 usando um sistema que corresponde ao sistema de quantização da unidade de quantização 105. Aqui, esta unidade de quantização inversa 203 é uma unidade de processamento similar à unidade de quantização inversa 108. Em outras palavras, a descrição da unidade de quantização inversa 203 também pode ser aplicada na unidade de quantização inversa 108. Entretanto, os destinos de entrada / saída de dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho.
[00265] A unidade de quantização inversa 203 supre os dados de coeficiente adquiridos para a unidade de transformada ortogonal inversa 204.
[00266] A unidade de transformada ortogonal inversa 204 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal supridos a partir da unidade de quantização inversa 203 pelo uso de um método correspondente ao processo de transformada ortogonal realizado pela unidade de transformada ortogonal 104 conforme seja necessário. Aqui, esta
60 / 172 unidade de transformada ortogonal inversa 204 é uma unidade de processamento similar à unidade de transformada ortogonal inversa 109. Em outras palavras, a descrição da unidade de transformada ortogonal inversa 204 também pode ser aplicada na unidade de transformada ortogonal inversa 109. Entretanto, os destinos de entrada / saída dos dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho.
[00267] A unidade de transformada ortogonal inversa 204 adquire dados residuais e dados residuais previstos correspondentes a um estado antes da transformada ortogonal realizada pelo aparelho de codificação de imagem 100 através do processo de transformada ortogonal inversa. Os dados residuais e os dados residuais previstos adquiridos através da transformada ortogonal inversa são supridos para a unidade de restauração residual 222.
[00268] A unidade de cálculo 205 adquire os dados residuais de cada componente, que são restaurados, a partir da unidade de restauração residual
222. Além do mais, a unidade de cálculo 205 adquire uma imagem prevista a partir da unidade de intraprevisão 210 ou da unidade de interprevisão 211 através da unidade de seleção de imagem prevista 212. A unidade de cálculo 205 adquire uma imagem de reconstrução correspondente a uma imagem antes da subtração da imagem prevista que é realizada pela unidade de cálculo 103 pela adição de uma imagem diferencial e da imagem prevista em conjunto. A unidade de cálculo 205 supre a imagem de reconstrução para o filtro em malha 206 e a unidade de intraprevisão 210.
[00269] O filtro em malha 206 gera uma imagem decodificada pela apropriada realização de um processo de filtro em malha que inclui um processo do filtro de desbloqueio, um filtro em malha adaptativo e congêneres para a imagem de reconstrução suprida. Por exemplo, o filtro em malha 206 realiza um processo do filtro de desbloqueio para a imagem de reconstrução, desse modo, removendo uma distorção do bloco. Além do mais, por exemplo, o filtro em malha 206 realiza um processo de filtro em malha para um
61 / 172 resultado (a imagem de reconstrução a partir da qual a distorção do bloco é removida) do processo do filtro de desbloqueio pelo uso de um filtro Wiener, desse modo, melhorando a qualidade da imagem.
[00270] Aqui, o tipo do processo de filtro realizado pelo filtro em malha 206 é arbitrário, e um processo de filtro diferente daquele supradescrito pode ser realizado. Além do mais, o filtro em malha 206 pode ser configurado para realizar o processo de filtro usando coeficientes de filtro supridos a partir do aparelho de codificação de imagem 100.
[00271] O filtro em malha 206 supre uma imagem decodificada que é um resultado do processo de filtro para o buffer de rearranjo de tela 207 e a memória de quadro 209.
[00272] O buffer de rearranjo de tela 207 realiza rearranjo das imagens. Em outras palavras, a ordem dos quadros arranjados pelo buffer de rearranjo de tela 102 para a ordem de codificação é mudada para a ordem da exibição original. O buffer de rearranjo de tela 207 transmite dados de imagem decodificados nos quais a ordem de quadros é rearranjada para o exterior do aparelho de decodificação de imagem 200.
[00273] A memória de quadro 209 armazena a imagem decodificada suprida e supre a imagem decodificada armazenada para a unidade de interprevisão 211 como uma imagem de referência em sincronização predeterminada ou com base em uma solicitação proveniente do exterior, tal como a unidade de interprevisão 211.
[00274] Informação que representa o modo de intraprevisão e congêneres é adquirida pela decodificação da informação de cabeçalho e é apropriadamente suprida para a unidade de intraprevisão 210 da unidade de decodificação reversível 202. A unidade de intraprevisão 210 realiza uma intraprevisão pelo uso da imagem de referência adquirida a partir da memória de quadro 209 no modo de intraprevisão usado pela unidade de intraprevisão 113, desse modo, gerando uma imagem prevista. A unidade de intraprevisão
62 / 172 210 supre a imagem prevista gerada para a unidade de seleção de imagem prevista 212.
[00275] A unidade de interprevisão 211 adquire informação (a informação do modo de previsão ideal, a informação da imagem de referência e congêneres) adquirida pela decodificação da informação de cabeçalho a partir da unidade de decodificação reversível 202.
[00276] A unidade de interprevisão 211 realiza uma interprevisão pelo uso da imagem de referência adquirida a partir da memória de quadro 209 no modo de interprevisão representado pela informação do modo de previsão ideal adquirida a partir da unidade de decodificação reversível 202, desse modo, gerando uma imagem prevista.
[00277] A unidade de seleção de imagem prevista 212 supre uma imagem prevista suprida a partir da unidade de intraprevisão 210 ou uma imagem prevista suprida a partir da unidade de interprevisão 211 para a unidade de cálculo 205. Então, a unidade de cálculo 205 adiciona a imagem prevista gerada usando um vetor de movimento e os dados decodificados residuais (informação de imagem diferencial) supridos a partir da unidade de restauração residual 222, de acordo com o que, uma imagem original é decodificada.
[00278] A unidade de aquisição de cabeçalho 221, por exemplo, adquire a informação de cabeçalho transmitida a partir do lado da codificação, tais como um conjunto do parâmetro de vídeo (VPS), um conjunto de parâmetro de sequência (SPS) e um conjunto de parâmetro de figura (PPS), uma SEI e um cabeçalho de fatia através da unidade de decodificação reversível 202. A unidade de aquisição de cabeçalho 221 supre informação necessária incluída na informação de cabeçalho adquirida para a unidade de restauração residual 222. Detalhes disto serão descritos a seguir.
[00279] A unidade de restauração residual 222 restaura os dados residuais do componente de diferença de cor (também referida como
63 / 172 restauração residual) pelo uso dos dados residuais do componente de luminância e dos dados residuais previstos do componente de diferença de cor supridos a partir da unidade de transformada ortogonal inversa 204. Neste momento, a unidade de restauração residual 222 realiza restauração com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes. Aqui, esta unidade de restauração residual 222 é uma unidade de processamento que é similar à unidade de restauração residual 123. Em outras palavras, a descrição da unidade de restauração residual 222 também pode ser aplicada à unidade de restauração residual 123. Entretanto, os destinos de entrada / saída dos dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho. <Unidade de Aquisição de Cabeçalho e Unidade de Restauração Residual>
[00280] A figura 11 é um diagrama de blocos que ilustra um exemplo das configurações principais da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 ilustradas na figura 10. Da forma ilustrada na figura 11, a unidade de aquisição de cabeçalho 221 inclui: uma unidade de aquisição de SPS 231; uma unidade de aquisição de PPS 232; e uma unidade de aquisição do coeficiente de ponderação 233.
[00281] A unidade de aquisição de SPS 231 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância, que é incluída no conjunto de parâmetro de sequência (SPS) suprido a partir do lado da codificação, e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor e supre a informação adquirida para a unidade de restauração residual 222 (uma unidade de cálculo da diferença da
64 / 172 profundidade de bit 251 a ser descrita posteriormente).
[00282] A unidade de aquisição de PPS 232 supre informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS) suprido a partir do lado da codificação, usado para controlar se uma previsão residual é realizada ou não, para a unidade de restauração residual 222 (uma unidade de controle de deslocamento de bit 252 a ser descrita posteriormente).
[00283] A unidade de aquisição do coeficiente de ponderação 233 supre o coeficiente de ponderação Į ou informação que inclui o coeficiente de ponderação Į suprido a partir do lado da codificação para a unidade de restauração residual 222 (uma unidade de multiplicação do coeficiente de ponderação 264 a ser descrita posteriormente).
[00284] A unidade de restauração residual 222 supre os dados residuais restaurados (r'Y(x, y)) do componente de luminância suprido a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205. A unidade de restauração residual 222 inclui uma unidade de controle 241 e uma unidade de restauração 242. A unidade de controle 241 realiza um processo em relação ao controle do cálculo em relação à restauração residual. A unidade de restauração 242 realiza cálculo em relação à restauração residual sob o controle da unidade de controle 241. Por exemplo, a unidade de restauração 242, pelo uso dos dados residuais restaurados (r'Y(x, y)) do componente de luminância adquiridos a partir da unidade de transformada ortogonal inversa 204, restaura os dados residuais (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor dos dados residuais restaurados previstos (¨r'Cr(x, y) e ¨r'Cb(x, y)) do componente de diferença de cor, que é adquirido a partir da unidade de transformada ortogonal inversa 204, sob o controle da unidade de controle 241. A unidade de restauração 242 supre os dados residuais restaurados (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor para a unidade de cálculo 205. Além do mais, a unidade de restauração
65 / 172 residual 222 supre os dados residuais restaurados (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor adquiridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205 sem realizar restauração residual sob o controle da unidade de controle 241.
[00285] A unidade de controle 241 inclui: uma unidade de cálculo da diferença da profundidade de bit 251; e uma unidade de controle de deslocamento de bit 252.
[00286] A unidade de cálculo da diferença da profundidade de bit 251 calcula uma diferença da profundidade de bit entre os dados residuais dos componentes usados para uma previsão residual. Por exemplo, a unidade de cálculo da diferença da profundidade de bit 251 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor da a partir unidade de aquisição de SPS 231 e realiza o cálculo representado na Equação (4) pelo uso de tal informação, desse modo, calculando uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. A unidade de cálculo da diferença da profundidade de bit 251 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de controle de deslocamento de bit 252.
[00287] Além do mais, a unidade de cálculo da diferença da profundidade de bit 251 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de restauração 242 sob o controle da unidade de controle de deslocamento de bit 252. Por exemplo, em um caso em que um deslocamento para a direita dos dados residuais for realizado no momento do escalonamento das profundidades de bit, a unidade de cálculo da diferença da
66 / 172 profundidade de bit 251 supre uma diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de deslocamento direito 262. Por outro lado, em um caso em que um deslocamento para a esquerda dos dados residuais for realizado no momento do escalonamento das profundidades de bit, a unidade de cálculo da diferença da profundidade de bit 251 supre uma diferença da profundidade de bit calculada (-delta_bitdepth) para a unidade de deslocamento esquerdo 263.
[00288] A unidade de controle de deslocamento de bit 252 controla o cálculo realizado pela unidade de restauração 242 com base no valor da diferença da profundidade de bit (delta_bitdepth) entre os componentes supridos a partir da unidade de cálculo da diferença da profundidade de bit
251. Por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for zero, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma) de maneira tal que um deslocamento de bit (o escalonamento da profundidade de bit) dos dados residuais não seja realizado. Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth) não seja suprida para a unidade de restauração 242.
[00289] Além do mais, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor positivo (> 0), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado direito (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth) seja suprida para a unidade de
67 / 172 restauração 242 (a unidade de deslocamento direito 262).
[00290] Por outro lado, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor negativo (< 0), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma) de maneira tal que os dados residuais sejam deslocados para o lado esquerdo (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251, de maneira tal que a diferença da profundidade de bit (-delta_bitdepth) seja suprida para a unidade de restauração 242 (a unidade de deslocamento esquerdo 263).
[00291] Além do mais, a unidade de controle de deslocamento de bit 252, por exemplo, adquire informação (por exemplo, luma_chroma_prediction_enabled_flag), que é suprida a partir do lado da codificação, usada para controlar se uma previsão residual é realizada ou não a partir da unidade de aquisição de PPS 232 e controla se restauração residual é realizada ou não com base no valor da mesma. Por exemplo, em um caso em que for representado que uma previsão residual não é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não (em outras palavras, também é representado que restauração residual não é realizada), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 de maneira tal que cálculo em relação à restauração não seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que o suprimento da diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja interrompido. Além do mais, a unidade de controle de deslocamento de bit 252, em um caso como este, realiza controle da unidade de aquisição do coeficiente de ponderação 233 de maneira tal que o
68 / 172 coeficiente de ponderação Į não seja adquirido.
[00292] Por outro lado, por exemplo, em um caso em que for representado que uma previsão residual (em outras palavras, também, restauração residual) é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 de maneira tal que cálculo em relação à restauração seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja suprida para a unidade de restauração 242. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de aquisição do coeficiente de ponderação 233 para adquirir o coeficiente de ponderação Į e supre o coeficiente de ponderação para a unidade de restauração 242 (unidade de multiplicação do coeficiente de ponderação 264).
[00293] A unidade de restauração 242 realiza cálculo que é, basicamente, o mesmo cálculo realizado pela unidade de previsão 142 e, assim, tem uma configuração que é, basicamente, igual àquela da unidade de previsão 142. Em outras palavras, a unidade de restauração 242 inclui: uma unidade de seleção 261; uma unidade de deslocamento direito 262; uma unidade de deslocamento esquerdo 263; uma unidade de multiplicação do coeficiente de ponderação 264; uma unidade de deslocamento direito 265; uma unidade de cálculo 266; e uma unidade de cálculo 267.
[00294] A unidade de seleção 261, similarmente à unidade de seleção 161, seleciona um destino de suprimento dos dados residuais (r'Y(x, y)) do componente de luminância, que foi restaurado, suprido a partir da unidade de transformada ortogonal inversa 204 sob o controle da unidade de controle de deslocamento de bit 252. Por exemplo, no caso da realização de
69 / 172 escalonamento (deslocamento para a direita) da profundidade de bit, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento direito
262. Neste caso, o cálculo correspondente à Equação (6) é realizado. Além do mais, no caso da realização de escalonamento (deslocamento para a esquerda) da profundidade de bit, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento esquerdo 263. Neste caso, o cálculo correspondente à Equação (8) é realizado. Por outro lado, por exemplo, em um caso em que o escalonamento da profundidade de bit não for realizado, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de multiplicação do coeficiente de ponderação 264. Neste caso, o cálculo correspondente à Equação (3) é realizado.
[00295] A unidade de deslocamento direito 262 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 261 para o lado direito em correspondência com uma diferença da profundidade de bit (delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 251. A unidade de deslocamento direito 262 supre um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita dos dados residuais do componente de luminância par a unidade de multiplicação do coeficiente de ponderação 264.
[00296] A unidade de deslocamento esquerdo 263 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 261 para o lado esquerdo em correspondência com uma diferença da profundidade de bit (-delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 251. A unidade de
70 / 172 deslocamento esquerdo 263 supre um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 264.
[00297] A unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais do componente de luminância que foram restaurados a partir de uma da unidade de seleção 261 para a unidade de deslocamento esquerdo 263. Por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y)) do componente de luminância que não passaram por deslocamento de bit a partir da unidade de seleção 261. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y) >> delta_bitdepth) do componente de luminância que foram deslocados para o lado direito a partir da unidade de deslocamento direito 262. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y) << -delta_bitdepth) do componente de luminância que foram deslocados para o lado esquerdo a partir da unidade de deslocamento esquerdo 263.
[00298] Além do mais, a unidade de multiplicação do coeficiente de ponderação 264 adquire o coeficiente de ponderação Į através da unidade de aquisição do coeficiente de ponderação 233. A unidade de multiplicação do coeficiente de ponderação 264 multiplica os dados residuais restaurados do componente de luminância que foram adquiridos pelo coeficiente de ponderação Į e supre um resultado (Į x (r'Y(x, y)), Į x (r'Y(x, y) >> delta_bitdepth) ou Į x (r'Y(x, y) << -delta_bitdepth)) da multiplicação para a unidade de deslocamento direito 265.
[00299] A unidade de deslocamento direito 265 desloca os dados residuais restaurados (Į x (r'Y(x, y)), Į x (r'Y(x, y) >> delta_bitdepth) ou Į x (r'Y(x, y) << -delta_bitdepth)) do componente de luminância, que foram supridos a partir da unidade de multiplicação do coeficiente de ponderação
71 / 172 264, para o lado direito em bits predeterminados. Embora a quantidade de deslocamento de bit seja arbitrária, desde que ela seja igual àquela do lado da codificação, por exemplo, no caso da Equação (3), da Equação (6) e da Equação (8), a unidade de deslocamento direito 265 desloca os dados residuais para o lado direito em três bits. A unidade de deslocamento direito 265 supre um resultado (Į x (r'Y(x, y)) >> 3, Į x (r'Y(x, y) >> delta_bitdepth) >> 3, ou Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita para a unidade de cálculo 266 ou a unidade de cálculo 267.
[00300] A unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor (Cr) (r'Cr(x, y)) pela adição dos dados residuais restaurados (Į x (r'Y(x, y) >> 3, Į x (r'Y(x, y) >> delta_bitdepth) >> 3, ou Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 265, para os dados residuais restaurados previstos (¨r'Cr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de transformada ortogonal inversa 204 e supre os dados residuais restaurados para a unidade de cálculo 205. Por outro lado, em um caso em que tal restauração residual não for realizada, a unidade de cálculo 266 supre os dados residuais restaurados (r'Cr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205.
[00301] A unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor (Cb) (r'Cb(x, y)) pela adição dos dados residuais restaurados (Į x (r'Y(x, y) >> 3, Į x (r'Y(x, y) >> delta_bitdepth) >> 3, ou Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 265, para os dados residuais restaurados previstos (¨r'Cb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de transformada ortogonal inversa 204, e supre os dados residuais restaurados para a unidade de cálculo 205. Por outro lado, em um caso em que tal restauração residual não for realizada, a
72 / 172 unidade de cálculo 267 supre os dados residuais restaurados (r'Cb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205.
[00302] Da forma supradescrita, na restauração residual, a unidade de restauração residual 222 realiza a restauração pela realização de escalonamento das profundidades de bit dos dados residuais restaurados dos componentes de luminância. Desta maneira, também em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de restauração residual 222 pode restaurar corretamente os dados residuais. Portanto, de acordo com o aparelho de decodificação de imagem 200, uma diminuição na eficiência de codificação pode ser suprimida. <Fluxo do Processo de Decodificação>
[00303] A seguir, um exemplo do fluxo de cada processo executado pelo aparelho de decodificação de imagem 200 será descrito. Primeiro, um exemplo do fluxo de um processo de decodificação será descrito em relação a um fluxograma representado na figura 12.
[00304] Quando o processo de decodificação for iniciado, na Etapa S201, o buffer de acúmulo 201 armazena um fluxo contínuo de bits transmitido que foi recebido. Na Etapa S202, a unidade de decodificação reversível 202 decodifica um fluxo contínuo de bits suprido a partir do buffer de acúmulo 201. Em outras palavras, uma figura I, uma figura P e uma figura B codificadas pela unidade de codificação reversível 106 são decodificadas. Neste momento, vários tipos de informação diferente da informação de imagem incluída no fluxo contínuo de bits, tal como informação de cabeçalho, também são decodificados.
[00305] Na Etapa S203, a unidade de quantização inversa 203 realiza quantização inversa dos coeficientes quantizados adquiridos pelo processo da Etapa S202.
73 / 172
[00306] Na Etapa S204, a unidade de transformada ortogonal inversa 204 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S203. De acordo com este processo, os dados residuais do componente de luminância e os dados residuais previstos do componente de diferença de cor são restaurados.
[00307] Na Etapa S205, a unidade de restauração residual 222 realiza um processo de restauração residual par restauração dos dados residuais do componente de diferença de cor pelo uso dos dados residuais restaurados do componente de luminância e dos dados residuais restaurados previstos do componente de diferença de cor. Detalhes deste processo serão descritos a seguir.
[00308] Na Etapa S206, a unidade de intraprevisão 210 ou a unidade de interprevisão 211 realizam um processo de previsão, desse modo, gerando uma imagem prevista. Em outras palavras, um processo de previsão é realizado em um modo de previsão aplicado no momento do processo de codificação que é determinado pela unidade de decodificação reversível 202. Mais especificamente, por exemplo, em um caso em que uma intraprevisão for aplicada no momento do processo de codificação, a unidade de intraprevisão 210 gera uma imagem prevista no modo de intraprevisão que é considerado como ideal no momento do processo de codificação. Por outro lado, por exemplo, em um caso em que uma interprevisão for aplicada no momento do processo de codificação, a unidade de interprevisão 211 gera uma imagem prevista no modo de interprevisão que é considerado como ideal no momento do processo de codificação.
[00309] Na Etapa S207, a unidade de cálculo 205 adiciona a imagem prevista gerada na Etapa S206 nos dados residuais restaurados pelo processo da Etapa S204 e da Etapa S205. Desta maneira, uma imagem de reconstrução é adquirida.
[00310] Na Etapa S208, o filtro em malha 206 realiza apropriadamente
74 / 172 um processo de filtro em malha que inclui um processo do filtro de desbloqueio, um processo do filtro em malha adaptativo ou congêneres para a imagem de reconstrução adquirida pelo processo da Etapa S207.
[00311] Na Etapa S209, o buffer de rearranjo de tela 207 rearranja quadros de imagens decodificadas adquiridas pelo processo da Etapa S208. Em outras palavras, a ordem de quadros rearranjados no momento do processo de codificação é mudada para a ordem da exibição original. As imagens decodificadas nas quais os quadros são rearranjados são emitidas para o exterior do aparelho de decodificação de imagem 200.
[00312] Na Etapa S210, a memória de quadro 209 armazena as imagens decodificadas adquiridas pelo processo da Etapa S208.
[00313] Quando o processo da Etapa S210 terminar, o processo de decodificação termina. <Fluxo do Processo de Restauração Residual>
[00314] A seguir, um exemplo do fluxo do processo de restauração residual realizado na Etapa S205 de um processo de decodificação como este será descrito em relação à figura 13.
[00315] Quando o processo de restauração residual for iniciado, na Etapa S221, a unidade de cálculo da diferença da profundidade de bit 251 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr), que são incluídas no conjunto de parâmetro de sequência transmitido a partir do lado da codificação, através da unidade de aquisição de SPS 231, e calcula uma diferença da profundidade de bit entre componentes para os quais uma previsão residual é realizada pelo uso de tal informação. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 151 realiza cálculo da Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de
75 / 172 luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que as diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00316] Na Etapa S222, a unidade de controle de deslocamento de bit 252 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S221 é zero ou não. Em um caso em que a diferença da profundidade de bit for determinada como zero, o processo prossegue para a Etapa S223. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).
[00317] Na Etapa S223, a unidade de controle de deslocamento de bit 252 determina se a previsão residual foi realizada ou não no lado da codificação com base na informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não. Por exemplo, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "1", e a previsão residual foi realizada, o processo prossegue para a Etapa S224.
[00318] Na Etapa S224, a unidade de aquisição do coeficiente de ponderação 233 adquire um coeficiente de ponderação Į para cada TU.
[00319] Na Etapa S225, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do componente de diferença de cor sem realizar escalonamento das profundidades de bit. Detalhes deste processo serão descritos a seguir.
[00320] Na Etapa S225, quando a restauração residual terminar, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00321] Por outro lado, por exemplo, na Etapa S223, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é
76 / 172 "0", e a previsão residual não foi realizada, o processo da Etapa S224 e da Etapa S225 é omitido, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00322] Além do mais, na Etapa S222, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S226.
[00323] Na Etapa S226, a unidade de controle de deslocamento de bit 252 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S221 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S227. Em um caso como este, uma restauração residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).
[00324] Na Etapa S227, a unidade de controle de deslocamento de bit 252 determina se uma restauração residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a restauração residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a restauração residual for determinada como realizada, o processo prossegue para a Etapa S228.
[00325] Na Etapa S228, a unidade de aquisição do coeficiente de ponderação 233 define um coeficiente de ponderação Į para cada TU.
[00326] Na Etapa S229, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do componente de diferença de cor pela realização de escalonamento das profundidades de bit pelo uso de um deslocamento para a direita. Detalhes deste processo serão descritos a seguir.
[00327] Quando a restauração residual realizada na Etapa S229 termina, o processo de restauração residual termina, e o processo é retornado
77 / 172 para o processo ilustrado na figura 12.
[00328] Por outro lado, por exemplo, na Etapa S227, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "0", e a restauração residual não tiver sido realizada no lado da codificação, o processo da Etapa S228 e da Etapa S229 é omitido, o processo de restauração residual termina e o processo é retornado para o processo ilustrado na figura
12.
[00329] Além do mais, na Etapa S226, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), o processo prossegue para a Etapa S230. Em um caso como este, a previsão residual é realizada da forma representada na Equação (14) (escalonamento usando um deslocamento para a esquerda é realizado).
[00330] Na Etapa S230, a unidade de controle de deslocamento de bit 252 determina se uma previsão residual foi realizada ou não no lado da codificação com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, o que é incluído no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "1", e a previsão residual foi realizada, o processo prossegue para a Etapa S231.
[00331] Na Etapa S231, a unidade de aquisição do coeficiente de ponderação 233 adquire um coeficiente de ponderação Į para cada TU.
[00332] Na Etapa S232, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do sinal da diferença de cor pela realização de escalonamento das profundidades de bit usando um deslocamento para a esquerda. Detalhes deste processo serão descritos a seguir.
[00333] Quando a restauração residual realizada na Etapa S232
78 / 172 terminar, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00334] Por outro lado, por exemplo, na Etapa S230, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "0", e a previsão residual não foi realizada no lado da codificação, o processo da Etapa S231 e da Etapa S232 é omitido, o processo de restauração residual termina e o processo é retornado para o processo ilustrado na figura 12. <Fluxo do Processo de Restauração de Dados Residuais>
[00335] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S225 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 14.
[00336] Quando o processo de restauração de dados residuais for iniciado, na Etapa S241, a unidade de multiplicação do coeficiente de ponderação 264 da unidade de restauração 242 multiplica os dados residuais restaurados (r'Y(x, y)) do componente de luminância pelo coeficiente de ponderação Į adquirido pelo processo da Etapa S224 ilustrado na figura 13 (Į x r'Y(x, y)).
[00337] Na Etapa S242, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (Į x r'Y(x, y)) calculado na Etapa S241 para o lado direito em três bits ((Į x r'Y(x, y)) >> 3).
[00338] Na Etapa S243, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado do deslocamento para a direita ((Į x r'Y(x, y)) >> 3) calculado na Etapa S242 nos dados residuais restaurados previstos (¨r'Cr(x, y)) do componente de diferença de cor Cr (¨r'Cr(x, y) + (Į x r'Y(x, y)) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado do deslocamento para a direita ((Į x r'Y(x, y)) >> 3) calculado na Etapa S242 nos dados residuais previstos (¨r'Cb(x, y)) do componente de diferença de cor Cb (¨r'Cb(x, y) + (Į
79 / 172 x r'Y(x, y)) >> 3).
[00339] Quando os dados residuais do componente de diferença de cor forem restaurados, como exposto (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13. <Fluxo do Processo de Restauração de Dados Residuais>
[00340] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S229 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 15.
[00341] Quando o processo de restauração de dados residuais for iniciado, na Etapa S251, a unidade de deslocamento direito 262 da unidade de restauração 242 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado direito em correspondência com a diferença da profundidade de bit (delta_bitdepth) dos dados residuais calculada pelo processo da Etapa S221 ilustrado na figura 13 ((r'Y(x, y) >> delta_bitdepth)).
[00342] Na Etapa S252, a unidade de multiplicação do coeficiente de ponderação 264 multiplica um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita calculado na Etapa S251 pelo coeficiente de ponderação Į adquirido pelo processo da Etapa S228 ilustrado na figura 13 (Į x (r'Y(x, y) >> delta_bitdepth)).
[00343] Na Etapa S253, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (Į x (r'Y(x, y) >> delta_bitdepth)) calculado na Etapa S252 para o lado direito em três bits (Į x (r'Y(x, y) >> delta_bitdepth) >> 3).
[00344] Na Etapa S254, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado (Į x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S253 nos dados residuais restaurados previstos
80 / 172 (¨r'Cr(x, y)) do componente de diferença de cor Cr (¨r'Cr(x, y) + Į x (r'Y(x, y) >> delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado (Į x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S253 nos dados residuais restaurados previstos (¨r'Cb(x, y)) do componente de diferença de cor Cb (¨r'Cb(x, y) + Į x (r'Y(x, y) >> delta_bitdepth) >> 3).
[00345] Quando os dados residuais dos componentes de diferença de cor forem restaurados, como exposto, (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13. <Fluxo do Processo de Restauração de Dados Residuais>
[00346] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S232 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 16.
[00347] Quando o processo de restauração de dados residuais for iniciado, na Etapa S261, a unidade de deslocamento esquerdo 263 da unidade de restauração 242 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado esquerdo em correspondência com a diferença da profundidade de bit (-delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S221 ilustrado na figura 13 (r'Y(x, y) << - delta_bitdepth).
[00348] Na Etapa S262, a unidade de multiplicação do coeficiente de ponderação 264 multiplica um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda calculado na Etapa S261 pelo coeficiente de ponderação Į adquirido pelo processo da Etapa S231 ilustrado na figura 13 (Į x (r'Y(x, y) << -delta_bitdepth)).
[00349] Na Etapa S263, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (Į x (r'Y(x, y) << -delta_bitdepth)) calculado na
81 / 172 Etapa S262 para o lado direito em três bits (Į x (r'Y(x, y) << -delta_bitdepth) >> 3).
[00350] Na Etapa S264, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado (Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S263 nos dados residuais restaurados previstos (¨r'Cr(x, y)) do componente de diferença de cor Cr (¨r'Cr(x, y) + Į x (r'Y(x, y) << -delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado (Į x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S263 nos dados residuais restaurados previstos (¨r'Cb(x, y)) do componente de diferença de cor Cb (¨r'Cb(x, y) + Į x (r'Y(x, y) << -delta_bitdepth) >> 3).
[00351] Quando os dados residuais dos componentes de diferença de cor forem restaurados, como exposto, (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13.
[00352] Pela realização de cada processo, como exposto, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, a unidade de restauração residual 222 pode restaurar corretamente os dados residuais. Desta maneira, o aparelho de decodificação de imagem 200 pode suprimir uma diminuição na eficiência de codificação.
[00353] Como exposto, embora tenha sido descrito que, quando as profundidades de bit dos dados residuais forem arranjadas para serem uniformes, a profundidade de bit do componente de luminância é arranjada para ser uniforme em relação ao componente de diferença de cor através de um deslocamento de bit, no escalonamento de tais profundidades de bit, um componente que é usado como a referência é arbitrário. Por exemplo, a profundidade de bit do componente de diferença de cor pode ser configurada
82 / 172 para ser escalonada. Entretanto, no geral, é preferível escalonar um componente (com uma maior profundidade de bit) com uma maior quantidade de informação para melhorar a precisão da previsão para melhorar a eficiência de codificação. No caso do espaço de cor YUV, como exposto, no geral, um componente de luminância é de significância e tem uma grande quantidade de informação. Assim, é preferível escalonar a profundidade de bit do componente de luminância.
[00354] Como exposto, embora um caso tenha sido descrito no qual uma imagem do espaço YUV de cor é codificada e decodificada, o espaço de cor da imagem é arbitrário, e uma previsão pode ser realizada entre componentes arbitrários. Por exemplo, também, em um caso em que o espaço de cor da imagem for o RGB, similarmente ao caso do YUV supradescrito, previsão residual / decodificação residual pode ser realizada usando o escalonamento da profundidade de bit. <2. Segunda Modalidade> <Proibição de Previsão Residual>
[00355] Um método de controle da previsão residual / decodificação residual não é limitado àquele do exemplo supradescrito. Por exemplo, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, uma previsão residual pode ser configurada para ser proibida (dados residuais previstos não são calculados). Mais especificamente, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, uma previsão residual pode ser controlada para não ser realizada pelo uso de informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não. Por exemplo, em um caso como este, o valor de luma_chroma_prediction_enabled_flag pode ser configurado como zero. Pela configuração como tal, para uma figura correspondente à informação, uma
83 / 172 previsão residual é proibida (naturalmente, restauração residual não é realizada). Desta maneira, uma previsão residual / restauração residual imprecisas podem ser configuradas para não ser realizadas. Em outras palavras, uma diminuição na eficiência de codificação devido a uma previsão residual / restauração residual imprecisas pode ser suprimida. Além do mais, o processo do escalonamento da profundidade de bit e congêneres pode ser omitido e, desta maneira, um aumento na carga de processamento pode ser suprimido. <Semântica>
[00356] A fim de realizar o processo de controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 17. Uma porção da semântica ilustrada na figura 17, na qual um sublinhado é anexado, é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas. <Unidade de Processamento de Cabeçalho e Unidade de Previsão Residual>
[00357] Também neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.
[00358] A figura 18 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 18, neste caso, quando comparado com o caso da primeira modalidade, uma unidade de previsão residual 122 inclui uma unidade de controle 311 em vez da unidade de controle 141 e inclui uma unidade de previsão 312 em vez da unidade de previsão 142.
[00359] A unidade de controle 311 realiza um processo que é, basicamente, igual àquele da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 311
84 / 172 inclui uma unidade de cálculo da diferença da profundidade de bit 321 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 322 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153.
[00360] A unidade de cálculo da diferença da profundidade de bit 321, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 321, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de previsão
312.
[00361] A unidade de controle de deslocamento de bit 322, similarmente ao caso da unidade de controle de deslocamento de bit 152, controla o cálculo realizado pela unidade de previsão 312. Entretanto, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de controle de deslocamento de bit 322 proíbe uma previsão residual (dados residuais previstos não calculados).
[00362] Em outras palavras, no exemplo desta modalidade, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, a unidade de previsão 312, comparada com a configuração da unidade de previsão 142, não inclui a unidade de deslocamento direito 162 e a unidade de deslocamento esquerdo 163. <Fluxo do Processo de Previsão Residual>
[00363] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo
85 / 172 do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 19.
[00364] Também, no caso do exemplo ilustrado na figura 19, quando um processo de previsão residual for iniciado, na Etapa S301, a unidade de cálculo da diferença da profundidade de bit 321 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 321 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que as diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00365] Na Etapa S302, a unidade de controle de deslocamento de bit 322 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S301 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S303. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).
[00366] Em outras palavras, processos da Etapa S303 até a Etapa S305 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S305 terminar ou for determinado, na Etapa S303, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00367] Além do mais, na Etapa S302, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S306.
86 / 172
[00368] Na Etapa S306, a unidade de controle de deslocamento de bit 322 define o valor de informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (proibida). Por exemplo, a unidade de controle de deslocamento de bit 322 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.
[00369] Quando o processo da Etapa S306 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00370] Pela configuração como tal, em um caso em que profundidades de bit dos dados residuais forem diferentes entre componentes, e uma previsão residual não puder ser corretamente realizada, a previsão residual pode ser configurada como não realizada. Desta maneira, dados residuais previstos podem ser corretamente calculados todo o tempo, e o aparelho de codificação de imagem 100 pode suprimir uma diminuição na eficiência de codificação devido a uma previsão residual imprecisa. Além do mais, o escalonamento das profundidades de bit é desnecessário e, desta maneira, um aumento na carga de processamento pode ser suprimido. <Unidade de Aquisição de Cabeçalho e Unidade de Restauração Residual>
[00371] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.
[00372] A figura 20 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 20, neste caso, quando comparado com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 351 em
87 / 172 vez da unidade de controle 241 e inclui uma unidade de restauração 352 em vez da unidade de restauração 242.
[00373] A unidade de controle 351 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 351 inclui uma unidade de cálculo da diferença da profundidade de bit 361 em vez da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 362 em vez da unidade de controle de deslocamento de bit 252.
[00374] A unidade de cálculo da diferença da profundidade de bit 361, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 361 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de restauração 352.
[00375] A unidade de controle de deslocamento de bit 362, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 352. Entretanto, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, a unidade de controle de deslocamento de bit 362 proíbe restauração residual (não restaura os dados residuais do componente de diferença de cor).
[00376] Em outras palavras, no caso do exemplo desta modalidade, o escalonamento de profundidades de bit, em outras palavras, um deslocamento de bit para arranjar profundidades de bit para serem uniformes entre componentes não é realizado. Desta maneira, quando comparada com a configuração da unidade de restauração 242, a unidade de restauração 352 não
88 / 172 inclui a unidade de deslocamento direito 262 e a unidade de deslocamento esquerdo 263. <Fluxo do Processo de Restauração Residual>
[00377] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 21.
[00378] Também em caso do exemplo ilustrado na figura 21, quando um processo de restauração residual for iniciado, na Etapa S321, a unidade de cálculo da diferença da profundidade de bit 361 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 361 realiza cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00379] Na Etapa S322, a unidade de controle de deslocamento de bit 362 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S321 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S323. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).
[00380] Em outras palavras, os processos da Etapa S323 até a Etapa S325 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S325 terminar ou for determinado, na Etapa S323, que uma previsão residual não é realizada, o
89 / 172 processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00381] Por outro lado, na Etapa S322, também, em um caso em que a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S321 for determinada como não zero, o escalonamento das profundidades de bit não é realizado, mas a restauração residual é omitida. Assim, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00382] Pela configuração como tal, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, e uma previsão residual não puder ser corretamente realizada, a previsão residual não é realizada, e restauração residual é configurada para não ser realizada de acordo com isto. Desta maneira, os dados residuais podem ser corretamente restaurados todo o tempo, e o aparelho de decodificação de imagem 200 pode suprimir uma diminuição na eficiência de codificação devido à imprecisa restauração residual. Além do mais, já que o escalonamento de profundidades de bit é desnecessário, um aumento na carga de processamento pode ser suprimido. <3. Terceira Modalidade> <Usando Tanto Escalonamento da Profundidade de Bit quanto Proibição da Previsão Residual>
[00383] Um método de controle da previsão residual / decodificação residual não é limitado àquele do exemplo supradescrito. Por exemplo, ele pode ser configurado de maneira tal que o escalonamento de profundidades de bit seja realizado apenas em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, e a diferença da profundidade de bit calculada entre os componentes é positiva, e uma previsão residual é proibida (dados residuais previstos não são calculados) em um caso em que a diferença da profundidade de bit calculada entre os
90 / 172 componentes for negativa.
[00384] Mais especificamente, por exemplo, ele pode ser configurado de maneira tal que, em um caso em que a profundidade de bit dos dados residuais do componente de luminância for maior do que a profundidade de bit dos dados residuais do componente de diferença de cor, uma previsão residual seja realizada com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes pelo escalonamento da profundidade de bit através de um deslocamento para a direita e, em um caso em que a profundidade de bit dos dados residuais do componente de luminância for menor do que a profundidade de bit dos dados residuais do componente de diferença de cor, uma previsão residual é proibida (dados residuais previstos não são calculados).
[00385] Da forma supradescrita, com base nas características das imagens, o componente de luminância é mais importante do que o componente de diferença de cor e, no geral, a profundidade de bit dos dados residuais do componente de luminância é a profundidade de bit dos dados residuais do componente de diferença de cor ou maior. Ao contrário, há raros casos nos quais o componente de diferença de cor tem uma profundidade de bit maior do que o componente de luminância. Em outras palavras, em um caso em que a profundidade de bit do componente de diferença de cor for definida como grande mesmo em relação às características de uma imagem, há uma alta possibilidade de que uma certa intenção do produtor, além das características da imagem, é incluída na imagem. Por este motivo, a possibilidade de facilmente diminuir a precisão da previsão de uma previsão residual que é um processo na direção de uma imagem geral também pode ser considerada. Em outras palavras, há uma possibilidade de facilmente diminuir a eficiência de codificação.
[00386] Assim, em um caso em que o componente de luminância que espera-se que tenha alta precisão da previsão tiver uma profundidade de bit
91 / 172 maior do que o componente de diferença de cor, ele pode ser configurado de maneira tal que uma previsão residual (restauração residual) seja executável, e a previsão residual é realizada com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes pelo escalonamento da profundidade de bit dos dados residuais através de um deslocamento para a direita para corretamente realizar a previsão (restauração). Por outro lado, em um caso em que o componente de diferença de cor que espera-se que tenha baixa precisão da previsão tiver uma profundidade de bit maior do que o componente de luminância, ele pode ser configurado de maneira tal que uma previsão residual seja controlada para não ser executada pelo uso da informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se uma previsão residual é realizada ou não.
[00387] Pela configuração como tal, a previsão residual / decodificação residual pode ser configurada para ser executada apenas em um caso em que um efeito suficiente de acordo com a execução da previsão residual puder ser adquirido (a codificação eficiente pode ser suficientemente melhorada). Desta maneira, já que uma desnecessária previsão residual / decodificação residual pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido. <Semântica>
[00388] A fim de realizar controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 22. Uma porção da semântica ilustrada na figura 22 na qual um sublinhado é anexado é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas. <Unidade de Processamento de Cabeçalho e Unidade de Previsão Residual>
92 / 172
[00389] Também, neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.
[00390] A figura 23 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 23, neste caso, quando comparado com o caso da primeira modalidade, uma unidade de previsão residual 122 inclui uma unidade de controle 411 em vez da unidade de controle 141 e inclui uma unidade de previsão 412 em vez da unidade de previsão 142.
[00391] Uma unidade de controle 411 realiza um processo que é, basicamente, igual àquele da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 411 inclui uma unidade de cálculo da diferença da profundidade de bit 421 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 422 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153.
[00392] A unidade de cálculo da diferença da profundidade de bit 421, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 421, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 163 (a unidade de previsão 412 não tem a unidade de deslocamento esquerdo 163).
[00393] A unidade de controle de deslocamento de bit 422, similarmente ao caso da unidade de controle de deslocamento de bit 152,
93 / 172 controla o cálculo realizado pela unidade de previsão 412. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for zero, a unidade de controle de deslocamento de bit 422 faz com que a unidade de previsão 412 não realize escalonamento da profundidade de bit, mas calcule os dados residuais previstos. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for positiva, a unidade de controle de deslocamento de bit 422 faz com que a unidade de previsão 412 realize escalonamento da profundidade de bit para calcular dados residuais previstos. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, a unidade de controle de deslocamento de bit 422 proíbe uma previsão residual (causa nenhum cálculo dos dados residuais previstos) pelo controle da unidade de previsão 412.
[00394] Em outras palavras, no caso do exemplo desta modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, comparado com a configuração da unidade de previsão 142, a unidade de deslocamento esquerdo 163 não é incluída na unidade de previsão 412. <Fluxo do Processo de Previsão Residual>
[00395] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo
94 / 172 do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 24.
[00396] Também, no caso do exemplo ilustrado na figura 24, quando um processo de previsão residual for iniciado, na Etapa S401, a unidade de cálculo da diferença da profundidade de bit 421 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 421 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00397] Na Etapa S402, a unidade de controle de deslocamento de bit 422 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S401 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S403. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).
[00398] Em outras palavras, processos da Etapa S403 até a Etapa S405 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S405 terminar ou for determinado, na Etapa S403, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00399] Além do mais, na Etapa S402, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S406.
95 / 172
[00400] Na Etapa S406, a unidade de controle de deslocamento de bit 422 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S401 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S407. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).
[00401] Em outras palavras, os processos da Etapa S407 até a Etapa S409 são realizados similarmente aos processos da Etapa S127 até a Etapa S129 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S409 terminar ou for determinado, na Etapa S407, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00402] Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S406, o processo prossegue para a Etapa S410.
[00403] Na Etapa S410, a unidade de controle de deslocamento de bit 422 define o valor da informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (é proibida). Por exemplo, a unidade de controle de deslocamento de bit 422 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.
[00404] Quando o processo da Etapa S410 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00405] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa,
96 / 172 em outras palavras, o componente de diferença de cor tiver uma profundidade de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual pode ser configurada para não ser realizada. Portanto, de acordo com o aparelho de codificação de imagem 100, já que uma previsão residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido. <Unidade de Aquisição de Cabeçalho e Unidade de Restauração Residual>
[00406] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.
[00407] A figura 25 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 25, neste caso, quando comparada com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 451 em vez da unidade de controle 241 e inclui uma unidade de restauração 452 em vez da unidade de restauração 242.
[00408] A unidade de controle 451 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 451 inclui uma unidade de cálculo da diferença da profundidade de bit 461 em vez da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 462 em vez da unidade de controle de deslocamento de bit 252.
[00409] A unidade de cálculo da diferença da profundidade de bit 461,
97 / 172 similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 461 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 263 (a unidade de restauração 452 não inclui a unidade de deslocamento esquerdo 263).
[00410] A unidade de controle de deslocamento de bit 462, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 452. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for zero, a unidade de controle de deslocamento de bit 462 faz com que a unidade de restauração 452 não realize escalonamento da profundidade de bit, mas restaure os dados residuais. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for positiva, a unidade de controle de deslocamento de bit 462 faz com que a unidade de restauração 452 realize escalonamento da profundidade de bit para restaurar os dados residuais. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for negativa, a unidade de controle de deslocamento de bit 462 omite a restauração residual (omite a restauração dos dados residuais) pelo controle da unidade de restauração 452.
[00411] Em outras palavras, no caso do exemplo desta modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados
98 / 172 residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, comparada com a configuração da unidade de restauração 242, a unidade de deslocamento esquerdo 263 não é incluída na unidade de restauração 452. <Fluxo do Processo de Restauração Residual>
[00412] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 26.
[00413] Também, no caso do exemplo ilustrado na figura 26, quando um processo de restauração residual for iniciado, na Etapa S421, a unidade de cálculo da diferença da profundidade de bit 461 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 461 realiza o cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00414] Na Etapa S422, a unidade de controle de deslocamento de bit 462 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S421 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S423. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).
99 / 172
[00415] Em outras palavras, os processos da Etapa S423 até a Etapa S425 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S425 terminar ou for determinado, na Etapa S423, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00416] Por outro lado, na Etapa S422, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S426.
[00417] Na Etapa S426, a unidade de controle de deslocamento de bit 462 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S421 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S427. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).
[00418] Em outras palavras, os processos da Etapa S427 até a Etapa S429 são realizados similarmente aos processos da Etapa S227 até a Etapa S229 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S429 terminar ou for determinado, na Etapa S427, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00419] Além do mais, na Etapa S426, também, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), o escalonamento das profundidades de bit não é realizado, e a restauração residual é omitida. Desta maneira, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
100 / 172
[00420] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tem uma profundidade de bit maior do que o componente de luminância, e há uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual não é realizada, e a restauração residual pode ser configurada como não realizada de acordo com isto. Portanto, de acordo com o aparelho de decodificação de imagem 200, já que previsão de restauração desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido. <4. Quarta Modalidade> <Controle da Previsão Residual de acordo com o Espaço de Cor da Imagem>
[00421] Um método de controle da previsão residual / decodificação residual não é limitado àquele ilustrado no exemplo supradescrito. Por exemplo, se a previsão residual / decodificação residual é realizada ou não pode ser controlado de acordo com o espaço de cor da imagem. Por exemplo, isto pode ser configurado de maneira tal que a execução da previsão residual / decodificação residual seja controlado basicamente da forma descrita na terceira modalidade e, adicionalmente, em um caso em que o espaço de cor da imagem que é um alvo de codificação / decodificação é o RGB, a previsão residual / decodificação residual é configurada para ser proibida.
[00422] No geral, no caso de YUV, há muitos casos em que um componente de luminância é mais importante do que um componente de diferença de cor como informação, e um caso pode ser considerado no qual o componente de luminância tem uma maior quantidade de informação (maior profundidade de bit) do que o componente de diferença de cor. Por outro lado,
101 / 172 no caso de RGB, há muitos casos em que os graus de importância dos componentes como informação são os mesmos, e a quantidades de informação (profundidades de bit) dos componentes são as mesmas. Embora um caso possa ser considerado no qual um componente G é mais importante do que um componente R e um componente B como informação, há raros casos em que há uma diferença entre as quantidades de informação (profundidades de bit) dos mesmos.
[00423] Em outras palavras, em um caso em que o espaço de cor da imagem for RGB, e as quantidades de informação (profundidades de bit) dos componentes não forem uniformes, há uma alta possibilidade de que uma certa intenção do produtor além das características da imagem seja incluída na imagem. Por este motivo, a possibilidade de facilmente diminuir a precisão da previsão de uma previsão residual, que é um processo na direção de uma imagem geral, também pode ser considerada. Em outras palavras, há uma possibilidade de facilmente diminuir a eficiência de codificação.
[00424] Assim, isto pode ser configurado de maneira tal que, apenas em um caso em que a imagem tiver um espaço de cor, tal como o YUV, que espera-se que tenha alta precisão da previsão, a previsão residual (restauração residual) é configurada para ser executável e, em um caso em que a imagem tiver um espaço de cor, tal como o RGB, no qual a precisão da previsão pode ser facilmente diminuída, a previsão residual (restauração residual) é controlada para não ser realizada pelo uso de informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não.
[00425] Pela configuração como tal, a previsão residual / decodificação residual pode ser configurada para ser executada apenas para o caso de um espaço de cor para o qual efeito suficiente de acordo com a execução da previsão residual é adquirido (eficiência de codificação pode ser
102 / 172 suficientemente melhorada). Desta maneira, já que uma previsão residual / decodificação residual desnecessárias podem ser omitidas, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido. <Semântica>
[00426] A fim de realizar o processo de controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 27. Uma porção da semântica ilustrada na figura 27, na qual um sublinhado é anexado, é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas. <Unidade de Processamento de Cabeçalho e Unidade de Previsão Residual>
[00427] Também neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.
[00428] A figura 28 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 28, neste caso, quando comparado com o caso da primeira modalidade, a unidade de processamento de cabeçalho 121 inclui adicionalmente uma unidade de processamento da VUI (Informação de Usabilidade de Vídeo) 501. Além do mais, quando comparada com o caso da primeira modalidade, a unidade de previsão residual 122 inclui uma unidade de controle 511 em vez da unidade de controle 141 e inclui uma unidade de previsão 412 em vez da unidade de previsão 142.
[00429] A unidade de processamento de VUI 501 realiza um processo em relação à geração de VUI (Informação de Usabilidade de Vídeo). A VUI compreende dados em relação à exibição de um vídeo e é armazenada em um conjunto do parâmetro de vídeo (VPS) ou um conjunto de parâmetro de
103 / 172 sequência (SPS). Além do mais, a unidade de processamento de VUI 501, por exemplo, supre informação (matrix_coffs), que é incluída na VUI, que representa o espaço de cor da imagem para a unidade de previsão residual 122 (uma unidade de determinação do espaço de cor 523 a ser descrita posteriormente). O matrix_coffs é informação que representa uma matriz de transformação para uma transformação do RGB para a luminância / diferença de cor. Em outras palavras, no caso de matrix_coffs = 0, ele representa que o espaço de cor da imagem é sRGB.
[00430] A unidade de controle 511 realiza um processo que é, basicamente, o mesmo da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 511 inclui uma unidade de cálculo da diferença da profundidade de bit 521 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 522 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153. Além do mais, a unidade de controle 511 inclui uma unidade de determinação do espaço de cor 523.
[00431] A unidade de cálculo da diferença da profundidade de bit 521, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 521, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 163 (a unidade de previsão 412 não inclui a unidade de deslocamento esquerdo 163).
[00432] A unidade de controle de deslocamento de bit 522, similarmente ao caso da unidade de controle de deslocamento de bit 152,
104 / 172 controla o cálculo realizado pela unidade de previsão 412. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for zero, a unidade de controle de deslocamento de bit 522 faz com que a unidade de previsão 412 não realize escalonamento da profundidade de bit, mas calcule os dados residuais previstos. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for positiva, a unidade de controle de deslocamento de bit 522 faz com que a unidade de previsão 412 realize escalonamento da profundidade de bit para calcular dados residuais previstos. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for negativa, a unidade de controle de deslocamento de bit 522 proíbe uma previsão residual (ocasiona nenhum cálculo dos dados residuais previstos) pelo controle da unidade de previsão 412.
[00433] Além do mais, a unidade de controle de deslocamento de bit 522 controla o cálculo realizado pela unidade de previsão 412 com base em um resultado da determinação de um espaço de cor da imagem que é adquirido pela unidade de determinação do espaço de cor 523. Por exemplo, em um caso em que o espaço de cor da imagem for determinado como RGB pela unidade de determinação do espaço de cor 523, a unidade de controle de deslocamento de bit 522 proíbe uma previsão residual (os dados residuais previstos não são calculados) pelo controle da unidade de previsão 412.
[00434] A unidade de determinação do espaço de cor 523 determina um espaço de cor da imagem pela referência à informação (matrix_coffs) que representa o espaço de cor da imagem suprido a partir da unidade de processamento de VUI 501. Por exemplo, no caso de matrix_coffs = 0, a
105 / 172 unidade de determinação do espaço de cor 523 determina que o espaço de cor da imagem é o RGB.
[00435] Em outras palavras, em caso do exemplo desta modalidade, similarmente ao caso da terceira modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes, não é realizado. Desta maneira, da forma descrita na terceira modalidade, comparada com a configuração da unidade de previsão 142, a unidade de deslocamento esquerdo 163 não é incluída na unidade de previsão 412. <Fluxo do Processo de Previsão Residual>
[00436] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 29.
[00437] Também, no caso do exemplo ilustrado na figura 29, quando um processo de previsão residual for iniciado, na Etapa S501, a unidade de cálculo da diferença da profundidade de bit 521 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 521 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00438] Na Etapa S502, a unidade de controle de deslocamento de bit
106 / 172 522 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S501 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S503. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).
[00439] Em outras palavras, processos da Etapa S503 até a Etapa S505 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S505 terminar ou for determinado, na Etapa S503, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00440] Além do mais, na Etapa S502, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S506.
[00441] Na Etapa S506, a unidade de determinação do espaço de cor 523 determina se o espaço de cor da imagem é o RGB ou não com base na informação (matrix_coffs) que representa o espaço de cor da imagem adquirido a partir da unidade de processamento de VUI 501. Em um caso em que o espaço de cor for determinado como não sendo o RGB, o processo prossegue para a Etapa S507.
[00442] Na Etapa S507, a unidade de controle de deslocamento de bit 522 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S501 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S508. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).
[00443] Em outras palavras, os processos da Etapa S508 até a Etapa S510 são realizados similarmente aos processos da Etapa S127 até a Etapa
107 / 172 S129 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S510 terminar ou for determinado, na Etapa S508, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00444] Por outro lado, na Etapa S506, em um caso em que o espaço de cor for determinado como o RGB ou a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S507, o processo prossegue para a Etapa S511.
[00445] Na Etapa S511, a unidade de controle de deslocamento de bit 522 define o valor da informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (é proibida). Por exemplo, a unidade de controle de deslocamento de bit 522 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.
[00446] Quando o processo da Etapa S511 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.
[00447] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tiver uma profundidade de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual pode ser configurada para não ser realizada. Além do mais, apenas para um espaço de cor para o qual o efeito suficiente de acordo com uma previsão residual é adquirido (a eficiência de codificação pode ser suficientemente melhorada), a previsão
108 / 172 residual pode ser realizada. Portanto, de acordo com o aparelho de codificação de imagem 100, já que uma previsão residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido. <Unidade de Aquisição de Cabeçalho e Unidade de Restauração Residual>
[00448] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.
[00449] A figura 30 é um diagrama de blocos que ilustra um exemplo das configurações principais da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 30, neste caso, quando comparada com o caso da primeira modalidade, a unidade de aquisição de cabeçalho 221 inclui adicionalmente uma unidade de aquisição de VUI 541. Além do mais, quando comparada com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 551 em vez da unidade de controle 241 e inclui a unidade de restauração 452 em vez da unidade de restauração 242.
[00450] A unidade de aquisição de VUI 541 adquire VUI que compreende dados em relação à exibição de um vídeo do conjunto do parâmetro de vídeo (VPS) ou do conjunto de parâmetro de sequência (SPS) suprido a partir do lado da codificação, adquire a informação (matrix_coffs) que representa o espaço de cor da imagem incluído na VUI, e supre a informação adquirida para a unidade de restauração residual 222 (uma unidade de determinação do espaço de cor 563 a ser descrita posteriormente).
[00451] A unidade de controle 551 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 551 inclui uma unidade de cálculo da diferença da profundidade de bit 561 em vez
109 / 172 da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 562 em vez da unidade de controle de deslocamento de bit 252. Além do mais, a unidade de controle 551 inclui uma unidade de determinação do espaço de cor 563.
[00452] A unidade de cálculo da diferença da profundidade de bit 561, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 561 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 263 (a unidade de restauração 452 não inclui a unidade de deslocamento esquerdo 263).
[00453] A unidade de controle de deslocamento de bit 562, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 452. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for zero, a unidade de controle de deslocamento de bit 562 faz com que a unidade de restauração 452 não realize escalonamento da profundidade de bit, mas restaure os dados residuais. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for positiva, a unidade de controle de deslocamento de bit 562 faz com que a unidade de restauração 452 realize escalonamento da profundidade de bit para restaurar os dados residuais. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for negativa, a
110 / 172 unidade de controle de deslocamento de bit 562 omite a restauração residual (omite a restauração dos dados residuais) pelo controle da unidade de restauração 452.
[00454] Além do mais, a unidade de controle de deslocamento de bit 562 controla o cálculo realizado pela unidade de restauração 452 com base em um resultado da determinação do espaço de cor da imagem que é realizado pela unidade de determinação do espaço de cor 563. Por exemplo, em um caso em que o espaço de cor da imagem for determinado como o RGB pela unidade de determinação do espaço de cor 563, a unidade de controle de deslocamento de bit 562 omite restauração residual (a restauração dos dados residuais é omitida) pelo controle da unidade de restauração 452.
[00455] A unidade de determinação do espaço de cor 563 determina o espaço de cor da imagem pela referência à informação (matrix_coffs) que representa o espaço de cor da imagem suprida a partir da unidade de aquisição de VUI 541. Por exemplo, no caso de matrix_coffs = 0, a unidade de determinação do espaço de cor 563 determina que o espaço de cor da imagem é o RGB.
[00456] Em outras palavras, no caso do exemplo desta modalidade, similarmente ao caso da terceira modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes, não é realizado. Desta maneira, comparada com a configuração da unidade de restauração 242, a unidade de deslocamento esquerdo 263 não é incluída na unidade de restauração 452. <Fluxo do Processo de Restauração Residual>
[00457] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do
111 / 172 fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 31.
[00458] Também, no caso do exemplo ilustrado na figura 31, quando um processo de restauração residual for iniciado, na Etapa S521, a unidade de cálculo da diferença da profundidade de bit 561 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 561 realiza o cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.
[00459] Na Etapa S522, a unidade de controle de deslocamento de bit 562 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S521 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S523. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).
[00460] Em outras palavras, os processos da Etapa S523 até a Etapa S525 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S525 terminar ou for determinado, na Etapa S523, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00461] Por outro lado, na Etapa S522, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S526.
112 / 172
[00462] Na Etapa S526, a unidade de determinação do espaço de cor 563 determina se o espaço de cor da imagem é o RGB ou não com base na informação (matrix_coffs) que representa o espaço de cor da imagem adquirida a partir da unidade de aquisição de VUI 541. Em um caso em que o espaço de cor for determinado como não sendo o RGB, o processo prossegue para a Etapa S527.
[00463] Na Etapa S527, a unidade de controle de deslocamento de bit 562 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S521 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S528. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).
[00464] Em outras palavras, os processos da Etapa S528 até a Etapa S530 são realizados similarmente aos processos da Etapa S227 até a Etapa S229 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S530 terminar ou for determinado, na Etapa S528, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00465] Além do mais, também, em um caso em que o espaço de cor for determinado como o RGB na Etapa S526 ou a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S527, o escalonamento das profundidades de bit não é realizado, e a restauração residual é omitida. Desta maneira, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.
[00466] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tem uma profundidade
113 / 172 de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual não é realizada, e a restauração residual pode ser configurada para não ser realizada de acordo com isto. Além do mais, apenas para um espaço de cor no qual efeito suficiente de realização da previsão residual é adquirido (a eficiência de codificação pode ser suficientemente melhorada), a previsão residual é realizada e restauração residual pode ser configurada para não ser realizada de acordo com isto. Portanto, de acordo com o aparelho de decodificação de imagem 200, já que restauração residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida e um aumento na carga de processamento pode ser suprimido. <5. Quinta Modalidade> <Comunização do Coeficiente de Ponderação>
[00467] Como exposto, embora a unidade de definição do coeficiente de ponderação 153 tenha sido descrita para definir independentemente o coeficiente de ponderação Į para cada componente, a definição do coeficiente de ponderação não é limitada a esta. Assim, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir um coeficiente de ponderação Į que é comum a uma pluralidade dos componentes. Por exemplo, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir um coeficiente de ponderação Į que é comum tanto ao componente de diferença de cor Cr quanto ao componente de diferença de cor Cb. <Sintaxe e Semântica>
[00468] A figura 32 ilustra um exemplo da sintaxe de uma TU que transmite um coeficiente de ponderação Į em um caso em que o coeficiente de ponderação Į for independentemente definido para cada componente. Em
114 / 172 um caso como este, como em uma porção ilustrada na figura 32 na qual um padrão de linhas inclinadas é aplicado, uma determinação de uma condição para a transmissão r do coeficiente de ponderação Į é realizada para cada um dos componentes de diferença de cor Cr e Cb, e o coeficiente de ponderação Į é transmitido (chamando luma_chroma_pred()) para cada um dos componentes de diferença de cor Cr e Cb. Na transmissão do coeficiente de ponderação Į, é necessário designar um número de componente (c) do componente de diferença de cor (Croma) (por exemplo, "c" de luma_chroma_pred(x0, y0, c); no exemplo ilustrado na figura 32, c = "0" ou "1").
[00469] Um exemplo da sintaxe da previsão residual (previsão Luma - croma) é ilustrado na figura 33. Da forma ilustrada na figura 33, também, nesta sintaxe, é necessário designar o número de componente (c) do componente de diferença de cor (Croma).
[00470] Além do mais, exemplos da semântica são ilustrados nas figuras 34 e 35. Da forma ilustrada em tais diagramas, também na semântica, é necessário designar o número de componente (c) do componente de diferença de cor (Croma).
[00471] Ao contrário disto, a figura 36 ilustra um exemplo da sintaxe de uma TU que transmite um coeficiente de ponderação Į em um caso em que o coeficiente de ponderação Į for comunizado. Em um caso como este, como em uma porção ilustrada na figura 36 na qual um padrão de linhas inclinadas é aplicado, uma determinação de uma condição para a transmissão r do coeficiente de ponderação Į e a transmissão (chamando luma_chroma_pred()) do coeficiente de ponderação Į pode ser realizada uma vez. Assim, pela configuração como tal, as cargas do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 podem ser diminuídas, e a quantidade de informação a ser transmitida pode ser diminuída, de acordo com o que, a eficiência de codificação pode ser melhorada. Além do mais, já
115 / 172 que não é necessário designar o número de componente (c) do componente de diferença de cor (Croma), a eficiência de codificação pode ser adicionalmente melhorada.
[00472] Um exemplo da sintaxe da previsão residual (previsão Luma - croma) de um caso como este é ilustrado na figura 37. Da forma ilustrada na figura 37, também nesta sintaxe, já que não é necessário designar o número de componente (c) do componente de diferença de cor (Croma), a eficiência de codificação pode ser adicionalmente melhorada.
[00473] Exemplos da semântica de um caso como este são ilustrados nas figuras 38 e 39. Da forma ilustrada nos desenhos, também na semântica, é desnecessário designar o número de componente (c) do componente de diferença de cor (Croma). Portanto, as cargas do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 podem ser diminuídas.
[00474] A presente tecnologia pode ser aplicada em todos os aparelhos de codificação de imagem e aparelhos de decodificação de imagem capazes de codificação / decodificação de dados de imagem como uma faixa aplicável dos mesmos.
[00475] Além do mais, a presente tecnologia, por exemplo, pode ser aplicada em um aparelho de codificação de imagem e um aparelho de decodificação de imagem que são usados quando informação de imagem (fluxo contínuo de bits) comprimida usando uma transformada ortogonal, tal como uma transformada discreta de cosseno, e compensação de movimento, como MPEG, H. 26x ou congêneres, for recebida através de uma mídia em rede, tais como difusão via satélite, televisão a cabo, a Internet ou um telefone celular. Além do mais, a presente tecnologia pode ser aplicada em um aparelho de codificação de imagem e em um aparelho de decodificação de imagem que são usados quando informação for processada em uma mídia de armazenamento, tais como um disco óptico, um disco magnético ou uma
116 / 172 memória flash. <6. Sexta Modalidade> <Aplicação na Codificação de Imagem com Múltiplos Pontos de Visualização e na Decodificação de Imagem com Múltiplos Pontos de Visualização>
[00476] Uma série de processos supradescrita pode ser aplicada na codificação de imagem com múltiplos pontos de visualização / decodificação de imagem com múltiplos pontos de visualização. A figura 40 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem com múltiplos pontos de visualização.
[00477] Da forma ilustrada na figura 40, uma imagem com múltiplos pontos de visualização inclui imagens de múltiplos pontos de visualização (vistas). As múltiplas vistas da imagem com múltiplos pontos de visualização são configuradas por uma vista base que é codificada e decodificada pelo uso apenas da imagem da vista base sem usar informação de uma outra vista e uma vista não base que é codificada e decodificada usando informação de outras vistas. Para codificação / decodificação da vista não base, informação da vista base ou informação de qualquer outra vista não base podem ser usadas.
[00478] Em um caso em que a imagem com múltiplos pontos de visualização, como no exemplo ilustrado na figura 40, for codificada e decodificada, ao mesmo tempo em que uma imagem de cada ponto de visualização é codificada e decodificada, os métodos supradescritos nas primeira até quinta modalidades podem ser aplicados na codificação e na decodificação de cada ponto de visualização. Em um caso como este, uma diminuição na eficiência de codificação de cada ponto de visualização pode ser suprimida. Em outras palavras, similarmente, também no caso de uma imagem com múltiplos pontos de visualização, uma diminuição na eficiência de codificação pode ser suprimida.
117 / 172 <Aparelho de Codificação de Imagem com Múltiplos Pontos de Visualização>
[00479] A figura 41 é um diagrama que ilustra um aparelho de codificação de imagem com múltiplos pontos de visualização que realiza a codificação de imagem com múltiplos pontos de visualização supradescrita. Da forma ilustrada na figura 41, o aparelho de codificação de imagem com múltiplos pontos de visualização 600 inclui: uma unidade de codificação 601; uma unidade de codificação 602; e uma unidade de multiplexação 603.
[00480] A unidade de codificação 601 codifica uma imagem de vista base, desse modo, gerando um fluxo contínuo codificado da imagem de vista base. Além do mais, a unidade de codificação 602 codifica uma imagem de vista não base, desse modo, gerando um fluxo contínuo codificado da imagem de vista não base. A unidade de multiplexação 603 multiplexa o fluxo contínuo codificado da imagem de vista base gerado pela unidade de codificação 601 e o fluxo contínuo codificado da imagem de vista não base gerado pela unidade de codificação 602, desse modo, gerando um fluxo contínuo codificado da imagem com múltiplos pontos de visualização.
[00481] Por exemplo, como a unidade de codificação 601 e a unidade de codificação 602 do aparelho de codificação de imagem com múltiplos pontos de visualização 600, o aparelho de codificação de imagem 100 supradescrito pode ser aplicado. Em um caso como este, também na codificação de uma imagem com múltiplos pontos de visualização, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de codificação de imagem com múltiplos pontos de visualização 600 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem com múltiplos pontos de visualização. <Aparelho de Decodificação de Imagem com Múltiplos Pontos de Visualização>
118 / 172
[00482] A figura 42 é um diagrama que ilustra um aparelho de decodificação de imagem com múltiplos pontos de visualização que realiza a decodificação de imagem com múltiplos pontos de visualização supradescrita. Da forma ilustrada na figura 42, o aparelho de decodificação de imagem com múltiplos pontos de visualização 610 inclui: uma unidade de demultiplexação 611; uma unidade de decodificação 612; e uma unidade de decodificação 613.
[00483] A unidade de demultiplexação 611 demultiplexa um fluxo contínuo codificado da imagem com múltiplos pontos de visualização adquirido pela multiplexação do fluxo contínuo codificado da imagem de vista base e do fluxo contínuo codificado da imagem de vista não base, desse modo, extraindo o fluxo contínuo codificado da imagem de vista base e o fluxo contínuo codificado da imagem de vista não base. A unidade de decodificação 612 decodifica o fluxo contínuo codificado da imagem de vista base extraído pela unidade de demultiplexação 611, desse modo, adquirindo uma imagem de vista base. A unidade de decodificação 613 decodifica o fluxo contínuo codificado da imagem de vista não base extraído pela unidade de demultiplexação 611, desse modo, adquirindo uma imagem de vista não base.
[00484] Por exemplo, como a unidade de decodificação 612 e a unidade de decodificação 613 do aparelho de decodificação de imagem com múltiplos pontos de visualização 610, o aparelho de decodificação de imagem 200 supradescrito pode ser aplicado. Em um caso como este, também na decodificação de dados codificados de uma imagem com múltiplos pontos de visualização, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de decodificação de imagem com múltiplos pontos de visualização 610 pode decodificar corretamente os dados codificados de uma imagem com múltiplos pontos de visualização codificada usando vários métodos descritos nas primeira até quinta modalidades. Desta maneira, o aparelho de decodificação de imagem
119 / 172 com múltiplos pontos de visualização 610 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem com múltiplos pontos de visualização. <7. Sétima Modalidade> <Aplicação na Codificação de Imagem Hierárquica / Decodificação de Imagem Hierárquica>
[00485] Uma série de processos supradescrita pode ser aplicada na codificação de imagem hierárquica / decodificação de imagem hierárquica (codificação escalonável / decodificação escalonável). A figura 43 ilustra um exemplo de um sistema de codificação de imagem hierárquica.
[00486] Na codificação hierárquica (codificação escalonável), uma imagem é configurada como uma pluralidade de camadas (hierarquias) para ter uma função de escalonabilidade para um parâmetro predeterminado, e dados de imagem são codificados para cada camada. A decodificação de imagem hierárquica (decodificação escalonável) é um processo de decodificação correspondente à codificação de imagem hierárquica.
[00487] Da forma ilustrada na figura 43, na hierarquização de uma imagem, uma imagem é dividida em uma pluralidade de hierarquias (camadas) pela referência a um parâmetro predeterminado com a função de escalonabilidade. Em outras palavras, a imagem hierarquizada (imagem hierárquica) inclui uma pluralidade de imagens (camadas) com valores mutuamente diferentes do parâmetro predeterminado. A pluralidade de camadas da imagem hierárquica é configurada por uma codificação e decodificação da camada base usando uma imagem da camada base sem usar uma imagem de uma outra camada e uma codificação e decodificação de camada não base (também referida como uma camada de intensificação) usando uma imagem de uma outra camada. A camada não base pode ser configurada para usar uma imagem da camada base ou usar uma imagem de uma outra camada não base.
120 / 172
[00488] No geral, a fim de reduzir a redundância, a camada não base é configurada por dados (dados diferenciais) de uma imagem diferencial entre a imagem da camada não base e uma imagem de uma outra camada. Por exemplo, em um caso em que uma imagem for hierarquizada em duas camadas, incluindo uma camada base e uma camada não base (também referida como uma camada de intensificação), uma imagem com uma qualidade mais alta do que a imagem original é adquirida pelo uso apenas dos dados da camada base, e a imagem original (em outras palavras, uma imagem de alta qualidade) é adquirida pela composição dos dados da camada base e dos dados da camada não base.
[00489] Pela hierarquização da imagem desta maneira, imagens de várias qualidades podem ser facilmente adquiridas de acordo com a situação. Por exemplo, como em um caso em que, para um terminal com uma baixa capacidade de processamento, tal como um telefone celular, informação de compressão de imagem apenas de uma camada base é transmitida, e uma imagem em movimento com baixas resolução espacial / temporal ou uma baixa qualidade da imagem é reproduzida e, para um terminal com uma alta capacidade de processamento, tais como um aparelho de televisão ou um computador pessoal, informação de compressão de imagem de uma camada de intensificação, além da camada base, é transmitida, e uma imagem em movimento com alta resolução espacial / temporal ou uma imagem de alta qualidade são reproduzidas, a informação de compressão de imagem de acordo com a capacidade do terminal ou da rede pode ser transmitida a partir de um servidor sem realizar processamento de transcodificação.
[00490] Em um caso em que uma imagem hierárquica, como no exemplo ilustrado na figura 43, for codificada e decodificada, ao mesmo tempo em que uma imagem de cada camada é codificada e decodificada, os métodos supradescritos nas primeira até quinta modalidades podem ser aplicados na codificação e na decodificação de cada camada. Em um caso
121 / 172 como este, uma diminuição na eficiência de codificação de cada camada pode ser suprimida. Em outras palavras, similarmente, também, no caso de uma imagem hierárquica, uma diminuição na eficiência de codificação pode ser suprimida. <Parâmetro Escalonável>
[00491] Em tal codificação de imagem hierárquica / decodificação de imagem hierárquica (codificação escalonável / decodificação escalonável), um parâmetro com a função de escalonabilidade é arbitrário. Por exemplo, resolução espacial, da forma ilustrada na figura 44, pode ser definida como o parâmetro (escalonabilidade espacial). No caso desta escalonabilidade espacial, a resolução da imagem é diferente para cada camada. Em outras palavras, da forma ilustrada na figura 44, cada figura é hierarquizada em duas hierarquias da camada base com resolução espacial mais alta do que a da imagem original e da camada de intensificação capaz de adquirir a imagem original (resolução espacial original) por ser composta com a imagem da camada base. É aparente que o número de hierarquias é um exemplo, e a figura pode ser hierarquizada usando um número arbitrário de hierarquias.
[00492] Como um parâmetro com tal escalonabilidade, por exemplo, resolução temporal, da forma ilustrada na figura 45, pode ser aplicada (escalonabilidade temporal). No caso desta escalonabilidade temporal, a taxa de quadro é diferente para cada camada. Em outras palavras, neste caso, da forma ilustrada na figura 45, já que uma imagem é hierarquizada em camadas com taxas de quadro mutuamente diferentes, pela adição de uma camada de uma alta taxa de quadro em uma camada de uma baixa taxa de quadro, uma imagem em movimento com uma taxa de quadro mais alta pode ser adquirida e, pela adição de todas as camadas, a imagem em movimento original (a taxa de quadro original) pode ser adquirida. Aqui, o número de hierarquias é um exemplo, e a imagem pode ser hierarquizada para um número arbitrário de hierarquias.
122 / 172
[00493] Além do mais, como um parâmetro com tal escalonabilidade, por exemplo, uma razão de sinal por ruído (SNR) pode ser aplicada (escalonabilidade de SNR). No caso desta escalonabilidade de SNR, a razão de SN é diferente para cada camada. Em outras palavras, da forma ilustrada na figura 46, cada figura é hierarquizada em duas hierarquias, incluindo uma camada base com uma SNR mais alta do que a da imagem original e uma camada de intensificação capaz de adquirir a imagem original (SNR original) por ser composta com uma imagem da camada base. Em outras palavras, na informação de compressão de imagem da camada base, informação em relação a uma imagem com uma baixa PSNR é transmitida e, pela adição da informação de compressão de imagem da camada de intensificação na mesma, uma imagem com uma alta PSNR pode ser reconstruída. É aparente que o número de hierarquias é um exemplo, e a imagem pode ser hierarquizada para um número arbitrário de hierarquias.
[00494] É aparente que um parâmetro com a escalonabilidade pode ser diferente daqueles dos exemplos supradescrito. Por exemplo, há escalonabilidade da profundidade de bit na qual uma camada base é configurada por uma imagem de 8 bits e, pela adição de uma camada de intensificação na mesma, uma imagem de 10 bits é adquirida.
[00495] Além do mais, há escalonabilidade de croma na qual uma camada base é configurada por uma imagem componente do formato 4:2:0, e uma imagem componente do formato 4:2:2 é adquirida pela adição de uma camada de intensificação na mesma. <Aparelho de Codificação de Imagem Hierárquica>
[00496] A figura 47 é um diagrama que ilustra um aparelho de codificação de imagem hierárquica que realiza a codificação de imagem hierárquica supradescrita. Da forma ilustrada na figura 47, o aparelho de codificação de imagem hierárquica 620 inclui: uma unidade de codificação 621; uma unidade de codificação 622; e uma unidade de multiplexação 623.
123 / 172
[00497] A unidade de codificação 621 codifica uma imagem de camada base, desse modo, gerando um fluxo contínuo codificado da imagem de camada base. Além do mais, a unidade de codificação 622 codifica uma imagem de camada não base, desse modo, gerando um fluxo contínuo codificado da imagem de camada não base. A unidade de multiplexação 623 multiplexa o fluxo contínuo codificado da imagem de camada base gerado pela unidade de codificação 621 e o fluxo contínuo codificado da imagem de camada não base gerado pela unidade de codificação 622, desse modo, gerando um fluxo contínuo codificado de imagem hierárquica.
[00498] Por exemplo, como a unidade de codificação 621 e a unidade de codificação 622 do aparelho de codificação de imagem hierárquica 620, o aparelho de codificação de imagem 100 supradescrito pode ser aplicado. Em um caso como este, também na codificação de uma imagem hierárquica, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de codificação de imagem hierárquica 620 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem hierárquica. <Aparelho de Decodificação de Imagem Hierárquica>
[00499] A figura 48 é um diagrama que ilustra um aparelho de decodificação de imagem hierárquica que realiza a decodificação de imagem hierárquica supradescrita. Da forma ilustrada na figura 48, o aparelho de decodificação de imagem hierárquica 630 inclui: uma unidade de demultiplexação 631; uma unidade de decodificação 632; e uma unidade de decodificação 633.
[00500] A unidade de demultiplexação 631 demultiplexa um fluxo contínuo codificado de imagem hierárquica no qual o fluxo contínuo codificado da imagem de camada base e o fluxo contínuo codificado da imagem de camada não base são multiplexados, desse modo, extraindo um fluxo contínuo codificado da imagem de camada base e um fluxo contínuo
124 / 172 codificado da imagem de camada não base. A unidade de decodificação 632 decodifica o fluxo contínuo codificado da imagem de camada base extraído pela unidade de demultiplexação 631, desse modo, adquirindo uma imagem de camada base. A unidade de decodificação 633 decodifica o fluxo contínuo codificado da imagem de camada não base extraído pela unidade de demultiplexação 631, desse modo, adquirindo uma imagem de camada não base.
[00501] Por exemplo, como a unidade de decodificação 632 e a unidade de decodificação 633 do aparelho de decodificação de imagem hierárquica 630, o aparelho de decodificação de imagem 200 supradescrito pode ser aplicado. Em um caso como este, também na decodificação dos dados codificados de uma imagem hierárquica, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de decodificação de imagem hierárquica 630 pode decodificar corretamente os dados de imagem de uma imagem hierárquica codificada usando vários métodos descritos nas primeira até quinta modalidades. Desta maneira, o aparelho de decodificação de imagem hierárquica 630 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem hierárquica. <8. Oitava Modalidade> <Computador>
[00502] Uma série de processos supradescrita pode ser executada tanto por hardware quanto por software. Em um caso em que a série dos processos for executada por software, um programa que configura o software é instalado em um computador. Aqui, o computador inclui um computador que é incorporado em hardware dedicado, um computador, tal como um computador pessoal de uso geral que pode executar várias funções pela instalação de vários programas no mesmo, e congêneres.
[00503] A figura 49 é um diagrama de blocos que ilustra um exemplo
125 / 172 da configuração de hardware de um computador que executa a série de processos supradescrita de acordo com um programa.
[00504] No computador 800 ilustrado na figura 49, uma Unidade de Processamento Central (CPU) 801, uma Memória Exclusiva de Leitura (ROM) 802 e uma Memória de Acesso Aleatório (RAM) 803 são interconectadas através de um barramento 804.
[00505] Além do mais, uma interface de entrada / saída 810 é conectada no barramento 804. Uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade 815 são conectadas na interface de entrada / saída 810.
[00506] A unidade de entrada 811, por exemplo, é configurada por um teclado, um mouse, um microfone, um painel sensível ao toque, um terminal de entrada e congêneres. A unidade de saída 812, por exemplo, é configurada por um visor, um alto-falante, um terminal de saída e congêneres. A unidade de armazenamento 813, por exemplo, é configurada por um disco rígido, um disco RAM, uma memória não volátil e congêneres. A unidade de comunicação 814, por exemplo, é configurada por uma interface de rede. A unidade 815 aciona um disco magnético, um disco óptico, um disco magneto- óptico ou uma mídia removível 821, tal como uma memória semicondutora.
[00507] No computador configurado como exposto, a CPU 801, por exemplo, carrega um programa armazenado na unidade de armazenamento 813 na RAM 803 através da interface de entrada / saída 810 e do barramento 804 e executa o programa carregado, desse modo, executando a série de processos supradescrita. Além do mais, dados exigidos para que a CPU 801 execute vários processos e congêneres são apropriadamente armazenados na RAM 803.
[00508] O programa executado pelo computador (CPU 801), por exemplo, pode ser usado tendo sido gravado em uma mídia removível 821 como um pacote de mídia ou congêneres. Em um caso como este, pelo
126 / 172 carregamento da mídia removível 821 na unidade 815, o programa pode ser instalado na unidade de armazenamento 813 através da interface de entrada / saída 810.
[00509] Além do mais, o programa pode ser provido através de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet ou difusão via satélite digital. Em um caso como este, o programa pode ser recebido pela unidade de comunicação 814 e ser instalado na unidade de armazenamento 813.
[00510] Além do mais, o programa pode ser instalado na ROM 802 ou na unidade de armazenamento 813 antecipadamente.
[00511] Além do mais, o programa executado pelo computador pode ser um computador que executa os processos em uma série temporal ao longo da sequência descrita neste relatório descritivo ou um programa que executa os processos de uma maneira paralela ou em sincronização necessária, tal como na sincronização de serem chamados.
[00512] Além do mais, neste relatório descritivo, uma etapa que descreve o programa gravado em uma mídia de gravação inclui não apenas um processo realizado em uma série temporal ao longo da sequência descrita, mas, também, um processo que é executado de uma maneira paralela ou uma maneira individual sem ser necessariamente processado em uma série temporal.
[00513] Além do mais, neste relatório descritivo, um sistema representa um conjunto de uma pluralidade de elementos constituintes (um dispositivo, um módulo (componente) e congêneres), e todos os elementos constituintes não precisam estar dispostos em um mesmo invólucro. Assim, uma pluralidade de aparelhos que ficam alojados em invólucros separados e são conectados através de uma rede e um aparelho no qual uma pluralidade de módulos fica alojada em um invólucro são sistemas.
[00514] Além do mais, uma configuração supradescrita como um
127 / 172 dispositivo (ou uma unidade de processamento) pode ser dividida para ser configurada como uma pluralidade de dispositivos (ou unidades de processamento). Ao contrário, uma configuração supradescrita como uma pluralidade de dispositivos (ou unidades de processamento) pode ser arranjada para ser configurada como um dispositivo (ou uma unidade de processamento). Além do mais, uma configuração que não foi supradescrita pode ser adicionada na configuração de cada dispositivo (ou cada unidade de processamento). Desde que a configuração geral e a operação geral do sistema sejam substancialmente as mesmas, uma parte da configuração de um dispositivo específico (ou uma unidade de processamento específica) pode ser configurada para ser incluída em uma configuração de um outro dispositivo (ou uma outra unidade de processamento).
[00515] Embora modalidades preferidas da presente descrição tenham sido descritas com detalhes em relação aos desenhos anexos, o escopo técnico da presente descrição não é limitado a tais exemplos. Fica aparente que versados na técnica da presente descrição podem conceber várias mudanças ou modificações no escopo da ideia técnica descrita nas reivindicações e, naturalmente, entende-se que tais mudanças e modificações pertencem ao escopo técnico da presente descrição.
[00516] Por exemplo, a presente tecnologia pode tomar uma configuração de computação em nuvem na qual uma função é dividida e processada cooperativamente por uma pluralidade de aparelhos através de uma rede.
[00517] Além do mais, cada etapa descrita em cada fluxograma supradescrito pode ser tanto executada por um aparelho quanto executada por uma pluralidade de aparelhos de uma maneira compartilhada.
[00518] Além do mais, em um caso em que uma pluralidade de processos for incluída em uma etapa, a pluralidade de processos incluída na uma etapa pode ser tanto executada por um aparelho quanto executada por
128 / 172 uma pluralidade de aparelhos de uma maneira compartilhada.
[00519] O aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com as modalidades supradescritas podem ser aplicados em vários aparelhos eletrônicos, tais como um transmissor ou um receptor para difusão com fios, tais como difusão via satélite ou TV a cabo, transmissão na Internet, transmissão para um terminal através de comunicação celular ou congêneres, um aparelho de gravação que grava uma imagem em uma mídia, tais como um disco óptico, um disco magnético ou uma memória flash, ou um aparelho de reprodução que reproduz uma imagem proveniente da mídia de armazenamento. A seguir, quatro exemplos de aplicação serão descritos. <9. Nona Modalidade> <Primeiro Exemplo de Aplicação: Receptor de Televisão>
[00520] A figura 50 ilustra um exemplo da configuração esquemática de um aparelho de televisão no qual a supradescrita modalidade é aplicada. O aparelho de televisão 900 inclui uma antena 901, um sintonizador 902, um demultiplexador 903, um decodificador 904, uma unidade de processamento do sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento do sinal de áudio 907, um alto-falante 908, uma unidade de interface (I/F) externa 909, uma unidade de controle 910, uma unidade de interface (I/F) de usuário 911 e um barramento 912.
[00521] O sintonizador 902 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através da antena 901 e demodula o sinal extraído. Então, o sintonizador 902 transmite um fluxo contínuo de bits codificado adquirido através da demodulação para o demultiplexador 903. Em outras palavras, o sintonizador 902 serve como uma unidade de transmissão do aparelho de televisão 900 que recebe um fluxo contínuo codificado no qual uma imagem é codificada.
[00522] O demultiplexador 903 separa um fluxo contínuo de vídeo e
129 / 172 um fluxo contínuo de áudio de um programa a ser assistido do fluxo contínuo de bits codificado e transmite cada fluxo contínuo separado para o decodificador 904. Além do mais, o demultiplexador 903 extrai dados auxiliares, tal como Guia Eletrônico de Programa (EPG), do fluxo contínuo de bits codificado e supre os dados extraídos para a unidade de controle 910. Além do mais, o demultiplexador 903 pode realizar desembaralhamento em um caso em que o fluxo contínuo de bits codificado estiver embaralhado.
[00523] O decodificador 904 decodifica o fluxo contínuo de vídeo e o fluxo contínuo de áudio inseridos a partir do demultiplexador 903. Então, o decodificador 904 transmite dados de vídeo gerados por um processo de decodificação para a unidade de processamento do sinal de vídeo 905. Além do mais, o decodificador 904 transmite dados de áudio gerados pelo processo de decodificação para a unidade de processamento do sinal de áudio 907.
[00524] A unidade de processamento do sinal de vídeo 905 reproduz os dados de vídeo inseridos a partir do decodificador 904 e faz com que a unidade de exibição 906 exiba vídeo. A unidade de processamento do sinal de vídeo 905 também pode fazer com que a unidade de exibição 906 exiba um visor de aplicação suprida através da rede. Além do mais, a unidade de processamento do sinal de vídeo 905 pode realizar um processo adicional, tal como remoção de ruído, para os dados de vídeo de acordo com uma definição. Além do mais, a unidade de processamento do sinal de vídeo 905 pode gerar uma imagem da Interface Gráfica de Usuário (GUI), tais como um menu, um botão e um cursor, e sobrepõe a imagem gerada em uma imagem de saída.
[00525] A unidade de exibição 906 é acionada de acordo com um sinal de acionamento suprido a partir da unidade de processamento do sinal de vídeo 905 para exibir um vídeo ou imagem em um visor de vídeo de um dispositivo de exibição (por exemplo, um visor de cristal líquido, um visor de plasma, um OELD (Visor de Eletroluminescência Orgânica (visor de EL
130 / 172 orgânica) ou congêneres).
[00526] A unidade de processamento do sinal de áudio 907 realiza um processo de reprodução, tais como conversão D/A e amplificação, para os dados de áudio inseridos a partir do decodificador 904 e faz com que o alto- falante 908 emita o áudio. Além do mais, a unidade de processamento do sinal de áudio 907 pode realizar um processo adicional, tal como remoção de ruído, para os dados de áudio.
[00527] A unidade de interface externa 909 é uma interface para conectar o aparelho de televisão 900 em um dispositivo externo ou na rede. Por exemplo, um fluxo contínuo de vídeo ou um fluxo contínuo de áudio recebidos através da unidade de interface externa 909 podem ser decodificados pelo decodificador 904. Em outras palavras, a unidade de interface externa 909 também serve como uma unidade de transmissão do aparelho de televisão 900 que recebe um fluxo contínuo codificado no qual uma imagem é codificada.
[00528] A unidade de controle 910 inclui um processador, tais como uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa, dados de EPG, dados adquiridos através da rede e congêneres. O programa armazenado na memória, por exemplo, é lido pela CPU na ativação do aparelho de televisão 900 e é executado. A CPU controla a operação do aparelho de televisão 900, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 911 pela execução do programa.
[00529] A unidade de interface de usuário 911 é conectada na unidade de controle 910. A unidade de interface de usuário 911, por exemplo, inclui um botão e uma chave para que um usuário opere o aparelho de televisão 900, uma unidade de recepção para um sinal de controle remoto e congêneres. A unidade de interface de usuário 911 detecta uma operação de usuário através de tais componentes, gera um sinal de operação, e transmite o sinal de
131 / 172 operação gerado para a unidade de controle 910.
[00530] O barramento 912 conecta o sintonizador 902, o demultiplexador 903, o decodificador 904, a unidade de processamento do sinal de vídeo 905, a unidade de processamento do sinal de áudio 907, a unidade de interface externa 909 e a unidade de controle 910 uns nos outros.
[00531] No aparelho de televisão 900 configurado desta maneira, o decodificador 904 tem a função do aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Em outras palavras, o decodificador 904 pode decodificar corretamente dados codificados nos quais dados de imagem são codificados usando qualquer um dos métodos descritos nas primeira até quinta modalidades pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de televisão 900 pode suprimir uma diminuição na eficiência de codificação. <Segundo Exemplo de Aplicação: Telefone Celular>
[00532] A figura 51 ilustra um exemplo da configuração esquemática de um telefone celular no qual a supradescrita modalidade é aplicada. O telefone celular 920 inclui uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento de imagem 927, uma unidade de multiplexação / separação 928, uma unidade de gravação / reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933.
[00533] A antena 921 é conectada na unidade de comunicação 922. O alto-falante 924 e o microfone 925 são conectados no codec de áudio 923. A unidade de operação 932 é conectada na unidade de controle 931. O barramento 933 conecta a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de multiplexação / separação 928, a unidade de gravação / reprodução 929, a unidade de exibição 930 e a unidade de controle 931 uns
132 / 172 nos outros.
[00534] O telefone celular 920 realiza operação, tais como transmissão / recepção de um sinal de áudio, transmissão / recepção de um correio eletrônico ou dados de imagem, captura de imagem e gravação de dados em vários modos de operação, incluindo um modo de chamada de voz, um modo de comunicação de dados, um modo de formação de imagem e um modo de televisão - telefone.
[00535] No modo de chamada de voz, um sinal de áudio analógico gerado pelo microfone 925 é suprido para o codec de áudio 923. O codec de áudio 923 converte o sinal de áudio analógico em dados de áudio, realiza conversão A/D dos dados de áudio convertidos e comprime os dados de áudio. Então, o codec de áudio 923 transmite os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 amplifica um sinal sem fio recebido através da antena 921 e realiza conversão de frequência do sinal sem fio, desse modo, adquirindo um sinal de recepção. Então, a unidade de comunicação 922 gera dados de áudio pela demodulação e decodificação do sinal de recepção e transmite os dados de áudio gerados para o codec de áudio 923. O codec de áudio 923 realiza descompressão e conversão D/A dos dados de áudio, desse modo, gerando um sinal de áudio analógico. Então, o codec de áudio 923 supre o sinal de áudio gerado para o alto-falante 924 para fazer com que áudio seja transmitido.
[00536] No modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de caractere que configuram um correio eletrônico de acordo com uma operação de usuário realizada através da unidade de operação 932. Além do mais, a unidade de controle 931 faz com que a
133 / 172 unidade de exibição 930 exiba caracteres. A unidade de controle 931 gera dados de correio eletrônico de acordo com uma instrução de transmissão proveniente do usuário através da unidade de operação 932 e transmite os dados de correio eletrônico gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de correio eletrônico, desse modo, gerando um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 realiza amplificação e conversão de frequência do sinal sem fio recebido através da antena 921, desse modo, adquirindo um sinal de recepção. Então, a unidade de comunicação 922 demodula e decodifica o sinal de recepção para restaurar os dados de correio eletrônico e transmite os dados de correio eletrônico restaurados para a unidade de controle 931. A unidade de controle 931 faz com que a unidade de exibição 930 exiba um conteúdo dos dados de correio eletrônico e supre os dados de correio eletrônico para a unidade de gravação / reprodução 929 para fazer com que os dados de correio eletrônico sejam gravados sobre uma mídia de gravação da mesma.
[00537] A unidade de gravação / reprodução 929 inclui uma mídia de armazenamento legível e gravável arbitrária. Por exemplo, a mídia de armazenamento pode ser uma mídia de armazenamento incorporada, tais como uma RAM e uma memória flash, ou pode ser uma mídia de armazenamento tipo montagem externa, tais como um disco rígido, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória tipo Barramento Serial Universal (USB) ou um cartão de memória.
[00538] No modo de formação de imagem, por exemplo, a unidade de câmera 926 forma imagem de um objeto para gerar dados de imagem e transmite os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica os dados
134 / 172 de imagem inseridos a partir da unidade de câmera 926 e supre um fluxo contínuo codificado para a unidade de gravação / reprodução 929 para fazer com que o fluxo contínuo codificado seja gravado sobre uma mídia de gravação da mesma.
[00539] Em um modo de exibição de imagem, a unidade de gravação / reprodução 929 lê um fluxo contínuo codificado gravado na mídia de gravação e transmite o fluxo contínuo codificado lido para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica o fluxo contínuo codificado inserido a partir da unidade de gravação / reprodução 929 e supre dados de imagem para a unidade de exibição 930 para fazer com que uma imagem dos mesmos seja exibida.
[00540] Além do mais, no modo de televisão - telefone, por exemplo, a unidade de multiplexação / separação 928 multiplexa o fluxo contínuo de vídeo codificado pela unidade de processamento de imagem 927 e o fluxo contínuo de áudio inserido a partir do codec de áudio 923 e transmite um fluxo contínuo multiplexado resultante para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo contínuo, desse modo, gerando um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 realiza amplificação e conversão de frequência de um sinal sem fio recebido através da antena 921, desse modo, adquirindo um sinal de recepção. O sinal de transmissão e o sinal de recepção são adquiridos com o fluxo contínuo de bits codificado sendo incluído nos mesmos. Então, a unidade de comunicação 922 restaura o fluxo contínuo pela demodulação e pela decodificação do sinal de recepção e transmite o fluxo contínuo restaurado para a unidade de multiplexação / separação 928. A unidade de multiplexação / separação 928 separa um fluxo contínuo de vídeo e um fluxo contínuo de áudio do fluxo contínuo de entrada e transmite o fluxo contínuo de vídeo e o fluxo contínuo
135 / 172 de áudio, respectivamente, para a unidade de processamento de imagem 927 e o codec de áudio 923. A unidade de processamento de imagem 927 decodifica o fluxo contínuo de vídeo para gerar dados de vídeo. Os dados de vídeo são supridos para a unidade de exibição 930, e uma série de imagens é exibida pela unidade de exibição 930. O codec de áudio 923 realiza descompressão e conversão D/A do fluxo contínuo de áudio, desse modo, gerando um sinal de áudio analógico. Então, o codec de áudio 923 supre o sinal de áudio gerado para o alto-falante 924 para fazer com que um áudio seja transmitido.
[00541] No telefone celular 920 configurado desta maneira, a unidade de processamento de imagem 927 tem as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 de acordo com as supradescritas modalidades. Em outras palavras, a unidade de processamento de imagem 927 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades e pode decodificar corretamente dados codificados adquiridos pelo processo de codificação pelo uso do método descrito na correspondente modalidade. Desta maneira, o telefone celular 920 pode suprimir uma diminuição na eficiência de codificação. <Terceiro Exemplo de Aplicação: Aparelho de Gravação e de Reprodução>
[00542] A figura 52 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de gravação / reprodução no qual a supradescrita modalidade é aplicada. O aparelho de gravação / reprodução 940, por exemplo, codifica dados de áudio e dados de vídeo de um programa de difusão recebido e grava os dados codificados em uma mídia de gravação. Além do mais, o aparelho de gravação / reprodução 940, por exemplo, pode codificar dados de áudio e dados de vídeo adquiridos a partir de um outro aparelho e gravar os dados codificados em uma mídia de gravação. Além do mais, o aparelho de gravação / reprodução 940, por
136 / 172 exemplo, reproduz os dados gravados na mídia de gravação usando o monitor e o alto-falante de acordo com uma instrução do usuário. Neste momento, o aparelho de gravação / reprodução 940 decodifica os dados de áudio e os dados de vídeo.
[00543] O aparelho de gravação / reprodução 940 inclui um sintonizador 941, uma unidade de interface (I/F) externa 942, um codificador 943, uma unidade de disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma Exibição No Visor (OSD) 948, uma unidade de controle 949 e uma unidade de interface (I/F) de usuário 950.
[00544] O sintonizador 941 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através de uma antena (não ilustrada) e demodula o sinal extraído. Então, o sintonizador 941 transmite um fluxo contínuo de bits codificado adquirido pelo processo de demodulação para o seletor 946. Em outras palavras, o sintonizador 941 serve como uma unidade de transmissão do aparelho de gravação / reprodução 940.
[00545] A unidade de interface externa 942 é uma interface usada para conectar o aparelho de gravação / reprodução 940 e um dispositivo externo ou a rede. A unidade de interface externa 942, por exemplo, pode ser uma interface do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE) 1394, uma interface de rede, uma interface USB, uma interface de memória flash ou congêneres. Por exemplo, os dados de vídeo e os dados de áudio recebidos através da unidade de interface externa 942 são inseridos no codificador 943. Em outras palavras, a unidade de interface externa 942 serve como a unidade de transmissão do aparelho de gravação / reprodução 940.
[00546] Em um caso em que os dados de vídeo e os dados de áudio inseridos a partir da unidade de interface externa 942 não forem codificados, o codificador 943 codifica os dados de vídeo e os dados de áudio quando os dados de vídeo e os dados de áudio forem inseridos a partir da unidade de interface externa 942. Então, o codificador 943 transmite um fluxo contínuo
137 / 172 de bits codificado para o seletor 946.
[00547] A HDD 944 grava o fluxo contínuo de bits codificado no qual dados de conteúdos, tais como um vídeo e um áudio, são comprimidos, vários programas e outros dados em um disco rígido interno. Quando um vídeo e um áudio forem reproduzidos, a HDD 944 lê os dados a partir do disco rígido.
[00548] A unidade de disco 945 grava e lê dados em / a partir de uma mídia de gravação carregada. A mídia de gravação carregada na unidade de disco 945, por exemplo, pode ser um Disco Versátil Digital (DVD) (um DVD-Vídeo, um DVD-RAM (DVD - Memória de Acesso Aleatório), um DVD - Gravável (DVD-R), um DVD - Regravável (DVD-RW), DVD + Gravável (DVD+R), um DVD + Regravável (DVD+RW) ou congêneres), um disco Blu-ray (marca registrada) ou congêneres.
[00549] Quando um vídeo e um áudio forem gravados, o seletor 946 seleciona um fluxo contínuo de bits codificado inserido a partir do sintonizador 941 ou do codificador 943 e transmite o fluxo contínuo de bits codificado selecionado para a HDD 944 ou a unidade de disco 945. Além do mais, quando o vídeo e o áudio forem reproduzidos, o seletor 946 transmite o fluxo contínuo de bits codificado inserido a partir da HDD 944 ou da unidade de disco 945 para o decodificador 947.
[00550] O decodificador 947 decodifica o fluxo contínuo de bits codificado para gerar dados de vídeo e dados de áudio. Então, o decodificador 947 transmite os dados de vídeo gerados para a OSD 948. Além do mais, o decodificador 947 transmite os dados de áudio gerados para um alto-falante externo.
[00551] A OSD 948 reproduz os dados de vídeo inseridos a partir do decodificador 947, desse modo, exibindo o vídeo. A OSD 948 pode sobrepor uma imagem de uma GUI, tais como um menu, um botão, um cursor, no vídeo exibido.
[00552] A unidade de controle 949 inclui um processador, tal como
138 / 172 uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa e congêneres. O programa armazenado na memória, por exemplo, é lido e executado pela CPU na ativação do aparelho de gravação / reprodução 940. A CPU controla a operação do aparelho de gravação / reprodução 940, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 950 pela execução do programa.
[00553] A unidade de interface de usuário 950 é conectada na unidade de controle 949. A unidade de interface de usuário 950, por exemplo, inclui um botão e uma chave para que o usuário opere o aparelho de gravação / reprodução 940 e uma unidade de recepção para um sinal de controle remoto. A unidade de interface de usuário 950 detecta uma operação de usuário através dos elementos constituintes para gerar um sinal de operação e transmite o sinal de operação gerado para a unidade de controle 949.
[00554] No aparelho de gravação / reprodução 940 configurado desta maneira, o codificador 943 tem a função do aparelho de codificação de imagem 100 de acordo com a supradescrita modalidade. Em outras palavras, o codificador 943 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades. Além do mais, o decodificador 947 tem a função do aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Em outras palavras, o decodificador 947 pode decodificar corretamente dados codificados que são codificados pelo uso de qualquer um dos métodos descritos nas primeira até quinta modalidades pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de gravação / reprodução 940 pode suprimir uma diminuição na eficiência de codificação. <Quarto Exemplo de Aplicação: Aparelho de Formação de Imagem>
[00555] A figura 53 ilustra um exemplo da configuração esquemática
139 / 172 de um aparelho de formação de imagem no qual a supradescrita modalidade é aplicada. O aparelho de formação de imagem 960 forma imagem de um objeto para gerar uma imagem, codifica os dados de imagem e grava os dados de imagem codificados em uma mídia de gravação.
[00556] O aparelho de formação de imagem 960 inclui um bloco óptico 961, uma unidade de formação de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma unidade de interface (I/F) externa 966, uma unidade de memória 967, uma unidade de mídia 968, uma OSD 969, uma unidade de controle 970, uma unidade de interface (I/F) de usuário 971 e um barramento 972.
[00557] O bloco óptico 961 é conectado na unidade de formação de imagem 962. A unidade de formação de imagem 962 é conectada na unidade de processamento de sinal 963. A unidade de exibição 965 é conectada na unidade de processamento de imagem 964. A unidade de interface de usuário 971 é conectada na unidade de controle 970. O barramento 972 conecta a unidade de processamento de imagem 964, a unidade de interface externa 966, a unidade de memória 967, a unidade de mídia 968, a OSD 969 e a unidade de controle 970 umas nas outras.
[00558] O bloco óptico 961 inclui uma lente de foco, um mecanismo de diafragma e congêneres. O bloco óptico 961 forma uma imagem óptica do objeto em uma superfície de formação de imagem da unidade de formação de imagem 962. A unidade de formação de imagem 962 inclui um sensor de imagem, tais como um dispositivo de carga acoplada (CCD) e um semicondutor de óxido de metal complementar (CMOS), e converte a imagem óptica formada na superfície de formação de imagem em um sinal de imagem como um sinal elétrico através da conversão fotoelétrica. Então, a unidade de formação de imagem 962 transmite o sinal de imagem para a unidade de processamento de sinal 963.
140 / 172
[00559] A unidade de processamento de sinal 963 realiza vários processos de sinal da câmera, tais como uma correção de knee, uma correção de gama, uma correção de cor e congêneres, para o sinal de imagem inserido a partir da unidade de formação de imagem 962. A unidade de processamento de sinal 963 transmite os dados de imagem depois dos processos de sinal da câmera para a unidade de processamento de imagem 964.
[00560] A unidade de processamento de imagem 964 codifica os dados de imagem inseridos a partir da unidade de processamento de sinal 963 para gerar dados codificados. Então, a unidade de processamento de imagem 964 transmite os dados codificados gerados para a unidade de interface externa 966 ou a unidade de mídia 968. Além do mais, a unidade de processamento de imagem 964 decodifica os dados codificados inseridos a partir da unidade de interface externa 966 ou da unidade de mídia 968 para gerar dados de imagem. Então, a unidade de processamento de imagem 964 transmite os dados de imagem gerados para a unidade de exibição 965. Além do mais, a unidade de processamento de imagem 964 pode transmitir os dados de imagem inseridos a partir da unidade de processamento de sinal 963 para a unidade de exibição 965 para exibir a imagem. Além do mais, a unidade de processamento de imagem 964 pode sobrepor dados para exibição que são adquiridos a partir da OSD 969 na imagem transmitida para a unidade de exibição 965.
[00561] A OSD 969, por exemplo, gera uma imagem de uma GUI, tais como um menu, um botão, um cursor ou congêneres, e transmite a imagem gerada para a unidade de processamento de imagem 964.
[00562] A unidade de interface externa 966, por exemplo, é configurada como um terminal de entrada / saída USB. A unidade de interface externa 966, por exemplo, conecta o aparelho de formação de imagem 960 e uma impressora quando uma imagem for impressa. Além do mais, uma unidade é conectada na unidade de interface externa 966 conforme seja
141 / 172 necessário. Uma mídia removível, tais como um disco magnético ou um disco óptico, é carregada na unidade, e um programa lido a partir da mídia removível pode ser instalado no aparelho de formação de imagem 960. Além do mais, a unidade de interface externa 966 pode ser configurada como uma interface de rede que é conectada em uma rede, tais como uma LAN, a Internet ou congêneres. Em outras palavras, a unidade de interface externa 966 serve como uma unidade de transmissão do aparelho de formação de imagem 960.
[00563] A mídia de gravação carregada na unidade de mídia 968, por exemplo, pode ser uma mídia removível legível / gravável arbitrária, tais como um disco magnético, um disco magneto-óptico, um disco óptico ou uma memória semicondutora. Além do mais, ela pode ser configurada de maneira tal que uma mídia de gravação seja fixamente montada na unidade de mídia 968 para configurar uma unidade de armazenamento não portátil, tais como uma unidade de disco rígido ou uma Unidade em Estado Sólido (SSD) incorporadas.
[00564] A unidade de controle 970 inclui um processador, tal como uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa e congêneres. O programa armazenado na memória é lido pela CPU, por exemplo, na ativação do aparelho de formação de imagem 960 e é executado. A CPU controla a operação do aparelho de formação de imagem 960, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 971 pela execução do programa.
[00565] A unidade de interface de usuário 971 é conectada na unidade de controle 970. A unidade de interface de usuário 971, por exemplo, inclui um botão, uma chave e congêneres para que um usuário opere o aparelho de formação de imagem 960. A unidade de interface de usuário 971 detecta uma operação de usuário através dos elementos constituintes para gerar um sinal
142 / 172 de operação e transmite o sinal de operação gerado para a unidade de controle
970.
[00566] No aparelho de formação de imagem 960 configurado desta maneira, a unidade de processamento de imagem 964 tem as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 de acordo com as supradescritas modalidades. Em outras palavras, a unidade de processamento de imagem 964 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades e pode decodificar corretamente dados codificados adquiridos pelo processo de codificação pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de formação de imagem 960 pode melhorar a eficiência de codificação.
[00567] Além do mais, a presente tecnologia também pode ser aplicada em transferência contínua HTTP, tais como MPEG ou DASH, que seleciona e usa apropriados dados codificados em unidades de segmentos a partir de uma pluralidade peças de dados codificados com resoluções mutuamente diferentes e congêneres que são preparados antecipadamente. Em outras palavras, entre a pluralidade de peças de dados codificados, informação em relação a codificação e decodificação pode ser compartilhada. <10. Décima Modalidade> <Outros Exemplos>
[00568] Embora os exemplos do aparelho, do sistema e congêneres nos quais a presente tecnologia é aplicada tenham sido descritos, como exposto, a presente tecnologia não é limitada aos mesmos. Assim, a presente tecnologia também pode ser implementada como todos os componentes montados no aparelho ou um aparelho que configura o sistema, tais como um processador como um sistema de Integração em Larga Escala (LSI) ou congêneres, um módulo que usa uma pluralidade de processadores e congêneres, uma unidade que usa uma pluralidade de módulos e congêneres, e um aparelho adquirido
143 / 172 pela adição de uma outra função na unidade (em outras palavras, uma parte da configuração do aparelho). <Aparelho de Vídeo>
[00569] Um exemplo de um caso em que a presente tecnologia é implementada como um aparelho será descrito em relação à figura 54. A figura 54 ilustra um exemplo da configuração esquemática de um conjunto de vídeo no qual a presente tecnologia é aplicada.
[00570] Recentemente, a implementação de múltiplas funções em aparelhos eletrônicos progrediu e, no desenvolvimento ou na fabricação de cada aparelho eletrônico, em um caso em que uma parte da configuração for executada em vendas, provisão ou congêneres, frequentemente, há não apenas um caso em que a parte é executada como uma configuração com uma função, mas, também, um caso em que a parte é executada como um aparelho com múltiplas funções pela combinação de uma pluralidade de configurações com funções relacionadas.
[00571] O aparelho de vídeo 1300 ilustrado na figura 54 tem uma configuração como esta que tem múltiplas funções e é adquirida pela combinação de um dispositivo com uma função em relação a codificação / decodificação (uma da codificação e da decodificação ou ambas) de uma imagem com dispositivos com outras funções em relação à função.
[00572] Da forma ilustrada na figura 54, o aparelho de vídeo 1300 inclui: um grupo de módulos, tais como um módulo de vídeo 1311, uma memória externa 1312, um módulo de gerenciamento de energia 1313 e um módulo de interface inicial 1314 e dispositivos com funções relacionadas, tais como conectividade 1321, uma câmera 1322 e um sensor 1323.
[00573] Um módulo é um componente que tem funções com coerência adquirida pela reunião de diversas funções componentes umas em relação às outras. Uma configuração física específica é arbitrária e, por exemplo, pode ser considerada uma configuração na qual uma pluralidade de processadores
144 / 172 com respectivas funções, componentes de circuito eletrônico, tais como um resistor e um capacitor, e outros dispositivos, são arranjados para ser integrados em uma placa de fiação ou congêneres. Além do mais, pode ser considerado formar um novo módulo pela combinação de um módulo com outros módulos, um processador ou congêneres.
[00574] No caso do exemplo ilustrado na figura 54, o módulo de vídeo 1311 é construído pela combinação de configurações com funções em relação ao processamento de imagem e inclui: um processador de aplicação, um processador de vídeo, um modem de banda larga 1333 e um módulo de RF
1334.
[00575] Um processador é formado pela integração de uma configuração com uma função predeterminado em um chip semicondutor através de um Sistema em um Chip (SoC) e, por exemplo, há um processador chamado de uma Integração em Larga Escala (LSI) ou congêneres. A configuração com uma função predeterminada pode ser um circuito lógico (configuração de hardware), uma configuração que inclui uma CPU, uma ROM, uma RAM e congêneres e um programa (configuração em software) executado usando os componentes, ou uma configuração adquirida pela combinação de ambos. Por exemplo, ela pode ser configurada de maneira tal que um processador inclua circuitos lógicos, uma CPU, uma ROM, uma RAM e congêneres, algumas funções da mesma são realizadas por circuitos lógicos (configuração de hardware) e as outras funções são realizadas por um programa (configuração em software) executado pela CPU.
[00576] Um processador de aplicação 1331 ilustrado na figura 54 é um processador que executa uma aplicação em relação a processamento de imagem. A fim de realizar uma função predeterminada, a aplicação executada por este processador de aplicação 1331 não apenas executa um processo de cálculo, mas, também pode controlar configurações do interior / exterior do módulo de vídeo 1311, tal como um processador de vídeo 1332 e congêneres,
145 / 172 conforme seja necessário.
[00577] Um processador de vídeo 1332 é um processador que tem uma função em relação a codificação / decodificação (uma da codificação e da decodificação ou tanto codificação quanto decodificação) de uma imagem.
[00578] O modem de banda larga 1333 converte dados (sinal digital) transmitidos através de comunicação em banda larga com fios ou sem fio (ou com fios e sem fio) que é realizada através de linhas de comunicação em banda larga, tal como a Internet ou uma rede de telefonia pública comutada, em um sinal analógico através de um processo de modulação digital ou congêneres ou converte um sinal analógico recebido através da comunicação em banda larga em dados (sinal digital) através de um processo de demodulação. O modem de banda larga 1333 processa informação arbitrária, tais como dados de imagem processados pelo processador de vídeo 1332, um fluxo contínuo no qual os dados de imagem são codificados, um programa de aplicação e dados de definição.
[00579] O módulo de RF 1334 é um módulo que realiza conversão de frequência, modulação / demodulação, amplificação, um processo de filtro e congêneres para um sinal de radiofrequência (RF) que é transmitido ou recebido através de uma antena. Por exemplo, o módulo de RF 1334 realiza a conversão de frequência e congêneres para um sinal do sistema de conexão de linha dedicada gerado pelo modem de banda larga 1333, desse modo, gerando um sinal de RF. Além do mais, por exemplo, o módulo de RF 1334 realiza a conversão de frequência e congêneres para um sinal de RF recebido através do módulo de interface inicial 1314, desse modo, gerando um sinal do sistema de conexão de linha dedicada.
[00580] Da forma denotada por uma linha pontilhada 1341 na figura 54, o processador de aplicação 1331 e o processador de vídeo 1332 podem ser integrados para ser configurados como um processador.
[00581] A memória externa 1312 é um módulo que é arranjado fora do
146 / 172 módulo de vídeo 1311 e tem um dispositivo de memória usado pelo módulo de vídeo 1311. Embora o dispositivo de memória da memória externa 1312 possa ser realizado por uma certa configuração física, no geral, o dispositivo de memória é frequentemente usado para armazenar dados de um grande volume, tais como dados de imagem configurados em unidades de quadros. Desta maneira, é preferível que o dispositivo de memória seja realizado por uma memória semicondutora de uma grande capacidade, tal como uma memória de acesso aleatório dinâmica (DRAM), em um custo relativamente baixo.
[00582] O módulo de gerenciamento de energia 1313 gerencia e controla o suprimento de energia para o módulo de vídeo 1311 (cada configuração arranjada no interior do módulo de vídeo 1311).
[00583] O módulo de interface inicial 1314 é um módulo que provê uma função de interface inicial (um circuito no terminal de transmissão / recepção no lado da antena) para o módulo de RF 1334. Da forma ilustrada na figura 61, o módulo de interface inicial 1314, por exemplo, inclui uma unidade de antena 1351, um filtro 1352 e uma unidade de amplificação 1353.
[00584] A unidade de antena 1351 inclui uma antena que transmite e recebe sinais sem fio e configurações periféricas. A unidade de antena 1351 transmite um sinal suprido a partir da unidade de amplificação 1353 como um sinal sem fio e supre o sinal sem fio recebido para o filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 realiza um processo de filtro e congêneres para o sinal de RF recebido através da unidade de antena 1351 e supre o sinal de RF depois do processo para o módulo de RF 1334. A unidade de amplificação 1353 amplifica o sinal de RF suprido a partir do módulo de RF 1334 e supre o sinal de RF amplificado para a unidade de antena 1351.
[00585] A conectividade 1321 é um módulo que tem uma função em relação a uma conexão com o exterior. A configuração física da conectividade 1321 é arbitrária. Por exemplo, a conectividade 1321 inclui uma configuração
147 / 172 com uma função de comunicação de acordo com um padrão de comunicação diferente de um padrão de comunicação com o qual o modem de banda larga 1333 está em conformidade, um terminal de entrada / saída externo e congêneres.
[00586] Por exemplo, a conectividade 1321 pode ser configurada para incluir um módulo que tem uma função de comunicação em conformidade com um padrão de comunicação por rádio, tais como Bluetooth (marca registrada), IEEE 802.11 (por exemplo, Fidelidade Sem Fio; marca registrada (Wi-Fi)), Comunicação de Campo Próximo (NFC) ou Associação de Dados em Infravermelho (IrDA), uma antena que transmite e recebe sinais em conformidade com o padrão e congêneres. Além do mais, por exemplo, a conectividade 1321 pode ser configurada para incluir um módulo que tem uma função de comunicação em conformidade com um padrão de comunicação com fios, tais como Barramento Serial Universal (USB) ou Interface Multimídia em Alta Definição (HDMI (marca registrada)), e terminais em conformidade com o padrão. Além do mais, por exemplo, a conectividade 1321 pode ser configurada para ter uma outra função de transmissão de dados (sinal) de um terminal de entrada / saída analógico ou congêneres.
[00587] Além do mais, a conectividade 1321 pode ser configurada para incluir um dispositivo do destino de transmissão de dados (sinal). Por exemplo, a conectividade 1321 pode ser configurada para incluir uma unidade (incluindo não apenas uma unidade de uma mídia removível, mas, também, um disco rígido, uma Unidade em Estado Sólido (SSD), um Armazenamento Anexado em Rede (NAS) e congêneres) que lê / grava dados a partir de / em uma mídia de gravação, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora. Além do mais, a conectividade 1321 pode ser configurada para incluir um dispositivo de saída (um monitor, um alto-falante ou congêneres) de uma imagem ou uma voz.
148 / 172
[00588] A câmera 1322 é um módulo que tem uma função para adquirir dados de imagem de um objeto pela formação de imagem do objeto. Os dados de imagem adquiridos pelo processo de formação de imagem realizado pela câmera 1322, por exemplo, são supridos para o processador de vídeo 1332 e são codificados.
[00589] O sensor 1323 é um módulo que tem a função de um sensor arbitrário, tais como um sensor de som, um sensor ultrassônico, um sensor óptico, um sensor de iluminância, um sensor infravermelho, um sensor de imagem, um sensor de rotação, um sensor de ângulo, um sensor de velocidade angular, um sensor de velocidade, um sensor de aceleração, um sensor de inclinação, um sensor de identificação magnética, um sensor de impacto ou um sensor de temperatura. Dados detectados pelo sensor 1323, por exemplo, são supridos para o processador de aplicação 1331 e são usados pela aplicação e congêneres.
[00590] A configuração supradescrita como o módulo pode ser realizada como o processador. Ao contrário, a configuração supradescrita como o processador pode ser realizada como o módulo.
[00591] No aparelho de vídeo 1300 com a supradescrita configuração, como será descrito a seguir, a presente tecnologia pode ser aplicada no processador de vídeo 1332. Desta maneira, o aparelho de vídeo 1300 pode ser executado como um aparelho no qual a presente tecnologia é aplicada. <Configuração de Exemplo do Processador de Vídeo>
[00592] A figura 55 ilustra um exemplo da configuração esquemática do processador de vídeo 1332 (figura 54) no qual a presente tecnologia é aplicada.
[00593] No caso do exemplo ilustrado na figura 55, o processador de vídeo 1332 tem uma função para receber entradas de um sinal de vídeo e um sinal de áudio e codificar o sinal de vídeo e o sinal de áudio de acordo com um sistema predeterminado e uma função para decodificação de dados de
149 / 172 vídeo codificados e dados de áudio codificados e reproduzir e transmitir um sinal de vídeo e um sinal de áudio.
[00594] Da forma ilustrada na figura 55, o processador de vídeo 1332 inclui: uma unidade de processamento de entrada de vídeo 1401; uma primeira unidade de ampliação / redução de imagem 1402; uma segunda unidade de ampliação / redução de imagem 1403; uma unidade de processamento de saída de vídeo 1404; uma memória de quadro 1405; e uma unidade de controle de memória 1406. Além do mais, o processador de vídeo 1332 inclui: um motor de codificação / decodificação 1407; buffers do fluxo contínuo elementar (ES) de vídeo 1408A e 1408B; e buffers do ES de áudio 1409A e 1409B. Além do mais, o processador de vídeo 1332 inclui: um codificador de áudio 1410; um decodificador de áudio 1411; uma unidade de multiplexação (Multiplexador (MUX)) 1412; uma unidade de demultiplexação (Demultiplexador (DMUX)) 1413; e um buffer de fluxo contínuo 1414.
[00595] A unidade de processamento de entrada de vídeo 1401, por exemplo, adquire um sinal de vídeo inserido a partir da conectividade 1321 (figura 54) ou congêneres e converte o sinal de vídeo em dados de imagem digital. A primeira unidade de ampliação / redução de imagem 1402 realiza uma conversão de formato, um processo de ampliação / redução de imagem e congêneres para os dados de imagem. A segunda unidade de ampliação / redução de imagem 1403 realiza um processo de ampliação / redução de imagem de acordo com um formato do destino de saída através da unidade de processamento de saída de vídeo 1404, conversão de formato similar àquela da primeira unidade de ampliação / redução de imagem 1402, um processo de ampliação / redução de imagem e congêneres para os dados de imagem. A unidade de processamento de saída de vídeo 1404 realiza uma conversão de formato, uma conversão em um sinal analógico e congêneres para os dados de imagem e transmite um sinal resultante, por exemplo, para a conectividade
150 / 172 1321 ou congêneres como um sinal de vídeo reproduzido.
[00596] A memória de quadro 1405 é uma memória para dados de imagem que são compartilhados pela unidade de processamento de entrada de vídeo 1401, pela primeira unidade de ampliação / redução de imagem 1402, pela segunda unidade de ampliação / redução de imagem 1403, pela unidade de processamento de saída de vídeo 1404 e pelo motor de codificação / decodificação 1407. A memória de quadro 1405, por exemplo, é realizada por uma memória semicondutora, tal como uma DRAM.
[00597] A unidade de controle de memória 1406 recebe um sinal de sincronização a partir do motor de codificação / decodificação 1407 e controla o acesso à memória de quadro 1405 para gravação / leitura de acordo com uma agenda de acesso para acessar a memória de quadro 1405 que é gravada em uma tabela de gerenciamento de acesso 1406A. A tabela de gerenciamento de acesso 1406A é atualizada pela unidade de controle de memória 1406 de acordo com os processos executados pelo motor de codificação / decodificação 1407, pela primeira unidade de ampliação / redução de imagem 1402, pela segunda unidade de ampliação / redução de imagem 1403 e congêneres.
[00598] O motor de codificação / decodificação 1407 realiza um processo de codificação de dados de imagem e um processo de decodificação de um fluxo contínuo de vídeo que são dados adquiridos pela codificação dos dados de imagem. Por exemplo, o motor de codificação / decodificação 1407 codifica os dados de imagem lidos a partir da memória de quadro 1405 e grava sequencialmente os dados de imagem no buffer de ES de vídeo 1408A como um fluxo contínuo de vídeo. Além do mais, por exemplo, o motor de codificação / decodificação 1407 sequencialmente lê e decodifica fluxos contínuos de vídeo supridos a partir do buffer de ES de vídeo 1408B e sequencialmente grava os fluxos contínuos de vídeo decodificados na memória de quadro 1405 como dados de imagem. O motor de codificação /
151 / 172 decodificação 1407 usa a memória de quadro 1405 como uma área de trabalho em tais processos de codificação e decodificação. Além do mais, o motor de codificação / decodificação 1407 transmite um sinal de sincronização para a unidade de controle de memória 1406, por exemplo, em sincronização quando um processo para cada macrobloco for iniciado.
[00599] O buffer de ES de vídeo 1408A submete a buffer um fluxo contínuo de vídeo gerado pelo motor de codificação / decodificação 1407 e supre o fluxo contínuo de vídeo submetido a buffer para a unidade de multiplexação (MUX) 1412. O buffer de ES de vídeo 1408B submete a buffer um fluxo contínuo de vídeo suprido a partir da unidade de demultiplexação (DMUX) 1413 e supre o fluxo contínuo de vídeo submetido a buffer para o motor de codificação / decodificação 1407.
[00600] O buffer do ES de áudio 1409A submete a buffer um fluxo contínuo de áudio gerado pelo codificador de áudio 1410 e supre o fluxo contínuo de áudio submetido a buffer para a unidade de multiplexação (MUX) 1412. O buffer do ES de áudio 1409B submete a buffer um fluxo contínuo de áudio suprido a partir do demultiplexador (DMUX) 1413 e supre o fluxo contínuo de áudio submetido a buffer para o decodificador de áudio
1411.
[00601] O codificador de áudio 1410, por exemplo, converte um sinal de áudio, por exemplo, inserido a partir da conectividade 1321 ou congêneres em um sinal digital e codifica o sinal digital convertido de acordo com um sistema predeterminado, tais como um sistema de áudio MPEG ou um sistema de Código de Áudio número 3 (AC3). O codificador de áudio 1410 sequencialmente grava fluxos contínuos de áudio, cada qual sendo dados adquiridos pela codificação de um sinal de áudio, no buffer do ES de áudio 1409A. O decodificador de áudio 1411 decodifica o fluxo contínuo de áudio suprido a partir do buffer do ES de áudio 1409B e, por exemplo, realiza uma conversão em um sinal analógico e congêneres para o fluxo contínuo de áudio
152 / 172 decodificado e supre um sinal resultante, por exemplo, para a conectividade 1321 ou congêneres como um sinal de áudio reproduzido.
[00602] A unidade de multiplexação (MUX) 1412 multiplexa um fluxo contínuo de vídeo e um fluxo contínuo de áudio. Um método deste processo de multiplexação (em outras palavras, o formato de um fluxo contínuo de bits gerado pelo processo de multiplexação) é arbitrário. Além do mais, no processo de multiplexação, a unidade de multiplexação (MUX) 1412 pode adicionar informação de cabeçalho predeterminada e congêneres no fluxo contínuo de bits. Em outras palavras, a unidade de multiplexação (MUX) 1412 pode converter o formato de um fluxo contínuo através do processo de multiplexação. Por exemplo, pela multiplexação de um fluxo contínuo de vídeo e um fluxo contínuo de áudio, a unidade de multiplexação (MUX) 1412 converte os fluxos contínuos em um fluxo contínuo de transporte que é um fluxo contínuo de bits de um formato de transmissão. Além do mais, por exemplo, pela multiplexação do fluxo contínuo de vídeo e do fluxo contínuo de áudio, a unidade de multiplexação (MUX) 1412 converte os fluxos contínuos em dados (dados em arquivo) de um formato de arquivo de gravação.
[00603] A unidade de demultiplexação (DMUX) 1413 demultiplexa um fluxo contínuo de bits no qual um fluxo contínuo de vídeo e um fluxo contínuo de áudio são multiplexados usando um método correspondente ao processo de multiplexação realizado pela unidade de multiplexação (MUX)
1412. Em outras palavras, a unidade de demultiplexação (DMUX) 1413 extrai um fluxo contínuo de vídeo e um fluxo contínuo de áudio do fluxo contínuo de bits lido a partir do buffer de fluxo contínuo 1414 (separa o fluxo contínuo de vídeo e o fluxo contínuo de áudio um do outro). Em outras palavras, a unidade de demultiplexação (DMUX) 1413 pode converter o formato de um fluxo contínuo através do processo de demultiplexação (uma conversão inversa da conversão realizada pela unidade de multiplexação (MUX) 1412).
153 / 172 Por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire um fluxo contínuo de transporte suprido, por exemplo, a partir da conectividade 1321, do modem de banda larga 1333 ou congêneres através do buffer de fluxo contínuo 1414 e demultiplexa o fluxo contínuo de transporte suprido, desse modo, convertendo o fluxo contínuo de transporte em um fluxo contínuo de vídeo e um fluxo contínuo de áudio. Além do mais, por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire dados em arquivo, por exemplo, lidos a partir de várias mídias de gravação pela conectividade 1321 através do buffer de fluxo contínuo 1414 e demultiplexa os dados em arquivo adquiridos, desse modo, convertendo os dados em arquivo em um fluxo contínuo de vídeo e um fluxo contínuo de áudio.
[00604] O buffer de fluxo contínuo 1414 submete a buffer o fluxo contínuo de bits. Por exemplo, o buffer de fluxo contínuo 1414 submete a buffer o fluxo contínuo de transporte suprido a partir da unidade de multiplexação (MUX) 1412 e supre o fluxo contínuo de transporte submetido a buffer, por exemplo, para a conectividade 1321, o modem de banda larga 1333 ou congêneres em sincronização predeterminada ou com base em uma solicitação a partir do exterior, ou congêneres.
[00605] Além do mais, por exemplo, o buffer de fluxo contínuo 1414 submete a buffer os dados em arquivo supridos a partir da unidade de multiplexação (MUX) 1412 e supre os dados em arquivo submetidos a buffer, por exemplo, para a conectividade 1321 ou congêneres em sincronização predeterminada, uma solicitação a partir do exterior ou congêneres, para serem gravados em várias mídias de gravação.
[00606] Além do mais, o buffer de fluxo contínuo 1414 submete a buffer um fluxo contínuo de transporte, por exemplo, adquirido através da conectividade 1321, do modem de banda larga 1333 ou congêneres, e supre o fluxo contínuo de transporte submetido a buffer para a unidade de demultiplexação (DMUX) 1413 em sincronização predeterminada ou com
154 / 172 base em uma solicitação a partir do exterior ou congêneres.
[00607] Além do mais, o buffer de fluxo contínuo 1414 submete a buffer dados em arquivo lidos a partir de várias mídias de gravação pela conectividade 1321 ou congêneres e supre os dados em arquivo submetidos a buffer para a unidade de demultiplexação (DMUX) 1413 em sincronização predeterminada ou uma solicitação a partir do exterior ou congêneres.
[00608] A seguir, um exemplo da operação do processador de vídeo 1332 com uma configuração como esta será descrito. Por exemplo, um sinal de vídeo inserido a partir da conectividade 1321 ou congêneres para o processador de vídeo 1332 é convertido em dados de imagem digital de um sistema predeterminado, tal como um sistema 4:2:2 Y/Cb/Cr, na unidade de processamento de entrada de vídeo 1401 e é sequencialmente gravado na memória de quadro 1405. Estes dados de imagem digital são lidos pela primeira unidade de ampliação / redução de imagem 1402 ou pela segunda unidade de ampliação / redução de imagem 1403, uma conversão de formato em um sistema predeterminado, tal como um sistema 4:2:0 Y/Cb/Cr, e um processo de ampliação / redução são realizados para os dados de imagem digital lidos, e os dados de imagem digital resultantes são regravados na memória de quadro 1405. Estes dados de imagem são codificados pelo motor de codificação / decodificação 1407 e são gravados no buffer de ES de vídeo 1408A como um fluxo contínuo de vídeo.
[00609] Além do mais, um sinal de áudio inseridos a partir da conectividade 1321 ou congêneres no processador de vídeo 1332 é codificado pelo codificador de áudio 1410 e é gravado no buffer do ES de áudio 1409A como um fluxo contínuo de áudio.
[00610] Um fluxo contínuo de vídeo no buffer de ES de vídeo 1408A e um fluxo contínuo de áudio no buffer do ES de áudio 1409A são lidos e multiplexados pela unidade de multiplexação (MUX) 1412 e são convertidos em um fluxo contínuo de transporte, dados em arquivo ou congêneres. O
155 / 172 fluxo contínuo de transporte gerado pela unidade de multiplexação (MUX) 1412 é submetido a buffer no buffer de fluxo contínuo 1414 e então, é transmitido para uma rede externa, por exemplo, através da conectividade 1321, do modem de banda larga 1333 ou congêneres. Além do mais, os dados em arquivo gerados pela unidade de multiplexação (MUX) 1412 são submetidos a buffer no buffer de fluxo contínuo 1414 e, então, são transmitidos, por exemplo, para a conectividade 1321 ou congêneres e são gravados em várias mídias de gravação.
[00611] Além do mais, o fluxo contínuo de transporte inserido no processador de vídeo 1332 a partir de uma rede externa, por exemplo, através da conectividade 1321, do modem de banda larga 1333 ou congêneres, é submetido a buffer no buffer de fluxo contínuo 1414 e, então, é demultiplexado pela unidade de demultiplexação (DMUX) 1413. Além do mais, os dados em arquivo que são lidos a partir de várias mídias de gravação e são inseridos no processador de vídeo 1332, por exemplo, pela conectividade 1321 ou congêneres, são submetidos a buffer no buffer de fluxo contínuo 1414 e, então, são demultiplexados pela unidade de demultiplexação (DMUX) 1413. Em outras palavras, o fluxo contínuo de transporte ou os dados em arquivo inseridos no processador de vídeo 1332 são separados em um fluxo contínuo de vídeo e um fluxo contínuo de áudio pela unidade de demultiplexação (DMUX) 1413.
[00612] O fluxo contínuo de áudio é suprido para o decodificador de áudio 1411 através do buffer do ES de áudio 1409B e é decodificado, e um sinal de áudio é reproduzido. Além do mais, o fluxo contínuo de vídeo é gravado no buffer de ES de vídeo 1408B e, então, é sequencialmente lido e decodificado pelo motor de codificação / decodificação 1407 e é gravado na memória de quadro 1405. Os dados de imagem decodificados são processados para ser ampliados ou reduzidos pela segunda unidade de ampliação / redução de imagem 1403 e são gravados na memória de quadro 1405. Então, os dados
156 / 172 de imagem decodificados são lidos pela unidade de processamento de saída de vídeo 1404, são convertidos em um outro formato de acordo com um sistema predeterminado, tais como o sistema 4:2:2 Y/Cb/Cr ou congêneres, e são adicionalmente convertidos em um sinal analógico, e um sinal de vídeo é reproduzido e emitido.
[00613] Em um caso em que a presente tecnologia for aplicada no processador de vídeo 1332 configurado como tal, a presente tecnologia em relação a cada modalidade supradescrita pode ser aplicada no motor de codificação / decodificação 1407. Em outras palavras, por exemplo, o motor de codificação / decodificação 1407 pode ser configurado para ter as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 em relação à modalidade supradescrita. Pela configuração como tal, o processador de vídeo 1332 pode ter as mesmas vantagens que aquelas supradescritas em relação às figuras 1 até 39.
[00614] Além do mais, no motor de codificação / decodificação 1407, a presente tecnologia (em outras palavras, as funções do aparelho de codificação de imagem e do aparelho de decodificação de imagem de acordo com cada modalidade supradescrita) pode ser realizada por hardware, tais como circuitos lógicos ou software, tal como um programa embutido, ou pode ser realizada tanto pelo hardware quanto pelo software. <Uma Outra Configuração de Exemplo do Processador de Vídeo>
[00615] A figura 56 ilustra um outro exemplo da configuração esquemática de um processador de vídeo 1332 no qual a presente tecnologia é aplicada. No caso do exemplo ilustrado na figura 56, o processador de vídeo 1332 tem uma função para codificação e decodificação de dados de vídeo de acordo com um sistema predeterminado.
[00616] Mais especificamente, da forma ilustrada na figura 56, o processador de vídeo 1332 inclui: uma unidade de controle 1511; uma
157 / 172 interface de exibição 1512; um motor de exibição 1513; um motor de processamento de imagem 1514; e uma memória interna 1515. Além do mais, o processador de vídeo 1332 inclui: um motor de codec 1516; uma interface de memória 1517; uma unidade de multiplexação / demultiplexação (MUX / DMUX) 1518; uma interface de rede 1519; e uma interface de vídeo 1520.
[00617] A unidade de controle 1511 controla as operações de cada unidade de processamento arranjada no interior do processador de vídeo 1332, tais como a interface de exibição 1512, o motor de exibição 1513, o motor de processamento de imagem 1514 e o motor de codec 1516.
[00618] Da forma ilustrada na figura 56, a unidade de controle 1511, por exemplo, inclui uma CPU principal 1531, uma CPU subordinada 1532 e um controlador do sistema 1533. A CPU principal 1531 executa um programa usado para controlar a operação de cada unidade de processamento arranjada no interior do processador de vídeo 1332 e congêneres. A CPU principal 1531 gera um sinal de controle de acordo com o programa ou congêneres e supre o sinal de controle para cada unidade de processamento (em outras palavras, controla a operação de cada unidade de processamento). A CPU subordinada 1532 alcança um papel auxiliar da CPU principal 1531. Por exemplo, a CPU subordinada 1532 executa um processo filho, uma sub-rotina ou congêneres de um programa executado pela CPU principal 1531. O controlador do sistema 1533 controla as operações da CPU principal 1531 e da CPU subordinada 1532 pela realização da designação de programas a serem executados pela CPU principal 1531 e pela CPU subordinada 1532 e congêneres.
[00619] A interface de exibição 1512 transmite dados de imagem, por exemplo, para a conectividade 1321 e congêneres sob o controle da unidade de controle 1511. Por exemplo, a interface de exibição 1512 converte dados de imagem que são dados digitais em um sinal analógico e transmite o sinal analógico como um sinal de vídeo reproduzido ou os dados de imagem que
158 / 172 são os dados digitais para um dispositivo monitor da conectividade 1321 ou congêneres.
[00620] O motor de exibição 1513, sob o controle da unidade de controle 1511, realiza vários processos de conversão, tais como uma conversão de formato, uma conversão de tamanho e uma conversão de gama de cor para os dados de imagem para corresponder à especificação do hardware de um dispositivo monitor que exibe a imagem e congêneres.
[00621] O motor de processamento de imagem 1514 realiza processamento de imagem predeterminado, tais como um processo de filtro usado para melhorar a qualidade da imagem e congêneres, para os dados de imagem sob o controle da unidade de controle 1511.
[00622] A memória interna 1515 é uma memória que é compartilhada pelo motor de exibição 1513, pelo motor de processamento de imagem 1514 e pelo motor de codec 1516, e fica disposta no interior do processador de vídeo
1332. A memória interna 1515, por exemplo, é usada para transferência de dados entre o motor de exibição 1513, o motor de processamento de imagem 1514 e o motor de codec 1516. Por exemplo, a memória interna 1515 armazena dados supridos a partir do motor de exibição 1513, do motor de processamento de imagem 1514 ou do motor de codec 1516, e supre os dados para o motor de exibição 1513, o motor de processamento de imagem 1514 ou o motor de codec 1516, conforme seja necessário (por exemplo, de acordo com uma solicitação). Esta memória interna 1515 pode ser realizada pelo uso de qualquer tipo de dispositivo de memória. Entretanto, no geral, a memória interna é frequentemente usada para armazenar dados com um pequeno volume, tais como dados de imagem em unidades de blocos e parâmetros e, desta maneira, é preferível realizar a memória interna usando uma memória semicondutora com uma capacidade relativamente pequena (comparado com a memória externa 1312) e com alta velocidade de resposta, tal como uma memória de acesso aleatório estática (SRAM).
159 / 172
[00623] O motor de codec 1516 realiza processos em relação à codificação e à decodificação de dados de imagem. O sistema de codificação / decodificação com o qual o motor de codec 1516 está em conformidade é arbitrário, e o número de sistemas de codificação / decodificação pode ser um ou diversos. Por exemplo, ele pode ser configurado de maneira tal que o motor de codec 1516 possa ter uma função de codec para uma pluralidade de sistemas de codificação / decodificação e ser configurado para realizar codificação de dados de imagem ou decodificação de dados codificados pelo uso do sistema de codificação / decodificação selecionado.
[00624] No exemplo ilustrado na figura 56, o motor de codec 1516, por exemplo, inclui MPEG-2 Vídeo 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Escalonável) 1544, HEVC/H.265 (Multivisualizações) 1545 e MPEG-DASH 1551, como blocos funcionais para o processo em relação ao codec.
[00625] O MPEG-2 Vídeo 1541 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema MPEG-2. O AVC/H.264 1542 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema AVC. O HEVC/H.265 1543 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema HEVC. O HEVC/H.265 (Escalonável) 1544 é um bloco funcional que realiza codificação escalonável ou decodificação escalonável de dados de imagem de acordo com o sistema HEVC. O HEVC/H. 265 (Multivisualizações) 1545 é um bloco funcional que realiza codificação multivisualizações ou decodificação multivisualizações dos dados de imagem de acordo com o sistema HEVC.
[00626] O MPEG-DASH 1551 é um bloco funcional que transmite e recebe dados de imagem de acordo com um sistema MPEG - Transferência Contínua Adaptativa Dinâmica sobre HTTP (MPEG-DASH). MPEG-DASH é uma tecnologia para realizar transferência contínua de vídeo usando um
160 / 172 Protocolo de Transferência em Hipertexto (HTTP), e uma das características do mesmo é que dados codificados apropriados entre uma pluralidade de peças de dados codificados com resoluções mutuamente diferentes e congêneres, que são preparados antecipadamente, são selecionados e transmitidos em unidades de segmentos. O MPEG-DASH 1551 realiza a geração de um fluxo contínuo que está em conformidade com o padrão, controle de transmissão do fluxo contínuo e congêneres e usa o MPEG-2 Vídeo 1541 até HEVC/H.265 (Multivisualizações) 1545 supradescritos para codificação e decodificação de dados de imagem.
[00627] A interface de memória 1517 é uma interface para a memória externa 1312. Os dados supridos a partir do motor de processamento de imagem 1514 ou do motor de codec 1516 são supridos para a memória externa 1312 através da interface de memória 1517. Além do mais, os dados lidos a partir da memória externa 1312 são supridos para o processador de vídeo 1332 (o motor de processamento de imagem 1514 ou o motor de codec 1516) através da interface de memória 1517.
[00628] A unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 realiza multiplexação e demultiplexação de vários tipos de dados em relação a uma imagem, tais como um fluxo contínuo de bits de dados codificados, dados de imagem e um sinal de vídeo. Um método de multiplexação / demultiplexação é arbitrário. Por exemplo, no momento da realização da multiplexação, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode não apenas arranjar uma pluralidade de peças de dados em uma, mas, também, adicionar informação de cabeçalho predeterminada ou congêneres nos dados. Além do mais, no momento da realização da demultiplexação, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode não apenas dividir uma peça de dados em múltiplas partes, mas, também, adicionar informação de cabeçalho predeterminada ou congêneres em cada parte de dados dividida. Em outras
161 / 172 palavras, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode converter o formato de dados através do processo de multiplexação / demultiplexação. Por exemplo, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode converter um fluxo contínuo de bits em um fluxo contínuo de transporte que é um fluxo contínuo de bits do formato de transmissão ou dados (dados em arquivo) do formato de arquivo de gravação pela multiplexação do fluxo contínuo de bits. É aparente que uma conversão inversa da mesma pode ser realizada pelo processo de demultiplexação.
[00629] A interface de rede 1519 é uma interface, por exemplo, dedicada para o modem de banda larga 1333, a conectividade 1321 ou congêneres. A interface de vídeo 1520 é uma interface, por exemplo, dedicada para a conectividade 1321, a câmera 1322 ou congêneres.
[00630] A seguir, um exemplo da operação de um processador de vídeo como este 1332 será descrito. Por exemplo, quando um fluxo contínuo de transporte for recebido a partir de uma rede externa através da conectividade 1321, do modem de banda larga 1333 ou congêneres, o fluxo contínuo de transporte é suprido para a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 através da interface de rede 1519, é demultiplexado e é decodificado pelo motor de codec 1516. Para os dados de imagem adquiridos pelo processo de decodificação realizado pelo motor de codec 1516, processamento de imagem predeterminado é realizado, por exemplo, pelo motor de processamento de imagem 1514, e uma conversão predeterminada é realizada pelo motor de exibição 1513. Então, dados de imagem resultantes são supridos, por exemplo, para a conectividade 1321 ou congêneres através da interface de exibição 1512, e uma imagem dos mesmos é exibida em um monitor. Além do mais, os dados de imagem, por exemplo, adquiridos pelo processo de decodificação realizado pelo motor de codec 1516 são recodificados pelo motor de codec 1516, são multiplexados pela
162 / 172 unidade de multiplexação / demultiplexação (MUX / DMUX) 1518, são convertidos em dados em arquivo, são emitidos, por exemplo, para a conectividade 1321 ou congêneres através da interface de vídeo 1520 e são gravados em várias mídias de gravação.
[00631] Além do mais, os dados em arquivo dos dados codificados adquiridos pela codificação dos dados de imagem, que são lidos a partir de uma mídia de gravação não ilustrada, por exemplo, pela conectividade 1321 ou congêneres, são supridos para a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 através da interface de vídeo 1520, são demultiplexados e são decodificados pelo motor de codec 1516. Para os dados de imagem adquiridos pelo processo de decodificação realizado pelo motor de codec 1516, processamento de imagem predeterminado é realizado pelo motor de processamento de imagem 1514 e uma conversão predeterminada é realizada pelo motor de exibição 1513. Então, dados de imagem resultantes são supridos, por exemplo, para a conectividade 1321 ou congêneres através da interface de exibição 1512, e uma imagem dos mesmos é exibida no monitor. Além do mais, os dados de imagem, por exemplo, adquiridos pelo processo de decodificação realizado pelo motor de codec 1516 são recodificados pelo motor de codec 1516, são multiplexados pela unidade de multiplexação / demultiplexação (MUX / DMUX) 1518, são convertidos em um fluxo contínuo de transporte, são supridos, por exemplo, para a conectividade 1321, o modem de banda larga 1333 ou congêneres através da interface de rede 1519, e são transmitidos para um outro aparelho não ilustrado.
[00632] Aqui, a transmissão / recepção dos dados de imagem e dos outros dados entre cada unidade de processamento arranjada no interior do processador de vídeo 1332, por exemplo, é realizada usando a memória interna 1515 ou a memória externa 1312. Além do mais, o módulo de gerenciamento de energia 1313, por exemplo, controla o suprimento de
163 / 172 energia para a unidade de controle 1511.
[00633] Em um caso em que a presente tecnologia for aplicada no processador de vídeo 1332 configurado como tal, a presente tecnologia de acordo com cada modalidade supradescrita pode ser aplicada no motor de codec 1516. Em outras palavras, por exemplo, o motor de codec 1516 pode ser configurado para incluir os blocos funcionais que realizam o aparelho de codificação de imagem 100 e o aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Pela configuração como tal, o processador de vídeo 1332 pode adquirir vantagens similares às vantagens supradescritas em relação às figuras 1 até 39.
[00634] Além do mais, no motor de codec 1516, a presente tecnologia (em outras palavras, as funções do aparelho de codificação de imagem e do aparelho de decodificação de imagem de acordo com cada modalidade supradescrita) pode ser realizada por hardware, tais como circuitos lógicos ou software, tal como um programa embutido, ou pode ser realizada tanto pelo hardware quanto pelo software.
[00635] Embora dois exemplos da configuração do processador de vídeo 1332 tenham sido descritos, como exposto, a configuração do processador de vídeo 1332 é arbitrária e pode ser uma configuração diferente dos dois exemplos supradescritos. Aqui, o processador de vídeo 1332 pode ser configurado tanto como um chip semicondutor quanto como uma pluralidade de chips semicondutores. Por exemplo, o processador de vídeo pode ser configurado como uma LSI tridimensional empilhada. Além do mais, o processador de vídeo pode ser realizado por uma pluralidade de LSIs. <Exemplo de Aplicação no Aparelho>
[00636] O aparelho de vídeo 1300 pode ser construído em vários aparelhos que processam dados de imagem. Por exemplo, o aparelho de vídeo 1300 pode ser construído no aparelho de televisão 900 (figura 50), no telefone celular 920 (figura 51), no aparelho de gravação / reprodução 940 (figura 52),
164 / 172 no aparelho de formação de imagem 960 (figura 53) e congêneres. Pela construção do aparelho de vídeo 1300 no em si, o aparelho pode adquirir vantagens similares àquelas supradescritas em relação às figuras 1 até 39.
[00637] Além do mais, embora uma configuração seja uma parte de cada uma das configurações do aparelho de vídeo 1300 supradescrito, em um caso em que a configuração incluir o processador de vídeo 1332, a configuração pode ser executada como uma configuração na qual a presente tecnologia é aplicada. Por exemplo, apenas o processador de vídeo 1332 pode ser executado como um processador de vídeo no qual a presente tecnologia é aplicada. Além do mais, por exemplo, como exposto, o processador denotado pela linha pontilhada 1341, o módulo de vídeo 1311 e congêneres podem ser executados como um processador, um módulo e congêneres nos quais a presente tecnologia é aplicada. Além do mais, por exemplo, o módulo de vídeo 1311, a memória externa 1312, o módulo de gerenciamento de energia 1313 e o módulo de interface inicial 1314 podem ser combinados para ser executados como uma unidade de vídeo 1361 na qual a presente tecnologia é aplicada. De acordo com qualquer uma das configurações, vantagens similares àquelas supradescritas em relação às figuras 1 até 39 podem ser adquiridas.
[00638] Em outras palavras, qualquer configuração que inclui o processador de vídeo 1332, como no caso do aparelho de vídeo 1300, pode ser construída em vários aparelhos que processam dados de imagem. Por exemplo, o processador de vídeo 1332, o processador representado pela linha pontilhada 1341, o módulo de vídeo 1311 ou a unidade de vídeo 1361 podem ser construídos no aparelho de televisão 900 (figura 50), no telefone celular 920 (figura 51), no aparelho de gravação / reprodução 940 (figura 52), no aparelho de formação de imagem 960 (figura 53) e congêneres. Então, pela construção de qualquer configuração na qual a presente tecnologia é aplicada em um aparelho, o aparelho, similarmente ao caso do aparelho de vídeo 1300,
165 / 172 pode ter efeitos similares aos efeitos supradescritos em relação às figuras 1 até
39.
[00639] Neste relatório descritivo, foi descrito um exemplo em que vários tipos de informação são multiplexados em um fluxo contínuo codificado e são transmitidos do lado da codificação par o lado da decodificação. Entretanto, uma técnica para transmitir tal informação não é limitada a uma técnica como esta. Por exemplo, tal informação pode ser transmitida ou gravada como dados individuais associados com um fluxo contínuo de bits codificado sem ser multiplexada no fluxo contínuo codificado. Aqui, o termo "associado" representa que uma imagem (ela pode ser uma parte de uma imagem, tais como uma fatia, bloco ou congêneres) incluída em um fluxo contínuo de bits e informação correspondente à imagem são adquiridas tendo sido ligadas uma na outra no momento da decodificação da imagem e da informação. Em outras palavras, a informação pode ser transmitida em uma linha de transmissão diferente daquela da imagem (ou do fluxo contínuo de bits). Além do mais, a informação pode ser gravada em uma mídia de gravação diferente daquela para a imagem (ou o fluxo contínuo de bits) (ou uma área de gravação diferente da mesma mídia de gravação). Além do mais, a informação e a imagem (ou o fluxo contínuo de bits), por exemplo, podem ser associadas uma com a outra em unidades de partes arbitrárias, tais como múltiplos quadros, um quadro ou uma parte do quadro.
[00640] A presente tecnologia pode tomar uma configuração da forma descrita a seguir. (1) Um aparelho de processamento de imagem, que inclui: uma unidade de previsão residual que realiza uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e uma unidade de
166 / 172 codificação que codifica dados residuais previstos gerados através da previsão realizada pela unidade de previsão residual. (2) O aparelho de processamento de imagem, descrito em qualquer um de (1) e (3) até (9), em que a unidade de previsão residual arranja as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit. (3) O aparelho de processamento de imagem, descrito em qualquer um de (1), (2), e (4) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada não for zero. (4) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (3) e (5) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que a diferença entre as profundidades de bit for positiva e omite a previsão em um caso em que a diferença entre as profundidades de bit for negativa. (5) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (4) e (6) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que um espaço de cor da imagem de entrada não for um espaço RGB e omite a previsão em um caso em que o espaço de cor da imagem de entrada for o espaço RGB. (6) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (5) e (7) até (9), em que um espaço de cor da imagem de entrada é um espaço YUV, e a unidade de previsão residual realiza a
167 / 172 previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente de luminância e um componente de diferença de cor. (7) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (6), (8), e (9), em que um espaço de cor da imagem de entrada é um espaço RGB, e a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B. (8) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (7) e (9), em que a unidade de previsão residual realiza a previsão pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada, realização do deslocamento de bit dos dados residuais de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação os dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realizando um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado, e adquirindo uma diferença entre os dados residuais do outro componente e o resultado da multiplicação com bit deslocado. (9) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (8), em que a unidade de previsão residual define o coeficiente de ponderação que é comum a uma pluralidade de componentes. (10) Um método de processamento de imagem, que inclui: realizar uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e codificar dados residuais previstos gerados através da previsão.
168 / 172
(11) Um aparelho de processamento de imagem, que inclui: uma unidade de decodificação que decodifica dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e uma unidade de restauração residual que realiza restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela unidade de decodificação pela decodificação dos dados codificados. (12) O aparelho de processamento de imagem, descrito em qualquer um de (11) e (13) até (19), em que a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit. (13) O aparelho de processamento de imagem, descrito em qualquer um de (11), (12), e (14) até (19), que inclui adicionalmente uma unidade de recepção que recebe informação em relação às profundidades de bit, em que a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada com base na informação em relação às profundidades de bit recebida pela unidade de recepção e realização do deslocamento de bit com base na diferença adquirida entre as profundidades de bit. (14) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (13) e (14) até (19), em que, em um caso em que a diferença adquirida entre as profundidades de bit não for zero, a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes através do deslocamento de bit. (15) O aparelho de processamento de imagem, descrito em
169 / 172 qualquer um de (11) até (14) e (15) até (19), em que a unidade de restauração residual realiza restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit em um caso em que a diferença adquirida entre as profundidades de bit for positiva e omite a restauração em um caso em que a diferença entre as profundidades de bit for negativa. (16) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (15) e (17) até (19), em que a unidade de recepção recebe adicionalmente a informação em relação a um espaço de cor da imagem, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que o espaço de cor da imagem não for um espaço RGB com base na informação em relação ao espaço de cor da imagem recebida pela unidade de recepção e omite a restauração em um caso em que o espaço de cor da imagem for o espaço RGB. (17) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (16), (18), e (19), em que um espaço de cor da imagem é um espaço YUV, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através do deslocamento de bit. (18) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (17) e (19), em que um espaço de cor da imagem é um espaço RGB, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B. (19) O aparelho de processamento de imagem, descrito em
170 / 172 qualquer um de (11) até (18), em que a unidade de restauração residual, pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a restauração é realizada, realização do deslocamento de bit dos dados residuais restaurados de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado e adição do resultado da multiplicação com bit deslocado e dos dados residuais previstos, realiza a restauração dos dados residuais do outro componente. (20) Um método de processamento de imagem, que inclui: decodificar dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e realizar a restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados.
LISTA DOS SINAIS DE REFERÊNCIA 100 Aparelho de codificação de imagem 121 Unidade de processamento de cabeçalho 122 Unidade de previsão residual 123 Unidade de restauração residual 131 Unidade de processamento de SPS 132 Unidade de processamento de PPS 141 Unidade de controle 142 Unidade de previsão 151 Unidade de cálculo da diferença da profundidade de bit
171 / 172
152 Unidade de controle de deslocamento de bit 153 Unidade de definição do coeficiente de ponderação 161 Unidade de seleção 162 Unidade de deslocamento direito 163 Unidade de deslocamento esquerdo 164 Unidade de multiplicação do coeficiente de ponderação 165 Unidade de deslocamento direito 166 e 167 Unidade de cálculo 200 Aparelho de decodificação de imagem 221 Unidade de aquisição de cabeçalho 222 Unidade de restauração residual 231 Unidade de aquisição de SPS 232 Unidade de aquisição de PPS 233 Unidade de aquisição do coeficiente de ponderação 241 Unidade de controle 242 Unidade de restauração 251 Unidade de cálculo da diferença da profundidade de bit 252 Unidade de controle de deslocamento de bit 261 Unidade de seleção 262 Unidade de deslocamento direito 263 Unidade de deslocamento esquerdo 264 Unidade de multiplicação do coeficiente de ponderação 265 Unidade de deslocamento direito 266 e 267 Unidade de cálculo 311 Unidade de controle 312 Unidade de previsão 321 Unidade de cálculo da diferença da profundidade de bit 322 Unidade de controle de deslocamento de bit 351 Unidade de controle
172 / 172
352 Unidade de restauração 361 Unidade de cálculo da diferença da profundidade de bit 362 Unidade de controle de deslocamento de bit 411 Unidade de controle 412 Unidade de previsão 421 Unidade de cálculo da diferença da profundidade de bit 422 Unidade de controle de deslocamento de bit 451 Unidade de controle 452 Unidade de restauração 461 Unidade de cálculo da diferença da profundidade de bit 462 Unidade de controle de deslocamento de bit 501 Unidade de processamento de VUI 511 Unidade de controle 512 Unidade de previsão 521 Unidade de cálculo da diferença da profundidade de bit 522 Unidade de controle de deslocamento de bit 523 Unidade de determinação do espaço de cor 541 Unidade de aquisição de VUI 551 Unidade de controle 561 Unidade de cálculo da diferença da profundidade de bit 562 Unidade de controle de deslocamento de bit 563 Unidade de determinação do espaço de cor
Claims (12)
1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma unidade de definição que arranja uma profundidade de bit de dados residuais de um componente de diferença de cor e uma profundidade de bit de dados residuais de um componente de luminância para serem uniformes em um caso onde a profundidade de bit dos dados residuais do componente de diferença de cor de uma imagem e a profundidade de bit dos dados residuais do componente de luminância da imagem são diferentes uma da outra; uma unidade de previsão residual que prevê dados residuais do componente de diferença de cor de acordo com a profundidade de bit definida pela unidade de definição usando os dados residuais do componente de luminância e gera dados residuais previstos; e uma unidade de codificação que codifica os dados residuais previstos gerados pela unidade de previsão residual.
2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade de bit dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de diferença de cor e a profundidade de bit dos dados residuais do componente de luminância são os mesmos.
3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade de bit dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de luminância corresponde à profundidade de bit dos dados residuais do componente de diferença de cor.
4. Aparelho de processamento de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de luminância corresponde à profundidade de bit dos dados residuais do componente de diferença de cor em um caso onde uma diferença entre a profundidade de bit dos dados residuais do componente de luminância e a profundidade de bit dos dados residuais do componente de diferença de cor tem um valor positivo.
5. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a imagem é uma imagem de formato 4:4:4 em que o número de pixels do componente de luminância e o número de pixels do componente de diferença de cor são os mesmos.
6. Método de processamento de imagem, caracterizado pelo fato de que compreende: arranjar uma profundidade de bit de dados residuais de um componente de diferença de cor e uma profundidade de bit de dados residuais de um componente de luminância para serem uniformes em um caso onde a profundidade de bit dos dados residuais do componente de diferença de cor de uma imagem e a profundidade de bit dos dados residuais do componente de luminância da imagem são diferentes uma da outra; prever dados residuais do componente de diferença de cor de acordo com a profundidade de bit definida usando os dados residuais do componente de luminância e gerar dados residuais previstos; e codificar os dados residuais previstos gerados.
7. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende: uma unidade de decodificação que decodifica dados codificados de dados residuais previstos adquiridos por previsão de dados residuais de um componente de diferença de cor de uma imagem por uso de dados residuais de um componente de luminância da imagem; uma unidade de definição que arranja uma profundidade de bit de dados residuais de um componente de diferença de cor e uma profundidade de bit de dados residuais de um componente de luminância para serem uniformes em um caso onde a profundidade de bit dos dados residuais do componente de diferença de cor de uma imagem e a profundidade de bit dos dados residuais do componente de luminância da imagem são diferentes uma da outra; e uma unidade de restauração residual que restaura os dados residuais do componente de diferença de cor de acordo com a profundidade de bit definida pela unidade de definição por uso de dados residuais do componente de luminância e os dados residuais previstos adquiridos por decodificação dos dados codificados usando a unidade de decodificação.
8. Aparelho de processamento de imagem de acordo com a reivindicação 7, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade de bit dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de diferença de cor e a profundidade de bit dos dados residuais do componente de luminância são os mesmos.
9. Aparelho de processamento de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade de bit dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de luminância corresponde à profundidade de bit dos dados residuais do componente de diferença de cor.
10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que a unidade de definição realiza um deslocamento de bit da profundidade de bit dos dados residuais do componente de luminância de modo que a profundidade de bit dos dados residuais do componente de luminância corresponde à profundidade de bit dos dados residuais do componente de diferença de cor em um caso onde uma diferença entre a profundidade de bit dos dados residuais do componente de luminância e a profundidade de bit dos dados residuais do componente de diferença de cor tem um valor positivo.
11. Aparelho de processamento de imagem de acordo com a reivindicação 10, caracterizado pelo fato de que a imagem é uma imagem de formato 4:4:4 em que o número de pixels do componente de luminância e o número de pixels do componente de diferença de cor são os mesmos.
12. Método de processamento de imagem, caracterizado pelo fato de que compreende: decodificar dados codificados de dados residuais previstos adquiridos por previsão de dados residuais de um componente de diferença de cor de uma imagem por uso de dados residuais de um componente de luminância da imagem; arranjar uma profundidade de bit dos dados residuais do componente de diferença de cor e uma profundidade dos dados residuais do componente de luminância para serem uniformes em um caso onde a profundidade de bit dos dados residuais do componente de diferença de cor e a profundidade de bit dos dados residuais do componente de luminância são diferentes um do outro; e restaurar os dados residuais do componente de diferença de cor de acordo com a profundidade de bit definida por uso dos dados residuais do componente de luminância e os dados residuais previstos adquiridos por decodificação dos dados codificados.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013272941 | 2013-12-27 | ||
| JP2013-272941 | 2013-12-27 | ||
| PCT/JP2014/082923 WO2015098562A1 (ja) | 2013-12-27 | 2014-12-12 | 画像処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112016014478A2 true BR112016014478A2 (pt) | 2020-09-08 |
| BR112016014478B1 BR112016014478B1 (pt) | 2023-07-04 |
Family
ID=
Also Published As
| Publication number | Publication date |
|---|---|
| US10623752B2 (en) | 2020-04-14 |
| EP3041235A1 (en) | 2016-07-06 |
| CN111314694A (zh) | 2020-06-19 |
| WO2015098562A1 (ja) | 2015-07-02 |
| MX2016008171A (es) | 2016-10-21 |
| CN105850134B (zh) | 2020-02-14 |
| AU2014371486A1 (en) | 2016-05-05 |
| KR20160102987A (ko) | 2016-08-31 |
| RU2663359C1 (ru) | 2018-08-03 |
| JPWO2015098562A1 (ja) | 2017-03-23 |
| EP3041235A4 (en) | 2017-03-22 |
| RU2016124469A (ru) | 2017-12-25 |
| MX364028B (es) | 2019-04-11 |
| US20200177894A1 (en) | 2020-06-04 |
| AU2014371486B2 (en) | 2019-05-02 |
| CN105850134A (zh) | 2016-08-10 |
| CN111314694B (zh) | 2023-05-05 |
| MY178498A (en) | 2020-10-14 |
| US20160261876A1 (en) | 2016-09-08 |
| CA2933563C (en) | 2022-02-22 |
| KR102336932B1 (ko) | 2021-12-08 |
| JP6451999B2 (ja) | 2019-01-16 |
| CA2933563A1 (en) | 2015-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6642631B2 (ja) | 画像復号装置および方法 | |
| AU2013281943B2 (en) | Image processing device and method | |
| JP6579393B2 (ja) | 画像処理装置および方法 | |
| AU2014371486B2 (en) | Image processing device and method | |
| JP6287035B2 (ja) | 復号装置および復号方法 | |
| US10148959B2 (en) | Image coding device and method, and image decoding device and method | |
| JP6497562B2 (ja) | 画像符号化装置および方法 | |
| WO2015053116A1 (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 | |
| JP6654434B2 (ja) | 画像処理装置および方法 | |
| WO2017073360A1 (ja) | 画像処理装置および方法 | |
| WO2015064403A1 (ja) | 画像処理装置および方法 | |
| WO2014208326A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 | |
| JP6150134B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体 | |
| BR112016014478B1 (pt) | Aparelho e método de processamento de imagem | |
| JP2015050738A (ja) | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 12/12/2014, OBSERVADAS AS CONDICOES LEGAIS |