BR112016014478B1 - DEVICE AND METHOD OF IMAGE PROCESSING - Google Patents
DEVICE AND METHOD OF IMAGE PROCESSING Download PDFInfo
- Publication number
- BR112016014478B1 BR112016014478B1 BR112016014478-3A BR112016014478A BR112016014478B1 BR 112016014478 B1 BR112016014478 B1 BR 112016014478B1 BR 112016014478 A BR112016014478 A BR 112016014478A BR 112016014478 B1 BR112016014478 B1 BR 112016014478B1
- Authority
- BR
- Brazil
- Prior art keywords
- unit
- residual data
- residual
- bit depth
- image
- Prior art date
Links
Abstract
APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM. A presente descrição refere-se a um dispositivo e a um método de processamento de imagem capazes de impedir que uma eficiência de codificação diminua. Um dispositivo de processamento de imagem compreende: uma unidade de previsão residual para, quando uma previsão de dados residuais entre uma imagem de entrada que consiste em uma pluralidade de componentes e uma imagem de previsão for realizada entre os ditos componentes, corresponder as profundidades de bit dos ditos dados residuais umas com as outras entre os ditos componentes para realizar a dita previsão; e uma unidade de codificação para codificação dos dados residuais previstos gerados de acordo com a dita previsão pela dita unidade de previsão residual. A presente descrição é aplicável, por exemplo, a um dispositivo de codificação de imagem que codifica dados de imagem ou a um dispositivo de processamento de imagem, tal como um dispositivo de decodificação de imagem que decodifica dados codificados obtidos pela codificação de dados de imagem.APPARATUS AND METHOD OF IMAGE PROCESSING. The present description relates to an image processing device and method capable of preventing a coding efficiency from decreasing. An image processing device comprises: a residual prediction unit for, when a residual data prediction between an input image consisting of a plurality of components and a prediction image is performed between said components, matching the bit depths of said residual data with each other between said components to perform said prediction; and an encoding unit for encoding predicted residual data generated in accordance with said prediction by said residual prediction unit. The present description is applicable, for example, to an image coding device that encodes image data or an image processing device such as an image decoding device that decodes encoded data obtained by encoding image data.
Description
[001] A presente descrição refere-se a um aparelho e a um método de processamento de imagem e, mais particularmente, a um aparelho e a um método de processamento de imagem capazes de suprimir uma diminuição na eficiência de codificação.[001] The present disclosure relates to an image processing apparatus and method, and more particularly to an image processing apparatus and method capable of suppressing a decrease in coding efficiency.
[002] Recentemente, o número de solicitações para a compressão de dados brutos que são gerados por um sensor de imagem ou congêneres e são dados de imagem antes da execução de um processo de desmosaicação e congêneres aumentou.[002] Recently, the number of requests for the compression of raw data that are generated by an image sensor or the like and are image data before running a demosaication process and the like has increased.
[003] Como um sistema de codificação de dados de imagem, há MPEG-4 Parte 10 (Codificação Avançada de Vídeo, a seguir, referida como AVC). Recentemente, a fim de melhorar a eficiência de codificação, a padronização de um sistema de codificação chamado de Codificação de Vídeo de Alta Eficiência (HEVC) progrediu pela Equipe de Colaboração em Conjunto - Codificação de Vídeo (JCTVC), que é uma organização de padrões em conjunto do Setor de Padronização de Telecomunicação da União Internacional de Telecomunicação (ITU-T) e da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO/IEC) (por exemplo, veja o Documento de Patente 1).[003] As a picture data coding system, there is MPEG-4 Part 10 (Advanced Video Coding, hereinafter referred to as AVC). Recently, in order to improve the coding efficiency, the standardization of a coding system called High Efficiency Video Coding (HEVC) has progressed by the Joint Collaboration Team - Video Coding (JCTVC), which is a standards organization jointly with the Telecommunication Standardization Sector of the International Telecommunication Union (ITU-T) and the International Organization for Standardization / International Electrotechnical Commission (ISO/IEC) (for example, see Patent Document 1).
[004] Em um sistema de codificação como este, um método para fazer uma previsão de um sinal residual entre componentes foi considerado (por exemplo, veja Documento Não Patente 2).[004] In a coding system like this, a method to make a prediction of a residual signal between components was considered (for example, see Non-Patent Document 2).
[005] Documento Não Patente 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_version 34, 2013-03-19[005] Non-Patent Document 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_version 34, 2013-03-19
[006] Documento Não Patente 2: Wei Pu, Woo-Shik Kim, Jianle Chen, Joel Sole, Marta Karczewicz, "RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4", JCTVC-O0202, 2013-11-11[006] Non-Patent Document 2: Wei Pu, Woo-Shik Kim, Jianle Chen, Joel Sole, Marta Karczewicz, "RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4", JCTVC-O0202, 2013-11 -11
[007] Entretanto, no geral, as profundidades de bit dos dados de componentes são independentes umas das outras e, desta maneira, há uma possibilidade de que valores mutuamente diferentes sejam definidos para as mesmas. Entretanto, em um método descrito no Documento Não Patente 2, uma previsão de uma profundidade de bit entre componentes mutuamente diferentes não é considerada, e há preocupação de que uma previsão não seja corretamente feita e a eficiência de codificação seja diminuída.[007] However, in general, the bit depths of the component data are independent of each other and, therefore, there is a possibility that mutually different values are defined for them. However, in a method described in Non-Patent Document 2, a prediction of a bit depth between mutually different components is not considered, and there is concern that a prediction is not correctly made and coding efficiency is lowered.
[008] A presente descrição é feita em consideração de uma situação como esta e deve suprimir uma diminuição na eficiência de codificação.[008] The present description is made in consideration of a situation like this and should suppress a decrease in coding efficiency.
[009] De acordo com uma modalidade da presente tecnologia, é provido um aparelho de processamento de imagem que inclui: uma unidade de previsão residual que realiza uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e uma unidade de codificação que codifica dados residuais previstos gerados através da previsão realizada pela unidade de previsão residual.[009] According to an embodiment of the present technology, an image processing apparatus is provided that includes: a residual prediction unit that performs a prediction with bit depths of the residual data arranged to be uniform across components when the prediction is performed between the components for the residual data between an input image configured by a plurality of the components and a predicted image; and a coding unit that encodes predicted residual data generated through the prediction performed by the residual prediction unit.
[0010] A unidade de previsão residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit.[0010] The residual prediction unit can arrange the bit depths of the residual data to be uniform through a bit shift.
[0011] A unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada não for zero.[0011] The residual prediction unit can perform prediction with the bit depths of the residual data arranged to be uniform between components through bit shifting in a case where a difference between the bit depths of two components for which the prediction is performed is not zero.
[0012] A unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que a diferença entre as profundidades de bit for positiva e omitir a previsão em um caso em que a diferença entre as profundidades de bit for negativa.[0012] The residual prediction unit can perform prediction with the bit depths of the residual data arranged to be uniform among the components through bit shifting in a case where the difference between the bit depths is positive and omit the prediction in a case where the difference between the bit depths is negative.
[0013] A unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que um espaço de cor da imagem de entrada não for um espaço RGB e omitir a previsão em um caso em que o espaço de cor da imagem de entrada for o espaço RGB.[0013] The residual prediction unit can perform prediction with the bit depths of the residual data arranged to be uniform among the components through bit shifting in a case where a color space of the input image is not an RGB space and omit the prediction in a case where the input image color space is RGB space.
[0014] Um espaço de cor da imagem de entrada pode ser um espaço YUV, e a unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente de luminância e um componente de diferença de cor.[0014] A color space of the input image can be a YUV space, and the residual prediction unit can perform the prediction with the bit depths of the residual data arranged to be uniform through the bit shift between a luminance component and a color difference component.
[0015] Um espaço de cor da imagem de entrada pode ser um espaço RGB, e a unidade de previsão residual pode realizar a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B.[0015] A color space of the input image can be an RGB space, and the residual prediction unit can perform prediction with the bit depths of the residual data arranged to be uniform through the bit shift between a G component and a R component or a B component.
[0016] A unidade de previsão residual pode realizar a previsão pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada, realização do deslocamento de bit dos dados residuais de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado, e aquisição de uma diferença entre os dados residuais do outro componente e o resultado da multiplicação com bit deslocado.[0016] The residual prediction unit can perform prediction by acquiring a difference between the bit depths of two components for which prediction is performed, performing the bit shift of the residual data of a component among the two components that correspond to the difference between the bit depths, multiplying the bit-shifted residual data by a predetermined weighting coefficient, performing a bit shift of a multiplication result corresponding to a predetermined number of bits, and acquiring a difference between the data residuals of the other component and the result of the bit-shifted multiplication.
[0017] A unidade de previsão residual pode definir o coeficiente de ponderação que é comum a uma pluralidade de componentes.[0017] The residual prediction unit can define the weighting coefficient that is common to a plurality of components.
[0018] De acordo com uma modalidade da presente tecnologia, é provido um método de processamento de imagem que inclui: realizar uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e codificar os dados residuais previstos gerados através da previsão.[0018] According to an embodiment of the present technology, an image processing method is provided that includes: performing a prediction with bit depths of the residual data arranged to be uniform between components when the prediction is performed between the components for the data residuals between an input image configured by a plurality of components and a predicted image; and encoding the predicted residuals generated through the prediction.
[0019] De acordo com uma outra modalidade da presente tecnologia, é provido um aparelho de processamento de imagem que inclui: uma unidade de decodificação que decodifica dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e uma unidade de restauração residual que realiza restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela unidade de decodificação pela decodificação dos dados codificados.[0019] According to another embodiment of the present technology, an image processing apparatus is provided that includes: a decoding unit that decodes encoded data in which residual data is predicted, which is a result of a prediction of residual data between a image configured by a plurality of components and a predicted image thereof among the components are encoded; and a residual restoration unit that performs restoration with bit depths of the residual data arranged to be uniform among the components when restoration of the residual data is performed using the predicted residual data acquired by the decoding unit by decoding the encoded data.
[0020] A unidade de restauração residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit.[0020] The residual restoration unit can arrange the bit depths of the residual data to be uniform through a bit shift.
[0021] Uma unidade de recepção que recebe informação em relação às profundidades de bit pode ser adicionalmente incluída, e a unidade de restauração residual pode arranjar as profundidades de bit dos dados residuais para serem uniformes pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada com base na informação em relação às profundidades de bit recebida pela unidade de recepção e realização do deslocamento de bit com base na diferença adquirida entre as profundidades de bit.[0021] A receiving unit that receives information regarding bit depths can be additionally included, and the residual restoring unit can arrange the bit depths of the residual data to be uniform by acquiring a difference between the bit depths of two components for which prediction is performed on the basis of information regarding the bit depths received by the receiving unit and performing bit shifting on the basis of the acquired difference between the bit depths.
[0022] A unidade de restauração residual, em um caso em que a diferença adquirida entre as profundidades de bit não for zero, pode arranjar as profundidades de bit dos dados residuais para serem uniformes através do deslocamento de bit.[0022] The residual restoration unit, in a case where the acquired difference between the bit depths is not zero, can arrange the bit depths of the residual data to be uniform through the bit shift.
[0023] A unidade de restauração residual pode realizar restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit em um caso em que a diferença adquirida entre as profundidades de bit for positiva e omitir a restauração em um caso em que a diferença entre as profundidades de bit for negativa.[0023] Residual restoration unit can perform restoration with residual data bit depths arranged to be uniform through bit shift in a case where the acquired difference between bit depths is positive, and omit restoration in a case where the difference between the bit depths is negative.
[0024] A unidade de recepção pode receber adicionalmente a informação em relação a um espaço de cor da imagem, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que o espaço de cor da imagem não for um espaço RGB com base na informação em relação ao espaço de cor da imagem recebida pela unidade de recepção e omitir a restauração em um caso em que o espaço de cor da imagem for o espaço RGB.[0024] The receiving unit can additionally receive the information regarding a color space of the image, and the residual restoration unit can perform restoration with the bit depths of the residual data arranged to be uniform among the components through shifting bit depth in a case where the color space of the image is not an RGB space based on the information regarding the color space of the image received by the receiving unit, and omit the restore in a case where the color space of the image for the RGB space.
[0025] Um espaço de cor da imagem pode ser um espaço YUV, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através do deslocamento de bit.[0025] An image color space can be a YUV space, and the residual restoration unit can perform restoration with the residual data bit depths arranged to be uniform between a luminance component and a color difference component through of the bit shift.
[0026] Um espaço de cor da imagem pode ser um espaço RGB, e a unidade de restauração residual pode realizar a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B.[0026] An image color space can be an RGB space, and the residual restoration unit can perform restoration with the residual data bit depths arranged to be uniform through the bit shift between a G component and an R component or a B component.
[0027] A unidade de restauração residual, pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a restauração é realizada, realização do deslocamento de bit dos dados residuais restaurados de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado e adição do resultado da multiplicação com bit deslocado e dos dados residuais previstos, pode realizar a restauração dos dados residuais do outro componente.[0027] The residual restoration unit, by acquiring a difference between the bit depths of two components for which restoration is performed, performing bit shifting of the restored residual data of one component among the two components that correspond to the difference between the bit depths, multiplying the bit-shifted residual data by a predetermined weighting coefficient, performing a bit shift of a multiplication result corresponding to a predetermined number of bits, and adding the bit-shifted multiplication result and the predicted residual data, you can perform restoration of the residual data of the other component.
[0028] De acordo com uma outra modalidade da presente tecnologia, é provido um método de processamento de imagem que inclui: decodificar os dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e realizar restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados.[0028] According to another embodiment of the present technology, an image processing method is provided that includes: decoding the encoded data in which residual data is predicted, which is a result of a residual data prediction between an image configured by a plurality of components and a predicted image thereof among the components are encoded; and performing restoration with residual data bit depths arranged to be uniform among the components when restoring the residual data is performed using the predicted residual data acquired by decoding the encoded data.
[0029] De acordo com uma modalidade da presente tecnologia, uma previsão é realizada com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista, e dados residuais previstos gerados através da previsão são codificados.[0029] According to an embodiment of the present technology, a prediction is performed with bit depths of the residual data arranged to be uniform between components when the prediction is performed between the components for the residual data between an input image configured by a plurality of the components and a predicted image, and predicted residuals generated through the prediction are encoded.
[0030] De acordo com uma outra modalidade da presente tecnologia, são decodificados dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados, e restauração é realizada com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados.[0030] According to another embodiment of the present technology, encoded data is decoded in which predicted residual data, which is a result of predicting residual data between a picture configured by a plurality of components and a predicted picture thereof between the components, are encoded, and restoration is performed with bit depths of the residual data arranged to be uniform among the components when restoration of the residual data is performed using the predicted residual data acquired by decoding the encoded data.
[0031] De acordo com a presente descrição, uma imagem pode ser codificada e decodificada. Particularmente, uma diminuição na eficiência de codificação pode ser suprimida.[0031] According to the present description, an image can be encoded and decoded. Particularly, a decrease in coding efficiency can be suppressed.
[0032] A figura 1 é um diagrama que ilustra uma configuração de exemplo de uma unidade de codificação.[0032] Figure 1 is a diagram illustrating an example configuration of an encoding unit.
[0033] A figura 2 é um diagrama que ilustra um exemplo de semântica.[0033] Figure 2 is a diagram illustrating an example of semantics.
[0034] A figura 3 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem.[0034] Figure 3 is a block diagram illustrating an example of the main configuration of an image coding apparatus.
[0035] A figura 4 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.[0035] Figure 4 is a block diagram illustrating an example of the main configurations of a header processing unit and a residual forecasting unit.
[0036] A figura 5 é um fluxograma que ilustra um exemplo do fluxo de um processo de codificação.[0036] Figure 5 is a flowchart illustrating an example of the flow of an encoding process.
[0037] A figura 6 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.[0037] Figure 6 is a flowchart illustrating an example of the flow of a residual prediction process.
[0038] A figura 7 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.[0038] Figure 7 is a flowchart illustrating an example of the flow of a predicted residual data generation process.
[0039] A figura 8 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.[0039] Figure 8 is a flowchart illustrating an example of the flow of a predicted residual data generation process.
[0040] A figura 9 é um fluxograma que ilustra um exemplo do fluxo de um processo de geração de dados residuais previstos.[0040] Figure 9 is a flowchart illustrating an example of the flow of a predicted residual data generation process.
[0041] A figura 10 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem.[0041] Figure 10 is a block diagram illustrating an example of the main configuration of an image decoding apparatus.
[0042] A figura 11 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.[0042] Figure 11 is a block diagram illustrating an example of the main configurations of a header acquisition unit and a residual restoration unit.
[0043] A figura 12 é um fluxograma que ilustra um exemplo do fluxo de um processo de decodificação.[0043] Figure 12 is a flowchart illustrating an example of the flow of a decoding process.
[0044] A figura 13 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.[0044] Figure 13 is a flowchart illustrating an example of the flow of a residual restoration process.
[0045] A figura 14 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.[0045] Figure 14 is a flowchart illustrating an example flow of a residual data restoration process.
[0046] A figura 15 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.[0046] Figure 15 is a flowchart illustrating an example flow of a residual data restoration process.
[0047] A figura 16 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração de dados residuais.[0047] Figure 16 is a flowchart illustrating an example flow of a residual data restoration process.
[0048] A figura 17 é um diagrama que ilustra um exemplo de semântica.[0048] Figure 17 is a diagram illustrating an example of semantics.
[0049] A figura 18 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.[0049] Figure 18 is a block diagram illustrating an example of the main configurations of a header processing unit and a residual forecasting unit.
[0050] A figura 19 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.[0050] Figure 19 is a flowchart illustrating an example of the flow of a residual prediction process.
[0051] A figura 20 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.[0051] Figure 20 is a block diagram illustrating an example of the main configurations of a header acquisition unit and a residual restoration unit.
[0052] A figura 21 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.[0052] Figure 21 is a flowchart illustrating an example of the flow of a residual restoration process.
[0053] A figura 22 é um diagrama que ilustra um exemplo de semântica.[0053] Figure 22 is a diagram illustrating an example of semantics.
[0054] A figura 23 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.[0054] Figure 23 is a block diagram illustrating an example of the main configurations of a header processing unit and a residual forecasting unit.
[0055] A figura 24 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.[0055] Figure 24 is a flowchart illustrating an example flow of a residual prediction process.
[0056] A figura 25 é um diagrama de blocos que ilustra um exemplo da configuração principal de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.[0056] Figure 25 is a block diagram illustrating an example of the main configuration of a header acquisition unit and a residual restoration unit.
[0057] A figura 26 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.[0057] Figure 26 is a flowchart illustrating an example of the flow of a residual restoration process.
[0058] A figura 27 é um diagrama que ilustra um exemplo de semântica.[0058] Figure 27 is a diagram illustrating an example of semantics.
[0059] A figura 28 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho e uma unidade de previsão residual.[0059] Figure 28 is a block diagram illustrating an example of the main configurations of a header processing unit and a residual forecasting unit.
[0060] A figura 29 é um fluxograma que ilustra um exemplo do fluxo de um processo de previsão residual.[0060] Figure 29 is a flowchart illustrating an example of the flow of a residual prediction process.
[0061] A figura 30 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de aquisição de cabeçalho e uma unidade de restauração residual.[0061] Figure 30 is a block diagram illustrating an example of the main configurations of a header acquisition unit and a residual restoration unit.
[0062] A figura 31 é um fluxograma que ilustra um exemplo do fluxo de um processo de restauração residual.[0062] Figure 31 is a flowchart illustrating an example of the flow of a residual restoration process.
[0063] A figura 32 é um diagrama que ilustra um exemplo de sintaxe.[0063] Figure 32 is a diagram that illustrates an example of syntax.
[0064] semântica. A figura 33 é um diagrama que ilustra um exemplo de[0064] semantics. Figure 33 is a diagram illustrating an example of
[0065] semântica. A figura 34 é um diagrama que ilustra um exemplo de[0065] semantics. Figure 34 is a diagram illustrating an example of
[0066] semântica. A figura 35 é um diagrama que ilustra um exemplo de[0066] semantics. Figure 35 is a diagram illustrating an example of
[0067] A figura 36 é um diagrama que ilustra um exemplo de sintaxe.[0067] Figure 36 is a diagram that illustrates an example of syntax.
[0068] semântica. A figura 37 é um diagrama que ilustra um exemplo de[0068] semantics. Figure 37 is a diagram illustrating an example of
[0069] semântica. A figura 38 é um diagrama que ilustra um exemplo de[0069] semantics. Figure 38 is a diagram illustrating an example of
[0070] semântica. A figura 39 é um diagrama que ilustra um exemplo de[0070] semantics. Figure 39 is a diagram illustrating an example of
[0071] A figura 40 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem com múltiplos pontos de visualização.[0071] Figure 40 is a diagram illustrating an example of an image coding system with multiple points of view.
[0072] A figura 41 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem com múltiplos pontos de visualização de acordo com a presente tecnologia.[0072] Fig. 41 is a diagram illustrating an example of the main configuration of an image coding apparatus with multiple display points according to the present technology.
[0073] A figura 42 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem com múltiplos pontos de visualização de acordo com a presente tecnologia.[0073] Fig. 42 is a diagram illustrating an example of the main configuration of an image decoding apparatus with multiple display points according to the present technology.
[0074] A figura 43 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem hierárquica.[0074] Figure 43 is a diagram illustrating an example of a hierarchical image coding system.
[0075] A figura 44 é um diagrama que ilustra um exemplo de codificação escalonável espacial.[0075] Figure 44 is a diagram illustrating an example of spatial scalable coding.
[0076] A figura 45 é um diagrama que ilustra um exemplo de codificação escalonável temporal.[0076] Figure 45 is a diagram illustrating an example of temporal scalable coding.
[0077] A figura 46 é um diagrama que ilustra um exemplo de codificação escalonável de uma razão de sinal por ruído.[0077] Figure 46 is a diagram illustrating an example of scalable coding of a signal to noise ratio.
[0078] A figura 47 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de codificação de imagem hierárquica de acordo com a presente tecnologia.[0078] Fig. 47 is a diagram illustrating an example of the main configuration of a hierarchical image coding apparatus according to the present technology.
[0079] A figura 48 é um diagrama que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem hierárquica de acordo com a presente tecnologia.[0079] Fig. 48 is a diagram illustrating an example of the main configuration of a hierarchical image decoding apparatus according to the present technology.
[0080] A figura 49 é um diagrama de blocos que ilustra um exemplo da configuração principal de um computador.[0080] Figure 49 is a block diagram illustrating an example of the main configuration of a computer.
[0081] A figura 50 é diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de televisão.[0081] Figure 50 is a block diagram illustrating an example of the schematic configuration of a television set.
[0082] A figura 51 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um telefone celular.[0082] Figure 51 is a block diagram illustrating an example of the schematic configuration of a cell phone.
[0083] A figura 52 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de gravação / reprodução.[0083] Figure 52 is a block diagram illustrating an example of the schematic configuration of a recording/playback apparatus.
[0084] A figura 53 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de formação de imagem.[0084] Fig. 53 is a block diagram illustrating an example of the schematic configuration of an image forming apparatus.
[0085] A figura 54 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um conjunto de vídeo.[0085] Figure 54 is a block diagram illustrating an example of the schematic configuration of a video set.
[0086] A figura 55 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um processador de vídeo.[0086] Figure 55 is a block diagram illustrating an example of the schematic configuration of a video processor.
[0087] A figura 56 é um diagrama de blocos que ilustra um outro exemplo da configuração esquemática de um processador de vídeo.[0087] Figure 56 is a block diagram illustrating another example of the schematic configuration of a video processor.
[0088] A seguir, modalidades (a seguir, referidas como modalidades) para realizar a presente descrição serão descritas. A descrição será apresentada na seguinte ordem. 1. Primeira Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem) 2. Segunda Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem) 3. Terceira Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem) 4. Quarta Modalidade (Aparelho de Codificação de Imagem / Aparelho de Decodificação de Imagem) 5. Quinta Modalidade (Comunização do Coeficiente de Ponderação) 6. Sexta Modalidade (Aparelho de Codificação de Imagem com Múltiplos Pontos de Visualização / Aparelho de Decodificação de Imagem com Múltiplos Pontos de Visualização) 7. Sétima Modalidade (Aparelho de Codificação de Imagem Hierárquica / Aparelho de Decodificação de Imagem Hierárquica) 8. Oitava Modalidade (Computador) 9. Nona Modalidade (Exemplo de Aplicação) 10. Décima Modalidade (Aparelho / Unidade / Módulo / Processador)[0088] In the following, embodiments (hereinafter referred to as embodiments) for carrying out the present description will be described. The description will be presented in the following order. 1. First Embodiment (Image Coding Apparatus / Image Decoding Apparatus) 2. Second Embodiment (Image Coding Apparatus / Image Decoding Apparatus) 3. Third Embodiment (Image Coding Apparatus / Image Decoding Apparatus) ) 4. Fourth Embodiment (Picture Coding Apparatus / Image Decoding Apparatus) 5. Fifth Embodiment (Weighting Coefficient Communization) 6. Sixth Embodiment (Multi-Viewpoint Image Coding Apparatus / Image Decoding Apparatus) with Multiple Viewpoints) 7. Seventh Modality (Hierarchical Image Coding Apparatus / Hierarchical Image Decoding Apparatus) 8. Eighth Modality (Computer) 9. Ninth Modality (Application Example) 10. Tenth Modality (Device / Unit / Module / Processor)
[0089] Recentemente, informação de imagem é tratada como dados digitais e, neste momento, com o propósito de transmitir e acumular informação com alta eficiência, são amplamente usados dispositivos que comprimem e codificam uma imagem pelo emprego de um sistema de codificação que comprime dados através de uma transformada ortogonal, tal como uma transformada discreta de cosseno, e uma compensação de movimento pelo uso de redundância que é específica da informação de imagem. Exemplos de um sistema de codificação como este incluem Grupo de Especialistas em Imagem em Movimento (MPEG) e congêneres.[0089] Recently, image information is treated as digital data, and at present, for the purpose of transmitting and accumulating information with high efficiency, devices are widely used that compress and encode an image by employing a coding system that compresses data through an orthogonal transform, such as a discrete cosine transform, and motion compensation by using redundancy that is specific to the image information. Examples of such a coding system include Moving Image Expert Group (MPEG) and the like.
[0090] Particularmente, MPEG2 (ISO/IEC 13818-2) é definido como um sistema de codificação de imagem de uso geral e é um padrão que cobre tanto uma imagem de escaneamento entrelaçado e uma imagem de escaneamento sequencial quanto uma imagem de resolução padrão e uma imagem de alta definição. Por exemplo, atualmente, MPEG2 é amplamente usado para uma ampla faixa de aplicações para uso profissional e uso pelo consumidor. Pelo uso do sistema de compressão MPEG2, por exemplo, no caso de uma imagem de escaneamento entrelaçado da resolução padrão com 720 x 480 pixels, uma quantidade de código (taxa de bit) de 4 até 8 Mbps é atribuída. Além do mais, pelo uso do sistema de compressão MPEG2, por exemplo, no caso de uma imagem de escaneamento entrelaçado de alta resolução com 1.920 x 1.088 pixels, uma quantidade de código (taxa de bit) de 18 a 22 Mbps é atribuída. Desta maneira, uma alta taxa de compressão e uma satisfatória qualidade de figura podem ser realizadas.[0090] In particular, MPEG2 (ISO/IEC 13818-2) is defined as a general purpose image coding system and is a standard that covers both an interlaced scan image and a sequential scan image as well as a standard resolution image and a high definition image. For example, MPEG2 is now widely used for a wide range of applications for both professional use and consumer use. By using the MPEG2 compression system, for example, in the case of an interlaced scan image of standard resolution with 720 x 480 pixels, a code amount (bit rate) of 4 to 8 Mbps is assigned. Furthermore, by using the MPEG2 compression system, for example, in the case of a high resolution interlaced scan image with 1920 x 1088 pixels, a code amount (bit rate) of 18 to 22 Mbps is assigned. In this way, a high compression ratio and satisfactory picture quality can be realized.
[0091] O MPEG2 é principalmente visado para codificação de imagem de alta qualidade que é principalmente apropriada para uma difusão, mas não se conforma com um sistema de codificação com uma quantidade de código (taxa de bit) mais alta do que aquela de MPEG1, em outras palavras, com uma taxa de compressão mais alta do que aquela de MPEG1. Entretanto, é considerado que o número de tais solicitações será maior no futuro de acordo com o amplo uso de terminais portáteis, e a padronização de um sistema de codificação MPEG4 foi feita de acordo com isto. Seu padrão em relação a um sistema de codificação de imagem foi aprovado em dezembro de 1998 como ISO/IEC 14496-2.[0091] MPEG2 is mainly aimed at high quality picture encoding that is mainly suitable for broadcasting, but does not settle for a coding system with a code amount (bit rate) higher than that of MPEG1, in other words, with a higher compression rate than that of MPEG1. However, it is considered that the number of such requests will be greater in the future in line with the widespread use of handheld terminals, and the standardization of an MPEG4 encoding system was made accordingly. Its standard regarding an image coding system was approved in December 1998 as ISO/IEC 14496-2.
[0092] Além do mais, nos últimos anos, com o propósito inicial de codificação de imagem para conferências de televisão, H.26L Setor de Padronização de Telecomunicação da União Internacional de Telecomunicação (ITU-T) Q6/16 Grupo de Especialistas de Codificação de Vídeo (VCEG)) foi padronizado. É conhecido que H.26L exige uma maior quantidade de cálculo devido ao processo de codificação e ao processo de decodificação do mesmo do que aquela de um sistema de codificação convencional, tais como MPEG2 ou MPEG4, e realiza eficiência de codificação mais alta. Além do mais, atualmente, como parte das atividades de MPEG4, um padrão que realiza eficiência de codificação mais alta pela introdução de funções não suportadas de acordo com H.26L com base em H.26L foi feito como Modelo Conjunto da Codificação de Vídeo com Compressão Aprimorada.[0092] In addition, in recent years, with the initial purpose of image encoding for television conferences, H.26L Telecommunication Standardization Sector of the International Telecommunication Union (ITU-T) Q6/16 Coding Expert Group (VCEG)) has been standardized. It is known that H.26L requires a greater amount of computation due to the encoding process and the decoding process thereof than that of a conventional encoding system such as MPEG2 or MPEG4, and realizes higher encoding efficiency. Furthermore, currently, as part of MPEG4 activities, a standard which realizes higher coding efficiency by introducing functions not supported according to H.26L on the basis of H.26L has been made as Joint Model of Video Coding with Improved Compression.
[0093] Como uma agenda da padronização do mesmo, em março de 2003, um padrão internacional foi feito com base nos nomes de H.264 e MPEG-4 Parte 10 (Codificação Avançada de Vídeo; a seguir, referida como AVC).[0093] As an agenda for standardization thereof, in March 2003, an international standard was made based on the names of H.264 and MPEG-4 Part 10 (Advanced Video Coding; hereinafter referred to as AVC).
[0094] Além do mais, como uma extensão de H.264/AVC, padronização da Extensão da Faixa de Fidelidade (FRExt) que inclui ferramentas de codificação exigidas para um uso empresarial e DCT 8 x 8 e uma matriz de quantização definidas em MPEG-2, que são chamadas de RGB, 4:2:2, e 4:4:4, foi concluída em fevereiro de 2005. Desta maneira, um sistema de codificação capaz de representar um ruído de filme incluído em um filme é formado pelo uso de H.264/AVC, e H.264/AVC está em um estágio de ser usado em uma ampla faixa de aplicações de Disco Blu-Ray (marca registrada) e congêneres.[0094] Furthermore, as an extension of H.264/AVC, standardization of Range Extended Fidelity (FRExt) which includes coding tools required for enterprise use and DCT 8 x 8 and a quantization matrix defined in MPEG -2, which are called RGB, 4:2:2, and 4:4:4, was completed in February 2005. In this way, a coding system capable of representing film noise included in a film is formed by the use of H.264/AVC, and H.264/AVC is in the stage of being used in a wide range of Blu-Ray Disc (trademark) and related applications.
[0095] Entretanto, recentemente, o número de solicitações para codificação com uma taxa de compressão ainda mais alta, tais como uma solicitação para comprimir uma imagem de cerca de 4.000 x 2.000 pixels, que compreende quatro vezes o número de pixels de uma imagem de alta definição e uma solicitação para distribuir uma imagem de alta definição em um ambiente com uma capacidade de transmissão limitada, tal como a Internet, aumentou. Por este motivo, revisões para aumentar a eficiência de codificação foram continuamente feitas pelo VCEG afiliado com o ITU-T supradescrito.[0095] However, recently, the number of requests for encoding with an even higher compression ratio, such as a request to compress an image of about 4000 x 2000 pixels, which comprises four times the number of pixels of a high definition and a request to distribute a high definition image in an environment with limited transmission capacity, such as the Internet, has increased. For this reason, revisions to increase coding efficiency were continually made by the VCEG affiliated with the above-described ITU-T.
[0096] Assim, atualmente, com o propósito de melhorar adicionalmente a eficiência de codificação para ficar mais alta do que aquela de AVC, padronização de um sistema de codificação chamado de Codificação de Vídeo de Alta Eficiência (HEVC) foi desenvolvida por uma Equipe de Colaboração em Conjunto - Codificação de Vídeo (JCTVC), que é uma organização de padronização conjunta de ITU-T e da Organização Internacional para Padronização / Comissão Eletrotécnica Internacional (ISO/IEC). Em consideração do padrão HEVC, uma versão preliminar do comitê que é uma edição em versão preliminar do relatório descritivo foi emitida em janeiro de 2013 (por exemplo, veja Documento Não Patente 1).[0096] So, currently, for the purpose of further improving the coding efficiency to be higher than that of AVC, standardization of a coding system called High Efficiency Video Coding (HEVC) has been developed by a Team of Joint Collaboration - Video Coding (JCTVC), which is a joint standardization organization of ITU-T and the International Organization for Standardization / International Electrotechnical Commission (ISO/IEC). In consideration of the HEVC standard, a committee draft which is a draft edition of the specification was issued in January 2013 (for example, see Non-Patent Document 1).
[0097] A seguir, a presente tecnologia será descrita no caso de ser aplicada na codificação / decodificação de imagem do sistema de Codificação de Vídeo de Alta Eficiência (HEVC) como um exemplo.[0097] In the following, the present technology will be described in case it is applied in image encoding/decoding of High Efficiency Video Coding (HEVC) system as an example.
[0098] No sistema de Codificação Avançada de Vídeo (AVC), uma estrutura hierárquica configurada por um macrobloco e um submacrobloco é definida. Entretanto, um macrobloco de 16 x 16 pixels não é ideal para um grande quadro de imagem chamado de Ultra Alta Definição (UHD; 4.000 pixels x 2.000 pixels) que se torna um alvo para um sistema de codificação da próxima geração.[0098] In the Advanced Video Coding (AVC) system, a hierarchical structure configured by a macroblock and a submacroblock is defined. However, a 16 x 16 pixel macroblock is not ideal for a large picture frame called Ultra High Definition (UHD; 4000 pixels x 2000 pixels) that becomes a target for a next-generation encoding system.
[0099] Ao contrário disto, no sistema HEVC, da forma ilustrada na figura 1, uma unidade de codificação (CU) é definida.[0099] Contrary to this, in the HEVC system, as illustrated in figure 1, a coding unit (CU) is defined.
[00100] Uma CU também é chamada de um Bloco de Árvore de Codificação (CTB) e é uma área parcial de uma unidade de figura que alcança um papel similar àquele do macrobloco no sistema AVC. Ao mesmo tempo em que o macrobloco é fixo no tamanho de 16 x 16 pixels, o tamanho da CU não é fixo, mas é designado na informação de compressão de imagem em cada sequência.[00100] A CU is also called a Coding Tree Block (CTB) and is a partial area of a figure unit that achieves a role similar to that of the macroblock in the AVC system. While the macroblock is fixed at the size of 16 x 16 pixels, the size of the CU is not fixed but is designated in the image compression information in each sequence.
[00101] Por exemplo, no conjunto de parâmetro de sequência (SPS) incluído nos dados codificados que são uma saída, um tamanho máximo (Maior Unidade de Codificação (LCU)) e um tamanho mínimo (Menor Unidade de Codificação (SCU)) da CU são definidos.[00101] For example, in the sequence parameter set (SPS) included in encoded data that is an output, a maximum size (Largest Coding Unit (LCU)) and a minimum size (Smallest Coding Unit (SCU)) of the CU are defined.
[00102] Em cada LCU, pela definição de split_flag = 1 em uma faixa não abaixo do tamanho da SCU, a LCU pode ser dividida em CUs com um tamanho menor. No exemplo ilustrado na figura 1, o tamanho da LCU é 128, e uma maior profundidade hierárquica é 5. Quando o valor de split_flag for "1", a CU com um tamanho de 2N x 2N é dividida em CUs, cada qual com um tamanho de N x N em uma hierarquia um nível abaixo.[00102] In each LCU, by setting split_flag = 1 in a range not below the size of the SCU, the LCU can be split into CUs with a smaller size. In the example illustrated in figure 1, the LCU size is 128, and the highest hierarchical depth is 5. When the value of split_flag is "1", the CU with a size of 2N x 2N is divided into CUs, each with a N x N size in a hierarchy one level down.
[00103] Além do mais, a CU é dividida em unidades de previsão (PUs) que são áreas (áreas parciais de uma imagem em unidades de figuras) que são unidades de processamento de uma intraprevisão ou uma interprevisão e é dividida em unidades de transformada (TUs) que são áreas (áreas parciais de uma imagem em unidades de figuras) que são unidades de processamento de uma transformada ortogonal. Atualmente, no sistema HEVC, transformadas ortogonais 16 x 16 e 32 x 32 podem ser usadas, além das transformadas ortogonais 4 x 4 e 8 x 8.[00103] Furthermore, the CU is divided into prediction units (PUs) which are areas (partial areas of an image in units of figures) which are processing units of an intraprediction or an interprediction and is divided into transform units (TUs) which are areas (partial areas of an image in units of figures) which are processing units of an orthogonal transform. Currently, in the HEVC system, 16 x 16 and 32 x 32 orthogonal transforms can be used in addition to the 4 x 4 and 8 x 8 orthogonal transforms.
[00104] Como no sistema HEVC supradescrito, no caso de um sistema de codificação no qual uma CU é definida, e vários processos são realizados em unidades de CUs, pode ser considerado que um macrobloco do sistema AVC corresponde a uma LCU, e um bloco (sub-bloco) corresponde a uma CU. Além do mais, um bloco de compensação de movimento do sistema AVC pode ser considerado para corresponder a uma PU. Entretanto, já que a CU tem uma estrutura hierárquica, no geral, o tamanho da LCU da hierarquia mais alta é definido para ser maior do que aquele do macrobloco do sistema AVC, tal como 128 x 128 pixels.[00104] As in the above-described HEVC system, in the case of a coding system in which a CU is defined, and several processes are performed in units of CUs, it can be considered that a macroblock of the AVC system corresponds to an LCU, and a block (sub-block) corresponds to a CU. Furthermore, a motion compensation block of the AVC system can be considered to correspond to a PU. However, since the CU has a hierarchical structure, in general, the size of the LCU of the highest hierarchy is set to be larger than that of the macroblock of the AVC system, such as 128 x 128 pixels.
[00105] Assim, a seguir, é considerado que uma LCU inclui um macrobloco do sistema AVC, também, e é considerado que uma CU inclui um bloco (sub-bloco) do sistema AVC, também. Em outras palavras, um "bloco" usado na descrição apresentada a seguir representa uma área parcial arbitrária na figura, e o tamanho, a forma, a característica e congêneres do mesmo não são especificamente limitados. Em outras palavras, um "bloco", por exemplo, inclui áreas arbitrárias, tais como uma TU, uma PU, uma SCU, uma CU, uma LCU, um sub-bloco, um macrobloco e uma fatia. É aparente que uma área parcial (unidade de processamento) diferente daquelas também é aqui incluída. Além do mais, um caso em que o tamanho, a unidade de processamento, ou congêneres precisam ser limitados será apropriadamente descrito.[00105] Thus, in the following, an LCU is considered to include an AVC system macroblock, as well, and a CU is considered to include an AVC system block (sub-block), as well. In other words, a "block" used in the description given below represents an arbitrary partial area in the figure, and the size, shape, feature and the like thereof are not specifically limited. In other words, a "block", for example, includes arbitrary areas such as a TU, a PU, a SCU, a CU, an LCU, a subblock, a macroblock and a slice. It is apparent that a partial area (processing unit) other than those is also included here. Furthermore, a case where size, processing unit, or the like need to be limited will be appropriately described.
[00106] Neste relatório descritivo, uma Unidade de Árvore de Codificação (CTU) é considerada como uma unidade que inclui um Bloco de Árvore de Codificação (CTB) de uma CU de um maior número (LCU) e um parâmetro no momento do processamento na base da LCU (nível) da mesma. Além do mais, uma unidade de codificação (CU) que configura a CTU é considerada como uma unidade que inclui um Bloco de Codificação (CB) e um parâmetro no momento do processamento na base da CU (nível) da mesma.[00106] In this descriptive report, a Coding Tree Unit (CTU) is considered as a unit that includes a Coding Tree Block (CTB) of a CU of a greater number (LCU) and a parameter at the time of processing in the base of the LCU (level) of the same. Furthermore, a coding unit (CU) that configures the CTU is considered as a unit that includes a Coding Block (CB) and a parameter at the time of processing at the base of the CU (level) of the same.
[00107] Nos sistemas de codificação AVC e HEVC, a fim de alcançar eficiência de codificação mais alta, a seleção de um apropriado modo de previsão é significativa.[00107] In AVC and HEVC coding systems, in order to achieve higher coding efficiency, the selection of an appropriate prediction mode is significant.
[00108] Como um exemplo de um sistema de seleção como este, há um método no qual o sistema de seleção é embutido em software de referência (publicado em http://iphome.hhi.de/suehring/tml/index.htm) de H.264/MPEG- 4AVC chamado de um JM (Modelo Conjunto).[00108] As an example of such a selection system, there is a method in which the selection system is embedded in reference software (published at http://iphome.hhi.de/suehring/tml/index.htm) of H.264/MPEG-4AVC called a JM (Joint Template).
[00109] No JM, um método de determinação de modo para determinar dois modos, incluindo um modo de alta complexidade e um modo de baixa complexidade a serem descritos a seguir, pode ser selecionado. Em qualquer um dos modos, um valor da função de custo em relação a cada modo de previsão Modo é calculado, e um modo de previsão com um menor valor da função de custo é selecionado como um modo ideal para o bloco ou o macrobloco.[00109] In JM, a mode determination method for determining two modes, including a high complexity mode and a low complexity mode to be described below, can be selected. In either mode, a cost function value relative to each forecast mode is calculated, and a forecast mode with a lower cost function value is selected as an optimal mode for the block or macroblock.
[00110] A função de custo no modo de alta complexidade é representada a seguir como na Equação (1). [Fórmula Matemática 1] Custo(Modo ϵ Ω ) = D + λ * R ... (1)[00110] The cost function in high complexity mode is represented below as in Equation (1). [Mathematical Formula 1] Cost(Mode ϵ Ω ) = D + λ * R ... (1)
[00111] Aqui, Q é um conjunto universal de modos candidatos usados para codificação do bloco ou do macrobloco, D é energia diferencial entre uma imagem decodificada e uma imagem de entrada em um caso em que codificação for realizada no modo de previsão. Além do mais, X é um multiplicador indefinido de Lagrange dado em função de um parâmetro de quantização. R é uma quantidade de código total de um caso em que codificação é realizada no modo que inclui o coeficiente de transformada ortogonal.[00111] Here, Q is a universal set of candidate modes used for block or macroblock encoding, D is differential energy between a decoded picture and an input picture in a case where encoding is performed in predictive mode. Furthermore, X is an undefined Lagrange multiplier given as a function of a quantization parameter. R is a total code amount of a case where coding is performed in the mode including the orthogonal transform coefficient.
[00112] Em outras palavras, quando codificação for realizada no modo de alta complexidade, a fim de calcular os supradescritos parâmetros D e R, um processo de codificação provisional precisa ser realizado uma vez para todos os modos candidatos e, desta maneira, uma maior quantidade de cálculo é necessária.[00112] In other words, when encoding is performed in high complexity mode, in order to calculate the above-described parameters D and R, a provisional encoding process needs to be performed once for all candidate modes and, in this way, a greater amount of calculation is required.
[00113] Uma função de custo no modo de baixa complexidade é representada a seguir como na Equação (2). [Fórmula Matemática 2] Custo(Modo ϵ Ω = D + QP2Quant(QP) * HeaderBit ... (2)[00113] A cost function in low complexity mode is represented below as in Equation (2). [Mathematical Formula 2] Cost(Mode ϵ Ω = D + QP2Quant(QP) * HeaderBit ... (2)
[00114] Aqui, D, diferente daquele do caso do modo de alta complexidade, é energia diferencial entre uma imagem prevista e uma imagem de entrada. Além do mais, QP2Quant (QP) é dado em função de um parâmetro de quantização QP, e HeaderBit é uma quantidade de código em relação a informação que pertence a um cabeçalho, tais como um vetor de movimento e um modo que não inclui um coeficiente de transformada ortogonal.[00114] Here, D, unlike that of the high complexity mode case, is differential energy between a predicted image and an input image. Furthermore, QP2Quant (QP) is given as a function of a quantization parameter QP, and HeaderBit is an amount of code regarding information that belongs to a header, such as a motion vector and a mode that does not include a coefficient. of orthogonal transform.
[00115] Em outras palavras, no modo de baixa complexidade, embora um processo de previsão precise ser realizado para cada modo candidato, uma imagem decodificada não é necessária, e o processo de codificação não precisa ser realizado. Por este motivo, o modo de baixa complexidade pode realizar uma quantidade de cálculo mais alta do que àquela do modo de alta complexidade.[00115] In other words, in low complexity mode, although a prediction process needs to be performed for each candidate mode, a decoded image is not required, and the encoding process does not need to be performed. For this reason, the low complexity mode can perform a higher amount of calculation than that of the high complexity mode.
[00116] Neste particular, na HEVC, um método para fazer uma previsão (também referido como uma previsão residual) de um sinal residual entre componentes no momento de 444 codificação foi considerado (por exemplo, veja Documento Não Patente 2).[00116] In this particular, in HEVC, a method for making a prediction (also referred to as a residual prediction) of a residual signal between components at the time of encoding 444 was considered (for example, see Non-Patent Document 2).
[00117] Em um método descrito neste Documento Não Patente 2, um componente de diferença de cor (Cb/Cr) (ou um componente R ou um componente B) é previsto usando um componente de luminância (Y) (ou um componente G) como na seguinte Equação (3). [Fórmula Matemática 3] Δrc(x, y) = rc(x, y) - (α x rL(x, y)) >> 3 ... (3)[00117] In a method described in this Non-Patent Document 2, a color difference component (Cb/Cr) (or an R component or a B component) is predicted using a luminance component (Y) (or a G component) as in the following Equation (3). [Mathematical Formula 3] Δrc(x, y) = rc(x, y) - (α x rL(x, y)) >> 3 ... (3)
[00118] Aqui, rc(x, y) representa dados residuais (uma diferença entre uma imagem de entrada e uma imagem prevista) de um componente de diferença de cor (Cb ou Cr). Além do mais, rL(x, y) representa dados residuais (uma diferença entre uma imagem de entrada e uma imagem prevista) de um componente de luminância (Y). Além do mais, Δrc(x, y) representa um resultado da previsão (os dados residuais do componente de diferença de cor (Cb ou Cr) são previstos usando dados residuais do componente de luminância (Y)) de uma previsão residual (também referidos como dados residuais previstos). Nestes, "x, y" representa uma posição (coordenadas) em uma imagem.[00118] Here, rc(x, y) represents residual data (a difference between an input image and a predicted image) of a color difference component (Cb or Cr). Furthermore, rL(x, y) represents residuals (a difference between an input image and a predicted image) of a luminance (Y) component. Furthermore, Δrc(x, y) represents a prediction result (the residual data of the color difference component (Cb or Cr) is predicted using residual data of the luminance component (Y)) of a residual prediction (also referred to as predicted residuals). In these, "x, y" represents a position (coordinates) in an image.
[00119] Além do mais, α representa um coeficiente de ponderação e toma um valor de um de ±(0, 1, 2, 4, 8). Este valor é definido em unidades de TUs (em outras palavras, o valor é transmitido para o lado de decodificação em unidades de TUs). Aqui, ">>" representa um deslocamento de bit para o lado direito (deslocamento para a direita). Por exemplo, ">> n" representa um deslocamento para a direita correspondente a n bits.[00119] Furthermore, α represents a weighting coefficient and takes a value of one of ±(0, 1, 2, 4, 8). This value is defined in units of TUs (in other words, the value is passed to the decoding side in units of TUs). Here, ">>" represents a bit shift to the right side (right shift). For example, ">> n" represents a shift to the right corresponding to n bits.
[00120] Se uma previsão residual como esta é feita ou não é controlado em unidades de conjuntos de parâmetro de figura (PPS). Em outras palavras, em um PPS, um indicador ativo / inativo que controla se uma previsão residual como esta é feita ou não é transmitido para o lado da decodificação.[00120] Whether or not a residual prediction like this is made is controlled in units of figure parameter sets (PPS). In other words, in a PPS, an on/off indicator that controls whether a residual prediction like this is made or not is passed to the decoding side.
[00121] Neste particular, no geral, as profundidades de bit dos dados de componentes são independentes umas das outras e, assim, há uma possibilidade de que valores mutuamente diferentes sejam definidos. Entretanto, da forma ilustrada na Equação (3) supradescrita, no método de previsão descrito no Documento Não Patente 2, há uma premissa de que as profundidades de bit dos dados residuais (componentes de luminância ou componentes de diferença de cor) dos componentes sejam as mesmas, e um caso em que as profundidades de bit dos dados residuais são diferentes entre os componentes não é considerado. Em outras palavras, em uma previsão representada na Equação (3), em um caso em que as profundidades de bit dos dados residuais forem diferentes umas das outras entre os componentes, uma correta previsão não é feita, e há preocupação de que a eficiência de codificação seja diminuída.[00121] In this particular, in general, the bit depths of component data are independent of each other and thus there is a possibility that mutually different values are defined. However, as illustrated in Equation (3) above, in the prediction method described in Non-Patent Document 2, there is an assumption that the bit depths of the residual data (luminance components or color difference components) of the components are the same, and a case where the residual data bit depths are different between components is not considered. In other words, in a prediction represented in Equation (3), in a case where the bit depths of the residual data are different from each other between the components, a correct prediction is not made, and there is concern that the efficiency of encoding is reduced.
[00122] Assim, quando uma previsão (previsão residual) entre componentes for feita para dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista, as profundidades de bit dos dados residuais são arranjadas para serem uniformes (escalonamento é realizado) entre os componentes. Pelo arranjo como tal, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, uma previsão pode ser feita com as profundidades de bit dos dados residuais dos componentes sendo uniforme e, desta maneira, a previsão residual pode ser corretamente feita. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.[00122] Thus, when a prediction (residual prediction) between components is made for residual data between an input image configured by a plurality of components and a predicted image, the bit depths of the residual data are arranged to be uniform (scaling is performed) between the components. By arrangement as such, also, in a case where the bit depths of the residual data are different between the components, a prediction can be made with the bit depths of the residual data of the components being uniform, and in this way the residual prediction can be done correctly. In this way, a decrease in coding efficiency can be suppressed.
[00123] Embora um método para arranjar as profundidades de bit dos dados residuais como uniformes entre os componentes seja arbitrário, por exemplo, as profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes entre os componentes pela realização de um deslocamento de bit dos dados residuais. Pela configuração como tal, as profundidades de bit dos dados residuais podem ser facilmente arranjadas para serem uniformes entre os componentes. Em outras palavras, a carga do processamento e o tempo do processamento podem ser diminuídos.[00123] Although a method for arranging the residual data bit depths to be uniform across components is arbitrary, for example, the residual data bit depths can be arranged to be uniform across components by performing a bit shift of the residual data. By configuration as such, the bit depths of the residual data can easily be arranged to be uniform across components. In other words, processing load and processing time can be decreased.
[00124] Aqui, o espaço de cor da imagem de entrada na qual as profundidades de bit dos dados residuais são arranjadas para serem uniformes é arbitrário. Por exemplo, o espaço de cor pode ser um espaço YUV (YUV444 ou congêneres) ou um espaço RGB (RGB444 ou congêneres). Por exemplo, em um caso em que o espaço de cor de uma imagem de entrada for o espaço YUV, a previsão pode ser feita com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através de um deslocamento de bit. Mais especificamente, por exemplo, a previsão pode ser feita depois que a profundidade de bit do componente de luminância for arranjada para ser uniforme em relação à profundidade de bit do componente de diferença de cor através de um deslocamento de bit. Além do mais, por exemplo, em um caso em que o espaço de cor da imagem de entrada for o espaço RGB, a previsão pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente G e um componente R ou um componente B através de um deslocamento de bit. Mais especificamente, por exemplo, a previsão pode ser feita depois que a profundidade de bit do componente G for arranjada para ser uniforme em relação à profundidade de bit do componente R ou do componente B através de um deslocamento de bit.[00124] Here, the color space of the input image in which the residual data bit depths are arranged to be uniform is arbitrary. For example, the color space can be a YUV space (YUV444 or congeners) or an RGB space (RGB444 or congeners). For example, in a case where the color space of an input image is YUV space, prediction can be done with the bit depths of the residual data being arranged to be uniform between a luminance component and a difference component. of color through a bit shift. More specifically, for example, the prediction can be made after the bit depth of the luminance component is arranged to be uniform with respect to the bit depth of the color difference component through a bit shift. Furthermore, for example, in a case where the color space of the input image is RGB space, prediction can be performed with the bit depths of the residual data being arranged to be uniform between a G component and a G component. R or a B component through a bit shift. More specifically, for example, prediction can be done after the G component bit depth is arranged to be uniform with respect to the R component or B component bit depth through a bit shift.
[00125] Um exemplo específico do deslocamento de bit (operação de deslocamento) para arranjar as profundidades de bit como uniformes, da forma supradescrita será descrito. Um método para a operação de deslocamento é arbitrário. Por exemplo, em um caso em que uma diferença da profundidade de bit entre dois componentes a serem previstos não for zero, uma previsão pode ser feita com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes através de um deslocamento de bit. Por exemplo, da forma representada na seguinte Equação (4), ela pode ser configurada de maneira tal que uma diferença (diferença da profundidade de bit) das profundidades de bit dos dados residuais entre os componentes seja adquirida e, da forma representada nas Equações (5) até (8), um deslocamento de bit correspondente à diferença da profundidade de bit é feito. Neste momento, o deslocamento de bit correspondente ao valor absoluto da diferença da profundidade de bit, da forma representada nas Equações (6) ou (8), pode ser feito. Em um caso como este, por exemplo, uma direção do deslocamento pode ser determinada da forma representada na Equação (6) e na Equação (8) com base em se as condições de Equação (5) e Equação (7) são satisfeitas ou não. [Fórmula Matemática 4] Δbitdepth = BitDepthY - BitDepthC ... (4) se(Δbitdepth > 0) ... (5) Δrc(x, y) = rc(x, y) - (α x (TL(X, y) >> Δbitdepth)) >> 3 ... (6) caso contrário ... (7) Δrc(x, y) = rc(x, y) - (α x (TL(X, y) << -Δbitdepth)) >> 3 ... (8)[00125] A specific example of bit shifting (shift operation) to arrange the bit depths as uniform as described above will be described. A method for the shift operation is arbitrary. For example, in a case where a bit depth difference between two components to be predicted is not zero, a prediction can be made with the bit depths of the residual data being arranged to be uniform between the components through a shift of bit. For example, as represented in the following Equation (4), it can be configured such that a difference (bit depth difference) of the residual data bit depths between the components is acquired and, as represented in Equations ( 5) to (8), a bit shift corresponding to the bit depth difference is made. At this time, the bit shift corresponding to the absolute value of the bit depth difference, as represented in Equations (6) or (8), can be done. In a case like this, for example, a direction of displacement can be determined as represented in Equation (6) and Equation (8) based on whether the conditions of Equation (5) and Equation (7) are satisfied or not . [Mathematical Formula 4] Δbitdepth = BitDepthY - BitDepthC ... (4) if(Δbitdepth > 0) ... (5) Δrc(x, y) = rc(x, y) - (α x (TL(X, y) >> Δbitdepth)) >> 3 ... (6) otherwise ... (7) Δrc(x, y) = rc(x, y) - (α x (TL(X, y) << -Δbitdepth)) >> 3 ... (8)
[00126] Na Equação (4) até a Equação (8), BitDepthY representa a profundidade de bit dos dados residuais do componente de luminância (Y), e BitDepthC representa a profundidade de bit dos dados residuais do componente de diferença de cor (Cb ou Cr). Além do mais, Δbitdepth representa uma diferença da profundidade de bit (uma diferença entre a profundidade de bit (BitDepthY) dos dados residuais do componente de luminância (Y) e a profundidade de bit (BitDepthC) dos dados residuais do componente de diferença de cor (Cb ou Cr)) entre componentes.[00126] In Equation (4) to Equation (8), BitDepthY represents the bit depth of the residual data of the luminance component (Y), and BitDepthC represents the bit depth of the residual data of the color difference component (Cb or Cr). Furthermore, Δbitdepth represents a bit depth difference (a difference between the bit depth (BitDepthY) of the luminance component residual data (Y) and the bit depth (BitDepthC) of the color difference component residual data (Cb or Cr)) between components.
[00127] Além do mais, rc(x, y) representa os dados residuais do componente de diferença de cor (Cb ou Cr). Além do mais, rL(x, y) representa os dados residuais do componente de luminância (Y). Além do mais, Δrc(x, y) representa dados residuais previstos (os dados residuais do componente de diferença de cor (Cb ou Cr) são previstos usando os dados residuais do componente de luminância (Y)) entre componentes. Nestes, "x, y" representa uma posição (coordenadas) em uma imagem.[00127] Furthermore, rc(x, y) represents the residual data of the color difference component (Cb or Cr). Furthermore, rL(x, y) represents the residual data of the luminance (Y) component. Furthermore, Δrc(x, y) represents predicted residuals (the color difference component residuals (Cb or Cr) are predicted using the luminance component residuals (Y)) between components. In these, "x, y" represents a position (coordinates) in an image.
[00128] Além do mais, α representa um coeficiente de ponderação. O valor de α é arbitrário e, por exemplo, é definido em um valor de um de ±(0, 1, 2, 4, 8). Este valor é definido em unidades de TUs (em outras palavras, o valor é transmitido para o lado da decodificação em unidades de TUs). Aqui, ">>" representa um deslocamento de bit para o lado direito (deslocamento para a direita), e "<<" representa um deslocamento de bit para o lado esquerdo (deslocamento para a esquerda). Por exemplo, ">>n" representa um deslocamento para a direita correspondente a n bits, e "<<m" representa um deslocamento para a esquerda correspondente a m bits.[00128] Furthermore, α represents a weighting coefficient. The value of α is arbitrary and, for example, is set to a value of one of ±(0, 1, 2, 4, 8). This value is defined in units of TUs (in other words, the value is passed to the decoding side in units of TUs). Here, ">>" represents a bit shift to the right side (right shift), and "<<" represents a bit shift to the left side (left shift). For example, ">>n" represents a shift to the right corresponding to n bits, and "<<m" represents a shift to the left corresponding to m bits.
[00129] No caso deste exemplo, da forma representada na Equação (4) até na Equação (8), uma diferença da profundidade de bit (Δbitdepth) entre componentes é calculada usando a Equação (4). Então, em um caso em que este valor satisfaz a condição da Equação (5), em outras palavras, em um caso em que Δbitdepth for zero ou mais, dados residuais previstos (Δrc(x, y)) são calculados como na Equação (6). Da forma representada na Equação (6), embora um método de cálculo deste caso seja, basicamente, o mesmo da Equação (3), os dados residuais previstos (Δrc(x, y)) são calculados pelo deslocamento dos dados residuais (rL(x, y)) do componente de luminância (Y) para o lado direito em correspondência com a diferença da profundidade de bit (Δbitdepth).[00129] In the case of this example, as represented in Equation (4) through Equation (8), a bit depth difference (Δbitdepth) between components is calculated using Equation (4). Then, in a case where this value satisfies the condition of Equation (5), in other words, in a case where Δbitdepth is zero or more, predicted residuals (Δrc(x, y)) are computed as in Equation ( 6). As represented in Equation (6), although a calculation method in this case is basically the same as in Equation (3), the predicted residuals (Δrc(x, y)) are calculated by shifting the residuals (rL( x, y)) of the luminance component (Y) to the right side in correspondence with the bit depth difference (Δbitdepth).
[00130] Por outro lado, em um caso em que a diferença da profundidade de bit (Δbitdepth) entre os componentes tiver um valor negativo (um valor menor do que zero) e não satisfizer a condição da Equação (5) (a condição da Equação (7) é satisfeita), dados residuais previstos (Δrc(x, y)) são calculados como na Equação (8). Da forma representada na Equação (8), embora um método de cálculo deste caso seja, basicamente, o mesmo da Equação (3), os dados residuais previstos (Δrc(x, y)) são calculados pelo deslocamento dos dados residuais (rL(x, y)) do componente de luminância (Y) para o lado esquerdo direito em correspondência com a diferença da profundidade de bit (-Δbitdepth).[00130] On the other hand, in a case where the bit depth difference (Δbitdepth) between the components has a negative value (a value less than zero) and does not satisfy the condition of Equation (5) (the condition of Equation (7) is satisfied), predicted residuals (Δrc(x, y)) are calculated as in Equation (8). As represented in Equation (8), although a calculation method in this case is basically the same as in Equation (3), the predicted residuals (Δrc(x, y)) are calculated by shifting the residuals (rL( x, y)) of the luminance component (Y) to the left right side in correspondence with the bit depth difference (-Δbitdepth).
[00131] Em outras palavras, em um caso como este, a profundidade de bit (BitDepthY) dos dados residuais (rL(x, y)) do componente de luminância (Y) pode ser arranjada para ser uniforme para a profundidade de bit (BitDepthC) dos dados residuais (rc(x, y)) do componente de diferença de cor (Cb ou Cr), e dados residuais previstos (Δrc(x, y)) são calculados. Mais especificamente, uma diferença entre as profundidades de bit de dois componentes usados para uma previsão residual é adquirida, um deslocamento de bit (escalonamento) correspondente a uma diferença entre as profundidades de bit é feito para os dados residuais de um componente dos dois componentes, os dados residuais que passam por deslocamento de bit são multiplicados por um coeficiente de ponderação predeterminado, um deslocamento de bit correspondente a um número de bits predeterminado é feito para um resultado da multiplicação, e uma diferença entre os dados residuais do outro componente e o resultado da multiplicação que passou por deslocamento de bit é adquirida. Uma previsão pode ser feita como exposto.[00131] In other words, in a case like this, the bit depth (BitDepthY) of the residual data (rL(x, y)) of the luminance component (Y) can be arranged to be uniform for the bit depth ( BitDepthC) of the residual data (rc(x, y)) of the color difference component (Cb or Cr), and predicted residual data (Δrc(x, y)) are calculated. More specifically, a difference between the bit depths of two components used for a residual prediction is acquired, a bit shift (scaling) corresponding to a difference between the bit depths is made for the residual data of one component of the two components, the residual data passing bit shift is multiplied by a predetermined weighting coefficient, a bit shift corresponding to a predetermined number of bits is made for a multiplication result, and a difference between the residual data of the other component and the result of the multiplication that passed by bit shift is acquired. A prediction can be made as above.
[00132] Em um caso em que Δbitdepth for zero, a quantidade de deslocamento de bit dos dados residuais (rL(x, y)) do componente de luminância (Y) é zero e, assim, os dados residuais previstos (Δrc(x, y)) podem ser considerados como sendo calculados como na Equação (3).[00132] In a case where Δbitdepth is zero, the residual data bitshift amount (rL(x, y)) of the luminance component (Y) is zero, and thus the predicted residual data (Δrc(x , y)) can be considered as being calculated as in Equation (3).
[00133] Pelo cálculo como exposto, também em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, dados residuais previstos (Δrc(x, y)) podem ser corretamente calculados. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.[00133] By the above calculation, also in a case where the residual data bit depths are different between components, predicted residual data (Δrc(x, y)) can be correctly calculated. In this way, a decrease in coding efficiency can be suppressed.
[00134] A fim de realizar escalonamento da profundidade de bit, como exposto, semântica pode ser descrita como um exemplo ilustrado na figura 2. Uma porção da semântica ilustrada na figura 2 na qual um sublinhado é aplicado é uma descrição correspondente ao escalonamento (por exemplo, Equação (5) até Equação (8)) supradescrito.[00134] In order to perform bit depth scaling, as above, semantics can be described as an example illustrated in Figure 2. A portion of the semantics illustrated in Figure 2 in which an underscore is applied is a description corresponding to the scaling (for example, Equation (5) through Equation (8)) above.
[00135] A figura 3 é um diagrama de blocos que ilustra um exemplo da configuração de um aparelho de codificação de imagem que é um aspecto de um aparelho de processamento de imagem de acordo com a presente tecnologia. O aparelho de codificação de imagem 100 ilustrado na figura 3 codifica dados de imagem de uma imagem em movimento, por exemplo, pelo uso de um processo de previsão de HEVC ou um processo de previsão de um sistema que é em conformidade com o mesmo. A seguir, será descrito um caso como um exemplo no qual o espaço de cor de uma imagem de entrada é YUV444.[00135] Fig. 3 is a block diagram illustrating an example of the configuration of an image coding apparatus which is an aspect of an image processing apparatus according to the present technology. The picture coding apparatus 100 illustrated in Fig. 3 encodes picture data of a moving picture, for example, by using an HEVC prediction process or a prediction process of a system that conforms thereto. In the following, a case will be described as an example in which the color space of an input image is YUV444.
[00136] Da forma ilustrada na figura 3, o aparelho de codificação de imagem 100 inclui: um buffer de rearranjo de tela 102; uma unidade de cálculo 103; uma unidade de transformada ortogonal 104; uma unidade de quantização 105; uma unidade de codificação reversível 106; um buffer de acúmulo 107; uma unidade de quantização inversa 108; e uma unidade de transformada ortogonal inversa 109. Além do mais, o aparelho de codificação de imagem 100 inclui: uma unidade de cálculo 110; um filtro em malha 111; uma memória de quadro 112; uma unidade de intraprevisão 113; uma unidade de interprevisão 114; uma unidade de seleção de imagem prevista 115; e uma unidade de controle de taxa 116. Além do mais, o aparelho de codificação de imagem 100 inclui: uma unidade de processamento de cabeçalho 121; uma unidade de previsão residual 122; e uma unidade de restauração residual 123.[00136] As illustrated in Figure 3, the image coding apparatus 100 includes: a screen rearrangement buffer 102; a calculation unit 103; an orthogonal transform unit 104; a quantization unit 105; a reversible coding unit 106; an accumulation buffer 107; an inverse quantization unit 108; and an inverse orthogonal transform unit 109. Furthermore, the image coding apparatus 100 includes: a calculation unit 110; a mesh filter 111; a frame memory 112; an intraprediction unit 113; an interprediction unit 114; a predicted image selection unit 115; and a rate control unit 116. Furthermore, the picture coding apparatus 100 includes: a header processing unit 121; a residual prediction unit 122; and a residual restoration unit 123.
[00137] O buffer de rearranjo de tela 102 armazena imagens de quadros dos dados de imagem de entrada na ordem de exibição, rearranja as imagens armazenadas dos quadros na ordem para codificação de acordo com um Grupo De Figura (GOP), e supre as imagens adquiridas pelo rearranjo da ordem de quadros para a unidade de cálculo 103. Além do mais, o buffer de rearranjo de tela 102 supre as imagens adquiridas pelo rearranjo da ordem de quadros, também, para a unidade de intraprevisão 113 e a unidade de interprevisão 114.[00137] The screen rearrangement buffer 102 stores frame images of the input image data in the display order, rearranges the stored images of the frames in the order for encoding according to a Picture Group (GOP), and supplies the images acquired by the frame order rearrangement to the calculation unit 103. Furthermore, the screen rearrangement buffer 102 supplies the images acquired by the frame order rearrangement also to the intraprediction unit 113 and the interprediction unit 114 .
[00138] A unidade de cálculo 103 subtrai uma imagem prevista suprida a partir da unidade de intraprevisão 113 ou da unidade de interprevisão 114 através da unidade de seleção de imagem prevista 115 a partir de uma imagem lida a partir do buffer de rearranjo de tela 102 e supre informação da diferença (dados residuais) da mesma para a unidade de previsão residual 122. Por exemplo, no caso de uma imagem para a qual intracodificação é realizada, a unidade de cálculo 103 subtrai uma imagem prevista suprida a partir da unidade de intraprevisão 113 de uma imagem lida a partir do buffer de rearranjo de tela 102. Por outro lado, por exemplo, no caso de uma imagem para a qual intercodificação é realizada, a unidade de cálculo 103 subtrai uma imagem prevista suprida a partir da unidade de interprevisão 114 de uma imagem lida a partir do buffer de rearranjo de tela 102.[00138] The calculation unit 103 subtracts a predicted image supplied from the intraprediction unit 113 or the interprediction unit 114 through the predicted image selection unit 115 from an image read from the screen rearrangement buffer 102 and supplies difference information (residual data) thereof to the residual prediction unit 122. For example, in the case of a picture for which intracoding is performed, the calculation unit 103 subtracts a supplied predicted picture from the intraprediction unit 113 of a picture read from the screen rearrangement buffer 102. On the other hand, for example, in the case of a picture for which intercoding is performed, the calculation unit 103 subtracts a supplied predicted picture from the interprediction unit 114 of an image read from screen rearrangement buffer 102.
[00139] A unidade de transformada ortogonal 104 realiza uma transformada ortogonal, tais como uma transformada discreta de cosseno ou uma transformada Karhuren-Loève, para os dados residuais do componente de luminância ou os dados residuais previstos do componente de diferença de cor supridos a partir da unidade de previsão residual 122. A unidade de transformada ortogonal 104 supre coeficientes de transformada adquiridos através da transformada ortogonal para a unidade de quantização 105.[00139] The orthogonal transform unit 104 performs an orthogonal transform, such as a discrete cosine transform or a Karhuren-Loève transform, for the luminance component residual data or the color difference component predicted residual data supplied from from the residual prediction unit 122. The orthogonal transform unit 104 supplies transform coefficients acquired through the orthogonal transform to the quantization unit 105.
[00140] A unidade de quantização 105 quantiza os coeficientes de transformada supridos a partir da unidade de transformada ortogonal 104. A unidade de quantização 105 define parâmetros de quantização com base na informação em relação a um valor alvo de uma quantidade de codificação que é suprida a partir da unidade de controle de taxa 116 e realiza a quantização dos mesmos. A unidade de quantização 105 supre os coeficientes de transformada quantizados para a unidade de codificação reversível 106.[00140] The quantization unit 105 quantizes the transform coefficients supplied from the orthogonal transform unit 104. The quantization unit 105 defines quantization parameters based on information regarding a target value of a coding quantity that is supplied from the rate control unit 116 and quantize them. The quantization unit 105 supplies the quantized transform coefficients to the reversible coding unit 106.
[00141] A unidade de codificação reversível 106 codifica os coeficientes de transformada quantizados, quantizados pela unidade de quantização 105 usando um sistema de codificação arbitrário. Já que os dados de coeficiente são quantizados sob o controle da unidade de controle de taxa 116, a quantidade de codificação se torna o valor alvo (ou um valor próximo do valor alvo) definido pela unidade de controle de taxa 116.[00141] The reversible coding unit 106 encodes the quantized transform coefficients quantized by the quantization unit 105 using an arbitrary coding system. Since the coefficient data is quantized under the control of the rate control unit 116, the encoding amount becomes the target value (or a value close to the target value) set by the rate control unit 116.
[00142] Além do mais, a unidade de codificação reversível 106 adquire informação que representa o modo da intraprevisão e congêneres a partir da unidade de intraprevisão 113 e adquire a informação que representa o modo da interprevisão, informação do vetor de movimento diferencial e congêneres a partir da unidade de interprevisão 114.[00142] Furthermore, the reversible coding unit 106 acquires information representing the intraforecast mode and the like from the intraforecast unit 113 and acquires the information representing the interforecast mode, differential motion vector information and the like at from the interprediction unit 114.
[00143] A unidade de codificação reversível 106 codifica tais vários itens de informação usando um sistema de codificação arbitrário e configura a informação codificada como uma parte da informação de cabeçalho dos dados codificados (também referidos como um fluxo contínuo codificado) (multiplexado). A unidade de codificação reversível 106 supre os dados codificados adquiridos pelo processo de codificação para o buffer de acúmulo 107, desse modo, acumulando os dados codificados nos mesmos.[00143] The reversible coding unit 106 encodes such various items of information using an arbitrary coding system and sets the encoded information as a header information part of the encoded data (also referred to as an encoded stream) (multiplexed). The reversible coding unit 106 supplies the encoded data acquired by the encoding process to the accumulation buffer 107, thereby accumulating the encoded data therein.
[00144] Exemplos do sistema de codificação da unidade de codificação reversível 106 incluem uma codificação de comprimento variável, codificação aritmética e congêneres. Como exemplos da codificação de comprimento variável, há Codificação de Comprimento Variável Adaptável ao Contexto (CAVLC) definida no sistema H.264/AVC e congêneres. Como exemplos da codificação aritmética, há Codificação Aritmética Binária Adaptável ao Contexto (CABAC) ou congêneres.[00144] Examples of the encoding system of the reversible encoding unit 106 include variable length encoding, arithmetic encoding, and the like. As examples of variable length encoding, there is Context Adaptive Variable Length Encoding (CAVLC) defined in the H.264/AVC system and the like. As examples of arithmetic coding, there are Context Adaptive Binary Arithmetic Coding (CABAC) or congeners.
[00145] O buffer de acúmulo 107 mantém temporariamente os dados codificados supridos a partir da unidade de codificação reversível 106. Além do mais, o buffer de acúmulo 107 transmite os dados codificados mantidos para o exterior do aparelho de codificação de imagem 100 em sincronização predeterminada. Em outras palavras, o buffer de acúmulo 107 é uma unidade de transmissão que também transmite os dados codificados.[00145] The accumulation buffer 107 temporarily holds the coded data supplied from the reversible coding unit 106. Furthermore, the accumulation buffer 107 transmits the held coded data out of the image coding apparatus 100 in predetermined synchronization . In other words, the accumulation buffer 107 is a transmission unit that also transmits the encoded data.
[00146] Além do mais, os coeficientes de transformada quantizados pela unidade de quantização 105 também são supridos para a unidade de quantização inversa 108. A unidade de quantização inversa 108 realiza quantização inversa dos coeficientes de transformada quantizados pelo uso de um método correspondente ao processo de quantização realizado pela unidade de quantização 105. A unidade de quantização inversa 108 supre os coeficientes de transformada adquiridos pelo processo de quantização inversa para a unidade de transformada ortogonal inversa 109.[00146] Furthermore, the transform coefficients quantized by the quantization unit 105 are also supplied to the inverse quantization unit 108. The inverse quantization unit 108 performs inverse quantization of the quantized transform coefficients by using a method corresponding to the process of quantization performed by the quantization unit 105. The inverse quantization unit 108 supplies the transform coefficients acquired by the inverse quantization process to the inverse orthogonal transform unit 109.
[00147] A unidade de transformada ortogonal inversa 109 realiza uma transformada ortogonal inversa dos coeficientes de transformada supridos a partir da unidade de quantização inversa 108 pelo uso de um método correspondente ao processo de transformada ortogonal realizado pela unidade de transformada ortogonal 104. A unidade de transformada ortogonal inversa 109 supre a saída (os dados residuais do componente de luminância restaurado e os dados residuais previstos do componente de diferença de cor) para a qual a transformada ortogonal inversa é realizada para a unidade de restauração residual 123. Além do mais, a unidade de transformada ortogonal inversa 109 também supre os dados residuais do componente de luminância restaurado para a unidade de previsão residual 122.[00147] The inverse orthogonal transform unit 109 performs an inverse orthogonal transform of the transform coefficients supplied from the inverse quantization unit 108 by using a method corresponding to the orthogonal transform process performed by the orthogonal transform unit 104. Inverse orthogonal transform 109 supplies the output (the residual data of the restored luminance component and the predicted residual data of the color difference component) for which the inverse orthogonal transform is performed to the residual restoration unit 123. Inverse orthogonal transform unit 109 also supplies the restored luminance component residual data to residual prediction unit 122.
[00148] A unidade de cálculo 110 adiciona uma imagem prevista suprida a partir da unidade de intraprevisão 113 ou da unidade de interprevisão 114 através da unidade de seleção de imagem prevista 115 nos dados residuais restaurados de cada componente suprido a partir da unidade de restauração residual 123, desse modo, adquirindo uma imagem (a seguir, referida como uma imagem de reconstrução) que é localmente reconstruída. A imagem restaurada é suprida para o filtro em malha 111 ou a unidade de intraprevisão 113.[00148] The calculation unit 110 adds a predicted image supplied from the intraprediction unit 113 or the interprediction unit 114 through the predicted image selection unit 115 to the restored residual data of each component supplied from the residual restoration unit 123, thereby acquiring an image (hereinafter referred to as a reconstruction image) which is locally reconstructed. The restored image is supplied to mesh filter 111 or intraprediction unit 113.
[00149] O filtro em malha 111 inclui um filtro de desbloqueio, um filtro em malha adaptativo ou congêneres e realiza apropriadamente um processo de filtro para uma imagem de reconstrução suprida a partir da unidade de cálculo 110. Por exemplo, o filtro em malha 111 remove uma distorção do bloco da imagem de reconstrução pela realização de um processo do filtro de desbloqueio para a imagem de reconstrução. Além do mais, por exemplo, o filtro em malha 111 realiza um processo de filtro em malha usando um filtro Wiener para um resultado (uma imagem de reconstrução a partir da qual a distorção do bloco foi removida) do processo do filtro de desbloqueio, desse modo, melhorando a qualidade da imagem.[00149] The mesh filter 111 includes a deblocking filter, an adaptive mesh filter or the like and appropriately performs a filter process for a reconstruction image supplied from the calculation unit 110. For example, the mesh filter 111 removes a block distortion from the reconstruction image by performing a deblocking filter process on the reconstruction image. Furthermore, for example, the mesh filter 111 performs a mesh filter process using a Wiener filter for an output (a reconstruction image from which block distortion has been removed) from the deblocking filter process, thus mode, improving image quality.
[00150] Além do mais, o filtro em malha 111 pode ser configurado para realizar qualquer outro processo de filtro arbitrário adicional para a imagem de reconstrução. Além do mais, o filtro em malha 111, conforme seja necessário, pode ser configurado para suprir informação, tais como coeficientes de filtro usados para o processo de filtro e congêneres, para a unidade de codificação reversível 106 para codificar a informação.[00150] Furthermore, the mesh filter 111 can be configured to perform any other additional arbitrary filter process for the reconstruction image. Furthermore, the mesh filter 111, as needed, can be configured to supply information, such as filter coefficients used for the filter process and the like, to the reversible coding unit 106 to encode the information.
[00151] O filtro em malha 111 supre um resultado do processo de filtro (a seguir, referida como uma imagem decodificada) para a memória de quadro 112.[00151] The mesh filter 111 supplies a result of the filter process (hereinafter referred to as a decoded image) to the frame memory 112.
[00152] A memória de quadro 112 armazena a imagem decodificada suprida e supre a imagem decodificada armazenada para a unidade de interprevisão 114 em sincronização predeterminada como uma imagem de referência.[00152] The frame memory 112 stores the supplied decoded picture and supplies the stored decoded picture to the interprediction unit 114 in predetermined synchronization as a reference picture.
[00153] A unidade de intraprevisão 113 realiza uma intraprevisão (previsão intratela) na qual uma imagem prevista é gerada pelo uso de valores de pixel em uma figura alvo de processamento que é uma imagem de reconstrução suprida a partir da unidade de cálculo 110 como uma imagem de referência. A unidade de intraprevisão 113 realiza a intraprevisão usando uma pluralidade de modos de intraprevisão preparados antecipadamente.[00153] The intraprediction unit 113 performs an intraprediction (intrascreen prediction) in which a predicted image is generated by using pixel values in a processing target figure which is a reconstruction image supplied from the calculation unit 110 as a reference image. The intraprediction unit 113 performs intraprediction using a plurality of preprepared intraprediction modes.
[00154] A unidade de intraprevisão 113 gera imagens previstas em todos os modos de intraprevisão que são candidatos, avalia um valor da função de custo de cada imagem prevista pelo uso de uma imagem de entrada suprida a partir do buffer de rearranjo de tela 102, e seleciona um modo ideal. Quando o modo de intraprevisão ideal for selecionado, a unidade de intraprevisão 113 supre a imagem prevista gerada no modo ideal para a unidade de seleção de imagem prevista 115.[00154] The intraprediction unit 113 generates predicted images in all intraprediction modes that are candidates, evaluates a cost function value of each predicted image using an input image supplied from the screen rearrangement buffer 102, and selects an ideal mode. When the ideal intraprediction mode is selected, the intraprediction unit 113 supplies the predicted image generated in the ideal mode to the predicted image selection unit 115.
[00155] Além do mais, como exposto, a unidade de intraprevisão 113 supre apropriadamente a informação do modo de intraprevisão que representa o modo de intraprevisão empregado e congêneres para a unidade de codificação reversível 106 para codificar a mesma.[00155] Furthermore, as stated, the intraprediction unit 113 appropriately supplies the intraprediction mode information representing the employed intraprediction mode and the like to the reversible coding unit 106 for coding the same.
[00156] A unidade de interprevisão 114 realiza um processo de interprevisão (um processo de previsão de movimento e um processo de compensação) pelo uso de uma imagem de entrada suprida a partir do buffer de rearranjo de tela 102 e uma imagem de referência suprida a partir da memória de quadro 112. Mais especificamente, a unidade de interprevisão 114 realiza um processo de compensação de movimento de acordo com um vetor de movimento detectado pela realização de uma previsão de movimento como um processo de interprevisão, desse modo, gerando uma imagem prevista (informação da imagem de interprevisão). A unidade de interprevisão 114 realiza uma interprevisão como esta em uma pluralidade de modos de interprevisão preparados antecipadamente.[00156] The interprediction unit 114 performs an interprediction process (a motion prediction process and a compensation process) by using an input image supplied from the screen rearrangement buffer 102 and a reference image supplied from from the frame memory 112. More specifically, the interprediction unit 114 performs a motion compensation process according to a motion vector detected by performing a motion prediction as an interprediction process, thereby generating a predicted image. (information from the interforecast image). The interprediction unit 114 performs such an interprediction in a plurality of prearranged interprediction modes.
[00157] A unidade de interprevisão 114 gera imagens de previsão em todos os modos de interprevisão que são candidatos. A unidade de interprevisão 114 avalia um valor da função de custo de cada imagem prevista pelo uso da imagem de entrada suprida a partir do buffer de rearranjo de tela 102 e da informação do vetor de movimento da diferença gerado e congêneres, e seleciona um modo ideal. Quando o modo de interprevisão ideal for selecionado, a unidade de interprevisão 114 supre a imagem prevista gerada no modo ideal para a unidade de seleção de imagem prevista 115.[00157] The interprediction unit 114 generates prediction images in all the interprediction modes that are candidates. The interprediction unit 114 evaluates a cost function value of each image predicted by using the input image supplied from the screen rearrangement buffer 102 and the generated difference motion vector information and the like, and selects an optimal mode . When the ideal interprediction mode is selected, the interprediction unit 114 supplies the predicted image generated in the ideal mode to the predicted image selection unit 115.
[00158] A unidade de interprevisão 114 supre informação que representa um modo de interprevisão empregado, informação exigida para realizar o processo no modo de interprevisão no momento da decodificação dos dados codificados e congêneres para a unidade de codificação reversível 106 para codificar a informação. Como a informação exigida, por exemplo, há informação do vetor de movimento da diferença gerado, um indicador que representa um índice de um vetor de movimento previsto como informação do vetor de movimento previsto e congêneres.[00158] The interprediction unit 114 supplies information representing an employed interprediction mode, information required to carry out the process in the interprediction mode at the time of decoding the encoded data and the like to the reversible coding unit 106 for encoding the information. As the required information, for example, there is generated difference motion vector information, an indicator representing an index of a predicted motion vector as predicted motion vector information, and the like.
[00159] A unidade de seleção de imagem prevista 115 seleciona uma fonte de suprimento de uma imagem prevista a ser suprida para a unidade de cálculo 103 e a unidade de cálculo 110. Por exemplo, no caso da intracodificação, a unidade de seleção de imagem prevista 115 seleciona a unidade de intraprevisão 113 como uma fonte de suprimento de uma imagem prevista e supre a imagem prevista suprida a partir da unidade de intraprevisão 113 para a unidade de cálculo 103 e a unidade de cálculo 110. Por outro lado, por exemplo, no caso da intercodificação, a unidade de seleção de imagem prevista 115 seleciona a unidade de interprevisão 114 como uma fonte de suprimento de uma imagem prevista e supre a imagem prevista suprida a partir da unidade de interprevisão 114 para a unidade de cálculo 103 e a unidade de cálculo 110.[00159] The predicted image selection unit 115 selects a supply source of a predicted image to be supplied to the calculation unit 103 and the calculation unit 110. For example, in the case of intracoding, the image selection unit Forecast 115 selects the intraforecast unit 113 as a source of supplying a predicted image and supplies the predicted image supplied from the intraforecast unit 113 to the calculation unit 103 and the calculation unit 110. On the other hand, for example, in the case of intercoding, the predicted picture selection unit 115 selects the interprediction unit 114 as a source of supplying a predicted picture and supplies the supplied predicted picture from the interprediction unit 114 to the calculation unit 103 and the unit of calculus 110.
[00160] A unidade de controle de taxa 116 controla a taxa da operação de quantização realizada pela unidade de quantização 105 com base na quantidade de codificação dos dados codificados acumulados no buffer de acúmulo 107, de maneira tal que um sobrefluxo ou um subfluxo não ocorram.[00160] The rate control unit 116 controls the rate of the quantization operation performed by the quantization unit 105 based on the encoding amount of the encoded data accumulated in the accumulation buffer 107, in such a way that an overflow or an underflow does not occur .
[00161] A unidade de processamento de cabeçalho 121, por exemplo, gera informação adicional (também referida como informação de cabeçalho), tais como um conjunto do parâmetro de vídeo (VPS), um conjunto de parâmetro de sequência (SPS), um conjunto de parâmetro de figura (PPS), informação de intensificação complementar (SEI) e um cabeçalho de fatia diferente da informação de imagem. A unidade de processamento de cabeçalho 121 supre a informação de cabeçalho gerada para a unidade de codificação reversível 106 e transmite a informação de cabeçalho tendo sido incluída em um fluxo contínuo de bits para o lado da decodificação. Além do mais, a unidade de processamento de cabeçalho 121 supre informação necessária entre a informação de cabeçalho gerada para a unidade de previsão residual 122. Detalhes disto serão descritos a seguir.[00161] The header processing unit 121, for example, generates additional information (also referred to as header information), such as a video parameter set (VPS), a sequence parameter set (SPS), a of picture parameter (PPS), supplemental enhancement information (SEI) and a slice header different from the picture information. The header processing unit 121 supplies the generated header information to the reversible coding unit 106 and transmits the header information having been included in a continuous stream of bits to the decoding side. Furthermore, the header processing unit 121 supplies necessary information among the generated header information to the residual prediction unit 122. Details of this will be described below.
[00162] A unidade de previsão residual 122 realiza uma previsão residual pelo uso dos dados residuais de um componente de diferença de cor suprido a partir da unidade de cálculo 103 e dos dados residuais de um componente de luminância restaurado suprido a partir da unidade de transformada ortogonal inversa 109. Mais especificamente, a unidade de previsão residual 122 realiza uma previsão dos dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância restaurado, desse modo, gerando dados residuais previstos. Neste momento, a unidade de previsão residual 122 realiza uma previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes. Detalhes disto serão descritos a seguir. A unidade de previsão residual 122 supre os dados residuais previstos do componente de diferença de cor adquiridos através de uma previsão residual como esta e os dados residuais do componente de luminância supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que a previsão residual não for realizada, a unidade de previsão residual 122 supre os dados residuais de cada componente supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.[00162] The residual prediction unit 122 performs a residual prediction by using the residual data of a color difference component supplied from the calculation unit 103 and the residual data of a restored luminance component supplied from the transform unit Inverse orthogonal 109. More specifically, the residual prediction unit 122 performs a prediction of the residual data of the color difference component by using the residual data of the restored luminance component, thereby generating predicted residual data. At this time, the residual prediction unit 122 performs a prediction with the bit depths of the residual data arranged to be uniform across the components. Details of this will be described below. The residual prediction unit 122 supplies the predicted residuals of the color difference component acquired through a residual prediction like this, and the residuals of the luminance component supplied from the calculation unit 103 to the orthogonal transform unit 104. On the other hand, in a case where the residual prediction is not performed, the residual prediction unit 122 supplies the residual data of each component supplied from the calculation unit 103 to the orthogonal transform unit 104.
[00163] A unidade de restauração residual 123 restaura os dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância e dos dados residuais previstos do componente de diferença de cor supridos a partir da unidade de transformada ortogonal inversa 109 (também referida como restauração residual). Neste momento, a unidade de restauração residual 123 realiza restauração pelo arranjo das profundidades de bit dos dados residuais para serem uniformes entre os componentes. O processo da restauração residual é, basicamente, similar ao processo da restauração residual realizado no lado da decodificação e, assim, quando o lado da decodificação for descrito, a descrição do processo da restauração residual será apresentada pelo uso da descrição para o lado da decodificação. A unidade de restauração residual 123 supre os dados residuais de cada componente que foi restaurado para a unidade de cálculo 110.[00163] The residual restoration unit 123 restores the color difference component residual data by using the luminance component residual data and the predicted color difference component residual data supplied from the inverse orthogonal transform unit 109 ( also referred to as residual restoration). At this time, the residual restoration unit 123 performs restoration by arranging the bit depths of the residual data to be uniform among the components. The residual restoration process is basically similar to the residual restoration process performed on the decoding side, and so when the decoding side is described, the description of the residual restoration process will be presented by using the description for the decoding side. . The residual restoration unit 123 supplies the residual data of each component that has been restored to the calculation unit 110.
[00164] <Unidade de processamento de cabeçalho e unidade de previsão residual>[00164] <Header processing unit and residual forecast unit>
[00165] A figura 4 é um diagrama de blocos que ilustra um exemplo das configurações principais da unidade de processamento de cabeçalho 121 e da unidade de previsão residual 122 ilustradas na figura 3. Da forma ilustrada na figura 4, a unidade de processamento de cabeçalho 121 inclui: uma unidade de processamento de SPS 131; e uma unidade de processamento de PPS 132.[00165] Figure 4 is a block diagram illustrating an example of the main configurations of the header processing unit 121 and the residual prediction unit 122 shown in figure 3. As illustrated in figure 4, the header processing unit 121 includes: an SPS processing unit 131; and a PPS processing unit 132.
[00166] A unidade de processamento de SPS 131, por exemplo, realiza um processo em relação à geração de um conjunto de parâmetro de sequência (SPS). Além do mais, a unidade de processamento de SPS 131, por exemplo, supre informação que inclui informação (por exemplo, bit_depth_luma_minus8), que é incluída no conjunto de parâmetro de sequência (SPS), que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor para a unidade de previsão residual 122 (uma unidade de cálculo da diferença da profundidade de bit 151 a ser descrita posteriormente).[00166] The SPS processing unit 131, for example, performs a process in relation to the generation of a sequence parameter set (SPS). Furthermore, the SPS processing unit 131, for example, supplies information that includes information (e.g., bit_depth_luma_minus8), which is included in the sequence parameter set (SPS), which represents the bit depth of the luminance component or information including information representing the bit depth of the luminance component and information (e.g. bit_depth_chroma_minus8) representing the bit depth of the color difference component (Cb/Cr) or information including information representing the bit depth of the color difference component to the residual prediction unit 122 (a bit depth difference calculation unit 151 to be described later).
[00167] A unidade de processamento de PPS 132, por exemplo, realiza um processo em relação à geração de um conjunto de parâmetro de figura (PPS). Além do mais, a unidade de processamento de PPS 132, por exemplo, supre informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se uma previsão residual é realizada ou não para a unidade de previsão residual 122 (uma unidade de controle de deslocamento de bit 152 a ser descrita posteriormente).[00167] The PPS processing unit 132, for example, performs a process in relation to the generation of a figure parameter set (PPS). Furthermore, the PPS processing unit 132, for example, supplies information (e.g., luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS), used to control whether or not a residual prediction is performed for the residual prediction unit 122 (a bit shift control unit 152 to be described later).
[00168] A unidade de previsão residual 122 supre os dados residuais (rY(x, y)) do componente de luminância supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104. A unidade de previsão residual 122 inclui uma unidade de controle 141 e uma unidade de previsão 142. A unidade de controle 141 realiza um processo em relação ao controle de cálculo de uma previsão residual. A unidade de previsão 142 é controlada pela unidade de controle 141 e realiza cálculo em relação à previsão da mesma. Por exemplo, a unidade de previsão 142, sob o controle da unidade de controle 141, gera dados residuais previstos (Δrcr(x, y) e Δrcb(x, y)) fazendo uma previsão (previsão residual) dos dados residuais (rCr(x, y) e rCb(x, y)) do componente de diferença de cor, que é adquirido a partir da unidade de cálculo 103, pelo uso do componente residual restaurado (r'Y(x, y)) do componente de luminância, que é adquirido a partir da unidade de transformada ortogonal inversa 109, e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Além do mais, a unidade de previsão 142, sob o controle da unidade de controle 141, supre os dados residuais (rCr(x, y) e rCb(x, y)) do componente de diferença de cor adquirido a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104 sem fazer uma previsão residual.[00168] The residual prediction unit 122 supplies the residual data (rY(x, y)) of the luminance component supplied from the calculation unit 103 to the orthogonal transform unit 104. The residual prediction unit 122 includes a unit control unit 141 and a forecasting unit 142. The control unit 141 performs a process in relation to calculating control of a residual forecast. The prediction unit 142 is controlled by the control unit 141 and performs calculation with respect to the prediction thereof. For example, the prediction unit 142, under the control of the control unit 141, generates predicted residuals (Δrcr(x, y) and Δrcb(x, y)) by making a prediction (residual prediction) of the residuals (rCr( x, y) and rCb(x, y)) of the color difference component, which is acquired from the calculation unit 103, by using the restored residual component (r'Y(x, y)) of the luminance component , which is acquired from the inverse orthogonal transform unit 109, and supplies the generated predicted residual data to the orthogonal transform unit 104. Furthermore, the prediction unit 142, under the control of the control unit 141, supplies the residual data (rCr(x, y) and rCb(x, y)) of the color difference component acquired from the calculation unit 103 to the orthogonal transform unit 104 without making a residual prediction.
[00169] A unidade de controle 141 inclui: uma unidade de cálculo da diferença da profundidade de bit 151; uma unidade de controle de deslocamento de bit 152; e uma unidade de definição do coeficiente de ponderação 153.[00169] The control unit 141 includes: a bit depth difference calculation unit 151; a bit shift control unit 152; and a weighting coefficient setting unit 153.
[00170] A unidade de cálculo da diferença da profundidade de bit 151 calcula uma diferença da profundidade de bit entre os dados residuais dos componentes usados para uma previsão residual. Por exemplo, a unidade de cálculo da diferença da profundidade de bit 151 adquire a informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou a informação que inclui a informação que representa a profundidade de bit do componente de luminância e a informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou a informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor a partir da unidade de processamento de SPS 131 e calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes pela realização do cálculo representado na Equação (4) pelo uso de tal informação. A unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de controle de deslocamento de bit 152.[00170] The bit depth difference calculation unit 151 calculates a bit depth difference between the residual data of the components used for a residual prediction. For example, the bit depth difference calculation unit 151 acquires information (e.g. bit_depth_luma_minus8) representing the bit depth of the luminance component or information including information representing the bit depth of the luminance component and information (e.g., bit_depth_chroma_minus8) representing the bit depth of the color difference component (Cb/Cr) or information including information representing the bit depth of the color difference component from the unit of processing SPS 131 and calculates a bit depth difference (delta_bitdepth) between the components by performing the calculation represented in Equation (4) by using such information. The bit depth difference calculation unit 151 supplies the calculated bit depth difference (delta_bitdepth) to the bit shift control unit 152.
[00171] Além do mais, a unidade de cálculo da diferença da profundidade de bit 151, sob o controle da unidade de controle de deslocamento de bit 152, supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de previsão 142. Por exemplo, em um caso em que um deslocamento para a direita dos dados residuais for realizado no momento do escalonamento da profundidade de bit, a unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de deslocamento direito 162. Por outro lado, em um caso em que um deslocamento para a esquerda dos dados residuais for realizado no momento do escalonamento da profundidade de bit, a unidade de cálculo da diferença da profundidade de bit 151 supre a diferença da profundidade de bit calculada (-delta_bitdepth) para a unidade de deslocamento esquerdo 163.[00171] Furthermore, the bit depth difference calculation unit 151, under the control of the bit shift control unit 152, supplies the calculated bit depth difference (delta_bitdepth) to the prediction unit 142. For example, in a case where a right shift of the residual data is performed at the time of bit depth scaling, the bit depth difference calculation unit 151 supplies the calculated bit depth difference (delta_bitdepth) to the right shift unit 162. On the other hand, in a case where a left shift of the residual data is performed at the time of bit depth scaling, the bit depth difference calculation unit 151 supplies the difference of the bit depth difference. calculated bit depth (-delta_bitdepth) for left shift unit 163.
[00172] A unidade de controle de deslocamento de bit 152 controla o cálculo realizado pela unidade de previsão 142 com base no valor da diferença da profundidade de bit (delta_bitdepth) entre os componentes supridos a partir da unidade de cálculo da diferença da profundidade de bit 151. Por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for zero, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que um deslocamento de bit (o escalonamento da profundidade de bit) dos dados residuais não seja realizado. Além do mais, neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth) não seja suprida para a unidade de previsão 142.[00172] The bit shift control unit 152 controls the calculation performed by the prediction unit 142 based on the bit depth difference value (delta_bitdepth) between the components supplied from the bit depth difference calculation unit 151. For example, in a case where the bit depth difference (delta_bitdepth) is zero, the bit shift control unit 152 performs control of the prediction unit 142 (the selection unit 161 thereof), so such that a bit shift (the bit depth scaling) of the residual data is not performed. Furthermore, at this time, the bit shift control unit 152 also performs control of the bit depth difference calculation unit 151, such that the bit depth difference (delta_bitdepth) is not supplied to the bit depth unit. of prediction 142.
[00173] Além do mais, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor positivo (> 0), a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado direito (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth) seja suprida para a unidade de previsão 142 (a unidade de deslocamento direito 162).[00173] Furthermore, for example, in a case where the bit depth difference (delta_bitdepth) has a positive value (> 0), the bit shift control unit 152 performs control of the prediction unit 142 ( the selection unit 161 thereof), in such a way that the residual data is shifted to the right side (bit depth scaling is performed). Furthermore, at this time, the bit shift control unit 152 also performs control of the bit depth difference calculation unit 151, such that the bit depth difference (delta_bitdepth) is supplied to the bit depth difference unit 151. forecast 142 (the right shift unit 162).
[00174] Por outro lado, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor negativo (< 0), a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 (a unidade de seleção 161 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado esquerdo (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 152 também realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (-delta_bitdepth) seja suprida para a unidade de previsão 142 (a unidade de deslocamento esquerdo 163).[00174] On the other hand, for example, in a case where the bit depth difference (delta_bitdepth) has a negative value (< 0), the bit shift control unit 152 performs control of the prediction unit 142 ( the selection unit 161 thereof), in such a way that the residual data is shifted to the left side (bit depth scaling is performed). Furthermore, at this time, the bit shift control unit 152 also performs control of the bit depth difference calculation unit 151, such that the bit depth difference (-delta_bitdepth) is supplied to the bit depth unit. of prediction 142 (the left shift unit 163).
[00175] Além do mais, a unidade de controle de deslocamento de bit 152, por exemplo, adquire informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não a partir da unidade de processamento de PPS 132 e controla se uma previsão residual é realizada ou não com base no valor da mesma. Por exemplo, em um caso em que for representado que uma previsão residual não é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142, de maneira tal que cálculo em relação à previsão não seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que o suprimento da diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja interrompido. Além do mais, a unidade de controle de deslocamento de bit 152, em um caso como este, realiza controle da unidade de definição do coeficiente de ponderação 153, de maneira tal que o coeficiente de ponderação α não seja definido.[00175] Furthermore, the bit shift control unit 152, for example, acquires information (for example, luma_chroma_prediction_enabled_flag) used to control whether a residual prediction is performed or not from the PPS processing unit 132 and controls whether or not a residual forecast is realized based on its value. For example, in a case where it is represented that a residual prediction is not realized based on the information used to control whether a residual prediction is realized or not, the bit shift control unit 152 performs control of the prediction unit 142, in such a way that calculation against the forecast is not performed. Furthermore, in such a case, the bit shift control unit 152 performs control of the bit depth difference calculation unit 151, such that supplying the bit depth difference (delta_bitdepth or -delta_bitdepth ) is interrupted. Furthermore, the bit shift control unit 152, in such a case, performs control of the weighting coefficient setting unit 153 such that the weighting coefficient α is not set.
[00176] Por outro lado, por exemplo, em um caso em que for representado que uma previsão residual é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de previsão 142 de maneira tal que o cálculo em relação à previsão seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de cálculo da diferença da profundidade de bit 151, de maneira tal que a diferença da profundidade de bit (delta_bitdepth ou -delta_bitdepth) seja suprida para a unidade de previsão 142. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 152 realiza controle da unidade de definição do coeficiente de ponderação 153 para definir o coeficiente de ponderação α e supre o coeficiente de ponderação para a unidade de previsão 142 (unidade de multiplicação do coeficiente de ponderação 164).[00176] On the other hand, for example, in a case where it is represented that a residual prediction is performed based on the information used to control whether a residual prediction is performed or not, the bit shift control unit 152 performs control of the prediction unit 142 in such a way that the calculation with respect to the prediction is performed. Furthermore, in such a case, the bit shift control unit 152 performs control of the bit depth difference calculation unit 151, such that the bit depth difference (delta_bitdepth or -delta_bitdepth) is supplied to the prediction unit 142. Furthermore, in such a case, the bit shift control unit 152 performs control of the weighting coefficient setting unit 153 to set the weighting coefficient α and supplies the weighting coefficient weighting for the prediction unit 142 (weighting coefficient multiplication unit 164).
[00177] A unidade de definição do coeficiente de ponderação 153 define o coeficiente de ponderação α sob o controle da unidade de controle de deslocamento de bit 152. Um método de definição do coeficiente de ponderação α e o valor do mesmo são arbitrários. Por exemplo, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir independentemente o coeficiente de ponderação α para cada componente. Além do mais, em um caso em que o coeficiente de ponderação α for definido, a unidade de definição do coeficiente de ponderação 153 supre o coeficiente de ponderação α para a unidade de previsão 142 (a unidade de multiplicação do coeficiente de ponderação 164). Este coeficiente de ponderação α também é usado para restauração residual e, assim, é provido para o lado da decodificação tendo sido incluído em um fluxo contínuo de bits.[00177] The weighting coefficient setting unit 153 sets the weighting coefficient α under the control of the bit shift control unit 152. A method of setting the weighting coefficient α and the value thereof are arbitrary. For example, the weighting coefficient setting unit 153 can be configured to independently set the weighting coefficient α for each component. Furthermore, in a case where the weighting coefficient α is defined, the weighting coefficient definition unit 153 supplies the weighting coefficient α to the prediction unit 142 (the weighting coefficient multiplication unit 164). This weighting coefficient α is also used for residual restoration and thus is provided to the decoding side having been included in a continuous stream of bits.
[00178] A unidade de previsão 142 inclui: uma unidade de seleção 161; uma unidade de deslocamento direito 162; uma unidade de deslocamento esquerdo 163; uma unidade de multiplicação do coeficiente de ponderação 164; uma unidade de deslocamento direito 165; uma unidade de cálculo 166; e uma unidade de cálculo 167.[00178] The prediction unit 142 includes: a selection unit 161; a right displacement unit 162; a left shift unit 163; a weighting coefficient multiplication unit 164; a right displacement unit 165; a calculation unit 166; and a calculation unit 167.
[00179] A unidade de seleção 161 seleciona um destino de suprimento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, supridos a partir da unidade de transformada ortogonal inversa 109 sob o controle da unidade de controle de deslocamento de bit 152. Por exemplo, no caso da realização de escalonamento (deslocamento para a direita) da profundidade de bit, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento direito 162. Neste caso, o cálculo representado na Equação (6) é realizado. Além do mais, no caso da realização de escalonamento (deslocamento para a esquerda) da profundidade de bit, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento esquerdo 163. Neste caso, o cálculo representado na Equação (8) é realizado. Por outro lado, por exemplo, em um caso em que o escalonamento da profundidade de bit não for realizado, a unidade de seleção 161 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de multiplicação do coeficiente de ponderação 164. Neste caso, o cálculo representado na Equação (3) é realizado.[00179] The selection unit 161 selects a supply destination of the residual data (r'Y(x, y)) of the luminance component, which have been restored, supplied from the inverse orthogonal transform unit 109 under the control of the unit bit shift control unit 152. For example, in the case of performing scaling (right shift) of the bit depth, the selection unit 161 supplies the residual data (r'Y(x, y)) from the bit depth component. luminance, which were restored, to the right shift unit 162. In this case, the calculation represented in Equation (6) is performed. Furthermore, in the case of performing scaling (left shift) of the bit depth, the selection unit 161 supplies the residual data (r'Y(x, y)) of the luminance component, which has been restored, to the left shift unit 163. In this case, the calculation represented in Equation (8) is performed. On the other hand, for example, in a case where bit depth scaling is not performed, the selection unit 161 supplies the residual data (r'Y(x, y)) of the luminance component, which has been restored, for the weighting coefficient multiplication unit 164. In this case, the calculation represented in Equation (3) is performed.
[00180] A unidade de deslocamento direito 162 realiza o escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 161 para o lado direito em correspondência com uma diferença da profundidade de bit (delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 151. A unidade de deslocamento direito 162 supre um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 164.[00180] The right shift unit 162 performs bit depth scaling by shifting the residual data (r'Y(x, y)) of the luminance component, which were restored, acquired from the selection unit 161 to the right side in correspondence with a bit depth difference (delta_bitdepth) acquired from the bit depth difference calculation unit 151. The right shift unit 162 supplies a result (r'Y(x, y) >> delta_bitdepth ) of the right shift of the luminance component residual data to the weighting coefficient multiplication unit 164.
[00181] A unidade de deslocamento esquerdo 163 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 161 para o lado esquerdo em correspondência com uma diferença da profundidade de bit (-delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 151. A unidade de deslocamento esquerdo 163 supre um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 164.[00181] The left shift unit 163 performs bit depth scaling by shifting the residual data (r'Y(x, y)) of the luminance component, which were restored, acquired from the selection unit 161 to the side left in correspondence with a bit depth difference (-delta_bitdepth) acquired from the bit depth difference calculation unit 151. The left shift unit 163 supplies a result (r'Y(x, y) << - delta_bitdepth) of the left shift of the luminance component residual data to the weighting coefficient multiplication unit 164.
[00182] A unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais do componente de luminância que foram restaurados a partir de uma da unidade de seleção 161 para a unidade de deslocamento esquerdo 163. Por exemplo, a unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y)) do componente de luminância que não passou por deslocamento de bit a partir da unidade de seleção 161. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y) >> delta_bitdepth) do componente de luminância que foram deslocados para o lado direito a partir da unidade de deslocamento direito 162. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 164 adquire os dados residuais restaurados (r'Y(x, y) << -delta_bitdepth) do componente de luminância que foram deslocados para o lado esquerdo a partir da unidade de deslocamento esquerdo 163.[00182] The weighting coefficient multiplication unit 164 acquires the residual luminance component data that has been restored from one of the selection unit 161 to the left shift unit 163. For example, the weighting coefficient multiplication unit weighting 164 acquires the restored residual data (r'Y(x, y)) of the luminance component that has not undergone bit shifting from the selection unit 161. Furthermore, for example, the coefficient multiplication unit weighting 164 acquires the restored residual data (r'Y(x, y) >> delta_bitdepth) of the luminance component that has been shifted to the right side from the right shift unit 162. Furthermore, for example, the weighting unit 164 weighting coefficient multiplication 164 acquires the restored residual data (r'Y(x, y) << -delta_bitdepth) of the luminance component that has been shifted to the left side from the left shift unit 163.
[00183] Além do mais, a unidade de multiplicação do coeficiente de ponderação 164 adquire o coeficiente de ponderação α a partir da unidade de definição do coeficiente de ponderação 153. A unidade de multiplicação do coeficiente de ponderação 164 multiplica os dados residuais restaurados do componente de luminância que foram adquiridos pelo coeficiente de ponderação α e supre um resultado (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) ou a x (r'Y(x, y) << -delta_bitdepth)) da multiplicação para a unidade de deslocamento direito 165.[00183] Furthermore, the weighting coefficient multiplication unit 164 acquires the weighting coefficient α from the weighting coefficient definition unit 153. The weighting coefficient multiplication unit 164 multiplies the restored residual data of the component of luminance that were acquired by the weighting coefficient α and supplies a result (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) or a x (r'Y(x, y) y) << -delta_bitdepth)) from multiplication to right shift unit 165.
[00184] A unidade de deslocamento direito 165 desloca os dados residuais restaurados (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) ou a x (r'Y(x, y) << -delta_bitdepth)) do componente de luminância, que foram supridos a partir da unidade de multiplicação do coeficiente de ponderação 164, para o lado direito em bits predeterminados. Embora a quantidade de deslocamento de bit seja arbitrária, por exemplo, no caso da Equação (3), da Equação (6) e da Equação (8), a unidade de deslocamento direito 165 desloca os dados residuais para o lado direito em três bits. A unidade de deslocamento direito 165 supre um resultado (a x (r'Y(x, y)) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, ou a x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita para a unidade de cálculo 166 ou a unidade de cálculo 167.[00184] The right shift unit 165 shifts the restored residual data (to x (r'Y(x, y)), to x (r'Y(x, y) >> delta_bitdepth) or to x (r'Y(x, y) y) << -delta_bitdepth)) of the luminance component, which have been supplied from the weighting coefficient multiplication unit 164, to the right side in predetermined bits. Although the bit shift amount is arbitrary, for example in the case of Equation (3), Equation (6) and Equation (8), the right shift unit 165 shifts the residual data to the right side by three bits . The right shift unit 165 supplies a result (a x (r'Y(x, y)) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, or a x (r'Y( x, y) << -delta_bitdepth) >> 3) shift right to calculation unit 166 or calculation unit 167.
[00185] A unidade de cálculo 166 gera dados residuais previstos (ΔrCr(x, y)) do componente de diferença de cor (Cr) pela subtração dos dados residuais restaurados (α x (r'Y(x, y)) >> 3,a x (r‘Y(x, y) >> delta_bitdepth) >> 3 ou, α x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 165, dos dados residuais (rCr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de cálculo 103 e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que tal cálculo não for realizado, a unidade de cálculo 166 supre os dados residuais (rCr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.[00185] The calculation unit 166 generates predicted residuals (ΔrCr(x, y)) of the color difference component (Cr) by subtracting the restored residuals (α x (r'Y(x, y)) >> 3,a x (r'Y(x, y) >> delta_bitdepth) >> 3 or, α x (r'Y(x, y) << -delta_bitdepth) >> 3) of the luminance component, which are supplied to from the right shift unit 165, the residual data (rCr(x, y)) of the color difference component (Cr) supplied from the calculation unit 103 and supplies the generated predicted residual data to the orthogonal transform unit 104 On the other hand, in a case where such a calculation is not performed, the calculation unit 166 supplies the residual data (rCr(x, y)) of the color difference component (Cr) supplied from the calculation unit 103 for the orthogonal transform unit 104.
[00186] A unidade de cálculo 167 gera dados residuais previstos (ΔrCb(x, y)) do componente de diferença de cor (Cb) pela subtração dos dados residuais restaurados (a x (r'Y(x, y)) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, ou, a x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 165, dos dados residuais (rCb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de cálculo 103 e supre os dados residuais previstos gerados para a unidade de transformada ortogonal 104. Por outro lado, em um caso em que tal cálculo não for realizado, a unidade de cálculo 167 supre os dados residuais (rCb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de cálculo 103 para a unidade de transformada ortogonal 104.[00186] The calculation unit 167 generates predicted residual data (ΔrCb(x, y)) of the color difference component (Cb) by subtracting the restored residual data (a x (r'Y(x, y)) >> 3 , a x (r'Y(x, y) >> delta_bitdepth) >> 3, or, a x (r'Y(x, y) << -delta_bitdepth) >> 3) of the luminance component, which are supplied from from the right shift unit 165, from the residual data (rCb(x, y)) from the color difference component (Cb) supplied from the calculation unit 103, and supplies the generated predicted residual data to the orthogonal transform unit 104. On the other hand, in a case where such a calculation is not performed, the calculation unit 167 supplies the residual data (rCb(x, y)) of the color difference component (Cb) supplied from the calculation unit 103 to the orthogonal transform unit 104.
[00187] Da forma supradescrita, em uma previsão residual, a unidade de previsão residual 122 realiza a previsão pela realização de escalonamento das profundidades de bit dos dados residuais restaurados dos componentes de luminância. Desta maneira, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de previsão residual 122 pode calcular corretamente os dados residuais previstos. Portanto, de acordo com o aparelho de codificação de imagem 100, uma diminuição na eficiência de codificação pode ser suprimida.[00187] As described above, in a residual prediction, the residual prediction unit 122 performs the prediction by performing scaling of the bit depths of the restored residual data of the luminance components. In this way, too, in a case where the bit depths of the residual data are different between the components, the residual prediction unit 122 can correctly calculate the predicted residual data. Therefore, according to the picture coding apparatus 100, a decrease in coding efficiency can be suppressed.
[00188] A seguir, um exemplo do fluxo de cada processo executado pelo aparelho de codificação de imagem 100 será descrito. Primeiro, um exemplo do fluxo do processo de codificação será descrito em relação a um fluxograma representado na figura 5.[00188] In the following, an example of the flow of each process performed by the image coding apparatus 100 will be described. First, an example of the coding process flow will be described in relation to a flowchart represented in figure 5.
[00189] Quando o processo de codificação for iniciado, a unidade de processamento de cabeçalho 121, por exemplo, gera informação de cabeçalho, tais como um conjunto de parâmetro de sequência (SPS) ou um conjunto de parâmetro de figura (PPS), na Etapa S101.[00189] When the encoding process starts, the header processing unit 121, for example, generates header information, such as a sequence parameter set (SPS) or a picture parameter set (PPS), in the Step S101.
[00190] Na Etapa S102, o buffer de rearranjo de tela 102 armazena imagens de quadros (figuras) de uma imagem em movimento de entrada na ordem de exibição e rearranja as imagens da ordem de exibição das figuras para a ordem de codificação.[00190] In Step S102, the screen rearrangement buffer 102 stores frame images (pictures) of an input moving picture in the display order and rearranges the images from the display order of the figures to the encoding order.
[00191] Na Etapa S103, a unidade de intraprevisão 113 realiza um processo de intraprevisão de um modo de intraprevisão.[00191] In Step S103, the intraforecast unit 113 performs an intraforecast process in an intraforecast mode.
[00192] Na Etapa S104, a unidade de interprevisão 114 realiza um processo de interprevisão no qual uma previsão de movimento, uma compensação de movimento e congêneres são realizadas no modo de interprevisão.[00192] In Step S104, the interforecast unit 114 performs an interforecast process in which a motion forecast, a motion compensation and the like are performed in the interforecast mode.
[00193] Na Etapa S105, a unidade de seleção de imagem prevista 115 seleciona uma da imagem prevista gerada de acordo com a intraprevisão da Etapa S103 e uma imagem prevista gerada de acordo com a interprevisão da Etapa S104 com base em um valor da função de custo ou congêneres.[00193] In Step S105, the predicted image selection unit 115 selects one of the predicted image generated in accordance with the intraprediction of Step S103 and a predicted image generated in accordance with the interprediction of Step S104 based on a value of the function of cost or the like.
[00194] Na Etapa S106, a unidade de cálculo 103 calcula uma diferença entre uma imagem de entrada na qual a ordem de quadro é rearranjada pelo processo da Etapa S102 e uma imagem prevista selecionada pelo processo da Etapa S105. Em outras palavras, a unidade de cálculo 103 gera dados residuais entre uma imagem de entrada e uma imagem predeterminada. A quantidade de dados dos dados residuais adquiridos desta maneira é menor do que aquela dos dados de imagem originais. Desta maneira, a quantidade de dados pode ser comprimida mais do que em um caso em que uma imagem é diretamente codificada. Um processo como este é realizado para cada um dos componentes (Y, Cr, e Cb).[00194] In Step S106, the calculation unit 103 calculates a difference between an input image in which the frame order is rearranged by the process of Step S102 and a predicted image selected by the process of Step S105. In other words, the calculation unit 103 generates residual data between an input image and a predetermined image. The amount of data of the residual data acquired in this way is less than that of the original image data. In this way, the amount of data can be compressed more than in a case where an image is directly encoded. A process like this is performed for each of the components (Y, Cr, and Cb).
[00195] Na Etapa S107, a unidade de previsão residual 122 realiza uma previsão residual pelo uso de dados residuais do componente de luminância para os dados residuais do componente de diferença de cor adquiridos pelo processo da Etapa S106. Neste momento, a unidade de previsão residual 122 realiza uma previsão com profundidades de bit dos dados residuais sendo uniformes entre os componentes. Este processo será descrito com detalhes a seguir.[00195] In Step S107, the residual prediction unit 122 performs residual prediction by using the luminance component residual data for the color difference component residual data acquired by the process of Step S106. At this time, the residual prediction unit 122 performs prediction with bit depths of the residual data being uniform across the components. This process will be described in detail below.
[00196] Na Etapa S108, a unidade de transformada ortogonal 104 realiza uma transformada ortogonal para os dados residuais do componente de luminância gerados pelo processo da Etapa S106 e os dados residuais previstos do componente de diferença de cor gerados pelo processo da Etapa S107.[00196] In Step S108, the orthogonal transform unit 104 performs an orthogonal transform for the luminance component residual data generated by the process of Step S106 and the predicted color difference component residual data generated by the process of Step S107.
[00197] Na Etapa S109, a unidade de quantização 105 quantiza coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S108 pelo uso dos parâmetros de quantização calculados pela unidade de controle de taxa 116.[00197] In Step S109, the quantization unit 105 quantizes orthogonal transform coefficients acquired by the process of Step S108 by using the quantization parameters calculated by the rate control unit 116.
[00198] Na Etapa S110, a unidade de quantização inversa 108 realiza quantização inversa dos coeficientes quantizados (também referidos como coeficientes de quantização) gerados pelo processo da Etapa S109 pelo uso das características correspondentes às características da quantização.[00198] In Step S110, the inverse quantization unit 108 performs inverse quantization of the quantized coefficients (also referred to as quantization coefficients) generated by the process of Step S109 by using the characteristics corresponding to the quantization characteristics.
[00199] Na Etapa S111, a unidade de transformada ortogonal inversa 109 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S108.[00199] In Step S111, the inverse orthogonal transform unit 109 performs an inverse orthogonal transform of the orthogonal transform coefficients acquired by the process of Step S108.
[00200] Na Etapa S112, a unidade de restauração residual 123 restaura os dados residuais do componente de diferença de cor pelo uso dos dados residuais do componente de luminância restaurados pelo processo da Etapa S111 e dos dados residuais previstos do componente de diferença de cor. Neste momento, a unidade de restauração residual 123 realiza restauração com as profundidades de bit dos dados residuais sendo uniformes entre os componentes. Este processo será descrito com detalhes a seguir.[00200] In Step S112, the residual restoration unit 123 restores the color difference component residual data by using the luminance component residual data restored by the process of Step S111 and the predicted color difference component residual data. At this time, the residual restoration unit 123 performs restoration with the residual data bit depths being uniform among the components. This process will be described in detail below.
[00201] Na Etapa S113, a unidade de cálculo 110 gera os dados de imagem de uma imagem de reconstrução pela adição da imagem prevista selecionada pelo processo da Etapa S105 nos dados residuais de cada componente restaurado pelo processo da Etapa S111 e da Etapa S112.[00201] In Step S113, the calculation unit 110 generates the image data of a reconstruction image by adding the predicted image selected by the process of Step S105 to the residual data of each component restored by the process of Step S111 and Step S112.
[00202] Na Etapa S114, o filtro em malha 111 realiza um processo de filtro em malha para os dados de imagem da imagem de reconstrução gerados pelo processo da Etapa S113. Desta maneira, uma distorção do bloco e congêneres da imagem de reconstrução são eliminados.[00202] In Step S114, the mesh filter 111 performs a mesh filter process for the image data of the reconstruction image generated by the process of Step S113. In this way, distortion of the block and congeners of the reconstruction image is eliminated.
[00203] Na Etapa S115, a memória de quadro 112 armazena uma imagem decodificada, que é localmente decodificada, adquirida pelo processo da Etapa S114.[00203] In Step S115, the frame memory 112 stores a decoded image, which is locally decoded, acquired by the process of Step S114.
[00204] Na Etapa S116, a unidade de codificação reversível 106 codifica os coeficientes quantizados adquiridos pelo processo da Etapa S109. Em outras palavras, para dados correspondentes aos dados residuais, codificação reversível, tais como codificação de comprimento variável ou codificação aritmética, é realizada.[00204] In Step S116, the reversible coding unit 106 encodes the quantized coefficients acquired by the process of Step S109. In other words, for data corresponding to the residual data, reversible encoding, such as variable length encoding or arithmetic encoding, is performed.
[00205] Além do mais, neste momento, a unidade de codificação reversível 106 codifica informação em relação ao modo de previsão da imagem prevista selecionada pelo processo da Etapa S105 e adiciona a informação codificada nos dados codificados adquiridos pela codificação de uma imagem diferencial. Em outras palavras, a unidade de codificação reversível 106 codifica informação do modo de intraprevisão ideal suprida a partir da unidade de intraprevisão 113 ou informação correspondente ao modo de interprevisão ideal suprida a partir da unidade de interprevisão 114 e congêneres, e adiciona a informação codificada nos dados codificados.[00205] Furthermore, at this time, the reversible coding unit 106 encodes information regarding the prediction mode of the predicted image selected by the process of Step S105 and adds the encoded information into the encoded data acquired by encoding a differential image. In other words, the reversible coding unit 106 encodes ideal intraprediction mode information supplied from the intraprediction unit 113 or information corresponding to the ideal interprediction mode supplied from the interprediction unit 114 and the like, and adds the encoded information to the encoded data.
[00206] Na Etapa S117, o buffer de acúmulo 107 armazena os dados codificados e congêneres adquiridos pelo processo da Etapa S116. Os dados codificados e congêneres armazenados no buffer de acúmulo 107 são apropriadamente lidos como um fluxo contínuo de bits e são transmitidos para o lado da decodificação através de uma linha de transmissão ou uma mídia de gravação.[00206] In Step S117, the accumulation buffer 107 stores the encoded data and the like acquired by the process in Step S116. The encoded data and the like stored in the accumulation buffer 107 is suitably read as a continuous stream of bits and transmitted to the decoding side via a transmission line or a recording medium.
[00207] Na Etapa S118, a unidade de controle de taxa 116 controla a taxa do processo de quantização da Etapa S109 com base na quantidade de codificação (quantidade de codificação gerada) dos dados codificados e congêneres armazenados no buffer de acúmulo 107 pelo processo da Etapa S117, de maneira tal que um sobrefluxo ou um subfluxo não ocorram.[00207] In Step S118, the rate control unit 116 controls the rate of the quantization process of Step S109 based on the encoding amount (generated encoding amount) of the encoded data and the like stored in the accumulation buffer 107 by the encoding process. Step S117, such that an overflow or an underflow does not occur.
[00208] Quando o processo da Etapa S118 terminar, o processo de codificação termina.[00208] When the process of Step S118 ends, the encoding process ends.
[00209] A seguir, um exemplo do fluxo do processo de previsão residual realizado na Etapa S107 de um processo de codificação como este será descrito em relação a um fluxograma ilustrado na figura 6.[00209] Below, an example of the flow of the residual prediction process carried out in Step S107 of a coding process like this will be described in relation to a flowchart illustrated in Figure 6.
[00210] Quando o processo de previsão residual for iniciado, na Etapa S121, a unidade de cálculo da diferença da profundidade de bit 151 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 151 realiza o cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00210] When the residual prediction process is started, in Step S121, the bit depth difference calculation unit 151 calculates a bit depth difference between components for which residual prediction is performed. In other words, the bit depth difference calculation unit 151 performs the calculation shown in Equation (4) and calculates a bit depth difference (delta_bitdepth) between the luminance (Y) component and the color difference component (Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00211] Na Etapa S122, a unidade de controle de deslocamento de bit 152 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S121 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S123. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).[00211] In Step S122, the bit shift control unit 152 determines whether the bit depth difference (delta_bitdepth) calculated in Step S121 is zero or not. In a case where zero is determined, the process proceeds to Step S123. In a case like this, a bit shift is not performed, but the residual prediction is performed as represented in Equation (3).
[00212] Na Etapa S123, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S124.[00212] In Step S123, the bit shift control unit 152 determines whether a residual prediction is performed or not based on the information (for example, luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS), used to control whether or not the residual forecast is performed or the like. For example, in a case where the value of luma_chroma_prediction_enabled_flag is "1", and the residual prediction is determined to be accomplished, the process proceeds to Step S124.
[00213] Na Etapa S124, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação α para cada TU.[00213] In Step S124, the weighting coefficient setting unit 153 sets a weighting coefficient α for each TU.
[00214] Na Etapa S125, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes sem realizar escalonamento das profundidades de bit. Detalhes deste processo serão descritos a seguir.[00214] In Step S125, the prediction unit 142 performs a prediction (residual prediction) of the residual data between components without performing scaling of the bit depths. Details of this process will be described below.
[00215] Na Etapa S125, quando a previsão residual terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00215] In Step S125, when the residual prediction ends, the residual prediction process ends, and the process is returned to the process illustrated in figure 5.
[00216] Por outro lado, por exemplo, na Etapa S123, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S124 e da Etapa S125 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00216] On the other hand, for example, in Step S123, in a case where the value of luma_chroma_prediction_enabled_flag is "0", and the residual prediction is determined not to be performed, the process of Step S124 and Step S125 is omitted, the residual prediction process ends, and the process is returned to the process illustrated in figure 5.
[00217] Além do mais, na Etapa S122, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S126.[00217] Furthermore, in Step S122, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S126.
[00218] Na Etapa S126, a unidade de controle de deslocamento de bit 152 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S121 é positiva ou não. Em um caso em que ser positiva é determinado, o processo prossegue para a Etapa S127. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).[00218] In Step S126, the bit shift control unit 152 determines whether the bit depth difference (delta_bitdepth) calculated in Step S121 is positive or not. In a case where being positive is determined, the process proceeds to Step S127. In a case like this, a residual forecast is performed as represented in Equation (6) (scaling through a shift to the right is performed).
[00219] Na Etapa S127, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S128.[00219] In Step S127, the bit shift control unit 152 determines whether a residual prediction is performed or not based on the information (e.g., luma_chroma_prediction_enabled_flag) used to control whether the residual prediction is performed or not, which is included in the figure parameter set (PPS) or congeners. For example, in a case where the value of luma_chroma_prediction_enabled_flag is "1", and the residual prediction is determined to be accomplished, the process proceeds to Step S128.
[00220] Na Etapa S128, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação α para cada TU.[00220] In Step S128, the weighting coefficient setting unit 153 sets a weighting coefficient α for each TU.
[00221] Na Etapa S129, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes pela realização de escalonamento das profundidades de bit pelo uso de um deslocamento para a direita. Detalhes deste processo serão descritos a seguir.[00221] In Step S129, the prediction unit 142 performs a prediction (residual prediction) of the inter-component residual data by performing scaling of the bit depths by using a right shift. Details of this process will be described below.
[00222] Quando a previsão residual realizada na Etapa S129 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00222] When the residual prediction performed in Step S129 ends, the residual prediction process ends, and the process is returned to the process illustrated in figure 5.
[00223] Por outro lado, por exemplo, na Etapa S127, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S128 e da Etapa S129 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00223] On the other hand, for example, in Step S127, in a case where the value of luma_chroma_prediction_enabled_flag is "0", and the residual prediction is determined not to be performed, the process of Step S128 and Step S129 is omitted, the residual prediction process ends, and the process is returned to the process illustrated in figure 5.
[00224] Além do mais, na Etapa S126, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positivo (determinado como negativo), o processo prossegue para a Etapa S130. Em um caso como este, a previsão residual é realizada da forma representada na Equação (8) (escalonamento usando um deslocamento para a esquerda é realizado).[00224] Furthermore, in Step S126, in a case where the bit depth difference (delta_bitdepth) is determined to be non-positive (determined to be negative), the process proceeds to Step S130. In a case like this, the residual forecast is performed as represented in Equation (8) (scaling using a left shift is performed).
[00225] Na Etapa S130, a unidade de controle de deslocamento de bit 152 determina se uma previsão residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a previsão residual for determinada como realizada, o processo prossegue para a Etapa S131.[00225] In Step S130, the bit shift control unit 152 determines whether a residual prediction is performed or not based on the information (e.g., luma_chroma_prediction_enabled_flag) used to control whether the residual prediction is performed or not, which is included in the figure parameter set (PPS) or congeners. For example, in a case where the value of luma_chroma_prediction_enabled_flag is "1", and the residual prediction is determined to be accomplished, the process proceeds to Step S131.
[00226] Na Etapa S131, a unidade de definição do coeficiente de ponderação 153 define um coeficiente de ponderação α para cada TU.[00226] In Step S131, the weighting coefficient setting unit 153 sets a weighting coefficient α for each TU.
[00227] Na Etapa S132, a unidade de previsão 142 realiza uma previsão (previsão residual) dos dados residuais entre componentes pela realização de escalonamento das profundidades de bit de acordo com um deslocamento para a esquerda. Detalhes deste processo serão descritos a seguir.[00227] In Step S132, the prediction unit 142 performs a prediction (residual prediction) of the inter-component residual data by performing scaling of the bit depths according to a left shift. Details of this process will be described below.
[00228] Quando a previsão residual realizada na Etapa S132 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00228] When the residual prediction performed in Step S132 ends, the residual prediction process ends, and the process returns to the process illustrated in figure 5.
[00229] Por outro lado, por exemplo, na Etapa S130, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "0", e a previsão residual for determinada como não realizada, o processo da Etapa S131 e da Etapa S132 é omitido, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00229] On the other hand, for example, in Step S130, in a case where the value of luma_chroma_prediction_enabled_flag is "0", and the residual prediction is determined not to be performed, the process of Step S131 and Step S132 is omitted, the residual prediction process ends, and the process is returned to the process illustrated in figure 5.
[00230] A seguir, um exemplo do fluxo do processo de geração de dados residuais previstos realizado na Etapa S125 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 7.[00230] Next, an example of the process flow of the predicted residual data generation carried out in Step S125 of the residual prediction process will be described in relation to a flowchart illustrated in figure 7.
[00231] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S141, a unidade de multiplicação do coeficiente de ponderação 164 da unidade de previsão 142 multiplica os dados residuais restaurados (r'Y(x, y)) do componente de luminância pelo coeficiente de ponderação α definido pelo processo da Etapa S124 ilustrado na figura 6 (a x r'Y(x, y)).[00231] When the forecast residual data generation process is started, in Step S141, the weighting coefficient multiplication unit 164 of the forecast unit 142 multiplies the restored residual data (r'Y(x, y)) of the component of luminance by the weighting coefficient α defined by the process of Step S124 illustrated in Fig. 6 (a x r'Y(x, y)).
[00232] Na Etapa S142, a unidade de deslocamento direito 165 desloca um resultado da multiplicação (a x r'Y(x, y)) calculado na Etapa S141 para o lado direito em três bits ((α x r'Y(x, y)) >> 3).[00232] In Step S142, the right shift unit 165 shifts a multiplication result (a x r'Y(x, y)) calculated in Step S141 to the right side by three bits ((α x r'Y(x, y)) >> 3).
[00233] Na Etapa S143, a unidade de cálculo 166 gera dados residuais previstos (ΔrCr(x, y)) pela subtração do resultado do deslocamento para a direita ((a x r'Y(x, y)) >> 3) calculado na Etapa S142 a partir dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) -(a x r'Y(x, y)) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (ΔrCb(x, y)) pela subtração do resultado do deslocamento para a direita ((a x r'Y(x, y)) >> 3) calculado na Etapa S142 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - (a x r'Y(x, y)) >> 3).[00233] In Step S143, the calculation unit 166 generates predicted residual data (ΔrCr(x, y)) by subtracting the result of the shift to the right ((a x r'Y(x, y)) >> 3) calculated at Step S142 from the residual data (rCr(x, y)) of the luminance component Cr (rCr(x, y) -(a x r'Y(x, y)) >> 3). Furthermore, the calculation unit 167 generates predicted residuals (ΔrCb(x, y)) by subtracting the result of the right shift ((a x r'Y(x, y)) >> 3) calculated in Step S142 of the residual data (rCb(x, y)) of the luminance component Cb (rCb(x, y) - (a x r'Y(x, y)) >> 3).
[00234] Quando os dados residuais previstos (ΔrCr(x, y) e ΔrCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura 6.[00234] When the predicted residual data (ΔrCr(x, y) and ΔrCb(x, y)) are generated, as shown, the process of generating predicted residual data ends, and the process returns to the process illustrated in the figure 6.
[00235] A seguir, um exemplo do fluxo do processo de geração de dados residuais previstos realizado na Etapa S129 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 8.[00235] Below, an example of the process flow of generating predicted residual data performed in Step S129 of the residual prediction process will be described in relation to a flowchart illustrated in Figure 8.
[00236] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S151, a unidade de deslocamento direito 162 da unidade de previsão 142 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado direito em correspondência com a diferença da profundidade de bit (delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S121 ilustrado na figura 6 ((r'Y(x, y) >> delta_bitdepth)).[00236] When the predicted residual data generation process is started, in Step S151, the right shift unit 162 of the prediction unit 142 shifts the restored residual data (r'Y(x, y)) from the luminance component to the right side in correspondence with the bit depth difference (delta_bitdepth) of the residual data calculated by the process of Step S121 illustrated in Fig. 6 ((r'Y(x, y) >> delta_bitdepth)).
[00237] Na Etapa S152, a unidade de multiplicação do coeficiente de ponderação 164 multiplica um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita calculado na Etapa S151 pelo coeficiente de ponderação α definido pelo processo da Etapa S128 ilustrado na figura 6 (a x (r'Y(x, y) >> delta_bitdepth)).[00237] In Step S152, the weighting coefficient multiplication unit 164 multiplies a result (r'Y(x, y) >> delta_bitdepth) of the right shift calculated in Step S151 by the weighting coefficient α defined by the process of Step S128 illustrated in Fig. 6 (a x (r'Y(x, y) >> delta_bitdepth)).
[00238] Na Etapa S153, a unidade de deslocamento direito 165 desloca um resultado da multiplicação (a x (r'Y(x, y) >> delta_bitdepth)) calculado na Etapa S152 para o lado direito em três bits (α x (r'Y(x, y) >> delta_bitdepth) >> 3).[00238] In Step S153, the right shift unit 165 shifts a multiplication result (a x (r'Y(x, y) >> delta_bitdepth)) calculated in Step S152 to the right side by three bits (α x (r 'Y(x, y) >> delta_bitdepth) >> 3).
[00239] Na Etapa S154, a unidade de cálculo 166 gera dados residuais previstos (ΔrCr(x, y)) pela subtração do resultado (a x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) - α x (r'Y(x, y) >> delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (ΔrCb(x, y)) pela subtração do resultado (a x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - a x (r'Y(x, y) >> delta_bitdepth) >> 3).[00239] In Step S154, the calculation unit 166 generates predicted residual data (ΔrCr(x, y)) by subtracting the result (a x (r'Y(x, y) >> delta_bitdepth) >> 3) from the offset to calculated in Step S153 from the residual data (rCr(x, y)) of the luminance component Cr (rCr(x, y) - α x (r'Y(x, y) >> delta_bitdepth) >> 3). Furthermore, the calculation unit 167 generates predicted residuals (ΔrCb(x, y)) by subtracting the result (a x (r'Y(x, y) >> delta_bitdepth) >> 3) from the calculated right shift at Step S153 of the residual data (rCb(x, y)) of the luminance component Cb (rCb(x, y) - a x (r'Y(x, y) >> delta_bitdepth) >> 3).
[00240] Quando os dados residuais previstos (ΔrCr(x, y) e ΔrCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura 6.[00240] When the predicted residual data (ΔrCr(x, y) and ΔrCb(x, y)) are generated, as shown, the process of generating predicted residual data ends, and the process returns to the process illustrated in the figure 6.
[00241] A seguir, um exemplo do fluxo do processo de geração de dados residuais previstos realizado na Etapa S132 do processo de previsão residual será descrito em relação a um fluxograma ilustrado na figura 9.[00241] Next, an example of the process flow of generating predicted residual data performed in Step S132 of the residual prediction process will be described in relation to a flowchart illustrated in Figure 9.
[00242] Quando o processo de geração de dados residuais previstos for iniciado, na Etapa S161, a unidade de deslocamento esquerdo 163 da unidade de previsão 142 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado esquerdo em correspondência com a diferença da profundidade de bit (-delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S121 ilustrado na figura 6 (r'Y(x, y) << - delta_bitdepth).[00242] When the predicted residual data generation process is started, in Step S161, the left shift unit 163 of the prediction unit 142 shifts the restored residual data (r'Y(x, y)) from the luminance component to the left side in correspondence with the bit depth difference (-delta_bitdepth) of the residual data calculated by the process of Step S121 illustrated in Fig. 6 (r'Y(x, y) << - delta_bitdepth).
[00243] Na Etapa S162, a unidade de multiplicação do coeficiente de ponderação 164 multiplica um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda calculado na Etapa S161 pelo coeficiente de ponderação α definido pelo processo da Etapa S131 ilustrado na figura 6 (a x (r'Y(x, y) << -delta_bitdepth)).[00243] In Step S162, the weighting coefficient multiplication unit 164 multiplies a result (r'Y(x, y) << -delta_bitdepth) of the left shift calculated in Step S161 by the weighting coefficient α defined by the process of Step S131 illustrated in Fig. 6 (a x (r'Y(x, y) << -delta_bitdepth)).
[00244] Na Etapa S163, a unidade de deslocamento direito 165 desloca o resultado da multiplicação (a x (r'Y(x, y) << -delta_bitdepth)) calculado na Etapa S162 para o lado direito em três bits α x (r'Y(x, y) << -delta_bitdepth) >> 3).[00244] In Step S163, the right shift unit 165 shifts the multiplication result (a x (r'Y(x, y) << -delta_bitdepth)) calculated in Step S162 to the right side by three bits α x (r 'Y(x, y) << -delta_bitdepth) >> 3).
[00245] Na Etapa S164, a unidade de cálculo 166 gera dados residuais previstos (ΔrCr(x, y)) pela subtração do resultado (a x (r'Y(x, y) << - delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S153 dos dados residuais (rCr(x, y)) do componente de luminância Cr (rCr(x, y) - α x (r'Y(x, y) << -delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 167 gera dados residuais previstos (ΔrCb(x, y)) pela subtração do resultado (a x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S163 dos dados residuais (rCb(x, y)) do componente de luminância Cb (rCb(x, y) - α x (r'Y(x, y) << -delta_bitdepth) >> 3).[00245] In Step S164, the calculation unit 166 generates predicted residual data (ΔrCr(x, y)) by subtracting the result (a x (r'Y(x, y) << - delta_bitdepth) >> 3) from the offset to the right calculated in Step S153 from the residual data (rCr(x, y)) of the luminance component Cr (rCr(x, y) - α x (r'Y(x, y) << -delta_bitdepth) >> 3 ). Furthermore, the calculation unit 167 generates predicted residuals (ΔrCb(x, y)) by subtracting the result (a x (r'Y(x, y) << -delta_bitdepth) >> 3) from the right shift calculated in Step S163 from the residual data (rCb(x, y)) of the luminance component Cb (rCb(x, y) - α x (r'Y(x, y) << -delta_bitdepth) >> 3).
[00246] Quando os dados residuais previstos (ΔrCr(x, y) e ΔrCb(x, y)) forem gerados, como exposto, o processo de geração de dados residuais previstos termina, e o processo é retornado para o processo ilustrado na figura 6.[00246] When the predicted residual data (ΔrCr(x, y) and ΔrCb(x, y)) are generated, as shown, the process of generating predicted residual data ends, and the process returns to the process illustrated in the figure 6.
[00247] Pela realização de cada processo, como exposto, a unidade de previsão residual 122 pode calcular corretamente os dados residuais previstos, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes umas das outras entre componentes. Desta maneira, o aparelho de codificação de imagem 100 pode suprimir uma diminuição na eficiência de codificação.[00247] By carrying out each process as above, the residual prediction unit 122 can correctly calculate the predicted residual data also in a case where the bit depths of the residual data are different from each other between components. In this way, the image coding apparatus 100 can suppress a decrease in coding efficiency.
[00248] A seguir, a decodificação dos dados codificados (fluxo contínuo de bits), codificados como exposto, será descrita. A fim de realizar restauração residual correspondente à previsão residual (em outras palavras, restaurar os dados residuais do componente de diferença de cor), como fica aparente da Equação (3) até a Equação (8), na restauração residual, os dados residuais restaurados do componente de luminância usados para a previsão residual podem ser adicionados nos dados residuais previstos do componente de diferença de cor gerados pela previsão residual.[00248] Next, the decoding of encoded data (continuous stream of bits), encoded as exposed, will be described. In order to perform residual restoration corresponding to the residual prediction (in other words, restore the color difference component residual data), as is apparent from Equation (3) through Equation (8), in residual restoration, the restored residual data of the luminance component used for the residual prediction can be added to the predicted residual data of the color difference component generated by the residual prediction.
[00249] Em outras palavras, como nos exemplos representados na Equação (6) e na Equação (8), em um caso em que as profundidades de bit forem arranjadas para serem uniformes entre o componente no momento da realização de uma previsão residual, também, na restauração residual correspondente à previsão residual, os dados residuais dos componentes de diferença de cor podem ser restaurados com as profundidades de bit sendo arranjadas para serem uniformes entre os componentes. Pela configuração como tal, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes umas das outras entre os componentes, restauração pode ser realizada com as profundidades de bit dos dados residuais dos componentes sendo arranjadas para serem uniformes e, desta maneira, a restauração residual pode ser corretamente realizada. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.[00249] In other words, as in the examples represented in Equation (6) and Equation (8), in a case where the bit depths are arranged to be uniform across the component at the time of performing a residual prediction, also , in residual restoration corresponding to residual prediction, the residual data of the color difference components can be restored with the bit depths being arranged to be uniform across the components. By setting as such, also, in a case where the bit depths of the residual data are different from each other among the components, restoration can be performed with the bit depths of the residual data of the components being arranged to be uniform, and in this way way, the residual restoration can be correctly performed. In this way, a decrease in coding efficiency can be suppressed.
[00250] Embora um método para arranjar as profundidades de bit dos dados residuais como uniformes entre os componentes seja arbitrário, o arranjo pode ser realizado de uma maneira similar àquela no momento da realização da previsão residual. Por exemplo, as profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes entre os componentes pela realização de um deslocamento de bit dos dados residuais. Pela configuração como tal, as profundidades de bit dos dados residuais podem ser facilmente arranjadas como uniformes entre os componentes. Em outras palavras, a carga do processamento e o tempo do processamento podem ser diminuídos.[00250] Although a method for arranging the bit depths of the residual data as uniform across the components is arbitrary, the arrangement can be carried out in a similar manner to that at the time of performing the residual prediction. For example, the bit depths of the residual data can be arranged to be uniform across components by performing a bit shift of the residual data. By configuration as such, the bit depths of the residual data can easily be arranged as uniform between the components. In other words, processing load and processing time can be decreased.
[00251] Naturalmente, também, no caso da restauração residual, similarmente ao caso da decodificação residual, o espaço de cor de uma imagem na qual as profundidades de bit dos dados residuais são arranjadas para serem uniformes é arbitrário. Por exemplo, o espaço de cor pode ser um espaço YUV (YUV444 ou congêneres) ou um espaço RGB (RGB444 ou congêneres). Por exemplo, em um caso em que o espaço de cor da imagem for o espaço YUV, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através de um deslocamento de bit. Mais especificamente, por exemplo, a restauração pode ser realizada depois que a profundidade de bit do componente de luminância for arranjada para ser uniforme em relação à profundidade de bit do componente de diferença de cor através de um deslocamento de bit. Além do mais, por exemplo, em um caso em que o espaço de cor da imagem for o espaço RGB, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre um componente G e um componente R ou um componente B através de um deslocamento de bit. Mais especificamente, por exemplo, a restauração pode ser realizada depois que a profundidade de bit do componente G for arranjada para ser uniforme em relação à profundidade de bit do componente R ou do componente B através de um deslocamento de bit.[00251] Of course, also, in the case of residual restoration, similarly to the case of residual decoding, the color space of an image in which the bit depths of the residual data are arranged to be uniform is arbitrary. For example, the color space can be a YUV space (YUV444 or congeners) or an RGB space (RGB444 or congeners). For example, in a case where the color space of the image is YUV space, restoration can be performed with the bit depths of the residual data being arranged to be uniform between a luminance component and a color difference component through of a bit shift. More specifically, for example, restoration can be performed after the bit depth of the luminance component is arranged to be uniform with respect to the bit depth of the color difference component through a bit shift. Furthermore, for example, in a case where the color space of the image is RGB space, the restoration can be performed with the bit depths of the residual data being arranged to be uniform between a G component and an R component or a B component through a bit shift. More specifically, for example, restoration can be performed after the bit depth of the G component is arranged to be uniform with respect to the bit depth of the R component or the B component through a bit shift.
[00252] Um exemplo específico do cálculo da restauração residual, como exposto, será descrito. Por exemplo, como na Equação (3), em um caso em que o escalonamento das profundidades de bit não for realizado na previsão residual, também na restauração residual, como na seguinte Equação (9), o escalonamento das profundidades de bit pode não ser realizado. Similarmente, na previsão residual, por exemplo, em um caso em que o escalonamento das profundidades de bit for realizado, como na Equação (4) até na Equação (8), também, na restauração residual, como na seguinte Equação (10) até na Equação (14), o escalonamento das profundidades de bit pode ser realizado. [Fórmula Matemática 5] r'c(x, y) = Δr'c(x, y) + (α x rL(x, y)) >> 3 ... (9) Δbitdepth = BitDepthY - BitDepthC ... (10) se(Δbitdepth > 0) ... (11) r'c(x, y) = Δr'c(x, y) + (α x (rt(x, y) >> Δbitdepth)) >> 3 ... (12) caso contrário ... (13) r'c(x, y) = Δr'c(x, y) + (α x (rt(x, y) << -Δbitdepth)) >> 3 ... (14)[00252] A specific example of the calculation of the residual restoration, as shown, will be described. For example, as in Equation (3), in a case where scaling of bit depths is not performed in residual prediction, also in residual restoration, as in the following Equation (9), scaling of bit depths may not be performed. accomplished. Similarly, in residual prediction, for example, in a case where scaling of bit depths is performed, as in Equation (4) through Equation (8), also, in residual restoration, as in the following Equation (10) through in Equation (14), scaling of bit depths can be performed. [Mathematical Formula 5] r'c(x, y) = Δr'c(x, y) + (α x rL(x, y)) >> 3 ... (9) Δbitdepth = BitDepthY - BitDepthC ... (10) if(Δbitdepth > 0) ... (11) r'c(x, y) = Δr'c(x, y) + (α x (rt(x, y) >> Δbitdepth)) >> 3 ... (12) otherwise ... (13) r'c(x, y) = Δr'c(x, y) + (α x (rt(x, y) << -Δbitdepth)) > > 3 ... (14)
[00253] Um método de cálculo de deslocamento para arranjar as profundidades de bit para serem uniformes, como exposto, é arbitrário. As profundidades de bit dos dados residuais podem ser arranjadas para serem uniformes pela transmissão da informação em relação à profundidade de bit dos dados residuais de cada componente a partir do lado da codificação, aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais uma previsão é realizada com base na informação em relação à profundidade de bit dos dados residuais de cada componente transmitido a partir do lado da codificação, e realização de um deslocamento de bit com base na diferença adquirida entre as profundidades de bit. Então, em um caso em que a diferença da profundidade de bit entre os dois componentes não for zero, a restauração pode ser realizada com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes através de um deslocamento de bit. Por exemplo, como na Equação (10) supradescrita, ela pode ser configurada de maneira tal que uma diferença (diferença da profundidade de bit) das profundidades de bit dos dados residuais entre os componentes seja adquirida e, da forma representada na Equação (11) até na Equação (14), um deslocamento de bit é realizado em correspondência com a diferença da profundidade de bit. Neste momento, o deslocamento de bit, como na Equação (12) e na Equação (14), pode ser realizado em correspondência com o valor absoluto da diferença da profundidade de bit. Em um caso como este, por exemplo, a direção do deslocamento pode ser determinada da forma representada na Equação (12) e na Equação (14) com base em se as condições da Equação (11) e da Equação (13) são satisfeitas ou não.[00253] An offset calculation method for arranging the bit depths to be uniform, as shown, is arbitrary. The bit depths of the residual data can be arranged to be uniform by transmitting information regarding the bit depth of the residual data of each component from the encoding side, acquiring a difference between the bit depths of two components to the which a prediction is performed based on information regarding the bit depth of the residual data of each component transmitted from the encoding side, and performing a bit shift based on the acquired difference between the bit depths. Then, in a case where the difference in bit depth between the two components is not zero, the restoration can be performed with the bit depths of the residual data being arranged to be uniform between the components through a bit shift. For example, as in Equation (10) above, it can be configured such that a difference (bit depth difference) of the residual data bit depths between the components is acquired and, as represented in Equation (11) even in Equation (14), a bit shift is performed in correspondence with the bit depth difference. At this time, the bit shift as in Equation (12) and Equation (14) can be performed in correspondence with the absolute value of the bit depth difference. In a case like this, for example, the direction of displacement can be determined as represented in Equation (12) and Equation (14) based on whether the conditions of Equation (11) and Equation (13) are satisfied or no.
[00254] Em outras palavras, em um caso como este, a restauração é realizada com a profundidade de bit (BitDepthY) dos dados residuais (rL(x, y)) do componente de luminância (Y) sendo arranjada para ser uniforme em relação à profundidade de bit (BitDepthC) dos dados residuais (rc(x, y)) do componente de diferença de cor (Cb ou Cr). Mais especificamente, uma diferença da profundidade de bit entre dois componentes para os quais a restauração é realizada é adquirida, um deslocamento de bit correspondente à diferença da profundidade de bit é realizado para os dados residuais restaurados de um componente dentre os dois componentes, os dados residuais com bit deslocado são multiplicados por um coeficiente de ponderação predeterminado, um deslocamento de bit correspondente a um número de bits predeterminado é realizado para o resultado da multiplicação, e o resultado da multiplicação com bit deslocado e os dados residuais previstos são adicionados em conjunto, de acordo com o que, os dados residuais do outro componente são restaurados. A restauração pode ser realizada como exposto.[00254] In other words, in a case like this, restoration is performed with the bit depth (BitDepthY) of the residual data (rL(x, y)) of the luminance component (Y) being arranged to be uniform with respect to to the bit depth (BitDepthC) of the residual data (rc(x, y)) of the color difference component (Cb or Cr). More specifically, a bit depth difference between two components for which restoration is performed is acquired, a bit shift corresponding to the bit depth difference is performed for the restored residual data of one component of the two components, the data bit-shifted residuals are multiplied by a predetermined weighting coefficient, a bit shift corresponding to a predetermined number of bits is performed for the multiplication result, and the bit-shifted multiplication result and the predicted residual data are added together, according to which, the residual data of the other component is restored. Restoration can be carried out as shown.
[00255] Em um caso em que Δbitdepth for zero, a quantidade de deslocamento de bit dos dados residuais (rL(x, y)) do componente de luminância (Y) é zero e, desta maneira, os dados residuais (r'c(x, y)) podem ser considerados calculados, da forma representada na Equação (9).[00255] In a case where Δbitdepth is zero, the bit shift amount of the residual data (rL(x, y)) of the luminance component (Y) is zero, and thus the residual data (r'c (x, y)) can be considered calculated, as represented in Equation (9).
[00256] Pelo cálculo como exposto, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, os dados residuais (r'c(x, y)) podem ser corretamente restaurados. Desta maneira, uma diminuição na eficiência de codificação pode ser suprimida.[00256] By the above calculation, also, in a case where the residual data bit depths are different between components, the residual data (r'c(x, y)) can be correctly restored. In this way, a decrease in coding efficiency can be suppressed.
[00257] A figura 10 é um diagrama de blocos que ilustra um exemplo da configuração principal de um aparelho de decodificação de imagem correspondente ao aparelho de codificação de imagem 100 ilustrado na figura 3, que é um aspecto do aparelho de processamento de imagem de acordo com a presente tecnologia.[00257] Fig. 10 is a block diagram illustrating an example of the main configuration of an image decoding apparatus corresponding to the image coding apparatus 100 illustrated in Fig. 3, which is an aspect of the image processing apparatus according to with the present technology.
[00258] O aparelho de decodificação de imagem 200 ilustrado na figura 10 decodifica os dados codificados gerados pelo aparelho de codificação de imagem 100 usando um método de decodificação correspondente ao método de codificação.[00258] The image decoding apparatus 200 illustrated in Fig. 10 decodes the encoded data generated by the image encoding apparatus 100 using a decoding method corresponding to the encoding method.
[00259] Da forma ilustrada na figura 10, o aparelho de decodificação de imagem 200 inclui: um buffer de acúmulo 201; uma unidade de decodificação reversível 202; uma unidade de quantização inversa 203; uma unidade de transformada ortogonal inversa 204; uma unidade de cálculo 205; um filtro em malha 206; e um buffer de rearranjo de tela 207. Além do mais, o aparelho de decodificação de imagem 200 inclui: uma memória de quadro 209; uma unidade de intraprevisão 210; uma unidade de interprevisão 211; e uma unidade de seleção de imagem prevista 212. Além do mais, o aparelho de decodificação de imagem 200 inclui: uma unidade de aquisição de cabeçalho 221; e uma unidade de restauração residual 222.[00259] As illustrated in Figure 10, the image decoding apparatus 200 includes: an accumulation buffer 201; a reversible decoding unit 202; an inverse quantization unit 203; an inverse orthogonal transform unit 204; a calculation unit 205; a mesh filter 206; and a screen rearrangement buffer 207. Furthermore, the picture decoding apparatus 200 includes: a frame memory 209; an intraprediction unit 210; an interprediction unit 211; and a predictive image selection unit 212. Furthermore, the image decoding apparatus 200 includes: a header acquisition unit 221; and a residual restoration unit 222.
[00260] O buffer de acúmulo 201 também serve como uma unidade de recepção que recebe dados codificados transmitidos a partir do lado da codificação (por exemplo, o aparelho de codificação de imagem 100). O buffer de acúmulo 201 recebe e acumula os dados codificados transmitidos e supre os dados codificados para a unidade de decodificação reversível 202 em sincronização predeterminada. Aqui, informação exigida para um processo de decodificação, tais como informação do modo de previsão e congêneres, é adicionada nos dados codificados. A unidade de decodificação reversível 202 decodifica a informação, que é suprida a partir do buffer de acúmulo 201, codificada pela unidade de codificação reversível 106 usando um sistema de decodificação correspondente ao sistema de codificação. A unidade de decodificação reversível 202 supre dados de coeficiente quantizados que são adquiridos pelo processo de decodificação para a unidade de quantização inversa 203.[00260] The accumulation buffer 201 also serves as a receiving unit that receives encoded data transmitted from the encoding side (e.g., the picture encoding apparatus 100). The accumulation buffer 201 receives and accumulates the transmitted encoded data and supplies the encoded data to the reversible decoding unit 202 in predetermined timing. Here, information required for a decoding process, such as prediction mode information and the like, is added to the encoded data. The reversible decoding unit 202 decodes the information, which is supplied from the accumulation buffer 201, encoded by the reversible coding unit 106 using a decoding system corresponding to the encoding system. Reverse decoding unit 202 supplies quantized coefficient data that is acquired by the decoding process to inverse quantization unit 203.
[00261] Além do mais, a unidade de decodificação reversível 202 determina se o modo de intraprevisão ou o modo de interprevisão é selecionado como um modo de previsão ideal e supre informação em relação ao modo de previsão ideal para o um modo da unidade de intraprevisão 210 e da unidade de interprevisão 211 que é determinado como selecionado. Em outras palavras, por exemplo, em um caso em que o modo de intraprevisão for selecionado como o modo de previsão ideal no aparelho de codificação de imagem 100, informação em relação ao modo de previsão ideal é suprida para a unidade de intraprevisão 210. Por outro lado, por exemplo, em um caso em que o modo de interprevisão for selecionado como o modo de previsão ideal no aparelho de codificação de imagem 100, informação em relação ao modo de previsão ideal é suprida para a unidade de interprevisão 211.[00261] Furthermore, the reversible decoding unit 202 determines whether the intraprediction mode or the interprediction mode is selected as an optimal prediction mode and supplies information regarding the optimal prediction mode to the one mode of the intraprediction unit 210 and the interprediction unit 211 which is determined to be selected. In other words, for example, in a case where the intraprediction mode is selected as the optimal prediction mode in the image coding apparatus 100, information regarding the optimal prediction mode is supplied to the intraprediction unit 210. By On the other hand, for example, in a case where the interprediction mode is selected as the ideal prediction mode in the image coding apparatus 100, information regarding the ideal prediction mode is supplied to the interprediction unit 211.
[00262] Além do mais, a unidade de decodificação reversível 202 supre informação exigida para quantização inversa, tais como uma matriz de quantização e parâmetros de quantização, para a unidade de quantização inversa 203.[00262] Furthermore, the reversible decoding unit 202 supplies information required for inverse quantization, such as a quantization matrix and quantization parameters, to the inverse quantization unit 203.
[00263] Além do mais, a unidade de decodificação reversível 202 supre informação de cabeçalho, tais como um conjunto de parâmetro de sequência (SPS), um conjunto de parâmetro de figura (PPS) ou um cabeçalho de fatia, para a unidade de aquisição de cabeçalho 221.[00263] Furthermore, the reversible decoding unit 202 supplies header information, such as a sequence parameter set (SPS), a picture parameter set (PPS) or a slice header, to the acquisition unit header 221.
[00264] A unidade de quantização inversa 203 realiza quantização inversa dos dados de coeficiente quantizados adquiridos através do processo de decodificação realizado pela unidade de decodificação reversível 202 usando um sistema que corresponde ao sistema de quantização da unidade de quantização 105. Aqui, esta unidade de quantização inversa 203 é uma unidade de processamento similar à unidade de quantização inversa 108. Em outras palavras, a descrição da unidade de quantização inversa 203 também pode ser aplicada na unidade de quantização inversa 108. Entretanto, os destinos de entrada / saída de dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho.[00264] The inverse quantization unit 203 performs inverse quantization of the quantized coefficient data acquired through the decoding process performed by the reversible decoding unit 202 using a system corresponding to the quantization system of the quantization unit 105. Here, this decoding unit Inverse quantization unit 203 is a processing unit similar to inverse quantization unit 108. In other words, the description of inverse quantization unit 203 can also be applied to inverse quantization unit 108. However, the data input/output destinations and congeners need to be reformulated appropriately according to the apparatus.
[00265] A unidade de quantização inversa 203 supre os dados de coeficiente adquiridos para a unidade de transformada ortogonal inversa 204.[00265] The inverse quantization unit 203 supplies the acquired coefficient data to the inverse orthogonal transform unit 204.
[00266] A unidade de transformada ortogonal inversa 204 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal supridos a partir da unidade de quantização inversa 203 pelo uso de um método correspondente ao processo de transformada ortogonal realizado pela unidade de transformada ortogonal 104 conforme seja necessário. Aqui, esta unidade de transformada ortogonal inversa 204 é uma unidade de processamento similar à unidade de transformada ortogonal inversa 109. Em outras palavras, a descrição da unidade de transformada ortogonal inversa 204 também pode ser aplicada na unidade de transformada ortogonal inversa 109. Entretanto, os destinos de entrada / saída dos dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho.[00266] The inverse orthogonal transform unit 204 performs an inverse orthogonal transform of the orthogonal transform coefficients supplied from the inverse quantization unit 203 by using a method corresponding to the orthogonal transform process performed by the orthogonal transform unit 104 as required . Here, this inverse orthogonal transform unit 204 is a processing unit similar to the inverse orthogonal transform unit 109. In other words, the description of the inverse orthogonal transform unit 204 can also be applied to the inverse orthogonal transform unit 109. However, input / output destinations of data and the like need to be reformulated appropriately according to the device.
[00267] A unidade de transformada ortogonal inversa 204 adquire dados residuais e dados residuais previstos correspondentes a um estado antes da transformada ortogonal realizada pelo aparelho de codificação de imagem 100 através do processo de transformada ortogonal inversa. Os dados residuais e os dados residuais previstos adquiridos através da transformada ortogonal inversa são supridos para a unidade de restauração residual 222.[00267] The inverse orthogonal transform unit 204 acquires residual data and predicted residual data corresponding to a state before the orthogonal transform performed by the image coding apparatus 100 through the inverse orthogonal transform process. The residual data and the predicted residual data acquired through the inverse orthogonal transform are supplied to the residual restoration unit 222.
[00268] A unidade de cálculo 205 adquire os dados residuais de cada componente, que são restaurados, a partir da unidade de restauração residual 222. Além do mais, a unidade de cálculo 205 adquire uma imagem prevista a partir da unidade de intraprevisão 210 ou da unidade de interprevisão 211 através da unidade de seleção de imagem prevista 212. A unidade de cálculo 205 adquire uma imagem de reconstrução correspondente a uma imagem antes da subtração da imagem prevista que é realizada pela unidade de cálculo 103 pela adição de uma imagem diferencial e da imagem prevista em conjunto. A unidade de cálculo 205 supre a imagem de reconstrução para o filtro em malha 206 e a unidade de intraprevisão 210.[00268] The calculation unit 205 acquires the residual data of each component, which are restored, from the residual restoration unit 222. Furthermore, the calculation unit 205 acquires a predicted image from the intraprediction unit 210 or from the interprediction unit 211 through the predicted image selection unit 212. The calculation unit 205 acquires a reconstruction image corresponding to an image before the subtraction of the predicted image which is performed by the calculation unit 103 by adding a differential image and of the predicted image together. The calculation unit 205 supplies the reconstruction image to the mesh filter 206 and the intraprediction unit 210.
[00269] O filtro em malha 206 gera uma imagem decodificada pela apropriada realização de um processo de filtro em malha que inclui um processo do filtro de desbloqueio, um filtro em malha adaptativo e congêneres para a imagem de reconstrução suprida. Por exemplo, o filtro em malha 206 realiza um processo do filtro de desbloqueio para a imagem de reconstrução, desse modo, removendo uma distorção do bloco. Além do mais, por exemplo, o filtro em malha 206 realiza um processo de filtro em malha para um resultado (a imagem de reconstrução a partir da qual a distorção do bloco é removida) do processo do filtro de desbloqueio pelo uso de um filtro Wiener, desse modo, melhorando a qualidade da imagem.[00269] The mesh filter 206 generates a decoded image by appropriately performing a mesh filter process that includes a deblocking filter process, an adaptive mesh filter, and the like for the supplied reconstruction image. For example, the mesh filter 206 performs a deblocking filter process for the reconstruction image, thereby removing a block distortion. Furthermore, for example, the mesh filter 206 performs a mesh filter process for a result (the reconstruction image from which block distortion is removed) of the deblocking filter process by use of a Wiener filter. , thereby improving the image quality.
[00270] Aqui, o tipo do processo de filtro realizado pelo filtro em malha 206 é arbitrário, e um processo de filtro diferente daquele supradescrito pode ser realizado. Além do mais, o filtro em malha 206 pode ser configurado para realizar o processo de filtro usando coeficientes de filtro supridos a partir do aparelho de codificação de imagem 100.[00270] Here, the type of filter process performed by the mesh filter 206 is arbitrary, and a filter process other than the above-described one can be performed. Furthermore, the mesh filter 206 can be configured to perform the filtering process using filter coefficients supplied from the image coding apparatus 100.
[00271] O filtro em malha 206 supre uma imagem decodificada que é um resultado do processo de filtro para o buffer de rearranjo de tela 207 e a memória de quadro 209.[00271] The mesh filter 206 supplies a decoded image that is a result of the filter process to the screen rearrangement buffer 207 and the frame memory 209.
[00272] O buffer de rearranjo de tela 207 realiza rearranjo das imagens. Em outras palavras, a ordem dos quadros arranjados pelo buffer de rearranjo de tela 102 para a ordem de codificação é mudada para a ordem da exibição original. O buffer de rearranjo de tela 207 transmite dados de imagem decodificados nos quais a ordem de quadros é rearranjada para o exterior do aparelho de decodificação de imagem 200.[00272] The screen rearrangement buffer 207 performs image rearrangement. In other words, the order of the frames arranged by the screen rearrangement buffer 102 to the encoding order is changed to the original display order. The screen rearrangement buffer 207 transmits decoded picture data in which the frame order is rearranged to the outside of the picture decoding apparatus 200.
[00273] A memória de quadro 209 armazena a imagem decodificada suprida e supre a imagem decodificada armazenada para a unidade de interprevisão 211 como uma imagem de referência em sincronização predeterminada ou com base em uma solicitação proveniente do exterior, tal como a unidade de interprevisão 211.[00273] The frame memory 209 stores the supplied decoded image and supplies the stored decoded image to the interprediction unit 211 as a reference image in predetermined synchronization or based on a request from outside, such as the interprediction unit 211 .
[00274] Informação que representa o modo de intraprevisão e congêneres é adquirida pela decodificação da informação de cabeçalho e é apropriadamente suprida para a unidade de intraprevisão 210 da unidade de decodificação reversível 202. A unidade de intraprevisão 210 realiza uma intraprevisão pelo uso da imagem de referência adquirida a partir da memória de quadro 209 no modo de intraprevisão usado pela unidade de intraprevisão 113, desse modo, gerando uma imagem prevista. A unidade de intraprevisão 210 supre a imagem prevista gerada para a unidade de seleção de imagem prevista 212.[00274] Information representing the intraprediction mode and the like is acquired by decoding the header information and is appropriately supplied to the intraprediction unit 210 from the reversible decoding unit 202. The intraprediction unit 210 performs an intraprediction by using the image of reference acquired from frame memory 209 in the intraprediction mode used by the intraprediction unit 113, thereby generating a predicted image. The intraprediction unit 210 supplies the generated predicted image to the predicted image selection unit 212.
[00275] A unidade de interprevisão 211 adquire informação (a informação do modo de previsão ideal, a informação da imagem de referência e congêneres) adquirida pela decodificação da informação de cabeçalho a partir da unidade de decodificação reversível 202.[00275] The interprediction unit 211 acquires information (the ideal prediction mode information, the reference picture information and the like) acquired by decoding the header information from the reversible decoding unit 202.
[00276] A unidade de interprevisão 211 realiza uma interprevisão pelo uso da imagem de referência adquirida a partir da memória de quadro 209 no modo de interprevisão representado pela informação do modo de previsão ideal adquirida a partir da unidade de decodificação reversível 202, desse modo, gerando uma imagem prevista.[00276] The interprediction unit 211 performs an interprediction by using the reference image acquired from the frame memory 209 in the interprediction mode represented by the ideal prediction mode information acquired from the reversible decoding unit 202, thereby, generating a predicted image.
[00277] A unidade de seleção de imagem prevista 212 supre uma imagem prevista suprida a partir da unidade de intraprevisão 210 ou uma imagem prevista suprida a partir da unidade de interprevisão 211 para a unidade de cálculo 205. Então, a unidade de cálculo 205 adiciona a imagem prevista gerada usando um vetor de movimento e os dados decodificados residuais (informação de imagem diferencial) supridos a partir da unidade de restauração residual 222, de acordo com o que, uma imagem original é decodificada.[00277] The predicted image selection unit 212 supplies a predicted image supplied from the intraprediction unit 210 or a predicted image supplied from the interprediction unit 211 to the calculation unit 205. Then, the calculation unit 205 adds the predicted image generated using a motion vector and the residual decoded data (differential image information) supplied from the residual restoration unit 222, whereby an original image is decoded.
[00278] A unidade de aquisição de cabeçalho 221, por exemplo, adquire a informação de cabeçalho transmitida a partir do lado da codificação, tais como um conjunto do parâmetro de vídeo (VPS), um conjunto de parâmetro de sequência (SPS) e um conjunto de parâmetro de figura (PPS), uma SEI e um cabeçalho de fatia através da unidade de decodificação reversível 202. A unidade de aquisição de cabeçalho 221 supre informação necessária incluída na informação de cabeçalho adquirida para a unidade de restauração residual 222. Detalhes disto serão descritos a seguir.[00278] The header acquisition unit 221, for example, acquires the header information transmitted from the encoding side, such as a video parameter set (VPS), a sequence parameter set (SPS) and a picture parameter set (PPS), an SEI and a slice header through the reversible decoding unit 202. The header acquisition unit 221 supplies necessary information included in the acquired header information to the residual restoration unit 222. Details thereof will be described below.
[00279] A unidade de restauração residual 222 restaura os dados residuais do componente de diferença de cor (também referida como restauração residual) pelo uso dos dados residuais do componente de luminância e dos dados residuais previstos do componente de diferença de cor supridos a partir da unidade de transformada ortogonal inversa 204. Neste momento, a unidade de restauração residual 222 realiza restauração com as profundidades de bit dos dados residuais sendo arranjadas para serem uniformes entre os componentes. Aqui, esta unidade de restauração residual 222 é uma unidade de processamento que é similar à unidade de restauração residual 123. Em outras palavras, a descrição da unidade de restauração residual 222 também pode ser aplicada à unidade de restauração residual 123. Entretanto, os destinos de entrada / saída dos dados e congêneres precisam ser reformulados apropriadamente de acordo com o aparelho.[00279] The residual restoration unit 222 restores the color difference component residual data (also referred to as residual restoration) by using the luminance component residual data and the predicted color difference component residual data supplied from the inverse orthogonal transform unit 204. At this time, the residual restoration unit 222 performs restoration with the bit depths of the residual data being arranged to be uniform across components. Here, this residual restoration unit 222 is a processing unit which is similar to the residual restoration unit 123. In other words, the description of the residual restoration unit 222 can also be applied to the residual restoration unit 123. However, the destinations input / output data and the like need to be reformulated appropriately according to the device.
[00280] A figura 11 é um diagrama de blocos que ilustra um exemplo das configurações principais da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 ilustradas na figura 10. Da forma ilustrada na figura 11, a unidade de aquisição de cabeçalho 221 inclui: uma unidade de aquisição de SPS 231; uma unidade de aquisição de PPS 232; e uma unidade de aquisição do coeficiente de ponderação 233.[00280] Figure 11 is a block diagram illustrating an example of the main configurations of the header acquisition unit 221 and the residual restoration unit 222 shown in figure 10. As illustrated in figure 11, the header acquisition unit 221 includes: an SPS 231 acquisition unit; a PPS acquisition unit 232; and a weighting coefficient acquisition unit 233.
[00281] A unidade de aquisição de SPS 231 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância, que é incluída no conjunto de parâmetro de sequência (SPS) suprido a partir do lado da codificação, e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor e supre a informação adquirida para a unidade de restauração residual 222 (uma unidade de cálculo da diferença da profundidade de bit 251 a ser descrita posteriormente).[00281] The SPS acquisition unit 231 acquires information (e.g., bit_depth_luma_minus8) representing the bit depth of the luminance component or information including information representing the bit depth of the luminance component, which is included in the set of sequence parameter (SPS) supplied from the encoding side, and information (for example, bit_depth_chroma_minus8) representing the bit depth of the color difference component (Cb/Cr) or information including information representing the depth of the color difference component and supplies the acquired information to the residual restoration unit 222 (a bit depth difference calculation unit 251 to be described later).
[00282] A unidade de aquisição de PPS 232 supre informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS) suprido a partir do lado da codificação, usado para controlar se uma previsão residual é realizada ou não, para a unidade de restauração residual 222 (uma unidade de controle de deslocamento de bit 252 a ser descrita posteriormente).[00282] The PPS acquisition unit 232 supplies information (for example, luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS) supplied from the encoding side, used to control whether a residual prediction is performed or not , to the residual restoration unit 222 (a bit shift control unit 252 to be described later).
[00283] A unidade de aquisição do coeficiente de ponderação 233 supre o coeficiente de ponderação α ou informação que inclui o coeficiente de ponderação α suprido a partir do lado da codificação para a unidade de restauração residual 222 (uma unidade de multiplicação do coeficiente de ponderação 264 a ser descrita posteriormente).[00283] The weighting coefficient acquisition unit 233 supplies the weighting coefficient α or information including the weighting coefficient α supplied from the encoding side to the residual restoration unit 222 (a weighting coefficient multiplication unit 264 to be described later).
[00284] A unidade de restauração residual 222 supre os dados residuais restaurados (r'Y(x, y)) do componente de luminância suprido a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205. A unidade de restauração residual 222 inclui uma unidade de controle 241 e uma unidade de restauração 242. A unidade de controle 241 realiza um processo em relação ao controle do cálculo em relação à restauração residual. A unidade de restauração 242 realiza cálculo em relação à restauração residual sob o controle da unidade de controle 241. Por exemplo, a unidade de restauração 242, pelo uso dos dados residuais restaurados (r'Y(x, y)) do componente de luminância adquiridos a partir da unidade de transformada ortogonal inversa 204, restaura os dados residuais (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor dos dados residuais restaurados previstos (Δr'Cr(x, y) e Δr'Cb(x, y)) do componente de diferença de cor, que é adquirido a partir da unidade de transformada ortogonal inversa 204, sob o controle da unidade de controle 241. A unidade de restauração 242 supre os dados residuais restaurados (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor para a unidade de cálculo 205. Além do mais, a unidade de restauração residual 222 supre os dados residuais restaurados (r'Cr(x, y) e r'Cb(x, y)) do componente de diferença de cor adquiridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205 sem realizar restauração residual sob o controle da unidade de controle 241.[00284] The residual restoration unit 222 supplies the restored residual data (r'Y(x, y)) of the luminance component supplied from the inverse orthogonal transform unit 204 to the calculation unit 205. The residual restoration unit 222 includes a control unit 241 and a restoration unit 242. The control unit 241 performs a process with respect to controlling the calculation with respect to the residual restoration. The restoration unit 242 performs calculation with respect to the residual restoration under the control of the control unit 241. For example, the restoration unit 242, by use of the restored residual data (r'Y(x, y)) of the luminance component acquired from the inverse orthogonal transform unit 204, restores the residual data (r'Cr(x, y) and r'Cb(x, y)) of the color difference component of the predicted restored residual data (Δr'Cr( x, y) and Δr'Cb(x, y)) of the color difference component, which is acquired from the inverse orthogonal transform unit 204, under the control of the control unit 241. The restoration unit 242 supplies the restored residual data (r'Cr(x, y) and r'Cb(x, y)) of the color difference component to the calculation unit 205. Furthermore, the residual restoration unit 222 supplies the restored residual data (r'Cr(x, y) and r'Cb(x, y)) of the color difference component acquired from the inverse orthogonal transform unit 204 to the calculation unit 205 without performing residual restoration under the control of the unit of control 241.
[00285] A unidade de controle 241 inclui: uma unidade de cálculo da diferença da profundidade de bit 251; e uma unidade de controle de deslocamento de bit 252.[00285] The control unit 241 includes: a bit depth difference calculation unit 251; and a bit shift control unit 252.
[00286] A unidade de cálculo da diferença da profundidade de bit 251 calcula uma diferença da profundidade de bit entre os dados residuais dos componentes usados para uma previsão residual. Por exemplo, a unidade de cálculo da diferença da profundidade de bit 251 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância ou informação que inclui a informação que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr) ou informação que inclui a informação que representa a profundidade de bit do componente de diferença de cor da a partir unidade de aquisição de SPS 231 e realiza o cálculo representado na Equação (4) pelo uso de tal informação, desse modo, calculando uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. A unidade de cálculo da diferença da profundidade de bit 251 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de controle de deslocamento de bit 252.[00286] The bit depth difference calculation unit 251 calculates a bit depth difference between the residual data of the components used for a residual prediction. For example, the bit depth difference calculation unit 251 acquires information (e.g. bit_depth_luma_minus8) representing the bit depth of the luminance component or information including information representing the bit depth of the luminance component and information (e.g., bit_depth_chroma_minus8) representing the bit depth of the color difference component (Cb/Cr) or information including information representing the bit depth of the color difference component of the from SPS acquisition unit 231 and performs the calculation represented in Equation (4) by using such information, thereby calculating a bit depth difference (delta_bitdepth) between the components. The bit depth difference calculation unit 251 supplies the calculated bit depth difference (delta_bitdepth) to the bit shift control unit 252.
[00287] Além do mais, a unidade de cálculo da diferença da profundidade de bit 251 supre a diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de restauração 242 sob o controle da unidade de controle de deslocamento de bit 252. Por exemplo, em um caso em que um deslocamento para a direita dos dados residuais for realizado no momento do escalonamento das profundidades de bit, a unidade de cálculo da diferença da profundidade de bit 251 supre uma diferença da profundidade de bit calculada (delta_bitdepth) para a unidade de deslocamento direito 262. Por outro lado, em um caso em que um deslocamento para a esquerda dos dados residuais for realizado no momento do escalonamento das profundidades de bit, a unidade de cálculo da diferença da profundidade de bit 251 supre uma diferença da profundidade de bit calculada (-delta_bitdepth) para a unidade de deslocamento esquerdo 263.[00287] Furthermore, the bit depth difference calculation unit 251 supplies the calculated bit depth difference (delta_bitdepth) to the restore unit 242 under the control of the bit shift control unit 252. For example , in a case where a right shift of the residual data is performed at the time of scaling the bit depths, the bit depth difference calculation unit 251 supplies a calculated bit depth difference (delta_bitdepth) to the unit right shift 262. On the other hand, in a case where a left shift of the residual data is performed at the time of scaling the bit depths, the bit depth difference calculation unit 251 supplies a bit depth difference 262. bit computed (-delta_bitdepth) to left shift unit 263.
[00288] A unidade de controle de deslocamento de bit 252 controla o cálculo realizado pela unidade de restauração 242 com base no valor da diferença da profundidade de bit (delta_bitdepth) entre os componentes supridos a partir da unidade de cálculo da diferença da profundidade de bit 251. Por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for zero, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma) de maneira tal que um deslocamento de bit (o escalonamento da profundidade de bit) dos dados residuais não seja realizado. Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth) não seja suprida para a unidade de restauração 242.[00288] The bit shift control unit 252 controls the calculation performed by the restoration unit 242 based on the bit depth difference value (delta_bitdepth) between the components supplied from the bit depth difference calculation unit 251. For example, in a case where the bit depth difference (delta_bitdepth) is zero, the bit shift control unit 252 performs control of the restore unit 242 (the selection unit 261 thereof) in such a way that a bit shift (the bit depth scaling) of the residual data is not performed. Furthermore, at this time, the bit shift control unit 252 also performs control of the bit depth difference calculation unit 251 in such a way that the bit depth difference (delta_bitdepth) is not supplied to the bit depth difference unit 251. restoration 242.
[00289] Além do mais, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor positivo (> 0), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma), de maneira tal que os dados residuais sejam deslocados para o lado direito (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth) seja suprida para a unidade de restauração 242 (a unidade de deslocamento direito 262).[00289] Furthermore, for example, in a case where the bit depth difference (delta_bitdepth) has a positive value (> 0), the bit shift control unit 252 performs restoration unit control 242 ( the selection unit 261 thereof), in such a way that the residual data is shifted to the right side (bit depth scaling is performed). Furthermore, at this time, the bit shift control unit 252 also performs control of the bit depth difference calculation unit 251 in such a way that the bit depth difference (delta_bitdepth) is supplied to the restoration unit. 242 (the right shift unit 262).
[00290] Por outro lado, por exemplo, em um caso em que a diferença da profundidade de bit (delta_bitdepth) tiver um valor negativo (< 0), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 (a unidade de seleção 261 da mesma) de maneira tal que os dados residuais sejam deslocados para o lado esquerdo (o escalonamento da profundidade de bit é realizado). Além do mais, neste momento, a unidade de controle de deslocamento de bit 252 também realiza controle da unidade de cálculo da diferença da profundidade de bit 251, de maneira tal que a diferença da profundidade de bit (-delta_bitdepth) seja suprida para a unidade de restauração 242 (a unidade de deslocamento esquerdo 263).[00290] On the other hand, for example, in a case where the bit depth difference (delta_bitdepth) has a negative value (< 0), the bit shift control unit 252 performs restoration unit control 242 ( the selection unit 261 thereof) in such a way that the residual data is shifted to the left side (bit depth scaling is performed). Furthermore, at this time, the bit shift control unit 252 also performs control of the bit depth difference calculation unit 251, such that the bit depth difference (-delta_bitdepth) is supplied to the bit depth unit. reset 242 (the left shift unit 263).
[00291] Além do mais, a unidade de controle de deslocamento de bit 252, por exemplo, adquire informação (por exemplo, luma_chroma_prediction_enabled_flag), que é suprida a partir do lado da codificação, usada para controlar se uma previsão residual é realizada ou não a partir da unidade de aquisição de PPS 232 e controla se restauração residual é realizada ou não com base no valor da mesma. Por exemplo, em um caso em que for representado que uma previsão residual não é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não (em outras palavras, também é representado que restauração residual não é realizada), a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 de maneira tal que cálculo em relação à restauração não seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que o suprimento da diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja interrompido. Além do mais, a unidade de controle de deslocamento de bit 252, em um caso como este, realiza controle da unidade de aquisição do coeficiente de ponderação 233 de maneira tal que o coeficiente de ponderação α não seja adquirido.[00291] Furthermore, the bit shift control unit 252, for example, acquires information (e.g., luma_chroma_prediction_enabled_flag), which is supplied from the encoding side, used to control whether a residual prediction is performed or not from the PPS 232 acquisition unit and controls whether or not residual restoration is performed based on its value. For example, in a case where it is represented that a residual forecast is not realized based on the information used to control whether a residual forecast is realized or not (in other words, it is also represented that residual restoration is not realized), the unit bit shift control unit 252 performs control of reset unit 242 in such a way that calculation with respect to reset is not performed. Furthermore, in such a case, the bit shift control unit 252 performs control of the bit depth difference calculation unit 251 in such a way that supplying the bit depth difference (delta_bitdepth or -delta_bitdepth) be interrupted. Furthermore, the bit shift control unit 252, in such a case, performs control of the weighting coefficient acquisition unit 233 in such a way that the weighting coefficient α is not acquired.
[00292] Por outro lado, por exemplo, em um caso em que for representado que uma previsão residual (em outras palavras, também, restauração residual) é realizada com base na informação usada para controlar se uma previsão residual é realizada ou não, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de restauração 242 de maneira tal que cálculo em relação à restauração seja realizado. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de cálculo da diferença da profundidade de bit 251 de maneira tal que a diferença da profundidade de bit (delta_bitdepth ou - delta_bitdepth) seja suprida para a unidade de restauração 242. Além do mais, em um caso como este, a unidade de controle de deslocamento de bit 252 realiza controle da unidade de aquisição do coeficiente de ponderação 233 para adquirir o coeficiente de ponderação α e supre o coeficiente de ponderação para a unidade de restauração 242 (unidade de multiplicação do coeficiente de ponderação 264).[00292] On the other hand, for example, in a case where it is represented that a residual forecast (in other words, also residual restoration) is performed based on the information used to control whether a residual forecast is performed or not, the bit shift control unit 252 performs control of reset unit 242 in such a way that calculation regarding reset is performed. Furthermore, in such a case, the bit shift control unit 252 performs control of the bit depth difference calculation unit 251 in such a way that the bit depth difference (delta_bitdepth or -delta_bitdepth) is supplied to the restoration unit 242. Furthermore, in such a case, the bit shift control unit 252 performs control of the weighting coefficient acquisition unit 233 to acquire the weighting coefficient α and supplies the weighting coefficient to restoration unit 242 (weighting coefficient multiplication unit 264).
[00293] A unidade de restauração 242 realiza cálculo que é, basicamente, o mesmo cálculo realizado pela unidade de previsão 142 e, assim, tem uma configuração que é, basicamente, igual àquela da unidade de previsão 142. Em outras palavras, a unidade de restauração 242 inclui: uma unidade de seleção 261; uma unidade de deslocamento direito 262; uma unidade de deslocamento esquerdo 263; uma unidade de multiplicação do coeficiente de ponderação 264; uma unidade de deslocamento direito 265; uma unidade de cálculo 266; e uma unidade de cálculo 267.[00293] The restoration unit 242 performs calculation that is basically the same calculation performed by the prediction unit 142 and thus has a configuration that is basically the same as that of the prediction unit 142. In other words, the unit restoration 242 includes: a selection unit 261; a right shift unit 262; a left shift unit 263; a weighting coefficient multiplication unit 264; a right shift unit 265; a calculation unit 266; and a calculation unit 267.
[00294] A unidade de seleção 261, similarmente à unidade de seleção 161, seleciona um destino de suprimento dos dados residuais (r'Y(x, y)) do componente de luminância, que foi restaurado, suprido a partir da unidade de transformada ortogonal inversa 204 sob o controle da unidade de controle de deslocamento de bit 252. Por exemplo, no caso da realização de escalonamento (deslocamento para a direita) da profundidade de bit, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento direito 262. Neste caso, o cálculo correspondente à Equação (6) é realizado. Além do mais, no caso da realização de escalonamento (deslocamento para a esquerda) da profundidade de bit, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de deslocamento esquerdo 263. Neste caso, o cálculo correspondente à Equação (8) é realizado. Por outro lado, por exemplo, em um caso em que o escalonamento da profundidade de bit não for realizado, a unidade de seleção 261 supre os dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, para a unidade de multiplicação do coeficiente de ponderação 264. Neste caso, o cálculo correspondente à Equação (3) é realizado.[00294] The selection unit 261, similarly to the selection unit 161, selects a supply destination of the residual data (r'Y(x, y)) of the luminance component, which has been restored, supplied from the transform unit Inverse orthogonal 204 under control of bit shift control unit 252. For example, in case of performing scaling (right shift) of bit depth, selection unit 261 supplies residual data (r'Y( x, y)) of the luminance component, which were restored, to the right displacement unit 262. In this case, the calculation corresponding to Equation (6) is performed. Furthermore, in the case of performing scaling (left shift) of the bit depth, the selection unit 261 supplies the residual data (r'Y(x, y)) of the luminance component, which has been restored, to the left shift unit 263. In this case, the calculation corresponding to Equation (8) is performed. On the other hand, for example, in a case where bit depth scaling is not performed, the selection unit 261 supplies the residual data (r'Y(x, y)) of the luminance component, which has been restored, for the weighting coefficient multiplication unit 264. In this case, the calculation corresponding to Equation (3) is performed.
[00295] A unidade de deslocamento direito 262 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 261 para o lado direito em correspondência com uma diferença da profundidade de bit (delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 251. A unidade de deslocamento direito 262 supre um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita dos dados residuais do componente de luminância par a unidade de multiplicação do coeficiente de ponderação 264.[00295] The right shift unit 262 performs bit depth scaling by shifting the residual data (r'Y(x, y)) of the luminance component, which were restored, acquired from the selection unit 261 to the side right in correspondence with a bit depth difference (delta_bitdepth) acquired from the bit depth difference calculation unit 251. The right shift unit 262 supplies a result (r'Y(x, y) >> delta_bitdepth) of the right shift of the luminance component residual data by the weighting coefficient multiplication unit 264.
[00296] A unidade de deslocamento esquerdo 263 realiza escalonamento da profundidade de bit pelo deslocamento dos dados residuais (r'Y(x, y)) do componente de luminância, que foram restaurados, adquiridos a partir da unidade de seleção 261 para o lado esquerdo em correspondência com uma diferença da profundidade de bit (-delta_bitdepth) adquirida a partir da unidade de cálculo da diferença da profundidade de bit 251. A unidade de deslocamento esquerdo 263 supre um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda dos dados residuais do componente de luminância para a unidade de multiplicação do coeficiente de ponderação 264.[00296] The left shift unit 263 performs bit depth scaling by shifting the residual data (r'Y(x, y)) of the luminance component, which were restored, acquired from the selection unit 261 to the side left in correspondence with a bit depth difference (-delta_bitdepth) acquired from the bit depth difference calculation unit 251. The left shift unit 263 supplies a result (r'Y(x, y) << - delta_bitdepth) of the left shift of the luminance component residual data to the weighting coefficient multiplication unit 264.
[00297] A unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais do componente de luminância que foram restaurados a partir de uma da unidade de seleção 261 para a unidade de deslocamento esquerdo 263. Por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y)) do componente de luminância que não passaram por deslocamento de bit a partir da unidade de seleção 261. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y) >> delta_bitdepth) do componente de luminância que foram deslocados para o lado direito a partir da unidade de deslocamento direito 262. Além do mais, por exemplo, a unidade de multiplicação do coeficiente de ponderação 264 adquire os dados residuais restaurados (r'Y(x, y) << -delta_bitdepth) do componente de luminância que foram deslocados para o lado esquerdo a partir da unidade de deslocamento esquerdo 263.[00297] The weighting coefficient multiplication unit 264 acquires the residual luminance component data that has been restored from one of the selection unit 261 to the left shift unit 263. For example, the weighting coefficient multiplication unit weighting 264 acquires the restored residual data (r'Y(x, y)) of the luminance component that has not undergone bit shifting from the selection unit 261. Furthermore, for example, the coefficient multiplication unit weighting 264 acquires the restored residual data (r'Y(x, y) >> delta_bitdepth) of the luminance component that has been shifted to the right side from the right shift unit 262. Furthermore, for example, the weighting unit weighting coefficient multiplication 264 acquires the restored residual data (r'Y(x, y) << -delta_bitdepth) of the luminance component that has been shifted to the left side from the left shift unit 263.
[00298] Além do mais, a unidade de multiplicação do coeficiente de ponderação 264 adquire o coeficiente de ponderação α através da unidade de aquisição do coeficiente de ponderação 233. A unidade de multiplicação do coeficiente de ponderação 264 multiplica os dados residuais restaurados do componente de luminância que foram adquiridos pelo coeficiente de ponderação α e supre um resultado (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) ou a x (r'Y(x, y) << -delta_bitdepth)) da multiplicação para a unidade de deslocamento direito 265.[00298] Furthermore, the weighting coefficient multiplication unit 264 acquires the weighting coefficient α through the weighting coefficient acquisition unit 233. The weighting coefficient multiplication unit 264 multiplies the restored residual data of the weighting component luminance that were acquired by weighting coefficient α and supplies a result (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) or a x (r'Y(x, y ) << -delta_bitdepth)) of multiplication to right shift unit 265.
[00299] A unidade de deslocamento direito 265 desloca os dados residuais restaurados (a x (r'Y(x, y)), a x (r'Y(x, y) >> delta_bitdepth) ou a x (r'Y(x, y) << -delta_bitdepth)) do componente de luminância, que foram supridos a partir da unidade de multiplicação do coeficiente de ponderação 264, para o lado direito em bits predeterminados. Embora a quantidade de deslocamento de bit seja arbitrária, desde que ela seja igual àquela do lado da codificação, por exemplo, no caso da Equação (3), da Equação (6) e da Equação (8), a unidade de deslocamento direito 265 desloca os dados residuais para o lado direito em três bits. A unidade de deslocamento direito 265 supre um resultado (a x (r'Y(x, y)) >> 3, a x (r‘Y(x, y) >> delta_bitdepth) >> 3, ou a x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita para a unidade de cálculo 266 ou a unidade de cálculo 267.[00299] The right shift unit 265 shifts the restored residual data (to x (r'Y(x, y)), to x (r'Y(x, y) >> delta_bitdepth) or to x (r'Y(x, y) y) << -delta_bitdepth)) of the luminance component, which have been supplied from the weighting coefficient multiplication unit 264, to the right side in predetermined bits. Although the bit shift amount is arbitrary, as long as it is equal to that on the encoding side, for example, in the case of Equation (3), Equation (6) and Equation (8), the right shift unit 265 shifts residual data to the right by three bits. The right shift unit 265 supplies a result (a x (r'Y(x, y)) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, or a x (r'Y( x, y) << -delta_bitdepth) >> 3) shift right to calculation unit 266 or calculation unit 267.
[00300] A unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor (Cr) (r'Cr(x, y)) pela adição dos dados residuais restaurados (a x (r'Y(x, y) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, ou a x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 265, para os dados residuais restaurados previstos (Δr'Cr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de transformada ortogonal inversa 204 e supre os dados residuais restaurados para a unidade de cálculo 205. Por outro lado, em um caso em que tal restauração residual não for realizada, a unidade de cálculo 266 supre os dados residuais restaurados (r'Cr(x, y)) do componente de diferença de cor (Cr) supridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205.[00300] The calculation unit 266 restores the residual data of the color difference component (Cr) (r'Cr(x, y)) by adding the restored residual data (a x (r'Y(x, y) >> 3, the x (r'Y(x, y) >> delta_bitdepth) >> 3, or the x (r'Y(x, y) << -delta_bitdepth) >> 3) of the luminance component, which are supplied from from the right shift unit 265, to the predicted restored residual data (Δr'Cr(x, y)) of the color difference component (Cr) supplied from the inverse orthogonal transform unit 204 and supplies the restored residual data to the calculation unit 205. On the other hand, in a case where such a residual restoration is not performed, the calculation unit 266 supplies the restored residual data (r'Cr(x, y)) from the color difference component (Cr) supplied from the inverse orthogonal transform unit 204 to the calculation unit 205.
[00301] A unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor (Cb) (r'Cb(x, y)) pela adição dos dados residuais restaurados (a x (r'Y(x, y) >> 3, a x (r'Y(x, y) >> delta_bitdepth) >> 3, ou a x (r'Y(x, y) << -delta_bitdepth) >> 3) do componente de luminância, que são supridos a partir da unidade de deslocamento direito 265, para os dados residuais restaurados previstos (Δr'Cb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de transformada ortogonal inversa 204, e supre os dados residuais restaurados para a unidade de cálculo 205. Por outro lado, em um caso em que tal restauração residual não for realizada, a unidade de cálculo 267 supre os dados residuais restaurados (r'Cb(x, y)) do componente de diferença de cor (Cb) supridos a partir da unidade de transformada ortogonal inversa 204 para a unidade de cálculo 205.[00301] The calculation unit 267 restores the residual data of the color difference component (Cb) (r'Cb(x, y)) by adding the restored residual data (a x (r'Y(x, y) >> 3, the x (r'Y(x, y) >> delta_bitdepth) >> 3, or the x (r'Y(x, y) << -delta_bitdepth) >> 3) of the luminance component, which are supplied from from the right shift unit 265, to the predicted restored residual data (Δr'Cb(x, y)) of the color difference component (Cb) supplied from the inverse orthogonal transform unit 204, and supplies the restored residual data to the calculation unit 205. On the other hand, in a case where such residual restoration is not performed, the calculation unit 267 supplies the restored residual data (r'Cb(x, y)) of the color difference component (Cb ) supplied from the inverse orthogonal transform unit 204 to the calculation unit 205.
[00302] Da forma supradescrita, na restauração residual, a unidade de restauração residual 222 realiza a restauração pela realização de escalonamento das profundidades de bit dos dados residuais restaurados dos componentes de luminância. Desta maneira, também em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de restauração residual 222 pode restaurar corretamente os dados residuais. Portanto, de acordo com o aparelho de decodificação de imagem 200, uma diminuição na eficiência de codificação pode ser suprimida.[00302] As described above, in residual restoration, the residual restoration unit 222 performs restoration by performing scaling of the bit depths of the restored residual data of the luminance components. In this way, also in a case where the bit depths of the residual data are different between the components, the residual restoration unit 222 can correctly restore the residual data. Therefore, according to the picture decoding apparatus 200, a decrease in coding efficiency can be suppressed.
[00303] A seguir, um exemplo do fluxo de cada processo executado pelo aparelho de decodificação de imagem 200 será descrito. Primeiro, um exemplo do fluxo de um processo de decodificação será descrito em relação a um fluxograma representado na figura 12.[00303] In the following, an example of the flow of each process performed by the image decoding apparatus 200 will be described. First, an example flow of a decoding process will be described in relation to a flowchart depicted in Figure 12.
[00304] Quando o processo de decodificação for iniciado, na Etapa S201, o buffer de acúmulo 201 armazena um fluxo contínuo de bits transmitido que foi recebido. Na Etapa S202, a unidade de decodificação reversível 202 decodifica um fluxo contínuo de bits suprido a partir do buffer de acúmulo 201. Em outras palavras, uma figura I, uma figura P e uma figura B codificadas pela unidade de codificação reversível 106 são decodificadas. Neste momento, vários tipos de informação diferente da informação de imagem incluída no fluxo contínuo de bits, tal como informação de cabeçalho, também são decodificados.[00304] When the decoding process starts, at Step S201, the accumulation buffer 201 stores a continuous stream of transmitted bits that has been received. In Step S202, the reversible decoding unit 202 decodes a continuous bit stream supplied from the accumulation buffer 201. In other words, an I-picture, a P-picture and a B-picture encoded by the reversible coding unit 106 are decoded. At this time, various types of information other than picture information included in the bit stream, such as header information, are also decoded.
[00305] Na Etapa S203, a unidade de quantização inversa 203 realiza quantização inversa dos coeficientes quantizados adquiridos pelo processo da Etapa S202.[00305] In Step S203, the inverse quantization unit 203 performs inverse quantization of the quantized coefficients acquired by the process in Step S202.
[00306] Na Etapa S204, a unidade de transformada ortogonal inversa 204 realiza uma transformada ortogonal inversa dos coeficientes de transformada ortogonal adquiridos pelo processo da Etapa S203. De acordo com este processo, os dados residuais do componente de luminância e os dados residuais previstos do componente de diferença de cor são restaurados.[00306] In Step S204, the inverse orthogonal transform unit 204 performs an inverse orthogonal transform of the orthogonal transform coefficients acquired by the process of Step S203. According to this process, the residual data of the luminance component and the predicted residual data of the color difference component are restored.
[00307] Na Etapa S205, a unidade de restauração residual 222 realiza um processo de restauração residual par restauração dos dados residuais do componente de diferença de cor pelo uso dos dados residuais restaurados do componente de luminância e dos dados residuais restaurados previstos do componente de diferença de cor. Detalhes deste processo serão descritos a seguir.[00307] In Step S205, the residual restoration unit 222 performs a residual restoration process for restoring the residual data of the color difference component by using the restored residual data of the luminance component and the predicted restored residual data of the difference component by heart. Details of this process will be described below.
[00308] Na Etapa S206, a unidade de intraprevisão 210 ou a unidade de interprevisão 211 realizam um processo de previsão, desse modo, gerando uma imagem prevista. Em outras palavras, um processo de previsão é realizado em um modo de previsão aplicado no momento do processo de codificação que é determinado pela unidade de decodificação reversível 202. Mais especificamente, por exemplo, em um caso em que uma intraprevisão for aplicada no momento do processo de codificação, a unidade de intraprevisão 210 gera uma imagem prevista no modo de intraprevisão que é considerado como ideal no momento do processo de codificação. Por outro lado, por exemplo, em um caso em que uma interprevisão for aplicada no momento do processo de codificação, a unidade de interprevisão 211 gera uma imagem prevista no modo de interprevisão que é considerado como ideal no momento do processo de codificação.[00308] In Step S206, the intraprediction unit 210 or the interprediction unit 211 performs a prediction process, thereby generating a predicted image. In other words, a prediction process is carried out in a prediction mode applied at the time of the encoding process which is determined by the reversible decoding unit 202. More specifically, for example, in a case where an intraprediction is applied at the time of encoding. encoding process, the intraprediction unit 210 generates a predicted image in the intraprediction mode that is considered to be ideal at the time of the encoding process. On the other hand, for example, in a case where an interprediction is applied at the time of the coding process, the interprediction unit 211 generates a predicted picture in the interprediction mode which is considered to be ideal at the time of the coding process.
[00309] Na Etapa S207, a unidade de cálculo 205 adiciona a imagem prevista gerada na Etapa S206 nos dados residuais restaurados pelo processo da Etapa S204 e da Etapa S205. Desta maneira, uma imagem de reconstrução é adquirida.[00309] In Step S207, the calculation unit 205 adds the predicted image generated in Step S206 to the residual data restored by the process of Step S204 and Step S205. In this way, a reconstruction image is acquired.
[00310] Na Etapa S208, o filtro em malha 206 realiza apropriadamente um processo de filtro em malha que inclui um processo do filtro de desbloqueio, um processo do filtro em malha adaptativo ou congêneres para a imagem de reconstrução adquirida pelo processo da Etapa S207.[00310] In Step S208, the mesh filter 206 appropriately performs a mesh filter process that includes a deblocking filter process, an adaptive mesh filter process or the like for the reconstruction image acquired by the process of Step S207.
[00311] Na Etapa S209, o buffer de rearranjo de tela 207 rearranja quadros de imagens decodificadas adquiridas pelo processo da Etapa S208. Em outras palavras, a ordem de quadros rearranjados no momento do processo de codificação é mudada para a ordem da exibição original. As imagens decodificadas nas quais os quadros são rearranjados são emitidas para o exterior do aparelho de decodificação de imagem 200.[00311] In Step S209, the screen rearrangement buffer 207 rearranges decoded image frames acquired by the process of Step S208. In other words, the order of rearranged frames at the time of the encoding process is changed to the original display order. The decoded pictures in which the frames are rearranged are output from the picture decoding apparatus 200.
[00312] Na Etapa S210, a memória de quadro 209 armazena as imagens decodificadas adquiridas pelo processo da Etapa S208.[00312] In Step S210, the frame memory 209 stores the decoded images acquired by the process in Step S208.
[00313] Quando o processo da Etapa S210 terminar, o processo de decodificação termina.[00313] When the process of Step S210 ends, the decoding process ends.
[00314] A seguir, um exemplo do fluxo do processo de restauração residual realizado na Etapa S205 de um processo de decodificação como este será descrito em relação à figura 13.[00314] Next, an example of the residual restoration process flow performed in Step S205 of a decoding process like this will be described in relation to Figure 13.
[00315] Quando o processo de restauração residual for iniciado, na Etapa S221, a unidade de cálculo da diferença da profundidade de bit 251 adquire informação (por exemplo, bit_depth_luma_minus8) que representa a profundidade de bit do componente de luminância e informação (por exemplo, bit_depth_chroma_minus8) que representa a profundidade de bit do componente de diferença de cor (Cb/Cr), que são incluídas no conjunto de parâmetro de sequência transmitido a partir do lado da codificação, através da unidade de aquisição de SPS 231, e calcula uma diferença da profundidade de bit entre componentes para os quais uma previsão residual é realizada pelo uso de tal informação. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 151 realiza cálculo da Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que as diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00315] When the residual restoration process is started, in Step S221, the bit depth difference calculation unit 251 acquires information (for example, bit_depth_luma_minus8) that represents the bit depth of the luminance component and information (for example , bit_depth_chroma_minus8) representing the bit depth of the color difference component (Cb/Cr), which are included in the sequence parameter set transmitted from the encoding side, through the SPS acquisition unit 231, and calculates a bit depth difference between components for which a residual prediction is performed using such information. In other words, the bit depth difference calculation unit 151 performs calculation of Equation (10) and calculates a bit depth difference (delta_bitdepth) between the luminance component (Y) and the color difference component (Cr or Cb). In a case where the bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00316] Na Etapa S222, a unidade de controle de deslocamento de bit 252 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S221 é zero ou não. Em um caso em que a diferença da profundidade de bit for determinada como zero, o processo prossegue para a Etapa S223. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).[00316] In Step S222, the bit shift control unit 252 determines whether the bit depth difference (delta_bitdepth) calculated in Step S221 is zero or not. In a case where the bit depth difference is determined to be zero, the process proceeds to Step S223. In a case like this, a bit shift is not performed, and the residual restoration is performed as represented in Equation (9).
[00317] Na Etapa S223, a unidade de controle de deslocamento de bit 252 determina se a previsão residual foi realizada ou não no lado da codificação com base na informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não. Por exemplo, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "1", e a previsão residual foi realizada, o processo prossegue para a Etapa S224.[00317] In Step S223, the bit shift control unit 252 determines whether or not the residual prediction has been performed on the encoding side based on the information (e.g., luma_chroma_prediction_enabled_flag), which is included in the figure parameter set ( PPS), used to control whether the residual forecast is realized or not. For example, in a case where the value of luma_chroma_prediction_enabled_flag is determined to be "1", and residual prediction has been performed, the process proceeds to Step S224.
[00318] Na Etapa S224, a unidade de aquisição do coeficiente de ponderação 233 adquire um coeficiente de ponderação α para cada TU.[00318] In Step S224, the weighting coefficient acquisition unit 233 acquires a weighting coefficient α for each TU.
[00319] Na Etapa S225, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do componente de diferença de cor sem realizar escalonamento das profundidades de bit. Detalhes deste processo serão descritos a seguir.[00319] In Step S225, the restoration unit 242 performs restoration (residual restoration) of the residual data of the color difference component without performing scaling of the bit depths. Details of this process will be described below.
[00320] Na Etapa S225, quando a restauração residual terminar, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00320] In Step S225, when the residual restoration is finished, the residual restoration process ends, and the process is returned to the process illustrated in figure 12.
[00321] Por outro lado, por exemplo, na Etapa S223, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "0", e a previsão residual não foi realizada, o processo da Etapa S224 e da Etapa S225 é omitido, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00321] On the other hand, for example, in Step S223, in a case where it is determined that the value of luma_chroma_prediction_enabled_flag is "0", and the residual prediction has not been performed, the process of Step S224 and Step S225 is omitted , the residual restoration process ends, and the process is returned to the process illustrated in Figure 12.
[00322] Além do mais, na Etapa S222, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S226.[00322] Furthermore, in Step S222, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S226.
[00323] Na Etapa S226, a unidade de controle de deslocamento de bit 252 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S221 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S227. Em um caso como este, uma restauração residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).[00323] In Step S226, the bit shift control unit 252 determines whether the bit depth difference (delta_bitdepth) calculated in Step S221 is positive or not. In a case where being positive is determined, the process proceeds to Step S227. In a case like this, a residual restoration is performed as represented in Equation (12) (scaling through a shift to the right is performed).
[00324] Na Etapa S227, a unidade de controle de deslocamento de bit 252 determina se uma restauração residual é realizada ou não com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a restauração residual é realizada ou não, que é incluída no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que o valor de luma_chroma_prediction_enabled_flag for "1", e a restauração residual for determinada como realizada, o processo prossegue para a Etapa S228.[00324] In Step S227, the bit shift control unit 252 determines whether a residual restoration is performed or not based on the information (e.g., luma_chroma_prediction_enabled_flag) used to control whether residual restoration is performed or not, which is included in the figure parameter set (PPS) or congeners. For example, in a case where the value of luma_chroma_prediction_enabled_flag is "1", and residual restoration is determined to be accomplished, the process proceeds to Step S228.
[00325] Na Etapa S228, a unidade de aquisição do coeficiente de ponderação 233 define um coeficiente de ponderação α para cada TU.[00325] In Step S228, the weighting coefficient acquisition unit 233 sets a weighting coefficient α for each TU.
[00326] Na Etapa S229, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do componente de diferença de cor pela realização de escalonamento das profundidades de bit pelo uso de um deslocamento para a direita. Detalhes deste processo serão descritos a seguir.[00326] In Step S229, the restoration unit 242 performs restoration (residual restoration) of the residual data of the color difference component by performing scaling of the bit depths by using a right shift. Details of this process will be described below.
[00327] Quando a restauração residual realizada na Etapa S229 termina, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00327] When the residual restoration performed in Step S229 ends, the residual restoration process ends, and the process returns to the process illustrated in figure 12.
[00328] Por outro lado, por exemplo, na Etapa S227, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "0", e a restauração residual não tiver sido realizada no lado da codificação, o processo da Etapa S228 e da Etapa S229 é omitido, o processo de restauração residual termina e o processo é retornado para o processo ilustrado na figura 12.[00328] On the other hand, for example, in Step S227, in a case where it is determined that the value of luma_chroma_prediction_enabled_flag is "0", and residual restoration has not been performed on the encoding side, the process of Step S228 and of Step S229 is omitted, the residual restoration process ends, and the process is returned to the process illustrated in Fig. 12.
[00329] Além do mais, na Etapa S226, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), o processo prossegue para a Etapa S230. Em um caso como este, a previsão residual é realizada da forma representada na Equação (14) (escalonamento usando um deslocamento para a esquerda é realizado).[00329] Furthermore, in Step S226, in a case where the bit depth difference (delta_bitdepth) is determined to be non-positive (determined to be negative), the process proceeds to Step S230. In a case like this, the residual forecast is performed as represented in Equation (14) (scaling using a left shift is performed).
[00330] Na Etapa S230, a unidade de controle de deslocamento de bit 252 determina se uma previsão residual foi realizada ou não no lado da codificação com base na informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se a previsão residual é realizada ou não, o que é incluído no conjunto de parâmetro de figura (PPS) ou congêneres. Por exemplo, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "1", e a previsão residual foi realizada, o processo prossegue para a Etapa S231.[00330] In Step S230, the bit shift control unit 252 determines whether or not a residual prediction has been performed on the encoding side based on the information (e.g. luma_chroma_prediction_enabled_flag) used to control whether the residual prediction is performed or not , which is included in the figure parameter set (PPS) or congeners. For example, in a case where the value of luma_chroma_prediction_enabled_flag is determined to be "1", and residual prediction has been performed, the process proceeds to Step S231.
[00331] Na Etapa S231, a unidade de aquisição do coeficiente de ponderação 233 adquire um coeficiente de ponderação α para cada TU.[00331] In Step S231, the weighting coefficient acquisition unit 233 acquires a weighting coefficient α for each TU.
[00332] Na Etapa S232, a unidade de restauração 242 realiza restauração (restauração residual) dos dados residuais do sinal da diferença de cor pela realização de escalonamento das profundidades de bit usando um deslocamento para a esquerda. Detalhes deste processo serão descritos a seguir.[00332] In Step S232, the restoration unit 242 performs restoration (residual restoration) of the residual data of the color difference signal by performing scaling of the bit depths using a left shift. Details of this process will be described below.
[00333] Quando a restauração residual realizada na Etapa S232 terminar, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00333] When the residual restoration performed in Step S232 ends, the residual restoration process ends, and the process returns to the process illustrated in figure 12.
[00334] Por outro lado, por exemplo, na Etapa S230, em um caso em que for determinado que o valor de luma_chroma_prediction_enabled_flag é "0", e a previsão residual não foi realizada no lado da codificação, o processo da Etapa S231 e da Etapa S232 é omitido, o processo de restauração residual termina e o processo é retornado para o processo ilustrado na figura 12.[00334] On the other hand, for example, in Step S230, in a case where it is determined that the value of luma_chroma_prediction_enabled_flag is "0", and residual prediction has not been performed on the encoding side, the process of Step S231 and the Step S232 is omitted, the residual restoration process ends, and the process is returned to the process illustrated in Figure 12.
[00335] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S225 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 14.[00335] Below, an example of the residual data restoration process flow performed in Step S225 of the residual restoration process will be described in relation to a flowchart illustrated in Figure 14.
[00336] Quando o processo de restauração de dados residuais for iniciado, na Etapa S241, a unidade de multiplicação do coeficiente de ponderação 264 da unidade de restauração 242 multiplica os dados residuais restaurados (r'Y(x, y)) do componente de luminância pelo coeficiente de ponderação α adquirido pelo processo da Etapa S224 ilustrado na figura 13 (a x r'Y(x, y)).[00336] When the residual data restoration process is started, in Step S241, the weighting coefficient multiplication unit 264 of the restoration unit 242 multiplies the restored residual data (r'Y(x, y)) of the restoration component luminance by the weighting coefficient α acquired by the process of Step S224 illustrated in Fig. 13 (a x r'Y(x, y)).
[00337] Na Etapa S242, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (a x r'Y(x, y)) calculado na Etapa S241 para o lado direito em três bits ((α x r'Y(x, y)) >> 3).[00337] In Step S242, the right shift unit 265 shifts a multiplication result (a x r'Y(x, y)) calculated in Step S241 to the right side by three bits ((α x r'Y(x, y)) >> 3).
[00338] Na Etapa S243, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado do deslocamento para a direita ((a x r'Y(x, y)) >> 3) calculado na Etapa S242 nos dados residuais restaurados previstos (Δr'Cr(x, y)) do componente de diferença de cor Cr (Δr'Cr(x, y) + (a x r'Y(x, y)) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado do deslocamento para a direita ((a x r'Y(x, y)) >> 3) calculado na Etapa S242 nos dados residuais previstos (Δr'Cb(x, y)) do componente de diferença de cor Cb (Δr'Cb(x, y) + (a x r'Y(x, y)) >> 3).[00338] In Step S243, the calculation unit 266 restores the residual data of the color difference component Cr (r'Cr(x, y)) by adding the result of the shift to the right ((a x r'Y(x , y)) >> 3) calculated in Step S242 on the predicted restored residual data (Δr'Cr(x, y)) of color difference component Cr (Δr'Cr(x, y) + (a x r'Y( x, y)) >> 3). Furthermore, the calculation unit 267 restores the residual data of the color difference component Cb (r'Cb(x, y)) by adding the result of the right shift ((a x r'Y(x, y) ) >> 3) calculated in Step S242 on the predicted residual data (Δr'Cb(x, y)) of the color difference component Cb (Δr'Cb(x, y) + (a x r'Y(x, y) ) >> 3).
[00339] Quando os dados residuais do componente de diferença de cor forem restaurados, como exposto (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13.[00339] When the color difference component residual data is restored as shown (r'Cr(x, y) and r'Cb(x, y)), the residual data restoration process ends, and the process is returned to the process illustrated in Figure 13.
[00340] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S229 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 15.[00340] Next, an example of the residual data restoration process flow performed in Step S229 of the residual restoration process will be described in relation to a flowchart illustrated in Figure 15.
[00341] Quando o processo de restauração de dados residuais for iniciado, na Etapa S251, a unidade de deslocamento direito 262 da unidade de restauração 242 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado direito em correspondência com a diferença da profundidade de bit (delta_bitdepth) dos dados residuais calculada pelo processo da Etapa S221 ilustrado na figura 13 ((r'Y(x, y) >> delta_bitdepth)).[00341] When the residual data restore process is started, in Step S251, the right shift unit 262 of the restore unit 242 shifts the restored residual data (r'Y(x, y)) from the luminance component to the right side in correspondence with the bit depth difference (delta_bitdepth) of the residual data calculated by the process of Step S221 illustrated in Fig. 13 ((r'Y(x, y) >> delta_bitdepth)).
[00342] Na Etapa S252, a unidade de multiplicação do coeficiente de ponderação 264 multiplica um resultado (r'Y(x, y) >> delta_bitdepth) do deslocamento para a direita calculado na Etapa S251 pelo coeficiente de ponderação α adquirido pelo processo da Etapa S228 ilustrado na figura 13 (a x (r'Y(x, y) >> delta_bitdepth)).[00342] In Step S252, the weighting coefficient multiplication unit 264 multiplies a result (r'Y(x, y) >> delta_bitdepth) of the right shift calculated in Step S251 by the weighting coefficient α acquired by the process of Step S228 illustrated in Fig. 13 (a x (r'Y(x, y) >> delta_bitdepth)).
[00343] Na Etapa S253, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (a x (r'Y(x, y) >> delta_bitdepth)) calculado na Etapa S252 para o lado direito em três bits (α x (r'Y(x, y) >> delta_bitdepth) >> 3).[00343] In Step S253, the right shift unit 265 shifts a multiplication result (a x (r'Y(x, y) >> delta_bitdepth)) calculated in Step S252 to the right side by three bits (α x (r 'Y(x, y) >> delta_bitdepth) >> 3).
[00344] Na Etapa S254, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado (a x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S253 nos dados residuais restaurados previstos (Δr'Cr(x, y)) do componente de diferença de cor Cr (Δr'Cr(x, y) + α x (r'Y(x, y) >> delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado (α x (r'Y(x, y) >> delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S253 nos dados residuais restaurados previstos (Δr'Cb(x, y)) do componente de diferença de cor Cb (Δr'Cb(x, y) + α x (r'Y(x, y) >> delta_bitdepth) >> 3).[00344] In Step S254, the calculation unit 266 restores the residual data of the color difference component Cr (r'Cr(x, y)) by adding the result (a x (r'Y(x, y) >> delta_bitdepth) >> 3) of the right shift calculated in Step S253 on the predicted restored residual data (Δr'Cr(x, y)) of the color difference component Cr (Δr'Cr(x, y) + α x ( r'Y(x, y) >> delta_bitdepth) >> 3). Furthermore, the calculation unit 267 restores the residual data of the color difference component Cb (r'Cb(x, y)) by adding the result (α x (r'Y(x, y) >> delta_bitdepth) >> 3) of the right shift calculated in Step S253 on the predicted restored residual data (Δr'Cb(x, y)) of the color difference component Cb (Δr'Cb(x, y) + α x (r' Y(x, y) >> delta_bitdepth) >> 3).
[00345] Quando os dados residuais dos componentes de diferença de cor forem restaurados, como exposto, (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13.[00345] When the residual data of the color difference components are restored, as shown, (r'Cr(x, y) and r'Cb(x, y)), the residual data restoration process ends, and the process is returned to the process illustrated in Figure 13.
[00346] A seguir, um exemplo do fluxo do processo de restauração de dados residuais realizado na Etapa S232 do processo de restauração residual será descrito em relação a um fluxograma ilustrado na figura 16.[00346] Next, an example of the residual data restoration process flow performed in Step S232 of the residual restoration process will be described in relation to a flowchart illustrated in Figure 16.
[00347] Quando o processo de restauração de dados residuais for iniciado, na Etapa S261, a unidade de deslocamento esquerdo 263 da unidade de restauração 242 desloca os dados residuais restaurados (r'Y(x, y)) do componente de luminância para o lado esquerdo em correspondência com a diferença da profundidade de bit (-delta_bitdepth) dos dados residuais calculados pelo processo da Etapa S221 ilustrado na figura 13 (r'Y(x, y) << - delta_bitdepth).[00347] When the residual data restore process is started, in Step S261, the left shift unit 263 of the restore unit 242 shifts the restored residual data (r'Y(x, y)) from the luminance component to the left side in correspondence with the bit depth difference (-delta_bitdepth) of the residual data calculated by the process of Step S221 illustrated in Fig. 13 (r'Y(x, y) << - delta_bitdepth).
[00348] Na Etapa S262, a unidade de multiplicação do coeficiente de ponderação 264 multiplica um resultado (r'Y(x, y) << -delta_bitdepth) do deslocamento para a esquerda calculado na Etapa S261 pelo coeficiente de ponderação α adquirido pelo processo da Etapa S231 ilustrado na figura 13 (a x (r'Y(x, y) << -delta_bitdepth)).[00348] In Step S262, the weighting coefficient multiplication unit 264 multiplies a result (r'Y(x, y) << -delta_bitdepth) of the left shift calculated in Step S261 by the weighting coefficient α acquired by the process of Step S231 illustrated in Fig. 13 (a x (r'Y(x, y) << -delta_bitdepth)).
[00349] Na Etapa S263, a unidade de deslocamento direito 265 desloca um resultado da multiplicação (a x (r'Y(x, y) << -delta_bitdepth)) calculado na Etapa S262 para o lado direito em três bits (α x (r'Y(x, y) << -delta_bitdepth) >> 3).[00349] In Step S263, the right shift unit 265 shifts a multiplication result (a x (r'Y(x, y) << -delta_bitdepth)) calculated in Step S262 to the right side by three bits (α x ( r'Y(x, y) << -delta_bitdepth) >> 3).
[00350] Na Etapa S264, a unidade de cálculo 266 restaura os dados residuais do componente de diferença de cor Cr (r'Cr(x, y)) pela adição do resultado (a x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S263 nos dados residuais restaurados previstos (Δr'Cr(x, y)) do componente de diferença de cor Cr (Δr'Cr(x, y) + α x (r'Y(x, y) << -delta_bitdepth) >> 3). Além do mais, a unidade de cálculo 267 restaura os dados residuais do componente de diferença de cor Cb (r'Cb(x, y)) pela adição do resultado (a x (r'Y(x, y) << -delta_bitdepth) >> 3) do deslocamento para a direita calculado na Etapa S263 nos dados residuais restaurados previstos (Δr'Cb(x, y)) do componente de diferença de cor Cb (Δr'Cb(x, y) + α x (r'Y(x, y) << -delta_bitdepth) >> 3).[00350] In Step S264, the calculation unit 266 restores the residual data of the color difference component Cr (r'Cr(x, y)) by adding the result (a x (r'Y(x, y) << -delta_bitdepth) >> 3) of the right offset calculated in Step S263 on the predicted restored residual data (Δr'Cr(x, y)) of the color difference component Cr (Δr'Cr(x, y) + α x (r'Y(x, y) << -delta_bitdepth) >> 3). Furthermore, the calculation unit 267 restores the residual data of the color difference component Cb(r'Cb(x, y)) by adding the result (a x(r'Y(x, y) << -delta_bitdepth) >> 3) of the right shift calculated in Step S263 on the predicted restored residual data (Δr'Cb(x, y)) of the color difference component Cb (Δr'Cb(x, y) + α x (r' Y(x, y) << -delta_bitdepth) >> 3).
[00351] Quando os dados residuais dos componentes de diferença de cor forem restaurados, como exposto, (r'Cr(x, y) e r'Cb(x, y)), o processo de restauração de dados residuais termina, e o processo é retornado para o processo ilustrado na figura 13.[00351] When the residual data of the color difference components are restored, as shown, (r'Cr(x, y) and r'Cb(x, y)), the residual data restoration process ends, and the process is returned to the process illustrated in figure 13.
[00352] Pela realização de cada processo, como exposto, também, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, a unidade de restauração residual 222 pode restaurar corretamente os dados residuais. Desta maneira, o aparelho de decodificação de imagem 200 pode suprimir uma diminuição na eficiência de codificação.[00352] By carrying out each process as above, also, in a case where the bit depths of the residual data are different between components, the residual restoration unit 222 can correctly restore the residual data. In this way, the picture decoding apparatus 200 can suppress a decrease in coding efficiency.
[00353] Como exposto, embora tenha sido descrito que, quando as profundidades de bit dos dados residuais forem arranjadas para serem uniformes, a profundidade de bit do componente de luminância é arranjada para ser uniforme em relação ao componente de diferença de cor através de um deslocamento de bit, no escalonamento de tais profundidades de bit, um componente que é usado como a referência é arbitrário. Por exemplo, a profundidade de bit do componente de diferença de cor pode ser configurada para ser escalonada. Entretanto, no geral, é preferível escalonar um componente (com uma maior profundidade de bit) com uma maior quantidade de informação para melhorar a precisão da previsão para melhorar a eficiência de codificação. No caso do espaço de cor YUV, como exposto, no geral, um componente de luminância é de significância e tem uma grande quantidade de informação. Assim, é preferível escalonar a profundidade de bit do componente de luminância.[00353] As stated, although it has been described that when the bit depths of the residual data are arranged to be uniform, the bit depth of the luminance component is arranged to be uniform with respect to the color difference component through a Bit shift, in scaling such bit depths, a component that is used as the reference is arbitrary. For example, the bit depth of the color difference component can be set to scale. However, in general, it is preferable to scale a component (with a greater bit depth) with a greater amount of information to improve prediction accuracy to improve coding efficiency. In the case of the YUV color space, as above, in general, a luminance component is of significance and has a large amount of information. Thus, it is preferable to scale the bit depth of the luminance component.
[00354] Como exposto, embora um caso tenha sido descrito no qual uma imagem do espaço YUV de cor é codificada e decodificada, o espaço de cor da imagem é arbitrário, e uma previsão pode ser realizada entre componentes arbitrários. Por exemplo, também, em um caso em que o espaço de cor da imagem for o RGB, similarmente ao caso do YUV supradescrito, previsão residual / decodificação residual pode ser realizada usando o escalonamento da profundidade de bit.[00354] As stated, although a case has been described in which a YUV color space image is encoded and decoded, the color space of the image is arbitrary, and a prediction can be performed between arbitrary components. For example, also, in a case where the color space of the image is RGB, similarly to the above-described YUV case, residual prediction / residual decoding can be performed using bit depth scaling.
[00355] Um método de controle da previsão residual / decodificação residual não é limitado àquele do exemplo supradescrito. Por exemplo, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, uma previsão residual pode ser configurada para ser proibida (dados residuais previstos não são calculados). Mais especificamente, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, uma previsão residual pode ser controlada para não ser realizada pelo uso de informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não. Por exemplo, em um caso como este, o valor de luma_chroma_prediction_enabled_flag pode ser configurado como zero. Pela configuração como tal, para uma figura correspondente à informação, uma previsão residual é proibida (naturalmente, restauração residual não é realizada). Desta maneira, uma previsão residual / restauração residual imprecisas podem ser configuradas para não ser realizadas. Em outras palavras, uma diminuição na eficiência de codificação devido a uma previsão residual / restauração residual imprecisas pode ser suprimida. Além do mais, o processo do escalonamento da profundidade de bit e congêneres pode ser omitido e, desta maneira, um aumento na carga de processamento pode ser suprimido.[00355] A residual prediction/residual decoding control method is not limited to that of the above-described example. For example, in a case where the residual data bit depths are different between components, a residual prediction can be set to be disallowed (predicted residuals are not calculated). More specifically, in a case where the residual data bit depths are different between components, a residual prediction can be controlled to not be performed by using information (e.g., luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS), used to control whether the residual forecast is realized or not. For example, in a case like this, the value of luma_chroma_prediction_enabled_flag could be set to zero. By setting as such, for a figure corresponding to the information, a residual prediction is prohibited (naturally, residual restoration is not performed). In this way, an inaccurate residual prediction / residual restoration can be configured not to be performed. In other words, a decrease in coding efficiency due to inaccurate residual prediction / residual restoration can be suppressed. Furthermore, the process of bit depth scaling and the like can be omitted, and in this way an increase in processing load can be suppressed.
[00356] A fim de realizar o processo de controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 17. Uma porção da semântica ilustrada na figura 17, na qual um sublinhado é anexado, é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas.[00356] In order to carry out the control process, as exposed, the semantics can be described as in an example illustrated in figure 17. A portion of the semantics illustrated in figure 17, in which an underscore is attached, is a description corresponding to the execution control of the above-described residual prediction / residual decoding.
[00357] Também neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.[00357] Also in this case, the image coding apparatus 100 can have a configuration that is basically the same as that according to the first embodiment.
[00358] A figura 18 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 18, neste caso, quando comparado com o caso da primeira modalidade, uma unidade de previsão residual 122 inclui uma unidade de controle 311 em vez da unidade de controle 141 e inclui uma unidade de previsão 312 em vez da unidade de previsão 142.[00358] Figure 18 is a block diagram illustrating an example of the main configurations of a header processing unit 121 and a residual prediction unit 122 of a case like this. As illustrated in Fig. 18, in this case, when compared to the case of the first embodiment, a residual prediction unit 122 includes a control unit 311 instead of the control unit 141 and includes a prediction unit 312 instead of the forecast 142.
[00359] A unidade de controle 311 realiza um processo que é, basicamente, igual àquele da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 311 inclui uma unidade de cálculo da diferença da profundidade de bit 321 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 322 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153.[00359] The control unit 311 performs a process that is basically the same as that of the control unit 141. When compared to the configuration of the control unit 141, the control unit 311 includes a depth difference calculation unit bit 321 instead of the bit depth difference calculation unit 151, includes a bit shift control unit 322 instead of the bit shift control unit 152 and, similarly to the case of control unit 141, includes the weighting coefficient definition unit 153.
[00360] A unidade de cálculo da diferença da profundidade de bit 321, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 321, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de previsão 312.[00360] The bit depth difference calculation unit 321, similarly to the case of the bit depth difference calculation unit 151, calculates a bit depth difference (delta_bitdepth) between the components. However, the bit depth difference calculation unit 321, unlike the case of the bit depth difference calculation unit 151, does not supply the calculated bit depth difference (delta_bitdepth) between the components to the prediction unit 312 .
[00361] A unidade de controle de deslocamento de bit 322, similarmente ao caso da unidade de controle de deslocamento de bit 152, controla o cálculo realizado pela unidade de previsão 312. Entretanto, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre os componentes, a unidade de controle de deslocamento de bit 322 proíbe uma previsão residual (dados residuais previstos não calculados).[00361] The bit shift control unit 322, similarly to the case of the bit shift control unit 152, controls the calculation performed by the prediction unit 312. However, in a case where the bit depths of the residual data are different between the components, the bit shift control unit 322 prohibits a residual prediction (uncalculated predicted residual data).
[00362] Em outras palavras, no exemplo desta modalidade, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, a unidade de previsão 312, comparada com a configuração da unidade de previsão 142, não inclui a unidade de deslocamento direito 162 e a unidade de deslocamento esquerdo 163.[00362] In other words, in the example of this embodiment, the scaling of the bit depths, in other words, a bit shift used to arrange the bit depths to be uniform between the components is not performed and, in this way, the unit The prediction unit 312, compared to the configuration of the prediction unit 142, does not include the right shift unit 162 and the left shift unit 163.
[00363] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 19.[00363] In the case of this modality, the coding process is carried out similarly to that of the case of the first modality. An example of the residual prediction process flow performed in this embodiment will be described in relation to a flowchart illustrated in figure 19.
[00364] Também, no caso do exemplo ilustrado na figura 19, quando um processo de previsão residual for iniciado, na Etapa S301, a unidade de cálculo da diferença da profundidade de bit 321 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 321 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que as diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00364] Also, in the case of the example illustrated in Fig. 19, when a residual prediction process is started, in Step S301, the bit depth difference calculation unit 321 calculates a bit depth difference between components for which the residual forecast is performed. In other words, the bit depth difference calculation unit 321 performs calculation represented in Equation (4) and calculates a bit depth difference (delta_bitdepth) between the luminance component (Y) and the color difference component ( Cr or Cb). In a case where the bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00365] Na Etapa S302, a unidade de controle de deslocamento de bit 322 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S301 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S303. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).[00365] In Step S302, the bit shift control unit 322 determines whether the bit depth difference (delta_bitdepth) calculated in Step S301 is zero or not. In a case where zero is determined, the process proceeds to Step S303. In a case like this, a bit shift is not performed, but the residual prediction is performed as represented in Equation (3).
[00366] Em outras palavras, processos da Etapa S303 até a Etapa S305 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S305 terminar ou for determinado, na Etapa S303, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00366] In other words, processes from Step S303 to Step S305 are performed similarly to those from Step S123 to Step S125 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S305 ends or it is determined at Step S303 that a residual prediction is not performed, the residual prediction process ends, and the process is returned to the process illustrated in Fig. 5.
[00367] Além do mais, na Etapa S302, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S306.[00367] Furthermore, in Step S302, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S306.
[00368] Na Etapa S306, a unidade de controle de deslocamento de bit 322 define o valor de informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (proibida). Por exemplo, a unidade de controle de deslocamento de bit 322 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.[00368] In Step S306, the bit shift control unit 322 sets the information value (e.g. luma_chroma_prediction_enabled_flag) used to control whether a residual prediction is performed or not to a value representing that a residual prediction (residual restoration ) is not performed (prohibited). For example, bit shift control unit 322 can set the value of luma_chroma_prediction_enabled_flag to zero.
[00369] Quando o processo da Etapa S306 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00369] When the process of Step S306 ends, the residual prediction process ends, and the process is returned to the process illustrated in Figure 5.
[00370] Pela configuração como tal, em um caso em que profundidades de bit dos dados residuais forem diferentes entre componentes, e uma previsão residual não puder ser corretamente realizada, a previsão residual pode ser configurada como não realizada. Desta maneira, dados residuais previstos podem ser corretamente calculados todo o tempo, e o aparelho de codificação de imagem 100 pode suprimir uma diminuição na eficiência de codificação devido a uma previsão residual imprecisa. Além do mais, o escalonamento das profundidades de bit é desnecessário e, desta maneira, um aumento na carga de processamento pode ser suprimido.[00370] By configuration as such, in a case where residual data bit depths are different between components, and a residual prediction cannot be correctly performed, the residual prediction can be set as not performed. In this way, predicted residuals can be correctly calculated all the time, and the image coding apparatus 100 can suppress a decrease in coding efficiency due to an inaccurate residual prediction. Furthermore, scaling bit depths is unnecessary and in this way an increase in processing load can be suppressed.
[00371] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.[00371] Also, in this case, the image decoding apparatus 200 can have a configuration that is basically the same as that of the case of the first embodiment.
[00372] A figura 20 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 20, neste caso, quando comparado com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 351 em vez da unidade de controle 241 e inclui uma unidade de restauração 352 em vez da unidade de restauração 242.[00372] Figure 20 is a block diagram illustrating an example of the main configuration of the header acquisition unit 221 and the residual restoration unit 222 in this case. As illustrated in Fig. 20, in this case, when compared to the case of the first embodiment, the residual restoration unit 222 includes a control unit 351 instead of the control unit 241 and includes a restoration unit 352 instead of the restoration 242.
[00373] A unidade de controle 351 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 351 inclui uma unidade de cálculo da diferença da profundidade de bit 361 em vez da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 362 em vez da unidade de controle de deslocamento de bit 252.[00373] The control unit 351 performs a process that is basically the same as that of the control unit 241. When compared with the configuration of the control unit 241, the control unit 351 includes a depth difference calculation unit bit 361 instead of bit depth difference calculation unit 251 and includes a bit shift control unit 362 instead of bit shift control unit 252.
[00374] A unidade de cálculo da diferença da profundidade de bit 361, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 361 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de restauração 352.[00374] The bit depth difference calculation unit 361, similarly to the case of the bit depth difference calculation unit 251, calculates a bit depth difference (delta_bitdepth) between components. However, unlike the case of the difference bit depth calculation unit 251, the difference bit depth calculation unit 361 does not supply the calculated bit depth difference (delta_bitdepth) between the components to the restore unit 352.
[00375] A unidade de controle de deslocamento de bit 362, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 352. Entretanto, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, a unidade de controle de deslocamento de bit 362 proíbe restauração residual (não restaura os dados residuais do componente de diferença de cor).[00375] The bit shift control unit 362, similarly to the case of the bit shift control unit 252, controls the calculation performed by the restore unit 352. However, in a case where the bit depths of the residual data are different between components, the 362 bit shift control unit prohibits residual restoration (does not restore the residual data of the color difference component).
[00376] Em outras palavras, no caso do exemplo desta modalidade, o escalonamento de profundidades de bit, em outras palavras, um deslocamento de bit para arranjar profundidades de bit para serem uniformes entre componentes não é realizado. Desta maneira, quando comparada com a configuração da unidade de restauração 242, a unidade de restauração 352 não inclui a unidade de deslocamento direito 262 e a unidade de deslocamento esquerdo 263.[00376] In other words, in the case of the example of this embodiment, the scaling of bit depths, in other words, a bit shift to arrange bit depths to be uniform between components is not performed. In this way, when compared to the restoration unit configuration 242, the restoration unit 352 does not include the right displacement unit 262 and the left displacement unit 263.
[00377] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 21.[00377] In the case of this modality, the decoding process is performed similarly to the case of the first modality. An example of the flow of the residual restoration process in the case of this modality will be described in relation to a flowchart illustrated in figure 21.
[00378] Também em caso do exemplo ilustrado na figura 21, quando um processo de restauração residual for iniciado, na Etapa S321, a unidade de cálculo da diferença da profundidade de bit 361 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 361 realiza cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00378] Also in the case of the example illustrated in Fig. 21, when a residual restoration process is started, in Step S321, the bit depth difference calculation unit 361 calculates a bit depth difference between components for which the residual prediction was performed. In other words, the bit depth difference calculation unit 361 performs calculation represented in Equation (10) and calculates a bit depth difference (delta_bitdepth) between the luminance component (Y) and the color difference component ( Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00379] Na Etapa S322, a unidade de controle de deslocamento de bit 362 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S321 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S323. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).[00379] In Step S322, the bit shift control unit 362 determines whether the bit depth difference (delta_bitdepth) calculated in Step S321 is zero or not. In a case where zero is determined, the process proceeds to Step S323. In a case like this, a bit shift is not performed, and the residual restoration is performed as represented in Equation (9).
[00380] Em outras palavras, os processos da Etapa S323 até a Etapa S325 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S325 terminar ou for determinado, na Etapa S323, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00380] In other words, the processes of Step S323 to Step S325 are carried out similarly to the processes of Step S223 to Step S225 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S325 terminates or it is determined at Step S323 that a residual prediction is not performed, the residual restoration process terminates, and the process is returned to the process illustrated in Fig. 12.
[00381] Por outro lado, na Etapa S322, também, em um caso em que a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S321 for determinada como não zero, o escalonamento das profundidades de bit não é realizado, mas a restauração residual é omitida. Assim, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00381] On the other hand, in Step S322, also, in a case where the bit depth difference (delta_bitdepth) calculated in Step S321 is determined to be non-zero, scaling of bit depths is not performed, but restoration residual is omitted. So, too, in this case, the residual restoration process ends, and the process is returned to the process illustrated in figure 12.
[00382] Pela configuração como tal, em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, e uma previsão residual não puder ser corretamente realizada, a previsão residual não é realizada, e restauração residual é configurada para não ser realizada de acordo com isto. Desta maneira, os dados residuais podem ser corretamente restaurados todo o tempo, e o aparelho de decodificação de imagem 200 pode suprimir uma diminuição na eficiência de codificação devido à imprecisa restauração residual. Além do mais, já que o escalonamento de profundidades de bit é desnecessário, um aumento na carga de processamento pode ser suprimido.[00382] By configuration as such, in a case where the residual data bit depths are different between components, and a residual prediction cannot be correctly performed, the residual prediction is not performed, and residual restoration is configured to not be performed accordingly. In this way, the residual data can be correctly restored all the time, and the image decoding apparatus 200 can suppress a decrease in coding efficiency due to imprecise residual restoration. Furthermore, since scaling bit depths is unnecessary, an increase in processing load can be suppressed.
[00383] Um método de controle da previsão residual / decodificação residual não é limitado àquele do exemplo supradescrito. Por exemplo, ele pode ser configurado de maneira tal que o escalonamento de profundidades de bit seja realizado apenas em um caso em que as profundidades de bit dos dados residuais forem diferentes entre componentes, e a diferença da profundidade de bit calculada entre os componentes é positiva, e uma previsão residual é proibida (dados residuais previstos não são calculados) em um caso em que a diferença da profundidade de bit calculada entre os componentes for negativa.[00383] A residual prediction/residual decoding control method is not limited to that of the above-described example. For example, it can be configured in such a way that bit depth scaling is performed only in a case where the residual data bit depths are different between components, and the calculated bit depth difference between components is positive , and a residual prediction is prohibited (predicted residual data is not calculated) in a case where the calculated bit depth difference between the components is negative.
[00384] Mais especificamente, por exemplo, ele pode ser configurado de maneira tal que, em um caso em que a profundidade de bit dos dados residuais do componente de luminância for maior do que a profundidade de bit dos dados residuais do componente de diferença de cor, uma previsão residual seja realizada com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes pelo escalonamento da profundidade de bit através de um deslocamento para a direita e, em um caso em que a profundidade de bit dos dados residuais do componente de luminância for menor do que a profundidade de bit dos dados residuais do componente de diferença de cor, uma previsão residual é proibida (dados residuais previstos não são calculados).[00384] More specifically, for example, it can be configured in such a way that in a case where the bit depth of the residual data of the luminance component is greater than the bit depth of the residual data of the difference component color, a residual prediction is performed with the residual data bit depths arranged to be uniform across components by scaling the bit depth through a right shift, and in a case where the component residual data bit depth of luminance is less than the bit depth of the residual data of the color difference component, a residual prediction is prohibited (predicted residual data is not calculated).
[00385] Da forma supradescrita, com base nas características das imagens, o componente de luminância é mais importante do que o componente de diferença de cor e, no geral, a profundidade de bit dos dados residuais do componente de luminância é a profundidade de bit dos dados residuais do componente de diferença de cor ou maior. Ao contrário, há raros casos nos quais o componente de diferença de cor tem uma profundidade de bit maior do que o componente de luminância. Em outras palavras, em um caso em que a profundidade de bit do componente de diferença de cor for definida como grande mesmo em relação às características de uma imagem, há uma alta possibilidade de que uma certa intenção do produtor, além das características da imagem, é incluída na imagem. Por este motivo, a possibilidade de facilmente diminuir a precisão da previsão de uma previsão residual que é um processo na direção de uma imagem geral também pode ser considerada. Em outras palavras, há uma possibilidade de facilmente diminuir a eficiência de codificação.[00385] As described above, based on the characteristics of the images, the luminance component is more important than the color difference component, and in general, the bit depth of the residual data of the luminance component is the bit depth of the residual data of the color difference component or greater. On the contrary, there are rare cases where the color difference component has a higher bit depth than the luminance component. In other words, in a case where the bit depth of the color difference component is set to be large even in relation to the characteristics of an image, there is a high possibility that a certain intention of the producer, in addition to the characteristics of the image, is included in the image. For this reason, the possibility of easily decreasing the forecast accuracy of a residual forecast that is a process towards an overall picture can also be considered. In other words, there is a possibility to easily decrease the coding efficiency.
[00386] Assim, em um caso em que o componente de luminância que espera-se que tenha alta precisão da previsão tiver uma profundidade de bit maior do que o componente de diferença de cor, ele pode ser configurado de maneira tal que uma previsão residual (restauração residual) seja executável, e a previsão residual é realizada com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes pelo escalonamento da profundidade de bit dos dados residuais através de um deslocamento para a direita para corretamente realizar a previsão (restauração). Por outro lado, em um caso em que o componente de diferença de cor que espera-se que tenha baixa precisão da previsão tiver uma profundidade de bit maior do que o componente de luminância, ele pode ser configurado de maneira tal que uma previsão residual seja controlada para não ser executada pelo uso da informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se uma previsão residual é realizada ou não.[00386] Thus, in a case where the luminance component that is expected to have high prediction accuracy has a greater bit depth than the color difference component, it can be configured in such a way that a residual prediction (residual restore) is executable, and the residual prediction is performed with the residual data bit depths arranged to be uniform across components by scaling the residual data bit depth through a right shift to correctly perform the prediction (residual restore). ). On the other hand, in a case where the color difference component that is expected to have low prediction accuracy has a higher bit depth than the luminance component, it can be configured in such a way that a residual prediction is controlled not to be executed by using information (eg luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS), used to control whether a residual prediction is performed or not.
[00387] Pela configuração como tal, a previsão residual / decodificação residual pode ser configurada para ser executada apenas em um caso em que um efeito suficiente de acordo com a execução da previsão residual puder ser adquirido (a codificação eficiente pode ser suficientemente melhorada). Desta maneira, já que uma desnecessária previsão residual / decodificação residual pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido.[00387] By setting as such, the residual prediction / residual decoding can be configured to be performed only in a case where a sufficient effect according to the residual prediction execution can be acquired (efficient coding can be sufficiently improved). In this way, since unnecessary residual prediction/residual decoding can be omitted, a decrease in coding efficiency can be suppressed, and an increase in processing load can be suppressed.
[00388] A fim de realizar controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 22. Uma porção da semântica ilustrada na figura 22 na qual um sublinhado é anexado é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas.[00388] In order to carry out control, as exposed, the semantics can be described as in an example illustrated in figure 22. A portion of the semantics illustrated in figure 22 in which an underscore is attached is a description corresponding to the prediction execution control residual / residual decoding described above.
[00389] Também, neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.[00389] Also, in this case, the image coding apparatus 100 can have a configuration that is basically the same as that according to the first embodiment.
[00390] A figura 23 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 23, neste caso, quando comparado com o caso da primeira modalidade, uma unidade de previsão residual 122 inclui uma unidade de controle 411 em vez da unidade de controle 141 e inclui uma unidade de previsão 412 em vez da unidade de previsão 142.[00390] Figure 23 is a block diagram illustrating an example of the main configurations of a header processing unit 121 and a residual prediction unit 122 of a case like this. As illustrated in Fig. 23, in this case, when compared to the case of the first embodiment, a residual prediction unit 122 includes a control unit 411 instead of the control unit 141 and includes a prediction unit 412 instead of the forecast 142.
[00391] Uma unidade de controle 411 realiza um processo que é, basicamente, igual àquele da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 411 inclui uma unidade de cálculo da diferença da profundidade de bit 421 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 422 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153.[00391] A control unit 411 performs a process that is basically the same as that of the control unit 141. When compared to the configuration of the control unit 141, the control unit 411 includes a depth difference calculation unit bit 421 instead of the bit depth difference calculation unit 151, includes a bit shift control unit 422 instead of the bit shift control unit 152 and, similarly to the case of control unit 141, includes the weighting coefficient definition unit 153.
[00392] A unidade de cálculo da diferença da profundidade de bit 421, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 421, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 163 (a unidade de previsão 412 não tem a unidade de deslocamento esquerdo 163).[00392] The bit depth difference calculation unit 421, similarly to the case of the bit depth difference calculation unit 151, calculates a bit depth difference (delta_bitdepth) between the components. However, the bit depth difference calculation unit 421, unlike the case of the bit depth difference calculation unit 151, does not supply the calculated bit depth difference (delta_bitdepth) between the components for the left shift unit. 163 (prediction unit 412 does not have left shift unit 163).
[00393] A unidade de controle de deslocamento de bit 422, similarmente ao caso da unidade de controle de deslocamento de bit 152, controla o cálculo realizado pela unidade de previsão 412. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for zero, a unidade de controle de deslocamento de bit 422 faz com que a unidade de previsão 412 não realize escalonamento da profundidade de bit, mas calcule os dados residuais previstos. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for positiva, a unidade de controle de deslocamento de bit 422 faz com que a unidade de previsão 412 realize escalonamento da profundidade de bit para calcular dados residuais previstos. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, a unidade de controle de deslocamento de bit 422 proíbe uma previsão residual (causa nenhum cálculo dos dados residuais previstos) pelo controle da unidade de previsão 412.[00393] The bit shift control unit 422, similarly to the case of the bit shift control unit 152, controls the calculation performed by the prediction unit 412. However, in a case where the bit depth difference ( delta_bitdepth) of the residual data between components calculated by the bit depth difference calculation unit 421 is zero, the bit shift control unit 422 makes the prediction unit 412 not perform bit depth scaling, but calculate the predicted residuals. On the other hand, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 421 is positive, the bit shift control unit 422 causes the prediction unit 412 to perform bit depth scaling to compute predicted residual data. Contrary to this, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 421 is negative, the bit shift control unit 422 prohibits a residual forecast (causes no calculation of forecast residual data) by forecasting unit control 412.
[00394] Em outras palavras, no caso do exemplo desta modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculados pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, comparado com a configuração da unidade de previsão 142, a unidade de deslocamento esquerdo 163 não é incluída na unidade de previsão 412.[00394] In other words, in the case of the example of this modality, when the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 421 is negative, the scaling of the bit depths bit, in other words, a bit shift used to arrange the bit depths to be uniform between the components is not performed, and in this way, compared to the setting of the prediction unit 142, the left shift unit 163 is not included. in forecast unit 412.
[00395] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 24.[00395] In the case of this modality, the coding process is performed similarly to that of the case of the first modality. An example of the residual prediction process flow performed in this embodiment will be described in relation to a flowchart illustrated in figure 24.
[00396] Também, no caso do exemplo ilustrado na figura 24, quando um processo de previsão residual for iniciado, na Etapa S401, a unidade de cálculo da diferença da profundidade de bit 421 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 421 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00396] Also, in the case of the example illustrated in Fig. 24, when a residual prediction process is started, in Step S401, the bit depth difference calculation unit 421 calculates a bit depth difference between components for which the residual forecast is performed. In other words, the bit depth difference calculation unit 421 performs calculation represented in Equation (4) and calculates a bit depth difference (delta_bitdepth) between the luminance component (Y) and the color difference component ( Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00397] Na Etapa S402, a unidade de controle de deslocamento de bit 422 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S401 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S403. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).[00397] In Step S402, the bit shift control unit 422 determines whether the bit depth difference (delta_bitdepth) calculated in Step S401 is zero or not. In a case where zero is determined, the process proceeds to Step S403. In a case like this, a bit shift is not performed, but the residual prediction is performed as represented in Equation (3).
[00398] Em outras palavras, processos da Etapa S403 até a Etapa S405 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S405 terminar ou for determinado, na Etapa S403, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00398] In other words, processes from Step S403 to Step S405 are performed similarly to those from Step S123 to Step S125 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S405 terminates or it is determined at Step S403 that a residual prediction is not performed, the residual prediction process ends, and the process is returned to the process illustrated in Fig. 5.
[00399] Além do mais, na Etapa S402, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S406.[00399] Furthermore, in Step S402, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S406.
[00400] Na Etapa S406, a unidade de controle de deslocamento de bit 422 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S401 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S407. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).[00400] In Step S406, the bit shift control unit 422 determines whether the bit depth difference (delta_bitdepth) calculated in Step S401 is positive or not. In a case where being positive is determined, the process proceeds to Step S407. In a case like this, a residual forecast is performed as represented in Equation (6) (scaling through a shift to the right is performed).
[00401] Em outras palavras, os processos da Etapa S407 até a Etapa S409 são realizados similarmente aos processos da Etapa S127 até a Etapa S129 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S409 terminar ou for determinado, na Etapa S407, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00401] In other words, the processes from Step S407 to Step S409 are performed similarly to the processes from Step S127 to Step S129 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S409 ends or it is determined at Step S407 that a residual prediction is not performed, the residual prediction process ends, and the process is returned to the process illustrated in Fig. 5.
[00402] Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S406, o processo prossegue para a Etapa S410.[00402] On the other hand, in a case where the bit depth difference (delta_bitdepth) is determined as non-positive (determined as negative), in Step S406, the process proceeds to Step S410.
[00403] Na Etapa S410, a unidade de controle de deslocamento de bit 422 define o valor da informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (é proibida). Por exemplo, a unidade de controle de deslocamento de bit 422 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.[00403] In Step S410, the bit shift control unit 422 sets the information value (for example, luma_chroma_prediction_enabled_flag) used to control whether a residual prediction is performed or not at a value representing that a residual prediction (residual restoration ) is not performed (is prohibited). For example, bit shift control unit 422 may set the value of luma_chroma_prediction_enabled_flag to zero.
[00404] Quando o processo da Etapa S410 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00404] When the process of Step S410 ends, the residual prediction process ends, and the process returns to the process illustrated in figure 5.
[00405] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tiver uma profundidade de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual pode ser configurada para não ser realizada. Portanto, de acordo com o aparelho de codificação de imagem 100, já que uma previsão residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido.[00405] By configuration as such, in a case where the residual data bit depth difference between the components is negative, in other words, the color difference component has a greater bit depth than the luminance component , and there is a possibility that sufficient effect is not acquired (coding efficiency cannot be improved enough) even in a case where a residual prediction is performed, the residual prediction can be set to not be performed. Therefore, according to the picture coding apparatus 100, since an unnecessary residual prediction can be omitted, a decrease in coding efficiency can be suppressed, and an increase in processing load can be suppressed.
[00406] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.[00406] Also, in this case, the image decoding apparatus 200 can have a configuration that is basically the same as that of the case of the first embodiment.
[00407] A figura 25 é um diagrama de blocos que ilustra um exemplo da configuração principal da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 25, neste caso, quando comparada com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 451 em vez da unidade de controle 241 e inclui uma unidade de restauração 452 em vez da unidade de restauração 242.[00407] Figure 25 is a block diagram illustrating an example of the main configuration of the header acquisition unit 221 and the residual restoration unit 222 in this case. As illustrated in Fig. 25, in this case, when compared to the case of the first embodiment, the residual restoration unit 222 includes a control unit 451 instead of the control unit 241 and includes a restoration unit 452 instead of the restoration 242.
[00408] A unidade de controle 451 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 451 inclui uma unidade de cálculo da diferença da profundidade de bit 461 em vez da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 462 em vez da unidade de controle de deslocamento de bit 252.[00408] The control unit 451 performs a process that is basically the same as that of the control unit 241. When compared to the configuration of the control unit 241, the control unit 451 includes a depth difference calculation unit bit 461 instead of the bit depth difference calculation unit 251 and includes a bit shift control unit 462 instead of the bit shift control unit 252.
[00409] A unidade de cálculo da diferença da profundidade de bit 461, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 461 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 263 (a unidade de restauração 452 não inclui a unidade de deslocamento esquerdo 263).[00409] The bit depth difference calculation unit 461, similarly to the case of the bit depth difference calculation unit 251, calculates a bit depth difference (delta_bitdepth) between components. However, unlike the case of the bit depth difference calculation unit 251, the bit depth difference calculation unit 461 does not supply the calculated bit depth difference (delta_bitdepth) between the components for the left shift unit 263 (Restore unit 452 does not include left shift unit 263).
[00410] A unidade de controle de deslocamento de bit 462, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 452. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for zero, a unidade de controle de deslocamento de bit 462 faz com que a unidade de restauração 452 não realize escalonamento da profundidade de bit, mas restaure os dados residuais. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for positiva, a unidade de controle de deslocamento de bit 462 faz com que a unidade de restauração 452 realize escalonamento da profundidade de bit para restaurar os dados residuais. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for negativa, a unidade de controle de deslocamento de bit 462 omite a restauração residual (omite a restauração dos dados residuais) pelo controle da unidade de restauração 452.[00410] The bit shift control unit 462, similarly to the case of the bit shift control unit 252, controls the calculation performed by the restoration unit 452. However, in a case where the bit depth difference ( delta_bitdepth) of the inter-component residual data calculated by the bit depth difference calculation unit 461 is zero, the bit shift control unit 462 causes the restore unit 452 not to perform bit depth scaling, but to restore the residual data. On the other hand, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 461 is positive, the bit shift control unit 462 causes restore unit 452 to perform bit depth scaling to restore residual data. Contrary to this, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 461 is negative, the bit shift control unit 462 omits the Residual restore (omits restoration of residual data) by control of restore unit 452.
[00411] Em outras palavras, no caso do exemplo desta modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 461 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes não é realizado e, desta maneira, comparada com a configuração da unidade de restauração 242, a unidade de deslocamento esquerdo 263 não é incluída na unidade de restauração 452.[00411] In other words, in the case of the example of this modality, when the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 461 is negative, the scaling of the bit depths bit, in other words, a bit shift used to arrange the bit depths to be uniform between the components is not performed, and in this way, compared to the setting of reset unit 242, left shift unit 263 is not included in restore unit 452.
[00412] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 26.[00412] In the case of this modality, the decoding process is performed similarly to the case of the first modality. An example of the residual restoration process flow in the case of this modality will be described in relation to a flowchart illustrated in figure 26.
[00413] Também, no caso do exemplo ilustrado na figura 26, quando um processo de restauração residual for iniciado, na Etapa S421, a unidade de cálculo da diferença da profundidade de bit 461 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 461 realiza o cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00413] Also, in the case of the example illustrated in Fig. 26, when a residual restoration process is started, in Step S421, the bit depth difference calculation unit 461 calculates a bit depth difference between components for which the residual forecast was performed. In other words, the bit depth difference calculation unit 461 performs the calculation shown in Equation (10) and calculates a bit depth difference (delta_bitdepth) between the luminance (Y) component and the color difference component (Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00414] Na Etapa S422, a unidade de controle de deslocamento de bit 462 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S421 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S423. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).[00414] In Step S422, the bit shift control unit 462 determines whether the bit depth difference (delta_bitdepth) calculated in Step S421 is zero or not. In a case where zero is determined, the process proceeds to Step S423. In a case like this, a bit shift is not performed, and the residual restoration is performed as represented in Equation (9).
[00415] Em outras palavras, os processos da Etapa S423 até a Etapa S425 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S425 terminar ou for determinado, na Etapa S423, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00415] In other words, the processes from Step S423 to Step S425 are performed similarly to the processes from Step S223 to Step S225 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S425 terminates or it is determined at Step S423 that a residual prediction is not performed, the residual restoration process terminates, and the process is returned to the process illustrated in Fig. 12.
[00416] Por outro lado, na Etapa S422, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S426.[00416] On the other hand, in Step S422, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S426.
[00417] Na Etapa S426, a unidade de controle de deslocamento de bit 462 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S421 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S427. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).[00417] In Step S426, the bit shift control unit 462 determines whether the bit depth difference (delta_bitdepth) calculated in Step S421 is positive or not. In a case where being positive is determined, the process proceeds to Step S427. In a case like this, a residual forecast is performed as represented in Equation (12) (scaling through a shift to the right is performed).
[00418] Em outras palavras, os processos da Etapa S427 até a Etapa S429 são realizados similarmente aos processos da Etapa S227 até a Etapa S229 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S429 terminar ou for determinado, na Etapa S427, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00418] In other words, the processes from Step S427 to Step S429 are performed similarly to the processes from Step S227 to Step S229 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S429 terminates or it is determined at Step S427 that a residual prediction is not performed, the residual restoration process terminates, and the process is returned to the process illustrated in Fig. 12.
[00419] Além do mais, na Etapa S426, também, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), o escalonamento das profundidades de bit não é realizado, e a restauração residual é omitida. Desta maneira, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00419] Furthermore, in Step S426, also, in a case where the bit depth difference (delta_bitdepth) is determined as non-positive (determined as negative), the scaling of the bit depths is not performed, and the residual restoration is omitted. In this way, also, in this case, the residual restoration process ends, and the process is returned to the process illustrated in figure 12.
[00420] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tem uma profundidade de bit maior do que o componente de luminância, e há uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual não é realizada, e a restauração residual pode ser configurada como não realizada de acordo com isto. Portanto, de acordo com o aparelho de decodificação de imagem 200, já que previsão de restauração desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido.[00420] By configuration as such, in a case where the residual data bit depth difference between the components is negative, in other words, the color difference component has a higher bit depth than the luminance component , and there is a possibility that sufficient effect is not acquired (coding efficiency cannot be improved enough) even in a case where a residual prediction is performed, the residual prediction is not performed, and the residual restoration can be set as not performed accordingly. Therefore, according to the image decoding apparatus 200, since unnecessary restoration prediction can be omitted, a decrease in coding efficiency can be suppressed, and an increase in processing load can be suppressed.
[00421] Um método de controle da previsão residual / decodificação residual não é limitado àquele ilustrado no exemplo supradescrito. Por exemplo, se a previsão residual / decodificação residual é realizada ou não pode ser controlado de acordo com o espaço de cor da imagem. Por exemplo, isto pode ser configurado de maneira tal que a execução da previsão residual / decodificação residual seja controlado basicamente da forma descrita na terceira modalidade e, adicionalmente, em um caso em que o espaço de cor da imagem que é um alvo de codificação / decodificação é o RGB, a previsão residual / decodificação residual é configurada para ser proibida.[00421] A residual prediction/residual decoding control method is not limited to that illustrated in the above-described example. For example, whether residual prediction / residual decoding is performed or not can be controlled according to the color space of the image. For example, this can be configured in such a way that the execution of residual prediction / residual decoding is controlled basically in the way described in the third embodiment, and additionally in a case where the color space of the image which is a coding target / decoding is RGB, residual prediction / residual decoding is set to be prohibited.
[00422] No geral, no caso de YUV, há muitos casos em que um componente de luminância é mais importante do que um componente de diferença de cor como informação, e um caso pode ser considerado no qual o componente de luminância tem uma maior quantidade de informação (maior profundidade de bit) do que o componente de diferença de cor. Por outro lado, no caso de RGB, há muitos casos em que os graus de importância dos componentes como informação são os mesmos, e a quantidades de informação (profundidades de bit) dos componentes são as mesmas. Embora um caso possa ser considerado no qual um componente G é mais importante do que um componente R e um componente B como informação, há raros casos em que há uma diferença entre as quantidades de informação (profundidades de bit) dos mesmos.[00422] Overall, in the case of YUV, there are many cases where a luminance component is more important than a color difference component as information, and a case can be considered in which the luminance component has a greater amount of information (greater bit depth) than the color difference component. On the other hand, in the case of RGB, there are many cases where the degrees of importance of the components as information are the same, and the amount of information (bit depths) of the components are the same. Although a case can be considered in which a G component is more important than an R component and a B component as information, there are rare cases where there is a difference between the amounts of information (bit depths) of the same.
[00423] Em outras palavras, em um caso em que o espaço de cor da imagem for RGB, e as quantidades de informação (profundidades de bit) dos componentes não forem uniformes, há uma alta possibilidade de que uma certa intenção do produtor além das características da imagem seja incluída na imagem. Por este motivo, a possibilidade de facilmente diminuir a precisão da previsão de uma previsão residual, que é um processo na direção de uma imagem geral, também pode ser considerada. Em outras palavras, há uma possibilidade de facilmente diminuir a eficiência de codificação.[00423] In other words, in a case where the color space of the image is RGB, and the amounts of information (bit depths) of the components are not uniform, there is a high possibility that a certain intention of the producer in addition to the image features to be included in the image. For this reason, the possibility of easily decreasing the forecast accuracy of a residual forecast, which is a process towards an overall picture, can also be considered. In other words, there is a possibility to easily decrease the coding efficiency.
[00424] Assim, isto pode ser configurado de maneira tal que, apenas em um caso em que a imagem tiver um espaço de cor, tal como o YUV, que espera-se que tenha alta precisão da previsão, a previsão residual (restauração residual) é configurada para ser executável e, em um caso em que a imagem tiver um espaço de cor, tal como o RGB, no qual a precisão da previsão pode ser facilmente diminuída, a previsão residual (restauração residual) é controlada para não ser realizada pelo uso de informação (por exemplo, luma_chroma_prediction_enabled_flag), que é incluída no conjunto de parâmetro de figura (PPS), usada para controlar se a previsão residual é realizada ou não.[00424] Thus, this can be configured in such a way that, only in a case where the image has a color space, such as YUV, which is expected to have high prediction accuracy, the residual prediction (residual restoration ) is set to be executable, and in a case where the image has a color space, such as RGB, in which the prediction accuracy can easily be lowered, the residual prediction (residual restoration) is controlled not to be performed by the use of information (eg luma_chroma_prediction_enabled_flag), which is included in the figure parameter set (PPS), used to control whether residual prediction is performed or not.
[00425] Pela configuração como tal, a previsão residual / decodificação residual pode ser configurada para ser executada apenas para o caso de um espaço de cor para o qual efeito suficiente de acordo com a execução da previsão residual é adquirido (eficiência de codificação pode ser suficientemente melhorada). Desta maneira, já que uma previsão residual / decodificação residual desnecessárias podem ser omitidas, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido.[00425] By configuration as such, residual prediction / residual decoding can be configured to be performed only for the case of a color space for which sufficient effect according to the execution of residual prediction is acquired (coding efficiency can be sufficiently improved). In this way, since unnecessary residual prediction / residual decoding can be omitted, a decrease in coding efficiency can be suppressed, and an increase in processing load can be suppressed.
[00426] A fim de realizar o processo de controle, como exposto, a semântica pode ser descrita como em um exemplo ilustrado na figura 27. Uma porção da semântica ilustrada na figura 27, na qual um sublinhado é anexado, é uma descrição correspondente ao controle de execução da previsão residual / decodificação residual supradescritas.[00426] In order to carry out the control process, as exposed, the semantics can be described as in an example illustrated in figure 27. A portion of the semantics illustrated in figure 27, in which an underscore is attached, is a description corresponding to the execution control of the residual prediction / residual decoding described above.
[00427] Também neste caso, o aparelho de codificação de imagem 100 pode ter uma configuração que é, basicamente, igual àquela de acordo com a primeira modalidade.[00427] Also in this case, the image coding apparatus 100 can have a configuration that is basically the same as that according to the first embodiment.
[00428] A figura 28 é um diagrama de blocos que ilustra um exemplo das configurações principais de uma unidade de processamento de cabeçalho 121 e uma unidade de previsão residual 122 de um caso como este. Da forma ilustrada na figura 28, neste caso, quando comparado com o caso da primeira modalidade, a unidade de processamento de cabeçalho 121 inclui adicionalmente uma unidade de processamento da VUI (Informação de Usabilidade de Vídeo) 501. Além do mais, quando comparada com o caso da primeira modalidade, a unidade de previsão residual 122 inclui uma unidade de controle 511 em vez da unidade de controle 141 e inclui uma unidade de previsão 412 em vez da unidade de previsão 142.[00428] Figure 28 is a block diagram illustrating an example of the main configurations of a header processing unit 121 and a residual prediction unit 122 of a case like this. As shown in Fig. 28, in this case, when compared with the case of the first embodiment, the header processing unit 121 further includes a VUI (Video Usability Information) processing unit 501. Furthermore, when compared with In the case of the first embodiment, the residual prediction unit 122 includes a control unit 511 instead of the control unit 141 and includes a prediction unit 412 instead of the prediction unit 142.
[00429] A unidade de processamento de VUI 501 realiza um processo em relação à geração de VUI (Informação de Usabilidade de Vídeo). A VUI compreende dados em relação à exibição de um vídeo e é armazenada em um conjunto do parâmetro de vídeo (VPS) ou um conjunto de parâmetro de sequência (SPS). Além do mais, a unidade de processamento de VUI 501, por exemplo, supre informação (matrix_coffs), que é incluída na VUI, que representa o espaço de cor da imagem para a unidade de previsão residual 122 (uma unidade de determinação do espaço de cor 523 a ser descrita posteriormente). O matrix_coffs é informação que representa uma matriz de transformação para uma transformação do RGB para a luminância / diferença de cor. Em outras palavras, no caso de matrix_coffs = 0, ele representa que o espaço de cor da imagem é sRGB.[00429] The VUI processing unit 501 performs a process regarding the generation of VUI (Video Usability Information). The VUI comprises data regarding the display of a video and is stored in a Video Parameter Set (VPS) or a Sequence Parameter Set (SPS). Furthermore, the VUI processing unit 501, for example, supplies information (matrix_coffs), which is included in the VUI, which represents the image color space to the residual prediction unit 122 (a color space determination unit). color 523 to be described later). The matrix_coffs is information that represents a transformation matrix for a transformation from RGB to luminance / color difference. In other words, in the case of matrix_coffs = 0, it represents that the color space of the image is sRGB.
[00430] A unidade de controle 511 realiza um processo que é, basicamente, o mesmo da unidade de controle 141. Quando comparada com a configuração da unidade de controle 141, a unidade de controle 511 inclui uma unidade de cálculo da diferença da profundidade de bit 521 em vez da unidade de cálculo da diferença da profundidade de bit 151, inclui uma unidade de controle de deslocamento de bit 522 em vez da unidade de controle de deslocamento de bit 152 e, similarmente ao caso da unidade de controle 141, inclui a unidade de definição do coeficiente de ponderação 153. Além do mais, a unidade de controle 511 inclui uma unidade de determinação do espaço de cor 523.[00430] The control unit 511 performs a process that is basically the same as the control unit 141. When compared to the configuration of the control unit 141, the control unit 511 includes a depth difference calculation unit bit 521 instead of the bit depth difference calculation unit 151, includes a bit shift control unit 522 instead of the bit shift control unit 152 and, similarly to the case of control unit 141, includes the weighting coefficient setting unit 153. Furthermore, the control unit 511 includes a color space determining unit 523.
[00431] A unidade de cálculo da diferença da profundidade de bit 521, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 151, calcula uma diferença da profundidade de bit (delta_bitdepth) entre os componentes. Entretanto, a unidade de cálculo da diferença da profundidade de bit 521, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 151, não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 163 (a unidade de previsão 412 não inclui a unidade de deslocamento esquerdo 163).[00431] The bit depth difference calculation unit 521, similarly to the case of the bit depth difference calculation unit 151, calculates a bit depth difference (delta_bitdepth) between the components. However, the bit depth difference calculation unit 521, unlike the case of the bit depth difference calculation unit 151, does not supply the calculated bit depth difference (delta_bitdepth) between the components for the left shift unit. 163 (prediction unit 412 does not include left shift unit 163).
[00432] A unidade de controle de deslocamento de bit 522, similarmente ao caso da unidade de controle de deslocamento de bit 152, controla o cálculo realizado pela unidade de previsão 412. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for zero, a unidade de controle de deslocamento de bit 522 faz com que a unidade de previsão 412 não realize escalonamento da profundidade de bit, mas calcule os dados residuais previstos. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for positiva, a unidade de controle de deslocamento de bit 522 faz com que a unidade de previsão 412 realize escalonamento da profundidade de bit para calcular dados residuais previstos. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 521 for negativa, a unidade de controle de deslocamento de bit 522 proíbe uma previsão residual (ocasiona nenhum cálculo dos dados residuais previstos) pelo controle da unidade de previsão 412.[00432] The bit shift control unit 522, similarly to the case of the bit shift control unit 152, controls the calculation performed by the prediction unit 412. However, in a case where the bit depth difference ( delta_bitdepth) of the inter-component residual data calculated by the bit depth difference calculation unit 521 is zero, the bit shift control unit 522 causes the prediction unit 412 not to perform bit depth scaling, but to calculate the predicted residuals. On the other hand, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 521 is positive, the bit shift control unit 522 causes the prediction unit 412 to perform bit depth scaling to compute predicted residual data. Contrary to this, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 521 is negative, the bit shift control unit 522 prohibits a residual forecast (causes no calculation of forecast residual data) by forecasting unit control 412.
[00433] Além do mais, a unidade de controle de deslocamento de bit 522 controla o cálculo realizado pela unidade de previsão 412 com base em um resultado da determinação de um espaço de cor da imagem que é adquirido pela unidade de determinação do espaço de cor 523. Por exemplo, em um caso em que o espaço de cor da imagem for determinado como RGB pela unidade de determinação do espaço de cor 523, a unidade de controle de deslocamento de bit 522 proíbe uma previsão residual (os dados residuais previstos não são calculados) pelo controle da unidade de previsão 412.[00433] Furthermore, the bit shift control unit 522 controls the calculation performed by the prediction unit 412 based on a result of determining a color space of the image that is acquired by the color space determining unit 523. For example, in a case where the color space of the image is determined as RGB by the color space determination unit 523, the bit shift control unit 522 prohibits a residual prediction (the predicted residual data is not calculated) by the forecasting unit control 412.
[00434] A unidade de determinação do espaço de cor 523 determina um espaço de cor da imagem pela referência à informação (matrix_coffs) que representa o espaço de cor da imagem suprido a partir da unidade de processamento de VUI 501. Por exemplo, no caso de matrix_coffs = 0, a unidade de determinação do espaço de cor 523 determina que o espaço de cor da imagem é o RGB.[00434] The color space determination unit 523 determines an image color space by referring to information (matrix_coffs) representing the image color space supplied from the VUI processing unit 501. For example, in the case of matrix_coffs = 0, the color space determination unit 523 determines that the color space of the image is RGB.
[00435] Em outras palavras, em caso do exemplo desta modalidade, similarmente ao caso da terceira modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 421 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes, não é realizado. Desta maneira, da forma descrita na terceira modalidade, comparada com a configuração da unidade de previsão 142, a unidade de deslocamento esquerdo 163 não é incluída na unidade de previsão 412.[00435] In other words, in the case of the example of this mode, similarly to the case of the third mode, when the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 421 is negative, scaling of bit depths, in other words, a bit shift used to arrange bit depths to be uniform across components, is not performed. In this way, as described in the third embodiment, compared to the configuration of the prediction unit 142, the left shift unit 163 is not included in the prediction unit 412.
[00436] No caso desta modalidade, o processo de codificação é realizado similarmente àquele do caso da primeira modalidade. Um exemplo do fluxo do processo de previsão residual realizado nesta modalidade será descrito em relação a um fluxograma ilustrado na figura 29.[00436] In the case of this modality, the coding process is performed similarly to that of the case of the first modality. An example of the residual prediction process flow performed in this embodiment will be described in relation to a flowchart illustrated in figure 29.
[00437] Também, no caso do exemplo ilustrado na figura 29, quando um processo de previsão residual for iniciado, na Etapa S501, a unidade de cálculo da diferença da profundidade de bit 521 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual é realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 521 realiza cálculo representado na Equação (4) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00437] Also, in the case of the example illustrated in Fig. 29, when a residual prediction process is started, in Step S501, the bit depth difference calculation unit 521 calculates a bit depth difference between components for which the residual forecast is performed. In other words, the bit depth difference calculation unit 521 performs calculation represented in Equation (4) and calculates a bit depth difference (delta_bitdepth) between the luminance component (Y) and the color difference component ( Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00438] Na Etapa S502, a unidade de controle de deslocamento de bit 522 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S501 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S503. Em um caso como este, um deslocamento de bit não é realizado, mas a previsão residual é realizada da forma representada na Equação (3).[00438] In Step S502, the bit shift control unit 522 determines whether the bit depth difference (delta_bitdepth) calculated in Step S501 is zero or not. In a case where zero is determined, the process proceeds to Step S503. In a case like this, a bit shift is not performed, but the residual prediction is performed as represented in Equation (3).
[00439] Em outras palavras, processos da Etapa S503 até a Etapa S505 são realizados similarmente àqueles da Etapa S123 até a Etapa S125 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S505 terminar ou for determinado, na Etapa S503, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00439] In other words, processes from Step S503 to Step S505 are performed similarly to those from Step S123 to Step S125 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S505 ends or it is determined at Step S503 that a residual prediction is not performed, the residual prediction process ends, and the process is returned to the process illustrated in Fig. 5.
[00440] Além do mais, na Etapa S502, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S506.[00440] Furthermore, in Step S502, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S506.
[00441] Na Etapa S506, a unidade de determinação do espaço de cor 523 determina se o espaço de cor da imagem é o RGB ou não com base na informação (matrix_coffs) que representa o espaço de cor da imagem adquirido a partir da unidade de processamento de VUI 501. Em um caso em que o espaço de cor for determinado como não sendo o RGB, o processo prossegue para a Etapa S507.[00441] In Step S506, the color space determination unit 523 determines whether the image color space is RGB or not based on the information (matrix_coffs) representing the image color space acquired from the image color space VUI processing 501. In a case where the color space is determined to be other than RGB, the process proceeds to Step S507.
[00442] Na Etapa S507, a unidade de controle de deslocamento de bit 522 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S501 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S508. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (6) (escalonamento através de um deslocamento para a direita é realizado).[00442] In Step S507, the bit shift control unit 522 determines whether the bit depth difference (delta_bitdepth) calculated in Step S501 is positive or not. In a case where being positive is determined, the process proceeds to Step S508. In a case like this, a residual forecast is performed as represented in Equation (6) (scaling through a shift to the right is performed).
[00443] Em outras palavras, os processos da Etapa S508 até a Etapa S510 são realizados similarmente aos processos da Etapa S127 até a Etapa S129 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S510 terminar ou for determinado, na Etapa S508, que uma previsão residual não é realizada, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00443] In other words, the processes from Step S508 to Step S510 are performed similarly to the processes from Step S127 to Step S129 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S510 ends or it is determined at Step S508 that a residual prediction is not performed, the residual prediction process ends, and the process is returned to the process illustrated in Fig. 5.
[00444] Por outro lado, na Etapa S506, em um caso em que o espaço de cor for determinado como o RGB ou a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S507, o processo prossegue para a Etapa S511.[00444] On the other hand, in Step S506, in a case where the color space is determined to be RGB or the bit depth difference (delta_bitdepth) is determined to be non-positive (determined to be negative), in Step S507, the process proceeds to Step S511.
[00445] Na Etapa S511, a unidade de controle de deslocamento de bit 522 define o valor da informação (por exemplo, luma_chroma_prediction_enabled_flag) usada para controlar se uma previsão residual é realizada ou não em um valor que representa que uma previsão residual (restauração residual) não é realizada (é proibida). Por exemplo, a unidade de controle de deslocamento de bit 522 pode definir o valor de luma_chroma_prediction_enabled_flag em zero.[00445] In Step S511, the bit shift control unit 522 sets the information value (e.g., luma_chroma_prediction_enabled_flag) used to control whether or not a residual prediction is performed to a value representing that a residual prediction (residual restoration ) is not performed (is prohibited). For example, bit shift control unit 522 may set the value of luma_chroma_prediction_enabled_flag to zero.
[00446] Quando o processo da Etapa S511 terminar, o processo de previsão residual termina, e o processo é retornado para o processo ilustrado na figura 5.[00446] When the process of Step S511 ends, the residual prediction process ends, and the process returns to the process illustrated in figure 5.
[00447] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tiver uma profundidade de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual pode ser configurada para não ser realizada. Além do mais, apenas para um espaço de cor para o qual o efeito suficiente de acordo com uma previsão residual é adquirido (a eficiência de codificação pode ser suficientemente melhorada), a previsão residual pode ser realizada. Portanto, de acordo com o aparelho de codificação de imagem 100, já que uma previsão residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida, e um aumento na carga de processamento pode ser suprimido.[00447] By configuration as such, in a case where the residual data bit depth difference between the components is negative, in other words, the color difference component has a greater bit depth than the luminance component , and there is a possibility that sufficient effect is not acquired (coding efficiency cannot be improved enough) even in a case where a residual prediction is performed, the residual prediction can be set to not be performed. Furthermore, only for a color space for which sufficient effect according to a residual prediction is acquired (coding efficiency can be sufficiently improved), residual prediction can be performed. Therefore, according to the picture coding apparatus 100, since an unnecessary residual prediction can be omitted, a decrease in coding efficiency can be suppressed, and an increase in processing load can be suppressed.
[00448] Também, neste caso, o aparelho de decodificação de imagem 200 pode ter uma configuração que é, basicamente, igual àquela do caso da primeira modalidade.[00448] Also, in this case, the image decoding apparatus 200 can have a configuration that is basically the same as in the case of the first embodiment.
[00449] A figura 30 é um diagrama de blocos que ilustra um exemplo das configurações principais da unidade de aquisição de cabeçalho 221 e da unidade de restauração residual 222 deste caso. Da forma ilustrada na figura 30, neste caso, quando comparada com o caso da primeira modalidade, a unidade de aquisição de cabeçalho 221 inclui adicionalmente uma unidade de aquisição de VUI 541. Além do mais, quando comparada com o caso da primeira modalidade, a unidade de restauração residual 222 inclui uma unidade de controle 551 em vez da unidade de controle 241 e inclui a unidade de restauração 452 em vez da unidade de restauração 242.[00449] Figure 30 is a block diagram illustrating an example of the main configurations of the header acquisition unit 221 and the residual restoration unit 222 in this case. As shown in Fig. 30, in this case, when compared with the case of the first embodiment, the header acquisition unit 221 further includes a VUI acquisition unit 541. Furthermore, when compared with the case of the first embodiment, the residual restoration unit 222 includes a control unit 551 in place of control unit 241 and includes restoration unit 452 in place of restoration unit 242.
[00450] A unidade de aquisição de VUI 541 adquire VUI que compreende dados em relação à exibição de um vídeo do conjunto do parâmetro de vídeo (VPS) ou do conjunto de parâmetro de sequência (SPS) suprido a partir do lado da codificação, adquire a informação (matrix_coffs) que representa o espaço de cor da imagem incluído na VUI, e supre a informação adquirida para a unidade de restauração residual 222 (uma unidade de determinação do espaço de cor 563 a ser descrita posteriormente).[00450] The VUI acquisition unit 541 acquires VUI comprising data regarding the display of a video from the Video Parameter Set (VPS) or the Sequence Parameter Set (SPS) supplied from the coding side, acquires information (matrix_coffs) representing the color space of the image included in the VUI, and supplies the acquired information to the residual restoration unit 222 (a color space determination unit 563 to be described later).
[00451] A unidade de controle 551 realiza um processo que é, basicamente, igual àquele da unidade de controle 241. Quando comparada com a configuração da unidade de controle 241, a unidade de controle 551 inclui uma unidade de cálculo da diferença da profundidade de bit 561 em vez da unidade de cálculo da diferença da profundidade de bit 251 e inclui uma unidade de controle de deslocamento de bit 562 em vez da unidade de controle de deslocamento de bit 252. Além do mais, a unidade de controle 551 inclui uma unidade de determinação do espaço de cor 563.[00451] The control unit 551 performs a process that is basically the same as that of the control unit 241. When compared to the configuration of the control unit 241, the control unit 551 includes a depth difference calculation unit bit 561 instead of the bit depth difference calculation unit 251 and includes a bit shift control unit 562 instead of the bit shift control unit 252. Furthermore, the control unit 551 includes a bit for determining the color space 563.
[00452] A unidade de cálculo da diferença da profundidade de bit 561, similarmente ao caso da unidade de cálculo da diferença da profundidade de bit 251, calcula uma diferença da profundidade de bit (delta_bitdepth) entre componentes. Entretanto, diferentemente do caso da unidade de cálculo da diferença da profundidade de bit 251, a unidade de cálculo da diferença da profundidade de bit 561 não supre a diferença da profundidade de bit calculada (delta_bitdepth) entre os componentes para a unidade de deslocamento esquerdo 263 (a unidade de restauração 452 não inclui a unidade de deslocamento esquerdo 263).[00452] The bit depth difference calculation unit 561, similarly to the case of the bit depth difference calculation unit 251, calculates a bit depth difference (delta_bitdepth) between components. However, unlike the case of the bit depth difference calculation unit 251, the bit depth difference calculation unit 561 does not supply the calculated bit depth difference (delta_bitdepth) between the components for the left shift unit 263 (Restore unit 452 does not include left shift unit 263).
[00453] A unidade de controle de deslocamento de bit 562, similarmente ao caso da unidade de controle de deslocamento de bit 252, controla o cálculo realizado pela unidade de restauração 452. Entretanto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for zero, a unidade de controle de deslocamento de bit 562 faz com que a unidade de restauração 452 não realize escalonamento da profundidade de bit, mas restaure os dados residuais. Por outro lado, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for positiva, a unidade de controle de deslocamento de bit 562 faz com que a unidade de restauração 452 realize escalonamento da profundidade de bit para restaurar os dados residuais. Ao contrário disto, em um caso em que a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for negativa, a unidade de controle de deslocamento de bit 562 omite a restauração residual (omite a restauração dos dados residuais) pelo controle da unidade de restauração 452.[00453] The bit shift control unit 562, similarly to the case of the bit shift control unit 252, controls the calculation performed by the restoration unit 452. However, in a case where the bit depth difference ( delta_bitdepth) of the residual data between components calculated by the bit depth difference calculation unit 561 is zero, the bit shift control unit 562 causes the restore unit 452 not to perform bit depth scaling, but to restore the residual data. On the other hand, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 561 is positive, the bit shift control unit 562 causes restore unit 452 to perform bit depth scaling to restore residual data. Contrary to this, in a case where the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 561 is negative, the bit shift control unit 562 omits the Residual restore (omits restoration of residual data) by control of restore unit 452.
[00454] Além do mais, a unidade de controle de deslocamento de bit 562 controla o cálculo realizado pela unidade de restauração 452 com base em um resultado da determinação do espaço de cor da imagem que é realizado pela unidade de determinação do espaço de cor 563. Por exemplo, em um caso em que o espaço de cor da imagem for determinado como o RGB pela unidade de determinação do espaço de cor 563, a unidade de controle de deslocamento de bit 562 omite restauração residual (a restauração dos dados residuais é omitida) pelo controle da unidade de restauração 452.[00454] Furthermore, the bit shift control unit 562 controls the calculation performed by the restoration unit 452 based on a result of determining the color space of the image that is performed by the color space determining unit 563 For example, in a case where the color space of the image is determined as RGB by the color space determination unit 563, the bit shift control unit 562 omits residual restoration (restoration of residual data is omitted ) by control of reset unit 452.
[00455] A unidade de determinação do espaço de cor 563 determina o espaço de cor da imagem pela referência à informação (matrix_coffs) que representa o espaço de cor da imagem suprida a partir da unidade de aquisição de VUI 541. Por exemplo, no caso de matrix_coffs = 0, a unidade de determinação do espaço de cor 563 determina que o espaço de cor da imagem é o RGB.[00455] The color space determination unit 563 determines the image color space by referring to the information (matrix_coffs) representing the color space of the image supplied from the VUI acquisition unit 541. For example, in the case of matrix_coffs = 0, the color space determination unit 563 determines that the color space of the image is RGB.
[00456] Em outras palavras, no caso do exemplo desta modalidade, similarmente ao caso da terceira modalidade, quando a diferença da profundidade de bit (delta_bitdepth) dos dados residuais entre os componentes calculada pela unidade de cálculo da diferença da profundidade de bit 561 for negativa, o escalonamento das profundidades de bit, em outras palavras, um deslocamento de bit usado para arranjar as profundidades de bit para serem uniformes entre os componentes, não é realizado. Desta maneira, comparada com a configuração da unidade de restauração 242, a unidade de deslocamento esquerdo 263 não é incluída na unidade de restauração 452.[00456] In other words, in the case of the example of this embodiment, similarly to the case of the third embodiment, when the bit depth difference (delta_bitdepth) of the residual data between the components calculated by the bit depth difference calculation unit 561 is negative, scaling of bit depths, in other words, a bit shift used to arrange bit depths to be uniform across components, is not performed. In this way, compared to the restoration unit configuration 242, the left shift unit 263 is not included in the restoration unit 452.
[00457] No caso desta modalidade, o processo de decodificação é realizado similarmente ao caso da primeira modalidade. Um exemplo do fluxo do processo de restauração residual no caso desta modalidade será descrito em relação a um fluxograma ilustrado na figura 31.[00457] In the case of this modality, the decoding process is performed similarly to the case of the first modality. An example of the flow of the residual restoration process in the case of this modality will be described in relation to a flowchart illustrated in figure 31.
[00458] Também, no caso do exemplo ilustrado na figura 31, quando um processo de restauração residual for iniciado, na Etapa S521, a unidade de cálculo da diferença da profundidade de bit 561 calcula uma diferença da profundidade de bit entre componentes para os quais a previsão residual foi realizada. Em outras palavras, a unidade de cálculo da diferença da profundidade de bit 561 realiza o cálculo representado na Equação (10) e calcula uma diferença da profundidade de bit (delta_bitdepth) entre o componente de luminância (Y) e o componente de diferença de cor (Cr ou Cb). Em um caso em que diferenças da profundidade de bit forem diferentes entre o componente de diferença de cor (Cr) e o componente de diferença de cor (Cb), as diferenças da profundidade de bit (delta_bitdepth) são calculadas.[00458] Also, in the case of the example illustrated in Fig. 31, when a residual restoration process is started, in Step S521, the bit depth difference calculation unit 561 calculates a bit depth difference between components for which the residual forecast was performed. In other words, the bit depth difference calculation unit 561 performs the calculation represented in Equation (10) and calculates a bit depth difference (delta_bitdepth) between the luminance (Y) component and the color difference component (Cr or Cb). In a case where bit depth differences are different between the color difference component (Cr) and the color difference component (Cb), the bit depth differences (delta_bitdepth) are calculated.
[00459] Na Etapa S522, a unidade de controle de deslocamento de bit 562 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S521 é zero ou não. Em um caso em que zero for determinado, o processo prossegue para a Etapa S523. Em um caso como este, um deslocamento de bit não é realizado, e a restauração residual é realizada da forma representada na Equação (9).[00459] In Step S522, the bit shift control unit 562 determines whether the bit depth difference (delta_bitdepth) calculated in Step S521 is zero or not. In a case where zero is determined, the process proceeds to Step S523. In a case like this, a bit shift is not performed, and the residual restoration is performed as represented in Equation (9).
[00460] Em outras palavras, os processos da Etapa S523 até a Etapa S525 são realizados similarmente aos processos da Etapa S223 até a Etapa S225 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S525 terminar ou for determinado, na Etapa S523, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00460] In other words, the processes from Step S523 to Step S525 are performed similarly to the processes from Step S223 to Step S225 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S525 terminates or it is determined at Step S523 that a residual prediction is not performed, the residual restoration process terminates, and the process is returned to the process illustrated in Fig. 12.
[00461] Por outro lado, na Etapa S522, em um caso em que a diferença da profundidade de bit (delta_bitdepth) for determinada como não zero, o processo prossegue para a Etapa S526.[00461] On the other hand, in Step S522, in a case where the bit depth difference (delta_bitdepth) is determined to be non-zero, the process proceeds to Step S526.
[00462] Na Etapa S526, a unidade de determinação do espaço de cor 563 determina se o espaço de cor da imagem é o RGB ou não com base na informação (matrix_coffs) que representa o espaço de cor da imagem adquirida a partir da unidade de aquisição de VUI 541. Em um caso em que o espaço de cor for determinado como não sendo o RGB, o processo prossegue para a Etapa S527.[00462] In Step S526, the color space determination unit 563 determines whether the color space of the image is RGB or not based on the information (matrix_coffs) representing the color space of the image acquired from the VUI acquisition 541. In a case where the color space is determined to be other than RGB, the process proceeds to Step S527.
[00463] Na Etapa S527, a unidade de controle de deslocamento de bit 562 determina se a diferença da profundidade de bit (delta_bitdepth) calculada na Etapa S521 é positiva ou não. Em um caso em que ser positiva for determinado, o processo prossegue para a Etapa S528. Em um caso como este, uma previsão residual é realizada da forma representada na Equação (12) (escalonamento através de um deslocamento para a direita é realizado).[00463] In Step S527, the bit shift control unit 562 determines whether the bit depth difference (delta_bitdepth) calculated in Step S521 is positive or not. In a case where being positive is determined, the process proceeds to Step S528. In a case like this, a residual forecast is performed as represented in Equation (12) (scaling through a shift to the right is performed).
[00464] Em outras palavras, os processos da Etapa S528 até a Etapa S530 são realizados similarmente aos processos da Etapa S227 até a Etapa S229 do processo de previsão residual de acordo com a primeira modalidade. Então, em um caso em que o processo da Etapa S530 terminar ou for determinado, na Etapa S528, que uma previsão residual não é realizada, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00464] In other words, the processes from Step S528 to Step S530 are performed similarly to the processes from Step S227 to Step S229 of the residual prediction process according to the first embodiment. Then, in a case where the process of Step S530 terminates or it is determined at Step S528 that a residual prediction is not performed, the residual restoration process terminates, and the process is returned to the process illustrated in Fig. 12.
[00465] Além do mais, também, em um caso em que o espaço de cor for determinado como o RGB na Etapa S526 ou a diferença da profundidade de bit (delta_bitdepth) for determinada como não positiva (determinada como negativa), na Etapa S527, o escalonamento das profundidades de bit não é realizado, e a restauração residual é omitida. Desta maneira, também, neste caso, o processo de restauração residual termina, e o processo é retornado para o processo ilustrado na figura 12.[00465] Furthermore, also, in a case where the color space is determined as the RGB in Step S526 or the bit depth difference (delta_bitdepth) is determined as non-positive (determined as negative), in Step S527 , scaling of bit depths is not performed, and residual restoration is omitted. In this way, also, in this case, the residual restoration process ends, and the process is returned to the process illustrated in figure 12.
[00466] Pela configuração como tal, em um caso em que a diferença da profundidade de bit dos dados residuais entre os componentes for negativa, em outras palavras, o componente de diferença de cor tem uma profundidade de bit maior do que o componente de luminância, e houver uma possibilidade de que efeito suficiente não seja adquirido (a eficiência de codificação não pode ser suficientemente melhorada) mesmo em um caso em que uma previsão residual for realizada, a previsão residual não é realizada, e a restauração residual pode ser configurada para não ser realizada de acordo com isto. Além do mais, apenas para um espaço de cor no qual efeito suficiente de realização da previsão residual é adquirido (a eficiência de codificação pode ser suficientemente melhorada), a previsão residual é realizada e restauração residual pode ser configurada para não ser realizada de acordo com isto. Portanto, de acordo com o aparelho de decodificação de imagem 200, já que restauração residual desnecessária pode ser omitida, uma diminuição na eficiência de codificação pode ser suprimida e um aumento na carga de processamento pode ser suprimido.[00466] By configuration as such, in a case where the residual data bit depth difference between the components is negative, in other words, the color difference component has a greater bit depth than the luminance component , and there is a possibility that sufficient effect is not acquired (coding efficiency cannot be improved enough) even in a case where a residual prediction is performed, the residual prediction is not performed, and the residual restoration can be set to not be performed accordingly. Furthermore, only for a color space in which sufficient effect of performing residual prediction is acquired (the coding efficiency can be sufficiently improved), residual prediction is performed and residual restoration can be set not to be performed according to this. Therefore, according to the image decoding apparatus 200, since unnecessary residual restoration can be omitted, a decrease in coding efficiency can be suppressed and an increase in processing load can be suppressed.
[00467] Como exposto, embora a unidade de definição do coeficiente de ponderação 153 tenha sido descrita para definir independentemente o coeficiente de ponderação α para cada componente, a definição do coeficiente de ponderação não é limitada a esta. Assim, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir um coeficiente de ponderação α que é comum a uma pluralidade dos componentes. Por exemplo, a unidade de definição do coeficiente de ponderação 153 pode ser configurada para definir um coeficiente de ponderação α que é comum tanto ao componente de diferença de cor Cr quanto ao componente de diferença de cor Cb.[00467] As stated, although the weighting coefficient definition unit 153 has been described to independently define the weighting coefficient α for each component, the definition of the weighting coefficient is not limited to this. Thus, the weighting coefficient setting unit 153 can be configured to define a weighting coefficient α that is common to a plurality of components. For example, the weighting coefficient setting unit 153 can be configured to set a weighting coefficient α that is common to both the color difference component Cr and the color difference component Cb.
[00468] A figura 32 ilustra um exemplo da sintaxe de uma TU que transmite um coeficiente de ponderação α em um caso em que o coeficiente de ponderação α for independentemente definido para cada componente. Em um caso como este, como em uma porção ilustrada na figura 32 na qual um padrão de linhas inclinadas é aplicado, uma determinação de uma condição para a transmissão r do coeficiente de ponderação α é realizada para cada um dos componentes de diferença de cor Cr e Cb, e o coeficiente de ponderação α é transmitido (chamando luma_chroma_pred()) para cada um dos componentes de diferença de cor Cr e Cb. Na transmissão do coeficiente de ponderação α, é necessário designar um número de componente (c) do componente de diferença de cor (Croma) (por exemplo, "c" de luma_chroma_pred(x0, y0, c); no exemplo ilustrado na figura 32, c = "0" ou "1").[00468] Figure 32 illustrates an example of the syntax of a TU that transmits a weighting coefficient α in a case where the weighting coefficient α is independently defined for each component. In such a case, as in a portion illustrated in Fig. 32 in which a pattern of slanted lines is applied, a determination of a condition for the transmission r of the weighting coefficient α is performed for each of the color difference components Cr and Cb, and the weighting coefficient α is passed (by calling luma_chroma_pred()) for each of the color difference components Cr and Cb. In the transmission of the α weighting coefficient, it is necessary to designate a component number (c) of the color difference component (Chroma) (for example, "c" of luma_chroma_pred(x0, y0, c); in the example illustrated in figure 32 , c="0" or "1").
[00469] Um exemplo da sintaxe da previsão residual (previsão Luma - croma) é ilustrado na figura 33. Da forma ilustrada na figura 33, também, nesta sintaxe, é necessário designar o número de componente (c) do componente de diferença de cor (Croma).[00469] An example of the residual prediction syntax (Luma prediction - chroma) is shown in figure 33. As shown in figure 33, also, in this syntax, it is necessary to designate the component number (c) of the color difference component (Chroma).
[00470] Além do mais, exemplos da semântica são ilustrados nas figuras 34 e 35. Da forma ilustrada em tais diagramas, também na semântica, é necessário designar o número de componente (c) do componente de diferença de cor (Croma).[00470] Furthermore, examples of semantics are illustrated in figures 34 and 35. As illustrated in such diagrams, also in semantics, it is necessary to designate the component number (c) of the color difference component (Chroma).
[00471] Ao contrário disto, a figura 36 ilustra um exemplo da sintaxe de uma TU que transmite um coeficiente de ponderação α em um caso em que o coeficiente de ponderação α for comunizado. Em um caso como este, como em uma porção ilustrada na figura 36 na qual um padrão de linhas inclinadas é aplicado, uma determinação de uma condição para a transmissão r do coeficiente de ponderação α e a transmissão (chamando luma_chroma_pred()) do coeficiente de ponderação α pode ser realizada uma vez. Assim, pela configuração como tal, as cargas do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 podem ser diminuídas, e a quantidade de informação a ser transmitida pode ser diminuída, de acordo com o que, a eficiência de codificação pode ser melhorada. Além do mais, já que não é necessário designar o número de componente (c) do componente de diferença de cor (Croma), a eficiência de codificação pode ser adicionalmente melhorada.[00471] Contrary to this, figure 36 illustrates an example of the syntax of a TU that transmits a weighting coefficient α in a case where the weighting coefficient α is commonized. In a case like this, as in a portion illustrated in Figure 36 in which a pattern of slanted lines is applied, a determination of a condition for the transmission r of the weighting coefficient α and the transmission (calling luma_chroma_pred()) of the α weighting can be performed once. Thus, by configuration as such, the loads of the picture coding apparatus 100 and the picture decoding apparatus 200 can be decreased, and the amount of information to be transmitted can be decreased, accordingly, the coding efficiency can be improved. Furthermore, since it is not necessary to designate the component number (c) of the color difference component (Chroma), the coding efficiency can be further improved.
[00472] Um exemplo da sintaxe da previsão residual (previsão Luma - croma) de um caso como este é ilustrado na figura 37. Da forma ilustrada na figura 37, também nesta sintaxe, já que não é necessário designar o número de componente (c) do componente de diferença de cor (Croma), a eficiência de codificação pode ser adicionalmente melhorada.[00472] An example of the residual prediction syntax (Luma - chroma prediction) of a case like this is illustrated in figure 37. As illustrated in figure 37, also in this syntax, since it is not necessary to designate the component number (c ) of the color difference component (Chroma), the coding efficiency can be further improved.
[00473] Exemplos da semântica de um caso como este são ilustrados nas figuras 38 e 39. Da forma ilustrada nos desenhos, também na semântica, é desnecessário designar o número de componente (c) do componente de diferença de cor (Croma). Portanto, as cargas do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 podem ser diminuídas.[00473] Examples of the semantics of a case like this are illustrated in figures 38 and 39. As illustrated in the drawings, also in semantics, it is unnecessary to designate the component number (c) of the color difference component (Chroma). Therefore, the loads of the picture coding apparatus 100 and the picture decoding apparatus 200 can be lessened.
[00474] A presente tecnologia pode ser aplicada em todos os aparelhos de codificação de imagem e aparelhos de decodificação de imagem capazes de codificação / decodificação de dados de imagem como uma faixa aplicável dos mesmos.[00474] The present technology can be applied to all picture coding apparatus and picture decoding apparatus capable of encoding/decoding picture data as an applicable range thereof.
[00475] Além do mais, a presente tecnologia, por exemplo, pode ser aplicada em um aparelho de codificação de imagem e um aparelho de decodificação de imagem que são usados quando informação de imagem (fluxo contínuo de bits) comprimida usando uma transformada ortogonal, tal como uma transformada discreta de cosseno, e compensação de movimento, como MPEG, H. 26x ou congêneres, for recebida através de uma mídia em rede, tais como difusão via satélite, televisão a cabo, a Internet ou um telefone celular. Além do mais, a presente tecnologia pode ser aplicada em um aparelho de codificação de imagem e em um aparelho de decodificação de imagem que são usados quando informação for processada em uma mídia de armazenamento, tais como um disco óptico, um disco magnético ou uma memória flash.[00475] Furthermore, the present technology, for example, can be applied in an image coding apparatus and an image decoding apparatus that are used when image information (continuous bit stream) is compressed using an orthogonal transform, such as a discrete cosine transform, and motion compensation, such as MPEG, H.26x, or the like, is received over a networked media, such as satellite broadcasting, cable television, the Internet, or a cellular phone. Furthermore, the present technology can be applied to an image encoding apparatus and an image decoding apparatus which are used when information is processed on a storage medium such as an optical disk, a magnetic disk or a memory. flash.
[00476] Uma série de processos supradescrita pode ser aplicada na codificação de imagem com múltiplos pontos de visualização / decodificação de imagem com múltiplos pontos de visualização. A figura 40 é um diagrama que ilustra um exemplo de um sistema de codificação de imagem com múltiplos pontos de visualização.[00476] A series of processes described above can be applied in multiviewpoint image encoding / multiviewpoint image decoding. Fig. 40 is a diagram illustrating an example of an image coding system with multiple display points.
[00477] Da forma ilustrada na figura 40, uma imagem com múltiplos pontos de visualização inclui imagens de múltiplos pontos de visualização (vistas). As múltiplas vistas da imagem com múltiplos pontos de visualização são configuradas por uma vista base que é codificada e decodificada pelo uso apenas da imagem da vista base sem usar informação de uma outra vista e uma vista não base que é codificada e decodificada usando informação de outras vistas. Para codificação / decodificação da vista não base, informação da vista base ou informação de qualquer outra vista não base podem ser usadas.[00477] As illustrated in figure 40, an image with multiple points of view includes images of multiple points of view (views). Multiple views of the image with multiple points of view are configured by a base view that is encoded and decoded using only the base view image without using information from another view and a non-base view that is encoded and decoded using information from other views. views. For encoding/decoding the non-base view, information from the base view or information from any other non-base view can be used.
[00478] Em um caso em que a imagem com múltiplos pontos de visualização, como no exemplo ilustrado na figura 40, for codificada e decodificada, ao mesmo tempo em que uma imagem de cada ponto de visualização é codificada e decodificada, os métodos supradescritos nas primeira até quinta modalidades podem ser aplicados na codificação e na decodificação de cada ponto de visualização. Em um caso como este, uma diminuição na eficiência de codificação de cada ponto de visualização pode ser suprimida. Em outras palavras, similarmente, também no caso de uma imagem com múltiplos pontos de visualização, uma diminuição na eficiência de codificação pode ser suprimida.[00478] In a case where the image with multiple viewing points, as in the example illustrated in figure 40, is encoded and decoded, at the same time that an image of each viewing point is encoded and decoded, the methods described above in first through fifth modalities can be applied in encoding and decoding each viewpoint. In a case like this, a decrease in the coding efficiency of each viewpoint can be suppressed. In other words, similarly, also in the case of an image with multiple viewing points, a decrease in coding efficiency can be suppressed.
[00479] A figura 41 é um diagrama que ilustra um aparelho de codificação de imagem com múltiplos pontos de visualização que realiza a codificação de imagem com múltiplos pontos de visualização supradescrita. Da forma ilustrada na figura 41, o aparelho de codificação de imagem com múltiplos pontos de visualização 600 inclui: uma unidade de codificação 601; uma unidade de codificação 602; e uma unidade de multiplexação 603.[00479] Figure 41 is a diagram illustrating a multi-viewpoint image coding apparatus that performs the above-described multi-view image coding. As shown in Fig. 41, the multi-viewpoint image coding apparatus 600 includes: an encoding unit 601; an encoding unit 602; and a multiplexing unit 603.
[00480] A unidade de codificação 601 codifica uma imagem de vista base, desse modo, gerando um fluxo contínuo codificado da imagem de vista base. Além do mais, a unidade de codificação 602 codifica uma imagem de vista não base, desse modo, gerando um fluxo contínuo codificado da imagem de vista não base. A unidade de multiplexação 603 multiplexa o fluxo contínuo codificado da imagem de vista base gerado pela unidade de codificação 601 e o fluxo contínuo codificado da imagem de vista não base gerado pela unidade de codificação 602, desse modo, gerando um fluxo contínuo codificado da imagem com múltiplos pontos de visualização.[00480] The coding unit 601 encodes a base view image, thereby generating an encoded continuous stream of the base view image. Furthermore, the encoding unit 602 encodes a non-base view image, thereby generating an encoded continuous stream of the non-base view image. The multiplexing unit 603 multiplexes the coded stream of the base view image generated by the coding unit 601 and the coded stream of the non-base view image generated by the coding unit 602, thereby generating a coded stream of the image with multiple viewing points.
[00481] Por exemplo, como a unidade de codificação 601 e a unidade de codificação 602 do aparelho de codificação de imagem com múltiplos pontos de visualização 600, o aparelho de codificação de imagem 100 supradescrito pode ser aplicado. Em um caso como este, também na codificação de uma imagem com múltiplos pontos de visualização, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de codificação de imagem com múltiplos pontos de visualização 600 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem com múltiplos pontos de visualização.[00481] For example, as the coding unit 601 and the coding unit 602 of the multi-viewpoint image coding apparatus 600, the above-described image coding apparatus 100 can be applied. In a case like this, also when coding an image with multiple viewing points, various methods described in the first to fifth embodiments can be applied. In other words, the multi-viewpoint image coding apparatus 600 can suppress a decrease in coding efficiency of multiview image data encoding.
[00482] A figura 42 é um diagrama que ilustra um aparelho de decodificação de imagem com múltiplos pontos de visualização que realiza a decodificação de imagem com múltiplos pontos de visualização supradescrita. Da forma ilustrada na figura 42, o aparelho de decodificação de imagem com múltiplos pontos de visualização 610 inclui: uma unidade de demultiplexação 611; uma unidade de decodificação 612; e uma unidade de decodificação 613.[00482] Fig. 42 is a diagram illustrating a multi-viewpoint image decoding apparatus that performs the above-described multi-view image decoding. As shown in Fig. 42, the multi-viewpoint image decoding apparatus 610 includes: a demultiplexing unit 611; a decoding unit 612; and a decoding unit 613.
[00483] A unidade de demultiplexação 611 demultiplexa um fluxo contínuo codificado da imagem com múltiplos pontos de visualização adquirido pela multiplexação do fluxo contínuo codificado da imagem de vista base e do fluxo contínuo codificado da imagem de vista não base, desse modo, extraindo o fluxo contínuo codificado da imagem de vista base e o fluxo contínuo codificado da imagem de vista não base. A unidade de decodificação 612 decodifica o fluxo contínuo codificado da imagem de vista base extraído pela unidade de demultiplexação 611, desse modo, adquirindo uma imagem de vista base. A unidade de decodificação 613 decodifica o fluxo contínuo codificado da imagem de vista não base extraído pela unidade de demultiplexação 611, desse modo, adquirindo uma imagem de vista não base.[00483] The demultiplexing unit 611 demultiplexes a coded stream of the image with multiple display points acquired by multiplexing the coded stream of the base view image and the coded stream of the non-base view image, thereby extracting the stream encoded stream of the base view image and the encoded stream of the non-base view image. Decoding unit 612 decodes the encoded stream of base view image extracted by demultiplexing unit 611, thereby acquiring a base view image. Decoding unit 613 decodes the encoded stream of non-base view image extracted by demultiplexing unit 611, thereby acquiring a non-base view image.
[00484] Por exemplo, como a unidade de decodificação 612 e a unidade de decodificação 613 do aparelho de decodificação de imagem com múltiplos pontos de visualização 610, o aparelho de decodificação de imagem 200 supradescrito pode ser aplicado. Em um caso como este, também na decodificação de dados codificados de uma imagem com múltiplos pontos de visualização, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de decodificação de imagem com múltiplos pontos de visualização 610 pode decodificar corretamente os dados codificados de uma imagem com múltiplos pontos de visualização codificada usando vários métodos descritos nas primeira até quinta modalidades. Desta maneira, o aparelho de decodificação de imagem com múltiplos pontos de visualização 610 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem com múltiplos pontos de visualização.[00484] For example, as the decoding unit 612 and the decoding unit 613 of the multi-viewpoint picture decoding apparatus 610, the above-described picture decoding apparatus 200 can be applied. In a case like this, also in decoding encoded data from a multi-viewpoint image, various methods described in the first to fifth embodiments can be applied. In other words, the multi-viewpoint picture decoding apparatus 610 can correctly decode the encoded data of an encoded multi-viewpoint picture using various methods described in the first to fifth embodiments. In this way, the multi-viewpoint picture decoding apparatus 610 can suppress a decrease in the coding efficiency of multiview picture data encoding.
[00485] Uma série de processos supradescrita pode ser aplicada na codificação de imagem hierárquica / decodificação de imagem hierárquica (codificação escalonável / decodificação escalonável). A figura 43 ilustra um exemplo de um sistema de codificação de imagem hierárquica.[00485] A series of processes described above can be applied in hierarchical image encoding / hierarchical image decoding (scalable encoding / scalable decoding). Fig. 43 illustrates an example of a hierarchical image coding system.
[00486] Na codificação hierárquica (codificação escalonável), uma imagem é configurada como uma pluralidade de camadas (hierarquias) para ter uma função de escalonabilidade para um parâmetro predeterminado, e dados de imagem são codificados para cada camada. A decodificação de imagem hierárquica (decodificação escalonável) é um processo de decodificação correspondente à codificação de imagem hierárquica.[00486] In hierarchical encoding (scalable encoding), an image is configured as a plurality of layers (hierarchies) to have a scalability function for a predetermined parameter, and image data is encoded for each layer. Hierarchical image decoding (scalable decoding) is a decoding process corresponding to hierarchical image encoding.
[00487] Da forma ilustrada na figura 43, na hierarquização de uma imagem, uma imagem é dividida em uma pluralidade de hierarquias (camadas) pela referência a um parâmetro predeterminado com a função de escalonabilidade. Em outras palavras, a imagem hierarquizada (imagem hierárquica) inclui uma pluralidade de imagens (camadas) com valores mutuamente diferentes do parâmetro predeterminado. A pluralidade de camadas da imagem hierárquica é configurada por uma codificação e decodificação da camada base usando uma imagem da camada base sem usar uma imagem de uma outra camada e uma codificação e decodificação de camada não base (também referida como uma camada de intensificação) usando uma imagem de uma outra camada. A camada não base pode ser configurada para usar uma imagem da camada base ou usar uma imagem de uma outra camada não base.[00487] As illustrated in figure 43, in the hierarchization of an image, an image is divided into a plurality of hierarchies (layers) by reference to a predetermined parameter with the scalability function. In other words, the hierarchical image (hierarchical image) includes a plurality of images (layers) with mutually different values of the predetermined parameter. The plurality of layers of the hierarchical image is configured by a base layer encoding and decoding using an image from the base layer without using an image from another layer and a non-base layer encoding and decoding (also referred to as an enhancement layer) using an image from another layer. The non-base layer can be configured to use an image from the base layer or use an image from another non-base layer.
[00488] No geral, a fim de reduzir a redundância, a camada não base é configurada por dados (dados diferenciais) de uma imagem diferencial entre a imagem da camada não base e uma imagem de uma outra camada. Por exemplo, em um caso em que uma imagem for hierarquizada em duas camadas, incluindo uma camada base e uma camada não base (também referida como uma camada de intensificação), uma imagem com uma qualidade mais alta do que a imagem original é adquirida pelo uso apenas dos dados da camada base, e a imagem original (em outras palavras, uma imagem de alta qualidade) é adquirida pela composição dos dados da camada base e dos dados da camada não base.[00488] In general, in order to reduce redundancy, the non-base layer is configured by data (differential data) of a differential image between the image of the non-base layer and an image of another layer. For example, in a case where an image is tiered into two layers, including a base layer and a non-base layer (also referred to as an enhancement layer), an image with a higher quality than the original image is acquired by using only the base layer data, and the original image (in other words, a high quality image) is acquired by compositing the base layer data and the non-base layer data.
[00489] Pela hierarquização da imagem desta maneira, imagens de várias qualidades podem ser facilmente adquiridas de acordo com a situação. Por exemplo, como em um caso em que, para um terminal com uma baixa capacidade de processamento, tal como um telefone celular, informação de compressão de imagem apenas de uma camada base é transmitida, e uma imagem em movimento com baixas resolução espacial / temporal ou uma baixa qualidade da imagem é reproduzida e, para um terminal com uma alta capacidade de processamento, tais como um aparelho de televisão ou um computador pessoal, informação de compressão de imagem de uma camada de intensificação, além da camada base, é transmitida, e uma imagem em movimento com alta resolução espacial / temporal ou uma imagem de alta qualidade são reproduzidas, a informação de compressão de imagem de acordo com a capacidade do terminal ou da rede pode ser transmitida a partir de um servidor sem realizar processamento de transcodificação.[00489] By ranking the image in this way, images of various qualities can be easily acquired according to the situation. For example, as in a case where, for a terminal with a low processing capacity, such as a cell phone, image compression information only from a base layer is transmitted, and a moving image with low spatial / temporal resolution or a low quality picture is reproduced and, to a terminal with a high processing capacity, such as a television set or a personal computer, image compression information from an enhancement layer in addition to the base layer is transmitted, and a moving picture with high spatial/temporal resolution or a high quality picture is reproduced, the picture compression information according to the terminal or network capability can be transmitted from a server without performing transcoding processing.
[00490] Em um caso em que uma imagem hierárquica, como no exemplo ilustrado na figura 43, for codificada e decodificada, ao mesmo tempo em que uma imagem de cada camada é codificada e decodificada, os métodos supradescritos nas primeira até quinta modalidades podem ser aplicados na codificação e na decodificação de cada camada. Em um caso como este, uma diminuição na eficiência de codificação de cada camada pode ser suprimida. Em outras palavras, similarmente, também, no caso de uma imagem hierárquica, uma diminuição na eficiência de codificação pode ser suprimida.[00490] In a case where a hierarchical image, as in the example illustrated in figure 43, is encoded and decoded, at the same time that an image of each layer is encoded and decoded, the methods described above in the first to fifth modalities can be applied in the encoding and decoding of each layer. In a case like this, a decrease in the coding efficiency of each layer can be suppressed. In other words, similarly, also in the case of a hierarchical image, a decrease in coding efficiency can be suppressed.
[00491] Em tal codificação de imagem hierárquica / decodificação de imagem hierárquica (codificação escalonável / decodificação escalonável), um parâmetro com a função de escalonabilidade é arbitrário. Por exemplo, resolução espacial, da forma ilustrada na figura 44, pode ser definida como o parâmetro (escalonabilidade espacial). No caso desta escalonabilidade espacial, a resolução da imagem é diferente para cada camada. Em outras palavras, da forma ilustrada na figura 44, cada figura é hierarquizada em duas hierarquias da camada base com resolução espacial mais alta do que a da imagem original e da camada de intensificação capaz de adquirir a imagem original (resolução espacial original) por ser composta com a imagem da camada base. É aparente que o número de hierarquias é um exemplo, e a figura pode ser hierarquizada usando um número arbitrário de hierarquias.[00491] In such a hierarchical image encoding / hierarchical image decoding (scalable encoding / scalable decoding), a parameter with the scalability function is arbitrary. For example, spatial resolution, as illustrated in Figure 44, can be defined as the parameter (spatial scalability). In the case of this spatial scalability, the image resolution is different for each layer. In other words, as illustrated in Figure 44, each figure is hierarchized into two hierarchies of the base layer with higher spatial resolution than the original image and the enhancement layer capable of acquiring the original image (original spatial resolution) because it is composited with the base layer image. It is apparent that the number of hierarchies is an example, and the figure can be hierarchized using an arbitrary number of hierarchies.
[00492] Como um parâmetro com tal escalonabilidade, por exemplo, resolução temporal, da forma ilustrada na figura 45, pode ser aplicada (escalonabilidade temporal). No caso desta escalonabilidade temporal, a taxa de quadro é diferente para cada camada. Em outras palavras, neste caso, da forma ilustrada na figura 45, já que uma imagem é hierarquizada em camadas com taxas de quadro mutuamente diferentes, pela adição de uma camada de uma alta taxa de quadro em uma camada de uma baixa taxa de quadro, uma imagem em movimento com uma taxa de quadro mais alta pode ser adquirida e, pela adição de todas as camadas, a imagem em movimento original (a taxa de quadro original) pode ser adquirida. Aqui, o número de hierarquias é um exemplo, e a imagem pode ser hierarquizada para um número arbitrário de hierarquias.[00492] As a parameter with such scalability, for example, temporal resolution, as illustrated in Figure 45, can be applied (temporal scalability). In the case of this temporal scalability, the frame rate is different for each layer. In other words, in this case, as illustrated in Figure 45, since an image is hierarchized into layers with mutually different frame rates, by adding a layer of a high frame rate to a layer of a low frame rate, a moving image with a higher frame rate can be acquired, and by adding all the layers, the original moving image (the original frame rate) can be acquired. Here, the number of hierarchies is an example, and the image can be hierarchized to an arbitrary number of hierarchies.
[00493] Além do mais, como um parâmetro com tal escalonabilidade, por exemplo, uma razão de sinal por ruído (SNR) pode ser aplicada (escalonabilidade de SNR). No caso desta escalonabilidade de SNR, a razão de SN é diferente para cada camada. Em outras palavras, da forma ilustrada na figura 46, cada figura é hierarquizada em duas hierarquias, incluindo uma camada base com uma SNR mais alta do que a da imagem original e uma camada de intensificação capaz de adquirir a imagem original (SNR original) por ser composta com uma imagem da camada base. Em outras palavras, na informação de compressão de imagem da camada base, informação em relação a uma imagem com uma baixa PSNR é transmitida e, pela adição da informação de compressão de imagem da camada de intensificação na mesma, uma imagem com uma alta PSNR pode ser reconstruída. É aparente que o número de hierarquias é um exemplo, e a imagem pode ser hierarquizada para um número arbitrário de hierarquias.[00493] Furthermore, as a parameter with such scalability, for example, a signal-to-noise ratio (SNR) can be applied (SNR scalability). In the case of this SNR scalability, the SN ratio is different for each layer. In other words, as illustrated in Figure 46, each figure is hierarchized into two hierarchies, including a base layer with a higher SNR than the original image and an enhancement layer capable of acquiring the original image (original SNR) by be composited with an image of the base layer. In other words, in the image compression information of the base layer, information regarding a picture with a low PSNR is transmitted, and by adding the image compression information of the enhancement layer thereto, a picture with a high PSNR can be transmitted. be rebuilt. It is apparent that the number of hierarchies is an example, and the image can be hierarchized to an arbitrary number of hierarchies.
[00494] É aparente que um parâmetro com a escalonabilidade pode ser diferente daqueles dos exemplos supradescrito. Por exemplo, há escalonabilidade da profundidade de bit na qual uma camada base é configurada por uma imagem de 8 bits e, pela adição de uma camada de intensificação na mesma, uma imagem de 10 bits é adquirida.[00494] It is apparent that a parameter with scalability may be different from those of the examples described above. For example, there is scalability of the bit depth at which a base layer is set for an 8-bit image and, by adding an enhancement layer to it, a 10-bit image is acquired.
[00495] Além do mais, há escalonabilidade de croma na qual uma camada base é configurada por uma imagem componente do formato 4:2:0, e uma imagem componente do formato 4:2:2 é adquirida pela adição de uma camada de intensificação na mesma.[00495] Furthermore, there is chroma scaling in which a base layer is set by a component image of the 4:2:0 format, and a component image of the 4:2:2 format is acquired by adding an enhancement layer in the same.
[00496] A figura 47 é um diagrama que ilustra um aparelho de codificação de imagem hierárquica que realiza a codificação de imagem hierárquica supradescrita. Da forma ilustrada na figura 47, o aparelho de codificação de imagem hierárquica 620 inclui: uma unidade de codificação 621; uma unidade de codificação 622; e uma unidade de multiplexação 623.[00496] Fig. 47 is a diagram illustrating a hierarchical image coding apparatus that performs the above-described hierarchical image coding. As illustrated in Fig. 47, hierarchical image coding apparatus 620 includes: a coding unit 621; an encoding unit 622; and a multiplexing unit 623.
[00497] A unidade de codificação 621 codifica uma imagem de camada base, desse modo, gerando um fluxo contínuo codificado da imagem de camada base. Além do mais, a unidade de codificação 622 codifica uma imagem de camada não base, desse modo, gerando um fluxo contínuo codificado da imagem de camada não base. A unidade de multiplexação 623 multiplexa o fluxo contínuo codificado da imagem de camada base gerado pela unidade de codificação 621 e o fluxo contínuo codificado da imagem de camada não base gerado pela unidade de codificação 622, desse modo, gerando um fluxo contínuo codificado de imagem hierárquica.[00497] The encoding unit 621 encodes a base layer image, thereby generating an encoded streaming stream of the base layer image. Furthermore, the encoding unit 622 encodes a non-base layer image, thereby generating an encoded streaming stream of the non-base layer image. The multiplexing unit 623 multiplexes the encoded base layer image stream generated by the encoding unit 621 and the encoded non-base layer image stream generated by the encoding unit 622, thereby generating a hierarchical image encoded stream. .
[00498] Por exemplo, como a unidade de codificação 621 e a unidade de codificação 622 do aparelho de codificação de imagem hierárquica 620, o aparelho de codificação de imagem 100 supradescrito pode ser aplicado. Em um caso como este, também na codificação de uma imagem hierárquica, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de codificação de imagem hierárquica 620 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem hierárquica.[00498] For example, as the coding unit 621 and the coding unit 622 of the hierarchical image coding apparatus 620, the above-described image coding apparatus 100 can be applied. In a case like this, also in coding a hierarchical image, various methods described in the first to fifth embodiments can be applied. In other words, the hierarchical image coding apparatus 620 can suppress a decrease in coding efficiency of hierarchical image data encoding.
[00499] A figura 48 é um diagrama que ilustra um aparelho de decodificação de imagem hierárquica que realiza a decodificação de imagem hierárquica supradescrita. Da forma ilustrada na figura 48, o aparelho de decodificação de imagem hierárquica 630 inclui: uma unidade de demultiplexação 631; uma unidade de decodificação 632; e uma unidade de decodificação 633.[00499] Fig. 48 is a diagram illustrating a hierarchical image decoding apparatus that performs the above-described hierarchical image decoding. As shown in Fig. 48, the hierarchical image decoding apparatus 630 includes: a demultiplexing unit 631; a decoding unit 632; and a decoding unit 633.
[00500] A unidade de demultiplexação 631 demultiplexa um fluxo contínuo codificado de imagem hierárquica no qual o fluxo contínuo codificado da imagem de camada base e o fluxo contínuo codificado da imagem de camada não base são multiplexados, desse modo, extraindo um fluxo contínuo codificado da imagem de camada base e um fluxo contínuo codificado da imagem de camada não base. A unidade de decodificação 632 decodifica o fluxo contínuo codificado da imagem de camada base extraído pela unidade de demultiplexação 631, desse modo, adquirindo uma imagem de camada base. A unidade de decodificação 633 decodifica o fluxo contínuo codificado da imagem de camada não base extraído pela unidade de demultiplexação 631, desse modo, adquirindo uma imagem de camada não base.[00500] The demultiplexing unit 631 demultiplexes a hierarchical picture coded stream in which the base layer picture coded stream and the non-base layer picture coded stream are multiplexed, thereby extracting a coded stream from the base layer image and an encoded stream of the non-base layer image. Decoding unit 632 decodes the encoded stream of base layer image extracted by demultiplexing unit 631, thereby acquiring a base layer image. Decoding unit 633 decodes the encoded stream of non-base layer image extracted by demultiplexing unit 631, thereby acquiring a non-base layer image.
[00501] Por exemplo, como a unidade de decodificação 632 e a unidade de decodificação 633 do aparelho de decodificação de imagem hierárquica 630, o aparelho de decodificação de imagem 200 supradescrito pode ser aplicado. Em um caso como este, também na decodificação dos dados codificados de uma imagem hierárquica, vários métodos descritos nas primeira até quinta modalidades podem ser aplicados. Em outras palavras, o aparelho de decodificação de imagem hierárquica 630 pode decodificar corretamente os dados de imagem de uma imagem hierárquica codificada usando vários métodos descritos nas primeira até quinta modalidades. Desta maneira, o aparelho de decodificação de imagem hierárquica 630 pode suprimir uma diminuição na eficiência de codificação da codificação de dados da imagem hierárquica.[00501] For example, as the decoding unit 632 and the decoding unit 633 of the hierarchical picture decoding apparatus 630, the above-described picture decoding apparatus 200 can be applied. In a case like this, also in decoding the coded data of a hierarchical image, various methods described in the first to fifth embodiments can be applied. In other words, the hierarchical image decoding apparatus 630 can correctly decode the image data of a hierarchical encoded image using various methods described in the first to fifth embodiments. In this way, the hierarchical picture decoding apparatus 630 can suppress a decrease in coding efficiency of hierarchical picture data encoding.
[00502] Uma série de processos supradescrita pode ser executada tanto por hardware quanto por software. Em um caso em que a série dos processos for executada por software, um programa que configura o software é instalado em um computador. Aqui, o computador inclui um computador que é incorporado em hardware dedicado, um computador, tal como um computador pessoal de uso geral que pode executar várias funções pela instalação de vários programas no mesmo, e congêneres.[00502] A series of processes described above can be performed both by hardware and software. In a case where the series of processes is performed by software, a program that configures the software is installed on a computer. Here, the computer includes a computer that is incorporated in dedicated hardware, a computer such as a general-purpose personal computer that can perform various functions by installing various programs on it, and the like.
[00503] A figura 49 é um diagrama de blocos que ilustra um exemplo da configuração de hardware de um computador que executa a série de processos supradescrita de acordo com um programa.[00503] Figure 49 is a block diagram illustrating an example of the hardware configuration of a computer that performs the series of processes described above according to a program.
[00504] No computador 800 ilustrado na figura 49, uma Unidade de Processamento Central (CPU) 801, uma Memória Exclusiva de Leitura (ROM) 802 e uma Memória de Acesso Aleatório (RAM) 803 são interconectadas através de um barramento 804.[00504] In the computer 800 illustrated in figure 49, a Central Processing Unit (CPU) 801, a Read Only Memory (ROM) 802 and a Random Access Memory (RAM) 803 are interconnected through a bus 804.
[00505] Além do mais, uma interface de entrada / saída 810 é conectada no barramento 804. Uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade 815 são conectadas na interface de entrada / saída 810.[00505] Furthermore, an input/output interface 810 is connected on the bus 804. An input unit 811, an output unit 812, a storage unit 813, a communication unit 814 and a unit 815 are connected on the 810 input/output interface.
[00506] A unidade de entrada 811, por exemplo, é configurada por um teclado, um mouse, um microfone, um painel sensível ao toque, um terminal de entrada e congêneres. A unidade de saída 812, por exemplo, é configurada por um visor, um alto-falante, um terminal de saída e congêneres. A unidade de armazenamento 813, por exemplo, é configurada por um disco rígido, um disco RAM, uma memória não volátil e congêneres. A unidade de comunicação 814, por exemplo, é configurada por uma interface de rede. A unidade 815 aciona um disco magnético, um disco óptico, um disco magneto- óptico ou uma mídia removível 821, tal como uma memória semicondutora.[00506] The input unit 811, for example, is configured by a keyboard, a mouse, a microphone, a touch panel, an input terminal and the like. Output unit 812, for example, is configured by a display, a loudspeaker, an output terminal, and the like. Storage unit 813, for example, is configured by a hard disk, a RAM disk, non-volatile memory, and the like. Communication unit 814, for example, is configured via a network interface. Drive 815 drives a magnetic disk, optical disk, magneto-optical disk, or removable media 821, such as semiconductor memory.
[00507] No computador configurado como exposto, a CPU 801, por exemplo, carrega um programa armazenado na unidade de armazenamento 813 na RAM 803 através da interface de entrada / saída 810 e do barramento 804 e executa o programa carregado, desse modo, executando a série de processos supradescrita. Além do mais, dados exigidos para que a CPU 801 execute vários processos e congêneres são apropriadamente armazenados na RAM 803.[00507] In the computer configured as shown, the CPU 801, for example, loads a program stored on the storage unit 813 into the RAM 803 via the input/output interface 810 and the bus 804 and executes the loaded program, thereby executing the series of processes described above. Furthermore, data required by the CPU 801 to execute various processes and the like is appropriately stored in RAM 803.
[00508] O programa executado pelo computador (CPU 801), por exemplo, pode ser usado tendo sido gravado em uma mídia removível 821 como um pacote de mídia ou congêneres. Em um caso como este, pelo carregamento da mídia removível 821 na unidade 815, o programa pode ser instalado na unidade de armazenamento 813 através da interface de entrada / saída 810.[00508] The program executed by the computer (CPU 801), for example, can be used having been recorded on removable media 821 as a media package or the like. In such a case, by loading removable media 821 into drive 815, the program can be installed into storage drive 813 via input/output interface 810.
[00509] Além do mais, o programa pode ser provido através de uma mídia de transmissão com fios ou sem fio, tais como uma rede de área local, a Internet ou difusão via satélite digital. Em um caso como este, o programa pode ser recebido pela unidade de comunicação 814 e ser instalado na unidade de armazenamento 813.[00509] Furthermore, the program may be provided via a wired or wireless transmission medium, such as a local area network, the Internet or digital satellite broadcasting. In a case like this, the program can be received by the communication unit 814 and installed in the storage unit 813.
[00510] Além do mais, o programa pode ser instalado na ROM 802 ou na unidade de armazenamento 813 antecipadamente.[00510] Furthermore, the program can be installed in the ROM 802 or storage unit 813 in advance.
[00511] Além do mais, o programa executado pelo computador pode ser um computador que executa os processos em uma série temporal ao longo da sequência descrita neste relatório descritivo ou um programa que executa os processos de uma maneira paralela ou em sincronização necessária, tal como na sincronização de serem chamados.[00511] Furthermore, the program executed by the computer can be a computer that executes the processes in a time series along the sequence described in this descriptive report or a program that executes the processes in a parallel manner or in necessary synchronization, such as in the synchronization of being called.
[00512] Além do mais, neste relatório descritivo, uma etapa que descreve o programa gravado em uma mídia de gravação inclui não apenas um processo realizado em uma série temporal ao longo da sequência descrita, mas, também, um processo que é executado de uma maneira paralela ou uma maneira individual sem ser necessariamente processado em uma série temporal.[00512] Furthermore, in this descriptive report, a step that describes the program recorded on a recording medium includes not only a process performed in a time series along the described sequence, but also a process that is executed in a parallel way or an individual way without necessarily being processed in a time series.
[00513] Além do mais, neste relatório descritivo, um sistema representa um conjunto de uma pluralidade de elementos constituintes (um dispositivo, um módulo (componente) e congêneres), e todos os elementos constituintes não precisam estar dispostos em um mesmo invólucro. Assim, uma pluralidade de aparelhos que ficam alojados em invólucros separados e são conectados através de uma rede e um aparelho no qual uma pluralidade de módulos fica alojada em um invólucro são sistemas.[00513] Furthermore, in this descriptive report, a system represents a set of a plurality of constituent elements (a device, a module (component) and the like), and all constituent elements need not be arranged in the same enclosure. Thus, a plurality of apparatus which are housed in separate enclosures and are connected via a network and an apparatus in which a plurality of modules are housed in one enclosure are systems.
[00514] Além do mais, uma configuração supradescrita como um dispositivo (ou uma unidade de processamento) pode ser dividida para ser configurada como uma pluralidade de dispositivos (ou unidades de processamento). Ao contrário, uma configuração supradescrita como uma pluralidade de dispositivos (ou unidades de processamento) pode ser arranjada para ser configurada como um dispositivo (ou uma unidade de processamento). Além do mais, uma configuração que não foi supradescrita pode ser adicionada na configuração de cada dispositivo (ou cada unidade de processamento). Desde que a configuração geral e a operação geral do sistema sejam substancialmente as mesmas, uma parte da configuração de um dispositivo específico (ou uma unidade de processamento específica) pode ser configurada para ser incluída em uma configuração de um outro dispositivo (ou uma outra unidade de processamento).[00514] Furthermore, a configuration described above as a device (or a processing unit) can be divided to be configured as a plurality of devices (or processing units). In contrast, an above-described configuration as a plurality of devices (or processing units) can be arranged to be configured as one device (or a processing unit). Furthermore, a configuration that is not described above can be added in the configuration of each device (or each processing unit). Provided that the general configuration and general operation of the system are substantially the same, a portion of the configuration of a specific device (or a specific processing unit) may be configured to be included in a configuration of another device (or another processing unit). processing).
[00515] Embora modalidades preferidas da presente descrição tenham sido descritas com detalhes em relação aos desenhos anexos, o escopo técnico da presente descrição não é limitado a tais exemplos. Fica aparente que versados na técnica da presente descrição podem conceber várias mudanças ou modificações no escopo da ideia técnica descrita nas reivindicações e, naturalmente, entende-se que tais mudanças e modificações pertencem ao escopo técnico da presente descrição.[00515] Although preferred embodiments of the present description have been described in detail in relation to the accompanying drawings, the technical scope of the present description is not limited to such examples. It is apparent that those skilled in the art of the present description can conceive of various changes or modifications within the scope of the technical idea described in the claims and, naturally, it is understood that such changes and modifications belong to the technical scope of the present description.
[00516] Por exemplo, a presente tecnologia pode tomar uma configuração de computação em nuvem na qual uma função é dividida e processada cooperativamente por uma pluralidade de aparelhos através de uma rede.[00516] For example, the present technology may take a cloud computing configuration in which a function is shared and cooperatively processed by a plurality of devices over a network.
[00517] Além do mais, cada etapa descrita em cada fluxograma supradescrito pode ser tanto executada por um aparelho quanto executada por uma pluralidade de aparelhos de uma maneira compartilhada.[00517] Furthermore, each step described in each above-described flowchart can either be performed by one apparatus or executed by a plurality of apparatuses in a shared manner.
[00518] Além do mais, em um caso em que uma pluralidade de processos for incluída em uma etapa, a pluralidade de processos incluída na uma etapa pode ser tanto executada por um aparelho quanto executada por uma pluralidade de aparelhos de uma maneira compartilhada.[00518] Furthermore, in a case where a plurality of processes are included in one step, the plurality of processes included in one step can be both performed by one apparatus and performed by a plurality of apparatuses in a shared manner.
[00519] O aparelho de codificação de imagem e o aparelho de decodificação de imagem de acordo com as modalidades supradescritas podem ser aplicados em vários aparelhos eletrônicos, tais como um transmissor ou um receptor para difusão com fios, tais como difusão via satélite ou TV a cabo, transmissão na Internet, transmissão para um terminal através de comunicação celular ou congêneres, um aparelho de gravação que grava uma imagem em uma mídia, tais como um disco óptico, um disco magnético ou uma memória flash, ou um aparelho de reprodução que reproduz uma imagem proveniente da mídia de armazenamento. A seguir, quatro exemplos de aplicação serão descritos.[00519] The image coding apparatus and the image decoding apparatus according to the above-described embodiments can be applied to various electronic devices, such as a transmitter or a receiver for wired broadcasting, such as satellite broadcasting or cable TV cable, Internet transmission, transmission to a terminal via cellular communication or the like, a recording apparatus that records an image onto media such as an optical disc, magnetic disc, or flash memory, or a reproduction apparatus that reproduces an image from the storage media. Next, four application examples will be described.
[00520] A figura 50 ilustra um exemplo da configuração esquemática de um aparelho de televisão no qual a supradescrita modalidade é aplicada. O aparelho de televisão 900 inclui uma antena 901, um sintonizador 902, um demultiplexador 903, um decodificador 904, uma unidade de processamento do sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento do sinal de áudio 907, um alto-falante 908, uma unidade de interface (I/F) externa 909, uma unidade de controle 910, uma unidade de interface (I/F) de usuário 911 e um barramento 912.[00520] Figure 50 illustrates an example of the schematic configuration of a television set in which the above-described modality is applied. The television set 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a loudspeaker 908, an external interface (I/F) unit 909, a control unit 910, a user interface (I/F) unit 911, and a bus 912.
[00521] O sintonizador 902 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através da antena 901 e demodula o sinal extraído. Então, o sintonizador 902 transmite um fluxo contínuo de bits codificado adquirido através da demodulação para o demultiplexador 903. Em outras palavras, o sintonizador 902 serve como uma unidade de transmissão do aparelho de televisão 900 que recebe um fluxo contínuo codificado no qual uma imagem é codificada.[00521] Tuner 902 extracts a desired channel signal from a broadcast signal received via antenna 901 and demodulates the extracted signal. Then, the tuner 902 transmits a stream of encoded bits acquired through demodulation to the demultiplexer 903. In other words, the tuner 902 serves as a transmission unit of the television set 900 which receives a stream encoded in which a picture is displayed. encoded.
[00522] O demultiplexador 903 separa um fluxo contínuo de vídeo e um fluxo contínuo de áudio de um programa a ser assistido do fluxo contínuo de bits codificado e transmite cada fluxo contínuo separado para o decodificador 904. Além do mais, o demultiplexador 903 extrai dados auxiliares, tal como Guia Eletrônico de Programa (EPG), do fluxo contínuo de bits codificado e supre os dados extraídos para a unidade de controle 910. Além do mais, o demultiplexador 903 pode realizar desembaralhamento em um caso em que o fluxo contínuo de bits codificado estiver embaralhado.[00522] The demultiplexer 903 separates a video stream and an audio stream of a program to be watched from the encoded bitstream and transmits each separate stream to the decoder 904. Furthermore, the demultiplexer 903 extracts data auxiliaries, such as Electronic Program Guide (EPG), from the encoded bit stream and supplies the extracted data to control unit 910. Furthermore, demultiplexer 903 can perform descrambling in a case where the bit stream encoded is scrambled.
[00523] O decodificador 904 decodifica o fluxo contínuo de vídeo e o fluxo contínuo de áudio inseridos a partir do demultiplexador 903. Então, o decodificador 904 transmite dados de vídeo gerados por um processo de decodificação para a unidade de processamento do sinal de vídeo 905. Além do mais, o decodificador 904 transmite dados de áudio gerados pelo processo de decodificação para a unidade de processamento do sinal de áudio 907.[00523] Decoder 904 decodes the input video stream and audio stream input from demultiplexer 903. Then, decoder 904 transmits video data generated by a decoding process to video signal processing unit 905 Furthermore, decoder 904 transmits audio data generated by the decoding process to audio signal processing unit 907.
[00524] A unidade de processamento do sinal de vídeo 905 reproduz os dados de vídeo inseridos a partir do decodificador 904 e faz com que a unidade de exibição 906 exiba vídeo. A unidade de processamento do sinal de vídeo 905 também pode fazer com que a unidade de exibição 906 exiba um visor de aplicação suprida através da rede. Além do mais, a unidade de processamento do sinal de vídeo 905 pode realizar um processo adicional, tal como remoção de ruído, para os dados de vídeo de acordo com uma definição. Além do mais, a unidade de processamento do sinal de vídeo 905 pode gerar uma imagem da Interface Gráfica de Usuário (GUI), tais como um menu, um botão e um cursor, e sobrepõe a imagem gerada em uma imagem de saída.[00524] The video signal processing unit 905 reproduces the input video data from the decoder 904 and causes the display unit 906 to display video. The video signal processing unit 905 may also cause the display unit 906 to display a network supplied application display. Furthermore, the video signal processing unit 905 can perform an additional process such as de-noising for the video data according to a definition. Furthermore, the video signal processing unit 905 can generate a Graphical User Interface (GUI) image, such as a menu, a button, and a cursor, and superimpose the generated image onto an output image.
[00525] A unidade de exibição 906 é acionada de acordo com um sinal de acionamento suprido a partir da unidade de processamento do sinal de vídeo 905 para exibir um vídeo ou imagem em um visor de vídeo de um dispositivo de exibição (por exemplo, um visor de cristal líquido, um visor de plasma, um OELD (Visor de Eletroluminescência Orgânica (visor de EL orgânica) ou congêneres).[00525] The display unit 906 is triggered in accordance with a trigger signal supplied from the video signal processing unit 905 to display a video or image on a video display of a display device (for example, a liquid crystal display, a plasma display, an OELD (Organic Electroluminescence Display (organic EL display) or the like).
[00526] A unidade de processamento do sinal de áudio 907 realiza um processo de reprodução, tais como conversão D/A e amplificação, para os dados de áudio inseridos a partir do decodificador 904 e faz com que o alto- falante 908 emita o áudio. Além do mais, a unidade de processamento do sinal de áudio 907 pode realizar um processo adicional, tal como remoção de ruído, para os dados de áudio.[00526] The audio signal processing unit 907 performs a playback process, such as D/A conversion and amplification, for the audio data input from the decoder 904 and causes the speaker 908 to output the audio . Furthermore, the audio signal processing unit 907 can perform an additional process, such as de-noising, for the audio data.
[00527] A unidade de interface externa 909 é uma interface para conectar o aparelho de televisão 900 em um dispositivo externo ou na rede. Por exemplo, um fluxo contínuo de vídeo ou um fluxo contínuo de áudio recebidos através da unidade de interface externa 909 podem ser decodificados pelo decodificador 904. Em outras palavras, a unidade de interface externa 909 também serve como uma unidade de transmissão do aparelho de televisão 900 que recebe um fluxo contínuo codificado no qual uma imagem é codificada.[00527] The external interface unit 909 is an interface for connecting the television set 900 to an external device or network. For example, a video stream or an audio stream received through the external interface unit 909 can be decoded by the decoder 904. In other words, the external interface unit 909 also serves as a transmission unit of the television set. 900 which receives an encoded stream in which a picture is encoded.
[00528] A unidade de controle 910 inclui um processador, tais como uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa, dados de EPG, dados adquiridos através da rede e congêneres. O programa armazenado na memória, por exemplo, é lido pela CPU na ativação do aparelho de televisão 900 e é executado. A CPU controla a operação do aparelho de televisão 900, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 911 pela execução do programa.[00528] The control unit 910 includes a processor, such as a CPU, and memory, such as RAM or ROM. Memory stores a program executed by the CPU, program data, EPG data, data acquired over the network, and the like. The program stored in memory, for example, is read by the CPU on activation of the television set 900 and executed. The CPU controls the operation of the television set 900, for example, in accordance with an operation signal input from the user interface unit 911 by program execution.
[00529] A unidade de interface de usuário 911 é conectada na unidade de controle 910. A unidade de interface de usuário 911, por exemplo, inclui um botão e uma chave para que um usuário opere o aparelho de televisão 900, uma unidade de recepção para um sinal de controle remoto e congêneres. A unidade de interface de usuário 911 detecta uma operação de usuário através de tais componentes, gera um sinal de operação, e transmite o sinal de operação gerado para a unidade de controle 910.[00529] The user interface unit 911 is connected to the control unit 910. The user interface unit 911, for example, includes a button and a switch for a user to operate the television set 900, a receiver unit for a remote control signal and the like. The user interface unit 911 detects a user operation through such components, generates an operation signal, and transmits the generated operation signal to the control unit 910.
[00530] O barramento 912 conecta o sintonizador 902, o demultiplexador 903, o decodificador 904, a unidade de processamento do sinal de vídeo 905, a unidade de processamento do sinal de áudio 907, a unidade de interface externa 909 e a unidade de controle 910 uns nos outros.[00530] The bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909 and the control unit 910 into each other.
[00531] No aparelho de televisão 900 configurado desta maneira, o decodificador 904 tem a função do aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Em outras palavras, o decodificador 904 pode decodificar corretamente dados codificados nos quais dados de imagem são codificados usando qualquer um dos métodos descritos nas primeira até quinta modalidades pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de televisão 900 pode suprimir uma diminuição na eficiência de codificação.[00531] In the television set 900 configured in this way, the decoder 904 has the function of the picture decoding apparatus 200 according to the above-described embodiment. In other words, the decoder 904 can correctly decode encoded data in which image data is encoded using any of the methods described in the first to fifth embodiments by using the method described in the corresponding embodiment. In this way, the television set 900 can suppress a decrease in coding efficiency.
[00532] A figura 51 ilustra um exemplo da configuração esquemática de um telefone celular no qual a supradescrita modalidade é aplicada. O telefone celular 920 inclui uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento de imagem 927, uma unidade de multiplexação / separação 928, uma unidade de gravação / reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933.[00532] Figure 51 illustrates an example of the schematic configuration of a cell phone in which the above-described modality is applied. The cell phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a loudspeaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a multiplexing/ separation 928, a record/playback unit 929, a display unit 930, a control unit 931, an operation unit 932, and a bus 933.
[00533] A antena 921 é conectada na unidade de comunicação 922. O alto-falante 924 e o microfone 925 são conectados no codec de áudio 923. A unidade de operação 932 é conectada na unidade de controle 931. O barramento 933 conecta a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de multiplexação / separação 928, a unidade de gravação / reprodução 929, a unidade de exibição 930 e a unidade de controle 931 uns nos outros.[00533] The antenna 921 is connected to the communication unit 922. The speaker 924 and the microphone 925 are connected to the audio codec 923. The operation unit 932 is connected to the control unit 931. The bus 933 connects the unit communication unit 922, audio codec 923, camera unit 926, image processing unit 927, multiplexing/separation unit 928, recording/playback unit 929, display unit 930, and control unit 931 into each other.
[00534] O telefone celular 920 realiza operação, tais como transmissão / recepção de um sinal de áudio, transmissão / recepção de um correio eletrônico ou dados de imagem, captura de imagem e gravação de dados em vários modos de operação, incluindo um modo de chamada de voz, um modo de comunicação de dados, um modo de formação de imagem e um modo de televisão - telefone.[00534] The cell phone 920 performs operations such as transmission / reception of an audio signal, transmission / reception of an email or image data, image capture and data recording in various modes of operation, including a voice call, a data communication mode, an imaging mode and a television - telephone mode.
[00535] No modo de chamada de voz, um sinal de áudio analógico gerado pelo microfone 925 é suprido para o codec de áudio 923. O codec de áudio 923 converte o sinal de áudio analógico em dados de áudio, realiza conversão A/D dos dados de áudio convertidos e comprime os dados de áudio. Então, o codec de áudio 923 transmite os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 amplifica um sinal sem fio recebido através da antena 921 e realiza conversão de frequência do sinal sem fio, desse modo, adquirindo um sinal de recepção. Então, a unidade de comunicação 922 gera dados de áudio pela demodulação e decodificação do sinal de recepção e transmite os dados de áudio gerados para o codec de áudio 923. O codec de áudio 923 realiza descompressão e conversão D/A dos dados de áudio, desse modo, gerando um sinal de áudio analógico. Então, o codec de áudio 923 supre o sinal de áudio gerado para o alto-falante 924 para fazer com que áudio seja transmitido.[00535] In voice call mode, an analog audio signal generated by the microphone 925 is supplied to the 923 audio codec. The 923 audio codec converts the analog audio signal into audio data, performs A/D conversion of converted audio data and compresses the audio data. Then, audio codec 923 transmits the compressed audio data to communication unit 922. Communication unit 922 encodes and modulates the audio data to generate a transmission signal. Then, communication unit 922 transmits the generated broadcast signal to a base station (not shown) via antenna 921. Furthermore, communication unit 922 amplifies a wireless signal received via antenna 921 and performs frequency conversion. of the wireless signal, thereby acquiring a receive signal. Then, the communication unit 922 generates audio data by demodulating and decoding the receiving signal and transmits the generated audio data to the audio codec 923. The audio codec 923 performs decompression and D/A conversion of the audio data, thereby generating an analog audio signal. Then audio codec 923 supplies the generated audio signal to speaker 924 to cause audio to be transmitted.
[00536] No modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de caractere que configuram um correio eletrônico de acordo com uma operação de usuário realizada através da unidade de operação 932. Além do mais, a unidade de controle 931 faz com que a unidade de exibição 930 exiba caracteres. A unidade de controle 931 gera dados de correio eletrônico de acordo com uma instrução de transmissão proveniente do usuário através da unidade de operação 932 e transmite os dados de correio eletrônico gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de correio eletrônico, desse modo, gerando um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 realiza amplificação e conversão de frequência do sinal sem fio recebido através da antena 921, desse modo, adquirindo um sinal de recepção. Então, a unidade de comunicação 922 demodula e decodifica o sinal de recepção para restaurar os dados de correio eletrônico e transmite os dados de correio eletrônico restaurados para a unidade de controle 931. A unidade de controle 931 faz com que a unidade de exibição 930 exiba um conteúdo dos dados de correio eletrônico e supre os dados de correio eletrônico para a unidade de gravação / reprodução 929 para fazer com que os dados de correio eletrônico sejam gravados sobre uma mídia de gravação da mesma.[00536] In the data communication mode, for example, the control unit 931 generates character data that configures an e-mail according to a user operation performed through the operation unit 932. Furthermore, the control unit 931 causes display unit 930 to display characters. The control unit 931 generates e-mail data in accordance with a transmission instruction from the user through the operation unit 932 and transmits the generated e-mail data to the communication unit 922. The communication unit 922 encodes and modulates the e-mail data, thereby generating a transmission signal. Then, communication unit 922 transmits the generated broadcast signal to a base station (not shown) via antenna 921. Furthermore, communication unit 922 performs amplification and frequency conversion of the wireless signal received via antenna 921 , thereby acquiring a receive signal. Then, the communication unit 922 demodulates and decodes the reception signal to restore the e-mail data and transmits the restored e-mail data to the control unit 931. The control unit 931 causes the display unit 930 to display a content of the email data and supplies the email data to record/playback unit 929 to cause the email data to be recorded onto a recording medium thereof.
[00537] A unidade de gravação / reprodução 929 inclui uma mídia de armazenamento legível e gravável arbitrária. Por exemplo, a mídia de armazenamento pode ser uma mídia de armazenamento incorporada, tais como uma RAM e uma memória flash, ou pode ser uma mídia de armazenamento tipo montagem externa, tais como um disco rígido, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória tipo Barramento Serial Universal (USB) ou um cartão de memória.[00537] Record/playback unit 929 includes an arbitrary readable and writeable storage medium. For example, the storage media can be built-in storage media, such as RAM and flash memory, or it can be external mount type storage media, such as a hard disk, magnetic disk, magneto-optical disk. , an optical disc, Universal Serial Bus (USB) type memory, or a memory card.
[00538] No modo de formação de imagem, por exemplo, a unidade de câmera 926 forma imagem de um objeto para gerar dados de imagem e transmite os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica os dados de imagem inseridos a partir da unidade de câmera 926 e supre um fluxo contínuo codificado para a unidade de gravação / reprodução 929 para fazer com que o fluxo contínuo codificado seja gravado sobre uma mídia de gravação da mesma.[00538] In the image forming mode, for example, the camera unit 926 forms an image of an object to generate image data and transmits the generated image data to the image processing unit 927. The image processing unit 927 encodes the input image data from camera unit 926 and supplies an encoded stream to recorder/playback unit 929 to cause the encoded stream to be recorded onto a recording medium thereof.
[00539] Em um modo de exibição de imagem, a unidade de gravação / reprodução 929 lê um fluxo contínuo codificado gravado na mídia de gravação e transmite o fluxo contínuo codificado lido para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica o fluxo contínuo codificado inserido a partir da unidade de gravação / reprodução 929 e supre dados de imagem para a unidade de exibição 930 para fazer com que uma imagem dos mesmos seja exibida.[00539] In an image display mode, the recorder/playback unit 929 reads an encoded stream recorded on the recording medium and transmits the read encoded stream to the image processing unit 927. The image processing unit 927 decodes the input encoded stream from record/playback unit 929 and supplies image data to display unit 930 to cause an image thereof to be displayed.
[00540] Além do mais, no modo de televisão - telefone, por exemplo, a unidade de multiplexação / separação 928 multiplexa o fluxo contínuo de vídeo codificado pela unidade de processamento de imagem 927 e o fluxo contínuo de áudio inserido a partir do codec de áudio 923 e transmite um fluxo contínuo multiplexado resultante para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo contínuo, desse modo, gerando um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além do mais, a unidade de comunicação 922 realiza amplificação e conversão de frequência de um sinal sem fio recebido através da antena 921, desse modo, adquirindo um sinal de recepção. O sinal de transmissão e o sinal de recepção são adquiridos com o fluxo contínuo de bits codificado sendo incluído nos mesmos. Então, a unidade de comunicação 922 restaura o fluxo contínuo pela demodulação e pela decodificação do sinal de recepção e transmite o fluxo contínuo restaurado para a unidade de multiplexação / separação 928. A unidade de multiplexação / separação 928 separa um fluxo contínuo de vídeo e um fluxo contínuo de áudio do fluxo contínuo de entrada e transmite o fluxo contínuo de vídeo e o fluxo contínuo de áudio, respectivamente, para a unidade de processamento de imagem 927 e o codec de áudio 923. A unidade de processamento de imagem 927 decodifica o fluxo contínuo de vídeo para gerar dados de vídeo. Os dados de vídeo são supridos para a unidade de exibição 930, e uma série de imagens é exibida pela unidade de exibição 930. O codec de áudio 923 realiza descompressão e conversão D/A do fluxo contínuo de áudio, desse modo, gerando um sinal de áudio analógico. Então, o codec de áudio 923 supre o sinal de áudio gerado para o alto-falante 924 para fazer com que um áudio seja transmitido.[00540] Furthermore, in the television - telephone mode, for example, the multiplexing/separation unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec audio 923 and transmits a resulting multiplexed stream to communication unit 922. Communication unit 922 encodes and modulates the stream, thereby generating a transmission signal. Then, the communication unit 922 transmits the generated broadcast signal to a base station (not shown) through the antenna 921. Furthermore, the communication unit 922 performs amplification and frequency conversion of a wireless signal received through the antenna. 921, thereby acquiring a receive signal. The transmit signal and the receive signal are acquired with the encoded bitstream being included therein. Then, the communication unit 922 restores the streaming by demodulating and decoding the receive signal and transmits the restored streaming to the multiplexing/splitting unit 928. The multiplexing/splitting unit 928 separates a video stream and a audio stream from the input stream and transmits the video stream and the audio stream, respectively, to the image processing unit 927 and the audio codec 923. The image processing unit 927 decodes the stream video stream to generate video data. Video data is supplied to display unit 930, and a series of images is displayed by display unit 930. Audio codec 923 performs decompression and D/A conversion of the audio stream, thereby generating a signal. analog audio. Then, audio codec 923 supplies the generated audio signal to speaker 924 to cause audio to be transmitted.
[00541] No telefone celular 920 configurado desta maneira, a unidade de processamento de imagem 927 tem as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 de acordo com as supradescritas modalidades. Em outras palavras, a unidade de processamento de imagem 927 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades e pode decodificar corretamente dados codificados adquiridos pelo processo de codificação pelo uso do método descrito na correspondente modalidade. Desta maneira, o telefone celular 920 pode suprimir uma diminuição na eficiência de codificação.[00541] In the cell phone 920 configured in this way, the image processing unit 927 has the functions of the image coding apparatus 100 and the image decoding apparatus 200 in accordance with the above-described embodiments. In other words, the image processing unit 927 can encode image data using any of the methods described in the first to fifth embodiments and can correctly decode encoded data acquired by the encoding process by using the method described in the corresponding embodiment. In this way, the cell phone 920 can suppress a decrease in coding efficiency.
[00542] A figura 52 é um diagrama de blocos que ilustra um exemplo da configuração esquemática de um aparelho de gravação / reprodução no qual a supradescrita modalidade é aplicada. O aparelho de gravação / reprodução 940, por exemplo, codifica dados de áudio e dados de vídeo de um programa de difusão recebido e grava os dados codificados em uma mídia de gravação. Além do mais, o aparelho de gravação / reprodução 940, por exemplo, pode codificar dados de áudio e dados de vídeo adquiridos a partir de um outro aparelho e gravar os dados codificados em uma mídia de gravação. Além do mais, o aparelho de gravação / reprodução 940, por exemplo, reproduz os dados gravados na mídia de gravação usando o monitor e o alto-falante de acordo com uma instrução do usuário. Neste momento, o aparelho de gravação / reprodução 940 decodifica os dados de áudio e os dados de vídeo.[00542] Figure 52 is a block diagram illustrating an example of the schematic configuration of a recording / reproduction apparatus in which the above-described modality is applied. Recording/playback apparatus 940, for example, encodes audio data and video data from a received broadcast program and records the encoded data onto a recording medium. Furthermore, recording/playback apparatus 940, for example, can encode audio data and video data acquired from another apparatus and record the encoded data onto a recording medium. Furthermore, the recording/playback apparatus 940, for example, plays back the data recorded on the recording medium using the monitor and speaker in accordance with a user's instruction. At this time, recording/playback apparatus 940 decodes the audio data and the video data.
[00543] O aparelho de gravação / reprodução 940 inclui um sintonizador 941, uma unidade de interface (I/F) externa 942, um codificador 943, uma unidade de disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma Exibição No Visor (OSD) 948, uma unidade de controle 949 e uma unidade de interface (I/F) de usuário 950.[00543] The recording / playback apparatus 940 includes a tuner 941, an external interface (I/F) unit 942, an encoder 943, a hard disk drive (HDD) 944, a disk drive 945, a selector 946 , a decoder 947, an On-Screen Display (OSD) 948, a control unit 949, and a user interface (I/F) unit 950.
[00544] O sintonizador 941 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através de uma antena (não ilustrada) e demodula o sinal extraído. Então, o sintonizador 941 transmite um fluxo contínuo de bits codificado adquirido pelo processo de demodulação para o seletor 946. Em outras palavras, o sintonizador 941 serve como uma unidade de transmissão do aparelho de gravação / reprodução 940.[00544] Tuner 941 extracts a desired channel signal from a broadcast signal received through an antenna (not shown) and demodulates the extracted signal. Then, tuner 941 transmits a continuous stream of encoded bits acquired by the demodulation process to selector 946. In other words, tuner 941 serves as a transmission unit for recording/playback apparatus 940.
[00545] A unidade de interface externa 942 é uma interface usada para conectar o aparelho de gravação / reprodução 940 e um dispositivo externo ou a rede. A unidade de interface externa 942, por exemplo, pode ser uma interface do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE) 1394, uma interface de rede, uma interface USB, uma interface de memória flash ou congêneres. Por exemplo, os dados de vídeo e os dados de áudio recebidos através da unidade de interface externa 942 são inseridos no codificador 943. Em outras palavras, a unidade de interface externa 942 serve como a unidade de transmissão do aparelho de gravação / reprodução 940.[00545] The external interface unit 942 is an interface used to connect the recording/playback apparatus 940 and an external device or the network. The external interface unit 942, for example, may be an Institute of Electrical and Electronics Engineers (IEEE) 1394 interface, a network interface, a USB interface, a flash memory interface, or the like. For example, video data and audio data received through external interface unit 942 are fed into encoder 943. In other words, external interface unit 942 serves as the transmission unit for recording/playback apparatus 940.
[00546] Em um caso em que os dados de vídeo e os dados de áudio inseridos a partir da unidade de interface externa 942 não forem codificados, o codificador 943 codifica os dados de vídeo e os dados de áudio quando os dados de vídeo e os dados de áudio forem inseridos a partir da unidade de interface externa 942. Então, o codificador 943 transmite um fluxo contínuo de bits codificado para o seletor 946.[00546] In a case where the video data and the audio data input from the external interface unit 942 are not encoded, the encoder 943 encodes the video data and the audio data when the video data and the audio data is input from external interface unit 942. Then, encoder 943 transmits a continuous stream of encoded bits to selector 946.
[00547] A HDD 944 grava o fluxo contínuo de bits codificado no qual dados de conteúdos, tais como um vídeo e um áudio, são comprimidos, vários programas e outros dados em um disco rígido interno. Quando um vídeo e um áudio forem reproduzidos, a HDD 944 lê os dados a partir do disco rígido.[00547] The HDD 944 records the encoded bit stream in which content data such as video and audio is compressed, various programs and other data on an internal hard drive. When both video and audio are played, the HDD 944 reads the data from the hard drive.
[00548] A unidade de disco 945 grava e lê dados em / a partir de uma mídia de gravação carregada. A mídia de gravação carregada na unidade de disco 945, por exemplo, pode ser um Disco Versátil Digital (DVD) (um DVD-Vídeo, um DVD-RAM (DVD - Memória de Acesso Aleatório), um DVD - Gravável (DVD-R), um DVD - Regravável (DVD-RW), DVD + Gravável (DVD+R), um DVD + Regravável (DVD+RW) ou congêneres), um disco Blu-ray (marca registrada) ou congêneres.[00548] Disk drive 945 writes and reads data to/from loaded recording media. The recording media loaded in disk drive 945, for example, can be a Digital Versatile Disc (DVD) (a DVD-Video, a DVD-RAM (DVD - Random Access Memory), a DVD - Recordable (DVD-R ), a DVD-Rewritable (DVD-RW), DVD+Recordable (DVD+R), a DVD+Rewritable (DVD+RW) or the like), a Blu-ray disc (trademark) or the like.
[00549] Quando um vídeo e um áudio forem gravados, o seletor 946 seleciona um fluxo contínuo de bits codificado inserido a partir do sintonizador 941 ou do codificador 943 e transmite o fluxo contínuo de bits codificado selecionado para a HDD 944 ou a unidade de disco 945. Além do mais, quando o vídeo e o áudio forem reproduzidos, o seletor 946 transmite o fluxo contínuo de bits codificado inserido a partir da HDD 944 ou da unidade de disco 945 para o decodificador 947.[00549] When video and audio are recorded, selector 946 selects an encoded stream input from tuner 941 or encoder 943 and transmits the selected encoded stream to HDD 944 or disk drive 945. Furthermore, when video and audio are played back, selector 946 transmits the encoded bitstream inserted from HDD 944 or disk drive 945 to decoder 947.
[00550] O decodificador 947 decodifica o fluxo contínuo de bits codificado para gerar dados de vídeo e dados de áudio. Então, o decodificador 947 transmite os dados de vídeo gerados para a OSD 948. Além do mais, o decodificador 947 transmite os dados de áudio gerados para um alto-falante externo.[00550] The decoder 947 decodes the encoded bitstream to generate video data and audio data. Then, decoder 947 transmits the generated video data to OSD 948. Furthermore, decoder 947 transmits the generated audio data to an external speaker.
[00551] A OSD 948 reproduz os dados de vídeo inseridos a partir do decodificador 947, desse modo, exibindo o vídeo. A OSD 948 pode sobrepor uma imagem de uma GUI, tais como um menu, um botão, um cursor, no vídeo exibido.[00551] The OSD 948 plays the input video data from the decoder 947, thereby displaying the video. The OSD 948 can superimpose a GUI image, such as a menu, button, cursor, on the displayed video.
[00552] A unidade de controle 949 inclui um processador, tal como uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa e congêneres. O programa armazenado na memória, por exemplo, é lido e executado pela CPU na ativação do aparelho de gravação / reprodução 940. A CPU controla a operação do aparelho de gravação / reprodução 940, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 950 pela execução do programa.[00552] The control unit 949 includes a processor, such as a CPU, and memory, such as RAM or ROM. Memory stores a program executed by the CPU, program data, and the like. The program stored in memory, for example, is read and executed by the CPU upon activation of the recording/playback apparatus 940. The CPU controls the operation of the recording/playback apparatus 940, for example, in accordance with an operation signal entered at from user interface unit 950 by running the program.
[00553] A unidade de interface de usuário 950 é conectada na unidade de controle 949. A unidade de interface de usuário 950, por exemplo, inclui um botão e uma chave para que o usuário opere o aparelho de gravação / reprodução 940 e uma unidade de recepção para um sinal de controle remoto. A unidade de interface de usuário 950 detecta uma operação de usuário através dos elementos constituintes para gerar um sinal de operação e transmite o sinal de operação gerado para a unidade de controle 949.[00553] The user interface unit 950 connects to the control unit 949. The user interface unit 950, for example, includes a button and switch for the user to operate the recording/playback apparatus 940 and a unit reception for a remote control signal. The user interface unit 950 detects a user operation through the constituent elements to generate an operation signal and transmits the generated operation signal to the control unit 949.
[00554] No aparelho de gravação / reprodução 940 configurado desta maneira, o codificador 943 tem a função do aparelho de codificação de imagem 100 de acordo com a supradescrita modalidade. Em outras palavras, o codificador 943 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades. Além do mais, o decodificador 947 tem a função do aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Em outras palavras, o decodificador 947 pode decodificar corretamente dados codificados que são codificados pelo uso de qualquer um dos métodos descritos nas primeira até quinta modalidades pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de gravação / reprodução 940 pode suprimir uma diminuição na eficiência de codificação.[00554] In the recording/playback apparatus 940 configured in this way, the encoder 943 has the function of the image encoding apparatus 100 according to the above-described embodiment. In other words, encoder 943 can encode image data using any of the methods described in the first through fifth embodiments. Furthermore, the decoder 947 has the function of the picture decoding apparatus 200 according to the above-described embodiment. In other words, decoder 947 can correctly decode encoded data that is encoded by using any of the methods described in the first to fifth embodiments by using the method described in the corresponding embodiment. In this manner, recording/playback apparatus 940 can suppress a decrease in coding efficiency.
[00555] A figura 53 ilustra um exemplo da configuração esquemática de um aparelho de formação de imagem no qual a supradescrita modalidade é aplicada. O aparelho de formação de imagem 960 forma imagem de um objeto para gerar uma imagem, codifica os dados de imagem e grava os dados de imagem codificados em uma mídia de gravação.[00555] Figure 53 illustrates an example of the schematic configuration of an image forming apparatus in which the above-described modality is applied. The image forming apparatus 960 images an object to generate an image, encodes the image data, and records the encoded image data onto a recording medium.
[00556] O aparelho de formação de imagem 960 inclui um bloco óptico 961, uma unidade de formação de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma unidade de interface (I/F) externa 966, uma unidade de memória 967, uma unidade de mídia 968, uma OSD 969, uma unidade de controle 970, uma unidade de interface (I/F) de usuário 971 e um barramento 972.[00556] The image forming apparatus 960 includes an optical block 961, an image forming unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an interface unit (I/F) 966, a memory unit 967, a media unit 968, an OSD 969, a control unit 970, a user interface (I/F) unit 971 and a bus 972.
[00557] O bloco óptico 961 é conectado na unidade de formação de imagem 962. A unidade de formação de imagem 962 é conectada na unidade de processamento de sinal 963. A unidade de exibição 965 é conectada na unidade de processamento de imagem 964. A unidade de interface de usuário 971 é conectada na unidade de controle 970. O barramento 972 conecta a unidade de processamento de imagem 964, a unidade de interface externa 966, a unidade de memória 967, a unidade de mídia 968, a OSD 969 e a unidade de controle 970 umas nas outras.[00557] The optical block 961 is connected to the image forming unit 962. The image forming unit 962 is connected to the signal processing unit 963. The display unit 965 is connected to the image processing unit 964. the user interface unit 971 is connected to the control unit 970. The bus 972 connects the image processing unit 964, the external interface unit 966, the memory unit 967, the media unit 968, the OSD 969 and the control unit 970 into each other.
[00558] O bloco óptico 961 inclui uma lente de foco, um mecanismo de diafragma e congêneres. O bloco óptico 961 forma uma imagem óptica do objeto em uma superfície de formação de imagem da unidade de formação de imagem 962. A unidade de formação de imagem 962 inclui um sensor de imagem, tais como um dispositivo de carga acoplada (CCD) e um semicondutor de óxido de metal complementar (CMOS), e converte a imagem óptica formada na superfície de formação de imagem em um sinal de imagem como um sinal elétrico através da conversão fotoelétrica. Então, a unidade de formação de imagem 962 transmite o sinal de imagem para a unidade de processamento de sinal 963.[00558] The optical block 961 includes a focusing lens, a diaphragm mechanism and the like. The optical block 961 forms an optical image of the object on an imaging surface of the imaging unit 962. The imaging unit 962 includes an image sensor, such as a charge-coupled device (CCD) and a complementary metal oxide semiconductor (CMOS), and converts the optical image formed on the image-forming surface into an image signal as an electrical signal through photoelectric conversion. Then, the image forming unit 962 transmits the image signal to the signal processing unit 963.
[00559] A unidade de processamento de sinal 963 realiza vários processos de sinal da câmera, tais como uma correção de knee, uma correção de gama, uma correção de cor e congêneres, para o sinal de imagem inserido a partir da unidade de formação de imagem 962. A unidade de processamento de sinal 963 transmite os dados de imagem depois dos processos de sinal da câmera para a unidade de processamento de imagem 964.[00559] The signal processing unit 963 performs various camera signal processes, such as a knee correction, a gamma correction, a color correction and the like, for the image signal input from the image formation unit image 962. The signal processing unit 963 transmits the image data after the camera signal processes to the image processing unit 964.
[00560] A unidade de processamento de imagem 964 codifica os dados de imagem inseridos a partir da unidade de processamento de sinal 963 para gerar dados codificados. Então, a unidade de processamento de imagem 964 transmite os dados codificados gerados para a unidade de interface externa 966 ou a unidade de mídia 968. Além do mais, a unidade de processamento de imagem 964 decodifica os dados codificados inseridos a partir da unidade de interface externa 966 ou da unidade de mídia 968 para gerar dados de imagem. Então, a unidade de processamento de imagem 964 transmite os dados de imagem gerados para a unidade de exibição 965. Além do mais, a unidade de processamento de imagem 964 pode transmitir os dados de imagem inseridos a partir da unidade de processamento de sinal 963 para a unidade de exibição 965 para exibir a imagem. Além do mais, a unidade de processamento de imagem 964 pode sobrepor dados para exibição que são adquiridos a partir da OSD 969 na imagem transmitida para a unidade de exibição 965.[00560] The image processing unit 964 encodes the image data input from the signal processing unit 963 to generate encoded data. Then, the image processing unit 964 transmits the generated encoded data to the external interface unit 966 or the media unit 968. Furthermore, the image processing unit 964 decodes the encoded data input from the interface unit. external drive 966 or media drive 968 to generate image data. Then, the image processing unit 964 transmits the generated image data to the display unit 965. Furthermore, the image processing unit 964 can transmit the input image data from the signal processing unit 963 to the display unit 965 to display the image. Furthermore, the image processing unit 964 can superimpose display data that is acquired from the OSD 969 onto the image transmitted to the display unit 965.
[00561] A OSD 969, por exemplo, gera uma imagem de uma GUI, tais como um menu, um botão, um cursor ou congêneres, e transmite a imagem gerada para a unidade de processamento de imagem 964.[00561] The OSD 969, for example, generates an image of a GUI, such as a menu, a button, a cursor or the like, and transmits the generated image to the image processing unit 964.
[00562] A unidade de interface externa 966, por exemplo, é configurada como um terminal de entrada / saída USB. A unidade de interface externa 966, por exemplo, conecta o aparelho de formação de imagem 960 e uma impressora quando uma imagem for impressa. Além do mais, uma unidade é conectada na unidade de interface externa 966 conforme seja necessário. Uma mídia removível, tais como um disco magnético ou um disco óptico, é carregada na unidade, e um programa lido a partir da mídia removível pode ser instalado no aparelho de formação de imagem 960. Além do mais, a unidade de interface externa 966 pode ser configurada como uma interface de rede que é conectada em uma rede, tais como uma LAN, a Internet ou congêneres. Em outras palavras, a unidade de interface externa 966 serve como uma unidade de transmissão do aparelho de formação de imagem 960.[00562] The external interface unit 966, for example, is configured as a USB input/output terminal. External interface unit 966, for example, connects image forming apparatus 960 and a printer when an image is printed. Furthermore, a unit is connected to the external interface unit 966 as needed. Removable media, such as a magnetic disk or an optical disk, is loaded into the unit, and a program read from the removable media can be installed in the image forming apparatus 960. Furthermore, the external interface unit 966 can be configured as a network interface that connects to a network, such as a LAN, the Internet, or the like. In other words, the external interface unit 966 serves as a transmission unit for the image forming apparatus 960.
[00563] A mídia de gravação carregada na unidade de mídia 968, por exemplo, pode ser uma mídia removível legível / gravável arbitrária, tais como um disco magnético, um disco magneto-óptico, um disco óptico ou uma memória semicondutora. Além do mais, ela pode ser configurada de maneira tal que uma mídia de gravação seja fixamente montada na unidade de mídia 968 para configurar uma unidade de armazenamento não portátil, tais como uma unidade de disco rígido ou uma Unidade em Estado Sólido (SSD) incorporadas.[00563] The recording media loaded in the media drive 968, for example, can be arbitrary readable/writable removable media, such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Furthermore, it can be configured such that a recording medium is fixedly mounted in media drive 968 to configure a non-portable storage unit, such as an embedded hard disk drive or Solid State Drive (SSD). .
[00564] A unidade de controle 970 inclui um processador, tal como uma CPU, e uma memória, tais como uma RAM ou uma ROM. A memória armazena um programa executado pela CPU, dados de programa e congêneres. O programa armazenado na memória é lido pela CPU, por exemplo, na ativação do aparelho de formação de imagem 960 e é executado. A CPU controla a operação do aparelho de formação de imagem 960, por exemplo, de acordo com um sinal de operação inserido a partir da unidade de interface de usuário 971 pela execução do programa.[00564] The control unit 970 includes a processor, such as a CPU, and memory, such as RAM or ROM. Memory stores a program executed by the CPU, program data, and the like. The program stored in memory is read by the CPU, for example on activation of the image forming apparatus 960, and executed. The CPU controls the operation of the image forming apparatus 960, for example, in accordance with an operation signal input from the user interface unit 971 by program execution.
[00565] A unidade de interface de usuário 971 é conectada na unidade de controle 970. A unidade de interface de usuário 971, por exemplo, inclui um botão, uma chave e congêneres para que um usuário opere o aparelho de formação de imagem 960. A unidade de interface de usuário 971 detecta uma operação de usuário através dos elementos constituintes para gerar um sinal de operação e transmite o sinal de operação gerado para a unidade de controle 970.[00565] The user interface unit 971 is connected to the control unit 970. The user interface unit 971, for example, includes a button, a key and the like for a user to operate the image forming apparatus 960. The user interface unit 971 detects a user operation through the constituent elements to generate an operation signal and transmits the generated operation signal to the control unit 970.
[00566] No aparelho de formação de imagem 960 configurado desta maneira, a unidade de processamento de imagem 964 tem as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 de acordo com as supradescritas modalidades. Em outras palavras, a unidade de processamento de imagem 964 pode codificar dados de imagem usando qualquer um dos métodos descritos nas primeira até quinta modalidades e pode decodificar corretamente dados codificados adquiridos pelo processo de codificação pelo uso do método descrito na correspondente modalidade. Desta maneira, o aparelho de formação de imagem 960 pode melhorar a eficiência de codificação.[00566] In the image forming apparatus 960 configured in this way, the image processing unit 964 has the functions of the image coding apparatus 100 and the image decoding apparatus 200 in accordance with the above-described embodiments. In other words, the image processing unit 964 can encode image data using any of the methods described in the first to fifth embodiments and can correctly decode encoded data acquired by the encoding process by using the method described in the corresponding embodiment. In this way, the image forming apparatus 960 can improve the coding efficiency.
[00567] Além do mais, a presente tecnologia também pode ser aplicada em transferência contínua HTTP, tais como MPEG ou DASH, que seleciona e usa apropriados dados codificados em unidades de segmentos a partir de uma pluralidade peças de dados codificados com resoluções mutuamente diferentes e congêneres que são preparados antecipadamente. Em outras palavras, entre a pluralidade de peças de dados codificados, informação em relação a codificação e decodificação pode ser compartilhada.[00567] Furthermore, the present technology can also be applied in HTTP streaming, such as MPEG or DASH, which selects and uses appropriate data encoded in units of segments from a plurality of encoded data pieces with mutually different resolutions and congeners that are prepared in advance. In other words, among the plurality of pieces of encoded data, information regarding encoding and decoding can be shared.
[00568] Embora os exemplos do aparelho, do sistema e congêneres nos quais a presente tecnologia é aplicada tenham sido descritos, como exposto, a presente tecnologia não é limitada aos mesmos. Assim, a presente tecnologia também pode ser implementada como todos os componentes montados no aparelho ou um aparelho que configura o sistema, tais como um processador como um sistema de Integração em Larga Escala (LSI) ou congêneres, um módulo que usa uma pluralidade de processadores e congêneres, uma unidade que usa uma pluralidade de módulos e congêneres, e um aparelho adquirido pela adição de uma outra função na unidade (em outras palavras, uma parte da configuração do aparelho).[00568] Although the examples of the device, system and the like in which the present technology is applied have been described, as exposed, the present technology is not limited to them. Thus, the present technology can also be implemented as all the components assembled in the apparatus or an apparatus that configures the system, such as a processor such as a Large Scale Integration (LSI) system or the like, a module that uses a plurality of processors and congeners, a unit using a plurality of modules and congeners, and an apparatus acquired by adding another function to the unit (in other words, a part of the apparatus configuration).
[00569] Um exemplo de um caso em que a presente tecnologia é implementada como um aparelho será descrito em relação à figura 54. A figura 54 ilustra um exemplo da configuração esquemática de um conjunto de vídeo no qual a presente tecnologia é aplicada.[00569] An example of a case where the present technology is implemented as an apparatus will be described in relation to figure 54. Figure 54 illustrates an example of the schematic configuration of a video set in which the present technology is applied.
[00570] Recentemente, a implementação de múltiplas funções em aparelhos eletrônicos progrediu e, no desenvolvimento ou na fabricação de cada aparelho eletrônico, em um caso em que uma parte da configuração for executada em vendas, provisão ou congêneres, frequentemente, há não apenas um caso em que a parte é executada como uma configuração com uma função, mas, também, um caso em que a parte é executada como um aparelho com múltiplas funções pela combinação de uma pluralidade de configurações com funções relacionadas.[00570] Recently, the implementation of multiple functions in electronic devices has progressed, and in the development or manufacture of each electronic device, in a case where a part of the configuration is performed in sales, provision or the like, there is often not only one in which case the part is executed as a configuration with one function, but also a case in which the part is executed as an apparatus with multiple functions by combining a plurality of configurations with related functions.
[00571] O aparelho de vídeo 1300 ilustrado na figura 54 tem uma configuração como esta que tem múltiplas funções e é adquirida pela combinação de um dispositivo com uma função em relação a codificação / decodificação (uma da codificação e da decodificação ou ambas) de uma imagem com dispositivos com outras funções em relação à função.[00571] The video apparatus 1300 illustrated in figure 54 has a configuration like this that has multiple functions and is acquired by combining a device with a function in relation to encoding / decoding (one of encoding and decoding or both) of a image with devices with other functions in relation to the function.
[00572] Da forma ilustrada na figura 54, o aparelho de vídeo 1300 inclui: um grupo de módulos, tais como um módulo de vídeo 1311, uma memória externa 1312, um módulo de gerenciamento de energia 1313 e um módulo de interface inicial 1314 e dispositivos com funções relacionadas, tais como conectividade 1321, uma câmera 1322 e um sensor 1323.[00572] As illustrated in figure 54, the video device 1300 includes: a group of modules, such as a video module 1311, an external memory 1312, a power management module 1313 and an initial interface module 1314 and devices with related functions, such as connectivity 1321, a camera 1322, and a sensor 1323.
[00573] Um módulo é um componente que tem funções com coerência adquirida pela reunião de diversas funções componentes umas em relação às outras. Uma configuração física específica é arbitrária e, por exemplo, pode ser considerada uma configuração na qual uma pluralidade de processadores com respectivas funções, componentes de circuito eletrônico, tais como um resistor e um capacitor, e outros dispositivos, são arranjados para ser integrados em uma placa de fiação ou congêneres. Além do mais, pode ser considerado formar um novo módulo pela combinação de um módulo com outros módulos, um processador ou congêneres.[00573] A module is a component that has functions with coherence acquired by bringing together several component functions in relation to each other. A specific physical configuration is arbitrary and, for example, can be considered a configuration in which a plurality of processors with respective functions, electronic circuit components such as a resistor and a capacitor, and other devices are arranged to be integrated into a wiring board or the like. Furthermore, it may be considered to form a new module by combining a module with other modules, a processor or the like.
[00574] No caso do exemplo ilustrado na figura 54, o módulo de vídeo 1311 é construído pela combinação de configurações com funções em relação ao processamento de imagem e inclui: um processador de aplicação, um processador de vídeo, um modem de banda larga 1333 e um módulo de RF 1334.[00574] In the case of the example illustrated in figure 54, the video module 1311 is built by combining configurations with functions related to image processing and includes: an application processor, a video processor, a broadband modem 1333 and an RF 1334 module.
[00575] Um processador é formado pela integração de uma configuração com uma função predeterminado em um chip semicondutor através de um Sistema em um Chip (SoC) e, por exemplo, há um processador chamado de uma Integração em Larga Escala (LSI) ou congêneres. A configuração com uma função predeterminada pode ser um circuito lógico (configuração de hardware), uma configuração que inclui uma CPU, uma ROM, uma RAM e congêneres e um programa (configuração em software) executado usando os componentes, ou uma configuração adquirida pela combinação de ambos. Por exemplo, ela pode ser configurada de maneira tal que um processador inclua circuitos lógicos, uma CPU, uma ROM, uma RAM e congêneres, algumas funções da mesma são realizadas por circuitos lógicos (configuração de hardware) e as outras funções são realizadas por um programa (configuração em software) executado pela CPU.[00575] A processor is formed by integrating a configuration with a predetermined function into a semiconductor chip through a System on a Chip (SoC) and, for example, there is a processor called a Large Scale Integration (LSI) or congeners . The configuration with a predetermined function can be a logic circuit (hardware configuration), a configuration that includes a CPU, ROM, RAM and the like and a program (software configuration) executed using the components, or a configuration acquired by combining both. For example, it can be configured in such a way that a processor includes logic circuits, a CPU, a ROM, a RAM and the like, some functions of it are performed by logic circuits (hardware configuration) and the other functions are performed by a program (software configuration) executed by the CPU.
[00576] Um processador de aplicação 1331 ilustrado na figura 54 é um processador que executa uma aplicação em relação a processamento de imagem. A fim de realizar uma função predeterminada, a aplicação executada por este processador de aplicação 1331 não apenas executa um processo de cálculo, mas, também pode controlar configurações do interior / exterior do módulo de vídeo 1311, tal como um processador de vídeo 1332 e congêneres, conforme seja necessário.[00576] An application processor 1331 illustrated in Fig. 54 is a processor that executes an application regarding image processing. In order to perform a predetermined function, the application executed by this application processor 1331 not only performs a calculation process, but also can control interior/exterior configurations of the video module 1311, such as a video processor 1332 and the like. , as needed.
[00577] Um processador de vídeo 1332 é um processador que tem uma função em relação a codificação / decodificação (uma da codificação e da decodificação ou tanto codificação quanto decodificação) de uma imagem.[00577] A video processor 1332 is a processor having a function with respect to encoding/decoding (one of encoding and decoding or both encoding and decoding) of an image.
[00578] O modem de banda larga 1333 converte dados (sinal digital) transmitidos através de comunicação em banda larga com fios ou sem fio (ou com fios e sem fio) que é realizada através de linhas de comunicação em banda larga, tal como a Internet ou uma rede de telefonia pública comutada, em um sinal analógico através de um processo de modulação digital ou congêneres ou converte um sinal analógico recebido através da comunicação em banda larga em dados (sinal digital) através de um processo de demodulação. O modem de banda larga 1333 processa informação arbitrária, tais como dados de imagem processados pelo processador de vídeo 1332, um fluxo contínuo no qual os dados de imagem são codificados, um programa de aplicação e dados de definição.[00578] The broadband modem 1333 converts data (digital signal) transmitted via wired or wireless (or wired and wireless) broadband communication that is performed via broadband communication lines, such as Internet or a public switched telephone network, into an analog signal through a digital modulation process or the like, or converts an analog signal received through broadband communication into a data (digital signal) through a demodulation process. Broadband modem 1333 processes arbitrary information, such as image data processed by video processor 1332, a stream in which the image data is encoded, an application program, and definition data.
[00579] O módulo de RF 1334 é um módulo que realiza conversão de frequência, modulação / demodulação, amplificação, um processo de filtro e congêneres para um sinal de radiofrequência (RF) que é transmitido ou recebido através de uma antena. Por exemplo, o módulo de RF 1334 realiza a conversão de frequência e congêneres para um sinal do sistema de conexão de linha dedicada gerado pelo modem de banda larga 1333, desse modo, gerando um sinal de RF. Além do mais, por exemplo, o módulo de RF 1334 realiza a conversão de frequência e congêneres para um sinal de RF recebido através do módulo de interface inicial 1314, desse modo, gerando um sinal do sistema de conexão de linha dedicada.[00579] The RF module 1334 is a module that performs frequency conversion, modulation / demodulation, amplification, a filter process and the like for a radio frequency (RF) signal that is transmitted or received through an antenna. For example, RF module 1334 performs frequency conversion and the like for a dedicated line connection system signal generated by broadband modem 1333, thereby generating an RF signal. Furthermore, for example, the RF module 1334 performs frequency conversion and the like for an RF signal received through the initial interface module 1314, thereby generating a dedicated line connection system signal.
[00580] Da forma denotada por uma linha pontilhada 1341 na figura 54, o processador de aplicação 1331 e o processador de vídeo 1332 podem ser integrados para ser configurados como um processador.[00580] As denoted by a dotted line 1341 in Fig. 54, the application processor 1331 and the video processor 1332 can be integrated to be configured as a processor.
[00581] A memória externa 1312 é um módulo que é arranjado fora do módulo de vídeo 1311 e tem um dispositivo de memória usado pelo módulo de vídeo 1311. Embora o dispositivo de memória da memória externa 1312 possa ser realizado por uma certa configuração física, no geral, o dispositivo de memória é frequentemente usado para armazenar dados de um grande volume, tais como dados de imagem configurados em unidades de quadros. Desta maneira, é preferível que o dispositivo de memória seja realizado por uma memória semicondutora de uma grande capacidade, tal como uma memória de acesso aleatório dinâmica (DRAM), em um custo relativamente baixo.[00581] The external memory 1312 is a module that is arranged outside the video module 1311 and has a memory device used by the video module 1311. Although the memory device of the external memory 1312 can be realized by a certain physical configuration, in general, the memory device is often used to store data of a large volume, such as image data configured in units of frames. In this way, it is preferred that the memory device be realized by a semiconductor memory of a large capacity, such as a dynamic random access memory (DRAM), at a relatively low cost.
[00582] O módulo de gerenciamento de energia 1313 gerencia e controla o suprimento de energia para o módulo de vídeo 1311 (cada configuração arranjada no interior do módulo de vídeo 1311).[00582] The 1313 power management module manages and controls the power supply to the 1311 video module (each configuration arranged within the 1311 video module).
[00583] O módulo de interface inicial 1314 é um módulo que provê uma função de interface inicial (um circuito no terminal de transmissão / recepção no lado da antena) para o módulo de RF 1334. Da forma ilustrada na figura 61, o módulo de interface inicial 1314, por exemplo, inclui uma unidade de antena 1351, um filtro 1352 e uma unidade de amplificação 1353.[00583] The initial interface module 1314 is a module that provides an initial interface function (a circuit in the transmit / receive terminal on the antenna side) for the RF module 1334. As illustrated in figure 61, the module of Home interface 1314, for example, includes an antenna unit 1351, a filter 1352, and an amplification unit 1353.
[00584] A unidade de antena 1351 inclui uma antena que transmite e recebe sinais sem fio e configurações periféricas. A unidade de antena 1351 transmite um sinal suprido a partir da unidade de amplificação 1353 como um sinal sem fio e supre o sinal sem fio recebido para o filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 realiza um processo de filtro e congêneres para o sinal de RF recebido através da unidade de antena 1351 e supre o sinal de RF depois do processo para o módulo de RF 1334. A unidade de amplificação 1353 amplifica o sinal de RF suprido a partir do módulo de RF 1334 e supre o sinal de RF amplificado para a unidade de antena 1351.[00584] The antenna unit 1351 includes an antenna that transmits and receives wireless signals and peripheral configurations. Antenna unit 1351 transmits a signal supplied from amplifier unit 1353 as a wireless signal and supplies the received wireless signal to filter 1352 as an electrical signal (RF signal). The filter 1352 performs a filtering process and the like for the RF signal received through the antenna unit 1351 and supplies the RF signal after the process to the RF module 1334. The amplification unit 1353 amplifies the supplied RF signal to from RF module 1334 and supplies the amplified RF signal to antenna unit 1351.
[00585] A conectividade 1321 é um módulo que tem uma função em relação a uma conexão com o exterior. A configuração física da conectividade 1321 é arbitrária. Por exemplo, a conectividade 1321 inclui uma configuração com uma função de comunicação de acordo com um padrão de comunicação diferente de um padrão de comunicação com o qual o modem de banda larga 1333 está em conformidade, um terminal de entrada / saída externo e congêneres.[00585] Connectivity 1321 is a module that has a function in relation to an external connection. The physical configuration of 1321 connectivity is arbitrary. For example, connectivity 1321 includes a configuration with a communication function according to a communication standard other than a communication standard to which broadband modem 1333 conforms, an external input/output terminal, and the like.
[00586] Por exemplo, a conectividade 1321 pode ser configurada para incluir um módulo que tem uma função de comunicação em conformidade com um padrão de comunicação por rádio, tais como Bluetooth (marca registrada), IEEE 802.11 (por exemplo, Fidelidade Sem Fio; marca registrada (Wi-Fi)), Comunicação de Campo Próximo (NFC) ou Associação de Dados em Infravermelho (IrDA), uma antena que transmite e recebe sinais em conformidade com o padrão e congêneres. Além do mais, por exemplo, a conectividade 1321 pode ser configurada para incluir um módulo que tem uma função de comunicação em conformidade com um padrão de comunicação com fios, tais como Barramento Serial Universal (USB) ou Interface Multimídia em Alta Definição (HDMI (marca registrada)), e terminais em conformidade com o padrão. Além do mais, por exemplo, a conectividade 1321 pode ser configurada para ter uma outra função de transmissão de dados (sinal) de um terminal de entrada / saída analógico ou congêneres.[00586] For example, 1321 connectivity can be configured to include a module that has a communication function conforming to a radio communication standard such as Bluetooth (trademark), IEEE 802.11 (eg, Wireless Fidelity; trademark (Wi-Fi)), Near Field Communication (NFC) or Infrared Data Association (IrDA), an antenna that transmits and receives signals conforming to the standard and the like. Furthermore, for example, the 1321 connectivity can be configured to include a module that has a communication function conforming to a wired communication standard, such as Universal Serial Bus (USB) or High Definition Multimedia Interface (HDMI ( trademark)), and terminals conforming to the standard. Furthermore, for example, connectivity 1321 may be configured to have another function of transmitting data (signal) from an analog input/output terminal or the like.
[00587] Além do mais, a conectividade 1321 pode ser configurada para incluir um dispositivo do destino de transmissão de dados (sinal). Por exemplo, a conectividade 1321 pode ser configurada para incluir uma unidade (incluindo não apenas uma unidade de uma mídia removível, mas, também, um disco rígido, uma Unidade em Estado Sólido (SSD), um Armazenamento Anexado em Rede (NAS) e congêneres) que lê / grava dados a partir de / em uma mídia de gravação, tais como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora. Além do mais, a conectividade 1321 pode ser configurada para incluir um dispositivo de saída (um monitor, um alto-falante ou congêneres) de uma imagem ou uma voz.[00587] Furthermore, the connectivity 1321 can be configured to include a data transmission destination device (signal). For example, 1321 connectivity can be configured to include a drive (including not only a removable media drive, but also a hard disk, a Solid State Drive (SSD), Network Attached Storage (NAS) and congeners) that reads / writes data from / to a recording medium, such as a magnetic disk, an optical disk, a magneto-optical disk or a semiconductor memory. Furthermore, connectivity 1321 can be configured to include an output device (a monitor, a speaker, or the like) of an image or a voice.
[00588] A câmera 1322 é um módulo que tem uma função para adquirir dados de imagem de um objeto pela formação de imagem do objeto. Os dados de imagem adquiridos pelo processo de formação de imagem realizado pela câmera 1322, por exemplo, são supridos para o processador de vídeo 1332 e são codificados.[00588] The camera 1322 is a module that has a function to acquire image data of an object by forming an image of the object. Image data acquired by the image formation process performed by camera 1322, for example, is supplied to video processor 1332 and encoded.
[00589] O sensor 1323 é um módulo que tem a função de um sensor arbitrário, tais como um sensor de som, um sensor ultrassônico, um sensor óptico, um sensor de iluminância, um sensor infravermelho, um sensor de imagem, um sensor de rotação, um sensor de ângulo, um sensor de velocidade angular, um sensor de velocidade, um sensor de aceleração, um sensor de inclinação, um sensor de identificação magnética, um sensor de impacto ou um sensor de temperatura. Dados detectados pelo sensor 1323, por exemplo, são supridos para o processador de aplicação 1331 e são usados pela aplicação e congêneres.[00589] The sensor 1323 is a module that has the function of an arbitrary sensor, such as a sound sensor, an ultrasonic sensor, an optical sensor, an illuminance sensor, an infrared sensor, an image sensor, a sensor of rotation, an angle sensor, an angular velocity sensor, a speed sensor, an acceleration sensor, a tilt sensor, a magnetic ID sensor, an impact sensor, or a temperature sensor. Data detected by sensor 1323, for example, is supplied to application processor 1331 and is used by the application and the like.
[00590] A configuração supradescrita como o módulo pode ser realizada como o processador. Ao contrário, a configuração supradescrita como o processador pode ser realizada como o módulo.[00590] The configuration described above as the module can be realized as the processor. In contrast, the configuration described above as the processor can be realized as the module.
[00591] No aparelho de vídeo 1300 com a supradescrita configuração, como será descrito a seguir, a presente tecnologia pode ser aplicada no processador de vídeo 1332. Desta maneira, o aparelho de vídeo 1300 pode ser executado como um aparelho no qual a presente tecnologia é aplicada.[00591] In the video apparatus 1300 with the above-described configuration, as will be described below, the present technology can be applied in the video processor 1332. In this way, the video apparatus 1300 can be implemented as an apparatus in which the present technology is applied.
[00592] A figura 55 ilustra um exemplo da configuração esquemática do processador de vídeo 1332 (figura 54) no qual a presente tecnologia é aplicada.[00592] Figure 55 illustrates an example of the schematic configuration of the video processor 1332 (Figure 54) in which the present technology is applied.
[00593] No caso do exemplo ilustrado na figura 55, o processador de vídeo 1332 tem uma função para receber entradas de um sinal de vídeo e um sinal de áudio e codificar o sinal de vídeo e o sinal de áudio de acordo com um sistema predeterminado e uma função para decodificação de dados de vídeo codificados e dados de áudio codificados e reproduzir e transmitir um sinal de vídeo e um sinal de áudio.[00593] In the case of the example illustrated in Figure 55, the video processor 1332 has a function to receive inputs of a video signal and an audio signal and encode the video signal and the audio signal according to a predetermined system and a function for decoding encoded video data and encoded audio data and playing and transmitting a video signal and an audio signal.
[00594] Da forma ilustrada na figura 55, o processador de vídeo 1332 inclui: uma unidade de processamento de entrada de vídeo 1401; uma primeira unidade de ampliação / redução de imagem 1402; uma segunda unidade de ampliação / redução de imagem 1403; uma unidade de processamento de saída de vídeo 1404; uma memória de quadro 1405; e uma unidade de controle de memória 1406. Além do mais, o processador de vídeo 1332 inclui: um motor de codificação / decodificação 1407; buffers do fluxo contínuo elementar (ES) de vídeo 1408A e 1408B; e buffers do ES de áudio 1409A e 1409B. Além do mais, o processador de vídeo 1332 inclui: um codificador de áudio 1410; um decodificador de áudio 1411; uma unidade de multiplexação (Multiplexador (MUX)) 1412; uma unidade de demultiplexação (Demultiplexador (DMUX)) 1413; e um buffer de fluxo contínuo 1414.[00594] As illustrated in Figure 55, the video processor 1332 includes: a video input processing unit 1401; a first image enlargement/reduction unit 1402; a second image enlargement/reduction unit 1403; a video output processing unit 1404; a frame memory 1405; and a memory control unit 1406. Furthermore, the video processor 1332 includes: an encoding/decoding engine 1407; video elementary streaming (ES) buffers 1408A and 1408B; and audio ES buffers 1409A and 1409B. Furthermore, video processor 1332 includes: an audio encoder 1410; an audio decoder 1411; a multiplexing unit (Multiplexer (MUX)) 1412; a demultiplexing unit (Demultiplexer (DMUX)) 1413; and a streaming buffer 1414.
[00595] A unidade de processamento de entrada de vídeo 1401, por exemplo, adquire um sinal de vídeo inserido a partir da conectividade 1321 (figura 54) ou congêneres e converte o sinal de vídeo em dados de imagem digital. A primeira unidade de ampliação / redução de imagem 1402 realiza uma conversão de formato, um processo de ampliação / redução de imagem e congêneres para os dados de imagem. A segunda unidade de ampliação / redução de imagem 1403 realiza um processo de ampliação / redução de imagem de acordo com um formato do destino de saída através da unidade de processamento de saída de vídeo 1404, conversão de formato similar àquela da primeira unidade de ampliação / redução de imagem 1402, um processo de ampliação / redução de imagem e congêneres para os dados de imagem. A unidade de processamento de saída de vídeo 1404 realiza uma conversão de formato, uma conversão em um sinal analógico e congêneres para os dados de imagem e transmite um sinal resultante, por exemplo, para a conectividade 1321 ou congêneres como um sinal de vídeo reproduzido.[00595] The video input processing unit 1401, for example, acquires an inserted video signal from connectivity 1321 (Figure 54) or the like and converts the video signal into digital image data. The first image enlargement/reduction unit 1402 performs a format conversion, an image enlargement/reduction process, and the like for the image data. The second image enlargement/reduction unit 1403 performs an image enlargement/reduction process according to a format of the output destination through the video output processing unit 1404, format conversion similar to that of the first enlargement/reduction unit. image reduction 1402, an image enlargement/reduction process and the like for image data. The video output processing unit 1404 performs a format conversion, a conversion to an analog signal and the like for the image data and transmits a resulting signal, for example, to the connectivity 1321 or the like as a reproduced video signal.
[00596] A memória de quadro 1405 é uma memória para dados de imagem que são compartilhados pela unidade de processamento de entrada de vídeo 1401, pela primeira unidade de ampliação / redução de imagem 1402, pela segunda unidade de ampliação / redução de imagem 1403, pela unidade de processamento de saída de vídeo 1404 e pelo motor de codificação / decodificação 1407. A memória de quadro 1405, por exemplo, é realizada por uma memória semicondutora, tal como uma DRAM.[00596] The frame memory 1405 is a memory for image data that is shared by the video input processing unit 1401, the first image enlargement / reduction unit 1402, the second image enlargement / reduction unit 1403, by the video output processing unit 1404 and by the encoding/decoding engine 1407. The frame memory 1405, for example, is realized by a semiconductor memory, such as a DRAM.
[00597] A unidade de controle de memória 1406 recebe um sinal de sincronização a partir do motor de codificação / decodificação 1407 e controla o acesso à memória de quadro 1405 para gravação / leitura de acordo com uma agenda de acesso para acessar a memória de quadro 1405 que é gravada em uma tabela de gerenciamento de acesso 1406A. A tabela de gerenciamento de acesso 1406A é atualizada pela unidade de controle de memória 1406 de acordo com os processos executados pelo motor de codificação / decodificação 1407, pela primeira unidade de ampliação / redução de imagem 1402, pela segunda unidade de ampliação / redução de imagem 1403 e congêneres.[00597] The memory control unit 1406 receives a synchronization signal from the encoding / decoding engine 1407 and controls access to the frame memory 1405 for writing / reading according to an access schedule for accessing the frame memory 1405 which is written to an access management table 1406A. The access management table 1406A is updated by the memory control unit 1406 according to the processes performed by the encode/decode engine 1407, the first image enlargement/reduction unit 1402, the second image enlargement/reduction unit 1403 and congeners.
[00598] O motor de codificação / decodificação 1407 realiza um processo de codificação de dados de imagem e um processo de decodificação de um fluxo contínuo de vídeo que são dados adquiridos pela codificação dos dados de imagem. Por exemplo, o motor de codificação / decodificação 1407 codifica os dados de imagem lidos a partir da memória de quadro 1405 e grava sequencialmente os dados de imagem no buffer de ES de vídeo 1408A como um fluxo contínuo de vídeo. Além do mais, por exemplo, o motor de codificação / decodificação 1407 sequencialmente lê e decodifica fluxos contínuos de vídeo supridos a partir do buffer de ES de vídeo 1408B e sequencialmente grava os fluxos contínuos de vídeo decodificados na memória de quadro 1405 como dados de imagem. O motor de codificação / decodificação 1407 usa a memória de quadro 1405 como uma área de trabalho em tais processos de codificação e decodificação. Além do mais, o motor de codificação / decodificação 1407 transmite um sinal de sincronização para a unidade de controle de memória 1406, por exemplo, em sincronização quando um processo para cada macrobloco for iniciado.[00598] The encoding/decoding engine 1407 performs a process of encoding image data and a process of decoding a continuous video stream which is data acquired by encoding the image data. For example, encode/decode engine 1407 encodes the image data read from frame memory 1405 and sequentially writes the image data to video IE buffer 1408A as a video stream. Furthermore, for example, the encode/decode engine 1407 sequentially reads and decodes video streams supplied from video IE buffer 1408B and sequentially writes the decoded video streams to frame memory 1405 as picture data. . Encoding/decoding engine 1407 uses frame memory 1405 as a work area in such encoding and decoding processes. Furthermore, the encode/decode engine 1407 transmits a synchronization signal to the memory control unit 1406, for example, in synchronization when a process for each macroblock is started.
[00599] O buffer de ES de vídeo 1408A submete a buffer um fluxo contínuo de vídeo gerado pelo motor de codificação / decodificação 1407 e supre o fluxo contínuo de vídeo submetido a buffer para a unidade de multiplexação (MUX) 1412. O buffer de ES de vídeo 1408B submete a buffer um fluxo contínuo de vídeo suprido a partir da unidade de demultiplexação (DMUX) 1413 e supre o fluxo contínuo de vídeo submetido a buffer para o motor de codificação / decodificação 1407.[00599] The video ES buffer 1408A buffers a video stream generated by the encode/decode engine 1407 and supplies the buffered video stream to the multiplexing unit (MUX) 1412. The ES buffer 1408B buffers a video stream supplied from demultiplexing unit (DMUX) 1413 and supplies the buffered video stream to encode/decode engine 1407.
[00600] O buffer do ES de áudio 1409A submete a buffer um fluxo contínuo de áudio gerado pelo codificador de áudio 1410 e supre o fluxo contínuo de áudio submetido a buffer para a unidade de multiplexação (MUX) 1412. O buffer do ES de áudio 1409B submete a buffer um fluxo contínuo de áudio suprido a partir do demultiplexador (DMUX) 1413 e supre o fluxo contínuo de áudio submetido a buffer para o decodificador de áudio 1411.[00600] The audio ES buffer 1409A buffers an audio stream generated by the audio encoder 1410 and supplies the buffered audio stream to the multiplexing unit (MUX) 1412. The audio ES buffer 1409B buffers a stream of audio supplied from demultiplexer (DMUX) 1413 and supplies the buffered stream of audio to audio decoder 1411.
[00601] O codificador de áudio 1410, por exemplo, converte um sinal de áudio, por exemplo, inserido a partir da conectividade 1321 ou congêneres em um sinal digital e codifica o sinal digital convertido de acordo com um sistema predeterminado, tais como um sistema de áudio MPEG ou um sistema de Código de Áudio número 3 (AC3). O codificador de áudio 1410 sequencialmente grava fluxos contínuos de áudio, cada qual sendo dados adquiridos pela codificação de um sinal de áudio, no buffer do ES de áudio 1409A. O decodificador de áudio 1411 decodifica o fluxo contínuo de áudio suprido a partir do buffer do ES de áudio 1409B e, por exemplo, realiza uma conversão em um sinal analógico e congêneres para o fluxo contínuo de áudio decodificado e supre um sinal resultante, por exemplo, para a conectividade 1321 ou congêneres como um sinal de áudio reproduzido.[00601] The audio encoder 1410, for example, converts an audio signal, for example, inserted from connectivity 1321 or the like into a digital signal and encodes the converted digital signal according to a predetermined system, such as a system MPEG audio or an Audio Code Number 3 (AC3) system. Audio encoder 1410 sequentially records continuous streams of audio, each of which is data acquired by encoding an audio signal, into audio ES buffer 1409A. Audio decoder 1411 decodes the audio stream supplied from the audio IO buffer 1409B and, for example, performs a conversion to an analog signal and the like for the decoded audio stream and supplies a resulting signal, for example , for 1321 connectivity or the like as a reproduced audio signal.
[00602] A unidade de multiplexação (MUX) 1412 multiplexa um fluxo contínuo de vídeo e um fluxo contínuo de áudio. Um método deste processo de multiplexação (em outras palavras, o formato de um fluxo contínuo de bits gerado pelo processo de multiplexação) é arbitrário. Além do mais, no processo de multiplexação, a unidade de multiplexação (MUX) 1412 pode adicionar informação de cabeçalho predeterminada e congêneres no fluxo contínuo de bits. Em outras palavras, a unidade de multiplexação (MUX) 1412 pode converter o formato de um fluxo contínuo através do processo de multiplexação. Por exemplo, pela multiplexação de um fluxo contínuo de vídeo e um fluxo contínuo de áudio, a unidade de multiplexação (MUX) 1412 converte os fluxos contínuos em um fluxo contínuo de transporte que é um fluxo contínuo de bits de um formato de transmissão. Além do mais, por exemplo, pela multiplexação do fluxo contínuo de vídeo e do fluxo contínuo de áudio, a unidade de multiplexação (MUX) 1412 converte os fluxos contínuos em dados (dados em arquivo) de um formato de arquivo de gravação.[00602] The multiplexing unit (MUX) 1412 multiplexes a video stream and an audio stream. A method of this multiplexing process (in other words, the format of a stream of bits generated by the multiplexing process) is arbitrary. Furthermore, in the process of multiplexing, the multiplexing unit (MUX) 1412 can add predetermined header information and the like into the bit stream. In other words, the multiplexing unit (MUX) 1412 can convert the format of a streaming stream through the process of multiplexing. For example, by multiplexing a video stream and an audio stream, the multiplexing unit (MUX) 1412 converts the streams into a transport stream which is a stream of bits of a broadcast format. Furthermore, for example, by multiplexing the video stream and the audio stream, the multiplexing unit (MUX) 1412 converts the streams into data (file data) of a recording file format.
[00603] A unidade de demultiplexação (DMUX) 1413 demultiplexa um fluxo contínuo de bits no qual um fluxo contínuo de vídeo e um fluxo contínuo de áudio são multiplexados usando um método correspondente ao processo de multiplexação realizado pela unidade de multiplexação (MUX) 1412. Em outras palavras, a unidade de demultiplexação (DMUX) 1413 extrai um fluxo contínuo de vídeo e um fluxo contínuo de áudio do fluxo contínuo de bits lido a partir do buffer de fluxo contínuo 1414 (separa o fluxo contínuo de vídeo e o fluxo contínuo de áudio um do outro). Em outras palavras, a unidade de demultiplexação (DMUX) 1413 pode converter o formato de um fluxo contínuo através do processo de demultiplexação (uma conversão inversa da conversão realizada pela unidade de multiplexação (MUX) 1412). Por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire um fluxo contínuo de transporte suprido, por exemplo, a partir da conectividade 1321, do modem de banda larga 1333 ou congêneres através do buffer de fluxo contínuo 1414 e demultiplexa o fluxo contínuo de transporte suprido, desse modo, convertendo o fluxo contínuo de transporte em um fluxo contínuo de vídeo e um fluxo contínuo de áudio. Além do mais, por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire dados em arquivo, por exemplo, lidos a partir de várias mídias de gravação pela conectividade 1321 através do buffer de fluxo contínuo 1414 e demultiplexa os dados em arquivo adquiridos, desse modo, convertendo os dados em arquivo em um fluxo contínuo de vídeo e um fluxo contínuo de áudio.[00603] The demultiplexing unit (DMUX) 1413 demultiplexes a bit stream in which a video stream and an audio stream are multiplexed using a method corresponding to the multiplexing process performed by the multiplexing unit (MUX) 1412. In other words, the demultiplexing unit (DMUX) 1413 extracts a video stream and an audio stream from the bitstream read from the streaming buffer 1414 (separates the video stream and the audio stream). each other's audio). In other words, the demultiplexing unit (DMUX) 1413 can convert the format of a stream through the process of demultiplexing (an inverse conversion of the conversion performed by the multiplexing unit (MUX) 1412). For example, demultiplexing unit (DMUX) 1413 acquires a transport stream supplied, for example, from connectivity 1321, broadband modem 1333, or the like through streaming buffer 1414 and demultiplexes the transport stream. supplied, thereby converting the transport stream into a video stream and an audio stream. Furthermore, for example, demultiplexing unit (DMUX) 1413 acquires file data, e.g., read from various recording media over connectivity 1321 through streaming buffer 1414, and demultiplexes the acquired file data, thereby mode, converting the data in the file into a video stream and an audio stream.
[00604] O buffer de fluxo contínuo 1414 submete a buffer o fluxo contínuo de bits. Por exemplo, o buffer de fluxo contínuo 1414 submete a buffer o fluxo contínuo de transporte suprido a partir da unidade de multiplexação (MUX) 1412 e supre o fluxo contínuo de transporte submetido a buffer, por exemplo, para a conectividade 1321, o modem de banda larga 1333 ou congêneres em sincronização predeterminada ou com base em uma solicitação a partir do exterior, ou congêneres.[00604] Stream buffer 1414 buffers the stream of bits. For example, the streaming buffer 1414 buffers the supplied transport streaming stream from the multiplexing unit (MUX) 1412 and supplies the buffered transport streaming stream, e.g., for connectivity 1321, the broadband 1333 or the like on predetermined timing or based on a request from the outside, or the like.
[00605] Além do mais, por exemplo, o buffer de fluxo contínuo 1414 submete a buffer os dados em arquivo supridos a partir da unidade de multiplexação (MUX) 1412 e supre os dados em arquivo submetidos a buffer, por exemplo, para a conectividade 1321 ou congêneres em sincronização predeterminada, uma solicitação a partir do exterior ou congêneres, para serem gravados em várias mídias de gravação.[00605] Furthermore, for example, the streaming buffer 1414 buffers the file data supplied from the multiplexing unit (MUX) 1412 and supplies the buffered file data, for example, for connectivity 1321 or the like in predetermined synchronization, a request from outside or the like, to be recorded on various recording media.
[00606] Além do mais, o buffer de fluxo contínuo 1414 submete a buffer um fluxo contínuo de transporte, por exemplo, adquirido através da conectividade 1321, do modem de banda larga 1333 ou congêneres, e supre o fluxo contínuo de transporte submetido a buffer para a unidade de demultiplexação (DMUX) 1413 em sincronização predeterminada ou com base em uma solicitação a partir do exterior ou congêneres.[00606] Furthermore, the streaming buffer 1414 buffers a streaming transport stream, for example, acquired through connectivity 1321, broadband modem 1333 or the like, and supplies the buffered stream of transport to demultiplexing unit (DMUX) 1413 at predetermined timing or based on a request from outside or the like.
[00607] Além do mais, o buffer de fluxo contínuo 1414 submete a buffer dados em arquivo lidos a partir de várias mídias de gravação pela conectividade 1321 ou congêneres e supre os dados em arquivo submetidos a buffer para a unidade de demultiplexação (DMUX) 1413 em sincronização predeterminada ou uma solicitação a partir do exterior ou congêneres.[00607] Furthermore, the streaming buffer 1414 buffers file data read from various recording media via connectivity 1321 or the like and supplies the buffered file data to the demultiplexing unit (DMUX) 1413 in predetermined synchronization or a request from the outside or the like.
[00608] A seguir, um exemplo da operação do processador de vídeo 1332 com uma configuração como esta será descrito. Por exemplo, um sinal de vídeo inserido a partir da conectividade 1321 ou congêneres para o processador de vídeo 1332 é convertido em dados de imagem digital de um sistema predeterminado, tal como um sistema 4:2:2 Y/Cb/Cr, na unidade de processamento de entrada de vídeo 1401 e é sequencialmente gravado na memória de quadro 1405. Estes dados de imagem digital são lidos pela primeira unidade de ampliação / redução de imagem 1402 ou pela segunda unidade de ampliação / redução de imagem 1403, uma conversão de formato em um sistema predeterminado, tal como um sistema 4:2:0 Y/Cb/Cr, e um processo de ampliação / redução são realizados para os dados de imagem digital lidos, e os dados de imagem digital resultantes são regravados na memória de quadro 1405. Estes dados de imagem são codificados pelo motor de codificação / decodificação 1407 e são gravados no buffer de ES de vídeo 1408A como um fluxo contínuo de vídeo.[00608] Next, an example of the operation of the 1332 video processor with a configuration like this will be described. For example, a video signal input from connectivity 1321 or the like to video processor 1332 is converted to digital image data of a predetermined system, such as a 4:2:2 Y/Cb/Cr system, in the unit of video input processing 1401 and is sequentially written to frame memory 1405. This digital image data is read by the first image enlargement/reduction unit 1402 or the second image enlargement/reduction unit 1403, a format conversion in a predetermined system, such as a 4:2:0 Y/Cb/Cr system, an enlargement/reduction process is performed on the read digital image data, and the resulting digital image data is rewritten in frame memory 1405. This image data is encoded by encode/decode engine 1407 and is written to video IO buffer 1408A as a video stream.
[00609] Além do mais, um sinal de áudio inseridos a partir da conectividade 1321 ou congêneres no processador de vídeo 1332 é codificado pelo codificador de áudio 1410 e é gravado no buffer do ES de áudio 1409A como um fluxo contínuo de áudio.[00609] Furthermore, an audio signal input from the connectivity 1321 or the like at the video processor 1332 is encoded by the audio encoder 1410 and is recorded in the buffer of the audio ES 1409A as a continuous stream of audio.
[00610] Um fluxo contínuo de vídeo no buffer de ES de vídeo 1408A e um fluxo contínuo de áudio no buffer do ES de áudio 1409A são lidos e multiplexados pela unidade de multiplexação (MUX) 1412 e são convertidos em um fluxo contínuo de transporte, dados em arquivo ou congêneres. O fluxo contínuo de transporte gerado pela unidade de multiplexação (MUX) 1412 é submetido a buffer no buffer de fluxo contínuo 1414 e então, é transmitido para uma rede externa, por exemplo, através da conectividade 1321, do modem de banda larga 1333 ou congêneres. Além do mais, os dados em arquivo gerados pela unidade de multiplexação (MUX) 1412 são submetidos a buffer no buffer de fluxo contínuo 1414 e, então, são transmitidos, por exemplo, para a conectividade 1321 ou congêneres e são gravados em várias mídias de gravação.[00610] A video stream in the video ES buffer 1408A and an audio stream in the audio ES buffer 1409A are read and multiplexed by the multiplexing unit (MUX) 1412 and are converted into a transport stream, file data or the like. The transport stream generated by the multiplexing unit (MUX) 1412 is buffered in the streaming buffer 1414 and then transmitted to an external network, for example via connectivity 1321, broadband modem 1333 or the like. . Furthermore, the file data generated by the multiplexing unit (MUX) 1412 is buffered in the streaming buffer 1414 and then transmitted, for example, to the connectivity 1321 or the like and is recorded on various storage media. recording.
[00611] Além do mais, o fluxo contínuo de transporte inserido no processador de vídeo 1332 a partir de uma rede externa, por exemplo, através da conectividade 1321, do modem de banda larga 1333 ou congêneres, é submetido a buffer no buffer de fluxo contínuo 1414 e, então, é demultiplexado pela unidade de demultiplexação (DMUX) 1413. Além do mais, os dados em arquivo que são lidos a partir de várias mídias de gravação e são inseridos no processador de vídeo 1332, por exemplo, pela conectividade 1321 ou congêneres, são submetidos a buffer no buffer de fluxo contínuo 1414 e, então, são demultiplexados pela unidade de demultiplexação (DMUX) 1413. Em outras palavras, o fluxo contínuo de transporte ou os dados em arquivo inseridos no processador de vídeo 1332 são separados em um fluxo contínuo de vídeo e um fluxo contínuo de áudio pela unidade de demultiplexação (DMUX) 1413.[00611] Furthermore, the transport streaming input into the video processor 1332 from an external network, for example via connectivity 1321, broadband modem 1333 or the like, is buffered in the stream buffer 1414 and then is demultiplexed by the demultiplexing unit (DMUX) 1413. Furthermore, the file data that is read from various recording media and is input to the video processor 1332, for example, via connectivity 1321 or congeners, are buffered in the streaming buffer 1414 and then demultiplexed by the demultiplexing unit (DMUX) 1413. In other words, the transport stream or file data input to the video processor 1332 is separated into a video stream and an audio stream by the demultiplexing unit (DMUX) 1413.
[00612] O fluxo contínuo de áudio é suprido para o decodificador de áudio 1411 através do buffer do ES de áudio 1409B e é decodificado, e um sinal de áudio é reproduzido. Além do mais, o fluxo contínuo de vídeo é gravado no buffer de ES de vídeo 1408B e, então, é sequencialmente lido e decodificado pelo motor de codificação / decodificação 1407 e é gravado na memória de quadro 1405. Os dados de imagem decodificados são processados para ser ampliados ou reduzidos pela segunda unidade de ampliação / redução de imagem 1403 e são gravados na memória de quadro 1405. Então, os dados de imagem decodificados são lidos pela unidade de processamento de saída de vídeo 1404, são convertidos em um outro formato de acordo com um sistema predeterminado, tais como o sistema 4:2:2 Y/Cb/Cr ou congêneres, e são adicionalmente convertidos em um sinal analógico, e um sinal de vídeo é reproduzido e emitido.[00612] The audio stream is supplied to the audio decoder 1411 through the audio IO buffer 1409B and is decoded, and an audio signal is reproduced. Furthermore, the video stream is written to video IE buffer 1408B and then sequentially read and decoded by encode/decode engine 1407 and written to frame memory 1405. The decoded image data is processed to be enlarged or reduced by the second image enlargement/reduction unit 1403 and are written into the frame memory 1405. Then, the decoded image data is read by the video output processing unit 1404, converted into another image format. according to a predetermined system, such as the 4:2:2 Y/Cb/Cr system or the like, and are further converted into an analog signal, and a video signal is reproduced and output.
[00613] Em um caso em que a presente tecnologia for aplicada no processador de vídeo 1332 configurado como tal, a presente tecnologia em relação a cada modalidade supradescrita pode ser aplicada no motor de codificação / decodificação 1407. Em outras palavras, por exemplo, o motor de codificação / decodificação 1407 pode ser configurado para ter as funções do aparelho de codificação de imagem 100 e do aparelho de decodificação de imagem 200 em relação à modalidade supradescrita. Pela configuração como tal, o processador de vídeo 1332 pode ter as mesmas vantagens que aquelas supradescritas em relação às figuras 1 até 39.[00613] In a case where the present technology is applied in the video processor 1332 configured as such, the present technology in relation to each modality described above can be applied in the coding / decoding engine 1407. In other words, for example, the encoding/decoding engine 1407 can be configured to have the functions of the image encoding apparatus 100 and the image decoding apparatus 200 with respect to the above-described embodiment. By configuration as such, the video processor 1332 can have the same advantages as those described above with respect to figures 1 to 39.
[00614] Além do mais, no motor de codificação / decodificação 1407, a presente tecnologia (em outras palavras, as funções do aparelho de codificação de imagem e do aparelho de decodificação de imagem de acordo com cada modalidade supradescrita) pode ser realizada por hardware, tais como circuitos lógicos ou software, tal como um programa embutido, ou pode ser realizada tanto pelo hardware quanto pelo software.[00614] Furthermore, in the coding/decoding engine 1407, the present technology (in other words, the functions of the image coding apparatus and the image decoding apparatus according to each above-described embodiment) can be realized by hardware , such as logic circuits or software, such as an embedded program, or it can be performed by both hardware and software.
[00615] A figura 56 ilustra um outro exemplo da configuração esquemática de um processador de vídeo 1332 no qual a presente tecnologia é aplicada. No caso do exemplo ilustrado na figura 56, o processador de vídeo 1332 tem uma função para codificação e decodificação de dados de vídeo de acordo com um sistema predeterminado.[00615] Figure 56 illustrates another example of the schematic configuration of a video processor 1332 in which the present technology is applied. In the case of the example illustrated in Fig. 56, the video processor 1332 has a function for encoding and decoding video data according to a predetermined system.
[00616] Mais especificamente, da forma ilustrada na figura 56, o processador de vídeo 1332 inclui: uma unidade de controle 1511; uma interface de exibição 1512; um motor de exibição 1513; um motor de processamento de imagem 1514; e uma memória interna 1515. Além do mais, o processador de vídeo 1332 inclui: um motor de codec 1516; uma interface de memória 1517; uma unidade de multiplexação / demultiplexação (MUX / DMUX) 1518; uma interface de rede 1519; e uma interface de vídeo 1520.[00616] More specifically, as illustrated in Figure 56, the video processor 1332 includes: a control unit 1511; a display interface 1512; a display engine 1513; an image processing engine 1514; and an internal memory 1515. Furthermore, the video processor 1332 includes: a codec engine 1516; a memory interface 1517; a multiplexing/demultiplexing (MUX/DMUX) unit 1518; a network interface 1519; and a 1520 video interface.
[00617] A unidade de controle 1511 controla as operações de cada unidade de processamento arranjada no interior do processador de vídeo 1332, tais como a interface de exibição 1512, o motor de exibição 1513, o motor de processamento de imagem 1514 e o motor de codec 1516.[00617] The control unit 1511 controls the operations of each processing unit arranged inside the video processor 1332, such as the display interface 1512, the display engine 1513, the image processing engine 1514 and the rendering engine codec 1516.
[00618] Da forma ilustrada na figura 56, a unidade de controle 1511, por exemplo, inclui uma CPU principal 1531, uma CPU subordinada 1532 e um controlador do sistema 1533. A CPU principal 1531 executa um programa usado para controlar a operação de cada unidade de processamento arranjada no interior do processador de vídeo 1332 e congêneres. A CPU principal 1531 gera um sinal de controle de acordo com o programa ou congêneres e supre o sinal de controle para cada unidade de processamento (em outras palavras, controla a operação de cada unidade de processamento). A CPU subordinada 1532 alcança um papel auxiliar da CPU principal 1531. Por exemplo, a CPU subordinada 1532 executa um processo filho, uma sub-rotina ou congêneres de um programa executado pela CPU principal 1531. O controlador do sistema 1533 controla as operações da CPU principal 1531 e da CPU subordinada 1532 pela realização da designação de programas a serem executados pela CPU principal 1531 e pela CPU subordinada 1532 e congêneres.[00618] As illustrated in figure 56, the control unit 1511, for example, includes a main CPU 1531, a subordinate CPU 1532 and a system controller 1533. The main CPU 1531 executes a program used to control the operation of each processing unit arranged within the video processor 1332 and the like. The main CPU 1531 generates a control signal according to the program or the like and supplies the control signal to each processing unit (in other words, it controls the operation of each processing unit). Subordinate CPU 1532 achieves an auxiliary role to main CPU 1531. For example, subordinate CPU 1532 executes a child process, subroutine, or the like of a program executed by main CPU 1531. System controller 1533 controls the operations of the CPU master CPU 1531 and slave CPU 1532 by performing assignment of programs to be executed by master CPU 1531 and slave CPU 1532 and the like.
[00619] A interface de exibição 1512 transmite dados de imagem, por exemplo, para a conectividade 1321 e congêneres sob o controle da unidade de controle 1511. Por exemplo, a interface de exibição 1512 converte dados de imagem que são dados digitais em um sinal analógico e transmite o sinal analógico como um sinal de vídeo reproduzido ou os dados de imagem que são os dados digitais para um dispositivo monitor da conectividade 1321 ou congêneres.[00619] The display interface 1512 transmits image data, for example, to connectivity 1321 and the like under the control of the control unit 1511. For example, the display interface 1512 converts image data that is digital data into a signal analog and transmits the analog signal as a reproduced video signal or image data which is the digital data to a connectivity monitor device 1321 or the like.
[00620] O motor de exibição 1513, sob o controle da unidade de controle 1511, realiza vários processos de conversão, tais como uma conversão de formato, uma conversão de tamanho e uma conversão de gama de cor para os dados de imagem para corresponder à especificação do hardware de um dispositivo monitor que exibe a imagem e congêneres.[00620] The display engine 1513, under the control of the control unit 1511, performs various conversion processes, such as a format conversion, a size conversion and a color gamma conversion for the image data to match the hardware specification of a display device that displays the image and the like.
[00621] O motor de processamento de imagem 1514 realiza processamento de imagem predeterminado, tais como um processo de filtro usado para melhorar a qualidade da imagem e congêneres, para os dados de imagem sob o controle da unidade de controle 1511.[00621] The image processing engine 1514 performs predetermined image processing, such as a filter process used to improve image quality and the like, to the image data under the control of the control unit 1511.
[00622] A memória interna 1515 é uma memória que é compartilhada pelo motor de exibição 1513, pelo motor de processamento de imagem 1514 e pelo motor de codec 1516, e fica disposta no interior do processador de vídeo 1332. A memória interna 1515, por exemplo, é usada para transferência de dados entre o motor de exibição 1513, o motor de processamento de imagem 1514 e o motor de codec 1516. Por exemplo, a memória interna 1515 armazena dados supridos a partir do motor de exibição 1513, do motor de processamento de imagem 1514 ou do motor de codec 1516, e supre os dados para o motor de exibição 1513, o motor de processamento de imagem 1514 ou o motor de codec 1516, conforme seja necessário (por exemplo, de acordo com uma solicitação). Esta memória interna 1515 pode ser realizada pelo uso de qualquer tipo de dispositivo de memória. Entretanto, no geral, a memória interna é frequentemente usada para armazenar dados com um pequeno volume, tais como dados de imagem em unidades de blocos e parâmetros e, desta maneira, é preferível realizar a memória interna usando uma memória semicondutora com uma capacidade relativamente pequena (comparado com a memória externa 1312) e com alta velocidade de resposta, tal como uma memória de acesso aleatório estática (SRAM).[00622] The internal memory 1515 is a memory that is shared by the display engine 1513, the image processing engine 1514 and the codec engine 1516, and is arranged inside the video processor 1332. The internal memory 1515, for For example, it is used to transfer data between the display engine 1513, the image processing engine 1514 and the codec engine 1516. For example, the internal memory 1515 stores data supplied from the display engine 1513, the rendering engine image processing engine 1514 or codec engine 1516, and supplies data to display engine 1513, image processing engine 1514, or codec engine 1516, as needed (e.g., according to a request). This internal memory 1515 can be realized by using any type of memory device. However, in general, the internal memory is often used to store data with a small volume, such as image data in units of blocks and parameters, and in this way, it is preferable to realize the internal memory using a semiconductor memory with a relatively small capacity. (compared to external memory 1312) and with high response speed, such as static random access memory (SRAM).
[00623] O motor de codec 1516 realiza processos em relação à codificação e à decodificação de dados de imagem. O sistema de codificação / decodificação com o qual o motor de codec 1516 está em conformidade é arbitrário, e o número de sistemas de codificação / decodificação pode ser um ou diversos. Por exemplo, ele pode ser configurado de maneira tal que o motor de codec 1516 possa ter uma função de codec para uma pluralidade de sistemas de codificação / decodificação e ser configurado para realizar codificação de dados de imagem ou decodificação de dados codificados pelo uso do sistema de codificação / decodificação selecionado.[00623] The codec engine 1516 performs processes regarding encoding and decoding image data. The encoding/decoding system that the codec engine 1516 conforms to is arbitrary, and the number of encoding/decoding systems can be one or several. For example, it can be configured in such a way that the codec engine 1516 can have a codec function for a plurality of encoding/decoding systems and be configured to perform encoding of image data or decoding of encoded data by using the system. selected encoding/decoding.
[00624] No exemplo ilustrado na figura 56, o motor de codec 1516, por exemplo, inclui MPEG-2 Vídeo 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Escalonável) 1544, HEVC/H.265 (Multivisualizações) 1545 e MPEG-DASH 1551, como blocos funcionais para o processo em relação ao codec.[00624] In the example illustrated in Figure 56, the codec engine 1516, for example, includes MPEG-2 Video 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Scalable) 1544, HEVC/H.265 (Multiviews) 1545 and MPEG-DASH 1551, as functional blocks for the process in relation to the codec.
[00625] O MPEG-2 Vídeo 1541 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema MPEG-2. O AVC/H.264 1542 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema AVC. O HEVC/H.265 1543 é um bloco funcional que codifica ou decodifica dados de imagem de acordo com o sistema HEVC. O HEVC/H.265 (Escalonável) 1544 é um bloco funcional que realiza codificação escalonável ou decodificação escalonável de dados de imagem de acordo com o sistema HEVC. O HEVC/H. 265 (Multivisualizações) 1545 é um bloco funcional que realiza codificação multivisualizações ou decodificação multivisualizações dos dados de imagem de acordo com o sistema HEVC.[00625] The MPEG-2 Video 1541 is a functional block that encodes or decodes image data according to the MPEG-2 system. AVC/H.264 1542 is a functional block that encodes or decodes image data according to the AVC system. HEVC/H.265 1543 is a functional block that encodes or decodes image data according to the HEVC system. HEVC/H.265 (Scalable) 1544 is a function block that performs scalable encoding or scalable decoding of image data according to the HEVC system. The HEVC/H. 265 (Multiview) 1545 is a function block that performs multiview encoding or multiview decoding of image data in accordance with the HEVC system.
[00626] O MPEG-DASH 1551 é um bloco funcional que transmite e recebe dados de imagem de acordo com um sistema MPEG - Transferência Contínua Adaptativa Dinâmica sobre HTTP (MPEG-DASH). MPEG-DASH é uma tecnologia para realizar transferência contínua de vídeo usando um Protocolo de Transferência em Hipertexto (HTTP), e uma das características do mesmo é que dados codificados apropriados entre uma pluralidade de peças de dados codificados com resoluções mutuamente diferentes e congêneres, que são preparados antecipadamente, são selecionados e transmitidos em unidades de segmentos. O MPEG-DASH 1551 realiza a geração de um fluxo contínuo que está em conformidade com o padrão, controle de transmissão do fluxo contínuo e congêneres e usa o MPEG-2 Vídeo 1541 até HEVC/H.265 (Multivisualizações) 1545 supradescritos para codificação e decodificação de dados de imagem.[00626] The MPEG-DASH 1551 is a functional block that transmits and receives image data according to an MPEG system - Dynamic Adaptive Continuous Transfer over HTTP (MPEG-DASH). MPEG-DASH is a technology for performing streaming video transfer using Hypertext Transfer Protocol (HTTP), and one of the features thereof is that appropriate encoded data between a plurality of pieces of encoded data with mutually different resolutions and congeners, which are prepared in advance, are selected and transmitted in units of segments. MPEG-DASH 1551 performs streaming generation that conforms to standard, streaming control and the like, and uses MPEG-2 Video 1541 through HEVC/H.265 (Multiviews) 1545 described above for encoding and image data decoding.
[00627] A interface de memória 1517 é uma interface para a memória externa 1312. Os dados supridos a partir do motor de processamento de imagem 1514 ou do motor de codec 1516 são supridos para a memória externa 1312 através da interface de memória 1517. Além do mais, os dados lidos a partir da memória externa 1312 são supridos para o processador de vídeo 1332 (o motor de processamento de imagem 1514 ou o motor de codec 1516) através da interface de memória 1517.[00627] Memory interface 1517 is an interface to external memory 1312. Data supplied from image processing engine 1514 or codec engine 1516 is supplied to external memory 1312 through memory interface 1517. Furthermore, data read from external memory 1312 is supplied to video processor 1332 (image processing engine 1514 or codec engine 1516) through memory interface 1517.
[00628] A unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 realiza multiplexação e demultiplexação de vários tipos de dados em relação a uma imagem, tais como um fluxo contínuo de bits de dados codificados, dados de imagem e um sinal de vídeo. Um método de multiplexação / demultiplexação é arbitrário. Por exemplo, no momento da realização da multiplexação, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode não apenas arranjar uma pluralidade de peças de dados em uma, mas, também, adicionar informação de cabeçalho predeterminada ou congêneres nos dados. Além do mais, no momento da realização da demultiplexação, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode não apenas dividir uma peça de dados em múltiplas partes, mas, também, adicionar informação de cabeçalho predeterminada ou congêneres em cada parte de dados dividida. Em outras palavras, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode converter o formato de dados através do processo de multiplexação / demultiplexação. Por exemplo, a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 pode converter um fluxo contínuo de bits em um fluxo contínuo de transporte que é um fluxo contínuo de bits do formato de transmissão ou dados (dados em arquivo) do formato de arquivo de gravação pela multiplexação do fluxo contínuo de bits. É aparente que uma conversão inversa da mesma pode ser realizada pelo processo de demultiplexação.[00628] The multiplexing/demultiplexing (MUX/DMUX) unit 1518 performs multiplexing and demultiplexing various types of data with respect to an image, such as a continuous bit stream of encoded data, image data and a video signal. A multiplexing/demultiplexing method is arbitrary. For example, at the time of performing multiplexing, the multiplexing/demultiplexing (MUX/DMUX) unit 1518 can not only arrange a plurality of pieces of data into one, but also add predetermined header information or the like into the data. Furthermore, at the time of performing demultiplexing, the multiplexing/demultiplexing (MUX/DMUX) unit 1518 can not only divide a piece of data into multiple parts, but also add predetermined header information or the like into each piece of data. split data. In other words, the multiplexing/demultiplexing (MUX/DMUX) unit 1518 can convert the data format through the multiplexing/demultiplexing process. For example, the multiplexing/demultiplexing (MUX/DMUX) unit 1518 can convert a stream of bits into a transport stream which is a stream of bits of the transmission format or data (file data) of the file format. recording by multiplexing the bit stream. It is apparent that an inverse conversion of the same can be performed by the demultiplexing process.
[00629] A interface de rede 1519 é uma interface, por exemplo, dedicada para o modem de banda larga 1333, a conectividade 1321 ou congêneres. A interface de vídeo 1520 é uma interface, por exemplo, dedicada para a conectividade 1321, a câmera 1322 ou congêneres.[00629] Network interface 1519 is an interface, for example, dedicated for broadband modem 1333, connectivity 1321 or the like. Video interface 1520 is an interface, for example, dedicated for connectivity 1321, camera 1322 or the like.
[00630] A seguir, um exemplo da operação de um processador de vídeo como este 1332 será descrito. Por exemplo, quando um fluxo contínuo de transporte for recebido a partir de uma rede externa através da conectividade 1321, do modem de banda larga 1333 ou congêneres, o fluxo contínuo de transporte é suprido para a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 através da interface de rede 1519, é demultiplexado e é decodificado pelo motor de codec 1516. Para os dados de imagem adquiridos pelo processo de decodificação realizado pelo motor de codec 1516, processamento de imagem predeterminado é realizado, por exemplo, pelo motor de processamento de imagem 1514, e uma conversão predeterminada é realizada pelo motor de exibição 1513. Então, dados de imagem resultantes são supridos, por exemplo, para a conectividade 1321 ou congêneres através da interface de exibição 1512, e uma imagem dos mesmos é exibida em um monitor. Além do mais, os dados de imagem, por exemplo, adquiridos pelo processo de decodificação realizado pelo motor de codec 1516 são recodificados pelo motor de codec 1516, são multiplexados pela unidade de multiplexação / demultiplexação (MUX / DMUX) 1518, são convertidos em dados em arquivo, são emitidos, por exemplo, para a conectividade 1321 ou congêneres através da interface de vídeo 1520 e são gravados em várias mídias de gravação.[00630] Next, an example of the operation of a video processor like this 1332 will be described. For example, when a transport stream is received from an external network via connectivity 1321, broadband modem 1333, or the like, the transport stream is supplied to the multiplexing/demultiplexing unit (MUX/DMUX) 1518 through the network interface 1519, is demultiplexed and is decoded by the codec engine 1516. For the image data acquired by the decoding process performed by the codec engine 1516, predetermined image processing is performed, for example, by the processing engine of image 1514, and a predetermined conversion is performed by display engine 1513. Then, resulting image data is supplied, for example, to connectivity 1321 or the like via display interface 1512, and an image thereof is displayed on a monitor. Furthermore, the image data, for example, acquired by the decoding process performed by the codec engine 1516 is recoded by the codec engine 1516, is multiplexed by the multiplexing/demultiplexing (MUX/DMUX) unit 1518, is converted into data on file, are emitted, for example, to connectivity 1321 or the like via video interface 1520 and are recorded on various recording media.
[00631] Além do mais, os dados em arquivo dos dados codificados adquiridos pela codificação dos dados de imagem, que são lidos a partir de uma mídia de gravação não ilustrada, por exemplo, pela conectividade 1321 ou congêneres, são supridos para a unidade de multiplexação / demultiplexação (MUX / DMUX) 1518 através da interface de vídeo 1520, são demultiplexados e são decodificados pelo motor de codec 1516. Para os dados de imagem adquiridos pelo processo de decodificação realizado pelo motor de codec 1516, processamento de imagem predeterminado é realizado pelo motor de processamento de imagem 1514 e uma conversão predeterminada é realizada pelo motor de exibição 1513. Então, dados de imagem resultantes são supridos, por exemplo, para a conectividade 1321 ou congêneres através da interface de exibição 1512, e uma imagem dos mesmos é exibida no monitor. Além do mais, os dados de imagem, por exemplo, adquiridos pelo processo de decodificação realizado pelo motor de codec 1516 são recodificados pelo motor de codec 1516, são multiplexados pela unidade de multiplexação / demultiplexação (MUX / DMUX) 1518, são convertidos em um fluxo contínuo de transporte, são supridos, por exemplo, para a conectividade 1321, o modem de banda larga 1333 ou congêneres através da interface de rede 1519, e são transmitidos para um outro aparelho não ilustrado.[00631] Furthermore, the file data of the encoded data acquired by encoding the image data, which is read from a recording medium not illustrated, for example, by connectivity 1321 or the like, is supplied to the multiplexing/demultiplexing (MUX/DMUX) 1518 through the video interface 1520, are demultiplexed and are decoded by the codec engine 1516. For the image data acquired by the decoding process performed by the codec engine 1516, predetermined image processing is performed by the image processing engine 1514 and a predetermined conversion is performed by the display engine 1513. Then, resulting image data is supplied, for example, to connectivity 1321 or the like via display interface 1512, and an image thereof is displayed. displayed on the monitor. Furthermore, the image data, for example, acquired by the decoding process performed by the codec engine 1516 is recoded by the codec engine 1516, is multiplexed by the multiplexing/demultiplexing (MUX/DMUX) unit 1518, is converted into a stream of transport, are supplied, for example, to connectivity 1321, broadband modem 1333 or the like via network interface 1519, and are transmitted to another apparatus not illustrated.
[00632] Aqui, a transmissão / recepção dos dados de imagem e dos outros dados entre cada unidade de processamento arranjada no interior do processador de vídeo 1332, por exemplo, é realizada usando a memória interna 1515 ou a memória externa 1312. Além do mais, o módulo de gerenciamento de energia 1313, por exemplo, controla o suprimento de energia para a unidade de controle 1511.[00632] Here, transmission / reception of image data and other data between each processing unit arranged inside the video processor 1332, for example, is performed using the internal memory 1515 or the external memory 1312. , the power management module 1313, for example, controls the power supply to the control unit 1511.
[00633] Em um caso em que a presente tecnologia for aplicada no processador de vídeo 1332 configurado como tal, a presente tecnologia de acordo com cada modalidade supradescrita pode ser aplicada no motor de codec 1516. Em outras palavras, por exemplo, o motor de codec 1516 pode ser configurado para incluir os blocos funcionais que realizam o aparelho de codificação de imagem 100 e o aparelho de decodificação de imagem 200 de acordo com a modalidade supradescrita. Pela configuração como tal, o processador de vídeo 1332 pode adquirir vantagens similares às vantagens supradescritas em relação às figuras 1 até 39.[00633] In a case where the present technology is applied on the video processor 1332 configured as such, the present technology according to each embodiment described above can be applied on the codec engine 1516. In other words, for example, the codec 1516 can be configured to include the functional blocks that realize the picture coding apparatus 100 and the picture decoding apparatus 200 according to the above-described embodiment. By configuration as such, the video processor 1332 can acquire advantages similar to the above-described advantages with respect to Figures 1 through 39.
[00634] Além do mais, no motor de codec 1516, a presente tecnologia (em outras palavras, as funções do aparelho de codificação de imagem e do aparelho de decodificação de imagem de acordo com cada modalidade supradescrita) pode ser realizada por hardware, tais como circuitos lógicos ou software, tal como um programa embutido, ou pode ser realizada tanto pelo hardware quanto pelo software.[00634] Furthermore, in the codec engine 1516, the present technology (in other words, the functions of the image coding apparatus and the image decoding apparatus according to each modality described above) can be realized by hardware, such as logic circuits or software, such as an embedded program, or it can be performed by both hardware and software.
[00635] Embora dois exemplos da configuração do processador de vídeo 1332 tenham sido descritos, como exposto, a configuração do processador de vídeo 1332 é arbitrária e pode ser uma configuração diferente dos dois exemplos supradescritos. Aqui, o processador de vídeo 1332 pode ser configurado tanto como um chip semicondutor quanto como uma pluralidade de chips semicondutores. Por exemplo, o processador de vídeo pode ser configurado como uma LSI tridimensional empilhada. Além do mais, o processador de vídeo pode ser realizado por uma pluralidade de LSIs.[00635] Although two examples of the configuration of the video processor 1332 have been described, as discussed, the configuration of the video processor 1332 is arbitrary and may be a different configuration than the two examples described above. Here, the video processor 1332 can be configured as either a semiconductor chip or a plurality of semiconductor chips. For example, the video processor can be configured as a stacked three-dimensional LSI. Furthermore, the video processor may be realized by a plurality of LSIs.
[00636] O aparelho de vídeo 1300 pode ser construído em vários aparelhos que processam dados de imagem. Por exemplo, o aparelho de vídeo 1300 pode ser construído no aparelho de televisão 900 (figura 50), no telefone celular 920 (figura 51), no aparelho de gravação / reprodução 940 (figura 52), no aparelho de formação de imagem 960 (figura 53) e congêneres. Pela construção do aparelho de vídeo 1300 no em si, o aparelho pode adquirir vantagens similares àquelas supradescritas em relação às figuras 1 até 39.[00636] The video apparatus 1300 may be built into various apparatus that process image data. For example, the video apparatus 1300 can be built into the television apparatus 900 (Figure 50), the cellular telephone 920 (Figure 51), the recording/playback apparatus 940 (Figure 52), the image forming apparatus 960 (Fig. figure 53) and congeners. By constructing the video apparatus 1300 in itself, the apparatus can acquire advantages similar to those described above with respect to Figures 1 to 39.
[00637] Além do mais, embora uma configuração seja uma parte de cada uma das configurações do aparelho de vídeo 1300 supradescrito, em um caso em que a configuração incluir o processador de vídeo 1332, a configuração pode ser executada como uma configuração na qual a presente tecnologia é aplicada. Por exemplo, apenas o processador de vídeo 1332 pode ser executado como um processador de vídeo no qual a presente tecnologia é aplicada. Além do mais, por exemplo, como exposto, o processador denotado pela linha pontilhada 1341, o módulo de vídeo 1311 e congêneres podem ser executados como um processador, um módulo e congêneres nos quais a presente tecnologia é aplicada. Além do mais, por exemplo, o módulo de vídeo 1311, a memória externa 1312, o módulo de gerenciamento de energia 1313 e o módulo de interface inicial 1314 podem ser combinados para ser executados como uma unidade de vídeo 1361 na qual a presente tecnologia é aplicada. De acordo com qualquer uma das configurações, vantagens similares àquelas supradescritas em relação às figuras 1 até 39 podem ser adquiridas.[00637] Furthermore, although a configuration is a part of each of the above-described video apparatus configurations 1300, in a case where the configuration includes the video processor 1332, the configuration can be performed as a configuration in which the present technology is applied. For example, only video processor 1332 can be implemented as a video processor on which the present technology is applied. Furthermore, for example, as exposed, the processor denoted by the dotted line 1341, the video module 1311 and the like can be implemented as a processor, a module and the like in which the present technology is applied. Furthermore, for example, the video module 1311, the external memory 1312, the power management module 1313 and the home interface module 1314 can be combined to run as a video unit 1361 in which the present technology is applied. According to any of the configurations, advantages similar to those described above in relation to figures 1 to 39 can be acquired.
[00638] Em outras palavras, qualquer configuração que inclui o processador de vídeo 1332, como no caso do aparelho de vídeo 1300, pode ser construída em vários aparelhos que processam dados de imagem. Por exemplo, o processador de vídeo 1332, o processador representado pela linha pontilhada 1341, o módulo de vídeo 1311 ou a unidade de vídeo 1361 podem ser construídos no aparelho de televisão 900 (figura 50), no telefone celular 920 (figura 51), no aparelho de gravação / reprodução 940 (figura 52), no aparelho de formação de imagem 960 (figura 53) e congêneres. Então, pela construção de qualquer configuração na qual a presente tecnologia é aplicada em um aparelho, o aparelho, similarmente ao caso do aparelho de vídeo 1300, pode ter efeitos similares aos efeitos supradescritos em relação às figuras 1 até 39.[00638] In other words, any configuration that includes the video processor 1332, as in the case of the video device 1300, can be built into multiple devices that process image data. For example, the video processor 1332, the processor represented by the dotted line 1341, the video module 1311 or the video unit 1361 can be built into the television set 900 (Figure 50), the cell phone 920 (Figure 51), recording/playback apparatus 940 (figure 52), image forming apparatus 960 (figure 53) and the like. Thus, by constructing any configuration in which the present technology is applied to an apparatus, the apparatus, similarly to the case of the video apparatus 1300, can have effects similar to the effects described above in relation to Figures 1 through 39.
[00639] Neste relatório descritivo, foi descrito um exemplo em que vários tipos de informação são multiplexados em um fluxo contínuo codificado e são transmitidos do lado da codificação par o lado da decodificação. Entretanto, uma técnica para transmitir tal informação não é limitada a uma técnica como esta. Por exemplo, tal informação pode ser transmitida ou gravada como dados individuais associados com um fluxo contínuo de bits codificado sem ser multiplexada no fluxo contínuo codificado. Aqui, o termo "associado" representa que uma imagem (ela pode ser uma parte de uma imagem, tais como uma fatia, bloco ou congêneres) incluída em um fluxo contínuo de bits e informação correspondente à imagem são adquiridas tendo sido ligadas uma na outra no momento da decodificação da imagem e da informação. Em outras palavras, a informação pode ser transmitida em uma linha de transmissão diferente daquela da imagem (ou do fluxo contínuo de bits). Além do mais, a informação pode ser gravada em uma mídia de gravação diferente daquela para a imagem (ou o fluxo contínuo de bits) (ou uma área de gravação diferente da mesma mídia de gravação). Além do mais, a informação e a imagem (ou o fluxo contínuo de bits), por exemplo, podem ser associadas uma com a outra em unidades de partes arbitrárias, tais como múltiplos quadros, um quadro ou uma parte do quadro.[00639] In this descriptive report, an example was described in which various types of information are multiplexed into a continuous encoded stream and are transmitted from the encoding side to the decoding side. However, a technique for conveying such information is not limited to such a technique. For example, such information may be transmitted or recorded as individual data associated with an encoded bit stream without being multiplexed into the encoded stream. Here, the term "associated" means that an image (it can be a part of an image, such as a slice, block or the like) included in a continuous stream of bits and information corresponding to the image are acquired having been linked together. at the time of decoding the image and information. In other words, the information can be transmitted on a different transmission line than the image (or bit stream). Furthermore, the information may be recorded on a different recording medium than that for the image (or the bit stream) (or a different recording area of the same recording medium). Furthermore, the information and the image (or the bit stream), for example, can be associated with each other in units of arbitrary parts, such as multiple frames, a frame or a part of the frame.
[00640] A presente tecnologia pode tomar uma configuração da forma descrita a seguir. (1) Um aparelho de processamento de imagem, que inclui: uma unidade de previsão residual que realiza uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e uma unidade de codificação que codifica dados residuais previstos gerados através da previsão realizada pela unidade de previsão residual. (2) O aparelho de processamento de imagem, descrito em qualquer um de (1) e (3) até (9), em que a unidade de previsão residual arranja as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit. (3) O aparelho de processamento de imagem, descrito em qualquer um de (1), (2), e (4) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada não for zero. (4) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (3) e (5) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que a diferença entre as profundidades de bit for positiva e omite a previsão em um caso em que a diferença entre as profundidades de bit for negativa. (5) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (4) e (6) até (9), em que a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que um espaço de cor da imagem de entrada não for um espaço RGB e omite a previsão em um caso em que o espaço de cor da imagem de entrada for o espaço RGB. (6) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (5) e (7) até (9), em que um espaço de cor da imagem de entrada é um espaço YUV, e a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente de luminância e um componente de diferença de cor. (7) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (6), (8), e (9), em que um espaço de cor da imagem de entrada é um espaço RGB, e a unidade de previsão residual realiza a previsão com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B. (8) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (7) e (9), em que a unidade de previsão residual realiza a previsão pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada, realização do deslocamento de bit dos dados residuais de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação os dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realizando um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado, e adquirindo uma diferença entre os dados residuais do outro componente e o resultado da multiplicação com bit deslocado. (9) O aparelho de processamento de imagem, descrito em qualquer um de (1) até (8), em que a unidade de previsão residual define o coeficiente de ponderação que é comum a uma pluralidade de componentes. (10) Um método de processamento de imagem, que inclui: realizar uma previsão com profundidades de bit dos dados residuais arranjadas para serem uniformes entre componentes quando a previsão for realizada entre os componentes para os dados residuais entre uma imagem de entrada configurada por uma pluralidade dos componentes e uma imagem prevista; e codificar dados residuais previstos gerados através da previsão. (11) Um aparelho de processamento de imagem, que inclui: uma unidade de decodificação que decodifica dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e uma unidade de restauração residual que realiza restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela unidade de decodificação pela decodificação dos dados codificados. (12) O aparelho de processamento de imagem, descrito em qualquer um de (11) e (13) até (19), em que a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes através de um deslocamento de bit. (13) O aparelho de processamento de imagem, descrito em qualquer um de (11), (12), e (14) até (19), que inclui adicionalmente uma unidade de recepção que recebe informação em relação às profundidades de bit, em que a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a previsão é realizada com base na informação em relação às profundidades de bit recebida pela unidade de recepção e realização do deslocamento de bit com base na diferença adquirida entre as profundidades de bit. (14) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (13) e (14) até (19), em que, em um caso em que a diferença adquirida entre as profundidades de bit não for zero, a unidade de restauração residual arranja as profundidades de bit dos dados residuais para serem uniformes através do deslocamento de bit. (15) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (14) e (15) até (19), em que a unidade de restauração residual realiza restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit em um caso em que a diferença adquirida entre as profundidades de bit for positiva e omite a restauração em um caso em que a diferença entre as profundidades de bit for negativa. (16) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (15) e (17) até (19), em que a unidade de recepção recebe adicionalmente a informação em relação a um espaço de cor da imagem, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes através do deslocamento de bit em um caso em que o espaço de cor da imagem não for um espaço RGB com base na informação em relação ao espaço de cor da imagem recebida pela unidade de recepção e omite a restauração em um caso em que o espaço de cor da imagem for o espaço RGB. (17) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (16), (18), e (19), em que um espaço de cor da imagem é um espaço YUV, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes entre um componente de luminância e um componente de diferença de cor através do deslocamento de bit. (18) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (17) e (19), em que um espaço de cor da imagem é um espaço RGB, e a unidade de restauração residual realiza a restauração com as profundidades de bit dos dados residuais arranjadas para serem uniformes através do deslocamento de bit entre um componente G e um componente R ou um componente B. (19) O aparelho de processamento de imagem, descrito em qualquer um de (11) até (18), em que a unidade de restauração residual, pela aquisição de uma diferença entre as profundidades de bit de dois componentes para os quais a restauração é realizada, realização do deslocamento de bit dos dados residuais restaurados de um componente dentre os dois componentes que correspondem à diferença entre as profundidades de bit, multiplicação dos dados residuais com bit deslocado por um coeficiente de ponderação predeterminado, realização de um deslocamento de bit de um resultado da multiplicação que corresponde a um número de bits predeterminado e adição do resultado da multiplicação com bit deslocado e dos dados residuais previstos, realiza a restauração dos dados residuais do outro componente. (20) Um método de processamento de imagem, que inclui: decodificar dados codificados nos quais dados residuais previstos, que são um resultado de uma previsão de dados residuais entre uma imagem configurada por uma pluralidade de componentes e uma imagem prevista da mesma entre os componentes, são codificados; e realizar a restauração com profundidades de bit dos dados residuais arranjadas para serem uniformes entre os componentes quando a restauração dos dados residuais for realizada usando os dados residuais previstos adquiridos pela decodificação dos dados codificados. LISTA DOS SINAIS DE REFERÊNCIA 100 Aparelho de codificação de imagem 121 Unidade de processamento de cabeçalho 122 Unidade de previsão residual 123 Unidade de restauração residual 131 Unidade de processamento de SPS 132 Unidade de processamento de PPS 141 Unidade de controle 142 Unidade de previsão 151 Unidade de cálculo da diferença da profundidade de bit 152 Unidade de controle de deslocamento de bit 153 Unidade de definição do coeficiente de ponderação 161 Unidade de seleção 162 Unidade de deslocamento direito 163 Unidade de deslocamento esquerdo 164 Unidade de multiplicação do coeficiente de ponderação 165 Unidade de deslocamento direito 166 e 167 Unidade de cálculo 200 Aparelho de decodificação de imagem 221 Unidade de aquisição de cabeçalho 222 Unidade de restauração residual 231 Unidade de aquisição de SPS 232 Unidade de aquisição de PPS 233 Unidade de aquisição do coeficiente de ponderação 241 Unidade de controle 242 Unidade de restauração 251 Unidade de cálculo da diferença da profundidade de bit 252 Unidade de controle de deslocamento de bit 261 Unidade de seleção 262 Unidade de deslocamento direito 263 Unidade de deslocamento esquerdo 264 Unidade de multiplicação do coeficiente de ponderação 265 Unidade de deslocamento direito 266 e 267 Unidade de cálculo 311 Unidade de controle 312 Unidade de previsão 321 Unidade de cálculo da diferença da profundidade de bit 322 Unidade de controle de deslocamento de bit 351 Unidade de controle 352 Unidade de restauração 361 Unidade de cálculo da diferença da profundidade de bit 362 Unidade de controle de deslocamento de bit 411 Unidade de controle 412 Unidade de previsão 421 Unidade de cálculo da diferença da profundidade de bit 422 Unidade de controle de deslocamento de bit 451 Unidade de controle 452 Unidade de restauração 461 Unidade de cálculo da diferença da profundidade de bit 462 Unidade de controle de deslocamento de bit 501 Unidade de processamento de VUI 511 Unidade de controle 512 Unidade de previsão 521 Unidade de cálculo da diferença da profundidade de bit 522 Unidade de controle de deslocamento de bit 523 Unidade de determinação do espaço de cor 541 Unidade de aquisição de VUI 551 Unidade de controle 561 Unidade de cálculo da diferença da profundidade de bit 562 Unidade de controle de deslocamento de bit 563 Unidade de determinação do espaço de cor[00640] The present technology can take a configuration as described below. (1) An image processing apparatus, including: a residual prediction unit that performs prediction with bit depths of residual data arranged to be uniform between components when prediction is performed between components for residual data between an image input configured by a plurality of components and a predicted image; and a coding unit that encodes predicted residual data generated through the prediction performed by the residual prediction unit. (2) The image processing apparatus described in any one of (1) and (3) through (9), wherein the residual prediction unit arranges the bit depths of the residual data to be uniform through a shift of bit. (3) The image processing apparatus described in any one of (1), (2), and (4) through (9), wherein the residual prediction unit performs prediction with the bit depths of the residual data arranged to be uniform between components through bit shifting in a case where a difference between the bit depths of two components for which the prediction is performed is not zero. (4) The image processing apparatus described in any one of (1) to (3) and (5) to (9), wherein the residual prediction unit performs prediction with the bit depths of the residual data arranged to be uniform across components across bit shift in a case where the difference between bit depths is positive, and omit prediction in a case where the difference between bit depths is negative. (5) The image processing apparatus described in any one of (1) to (4) and (6) to (9), wherein the residual prediction unit performs prediction with the bit depths of the residual data arranged to be uniform across components through bit shifting in a case where an input image color space is not an RGB space, and omit prediction in a case where an input image color space is RGB space . (6) The image processing apparatus described in any one of (1) to (5) and (7) to (9), wherein a color space of the input image is a YUV space, and the unit of residual prediction performs prediction with the bit depths of the residual data arranged to be uniform by bit shifting between a luminance component and a color difference component. (7) The image processing apparatus described in any one of (1) through (6), (8), and (9), wherein a color space of the input image is an RGB space, and the unit residual prediction performs prediction with the bit depths of the residual data arranged to be uniform by bit shifting between a G component and an R component or a B component. (8) The image processing apparatus, described in any one (1) through (7) and (9), wherein the residual prediction unit performs prediction by acquiring a difference between the bit depths of two components for which prediction is performed, performing bit shifting of the residual data of a component of the two components that correspond to the difference between the bit depths, multiplying the bit-shifted residual data by a predetermined weighting coefficient, performing a bit shift of a result of the multiplication that corresponds to a number of bits predetermined, and acquiring a difference between the residual data of the other component and the result of the bit-shifted multiplication. (9) The image processing apparatus described in any one of (1) to (8), wherein the residual prediction unit defines the weighting coefficient that is common to a plurality of components. (10) An image processing method, comprising: performing prediction with bit depths of residual data arranged to be uniform between components when prediction is performed between components for residual data between an input image configured by a plurality components and a predicted image; and encoding predicted residuals generated through the prediction. (11) An image processing apparatus, including: a decoding unit that decodes encoded data in which residual data is predicted, which is a result of predicting residual data between a picture configured by a plurality of components and a predicted picture the same between the components, are encoded; and a residual restoration unit that performs restoration with bit depths of the residual data arranged to be uniform among the components when restoration of the residual data is performed using the predicted residual data acquired by the decoding unit by decoding the encoded data. (12) The image processing apparatus described in any one of (11) and (13) through (19), wherein the residual restoration unit arranges the bit depths of the residual data to be uniform through a shift of bit. (13) The image processing apparatus described in any one of (11), (12), and (14) to (19), further including a receiver unit that receives information regarding bit depths, in that the residual restoration unit arranges the bit depths of the residual data to be uniform by acquiring a difference between the bit depths of two components for which prediction is performed based on information regarding bit depths received by the unit of receiving and performing the bit shift based on the acquired difference between the bit depths. (14) The image processing apparatus described in any one of (11) through (13) and (14) through (19), wherein, in a case where the acquired difference between bit depths is not zero , the residual restoration unit arranges the bit depths of the residual data to be uniform across the bit shift. (15) The image processing apparatus described in any one of (11) to (14) and (15) to (19), wherein the residual restoration unit performs restoration with the bit depths of the residual data arranged to be uniform across the bit shift in a case where the acquired difference between the bit depths is positive, and omit the restore in a case where the difference between the bit depths is negative. (16) The image processing apparatus described in any one of (11) to (15) and (17) to (19), wherein the receiving unit further receives information regarding a color space of the image , and the residual restoration unit performs restoration with the bit depths of the residual data arranged to be uniform among the components through bit shifting in a case where the color space of the image is not an RGB space based on the information with respect to the color space of the image received by the receiving unit, and omits restoration in a case where the color space of the image is RGB space. (17) The image processing apparatus described in any one of (11) through (16), (18), and (19), wherein an image color space is a YUV space, and the restoration unit residual performs restoration with the bit depths of the residual data arranged to be uniform between a luminance component and a color difference component through the bit shift. (18) The image processing apparatus described in any one of (11) to (17) and (19), wherein an image color space is an RGB space, and the residual restoration unit performs restoration with the bit depths of the residual data arranged to be uniform by bit shifting between a G component and an R component or a B component. (19) The image processing apparatus, described in any one of (11) through (18) ), wherein the residual restoration unit, by acquiring a difference between the bit depths of two components for which restoration is performed, performing bit shifting of the restored residual data of one component of the two components corresponding to the difference between the bit depths, multiplying the bit-shifted residual data by a predetermined weighting coefficient, performing a bit shift of a multiplication result corresponding to a predetermined number of bits, and adding the bit-shifted multiplication result, and of the predicted residual data, performs the restoration of the residual data of the other component. (20) A method of image processing, comprising: decoding encoded data in which residual data is predicted, which is a result of predicting residual data between an image configured by a plurality of components and a predicted image thereof between the components , are coded; and performing restoration with residual data bit depths arranged to be uniform among the components when restoring the residual data is performed using the predicted residual data acquired by decoding the encoded data. LIST OF REFERENCE SIGNALS 100 Image Coding Apparatus 121 Header Processing Unit 122 Residual Prediction Unit 123 Residual Restoration Unit 131 SPS Processing Unit 132 PPS Processing Unit 141 Control Unit 142 Prediction Unit 151 Prediction Unit bit depth difference calculation 152 Bit shift control unit 153 Weight coefficient setting unit 161 Selection unit 162 Right shift unit 163 Left shift unit 164 Weight coefficient multiplication unit 165 Right shift unit 166 and 167 Calculation unit 200 Image decoding apparatus 221 Header acquisition unit 222 Residual restoration unit 231 SPS acquisition unit 232 PPS acquisition unit 233 Weighting coefficient acquisition unit 241 Control unit 242 restore 251 bit depth difference calculation unit 252 bit shift control unit 261 selection unit 262 right shift unit 263 left shift unit 264 weighting coefficient multiplication unit 265 right shift unit 266 and 267 unit calculation unit 311 Control unit 312 Prediction unit 321 Bit depth difference calculation unit 322 Bit shift control unit 351 Control unit 352 Reset unit 361 Bit depth difference calculation unit 362 Control unit Bit Depth Difference Calculation Unit 411 Control Unit 412 Prediction Unit 421 Bit Depth Difference Calculation Unit 422 Bit Depth Difference Calculation Unit 451 Control Unit 452 Restore Unit 461 Bit Depth Difference Calculation Unit 462 Unit Bit Shift Control Unit 501 VUI Processing Unit 511 Control Unit 512 Prediction Unit 521 Bit Depth Difference Calculation Unit 522 Bit Shift Control Unit 523 Color Space Determination Unit 541 Acquisition Unit of VUI 551 Control unit 561 Bit depth difference calculation unit 562 Bit shift control unit 563 Color space determination unit
Claims (15)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013272941 | 2013-12-27 | ||
| JP2013-272941 | 2013-12-27 | ||
| PCT/JP2014/082923 WO2015098562A1 (en) | 2013-12-27 | 2014-12-12 | Image processing device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112016014478A2 BR112016014478A2 (en) | 2020-09-08 |
| BR112016014478B1 true BR112016014478B1 (en) | 2023-07-04 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200177894A1 (en) | Image processing apparatus and method | |
| JP6358475B2 (en) | Image decoding apparatus and method, and image encoding apparatus and method | |
| JP6579393B2 (en) | Image processing apparatus and method | |
| JP6287035B2 (en) | Decoding device and decoding method | |
| US10148959B2 (en) | Image coding device and method, and image decoding device and method | |
| EP2879378A1 (en) | Image processing device and method | |
| BR112014032228B1 (en) | DEVICE AND CODING METHOD | |
| WO2015053115A1 (en) | Decoding device, decoding method, encoding device, and encoding method | |
| CN104662901A (en) | Image processing device and method | |
| WO2015053116A1 (en) | Decoding device, decoding method, encoding device, and encoding method | |
| US20160373740A1 (en) | Image encoding device and method | |
| WO2015064402A1 (en) | Image processing device and method | |
| JPWO2015064403A1 (en) | Image processing apparatus and method | |
| JP6150134B2 (en) | Image encoding apparatus and method, image decoding apparatus and method, program, and recording medium | |
| JP6477930B2 (en) | Encoding apparatus and encoding method | |
| BR112016014478B1 (en) | DEVICE AND METHOD OF IMAGE PROCESSING | |
| JP2015050738A (en) | Decoder and decoding method, encoder and encoding method |