BRPI0809585A2

BRPI0809585A2 - Decodificador de referência hipotética para codificação de vídeo multivisualização

Info

Publication number: BRPI0809585A2
Application number: BRPI0809585-0A
Authority: BR
Inventors: Jiancong Luo; Lihua Zhu; Peng Yin; Purvin Bibhas Pandit
Original assignee: Thomson Licensing
Priority date: 2007-04-17
Filing date: 2008-04-14
Publication date: 2014-09-23
Also published as: WO2008130528A2; JP2013070411A; JP5263901B2; KR20100014574A; CN101658040B; JP6233984B2; WO2008130528A3; CN101658040A; EP2145483B1; JP5475855B2; KR101741050B1; JP2010525662A; KR101615967B1; KR20150086557A; KR101633576B1; JP2016167867A; US8761265B2; KR20140127881A; JP2014112922A; US20100091882A1

Description

“DECODIFICADOR DE REFERÊNCIA HIPOTÉTICA PARA CODIFICAÇÃO DE VÍDEO MULTIVISUALIZAÇÃO”

Referência Cruzada a Pedidos Relacionados

Este pedido reivindica o benefício do Pedido Provisório US 60/923.800, depositado em 17 de abril de 2007, que é aqui incorporado pela referência em sua íntegra.

Campo Técnico

Este pedido diz respeito a um decodificador de referência hipotética para Codificação de Vídeo Multivisualização em sistemas de vídeo comprimido.

Antecedentes da Invenção

Um decodificador de referência hipotética (HRD) é valioso em sistemas de vídeo comprimido em virtude de ele servir para validar um fluxo contínuo de bits codificado para conformidade com um padrão. Em um padrão de codificação, tai como H.264/AVC, há inúmeros pontos de interoperabilidade no recurso da Codificação de Vídeo Multivisualização (MVC) do padrão. MVC permite que o decodificador decodifique uma ou mais visualizações simultaneamente, e a decodificação de uma visualização pode precisar de informação proveniente de outras visualizações. O padrão H.264/AVC tem regras (também referidas como exigências, restrições ou especificações operacionais) que definem um HRD. A conformidade do HRD é uma parte normativa do padrão H.264/MPEG-4 AVC. Todos os fluxos contínuos de bits AVC precisam estar em conformidade com o HRD construído de acordo com as regras. Atualmente, não há regra definida para um HRD para MVC. HRDs anteriores não têm regras suficientes para permitir que eles validem fluxos contínuos de bits como aqueles da MVC no AVC.

Em muitos casos, as variações de taxa de bits do fluxo contínuo de bits comprimido precisam ser estabilizadas usando mecanismos de armazenamento temporário no codificador e no decodificador. Os tamanhos dos armazenamentos temporários físicos são finitos e, portanto, o codificador restringe as variações de taxa de bits para se adequar às limitações do armazenamento temporário. Padrões de codificação de vídeo não obrigam mecanismos de armazenamento temporário específicos para codificador ou decodificador, mas eles exigem que codificadores controlem as flutuações na taxa de bits, de forma que um decodificador de referência hipotética (HRD) (ou Verificador de Armazenamento Temporário Virtual (VBV)) de um dado tamanho de armazenamento temporário decodifique o fluxo contínuo de bits de vídeo sem sofrer sobrefluxo ou subfluxo do armazenamento temporário.

O HRD é baseado em um modelo de decodificador idealizado. O propósito de um HRD é colocar restrições básicas de armazenamento temporário nas variações na taxa de bits durante o tempo em um fluxo contínuo codificado. Por sua vez, estas restrições habilitam camadas superiores a multiplexar o fluxo contínuo, e decodificadores econômicos a decodificá-lo em tempo real. Na seguinte discussão, H.264/AVC será usado como um exemplo. Entretanto, a invenção pode ser estendida a outros modelos ou padrões de codificação de vídeo.

Sumário da Invenção

Esta invenção propõe diversos métodos para definir um Decodificador de Referência Hipotética (HRD) para Codificação de Vídeo Multivisualização (MVC).

Na implementação com base em H.264/MPEG-4 AVC atual da MVC, o software de referência consegue predição de multivisualização pela codificação de cada visualização com um único codificador, e levando em consideração as referências de visualização cruzada. Cada visualização é codificada como um fluxo contínuo de bits separado pelo codifica10 dor em sua resolução original e, posteriormente, todos os fluxos contínuos de bits são combinados para formar um único fluxo contínuo de bits. No decodificador, um usuário pode decodificar uma ou mais visualizações com base na sua aplicação. Na especificação atual, nenhuma regra do HRD é definida para MVC.

Na MVC, considere que há N visualizações codificadas no total. O decodificador 15 pode ter a flexibilidade de decodificar todas as M (1 <M <N) visualizações simultaneamente. Cada combinação de M visualizações denota um ponto de interoperabilidade (IOP). Para permitir a melhor flexibilidade, nesta categoria, a presente invenção propõe que o HRD para MVC defina restrições do HRD para cada IOP. O problema com esta solução é que há muitas combinações, até (2N-1). Mesmo se uma limitação for adicionada para M, em que M < 20 32, o número total de combinações ainda é grande. A presente invenção descreve métodos para fornecer regras para um Decodificador de Referência Hipotética para Codificação de Vídeo Multivisualização, em que as regras são especificadas para cada ponto interoperável.

Descrição Resumida dos Desenhos

A figura 1 mostra parâmetros do HRD de combinações de visualização que são derivadas pelos parâmetros do HRD de visualizações únicas.

A figura 2 mostra um codificador de Codificação de Vídeo Multivisualização.

A figura 3 mostra um decodificador de Codificação de Vídeo Multivisualização.

A figura 4 mostra Informação de Usabilidade de Vídeo para processo de codificação MVC da categoria 1.

A figura 5 mostra Informação de Usabilidade de Vídeo para processo de decodifica

ção MVC da categoria 1.

A figura 6 mostra o processo de codificação SEI com aninhamento Muitivisualização da categoria 1.

A figura 7 mostra o processo de decodificação SEI com aninhamento Multivisualização da categoria 1.

A figura 8 mostra Informação de Usabilidade de Vídeo para o processo de codificação MVC da categoria 2. A figura 9 mostra Informação de Usabilidade de Vídeo para o processo de decodifica ção MVC da categoria 2.

A figura 10 mostra o processo de codificação SEI com aninhamento Multivisualização das categorias 2 & 3.

A figura 11 mostra o processo de decodificação SEI com aninhamento Multivisuali

zação das categorias 2 & 3.

A figura 12 mostra Informação de Usabilidade de Vídeo para o processo de codificação MVC da categoria 3.

A figura 13 mostra Informação de Usabilidade de Vídeo para o processo de decodificação MVC da categoria 3.

Descrição Detalhada da Modalidade Preferida

Nas implementações de referência H.264/MPEG-4 AVC atuais, os parâmetros relacionados ao HRD são colocados em mensagens de ajuste de parâmetro de seqüência (SPS) e SEI.

SPS contém os parâmetros VUI da estrutura de sintaxe, da forma ilustrada na Ta

bela 1.

Tabela 1: Ajuste de Parâmetro de Seqüência

seq_parameter_set_rbsp() { C Descritor profilejdc 0 u(8) sequence_parameter_set_id 0 ue(v) vui_parameters_present_flag 0 u(1) se( vui_parameters_present_flag ) vui_parameters() 0 rbsp_trailing_bits() 0 } os elementos de sintaxe num_units_in_tick, tíme_scale, fixed_frame_rate_flag e low_delay_hrd_flag e os parâmetros HRD da estrutura de sintaxe são colocados nos parâmetros VUI da estrutura de sintaxe, da forma mostrada na Tabela 2.

Tabela 2: Parâmetros VUI

timing_info_present_flag 0 u(1) se( timing_info_present_flag) { n u m_u n itsj n_tick 0 u(32) time_scale 0 u(32) fixed_frame_rate_flag 0 u(1) } nal_hrd_parameters_present_flag O u(1) se( nal_hrd_parameters_present_flag ) hrd_parameters() vcl_hrd_parameters_present_flag O u(1) se( vcl_hrd_parameters_present_flag) hrd_parameters() se( nal_hrd_parameters_present_flag || vcl_hrd_parameters_present_flag ) low_delay_hrd_flag O u(1) O HRD_parameters da estrutura de sintaxe contém sintaxe para especificar o tamanho do armazenamento temporário e a taxa de bits, etc.

A SEI do período do armazenamento temporário e a SEI do sincronismo da imagem especificaram o atraso da remoção do armazenamento temporário da imagem codificada inicial antes da decodificação de uma imagem, e os parâmetros para derivar o sincronismo de cada imagem.

Com base na implementação AVC atual, os parâmetros relacionados ao HRD colocados no SPS, em conjunto com os parâmetros colocados na SEI do período do armazenamento temporário e na SEI do tempo da imagem, um conjunto de restrições do HRD é definido para um fluxo contínuo de bits H.264/MPEG-4 AVC.

Entretanto, a implementação AVC atual somente suporta um conjunto de parâmetros do HRD, que não se adéqua aos múltiplos IOPs contidos no fluxo contínuo de bits da MVC.

Na implementação com base em H.264/MPEG-4 AVC atual da MVC, o software de referência alcança predição de multivisualização pela codificação de cada visualização com um único codificador e levando em consideração as referências de visualização cruzada. Cada visualização é codificada como um fluxo contínuo de bits separado pelo codificador na sua resolução original e, posteriormente, todos os fluxos contínuos de bits são combinados para formar um único fluxo contínuo de bits. No decodificador, o usuário pode decodificar uma ou mais visualizações com base na sua aplicação. Os diagramas do codificador e do decodificador da MVC são mostrados na figura 2 e na figura 3, respectivamente.

Na especificação atual, nenhuma regra do HRD é definida para MVC.

Em muitas das modalidades descritas, usa-se a estrutura da implementação com base no H.264/MPEG-4 AVC da MVC. A ideia similar pode ser aplicada em outros padrões de codificação de vídeo. Por exemplo, o recurso de especificação de parâmetros em particular para um ou mais pontos operacionais (tal como um ponto de interoperabilidade) pode ser aplicado a padrões diferentes do padrão H.264/MPEG-4 AVC. Três classes separadas de implementações são descritas.

A. Especificar regras do HRD para cada ponto interoperável na MVC

Na MVC, considerando que há N visualizações codificadas no total, o decodificador pode ter a flexibilidade de decodificar todas as M (1 <M <N) visualizações simultaneamen5 te. Cada combinação de M visualizações denota um ponto de interoperabilidade (IOP). Para permitir a melhor flexibilidade, nesta categoria, a presente invenção propõe que um HRD para MVC define restrições do HRD para cada IOP. O problema com esta solução é que há muitas combinações, até (2N-1). Mesmo se uma limitação for adicionada para M, em que M <32, o número total de combinações ainda é grande.

Uma modalidade desta solução é apresentada a seguir.

Todas as combinações das visualizações são combinadas nas seguintes modificações para as regras do AVC-HRD. A Tabela 3 é tomada do padrão AVC, e diz respeito ao AVC-HRD. As adições nas Tabelas do padrão AVC são mostradas usando fonte itálica. Uma nova mensagem SEI, SEI com aninhamento multivisualização, é introduzida na Tabela 15 4. Os fluxogramas dos processos de codificação e de decodificação VUI são mostrados na figura 4 e na figura 5, respectivamente. E os fluxogramas dos processos de codificação e de decodificação SEI com aninhamento multivisualização são mostrados na figura 6 e na figura

7, respectivamente.

1. Parâmetros VUI: Como pode-se ver, a Tabela 3 mostra que a sintaxe do parâmetro VUI no padrão AVC foi modificada pela introdução de uma declaração "se - então" que

testa a variável "profilejdc". Se "profilejdc" for igual a "MVC", então, um laço é realizado uma ou mais vezes para testar um ou mais pontos (isto é, IOPs). Se "profilejdc" não for igual a "MVC", então, presume-se que "AVC" seja o padrão relevante, e um "senão" é executado para testar um ponto para conformidade AVC (usando regras do AVC-HRD existen25 tes). As linhas 30 - 60 são executadas se o "profilejdc" for MVC, caso contrário, as linhas 63 - 88 são executadas. A variável "num_view_combinations_minus1" (linha 30) fornece o número de IOPs no laço. No laço principal, um sub-laço para cada IOP (linhas 33 - 34) fornece os viewjds associados com o IOP. Para cada sub-laço, "num_views_minus1[i]" (linha 32) fornece o número de visualizações associadas com o i-ésimo IOP, e "viewjd[i][j]" (linha 30 34) fornece o viewjd da j-ésima visualização do i-ésimo IOP. As linhas 35 - 59 fornecem sintaxes para o i-ésimo IOP. Pode haver até (2N-1) IOPs para um fluxo contínuo de bits da MVC. Isto se compara a um único ponto de verificação para um fluxo contínuo de bits AVC.

2. Uma nova mensagem SEI, SEI com aninhamento multivisualização, é definida na Tabela 4. Uma mensagem SEI com aninhamento multivisualização diz respeito a uma uni

dade de acesso. Uma mensagem SEI com aninhamento multivisualização contém uma, e somente uma, mensagem SEI, que é referida como a mensagem SEI aninhada. O escopo ao qual a mensagem SEI aninhada se aplica é indicado pelas sintaxes das linhas 2 - 10. "num_view_combinations_minus1", "num_views_minus1 [i]" e "view_id[i][j]" compartilham as mesmas semânticas daquelas nos parâmetros VUI.

3. A mensagem SEI do período do armazenamento temporário e a mensagem SEI do sincronismo da imagem (que são partes do AVC) podem ser implementadas como uma 5 carga útil da mensagem SEI embutida na mensagem SEI com aninhamento multivisualização. A sintaxe da SEI do período do armazenamento temporário e da SEI do sincronismo da imagem permanece a mesma do AVC. A mensagem SEI do período do armazenamento temporário e as mensagens SEI do sincronismo da imagem para a visualização compatível com AVC não devem ser aninhadas na SEI com aninhamento multivisualização. Isto permite 10 a compatibilidade com AVC.

Tabela 3: Sintaxe dos parâmetros VUI

1 vui_parameters() { C Descritor 2 aspect_ratio_info_present_flag 0 u(1) 3 se( aspect_ratio_info_present_flag) { 4 aspect_ratio_idc 0 u(8) se( aspect_ratio_idc = = Extended_SAR) ( 6 sar_width 0 u(16) 7 sar_height 0 u(16) 8 } 9 } overscan_info_present_flag 0 u(1) 11 se( overscan_info_present_flag ) 12 overscan_appropriate_flag 0 u(1) 13 video_signal_type_present_flag 0 u(1) 14 se( video_signal_type_present_flag ) { video_format 0 u(3) 16 video_full_range_flag 0 u(1) 17 colour_description_present_flag 0 u(1) 18 se( colour_description_present_flag) { 19 colour_primaries 0 u(8) transfer_characteristics 0 u(8) 21 matrix_coefficients 0 u(8) 22 } 23 } 24 chroma_loc_info_present_flag 0 u(1) se( chroma_loc_info_present_flag) { 26 chroma_sample_loc_type_top_field 0 ue(v) 27 chroma_sample_loc_type_bottom_field 0 ue(v) 28 } 29 se( profilejdc == 'MVC) { num_view_combinations_minus 1 0 ue(v) 31 para(i = 0; i <= num_view_combinations_minus1; i++) ( 32 num_views_minus 1 [i] 0 u(5) 33 para(j = 0;j <= num_views_minus1 [i]; j++ ) 34 view_id[i][j] 0 u(5) timingjnfo_present_flag[i] 0 u(1) 36 se( timingjnfo_presentjlag[i]) { 37 num_unitsjnjick[i] 0 u(32) 38 time_scale[i] 0 u(32) 39 fixedjrame_ratejlag[i] 0 u(1) 40 } 41 nal_hrdjparameters_presentjlag[i] 0 u(1) 42 se(nal_hrdJDarameters_presentjlag[i] ) 43 hrd_parameters() 44 vcl_hrd_parametersj)resentjlag[i] 0 u(1) 45 se( vdJirdjparametersj)resentjlag[i] ) 46 hrdj>arameters() 47 se(nal_hrdJDarametersjDresentJlagfi] Il vdjhrdJDarametersjDresentJlag[i] ) 48 low_delay_hrdJlag[i] 0 u(1) 49 pic_structjDresentJlag[i] 0 u(1) 50 bitstream_restrictionJlag 0 u(1) 51 se( bitstream_restrictionJlag) { 52 motion_vectors_overjDic_boundariesJlag 0 u(1) 53 max_bytesjperjDicjdenom 0 ue(v) 54 maxjDitsjperjnbjdenom 0 ue(v) 55 log2_max_mvJength_horizontal 0 ue(v) 56 log2_max_mvJength_vertical 0 ue(v) 57 num_reorderJrames 0 ue(v) 58 max_decjrame_buffering 0 ue(v) 59 } 60 } 61 } 62 senão{ 63 timing_info_present_flag 0 u(1) 64 se( timing_info_present_flag) ( 65 num_units_in_tick 0 u(32) 66 time_scale 0 u(32) 67 fixed_frame_rate_flag 0 u(1) 68 } 69 nal_hrd_parameters_present_flag 0 u(1) 70 se( nal_hrd_parameters_present_flag ) 71 hrd_parameters() 72 vcl_hrd_parameters_present_flag 0 u(1) 73 se( vcl_hrd_parameters_present_flag ) 74 hrd_parameters() 75 se( nal_hrd_parameters_present_flag || vcl_hrd_parameters_present_flag ) 76 low_delay_hrd_flag 0 u(1) 77 pi c_stru ct_prese nt_f Iag 0 u(1) 78 bitstream_restriction_flag 0 u(1) 79 se( bitstream_restriction_flag ) { 80 motion_vectors_over_pic_boundaries_flag 0 u(1) 81 max_bytes_per_pic_denom 0 ue(v) 82 max_bits_per_mb_denom 0 ue(v) 83 log2_max_mv_length_horizontal 0 ue(v) 84 log2_max_mv_length_vertical 0 ue(v) 85 num_reorder_frames 0 ue(v) 86 max_dec_frame_buffering 0 ue(v) 87 } 88 } 89 } num_view_combinations_minus1 mais 1 indica o número de combinações de visualização suportadas pelo fluxo contínuo de bits em relação ao mesmo seq_parameter_set_id

no SPS que contém estes hrd_parameters().

num_views_minus1[i] indica o número de visualizações associadas com o i-ésimo

5 IOP.

viewjd[i][j] indica o viewjd da j-ésima visualização do i-ésimo IOP. timing_info_present_flag[i] especifica o valor timing_info_present_flag do i-ésimo IOP.

num_units_in_tick[i] especifica o valor num_units_in_tick do i-ésimo IOP. time_scale[i] especifica o valor time_scale do i-ésimo IOP. fixed_frame_rate_flag[i] especifica o valor fixed_frame_rate_flag do i-ésimo IOP.

5 nal_hrd_parameters_present_flag[i] especifica o valor

nal_hrd_parameters_present_flag do i-ésimo IOP.

vcl_hrd_parameters_present_flag[i] especifica o valor v

cl_hrd_parameters_present_flag do i-ésimo IOP.

low_delay_hrd_flag[i] especifica o valor low_delay_hrd_flag do i-ésimo IOP.

10 pic_struct_present_flag[i] especifica o valor pic_struct_present_flag do i-ésimo IOP.

timing_info_present_flag, num_units_in_tick, time_scale,

nal_hrd_parameters_present_flag, vcl_hrd_parameters_present_flag, low_delay_hrd_flag e pic_struct_present_flag têm a mesma semântica do AVC.

Tabela 4: Sintaxe da mensagem SEI com aninhamento multivisualização

1 multiview_nesting( payloadSize ) { C Descritor 2 all_view_combinations_in_au_flag 5 u(1) 3 se(all_view_combinations_in_au_flag = = 0) { 4 num_view_combinations_minus1 5 ue(v) para( i = 0; i <= num_view_combinations_minus1; i++) { 6 num_views_minus1 [ i ] 0 u(5) 7 para(j = 0; j <= num_views_minus1 [i]; j++ ) 8 view_id[i][j] 0 u(5) 9 } } 11 enquanto( !byte_aligned()) 12 sei_nesting_zero_bit /* igual a 0 */ 5 f(1) 13 sei_message() 5 14 } 15 all_view_combinations_in_au_flag igual a 1 indica que a mensagem SEI aninhada

se aplica a todas as combinações de visualização da unidade de acesso.

all_view_combinations_in_au_flag igual a 0 indica que o escopo aplicável da mensagem SEI aninhada é sinalizado pelos elementos de sintaxe num_view_combinations_minus1, num_views_minus1 [i] e view_id[i][j].

20 num_view_combinations_minus1 mais 1 indica o número de combinações de visua

lização suportadas pelo fluxo contínuo de bits.

num_views_minus1 [i] indica o número de visualizações associadas com o i-ésimo

IOP. view_id[i][j] indica o viewjd da j-ésima visualização do i-ésimo IOP. B. Especificar regras do HRD somente para um conjunto de IOPs

Nesta categoria, propõe-se definir HRD para MVC para um conjunto de IOPs1 e derivar outros conjuntos de IOPs a partir deste conjunto. Em uma modalidade, é uma proposta que o HRD da MVC somente defina restrições do HRD para a decodificação de cada uma das possíveis únicas visualizações, e os parâmetros HRD para decodificação de mais de uma visualização são derivados a partir dos parâmetros de visualização única relevantes. Esta abordagem permite que transmita-se menos parâmetros do que a primeira abordagem, mas ela adiciona mais complexidade para a derivação.

Uma modalidade desta solução é apresentada a seguir:

Um HRD é definido para cada visualização. O número máximo de conjuntos dos parâmetros do HRD transmitindo é M, em que M=1...N. Então, se houver N visualizações, esta modalidade transmitirá N conjuntos de parâmetros HRD. Os fluxogramas dos processos de codificação e de decodificação VUI são mostrados na figura 8 e na figura 9, respectivamente. E os fluxogramas dos processos de codificação e de decodificação SEI com aninhamento multivisualização são mostrados na figura 10 e na figura 11, respectivamente.

1. Parâmetros VUI: Como pode-se ver, mostra-se que a sintaxe do parâmetro VUI no padrão AVC foi modificada pela introdução de uma declaração "se - então" que testa a variável "profilejdc". Se "profilejdc" for igual a "MVC", então, um laço é realizado uma ou mais vezes para testar um ou mais pontos. Se "profilejdc" não for igual a "MVC", então, presume-se que "AVC" seja o padrão relevante, e um "senão" é executado para testar um ponto para conformidade AVC (usando regras do AVC-HRD existentes). As linhas 30 - 58 são executadas se o "profilejdc" for MVC, caso contrário, as linhas 61 - 85 são executadas. A variável "num_view_minus1" (linha 30) fornece o número de visualizações no laço. "viewjd[i]" (linha 32) fornece o viewjd da i-ésima visualização. As linhas 33 - 58 fornecem sintaxes para a i-ésima visualização. Pode haver até M visualizações (M=1...N) em um fluxo contínuo de bits da MVC. Isto se compara a um único ponto de verificação para um fluxo contínuo de bits AVC.

2. Uma nova mensagem SEI, SEI com aninhamento multivisualização, é definida na Tabela 6. Uma mensagem SEI com aninhamento multivisualização diz respeito a uma unidade de acesso. Uma mensagem SEI com aninhamento multivisualização contém uma, e somente uma, mensagem SEI, que é referida como a mensagem SEI aninhada. O escopo ao qual a mensagem SEI aninhada se aplica é indicado pelas sintaxes das linhas 2-7. "num_views_minus1" e "viewjd[i]" compartilham as mesmas semânticas daquelas nos parâmetros VUI.

3. A mensagem SEI do período do armazenamento temporário e a mensagem SEI do sincronismo da imagem podem ser como uma carga útil da mensagem SEI embutida na mensagem SEI com aninhamento multivisualização. A sintaxe da SEI do período do armazenamento temporário e da SEI do sincronismo da imagem permanece a mesma do AVC. A mensagem SEI do período do armazenamento temporário e as mensagens SEI do sincronismo da imagem para a visualização compatível com AVC não devem ser aninhadas na 5 SEI com aninhamento multivisualização.

Os parâmetros HRD de cada IOP (combinação de visualização) são derivados pelos parâmetros HRD das visualizações associadas com o IOP. Um exemplo é dado na figura 1.

Tabela 5: Sintaxe dos parâmetros VUI

1 vui parametersO { C Descritor 2 aspect ratio info present flag 0 u(1) 3 se( aspect ratio info present flag) { 4 aspect ratio ide 0 u(8) se( aspect ratio ide = = Extended SAR) ( 6 sar width 0 u(16) 7 sar height 0 u(16) 8 } 9 } overscan info present flag 0 u(1) 11 se( overscan info present flag ) 12 overscan appropriate flag 0 u(1) 13 video signal type present flag 0 u(1) 14 se( video signal type present flag ) { video format 0 u(3) 16 video full range flag 0 u(1) 17 colour description present flag 0 U(1) 18 se( colour description present flag) { 19 colour primaries 0 u(8) transfer characteristics 0 u(8) 21 matrix coefficients 0 u(8) 22 ) 23 } 24 chroma Ioc info present flag 0 u(1) se( chroma Ioc info present flag) { 26 chroma sample Ioc type top field 0 ue(v) 27 chroma sample Ioc type bottom field 0 ue(v) 28 I 29 se( profile ide == 'MVC) f num_views_minus 1 [i] 0 ue(v) 31 para(i = 0; i <= num views minusl; i++) ( 32 view_id[i][j] 0 u(5) 33 timinq info present flaq[i] 0 u(1) 34 se( timinq info_present fiaqfi]) { num_units_in_tick[i] 0 u(32) 36 time_scaie[i] 0 u(32) 37 fixed frame rate fiaq[i] 0 u(1) 38 } 39 nal hrd_parameters__present fiaqfi] 0 Ud) 40 se(nai hrd_parameters_present flaq[i]) 41 hrd_parameters() 42 vcl hrd parameters present flag[i] 0 U(1) -43 se( vcl hrd parameters present flaq[i]) 44 hrd_parameters() 45 se(nal hrd_parameters present flag[i] Il vcl hrd parameters_present flaq[i]) 46 Iow delay hrd flaqfi] 0 u(1) 47 pic structjiresent flaq[i] 0 UÍ1) 48 bitstream restriction flag 0 u(1) 49 se( bitstream restriction flaq) { 50 motion vectors over pic boundaries flaq 0 U(1) 51 max bytes per_pic denom 0 ue(v) 52 maxjbits_per_mb denom 0 ue(v) 53 log2_max_mv Ienqth horizontal 0 ue(v) 54 loq2_max_mvJenqth vertical 0 ue(v) 55 num reorder frames 0 ue(v) 56 max dec frame bufferinq 0 ue(v) 57 } 58 } 59 } 60 senão{ 61 timing info present flag 0 u(1) 62 se( timing info present flag) { 63 num units in tick 0 u(32) 64 time scale 0 u(32) 65 fixed frame rate flaq 0 u(1) 66 } 67 nal hrd parameters present flag 0 u(1) 68 se( nal hrd parameters present flag ) 69 hrd parameters() 70 vcl hrd parameters present flag 0 u(1) 71 se( vcl hrd parameters present flag ) 72 hrd parametersQ 73 se( nal hrd parameters present flag || vcl hrd parameters present flag ) 74 Iow delay hrd flag 0 u(1) 75 pic struct present flag 0 u(1) 76 bitstream restriction flag 0 u(1) 77 se( bitstream restriction flag ) { 78 motion vectors over pic boundaries flag 0 u(1) 79 max bytes per pic denom 0 ue(v) 80 max bits per mb denom 0 ue(v) 81 log2 max mv Iength horizontal 0 ue(v) 82 log2 max mv Iength vertical 0 ue(v) 83 num reorder frames 0 ue(v) 84 max dec frame buffering 0 ue(v) 85 } 86 } 87 } num_views_minus1 indica o número total de visualizações no fluxo contínuo de bits.

view_id[i] indica o viewjd da i-ésima visualização.

timingJnfo_present_flag[i] especifica o valor timingJnfo_present_flag da i-ésima visualização.

5 num_unitsjn_tick[i] especifica o valor num_unitsjnJick da i-ésima visualização.

time_scale[i] especifica o valor time_scale do i-ésimo IOP. fixed_frame_rate_flag[i] especifica o valor fixed_frame_rate_flag da i-ésima visualização.

nal_hrd_parameters_present_flag[i] especifica o valor

nal_hrd_parameters_present_flag da i-ésima visualização.

vcl_hrd_parameters_present_flag[i] especifica o valor v

cl_hrd_parameters_present_fIag da i-ésima visualização.

low_delay_hrd_flag[i] especifica o valor low_delay_hrd_flag da i-ésima visualização. pic_struct_present_flag[i] especifica o valor pic_struct_present_flag da i-ésima visualização.

timing_info_present_flag, num_units_in_tick, time_scale,

Tabela 6: Sintaxe da mensagem SEI com aninhamento multivisualização

1 multiview_nesting( payloadSize) { C Descritor 2 all_viewsjn_au_flag 5 u(1) 3 se( all_viewsjn_au_flag == 0 ) { 4 num_views_minus1 5 ue(v) para(i = 0; i <= num_views_minus1; i++) 6 viewjd [i] 0 u(5) 7 } 8 enquanto( lbyte_aligned()) 9 sei_nesting_zero_bit /* igual a 0 */ 5 f(1) sei_message() 5 11 } all_views_in_au_flag igual a 1 indica que a mensagem SEI aninhada se aplica a to

das as visualizações da unidade de acesso. all_views_in_au_flag igual a 0 indica que o escopo aplicável da mensagem SEI aninhada é sinalizado pelos elementos de sintaxe num_views_minus1 e view_id[i].

num_views_minus1 mais 1 indica o número de visualizações suportadas pelo fluxo contínuo de bits.

view_id[i] indica o viewjd da i-ésima visualização.

C. Especificar regras do HRD para o pior caso

Nesta categoria, propõe-se que o HRD da MVC somente defina restrições do HRD para o pior caso da decodificação de M (M=1, N) visualizações. O pior caso pode ser definido como, por exemplo, o caso que exige o maior tamanho de armazenamento temporário, o maior atraso, a mais alta taxa de bits, o maior consumo de bits da transmissão de todas as M visualizações, etc. Então, pode-se definir somente 1 conjunto de parâmetros do HRD para a decodificação de cada uma das M visualizações. Isto é, define-se um conjunto de parâmetros do HRD para o pior caso de única visualização, e um conjunto de parâmetros do HRD para o pior caso de combinação de 2 visualizações, etc., até um conjunto de parâmetros do HRD para o pior caso de combinação de N-1 visualizações, e um conjunto de parâmetros do 5 HRD para a combinação (pior caso) de N visualizações. No total, somente define-se N conjuntos de parâmetros do HRD, que são usados para testar a conformidade do HRD para 1,

2, e até N visualizações. A desvantagem desta abordagem é que ela exige transmitir restrições mais altas do que um caso em particular pode exigir. Mas, pode-se economizar os bits para transmitir todos os parâmetros do HRD e não deriva-se nenhum parâmetro.

Uma modalidade desta solução é apresentada a seguir.

O número máximo de conjuntos dos parâmetros HRD transmitindo é M, em que M=1 N. Os fluxogramas dos processos de codificação e de decodificação VUI são mostrados na figura 12 e na figura 13, respectivamente.

1. Parâmetros VUI: Como pode-se ver, a Tabela 7 mostra que a sintaxe do parâmetro VUI no padrão AVC foi modificada pela introdução de uma declaração "se - então" que

testa a variável "profilejdc". Se "profilejdc" for igual a "MVC", então, um laço é realizado uma ou mais vezes para testar um ou mais pontos. Se "profilejdc" não for igual a "MVC", então, presume-se que "AVC" seja o padrão relevante, e um "senão" é executado para testar um ponto para conformidade AVC (usando regras do AVC-HRD existentes). As linhas 30 20 - 57 são executadas se o "profilejdc" for MVC, caso contrário, as linhas 60 - 84 são executadas. A variável "num_view_minus1" (linha 30) fornece o número de visualizações no fluxo contínuo de bits. As linhas 32 - 56 fornecem sintaxes para os parâmetros relacionados com HRD associados com as restrições do HRD mais altas da decodificação de todas as /'visualizações das (num_views_minus1+1) visualizações.

Note que a Tabela 7 difere da Tabela 5. Veja, por exemplo, a linha 32 da Tabela 5,

citando "viewjd [i]".

2. A mensagem SEI do período do armazenamento temporário e a mensagem SEI do sincronismo da imagem podem ser como uma carga útil da mensagem SEI embutida na mensagem SEI com aninhamento multivisualização. A sintaxe da mensagem SEI com ani

nhamento multivisualização pode compartilhar aquela definida na Tabela 6. A mensagem SEI do período do armazenamento temporário e do sincronismo da imagem são associadas com as mais altas restrições do HRD da decodificação de todas (num_views_minus1+1) visualizações do número total de visualizações transmitindo no fluxo contínuo de bits. A sintaxe da SEI do período do armazenamento temporário e da SEI do sincronismo da imagem 35 permanece a mesma do AVC. A mensagem SEI do período do armazenamento temporário e as mensagens SEI do sincronismo da imagem para a visualização compatível com AVC não devem ser aninhadas na SEI com aninhamento multivisualização. Tabela 7: Sintaxe de parâmetros VUI

1 vui_parameters() { C Descritor 2 aspect_ratio_info_present_flag 0 u(1) 3 se( aspect_ratio_info_present_flag) { 4 aspect_ratio_idc 0 u(8) se( aspect_ratio_idc = = Extended_SAR) ( 6 sar_width 0 u(16) 7 sar_height 0 u(16) 8 } 9 } overscan_info_present_flag 0 u(1) 11 se( overscan_info_present_flag ) 12 overscan_appropriate_flag 0 u(1) 13 video_signal_type_present_flag 0 u(1) 14 se( video_signal_type_present_flag ) { video_format 0 u(3) 16 video_full_range_flag 0 u(1) 17 colour_description_present_flag 0 u(1) 18 se( colour_description_present_flag) { 19 colour_primaries 0 u(8) transfer_characteristics 0 u(8) 21 matrix_coefficients 0 u(8) 22 } 23 } 24 chroma_loc_info_present_flag 0 u(1) se( chroma_loc_info_present_flag) { 26 chroma_sample_loc_type_top_field 0 ue(v) 27 chroma_sample_loc_type_bottom_field 0 ue(v) 28 } 29 se( profilejdc == 'MVC) { num_views_minus1[i] 0 ue(v) 31 para(i = 0; i <= num_views_minus1; /'++) ( 32 timingjnfo_presentjlag[i] 0 u(1) 33 se( timingjnfo_presentjlag[i]) { 34 num_unitsjnjick[i] 0 u(32) time_scale[i] 0 u(32) 36 fixed_frame_rate_flag[i] 0 u(1) ’ 37 } 38 nal_hrdjparameters_present_flag[i] 0 u(1) 39 se(nal_hrdjparameters_present_flag[i] ) 40 hrdjparameters() 41 vcl_hrdjparametersjpresent_flag[i] 0 u(1) 42 se( vcl_hrdjparametersjpresent_flag[i]) 43 hrdjparametersQ 44 se(nal_hrdjparametersjpresent_flag[i] Il vcl_hrdjparametersjpresent_flag[i] ) 45 low_delay_hrd_flag[i] 0 u(1) 46 pic_structjpresent_flag[i] 0 u(1) 47 bitstream_restriction_flag 0 u(1) 48 se( bitstream_restriction_flag ) { 49 motion_vectors_overjPic_boundaries_flag 0 u(1) 50 max_bytesjperjpicjdenom 0 ue(v) 51 max_bitsjper_mb_denom 0 ue(v) 52 log2_max_mv_length_horizontal 0 ue(v) 53 log2_max_mv_length_vertical 0 ue(v) 54 num_reorder_frames 0 ue(v) 55 max_dec_frame_buffering 0 ue(v) 56 } 57 } 58 } 59 senão{ 60 ti m i ng _i nfo_p resent_f Iag 0 u(1) 61 se( timing_info_present_flag) { 62 n u m_u n its _i n_tick 0 u(32) 63 time_scale 0 u(32) 64 fixed_frame_rate_flag 0 u(1) 65 } 66 nal_hrd_parameters_present_flag 0 u(1) 67 se( nal_hrd_parameters_present_flag ) 68 hrd_parameters() 69 vcl_hrd_parameters_present_flag 0 u(1) 70 se( vcl_hrd_parameters_present_flag ) 71 hrd_parameters() 72 se( nal_hrd_parameters_present_flag || vcl_hrd_parameters_present_flag ) ‘73 low_delay_hrd_flag 0 u(1) 74 pic_struct_present_flag 0 u(1) 75 bitstream_restriction_flag 0 u(1) 76 se( bitstream_restriction_flag ) { 77 motion_vectors_over_pic_boundaries_flag 0 u(1) 78 max_bytes_per_pic_denom 0 ue(v) 79 max_bits_per_mb_denom 0 ue(v) 80 log2_max_mv_length_horizontal 0 ue(v) 81 log2_max_mv_length_vertical 0 ue(v) 82 num_reorder_frames 0 ue(v) 83 max_dec_frame_buffering 0 ue(v) 84 } 85 } 86 } num_views_minus1 indica o número total de visualizações no fluxo contínuo de bits.

timing_info_present_flag[i] especifica o valor timing_info_present_flag para a decodificação de /'visualizações.

num_units_in_tick[i] especifica o valor num_units_in_tick para a decodificação de / 5 visualizações.

time_scale[i] especifica o valor time_scale para a decodificação de /'visualizações. fixed_frame_rate_flag[i] especifica o valor fixed_frame_rate_flag para a decodificação de /' visualizações.

nal_hrd_parameters_present_flag[i] especifica o valor

10 nal_hrd_parameters_present_flag para a decodificação de /'visualizações.

vcl_hrd_parameters_present_flag[i] especifica o valor v

cl_hrd_parameters_present_flag para a decodificação de /'visualizações.

low_delay_hrd_flag[i] especifica o valor low_delay_hrd_flag para a decodificação de /'visualizações.

15 pic_struct_present_flag[i] especifica o valor pic_struct_present_flag para a decodifi

cação de /' visualizações.

Os parâmetros timing_info_present_flag, num_unitsjn_tick, time_scale, nal_hrd_parameters_present_flag, vcl_hrd_parameters_present_flag, low_delay_hrd_flag e pic_struct_present_flag têm a mesma semântica do AVC.

20 As figuras 4 até 13 mostra vários fluxogramas para a gravação ou leitura da sintaxe

em particular que é identificada.

São aqui descritas diversas implementações que, por exemplo, fornecem regras para a gravação e/ou leitura de uma descrição de um HRD para MVC. Isto permite que um HRD seja definido e usado na MVC.

Entretanto, recursos e aspectos das implementações descritas também podem ser adaptados para outras implementações. Por exemplo, da forma supraindicada, um HRD pode ser fornecido usando os recursos expostos para outros padrões. Adicionalmente, um HRD pode ser fornecido para MVC usando variações das modalidades supradescritas. Tais variações podem incluir, por exemplo, implementações que usam outra sintaxe de alto nível, que usam sintaxe que não é de alto nível, que fornecem parâmetros do HRD para outros IOPs. Dessa maneira, embora implementações aqui descritas possam ser descritas no contexto da sintaxe de alto nível para H.264, implementando de uma das três implementações principais aqui descritas, tais descrições não devem, de maneira nenhuma, ser tomadas como Iimitantes dos recursos e conceitos em tais implementações ou contextos.

As implementações aqui descritas podem ser implementadas, por exemplo, em um método ou processo, um aparelho ou um programa de software. Mesmo se somente discutidos no contexto de uma única forma de implementação (por exemplo, discutidos somente como um método), a implementação ou recursos discutidos também podem ser implementados em outras formas (por exemplo, um aparelho ou programa). Um aparelho pode ser implementado, por exemplo, em hardware, software e software embarcado apropriados. Os métodos podem ser implementados, por exemplo, em um aparelho, tais como, por exemplo, um computador ou outro dispositivo de processamento. Adicionalmente, os métodos podem ser implementados por instruções que são realizadas por um dispositivo de processamento ou outro aparelho, e tais instruções podem ser armazenadas em uma mídia legível por computador, tais como, por exemplo, um CD ou outro dispositivo de armazenamento legível por computador, ou um circuito integrado.

Como deve ficar evidente aos versados na técnica, implementações também podem produzir um sinal formatado para portar informação que pode ser, por exemplo, armazenado e transmitido. A informação pode incluir, por exemplo, instruções para realizar um método ou dados produzidos por uma das implementações descritas. Por exemplo, um sinal pode ser formatado para portar como dados as regras para gravação ou leitura da sintaxe de uma modalidade descrita, ou para portar como dados a sintaxe real gravada por uma modalidade descrita.

Adicionalmente, muitas implementações podem ser implementadas tanto em um codificador quanto em um decodificador, ou em cada um deles.

Adicionalmente, outras implementações são contempladas por esta invenção. Por exemplo, implementações adicionais podem ser criadas pela combinação, deleção, modificação ou complementação dos vários recursos das implementações divulgadas.

A descrição exposta fornece algumas das várias implementações. Não pretende-se que seja completa, mas que forneça meramente uma descrição resumida de um pequeno número das muitas implementações possíveis.

Claims

1. Decodificador de referência hipotética para codificação de vídeo multivisualização, CARACTERIZADO pelo fato de que regras relacionadas a um ou mais parâmetros e informação de restrição de fluxo contínuo de bits são especificadas para cada ponto interoperável na MVC.

2. Parâmetros e informação de restrição do fluxo contínuo de bits relacionados ao decodificador de referência hipotética para codificação de vídeo multivisualização, CARACTERIZADOS pelo fato de que regras são especificadas somente para um conjunto de pontos interoperáveis, e outros conjuntos são derivados a partir do conjunto especificado.

3. Parâmetros e informação de restrição do fluxo contínuo de bits relacionados ao decodificador de referência hipotética para codificação de vídeo multivisualização, CARACTERIZADOS pelo fato de que regras são especificadas somente para o pior caso da decodificação de qualquer número de visualizações.

4. Método de codificação de vídeo multivisualização em um decodificador de referência hipotética, CARACTERIZADO pelo fato de que uma mensagem SEI aninhada é definida para especificar informação para cada visualização ou para a combinação de diferentes visualizações.

5. Decodificador de referência hipotética, de acordo com as reivindicações 1, 2 ou .3, CARACTERIZADO pelo fato de que todos os parâmetros e informação de restrição do fluxo contínuo de bits relacionados ao HRD são definidos na sintaxe de alto nível.

6. Decodificador de referência hipotética, de acordo com as reivindicações 1, 2 ou .3, CARACTERIZADO pelo fato de que a sintaxe de alto nível é usada para descrever as regras, e em que a sintaxe de alto nível pode ser composta por pelo menos um do conjunto de parâmetro de seqüência (SPS), da informação de usabilidade de vídeo (VUI), do conjunto de parâmetro da imagem (PPS), do cabeçalho da fatia, do cabeçalho do nal_unit ou da mensagem de informação de melhoria complementar (SEI).

7. Decodificador de referência hipotética, de acordo com as reivindicações 1, 2 ou .3, CARACTERIZADO pelo fato de que o parâmetro profilejdc é usado para diferenciar o caso de codificação de vídeo multivisualização ou o caso compatível com AVC.

8. Decodificador de referência hipotética, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a implementação faz laço através de todas as visualizações e suas combinações.

9. Decodificador de referência hipotética, de acordo com a reivindicação 2, relacionado aos parâmetros e informação de restrição do fluxo contínuo de bits relacionados ao HRD para codificação de vídeo multivisualização, CARACTERIZADO pelo fato de que as regras são especificadas somente para decodificação de uma única visualização, e os parâmetros e a informação de restrição do fluxo contínuo de bits relacionados ao decodificador de referência hipotética para decodificação de mais de uma visualização são derivados daqueles da única visualização.

10. Decodificador de referência hipotética, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o decodificador faz laço através de cada visualização.

11. Decodificador de referência hipotética, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que também compreende fazer laço através de cada uma das visualizações no fluxo contínuo de bits.

12. Método para especificar regras para criar um decodificador de referência hipotética para codificação de vídeo multivisualização, CARACTERIZADO pelo fato de que as regras podem ser em sintaxe de alto nível.

13. Aparelho, CARACTERIZADO pelo fato de que é para gravar sintaxe apropriada para descrever parâmetros para um decodificador de referência hipotética para codificação de vídeo multivisualização.

14. Aparelho, CARACTERIZADO pelo fato de que é para Ier sintaxe apropriada que descreve parâmetros para um decodificador de referência hipotética para codificação de vídeo multivisualização.

15. Mídia legível por computador que armazena regras para especificar um decodificador de referência hipotética para codificação de vídeo multivisualização, CARACTERIZADA pelo fato de que tais regras armazenadas podem ser acessadas por um codificador para descrever parâmetros para o HRD.

16. Mídia legível por computador que armazena regras para interpretar informação recebida, CARACTERIZADA pelo fato de que a informação descreve parâmetros de um decodificador de referência hipotética para codificação de vídeo multivisualização, e em que tais regras armazenadas podem ser acessadas por um decodificador para interpretar a sintaxe recebida de um codificador.

17. Método de codificação de um fluxo contínuo de bits, CARACTERIZADO pelo fato de que o fluxo contínuo de bits é formatado para incluir informação que descreve parâmetros de um decodificador de referência hipotética para codificação de vídeo multivisualiza