BR112021004636A2 - codificador e decodificador de vídeo, mesclador de vídeo e métodos para fornecerem uma representação de vídeo codificado e mesclado - Google Patents

codificador e decodificador de vídeo, mesclador de vídeo e métodos para fornecerem uma representação de vídeo codificado e mesclado Download PDF

Info

Publication number
BR112021004636A2
BR112021004636A2 BR112021004636-4A BR112021004636A BR112021004636A2 BR 112021004636 A2 BR112021004636 A2 BR 112021004636A2 BR 112021004636 A BR112021004636 A BR 112021004636A BR 112021004636 A2 BR112021004636 A2 BR 112021004636A2
Authority
BR
Brazil
Prior art keywords
video
merge
parameter
encoded
merged
Prior art date
Application number
BR112021004636-4A
Other languages
English (en)
Inventor
Robert SKUPIN
Yago Sánchez De La Fuente
Cornelius Hellge
Thomas Schierl
Karsten SÜHRING
Thomas Wiegand
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Publication of BR112021004636A2 publication Critical patent/BR112021004636A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

CODIFICADOR E DECODIFICADOR DE VÍDEO, MESCLADOR DE VÍDEO E MÉTODOS PARA FORNECEREM UMA REPRESENTAÇÃO DE VÍDEO CODIFICADO E MESCLADO. Trata-se de um codificador de vídeo (2) para fornecer uma representação de vídeo codificado (12), em que o codificador de vídeo (2) é configurado para fornecer uma transmissão contínua de vídeo(12) que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificado (12) pode ser mesclada com outra representação de vídeo codificado.

Description

Relatório Descritivo da Patente de Invenção para “CODIFICADOR E DECODIFICADOR DE VÍDEO, MESCLADOR DE VÍDEO E MÉTODOS PARA FORNECEREM UMA REPRESENTAÇÃO DE VÍDEO CODIFICADO E MESCLADO”
[001] O presente pedido refere-se à codificação/decodificação de vídeo.
[002] Composição de vídeo é usada em numerosas aplicações em que uma composição de múltiplas fontes de vídeo é apresentada ao usuário. Exemplos comuns são composições Picture-in-Picture (PiP) e mistura de camadas com conteúdo de vídeo, por exemplo, para propagandas e usuários de interface. Produzir tais composições no domínio dos pixels requer decodificação paralela de fluxos de bits de vídeo de entrada que são computacionalmente complexas e podem até ser inviáveis em dispositivos com um único decodificador de hardware ou recursos limitados de outra forma. Por exemplo, em projetos de sistemas de IPTV atuais, conversores capazes executam a composição e são grandes fatores de custo de serviço devido à sua complexidade, distribuição e tempo de vida limitado. Reduzir esses fatores de custo motivam esforços em andamento para virtualizar a funcionalidade do conversor, por exemplo, alterando a geração de interface de usuário para recursos na nuvem. Meros decodificadores de vídeos, chamados de clientes zero, são o único hardware que deve permanecer nas instalações do cliente em tal abordagem. O estado da técnica em tal projeto de sistema é composição baseada em transcodificação, ou seja, na sua forma mais simples: decodificar, composição no domínio do pixel, e recodificar antes, ou durante, o transporte. Para reduzir a carga de trabalho de um ciclo inteiro de de-recodificação, operação na transformada do domínio do coeficiente ao invés do domínio do pixel foi proposta, primeiramente, para composição PiP. Desde então, numerosas técnicas para fundir ou reduzir os passos individuais da composição e aplicar eles aos codecs de vídeo atuais foram apresentados. Contudo, abordagens à base da transcodificação para composição geral são ainda computacionalmente complexas o que compromete a escalabilidade do sistema. Dependendo da abordagem da transcodificação, tal composição pode também impactar a realização da taxa de distorção (RD).
[003] Adicionalmente, existe uma ampla variedade de aplicações que são construídas sobre blocos, em que um bloco é um subconjunto espacial do plano de vídeo codificado de forma independente dos blocos vizinhos. Sistemas de transmissão baseados em blocos para vídeos em 360 º funcionam ao dividir vídeos 360° em blocos que são codificados em subfluxos de bits em várias resoluções e mesclados em um único fluxo de bits no lado do cliente dependendo da orientação de visão do usuário atual. Outra aplicação envolvendo mesclagem de subfluxos de bits é, por exemplo, a combinação de conteúdo de vídeo tradicional junto com propagandas em cartazes. Ainda, recombinar subfluxos de bits pode também ser uma parte crucial sistemas de conferência de vídeo onde múltiplos usuários enviam suas transmissões contínuas de vídeos individuais para um receptor onde as transmissões são ultimamente mescladas. Mais ainda, sistemas de codificação na nuvem baseados em blocos nos quais um vídeo é dividido em blocos e codificações em bloco são distribuídas para separar, e instâncias independentes confiam em verificações à prova de falhas antes dos fluxos de bits de bloco resultantes serem mesclados de volta em um único fluxo de bits. Em todas essas aplicações, transmissões são mescladas para permitir decodificação em um único decodificador de vídeo com um ponto de conformidade conhecido. No presente documento, mesclagem significa uma reescrita leve de um fluxo de bits que não requer operações completas de decodificação da entropia do dado codificado de um fluxo de bits ou reconstrução do valor do pixel. Contudo, as técnicas usadas para garantir o sucesso da formação da mesclagem dos fluxos de bits, ou seja, conformidade do fluxo de bits mesclado resultante, foram originadas de cenários de aplicação muito diferentes.
[004] Por exemplo, codecs de legado suportam uma técnica referida como conjuntos de blocos de restrição de movimentação (MCTS) em que um codificador restringe a Inter previsão entre imagens para serem confinadas dentro das fronteiras dos blocos ou da imagem, ou seja, não usa valores de amostra ou valores de elementos de sintaxe que não pertencem ao mesmo bloco ou estão localizados fora do limite da imagem. A origem dessa tecnologia é decodificação de Região de
Interesse (ROI), na qual um decodificador pode decodificar apenas uma subseção específica dos fluxos de bits e imagem codificada sem correr para dependências insolúveis e evitando desvio. Outra técnica de estado da arte nesse contexto é a mensagem de Estrutura das imagens (SOP) SEI que dá uma indicação da estrutura dos fluxos de bits aplicados, ou seja, a ordem da imagem e a estrutura de referência da interprevisão. Essa informação é fornecida ao resumir, para cada imagem entre dois Pontos de Acesso Aleatórios (RAPs), os valores da Contagem de Ordem da Imagem (POC), o intensificador ativo do Conjunto de Parâmetros de sequência (SPS), o índice de Conjunto de Imagens de Referência (RPS) em SPS ativo. Baseado nessa informação, a estrutura dos fluxos de bits pode ser identificada, o que pode ajudar transcodificadores, caixas intermediárias, ou entidades de rede de reconhecimento de mídia (MANEs) ou reprodutores de mídia, para operar ou alterar fluxos de bits, por exemplo ajustes de taxas de bits, quedas de quadro ou avanço rápido.
[005] Enquanto ambas das técnicas exemplificativas sinalizadas acima são essenciais para entender se uma mesclagem leve de subfluxos de bits pode ser realizada sem alterações de sintaxe não triviais ou até mesmo transcodificação completa, elas não são, de modo algum, suficientes. Em mais detalhes, mesclagem leve nesse contexto é caracterizada por intervalar unidades de NAL da fonte de fluxos de bits com apenas operações de reescrita menores, ou seja, escrevendo conjuntos de parâmetros usados em união com um tamanho de imagem e estrutura de bloco, para que todos os fluxos de bits a serem mesclados estejam localizados em um bloco área separado. O próximo nível de complexidade de mesclagem é constituído por pequena reescrita dos elementos do cabeçalho de fatia, idealmente, sem mudar códigos de comprimento varável no cabeçalho de fatia. Níveis adicionais de complexidade de mesclagem existem, por exemplo para reexecutar codificação de entropia em dados de fatia para alterar elementos de sintaxe específicos que são codificados entropicamente mas podem ser mudados sem a necessidade de reconstrução de valor de pixel, o que também pode ser considerado benéfica e bastante leve comparado a uma transcodificação completa com de- e codificação do vídeo que não são consideradas leves.
[006] Em um fluxo de bits mesclado, todas as fatias têm que fazer referência ao mesmo conjunto de parâmetros. Quando os conjuntos de parâmetros dos fluxos de bits original usa atém mesmo configurações significativamente diferentes, uma mesclagem leve pode não ser possível, porque vários dos elementos de sintaxe do conjunto de parâmetros possuem influência adicional no cabeçalho de fatia e sintaxe de carga útil de fatia e eles o fazem em diferentes graus. Quanto mais abaixo no processo de decodificação um elemento de sintaxe está envolvido, a mesclagem/reescrita se torna mais complexa. Algumas categorias gerais notáveis de dependências de sintaxe (do conjunto de parâmetros e outras estruturas) podem ser diferenciadas, como se segue.
[007] A. Indicação de presença de sintaxe
[008] B. Dependências de cálculo de valor
[009] C. Controle de ferramenta de codificação de carga útil de fatia
[010] a. Sintaxe que é usada cedo no processo de decodificação (por exemplo ocultamento de sinal do coeficiente, limites de partição de bloco)
[011] b. Sintaxe que é usada tarde no processo de decodificação (por exemplo compensação de movimentação, filtro de loop ) ou processo geral de controle de decodificação (imagens de referência, ordem dos fluxos de bits )
[012] D. Parâmetro do formato de fonte
[013] Para categoria A, os conjuntos de parâmetros carregam presença numerosa de flags para várias ferramentas (por exemplo dependent_slice_segments_enabled_flag ou output_flag_present_flag). No caso de diferença em tais flags, a flag pode ser ajustada para permitir que o conjunto de parâmetro de união e valores padrão possam ser escritos explicitamente para os cabeçalhos de fatias mesclado de fatias em fluxos de bits que não incluíam elementos de sintaxe antes da mesclagem, ou seja, nesse caso a mesclagem requer mudanças nos conjuntos de parâmetros e nas sintaxes do cabeçalho de fatia.
[014] Para a categoria B, os valores sinalizados da sintaxe do conjunto de parâmetros podem ser usados em cálculos junto com parâmetros de outros conjuntos de parâmetros ou cabeçalhos de fatias, por exemplo no HEVC, o parâmetro de quantização de fatia (QP) de uma fatia é usado para controlar a grosseria da quantização de coeficientes de transformada do sinal residual de uma fatia. Sinalização da fatia QP (SliceQpY) em um fluxo de bits depende da sinalização de QP em um nível conjunto de parâmetros de imagem (PPS) como se segue: SliceQpY = 26 + init_qp_minus26 (de PPS) + slice _qp_delta (a partir do cabeçalho de fatia)
[015] Como toda fatia em uma imagem de vídeo codificado (mesclado) precisa fazer referência ao mesmo PPS ativado, uma diferença em init_qp_minus26 em PPSs das transmissões individuais que estão a serem mescladas requerem o ajuste dos cabeçalhos de fatias para refletir o novo valor comum de init_qp_minus26. Ou seja, nesse caso mesclagem requer mudanças nos conjuntos de parâmetros e na sintaxe do cabeçalho de fatia assim como na categoria 1.
[016] Para a categoria C, elementos de sintaxe do conjunto de parâmetros adicionais controlam ferramentas de codificação que influenciam estruturas de fluxos de bits da carga útil de fatia. Subcategorias C.a e C.b podem ser diferenciadas dependendo de quão longe abaixo no processo de decodificação um elemento de sintaxe está envolvido e (relacionado a isso) a complexidade associada às mudanças a esses elementos de sintaxe, ou seja, onde o elemento de sintaxe está envolvido entre codificação de entropia e reconstrução nível de pixel.
[017] Por exemplo, um elemento na C.a é sign_data_hiding_enabled_flag que controla derivação do dado de sinal dos coeficientes de transformada codificados. Ocultamento de dados de sinal podem ser desativados facilmente e os dados de sinal inferidos correspondentes são escritos explicitamente na carga útil de fatia. Contudo, tais mudanças na carga útil de fatia nessa categoria não necessitam ir ao domínio do pixel através de decodificação completa antes de codificar o vídeo mesclado em termos de pixel novamente. Um outro exemplo são as decisões inferidas de racionamento de blocos, ou qualquer outra sintaxe onde o valor inferido pode ser facilmente escrito nos fluxos de bits. Ou seja, nesse caso a mesclagem requer mudanças aos conjuntos de parâmetros, a sintaxe do cabeçalho de fatia, e à carga útil de fatia que requer de-/codificação de entropia.
[018] Contudo, a subcategoria C.b envolve elementos de sintaxe que se relacionam aos processos bem mais abaixo na cadeia de decodificação e, portanto, muito do complexo processo de decodificação deve ser executado de uma forma que evitar as etapas de decodificação restantes seja, em termos computacionais e de implementação, indesejável. Por exemplo, diferenças nos elementos de sintaxe conectadas à restrição de compensação de movimentação “mensagem de SEI (Estrutura de Informação de Imagem) de Conjunto de Blocos de Restrição de Movimentação Temporal”, ou várias sintaxes relacionadas aos processos de decodificação tais como “mensagem de SEI”, tornam a transcodificação a nível de pixel indisponível. Existem numerosas decisões de codificador que influenciam a carga útil de fatia de uma forma que não pode ser mudada sem uma transcodificação de nível de pixel completa, em oposição as subcategorias C.a.
[019] Para a categoria D, existem elementos de sintaxe do conjunto de parâmetros (por exemplo subamostragem croma como indicado através do chroma_format_idc) onde diferentes valores que fazem a transcodificação ao nível de pixel indisponível para mesclagem de subfluxos de bits, ou seja, nesse caso mesclagem requer uma decodificação completa, mesclagem a nível de pixel e processo de codificação completa.
[020] A lista acima é, de forma alguma, exaustiva, mas fica claro que uma variedade ampla de parâmetros influencia os méritos da mesclagem de subfluxos de bits em fluxos de bits comuns em formas diferentes e que analisar e rastrear esses parâmetros é um peso.
[021] O objeto da presente invenção é de fornecer um codec de vídeo para mesclar eficientemente fluxos de bits de vídeo.
[022] Esse objeto é alcançado pela matéria do assunto das reivindicações do presente pedido presente pedido.
[023] É a ideia básica, subjacente a presente invenção que uma melhora na mesclagem de uma pluralidade de transmissão contínua de vídeo é alcançada ao incluir um ou mais identificador de mesclagem. Essa abordagem torna possível a redução de carga dos recursos de computação e também acelera o processo de mesclagem.
[024] De acordo com as modalidades do presente pedido, o codificador de vídeo é configurado para fornecer uma transmissão contínua de vídeo que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificado, ou seja codificado usando parâmetros de codificação definidos pela informação de parâmetro, e um ou mais identificadores de mesclagem que indicam se e/ou como, por exemplo usando qual complexidade, a representação de vídeo codificado pode ser mesclado com uma outra representação de vídeo codificado. Usando qual complexidade pode ser determinado baseado em um valor de parâmetro definido pela informação de parâmetro. O identificador de mesclagem pode ser concatenação de uma pluralidade de parâmetros de codificação, tais parâmetros que devem ser iguais em duas diferentes representações de vídeo codificado a fim de ser capaz de mesclar as duas diferentes representações de vídeo codificado usando uma complexidade predeterminada. Adicionalmente, o identificador de mesclagem pode ser um valor hash de uma concatenação de uma pluralidade de parâmetros de codificação, tais parâmetros que devem ser iguais em duas diferentes representações de vídeo codificado a fim de ser capaz de mesclar as duas diferentes representações de vídeo codificado usando uma complexidade predeterminada.
[025] De acordo com as modalidades do presente pedido, o identificador de mesclagem pode indicar um tipo de identificador de mesclagem que representa, associado a uma complexidade de um procedimento de mesclagem ou, de forma geral, um método de mesclagem “adequado” que mescla através da reescrita do conjunto de parâmetros, ou que mescla através da reescrita de conjuntos de parâmetros e cabeçalho de fatia, ou que mescla através da reescrita de conjuntos de parâmetros, cabeçalho de fatia, carga útil de fatia, em que um identificador de mesclagem é associado ao tipo de identificador de mesclagem, em que o identificador de mesclagem associado a um tipo de identificador de mesclagem compreende aqueles parâmetros de codificação que devem ser iguais em duas diferentes representações de vídeo codificado de modo que as duas diferentes representações de vídeo codificado são mescláveis ao usar a complexidade do procedimento de mesclagem representado pelo tipo de identificador de mesclagem. Um valor do tipo de identificador de mesclagem pode indicar um processo mesclagem, em que o codificador de vídeo é configurado para alternar entre, pelo menos, dois dos valores seguintes do tipo de identificador de mesclagem; um primeiro valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita do conjunto de parâmetros, um segundo valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita dos conjuntos de parâmetros e cabeçalho de fatia, e um terceiro valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita dos conjuntos de parâmetros, cabeçalho de fatia, e carga útil de fatia.
[026] De acordo com as modalidades do presente pedido, uma pluralidade de identificadores de mesclagem é associada às diferentes complexidades dos procedimentos de mesclagem, por exemplo cada identificador indica um conjunto/hash de parâmetros e um tipo de procedimento de mesclagem. O codificador pode ser configurado para verificar se os parâmetros de codificação que são avaliadas para uma provisão do identificador de mesclagem são idênticas em todas as unidades de uma sequência de vídeo, e para fornecer ao identificador de mesclagem em dependência na verificação.
[027] De acordo com as modalidades do presente pedido, a pluralidade dos parâmetros de codificação pode incluir parâmetros relevantes de mesclagem – que devem ser idênticos em diferentes transmissões contínuas de vídeos, ou seja, representações de vídeo codificado, para permitir uma mesclagem que tenha menos complexidade que uma mesclagem a partir de uma decodificação em pixel completa,
e em que o codificador de vídeo é configurado para fornecer os, um ou mais, identificadores de mesclagem com base nos parâmetros relevantes de mesclagem, ou seja, no caso de não existir parâmetro comum entre duas representações de vídeo codificado, uma decodificação de pixel completa é executada, ou seja, não existe a possibilidade de reduzir a complexidade do processo de mesclagem. Os parâmetros relevantes de mesclagem incluem uma ou mais ou todos dos seguintes parâmetros: a um parâmetro que descreve uma restrição de movimentação em uma fronteira de bloco, por exemplo informação aprimorada suplementar aprimorada do conjunto de cauda de restrição de movimentação (MCTS SEI), informação a respeito de uma estrutura de grupo de imagens (GOP), ou seja mapeamento de ordem de codificação para mostrar ordem, Indicação de Ponto de Acesso Aleatório, estratificação temporal, por exemplo com SOP: Estrutura de Imagem, SEI, um parâmetro que descreve uma codificação em formato croma e um parâmetro que descreve uma codificação em formato luma, por exemplo um conjunto que inclui, pelo menos, formato croma e luma/croma de profundidade de bit, um parâmetro que descreve uma previsão do vetor de movimentação avançada, um parâmetro que descreve uma deslocamento adaptativo de amostra, um parâmetro que descreve uma previsão do vetor de movimentação temporal, e um parâmetro que descreve filtro de loop e outros parâmetros de codificação, ou seja, conjuntos de parâmetros (incluindo conjuntos de imagens de referência, parâmetro de quantização base e etc.), cabeçalho de fatia, carga útil de fatia são reescritos para mescla duas representações de vídeo codificado.
[028] De acordo com as modalidades do presente pedido, um identificador de mesclagem associado com uma primeira complexidade de um procedimento de mesclagem pode ser determinado com base em um primeiro conjunto de parâmetros de codificação, quando um parâmetro mesclado associado com uma segunda complexidade de um procedimento de mesclagem, que é mais alta que a primeira complexidade, é determinado com base em um segundo conjunto de parâmetros de codificação, que é um verdadeiro subconjunto do primeiro conjunto de parâmetros de codificação. Um identificador de mesclagem associado com uma terceira complexidade de um procedimento de mesclagem, que é mais alta que a segunda complexidade, pode ser determinada com base em um terceiro conjunto de parâmetros de codificação, que é um verdadeiro subconjunto do segundo conjunto de parâmetros de codificação.
O codificador de vídeo é configurado para determinar o identificador de mesclagem associado com a primeira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação, por exemplo, o primeiro conjunto que deve ser igual em duas diferentes transmissões contínuas de vídeos, por exemplo, representações de vídeo codificado, para permitir uma mesclagem das transmissões contínuas de vídeos que apenas modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias enquanto deixam os cabeçalhos de fatias e carga útil de fatia inalterados, ou seja um processo de mesclagem através (apenas) da reescrita conjunto de parâmetros.
O codificador de vídeo pode ser configurado para determinar o identificador de mesclagem associado com a segunda complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação, por exemplo, o segundo conjunto que deve ser igual em duas diferentes transmissões contínuas de vídeos, por exemplo representações de vídeo codificado para permitir uma mesclagem das transmissões contínuas de vídeos que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias e que também modifica cabeçalhos de fatias enquanto deixa carga útil de fatia inalterada, ou seja, um processo de mesclagem através da reescrita dos conjuntos de parâmetros e cabeçalho de fatia.
O codificador de vídeo pode ser configurado para determinar o identificador de mesclagem associado com a terceira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação, por exemplo, o terceiro conjunto que deve ser igual em duas diferentes transmissões contínuas de vídeos, por exemplo, representações de vídeo codificado para permitir uma mesclagem das transmissões contínuas de vídeos que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias, e que também modifica cabeçalhos de fatias e carga útil de fatia mas que não executam uma decodificação de pixel completa e recodificação de pixel, ou seja, um processo de mesclagem através doa reescrita conjuntos de parâmetros, cabeçalho de fatia, e carga útil de fatia.
[029] De acordo com as modalidades do presente pedido, um mesclador de vídeo para fornecer uma representação de vídeo mesclado com base em uma pluralidade de representações de vídeo codificado, por exemplo, transmissão contínua de vídeos, em que o mesclador de vídeo é configurado para receber uma pluralidade da transmissão contínua de vídeos que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificado, ou seja, codificada usando parâmetros de codificação definidos pela informação de parâmetro, e um ou mais identificadores de mesclagem que indicam se, e/ou, como usando qual complexidade a representação de vídeo codificado pode ser mesclada com outra representação de vídeo codificado; em que o mesclador de vídeo é configurado para decidir sobre um uso de um método de mesclagem, por exemplo, tipo de mesclagem; processo de mesclagem, em dependência dos identificadores de mesclagem, ou seja em dependência da comparação dos identificadores de mesclagem de diferentes transmissões contínuas de vídeo. O mesclador de vídeo é configurado para selecionar um método de mesclagem, dentre uma pluralidade de métodos de mesclagem, em dependência dos identificadores de mesclagem. O mesclador de vídeo pode ser configurado para selecionar entre pelo menos dois dos seguintes métodos de mesclagem; um primeiro método de mesclagem, que é uma mesclagem da transmissão contínua de vídeos que apenas modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias enquanto deixam cabeçalhos de fatias e carga útil de fatia inalterados; um segundo método de mesclagem, que é uma mesclagem da transmissão contínua de vídeos que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias e que também modifica cabeçalhos de fatias enquanto deixam carga útil de fatia inalterada; e um terceiro método de mesclagem, que é uma mesclagem da transmissão contínua de vídeos que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias, e que também modifica cabeçalhos de fatias e carga útil de fatia mas que não executam uma decodificação de pixel completa e uma recodificação de pixel completa, que são métodos de mesclagem que possuem diferentes complexidades em dependência de um ou mais identificadores de mesclagem.
[030] De acordo com as modalidades do presente pedido, o mesclador de vídeo é configurado para comparar identificadores de mesclagem de duas ou mais transmissões contínuas de vídeos associadas ao mesmo método de mesclagem dado ou associadas ao mesmo tipo de identificador de mesclagem e para tomar uma decisão se executa uma mesclagem usando o método de mesclagem dado em dependência de um resultado da comparação. O mesclador de vídeo pode ser configurado executar, seletivamente, uma mesclagem usando o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem das, duas ou mais, transmissões contínuas de vídeos associadas ao método de mesclagem dado são iguais. O mesclador de vídeo pode ser configurado para usar um método de mesclagem que tem complexidade mais alta que o método de mesclagem dado para qual os identificadores de mesclagem são associados se a comparação dos identificadores de mesclagem indicar que os identificadores de mesclagem das, duas ou mais, transmissões contínuas de vídeos associadas ao método de mesclagem dado são diferentes, ou seja, sem comparar adicionalmente os próprios parâmetros de codificação. O mesclador de vídeo pode ser configurado para comparar, seletivamente, parâmetros de codificação que devem ser iguais em duas ou mais transmissões contínuas de vídeos para permitir uma mesclagem das transmissões contínuas de vídeos usando o método de mesclagem dado se a comparação dos identificadores de mesclagem indicar que os identificadores de mesclagem das, duas ou mais, transmissões contínuas de vídeos associadas ao método de mesclagem dado são iguais, e
[031] em que o mesclador de vídeo é configurado para executar, seletivamente, uma mesclagem usando o método de mesclagem dado se comparação dos ditos parâmetros de codificação, ou seja, parâmetros de codificação que devem ser iguais em duas ou mais transmissões contínuas de vídeos para permitir uma mesclagem das transmissões contínuas de vídeos usando o método de mesclagem dado, indicar que os parâmetros de codificação são iguais, e em que o mesclador de vídeo é configurado para executar uma mesclagem usando um método de mesclagem que possui complexidade mais alta que o método de mesclagem dado se a comparação dos ditos parâmetros de codificação indicar que os parâmetros de codificação compreendem uma diferença.
[032] De acordo com as modalidades do presente pedido, o mesclador de vídeo pode ser configurado para comparar identificadores de mesclagem associados aos métodos de mesclagem que possuem diferentes complexidades, ou seja comparação do hash, e em que o mesclador de vídeo é configurado para identificar uma complexidade mais baixa do método de mesclagem para qual os identificadores de mesclagem associados são iguais em duas ou mais transmissões contínuas de vídeos a serem mesclados; e em que o mesclador de vídeo é configurado para comparar um conjunto de parâmetros de codificação, ou seja parâmetros individuais de codificação, ao invés de uma versão de hash dele mesmo, que deve ser igual em duas ou mais transmissões contínuas de vídeo a serem mesclados para permitir uma mesclagem usando o método de mesclagem identificado em que diferentes conjuntos de parâmetros de codificação, tipicamente sobrepostas, são associados aos métodos de mesclagem de diferentes complexidades, e em que o mesclador de vídeo é configurado para mesclar seletivamente as, duas ou mais, transmissões contínuas de vídeo usando o método de mesclagem identificado se a comparação indicar que os parâmetros de codificação do conjunto de parâmetros de codificação associados ao método de mesclagem identificado são iguais nas transmissões contínuas de vídeo a serem mesclados e em que o mesclador de vídeo é configurado para mesclar as duas ou mais transmissões contínuas de vídeos usando um método de mesclagem que possui uma complexidade mais alta que o método de mesclagem identificado se a comparação indicar que os parâmetros de codificação do conjunto de parâmetros de codificação associados ao método de mesclagem identificado compreende uma diferença. O mesclador de vídeo é configurado para determinar quais parâmetros de codificação devem ser modificados em um processo mesclagem, ou seja, mesclagem de transmissões contínua de vídeos em dependência de uma ou mais diferenças entre identificadores de mesclagem, por exemplo, associadas ao mesmo método de mesclagem ou “identificador de tipo de mesclagem” de diferentes transmissões contínuas de vídeos a serem mesclados.
[033] De acordo com as modalidades do presente pedido, o mesclador de vídeo é configurado para obter conjuntos de parâmetros de codificação de união ou conjuntos de parâmetros codificados de união, por exemplo, o conjunto de parâmetro de sequência SPS e conjunto de parâmetros de imagem PPS, que são associados às fatias de todas as transmissões contínuas de vídeos a serem mesclados, com base nos parâmetros de codificação das transmissões contínuas de vídeos a serem mesclados, e para incluir os parâmetros de codificação de união nas transmissão contínua de vídeo mesclada, por exemplo, no caso de o valor de todos os parâmetros de codificação de uma representação de vídeo codificado e outra representação de vídeo codificado foram as mesmas, os parâmetros de codificação são atualizados ao copiar os parâmetros em comum, no caso de existir qualquer diferença entre os parâmetros de codificação das representações de vídeo codificadas, os parâmetros de codificação são atualizados baseados na principal representação de vídeo codificado (ou seja uma é a principal, e a outra é uma sub), por exemplo, alguns parâmetros de codificação podem ser adaptados de acordo com a combinação das transmissões contínuas de vídeos, por exemplo, um tamanho de imagem total. O mesclador de vídeo é configurado para adaptar parâmetros de codificação associados individualmente às fatias de vídeos, por exemplo, definida no cabeçalho de fatias, ou por exemplo, quando usam um método de mesclagem que possui uma complexidade que é mais alta que uma baixa complexidade, a fim de obter fatias modificadas para serem incluídas na transmissão contínua de vídeo mesclada. Os parâmetros de codificação adaptados incluem um parâmetro que representa um tamanho de imagem representação de vídeo codificado mesclada, em que o tamanho de imagem é calculado baseado no tamanho de imagem das representações de vídeo codificado a serem mescladas, ou seja, nas respectivas dimensões e no contexto de seu arranjo espacial.
[034] De acordo com as modalidades do presente pedido, um a codificador de vídeo para fornecer uma representação de vídeo codificado, ou seja transmissão contínua de vídeo, em que o codificador de vídeo pode ser configurado para fornecer uma informação de demanda de capacidade de granulosidade grossa, por exemplo informação de nível; nível 3 ou nível 4 ou nível 5, que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo, por exemplo decodificabilidade da transmissão contínua de vídeo por um decodificador de vídeo, que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e em que o codificador de vídeo é configurado para fornecer informação de demanda de capacidade de granulosidade fina, por exemplo informação do limite de nível de mesclagem, que descreve que fração de uma demanda de capacidade permissível, ou seja capacidade do decodificador, associada a um dos níveis de capacidade predeterminados é necessária a fim de decodificar a representação de vídeo codificado, e/ou que descreve que fração de uma demanda de capacidade permissível, ou seja “limite de nível de fluxo de bits mesclado ”, a representação de vídeo codificado, ou seja subfluxos de bits contribui para uma transmissão contínua de vídeo mesclada na qual a transmissão contínua de vídeo é mesclada, uma demanda de capacidade a qual esteja em acordo com um dos níveis de capacidade predeterminados, ou seja uma demanda de capacidade a qual seja menor que ou igual a demanda de capacidade permissível, “demanda de capacidade permissível do fluxo de bits mesclado que esteja de acordo com um dos de capacidade predeterminados ” corresponde ao “limite de nível do fluxo de bits mesclado ”. O codificador de vídeo é configurado para fornecer uma demanda de capacidade de granulosidade fina de modo que uma demanda de capacidade de granulosidade fina compreende um valor de razão ou valor de porcentagem que faz referência a um dos níveis de capacidade predeterminados. O codificador de vídeo é configurado para fornecer uma demanda de capacidade de granulosidade fina de modo que uma demanda de capacidade de granulosidade fina compreende uma informação de referência uma informação de fração, e em que a informação de referência descreve para quais níveis de capacidade predeterminados a informação de fração é referenciada de modo que uma demanda de capacidade de granulosidade fina descreve, em sua totalidade, uma fração de um dos níveis de capacidade predeterminados.
[035] De acordo com as modalidades do presente pedido, um mesclador de vídeo para fornecer uma representação de vídeo mesclado com base em uma pluralidade de representações de vídeo codificado, ou seja transmissão contínua de vídeos, em que o mesclador de vídeo pode ser configurado para receber uma pluralidade de transmissões contínuas de vídeos que compreendem informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificado, por exemplo, codificadas usando parâmetros de codificação definidos pela informação de parâmetro, uma informação de demanda de capacidade de granulosidade grossa, por exemplo, informação de nível; nível 3 ou nível 4 ou nível 5, que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo, ou seja decodificabilidade da transmissão contínua de vídeo por um decodificador de vídeo, que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e informação de demanda de capacidade de granulosidade fina, por exemplo, informação de limite de nível de mesclagem, em que o mesclador de vídeo é configurado para mesclar as, duas ou mais, transmissões contínuas de vídeos em dependência da informação de demanda de capacidade de granulosidade grossa e demanda de capacidade de informação de granulosidade fina. O mesclador de vídeo pode ser configurado para decidir quais transmissões contínuas de vídeos podem ser ou são influídas em uma transmissão contínua de vídeo mesclada, ou seja, sem violar uma demanda de capacidade permissível, ou seja, tal demanda de capacidade da transmissão contínua de vídeo mesclada está de acordo com um dos níveis de capacidade predeterminados em dependência da demanda de capacidade de informação de resolução fina. O mesclador de vídeo pode ser configurado para decidir se uma transmissão contínua de vídeo mesclada válida, por exemplo, sem violar uma demanda de capacidade permissível, ou seja, de modo que uma demanda de capacidade da transmissão contínua de vídeo mesclada esteja em acordo com um dos níveis de capacidade predeterminados, podem ser obtidos pela mesclagem de duas ou mais transmissões contínuas de vídeos em dependência da demanda de capacidade de informação de resolução fina. O mesclador de vídeo é configurado para resumir demanda de capacidade de informação de granulosidade fina de uma pluralidade de transmissões contínuas de vídeos a serem mesclados, por exemplo, a fim de decidir quais transmissões contínuas de vídeos podem ser incluídas ou a fim de decidir se uma transmissão contínua de vídeo mesclado válida pode ser obtida.
[036] De acordo com modalidades da aplicação do presente pedido, um decodificador de vídeo para decodificar uma representação de vídeo fornecida, em que o decodificador de vídeo é configurado para receber a representação de vídeo que inclui uma pluralidade de sub transmissões contínuas de vídeo, ou seja, uma pluralidade de subfluxos de bits de um fluxo de bits inteiro, que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificada, a informação de demanda de capacidade de granulosidade grossa, que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e uma informação de demanda de capacidade de granulosidade fina, ou seja, a respectiva informação é, por exemplo, carregada na mensagem de SEI, em que o decodificador de vídeo é configurado para determinar se uma demanda de capacidade combinada da pluralidade de sub transmissões contínuas de vídeo a serem mescladas, como descrito pela informação de demanda a de capacidade de granulosidade fina, é correspondente aos limites predeterminados a serem aderidos, ou seja, limites de nível específicos do decodificador. O decodificador de vídeo pode ainda ser configurado para analisar a informação de demanda de capacidade de granulosidade grossa recebida e informação de demanda de capacidade de granulosidade fina para obter uma indicação do nível de capacidade e uma fração da demanda de capacidade permissível.
[037] Modalidades preferidas do presente pedido são descritas abaixo em relação às Figuras, entre as quais: A Figura 1 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo codificado com um exemplo de um codificador de vídeo onde um conceito de mesclagem de fluxo de bits de acordo com as modalidades do presente pedido poderia ser implementada; A Figura 2 mostra um diagrama esquemático que ilustra um exemplo de uma estrutura de fluxos de bits de acordo com as modalidades do presente pedido; A Figura 3 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo codificado como outro exemplo de um codificador de vídeo onde um conceito de mesclagem de fluxo de bits de acordo com as modalidades do presente pedido poderia ser implementado; A Figura 4 mostra a diagrama esquemático que ilustra um exemplo de parâmetros de codificação de acordo com as modalidades do presente pedido; A Figura 5a, 5b mostra um exemplo de um conjunto de parâmetros de sequência detalhado (SPS) indicado na Figura 4; A Figura 6a, 6b mostra um exemplo de conjunto de parâmetros de imagem detalhado (PPS) indicado na Figura 4; A Figura 7a a 7d mostra um exemplo de cabeçalho de fatia detalhado indicado na Figura 4; A Figura8 mostra uma estrutura das imagens detalhada em uma mensagem de informação aprimorada suplementar (SEI) indicada na Figura 4; A Figura 9 mostra um conjunto de blocos de restrição de movimentação detalhado em uma mensagem de SEI indicada na Figura 4; A Figura 10 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo mesclado com um exemplo de um mesclador de vídeo onde um conceito de mesclagem de fluxo de bits de acordo com as modalidades do presente pedido poderiam ser implementadas; A Figura 11 mostra um diagrama esquemático que ilustra um processo de determinação de uma complexidade de mesclagem de acordo com as modalidades do presente pedido; A Figura 12 mostra um diagrama esquemático que ilustra uma estrutura de fluxos de bits de uma pluralidade de representações de vídeo a serem mesclados e uma estrutura de fluxos de bits de uma representação de vídeo mesclado de acordo com um conceito de mesclagem de fluxo de bits do presente pedido; A Figura 13 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo mesclado com outro exemplo de um mesclador de vídeo onde um conceito de mesclagem de fluxo de bits de acordo com as modalidades do presente pedido poderiam ser implementadas; A Figura 14 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo codificado com um exemplo de um codificador de vídeo que fornece uma informação de demanda de capacidade de representação de vídeo mesclado de acordo com as modalidades do presente pedido que poderia ser implementado; A Figura 15 mostra um diagrama de bloco de um aparelho para fornecer uma representação de vídeo como um exemplo de um mesclador de vídeo que fornece informação de demanda de capacidade de representação de vídeo de acordo com as modalidades do presente pedido que poderia ser implementado e. Figura 16 mostra um exemplo de estrutura de uma sintaxe de mensagem de informação aprimorada suplementar (SEI) que indica informação de nível.
[038] A seguinte descrição estabelece detalhes específicos tais como modalidades particulares, procedimentos, técnicas, fim, etc. para propósitos de explicação e não limitação. Deve ser apreciado para aqueles versados na técnica que outras modalidades podem ser empregadas além desses detalhes específicos. Por exemplo, apesar da seguinte descrição ser facilitada usando aplicações de exemplo não limitadoras, a tecnologia pode ser empregada ao qualquer tipo de codec de vídeo. Em alguns casos, descrição detalhada de métodos bem conhecidos, interfaces, circuitos e dispositivos são omitidas para não obscurecer a descrição com detalhes desnecessários.
[039] Elementos iguais ou equivalentes com funcionalidades iguais ou equivalentes são denotados na seguinte descrição por sinais de referência iguais ou equivalentes.
[040] A invenção do presente documento é para fornecer codecs de vídeo futuros tais como VVC (Codificador de Vídeo Versátil) o que significa colocar uma indicação em cada subfluxos de bits que permite a identificação de subfluxos de bits que podem ser mesclados juntos em um fluxo de bits legal ou a identificação de subfluxos que não podem ser mesclados juntos com um nível complexidade dado em um fluxo de bits legal. A indicação, referida como um “identificador de mesclagem” a seguir, ainda fornece informação sobre um método de mesclagem adequado através de uma indicação referida como um “identificador de tipo de mesclagem”. Dado que dois fluxos de bits carregam o “identificador de mesclagem” e o mesmo valor dele, uma mesclagem de subfluxos de bits em um novo fluxo de bits de união com um dado nível de complexidade de mesclagem (método de mesclagem relacionado) é possível.
[041] A Figura 1 mostra um codificador de vídeo 2 para fornecer uma representação de vídeo codificado, ou seja, transmissão contínua de vídeo codificada 12 baseada em transmissão contínua de vídeo fornecida (entrada)10 que compreende um núcleo de codificação 4 que inclui um membro de determinação de parâmetro de codificação 14, e uma provisão do identificador de mesclagem 6. A transmissão contínua de vídeo fornecida 10 assim como a transmissão contínua de vídeo codificada 12 respectivamente têm uma estrutura de fluxo de bits, por exemplo, como mostrado na Figura 2 como uma configuração simplificada. A estrutura de fluxo de bits consiste de uma pluralidade de unidades de Camadas de Abstração de Rede (NAL) e cada unidade de NAL inclui vários parâmetros e/ou dados, por exemplo conjunto de parâmetros de sequência (SPS) 20, conjunto de parâmetros de imagem (PPS) 22, atualização do decodificador instantânea (IDR) 24, informação de aprimoramento suplementar (SEI) 26, e uma pluralidade de fatias 28. A SEI 26 inclui uma variedade de mensagens, ou seja, estrutura das imagens, conjuntos de blocos de restrição de movimentação e assim por diante. A fatia 28 compreende cabeçalho 30 e carga útil
32. O membro de determinação de parâmetro de codificação 14 determina um parâmetro de codificação baseado no SPS 20, PPS 22, SEI 26 e cabeçalho de fatia
30. A IDR 24 não é um fator necessário para determinar o parâmetro de codificação de acordo com o presente pedido, mas a IDR 24 poderia ser, opcionalmente, incluída para determinar o parâmetro de codificação. A provisão do identificador de mesclagem 6 fornece um identificador de mesclagem que indica se e/ou com (com qual complexidade) a transmissão contínua de vídeo codificada pode ser mesclada com outra transmissão contínua de vídeo codificada. O identificador de mesclagem determina um identificador de mesclagem que indica um tipo de identificador de mesclagem que representa, associado a uma complexidade de um procedimento de mesclagem ou, de forma geral, um método de mesclagem “adequado”, por exemplo, mesclagem através da reescrita do conjunto de parâmetros, ou mesclagem através da reescrita do conjunto de parâmetros e cabeçalho de fatia, ou mesclagem através da reescrita do conjuntos de parâmetros, cabeçalho de fatia, carga útil de fatia, em que um identificador de mesclagem é associado ao tipo de identificador de mesclagem, em que o identificador de mesclagem associado a um tipo de identificador de mesclagem compreende aqueles parâmetros de codificação que devem ser iguais em duas diferentes representações de vídeo codificado de modo que duas diferentes representações de vídeo codificado sejam mescláveis usando a complexidade do procedimento de mesclagem representado pelo tipo de identificador de mesclagem.
[042] Como um resultado, a transmissão contínua de vídeo codificada 12 inclui informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem. Nessa modalidade, o identificador de mesclagem é determinado baseado nos parâmetros de codificação. Contudo, também é possível que o valor do identificador de mesclagem valor possa ser estabelecido de acordo com a vontade do operador do codificador com pequena garantia de prevenção de colisão que poderia ser suficiente para um sistema fechado. Entidades terceirizadas como as DVB (Transmissão de Vídeo Digital), ATSC (Comitê de sistemas de televisão avançados) e semelhantes poderiam definir valores do identificador de mesclagem a ser usado dentro dos seus sistemas.
[043] O tipo de identificador de mesclagem é descrito conforme abaixo considerando uma outra modalidade de acordo com a presente invenção usando as Figuras 3 a 9.
[044] A Figura 3a mostra um codificador 2 (2a) que compreende um núcleo de codificação 4 e um identificador de mesclagem 6a, e indica fluxos de dados no codificador 2a. O identificador de mesclagem 6a inclui um primeiro membro de hashing 16a e um segundo membro de hashing 16b que fornece valor hash como o identificador de mesclagem para indicar um tipo de mesclagem. Assim sendo, valor de mesclagem pode ser formado a partir de uma concatenação valores codificados de um conjunto definido de elementos de sintaxe (parâmetros de codificação) de um fluxo de bits, a seguir referido como conjunto de hash. O valor do identificador de mesclagem pode ser também formado pela alimentação da concatenação de valores codificados acima em uma função hash bem conhecida como MD5, SHA-3 ou qualquer outra função adequada. Como mostrado na A Figura 3, a transmissão contínua de vídeo de entrada 10 inclui informação do vídeo de entrada e a transmissão contínua de vídeo de entrada 10 é processada no núcleo de codificação 4. O núcleo de codificação 4 codifica o conteúdo do vídeo de entrada a informação de conteúdo de vídeo codificado é armazenada na carga útil 32. O membro de determinação de parâmetro de codificação 14 recebe informação de parâmetro que inclui o SPS, o PPS, o cabeçalho de fatia e as mensagens de SEI. Essa informação de parâmetro é armazenada em cada unidade correspondente e recebida na provisão do identificador de mesclagem 6a, ou seja, recebida em um primeiro e um segundo membro de hashing 16a e 16b respectivamente. O primeiro membro de hashing 16a produz um valor de hash, por exemplo, indicando o tipo de identificador de mesclagem 2 baseado nos parâmetros de codificação, e o segundo membro de hashing 16b produz um valor de hash, por exemplo, indicando o tipo de identificador de mesclagem 1 baseado nos parâmetros de codificação.
[045] O conteúdo do conjunto de hash, ou seja, que valores do elemento de sintaxe (ou seja, parâmetro de mesclagem) são concatenados para formar o valor do identificador de mesclagem, determina a qualidade da indicação de mesclabilidade em relação as categorias de sintaxe categorias acima.
[046] Por exemplo, um tipo de identificador de mesclagem indica o método de mesclagem adequado em relação a um identificador de mesclagem, ou seja, diferentes níveis de mesclabilidade correspondentes aos elementos de sintaxe incorporados no conjunto de hash: tipo 0 – Identificador de mesclagem para mesclagem através da reescrita de conjunto de parâmetros tipo 1 – Identificador de mesclagem para mesclagem através da reescrita de conjuntos de parâmetros e cabeçalho de fatia tipo 2 – Identificador de mesclagem para mesclagem através da reescrita de conjuntos de parâmetros, cabeçalho de fatia, e carga útil
[047] Por exemplo, dados dois subfluxos de bits de entrada a serem mesclados no contexto de uma aplicação, um dispositivo poderia comparar os valores do identificador de mesclagem e tipo de identificador de mesclagem e concluir sobre os prospectos usando o método associado ao tipo de identificador de mesclagem nos dois subfluxos de bits.
[048] A tabela a seguir dá um mapeamento entre categorias do elemento de sintaxe e o método de mesclagem associado.
Categoria de Sintaxe Método de mesclagem A 0 B 1 C.a 2 C.b, D Transcodificação Completa
[049] Como já mencionado acima, a categoria de sintaxe é, de forma alguma, exaustiva, mas fica claro que uma grande variedade de parâmetros influencia os méritos da mesclagem de subfluxos de bits em um fluxos de bits comum de formas diferentes e que é um peso rastrear a analisar esses parâmetros. Adicionalmente, a categoria de sintaxe e o (tipo de) método de mesclagem não são totalmente correspondentes e, portanto, alguns parâmetros são necessários, por exemplo, para a categoria B, mas os mesmos parâmetros não são necessários para o método de mesclagem 1.
[050] Valores do identificador de mesclagem de acordo com dois ou mais dos valores do tipo de identificador de mesclagem acima são produzidos e são escritos para os fluxos de bits para permitir a um dispositivo fácil identificação do método de mesclagem aplicável. O (tipo de) método de mesclagem 0 indica um primeiro valor do tipo de identificador de mesclagem, o (tipo de) método de mesclagem 1 indica um segundo valor do tipo de identificador de mesclagem, e o (tipo de) método de mesclagem 3 indica um terceiro valor do tipo de identificador de mesclagem.
[051] A sintaxe exemplificativa a seguir deve ser incorporada ao conjunto de hash.
[052] • Mensagem SEI do Conjunto de Bloco de Restrição de Movimentação Temporal que indica uma restrição de movimentação em bloco e fronteiras de imagem (método de mesclagem 0, 1, 2, categoria de sintaxe C.b)
[053] • Mensagem SEI da Estrutura de Informação de Imagem que define a estrutura de GOP (ou seja, mapeamento da ordem de codificação para mostrar ordem, Indicação de Ponto de Acesso Aleatório, estratificação temporal, estrutura de referencialmente) (método de mesclagem 0, 1, 2, categoria de sintaxe C.b)
[054] • Valores do elemento de sintaxe do conjunto de parâmetros
[055] ◦ Conjunto de imagens de referência (método de mesclagem 0, categoria de sintaxe B )
[056] ◦ formato croma (método de mesclagem 0,1,2, categoria de sintaxe D)
[057] ◦ base QP, descolamentos chroma QP (método de mesclagem 0, categoria de sintaxe B)
[058] ◦ luma/chroma de profundidade de bit (método de mesclagem 0,1,2, categoria de sintaxe D)
[059] ◦ parâmetros hrd
[060] • atraso de chegada inicial (método de mesclagem 0, categoria de sintaxe B)
[061] • atraso de remoção inicial (método de mesclagem 0, categoria de sintaxe B)
[062] ◦ ferramentas de codificação
[063] • estruturas de codificação em blocos (tamanho de bloco máx/min, divisões inferidas) (método de mesclagem 0,1, categoria de sintaxe C.a)
[064] • tamanhos de transformada (min/máx) (método de mesclagem 0,1, categoria de sintaxe C.a)
[065] • Uso de bloco PCM (método de mesclagem 0,1, categoria de sintaxe C.a )
[066] • Previsão do vetor de movimentação avançada (método de mesclagem 0,1,2, categoria de sintaxe C.b)
[067] • Deslocamento adaptativo de amostra (método de mesclagem 0, categoria de sintaxe C.b)
[068] • Previsão do vetor de movimentação Temporal (método de mesclagem 0,1,2, categoria de sintaxe C.b)
[069] • intrassuavização (método de mesclagem 0,1, categoria de sintaxe C.a)
[070] • fatias dependentes (método de mesclagem 0, categoria de sintaxe A)
[071] • ocultamento de sinal (método de mesclagem 0,1, categoria de sintaxe C.a)
[072] • previsão ponderada (método de mesclagem 0, categoria de sintaxe A)
[073] • modo de derivação (método de mesclagem 0,1, categoria de sintaxe C.a)
[074] • sincronização de codificação de entropia (método de mesclagem 0,1, categoria de sintaxe C.a) (Skup4)
[075] • Filtro de loop (método de mesclagem 0,1,2 categoria de sintaxe C.b)
[076] • Valores do cabeçalho de fatia
[077] ◦ ID de conjunto de parâmetros (método de mesclagem 0, categoria de sintaxe C.a)
[078] ◦ Conjunto de Imagem de Referência (método de mesclagem 0,1, categoria de sintaxe B)
[079] • Uso de sinalização cp. endereçada de CTU implícita. (referenciada pela Patente Europeia de número de aplicação: EP 18153516) (método de mesclagem 0, categoria de sintaxe A)
[080] Assim sendo, para o primeiro valor do tipo de identificador de mesclagem, ou seja, tipo 0, os elementos de sintaxe (parâmetros ) uma restrição de movimentação em bloco e fronteiras de imagens, a estrutura de GOP, conjunto de imagens de referência, formato croma, parâmetro de quantização base e parâmetro de quantização croma, luma/croma profundidade de bit, parâmetros de decodificação de referência hipotética que inclui um parâmetro que diz respeito à atraso de chegada inicial e um parâmetro de atraso de remoção inicial, estruturas de blocos de codificação, tamanhos mínimos e/ou máximos transformados, um uso de bloco de modulação de código de pulso, uma previsão do vetor de movimentação avançada, um deslocamento adaptativo de amostra, uma previsão do vetor de movimentação a temporal, descreve uma intrassuavização, fatias dependentes, um ocultamento de sinal, uma previsão ponderada, modo de derivação, sincronização de codificação de entropia, um filtro de loop, um valor de cabeçalho de fatia incluindo um ID de conjunto de parâmetros, um valor de cabeçalho de fatia que inclui um conjunto de imagens de referência, e um uso de sinalização endereçada de unidade de transformada de codificação implícita devem ser incorporados ao conjunto de hash.
[081] Para o segundo valor do tipo de identificador de mesclagem, ou seja, tipo 1, os elementos de sintaxe (parâmetros ) uma restrição de movimentação no bloco e fronteiras de imagem, a estrutura de GOP, formato de croma, luma/croma profundidade de bit, estruturas de bloco de codificação, tamanhos máximo e/ou mínimo transformados, um uso de bloco de modulação de código de pulso, uma previsão do vetor de movimentação avançada, um deslocamento adaptativo de amostra, uma previsão do vetor de movimentação temporal, uma intrassuavização, um ocultamento de sinal, modo de derivação, sincronização de codificação de entropia, um filtro de loop, e um valor de cabeçalho de fatia que inclui um conjunto de imagens de referência.
[082] Para o terceiro valor do tipo de identificador de mesclagem, ou seja, tipo 2, os elementos de sintaxe (parâmetros) uma restrição de movimentação no bloco e fronteiras de imagem, a estrutura de GOP, formato de croma, luma/croma profundidade de bit, uma previsão do vetor de movimentação avançada, um deslocamento adaptativo de amostra, uma previsão do vetor de movimentação temporal, um filtro de loop.
[083] A Figura 4 mostra um diagrama esquemático que ilustra um exemplo de parâmetros de codificação de acordo com as modalidades do presente pedido. Na Figura 4, sinal de referência 40 representa tipo 0 e os elementos de sintaxe pertencentes ao tipo 0 são indicados por uma linha pontilhada. Sinal de referência 42 representa tipo 1 e os elementos de sintaxe pertencentes ao tipo 1 são indicados por uma linha normal. Sinal de referência 44 representa tipo 2 e os elementos de sintaxe pertencentes ao tipo 1 são indicados por uma linha tracejada.
[084] As Figura 5a e 5b são um exemplo do conjunto de parâmetros de sequência (SPS) 20 e os elementos de sintaxe que são necessários para tipo 0 são indicados pelo sinal de referência 40. Da mesma maneira, os elementos de sintaxe que são necessários para o tipo 1 são indicadas pelo sinal de referência 42 e os elementos de sintaxe que são necessários para o tipo 2 são indicados pelo sinal de referência 44.
[085] As Figuras 6a e 6b são um exemplo do conjunto de parâmetros de imagens (PPS) 22 e os elementos de sintaxe que são necessários para o 0 são indicados pelo sinal de referência 40, assim como os elementos de sintaxe que são necessários para o tipo 1 são indicados pelo sinal de referência 42.
[086] As Figuras 7a a 7d são um exemplo do cabeçalho de fatia 30 e apenas um elemento de sintaxe do cabeçalho de fatia é necessário para o tipo 0 como indicado pelo sinal de referência 40 na Figura 7c.
[087] A Figura 8 é um exemplo de estrutura das imagens (SOP) 26a e todos os elementos de sintaxe que pertencem à SOP são necessários para o tipo 2.
[088] A Figura 9 é um exemplo de conjuntos de blocos de restrição de movimentação (MCTS) 26b e todos os elementos de sintaxe que pertencem ao MCTS são necessários para o tipo 2.
[089] Como mencionado acima, o identificador de mesclagem 6a da Figura 3 gera o valor do identificador de mesclagem usando uma função hash no membro de hashing 16a assim como o membro de hashing 16b. No caso de dois ou mais valores do identificador de mesclagem forem gerados usando a função hash, os hashes são conectados no sentido de que a entrada para a função hash de um segundo identificador de mesclagem, que engloba elementos adicionais no conjunto de conjunto de hash em relação ao primeiro identificador de mesclagem, usa o primeiro valor do identificador de mesclagem (resultado de hash) ao invés dos respectivos valores do elemento de sintaxe para concatenação da entrada para a função hash.
[090] Adicionalmente, a presença do identificador de mesclagem também fornece uma garantia que os elementos de sintaxe incorporados no conjunto de hash tenham o mesmo valor em todas as unidades de acesso (AUs) da sequência de vídeo codificado (CVS) e/ou fluxos de bits. Além disso, a garantia tem uma forma de uma flag de restrição no perfil /nível de sintaxe dos conjuntos de parâmetros.
[091] O processo de mesclagem é descrito conforme abaixo considerando outra modalidade de acordo com a presente invenção usando as Figuras 10 a 13.
[092] A Figura 10 mostra um mesclador de vídeo para fornecer uma transmissão contínua de vídeo mesclado com base em uma pluralidade de representações de vídeo codificado. O mesclador de vídeo 50 inclui um receptor 52 onde transmissões contínuas de vídeo de entrada 12 (12a e 12b, indicadas na Figura 12) são recebidas, um método do identificador de mesclagem 54 e um processador de mesclagem 56. Transmissão contínua de vídeo mesclada 60 é transmitida para um decodificador. No caso, o mesclador de vídeo 50 é incluído em um decodificador, a transmissão contínua de vídeo mesclado é transmitida para o equipamento do usuário ou qualquer outro aparelho para mostrar a transmissão contínua de vídeo mesclado.
[093] O processo de mesclagem é conduzido pelo identificador de mesclagem e tipo de identificador de mesclagem descrito acima. O processo de mesclagem pode tanto envolver apenas a geração de conjuntos de parâmetros a intercalação de unidades NAL, que é a forma mais leve de mesclagem associada ao tipo de valor 0 do identificador de mesclagem, ou seja, a primeira complexidade. A Figura 12 mostra um exemplo da primeira complexidade do método de mesclagem. Como indicado na Figura 12, conjuntos de parâmetros, ou seja, SPS1 da transmissão contínua de vídeo 12a e SPS2 da transmissão contínua de vídeo 12b são mesclados (SPS mesclado é gerado baseado nos SPS1 e SPS2), e PPS1 da transmissão contínua de vídeo 12a e PPS2 da transmissão contínua de vídeo 12b são mesclados (PPS mesclado é gerado baseado nos PPS1 e PPS2). Os IDR são dados opcionais e, portanto, a explicação é omitida. Adicionalmente, fatias 1,1 e 1,2 da transmissão contínua de vídeo 12a e fatias 2,1 e 2,2 da transmissão contínua de vídeo 12b são intercaladas como ilustrado na transmissão contínua de vídeo mesclado 60. Na Figura 10 e Figura12, duas transmissões contínuas de vídeo 12a e 12b são colocadas como um exemplo. Contudo, mais transmissões contínuas de vídeos podem também ser colocadas e mescladas da mesma maneira.
[094] Quando necessário, o processo de mesclagem também pode incluir reescrita dos cabeçalhos de fatias nos fluxos de bits durante a unidade de intercalação NAL que é associada ao tipo de valor 1 do identificador de mesclagem, ou seja, a segunda complexidade. Adicionalmente e por fim, existem casos onde elementos de sintaxe na carga útil de fatias são necessários para serem ajustados, que está associado ao tipo de valor 2 do identificador de mesclagem, ou seja, a terceira complexidade e requer decodificação e codificação de entropia durante a unidade de intercalação NAL. O identificador de mesclagem e tipo de identificador de mesclagem conduzem a decisão de selecionar um dos processos de mesclagem a serem executas e seus detalhes.
[095] A entrada para o processo de mesclagem é uma lista de subfluxos de bits de entrada que também representa o arranjo espacial. A saído do processo é um fluxo de bits mesclado. De forma geral, em todos os processos de mesclagem de fluxo de bits, conjuntos de parâmetros para os novos fluxos de bits de saída precisam ser gerados, que podem ser baseados em conjuntos de parâmetros dos subfluxos de bits de entrada, por exemplo, o primeiro subfluxos de bits de entrada. Atualizações necessários para o conjunto de parâmetros incluem o tamanho de imagem. Por exemplo, o tamanho de imagem dos fluxos de bits de saída é calculado como a soma dos tamanhos das imagens dos subfluxos de bits de entrada nas respectivas dimensões e no contexto de seus arranjos espaciais.
[096] É uma necessidade do processo de mesclagem de fluxo de bits que todos os subfluxos de bits de entrada carreguem os mesmos valores de pelo menos uma instância do identificador de mesclagem e do tipo de identificador de mesclagem. Em uma modalidade, os processos de mesclagem são associados ao valor mais baixo do tipo de identificador de mesclagem para qual todos os subfluxos de bits carregam o mesmo valor do identificador de mesclagem que é executado.
[097] Por exemplo, diferenças em um valor do identificador de mesclagem com um certo valor do tipo de identificador de mesclagem são usadas no processo de mesclagem para determinar detalhes do processo de mesclagem de acordo com um valor de diferença do tipo de identificador de mesclagem para qual o valor dos identificadores de mesclagem correspondam. Por exemplo, como ilustrado na Figura 11, quando um primeiro identificador de mesclagem 70 com valor de tipo de identificador de mesclagem igual a 0 não corresponde entre dois subfluxos de bits de entrada 70a e 70b, mas um segundo identificador de mesclagem 80 com o valor do tipo de identificador de mesclagem valor 1 corresponde entre os dois subfluxos de bits 80a e 80b, as diferenças nas posições dos bits do primeiro identificador de mesclagem 70 indicam os (cabeçalho de fatia relacionados) elementos de sintaxe que necessitam de ajustes em todas as fatias.
[098] A Figura 13 mostra um mesclador de vídeo 50 (50a) que compreende um receptor (não mostrado), um método de identificador de mesclagem que compreende um comparador de identificador de mesclagem 54a e um comparador de parâmetro de codificação 54b, e um processador de mesclagem 56. No caso da transmissão contínua de vídeo de entrada 12 incluir valor de hash como o valor do identificador de mesclagem, os valores de cada transmissão contínua de vídeos de entrada são comparados no comparador de identificador de mesclagem 54a. Por exemplo, quando ambas as transmissões contínuas de vídeos de entrada têm o mesmo valor do identificador de mesclagem, parâmetros de codificação individuais de cada transmissão contínua de vídeos de entrada são comparados no comparador de parâmetros de codificação 54b. Baseado no resultado da comparação do parâmetro de codificação, o método de mesclagem é decidido e o processador de mesclagem 56 mescla as transmissões contínuas de vídeos de entrada 12 ao usar o método de mesclagem decidido. No caso do valor do identificador de mesclagem (valor de hash) também indicar o método de mesclagem, a comparação do parâmetro codificação individual não é necessária.
[099] Acima, três métodos de mesclagem, método de mesclagem de uma primeira complexidade, uma segunda complexidade e uma terceira complexidade são explicados. Um quarto método de mesclagem é uma mesclagem de transmissões contínuas de vídeos que usa uma decodificação de pixel completa e recodificação de pixel. O quarto de método de mesclagem é aplicado, no caso de todos os três métodos de mesclagem não serem aplicáveis.
[0100] O processo para identificar o nível de resultado da mesclagem é descrever, conforme abaixo, considerando outra modalidade de acordo com a presente invenção usando as Figuras 14 e 15. A identificação do nível de resultado de mesclagem significa colocar informação em um subfluxos de bits e o quanto a contribuição dos subfluxos de bits para os limites de nível de um fluxo de bits mesclado incorpora aos subfluxos de bits.
[0101] A Figura 14 mostra um codificador 2 (2b) que compreende o núcleo de codificação que inclui uma determinação do parâmetro de codificação 14, provisão do identificador de mesclagem (não mostrado), e um provedor de capacidade de granulosidade 8.
[0102] Em geral, quando subfluxos de bits estão para serem mesclados em um fluxo de bits de união, uma indicação de como subfluxos de bits individuais contribuem para os limites de nível específicos de um sistema de codec que um potencial fluxo de bits mesclado tem que aderir é vital para assegurar a criação de um fluxo de bits de união legal. Enquanto, tradicionalmente, a granulosidade de nível de é bastante grossa, por exemplo, diferenciando resoluções dominantes como 720p, 1080p ou 4K, a indicação de limite de nível de mesclagem requer uma granulosidade muito mais fina. The granulosidade dessa indicação de nível tradicional é insuficiente para expressar a contribuição dos subfluxos de bits individuais para um fluxo de bits mesclado. Dado que, o número de blocos a serem mesclados é desconhecido de antemão, uma troca razoável de flexibilidade e custo de taxa de bits precisa ser encontrada, porém está excedendo, em muito, o limite de nível granulosidade tradicional de forma geral. Umm caso de uso exemplificativo é transmitir de forma contínua vídeo em 360 graus onde um provedor de serviço requer liberdade para escolher entre diferentes estruturas em bloco tais como 12, 24 ou 96 blocos por vídeo em 360 graus, em que cada fluxo de bloco contribuiria 1/12, 1/24 ou 1/96 do limite de nível geral tal como 8K assumindo uma taxa de distribuição igual. Ainda mais, assumindo uma taxa de distribuição não uniforme por entre os blocos, por exemplo,
para alcançar qualidade constante sobre o plano de vídeo, pode requerer uma granulosidade fina arbitrária.
[0103] Tal sinalização, por exemplo, seria uma razão sinalizada e/ou porcentagem de um nível sinalizado adicional. Por exemplo, em um cenário e conferência com quatro participantes, cada participante enviaria um fluxo de bits nível 3 legal que também inclui a indicação, ou seja, informação de nível incluída na informação de capacidade de granulosidade grossa, a indicação afirmando que os fluxos de bits enviados aderem a 1/3 e/ou 33% dos limites do nível 5, ou seja essa informação pode ser incluída na informação de capacidade de granulosidade fina. Um receptor de tais transmissões múltiplas, ou seja, um mesclador de vídeo 50 (50b) com ilustrado na Figura 15, por exemplo, poderia, portanto, saber que três desses fluxos de bits poderiam ser mesclados em um único fluxo de bits de união aderindo ao nível 5
[0104] Na Figura 15, o mesclador de vídeo é ilustrado compreendendo um receptor 52 e um processador de mesclagem 56, e uma pluralidade de transmissões contínuas de vídeo são colocadas dentro do mesclador de vídeo. O mesclador de vídeo pode ser incluído em um decodificador de vídeo ou, não está indicado nas Figuras, contudo, o receptor pode funcionar como um decodificador. O decodificador (não indicado nas Figuras) recebe fluxo de bits que compreende uma pluralidade de subfluxo de bits, uma pluralidade de parâmetros de codificação, a informação de capacidade de granulosidade grossa e fina. A informação de granulosidade grossa e fina carregada na Mensagem de SEI, e o decodificador analisam a informação recebida e traduzem o nível e fração limites de nível usáveis do decodificador. Então, o decodificador verifica se o fluxo de bits que está encontrando realmente adere ao limite expressado. O resultado verificado é fornecido ao mesclador de vídeo ou processador de mesclagem. Portanto, como já mencionado acima, é possível que o mesclador de vídeo possa saber que uma pluralidade de subfluxos de bits é mesclável um único fluxo de bits comum.
[0105] A informação de capacidade de granulosidade pode ter a indicação da razão e/ou porcentagem com valores em vetor, cada dimensão sendo relativa a um outro aspecto o dos limites de nível codec, por exemplo, quantidade máxima permitida de amostras luma por segundo, tamanho de imagem máximo, taxa de bits, preenchimento de armazenamento temporário, número de blocos ou semelhante. Adicionalmente, a razão e/ou porcentagem se referem ao nível de codec geral dos fluxos de bits do vídeo.
[0106] A Figura 16 um exemplo de estrutura de sintaxe de mensagem de informação aprimorada suplementar (SEI) que indica informação de nível.
[0107] Como descrito em uma recomendação ITU-T H.266, uma sintaxe indicada por um sinal de referência 100 “sli_non_subpic_layers_fraction[ i ][ k ]” indica a fração i-ésima dos limites de nível dos fluxo de bits associados a camadas em targetCvss que tem sps_num_subpics_minus1 igual a 0 quando Htid é igual a k. Quando vps_max_layers_minus1 é igual a 0 ou quando nenhuma camada no fluxo de bits tem sps_num_subpics_minus1 igual a 0, sli_non_subpic_layers_fraction[ i ][ k ] deve ser igual a 0. Quando k é menor que sli_max_sublayers_minus1 e sli_non_subpic_layers_fraction[ i ][ k ] não está presente, é inferido ser igual a sli_non_subpic_layers_fraction[ i ][ k + 1 ]. Assim sendo, a sintaxe 100 descreve uma fração de nível que diz respeito a um nível indicado (sli_ref_level_idc) ou que diz respeito a sinalização de nível geral nos conjuntos de parâmetros. Essa sintaxe se aplica apenas às camadas sem subimagens, ou seja, para todo o plano de imagem.
[0108] Uma sintaxe indicada por um sinal de referência 102 na Figura 16 “sli_ref_level_idc[ i ][ k ]” indica o nível i-ésimo para qual cada sequência de subimagem conforme especificado em Anexo de uma recomendação ITU-T H.266 quando Htid é igual a k. Fluxos de bits não devem conter valores de sli_ref_level_idc[ i ][ k ] sem ser aqueles especificados em Anexo da uma recomendação ITU-T H.266. Outros valores de sli_ref_level_idc[ i ][ k ] são reservados para uso futuro por ITU-T | ISO/IEC. É um requisito da conformidade do fluxo de bits que o valor de sli_ref_level_idc[ 0 ][ k ] deve ser igual ao valor de general_level_idc dos fluxo de bits e que o valor de sli_ref_level_idc[ i ][ k ] deve ser menor que ou igual sli_ref_level_idc[ m ][ k ] para qualquer valor de i maior que 0 e m maior que i. Quando k é menor que sli_max_sublayers_minus1 e sli_ref_level_idc[ i ][ k ] não está presente, infere-se que seja igual a sli_ref_level_idc[ i ][ k + 1 ]. Essa sintaxe descreve o nível indicado especificamente para a sinalização de fração.
[0109] Também como descrito em uma recomendação ITU-T H.266, uma sintaxe indicada por um sinal de referência 104 na Figura 16 “sli_ref_level_fraction_minus1[ i ][ j ][ k ]” mais 1 especifica que a fração i-ésima dos limites de nível, associada com sli_ref_level_idc[ i ][ k ], para subimagens com índice de subimagem igual a j em camadas em targetCvss que têm sps_num_subpics_minus1 maior que 0 quando Htid é igual a k. Quando k é menor que sli_max_sublayers_minus1 e sli_ref_level_fraction_minus1[ i ][ j ][ k ] não está presente, infere-se que seja igual a sli_ref_level_fraction_minus1[ i ][ j ][ k + 1 ]. Essa sintaxe é similar a sintaxe 100 mas se aplica a sibimagens individuais em cadamas com tais subimagens.
[0110] A seguir, modalidades adicionais e aspectos da invenção serão descritos que podem ser usados individualmente ou em combinação com qualquer um dos recursos e funcionalidades e detalhes descritos no presente documento.
[0111] Um primeiro aspecto refere-se a um codificador de vídeo para fornecer uma representação de vídeo codificada, em que o codificador de vídeo é configurado para fornecer uma transmissão contínua de vídeo que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificada e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificada pode ser mesclada com uma outra representação de vídeo codificada.
[0112] De acordo com um segundo aspecto, se referindo de volta ao primeiro aspecto, no codificador de vídeo, usando qual complexidade é determinada baseada em um valor de parâmetro definido pela informação de parâmetro.
[0113] De acordo com um terceiro aspecto, se referindo de volta ao primeiro ou segundo aspecto, no codificador de vídeo, o identificador de mesclagem é uma concatenação de uma pluralidade de parâmetros de codificação.
[0114] De acordo com um quarto aspecto, se referindo de volta a qualquer um do primeiro ao terceiro aspectos, no codificador de vídeo, o identificador de mesclagem é um valor de hash de uma concatenação de uma pluralidade de parâmetros de codificação.
[0115] De acordo com um quinto aspecto, se referindo de volta a qualquer um do primeiro ao quarto aspectos, no codificador de vídeo, o identificador de mesclagem indica um tipo de identificador de mesclagem que representa uma complexidade de um procedimento de mesclagem.
[0116] De acordo com um sexto aspecto, se referindo de volta ao quinto aspecto, no codificador de vídeo, um valor do tipo de identificador de mesclagem indica um processo de mesclagem, em que o codificador de vídeo é configurado para alternar entre, pelo menos, dois dos seguintes valores do tipo de identificador de mesclagem; um primeiro valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita do conjunto de parâmetros, um segundo valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita dos conjuntos de parâmetros e cabeçalho de fatia, e um terceiro valor do tipo de identificador de mesclagem que representa um processo de mesclagem através da reescrita dos conjuntos de parâmetros, cabeçalho de fatia, e carga útil de fatia.
[0117] De acordo com um sétimo aspecto, se referindo de volta a qualquer um do primeiro ao sexto aspectos, no codificador de vídeo, uma pluralidade de identificadores de mesclagem é associada a diferentes complexidades dos procedimentos de mesclagem.
[0118] De acordo com um oitavo aspecto, se referindo de volta a qualquer um do primeiro ao sétimo aspectos, o codificador é configurado para verificar se os parâmetros de codificação que são avaliados para uma provisão do identificador de mesclagem são idênticos em todas as unidades de uma sequência de vídeo, e para fornecer o identificador de mesclagem em dependência da verificação.
[0119] De acordo com um nono aspecto, se referindo de volta a qualquer um dos primeiro ao oitavo aspectos, no codificador de vídeo, a pluralidade de parâmetros de codificação incluindo parâmetros relevantes de mesclagem que devem ser idênticos em diferentes transmissões contínuas de vídeo para permitir uma mesclagem que têm menos complexidade que mesclando pela decodificação por pixel completo, e o codificador de vídeo é configurado para fornecer o um ou mais identificadores de mesclagem com base em parâmetros relevantes de mesclagem.
[0120] De acordo com um décimo aspecto, se referindo de volta ao nono aspecto, no codificador de vídeo, os parâmetros relevantes de mesclagem incluem um ou mais ou todos dentre os seguintes parâmetros : um parâmetro que descreve uma restrição de movimentação em uma fronteira de bloco, informação que diz respeito a estrutura de grupo de imagem (GOP), um parâmetro que descreve um formato de codificação croma e um parâmetro que descreve um formato luma de codificação, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve uma previsão de vetor de movimentação temporal, e um parâmetro que descreve filtro de loop.
[0121] De acordo com um décimo primeiro aspecto, se referindo de volta a qualquer um dos primeiro ao sétimo aspectos, no codificador de vídeo, um identificador de mesclagem associado com uma primeira complexidade de um procedimento de mesclagem é determinado com base em um primeiro conjunto de parâmetros de codificação, quando um parâmetro de mesclagem associado a uma segunda complexidade de um procedimento de mesclagem, que é mais alto que a primeira complexidade, é determinado com base em um segundo conjunto de parâmetros de codificação, que é um verdadeiro subconjunto do primeiro conjunto de parâmetros de codificação.
[0122] De acordo com um décimo segundo aspecto, se referindo de volta ao décimo primeiro aspecto, no codificador de vídeo, um identificador de mesclagem associado com um terceiro complexidade de um procedimento de mesclagem, que é mais alto que a segunda complexidade, é determinado na base de um terceiro conjunto de parâmetros de codificação, que é um verdadeiro subconjunto do segundo conjunto de parâmetros de codificação.
[0123] De acordo com a décimo terceiro aspecto, se referindo de volta ao décimo primeiro ou décimo segundo aspecto, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a primeira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que deve ser igual em duas diferentes transmissões contínuas de vídeo para permitir uma mesclagem de transmissões contínuas de vídeo que apenas modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias enquanto deixam cabeçalhos de fatias e carga útil de fatia inalteradas.
[0124] De acordo com a décimo quarto aspecto se referindo de volta ao décimo primeiro ou décimo segundo aspecto, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a primeira complexidade de um ou mais ou todos os seguintes parâmetros: um parâmetro que indica uma restrição de movimentação em bloco e fronteiras de imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve conjuntos de imagens de referência, um parâmetro que descreve formato croma, um parâmetro que descreve parâmetro de quantização base e parâmetro de quantização croma, um parâmetro que descreve luma/croma profundidade de bit, um parâmetro que descreve parâmetros de decodificação de referência hipotética incluindo um parâmetro que diz respeito a atraso de chegada inicial e um parâmetro de atraso de remoção inicial, um parâmetro que descreve estruturas de bloco de códigos, um parâmetro que descreve um tamanho máximo /mínimo transformado, um parâmetro que descreve um uso de bloco de modulação de código de pulso, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve uma previsão de vetor de movimentação temporal, um parâmetro que descreve uma intrassuavização, um parâmetro que descreve fatias dependentes, um parâmetro que descreve a ocultamento de sinal, um parâmetro que descreve uma previsão ponderada, um parâmetro que descreve modo de derivação, um parâmetro que descreve uma sincronização de codificação de entropia, um parâmetro que descreve um filtro de loop, um parâmetro que descreve um valor de cabeçalho de fatia que inclui um ID de um conjunto de parâmetros, um parâmetro que descreve um valo de cabeçalho de fatia incluindo um conjunto de imagens de referência, e um parâmetro que descreve um uso sinalização endereçada de unidade de transformada de codificação implícita.
[0125] De acordo com décimo quinto aspecto, se referindo de volta a qualquer um dos décimo primeiro ao décimo quarto aspectos, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a segunda complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que deve ser igual em duas diferentes transmissões contínuas de vídeo para permitir a mesclagem das transmissões contínuas de vídeo que modificam conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias e que também modificam cabeçalhos de fatias enquanto deixam carga útil de fatia inalteradas.
[0126] De acordo com um décimo sexto aspecto, se referindo de volta a qualquer um do décimo primeiro ao décimo quinto aspectos, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a segunda complexidade em um ou mais, ou todos os seguintes parâmetros:
um parâmetro que indica uma restrição de movimentação em bloco e fronteiras de imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve formato croma, um parâmetro que descreve luma/croma profundidade de bit, um parâmetro que descreve estruturas de bloco de códigos, um parâmetro que descreve um tamanho máximo /mínimo transformado, um parâmetro que descreve um uso de bloco de modulação de código de pulso, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve a previsão de vetor de movimentação temporal, um parâmetro que descreve uma intrassuavização, um parâmetro que descreve a ocultamento de sinal, um parâmetro que descreve modo de derivação, um parâmetro que descreve uma sincronização de codificação de entropia, um parâmetro que descreve um filtro de loop, um parâmetro que descreve um valo de cabeçalho de fatia incluindo um conjunto de imagens de referência.
[0127] De acordo com décimo sétimo aspecto, se referindo de volta a qualquer um dos décimo primeiro ao décimo sexto aspectos, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a terceira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que deve ser igual em duas diferentes transmissões contínuas de vídeo para permitir a mesclagem das transmissões contínuas de vídeo que modificam conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias, e que também modificam cabeçalhos de fatias e carga útil de fatia mas que não executam uma decodificação de pixel completa e recodificação de pixel.
[0128] De acordo com décimo oitavo aspecto, se referindo de volta a qualquer um do décimo primeiro ao decimo sétimo aspectos, o codificador de vídeo é configurado para determinar o identificador de mesclagem associado a terceira complexidade com base em um ou mais, ou todos os seguintes parâmetros: um parâmetro que indica uma restrição de movimentação em bloco e fronteiras de imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve formato croma, um parâmetro que descreve luma/croma profundidade de bit, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve a previsão de vetor de movimentação temporal, um parâmetro que descreve um filtro de loop.
[0129] De acordo com um décimo nono aspecto, se referindo de volta a qualquer um dos primeiro ao décimo oitavo aspectos, o codificador de vídeo é configurado para aplicar uma função de hash para uma concatenação de um segundo identificador de mesclagem, que é associado a uma segunda complexidade de um procedimento de mesclagem, e um ou mais parâmetros de codificação, que não foram considerados na determinação do segundo identificador de mesclagem, a fim de obter um primeiro identificador de mesclagem que é associado a primeira complexidade de um procedimento de mesclagem que é mais baixa que a segunda complexidade.
[0130] De acordo com um vigésimo aspecto, se referindo de volta a qualquer um dos primeiro ao décimo nono aspectos, o codificador de vídeo é configurado para aplicar uma função de hash a uma concatenação de um terceiro identificador de mesclagem, que é associado a uma terceira complexidade de um procedimento de mesclagem, e um ou mais parâmetros de codificação, que não foram considerados na determinação do terceiro identificador de mesclagem, a fim de obter um segundo identificador de mesclagem que é associado a uma segunda complexidade de um procedimento de mesclagem que é mais baixa que a terceira complexidade.
[0131] Um vigésimo primeiro aspecto, refere-se a um mesclador de vídeo para fornecer uma representação de vídeo a mesclada base em uma pluralidade de representações de vídeo codificadas, em que o mesclador de vídeo é configurado para receber uma pluralidade de transmissões contínuas de vídeo que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificada e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificada pode ser mesclada com uma outra representação de vídeo codificada; em que o mesclador de vídeo é configurado para decidir sobre o uso de um método de mesclagem em dependência dos identificadores de mesclagem.
[0132] De acordo com um vigésimo segundo aspecto, se referindo de volta ao vigésimo primeiro aspecto, o mesclador de vídeo é configurado para selecionar um método de mesclagem, dentre uma pluralidade de métodos de mesclagem, em dependência dos identificadores de mesclagem.
[0133] De acordo com um vigésimo terceiro aspecto, se referindo de volta ao vigésimo segundo aspecto, o mesclador de vídeo é configurado para selecionar entre, pelo menos, dois dos seguintes método de mesclagem; um primeiro método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo que apenas modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias enquanto deixam cabeçalhos de fatia e carga útil de fatia inalterados; um segundo método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias e que também modificam cabeçalhos de fatia enquanto deixa carga útil de fatia inalterada; e um terceiro método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias, e que também modifica cabeçalhos de fatia e carga útil de fatia mas que não executa uma decodificação de pixel completa e recodificação de pixel em dependência de um ou mais identificadores de mesclagem.
[0134] De acordo com um vigésimo quarto aspecto, se referindo de volta ao vigésimo terceiro aspecto, o mesclador de vídeo é configurado para usar seletivamente um quarto método de mesclagem, que é uma mesclagem de transmissões contínuas de vídeo que usa uma decodificação de pixel completa e recodificação de pixel, em dependência de um ou mais identificadores de mesclagem.
[0135] De acordo com um vigésimo quinto aspecto, se referindo de volta a qualquer um do vigésimo segundo ao vigésimo quarto aspectos, o mesclador de vídeo é configurado para comparar identificadores de mesclagem de duas ou mais transmissões contínuas de vídeo associadas ao mesmo método de mesclagem dado para tomar uma decisão se executa uma mesclagem usando o método de mesclagem dado em dependência de um resultado da comparação.
[0136] De acordo com um vigésimo sexto aspecto, se referindo de volta ao vigésimo quinto aspecto, o mesclador de vídeo é configurado para executar, seletivamente, uma mesclagem usando o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem de duas ou mais transmissões contínuas de vídeo associadas ao método de mesclagem dado são iguais.
[0137] De acordo com um vigésimo sétimo aspecto, se referindo de volta ao vigésimo quinto aspecto, o mesclador de vídeo é configurado para usar um método de mesclagem que tem complexidade mais alta que o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem de duas ou mais transmissões contínuas de vídeo associadas ao método de mesclagem dado são diferentes.
[0138] De acordo com vigésimo oitavo aspecto, se referindo de volta ao vigésimo sétimo aspecto, o mesclador de vídeo é configurado para comparar, seletivamente, parâmetros de codificação que devem ser iguais em duas ou mais transmissões contínuas de vídeo para permitir uma mesclagem das transmissões contínuas de vídeo usando o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem de duas ou mais transmissões contínuas de vídeo associadas ao método de mesclagem dado são iguais, e em que o mesclador de vídeo é configurado para executar, seletivamente, uma mesclagem usando o método de mesclagem dado se a comparação dos ditos parâmetros de codificação indicarem que os parâmetros de codificação são iguais, e em que o mesclador de vídeo é configurado para executar uma mesclagem usando um método de mesclagem que tem uma complexidade mais alta que o método de mesclagem dado se a comparação dos ditos parâmetros de codificação indicarem que os parâmetros de codificação compreendem uma diferença.
[0139] De acordo com um vigésimo nono aspecto, se referindo de volta, a qualquer um dos vigésimo primeiro a vigésimo oitavo aspectos, o mesclador de vídeo é configurado para comparar identificadores de mesclagem associados ao método de mesclagem que têm diferentes complexidades, e em que o mesclador de vídeo é configurado para mesclar as duas ou mais transmissões contínuas de vídeo usando o método de mesclagem de complexidade mais baixa em que os identificadores de mesclagem associados são iguais em duas ou mais transmissões contínuas de vídeo a serem mescladas.
[0140] De acordo com um trigésimo aspecto, se referindo de volta a qualquer um dos vigésimo segundo a vigésimo nono aspectos, o mesclador de vídeo é configurado para comparar identificadores de mesclagem associados aos método de mesclagem que têm diferentes complexidades, e em que o mesclador de vídeo é configurado para identificar um método de mesclagem de complexidade mais baixa em que os identificadores de mesclagem associados são iguais em duas ou mais transmissões contínuas de vídeo a serem mescladas; e em que o mesclador de vídeo é configurado para comparar um conjunto de parâmetros de codificação, que deve ser igual nas duas ou mais transmissões contínuas de vídeo a serem mescladas para permitir uma mesclagem usando o método de mesclagem identificado, e em que o mesclador de vídeo é configurado para mesclar as duas ou mais transmissões contínuas de vídeo usando o método de mesclagem identificado se a comparação indicar que os parâmetros de codificação do conjunto de parâmetros de codificação associado ao método de mesclagem identificado são iguais nas transmissões contínuas de vídeo a serem mescladas.
[0141] De acordo com trigésimo primeiro aspecto, se referindo de volta a qualquer um do vigésimo segundo ao trigésimo aspectos, o mesclador de vídeo é configurado para determinar quais parâmetros de codificação devem ser modificados em um processo de mesclagem em dependência de uma ou mais diferenças entre identificadores de mesclagem de diferentes transmissões contínuas de vídeo a serem mescladas.
[0142] De acordo com um trigésimo segundo aspecto, se referindo de volta ao trigésimo primeiro aspecto, o mesclador de vídeo é configurado para determinar quais parâmetros de codificação devem ser modificados em um método de mesclagem que tem uma complexidade dada em dependência de uma ou mais diferenças entre o identificador de mesclagem, associado ao a método de mesclagem que uma complexidade mais baixa que a complexidade dada, de diferentes transmissões contínuas de vídeo a serem mescladas.
[0143] De acordo com um trigésimo terceiro aspecto, se referindo de volta a qualquer um dos vigésimo primeiro ao trigésimo segundo aspectos, o mesclador de vídeo é configurado para obter parâmetros de codificação comuns, que são associados as fatias de todas as transmissões contínuas de vídeo a serem mescladas, com base nos parâmetros de codificação das transmissões contínuas de vídeo a serem mescladas, e para incluir os parâmetros de codificação comuns na transmissão contínua de vídeo mesclada.
[0144] De acordo com um trigésimo quarto aspecto, se referindo de volta ao trigésimo primeiro aspecto, o mesclador de vídeo é configurado para adaptar parâmetros de codificação individualmente associados as fatias de vídeo individuais, a fim de obter fatias modificadas a serem incluídas na transmissão contínua de vídeo mesclada.
[0145] De acordo com um trigésimo quinto aspecto, se referindo de volta ao trigésimo quarto aspecto, no mesclador de vídeo, os parâmetros de codificação adaptados incluem um parâmetro que representa um tamanho de imagem da representação de vídeo codificada mesclada, em que o tamanho de imagem é calculado baseado no tamanho de imagem das representações de vídeo codificadas a serem mescladas.
[0146] Um trigésimo sexto aspecto refere-se a um método para fornecer uma representação de vídeo codificada, que compreende fornecer uma transmissão contínua de vídeo que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificada e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificada pode ser mesclada com uma outra representação de vídeo codificada.
[0147] Um trigésimo sétimo aspecto refere-se a um método para fornecer uma representação de vídeo mesclada com base em uma pluralidade de representações de vídeo codificadas, que compreende receber uma pluralidade de transmissões de contínuas de vídeo que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificada e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificada pode ser mesclada com uma outra representação de vídeo codificada; e selecionar um método de mesclagem, dentre uma pluralidade de métodos de mesclagem, em dependência dos identificadores de mesclagem.
[0148] Um trigésimo oitavo aspecto refere-se a um método de mesclagem para mesclar duas ou mais transmissões contínuas de vídeo, que compreende fornecer informação de parâmetro de codificação comum com base informação de parâmetro decodificação de transmissões contínuas de vídeo enquanto deixam informação de conteúdo de vídeo codificada inalterada; seleciona o procedimento de mesclagem baseado na informação de conteúdo de vídeo codificada inalterada; e mescla duas ou mais transmissões contínuas de vídeo usando o procedimento de mesclagem selecionado.
[0149] Um trigésimo nono aspecto refere-se a um programa de computador que tem um código de programa para executar, quando executado em um computador, qualquer um dos métodos de acordo com o trigésimo sexto ao trigésimo oitavo aspectos.
[0150] Um quadragésimo aspecto refere-se a um fluxo de dados gerado por qualquer um dos métodos de acordo com o trigésimo sexto ao trigésimo oitavo aspectos.
[0151] Apesar de alguns aspectos terem sido descritos no contexto de um aparelho ou um sistema, é claro que esses aspectos também representam a descrição do método correspondente, onde um bloco ou dispositivo corresponde a uma etapa do método ou um recurso de uma etapa do método. Analogamente, aspectos descritos no contexto de uma etapa do método também representam uma descrição do bloco ou item correspondente, ou recurso de um aparelho e/ou sistema correspondente. Algumas ou todas as etapas do método podem ser executadas pelo (ou usando) um aparelho de hardware, como por exemplo, um microprocessador, um computador programável, ou um circuito eletrônico. Em algumas modalidades, uma ou mais das etapas mais importantes do método podem ser executadas por tais aparelhos.
[0152] O fluxo de dados inventivo pode ser armazenado em um meio de armazenamento digital ou pode ser transmitido em um meio de transmissão como meio de transmissão sem fio ou um meio de transmissão como fio com a Internet.
[0153] Dependendo de certos requisitos de implementação, modalidades da invenção podem ser implementadas em hardware ou software. A implementação pode ser executada ao usar um meio de armazenamento digital, por exemplo, um disquete, um DVD, um Blu-Ray, um CD, uma ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória FLASH, que têm sinais de controle legíveis eletronicamente armazenados neles, em cooperação (ou são capazes de cooperar) com um sistema de computador programável de modo que o respectivo método seja executado. Portanto, o meio de armazenamento digital pode ser legível por computador.
[0154] Algumas modalidades de acordo com a invenção compreende um carregador de dados que tem sinais de controle legíveis eletronicamente, que são capazes de cooperar com um sistema de computador programável, de modo que um dos métodos descritos no presente documento seja executado.
[0155] De forma geral, modalidades da presente invenção podem ser implementadas produtos de programas de computador com um código de programa, sendo o código de programa operado para executar um dos métodos quando o produto do programa de computador executa em um computador. O código do programa pode por exemplo ser armazenado em um carregador legível de máquina.
[0156] Outras modalidades compreendem o programa de computador para executar um dos métodos descritos no presente documento, armazenado em um carregador legível de máquina.
[0157] Em outras palavras, uma modalidade do método inventivo é, portanto, um programa de computador que tem um código de programa para executar um dos métodos descritos no presente documento, quando programa de computador executa em um computador.
[0158] Uma outra modalidade dos métodos inventivos é, portanto, um carregador de dados (ou um meio de armazenamento digital, ou um meio leitor de computador) que compreende, gravado nele, o programa de computador para executar um dos métodos descritos no presente documento. O carregador de dados, meio de armazenamento digital ou o meio gravado são tipicamente tangíveis e/ou não transicionais.
[0159] Uma outra modalidade do método inventivo é, portanto, um fluxo de dados ou uma sequência de sinais que representa o programa de computador para executar um dos métodos descritos no presente documento. Os fluxos de dados ou a sequência de sinais podem, por exemplo, serem configuradas para serem transferidos por meio de uma conexão de comunicação de dados, por exemplo por meio da Internet.
[0160] Uma outra modalidade compreende um meio de processamento, por exemplo, um computador, ou dispositivo lógico de programação, configurado, ou adaptado, para executar um dos métodos descritos no presente documento.
[0161] Uma outra modalidade compreende um computador que tem instalado nele o programa de computador para executar um dos métodos descritos no presente documento.
[0162] Uma outra modalidade de acordo com a invenção compreende um aparelho ou um sistema configurado para transferir (por exemplo, eletronicamente ou opticalmente) um programa de computador para executar um dos métodos descritos no presente documento a um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou semelhante. O aparelho, ou sistema pode, por exemplo, compreender um servidor de arquivo para transferir o programa de computador a um receptor.
[0163] Em algumas modalidades, um dispositivo lógico programável (por exemplo uma matriz de portas programáveis em campo) pode ser usado para executar alguma ou todas as funcionalidades dos métodos descritos no presente documento. Em algumas modalidades, uma matriz de portas programáveis em campo pode cooperar com um microprocessador a fim de executar um dos métodos descritos no presente documento. De forma geral, os métodos são executados, preferencialmente, por qualquer aparelho de hardware.
[0164] O aparelho descrito no presente documento pode ser implementado usando um aparelho de hardware, ou usando um computador, ou usando uma combinação de um aparelho de hardware e um computador.
[0165] O aparelho descrito no presente documento, ou quaisquer componentes dos aparelhos descritos no presente documento, pode ser implementado, pelo menos parcialmente, em um hardware e/ou software.
[0166] Os métodos descritos no presente documento podem ser executados usando um aparelho de hardware, ou usando um computador, ou usando uma combinação de um aparelho de hardware e um computador.
[0167] Os métodos descritos no presente documento, ou quaisquer componentes do aparelho descrito no presente documento, pode ser executado, pelo menos parcialmente, por hardware e/ou por software.
[0168] As modalidades descritas acima são meramente ilustrativas para os princípios da presente invenção. Entende-se que as motivações e variações dos arranjos e os detalhes descritos no presente documento serão aparentes para outros versados na técnica. É a intenção, portanto, de ser limitada apenas pelo escopo das reinvindicações de patentes iminentes e não pelos detalhes específicos a título de descrição e explicação das modalidades do presente documento.

Claims (60)

REIVINDICAÇÕES
1. Codificador de vídeo (2) para fornecer uma representação de vídeo codificado (12), sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer uma transmissão contínua de vídeo (12) que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificado (12) pode ser mesclada com outra representação de vídeo codificado.
2. Codificador de vídeo (2), de acordo com a reivindicação 1, caracterizado por uso de qual complexidade ser determinado com base em um valor de parâmetro definido pela informação de parâmetro.
3. Codificador de vídeo (2), de acordo com a reivindicação 1 ou 2, caracterizado por o identificador de mesclagem ser a concatenação de uma pluralidade de parâmetros de codificação (20, 22, 26, 30).
4. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 3, caracterizado por o identificador de mesclagem ser um valor de hash de uma concatenação de uma pluralidade de parâmetros de codificação (20, 22, 26, 30).
5. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por o identificador de mesclagem indicar um tipo de identificador de mesclagem (40, 42, 44) que representa uma complexidade de um procedimento de mesclagem.
6. Codificador de vídeo (2), de acordo com a reivindicação 5, caracterizado por um valor do tipo de identificador de mesclagem (40, 42, 44) indicar um processo de mesclagem, em que o codificador de vídeo é configurado para alternar entre pelo menos dois dos seguintes valores do tipo de identificador de mesclagem; um primeiro valor do tipo de identificador de mesclagem (40) que representa um processo de mesclagem através de reescrita de conjunto de parâmetros (20, 22, 26),
um segundo valor do tipo de identificador de mesclagem (42) que representa um processo de mesclagem através de reescrita de conjuntos de parâmetros (20, 22, 26) e de cabeçalho de fatia (30), e um terceiro valor do tipo de identificador de mesclagem (44) que representa um processo de mesclagem através de reescrita de conjuntos de parâmetros (20, 22, 26), de cabeçalho de fatia (30) e de carga útil de fatia (32).
7. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 6, caracterizado por uma pluralidade de identificadores de mesclagem ser associada com diferentes complexidades de procedimentos de mesclagem.
8. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 7, caracterizado por o codificador (2) ser configurado para verificar se os parâmetros de codificação (20, 22, 26, 30), que são avaliados para uma provisão do identificador de mesclagem, são idênticos em todas as unidades de uma sequência de vídeo, e para fornecer o identificador de mesclagem em dependência da verificação.
9. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 8, caracterizado por a pluralidade de parâmetros de codificação (20, 22, 26, 30) incluir parâmetros relevantes de mesclagem que devem ser idênticos em diferentes transmissões contínuas de vídeo para permitir uma mesclagem que tem menos complexidade do que mesclagem por uma decodificação de pixel completa, e em que o codificador de vídeo (2) é configurado para fornecer o um ou mais identificadores de mesclagem com base nos parâmetros relevantes de mesclagem.
10. Codificador de vídeo (2), de acordo com a reivindicação 9, caracterizado por os parâmetros relevantes de mesclagem incluírem um ou mais ou todos dentre os seguintes parâmetros: um parâmetro que descreve uma restrição de movimentação em uma fronteira de bloco, informação a respeito de uma estrutura de um grupo de imagens (GOP), um parâmetro que descreve a formato de codificação de croma e um parâmetro que descreve uma formato de codificação de luma, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve uma previsão de vetor de movimentação temporal, e um parâmetro que descreve filtro de loop.
11. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 7, caracterizado por um identificador de mesclagem associado com uma primeira complexidade de um procedimento de mesclagem ser determinado com base em um primeiro conjunto de parâmetros de codificação, quando um parâmetro de mesclagem associado com uma segunda complexidade de um procedimento de mesclagem, que é mais alta que a primeira complexidade, for determinado com base em um segundo conjunto de parâmetros de codificação, que é um verdadeiro subconjunto de um primeiro conjunto de parâmetros de codificação.
12. Codificador de vídeo (2), de acordo com a reivindicação 11, caracterizado por um identificador de mesclagem associado com uma terceira complexidade de um procedimento de mesclagem, que é mais alto que a segunda complexidade, ser determinado com base em um terceiro conjunto de parâmetros de codificação, que é um verdadeiro subconjunto do segundo conjunto de parâmetros de codificação.
13. Codificador de vídeo (2), de acordo com a reivindicação 11 ou 12, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a primeira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que devem ser iguais em duas transmissões contínuas de vídeo diferentes para permitir uma mesclagem das transmissões contínuas de vídeo que apenas modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias enquanto deixa cabeçalhos de fatia e carga útil de fatia inalterados.
14. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 11 a 12, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a primeira complexidade em um ou mais ou todos os seguintes parâmetros: um parâmetro que indica uma restrição de movimentação nas fronteiras de bloco e imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve conjuntos de imagens de referência, um parâmetro que descreve formato croma, um parâmetro que descreve parâmetro de quantização base e parâmetro de quantização croma, um parâmetro que descreve luma/croma de profundidade de bit, um parâmetro que descreve parâmetros de codificador de referência hipotéticos incluindo um parâmetro em relação ao atraso de chegada inicial e um parâmetro de atraso de remoção inicial, um parâmetro que descreve estruturas de bloco de codificação, um parâmetro que descreve um tamanho mínimo e/ou máximo de transformada, um parâmetro que descreve um uso de bloco de modulação de código de pulso, um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra, um parâmetro que descreve uma previsão de vetor de movimentação temporal, um parâmetro que descreve uma intrasuavização um parâmetro que descreve fatias dependentes, um parâmetro que descreve um ocultamento de sinal, um parâmetro que descreve uma previsão ponderada, um parâmetro que descreve modo de derivação, um parâmetro que descreve uma sincronização de codificação de entropia, um parâmetro que descreve filtro de loop, um parâmetro que descreve um valor de cabeçalho de fatia que inclui um ID de conjunto de parâmetros, um parâmetro que descreve um valor de cabeçalho de fatia que inclui um conjunto de imagem de referência, e um parâmetro que descreve um uso de uma sinalização de endereço de unidade de transformada de codificação implícita.
15. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 11 a 14, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a segunda complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que devem ser iguais em duas transmissões contínuas de vídeo diferentes para permitir uma mesclagem das transmissões contínuas de vídeo que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias e que também modifica cabeçalhos de fatia enquanto deixa carga útil de fatia não alterada.
16. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 11 a 15, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a segunda complexidade em um ou mais ou todos dentre os seguintes parâmetros: um parâmetro que indica uma restrição de movimentação em fronteiras de bloco e imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve formato croma, um parâmetro que descreve luma/croma de profundidade de bit, um parâmetro que descreve estruturas de bloco de codificação, um parâmetro que descreve um tamanho mínimo e/ou máximo de transformada, um parâmetro que descreve um uso de bloco de modulação de código de pulso um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra um parâmetro que descreve uma previsão de vetor de movimentação temporal, um parâmetro que descreve uma intrasuavização um parâmetro que descreve um ocultamento de sinal, um parâmetro que descreve modo de derivação, um parâmetro que descreve uma sincronização de codificação de entropia um parâmetro que descreve um filtro de loop, um parâmetro que descreve um valor de cabeçalho de fatia que inclui um conjunto de imagem de referência, e
17. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 112 a 16, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a terceira complexidade do procedimento de mesclagem com base em um conjunto de parâmetros de codificação que devem ser iguais em duas transmissões contínuas de vídeo diferentes para permitir uma mesclagem das transmissões contínuas de vídeo que modifica conjuntos de parâmetros que são aplicáveis a uma pluralidade de fatias, e que também modifica cabeçalhos de fatia e carga útil de fatia, mas que não realiza um decodificação de pixel completa e recodificação de pixel.
18. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 11 a 17, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para determinar o identificador de mesclagem associado com a terceira complexidade com base em um ou mais ou todos dentre os seguintes parâmetros: um parâmetro que indica uma restrição de movimentação em fronteiras de bloco e imagem, um parâmetro que define a estrutura de GOP, um parâmetro que descreve formato croma, um parâmetro que descreve luma/croma de profundidade de bit um parâmetro que descreve uma previsão de vetor de movimentação avançada, um parâmetro que descreve um deslocamento adaptativo de amostra um parâmetro que descreve uma previsão de vetor de movimentação temporal, um parâmetro que descreve um filtro de loop,
19. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 18, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para aplicar uma função de hash de uma concatenação de um segundo identificador de mesclagem, que é associado com uma segunda complexidade de um procedimento de mesclagem, e um ou mais parâmetros de codificação, que não tenham sido considerados na determinação do segundo identificador de mesclagem, a fim de obter um identificador de mesclagem que é associado com uma complexidade de um procedimento de mesclagem que é mais baixa que a segunda complexidade .
20. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 1 a 19, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para aplicar uma função de hash para uma concatenação de um terceiro identificador de mesclagem, que é associado com uma terceira complexidade de um procedimento de mesclagem , e um ou mais parâmetros de codificação , que não tenham sido considerados na determinação do identificador de mesclagem, a fim de obter um segundo identificador de mesclagem que é associado com uma segunda complexidade de um procedimento de mesclagem que é menor que a terceira complexidade .
21. Mesclador de vídeo (50) para fornecer uma representação de vídeo mesclado (60) com base em uma pluralidade de representações de vídeo codificadas (12a, 12b), sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para receber uma pluralidade de transmissões contínuas de vídeo (12a, 12b) que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificado (12a) pode ser mesclada com outra representação de vídeo codificado (12b); em que o mesclador de vídeo (50) é configurado para decidir sobre o uso de um método de mesclagem em dependência de um dos identificadores de mesclagem.
22. Mesclador de vídeo (50), de acordo com a reivindicação 21, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para selecionar um método de mesclagem, dentre uma pluralidade de métodos de mesclagem, em dependência dos identificadores de mesclagem.
23. Mesclador de vídeo (50), de acordo com a reivindicação 22, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para selecionar entre pelo menos dois dos seguintes métodos de mesclagem; um primeiro método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo (12a, 12b) que apenas modifica conjuntos de parâmetros (20, 22, 26) que são aplicáveis a uma pluralidade de fatias (28) enquanto deixa cabeçalhos de fatia (30) e carga útil de fatia (32) inalterados. um segundo método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo (12a, 12b) que modifica conjuntos de parâmetros (20, 22, 26) que são aplicáveis a uma pluralidade de fatias (28) e que também modifica cabeçalhos de fatia (30) enquanto deixa carga útil de fatia (32) inalterada; e um terceiro método de mesclagem, que é uma mesclagem das transmissões contínuas de vídeo (12a, 12b) que modifica conjuntos de parâmetros (20, 22, 26) que são aplicáveis a uma pluralidade de fatias (28), e que também modifica cabeçalhos de fatia (30) e carga útil de fatia (32) mas que não realiza uma decodificação de pixel completa e recodificação de pixel em dependência do um ou mais identificadores de mesclagem.
24. Mesclador de vídeo (50), de acordo com a reivindicação 23, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado usar, seletivamente, um quarto método de mesclagem, que é uma mesclagem de transmissões contínuas de vídeo que usam uma decodificação de pixel completa e recodificação de pixel, em dependência do um ou mais identificadores de mesclagem.
25. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 22 a 24, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para comparar identificadores de mesclagem de duas ou mais transmissões contínuas de vídeo associada com o mesmo método de mesclagem dado para tomar uma decisão se realiza uma mesclagem usando o método de mesclagem dado em dependência de um resultado da comparação.
26. Mesclador de vídeo (50), de acordo com a reivindicação 25, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para realizar, seletivamente, uma mesclagem usando o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem das duas ou mais transmissões contínuas de vídeo associadas com o método de mesclagem dado são iguais.
27. Mesclador de vídeo (50), de acordo com a reivindicação 25, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para usar um método de mesclagem que tem uma complexidade mais alta que a do método de mesclagem dado se a comparação indicar que os identificadores de mesclagem das duas ou mais transmissões contínuas de vídeo associadas com o método de mesclagem dado são diferentes.
28. Mesclador de vídeo (50), de acordo com a reivindicação 27, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para comparar, seletivamente parâmetros de codificação (20, 22, 26, 30) que devem ser iguais em duas ou mais transmissões contínuas de vídeo para permitir uma mesclagem das transmissões contínuas de vídeo que usam o método de mesclagem dado se a comparação indicar que os identificadores de mesclagem das duas ou mais transmissões contínuas de vídeo associadas com o método de mesclagem dado são iguais, e em que o mesclador de vídeo (50) é configurado para realizar, seletivamente, uma mesclagem usando o método de mesclagem dado se a comparação dos ditos parâmetros de codificação (20, 22, 26, 30) indicar que os parâmetros de codificação são iguais, e em que o mesclador de vídeo (50) é configurado para realizar uma mesclagem usando um método de mesclagem que tem uma complexidade mais alta que a do método de mesclagem dado se a comparação dos ditos parâmetros de codificação indicar que os parâmetros de codificação compreendem uma diferença.
29. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 21 a 28, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para comparar identificadores de mesclagem associados com os métodos de mesclagem que têm diferentes complexidades, e em que o mesclador de vídeo (50) é configurado para mesclar as duas ou mais transmissões contínuas de vídeo usando um método de mesclagem de baixa complexidade para o qual os identificadores de mesclagem associados são iguais nas duas ou mais transmissões contínuas de vídeo a serem mescladas.
30. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 22 a 29, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para comparar identificadores de mesclagem associados com métodos de mesclagem que tem diferentes complexidades, e em que o mesclador de vídeo (50) é configurado para identificar um método de mesclagem de baixa complexidade para a qual os identificadores de mesclagem associados são iguais nas duas ou mais transmissões contínuas de vídeo a serem mescladas; e em que o mesclador de vídeo é configurado para comparar um conjunto de parâmetros de codificação (20, 22, 26, 30), que devem ser iguais nas duas ou mais transmissões contínuas de vídeo a serem mescladas para permitir uma mesclagem que usa método de mesclagem identificado, e em que o mesclador de vídeo (50) é configurado para mesclar as duas ou mais transmissões contínuas de vídeo que usam método de mesclagem identificado se a comparação indicar que os parâmetros de codificação (20, 22, 26, 30) do conjunto de parâmetros de codificação associados com o método de mesclagem identificado são iguais nas transmissões contínuas de vídeo a serem mescladas.
31. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 22 a 30, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para determinar quais parâmetros de codificação devem ser modificados em um processo de mesclagem em dependência de uma ou mais diferenças entre identificadores de mesclagem de diferentes transmissões contínuas de vídeo a serem mescladas.
32. Mesclador de vídeo (50), de acordo com a reivindicação 31, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para determinar quais parâmetros de codificação devem ser modificados em um método de mesclagem que tem uma complexidade dada em dependência de uma ou mais diferenças entre identificadores de mesclagem, associadas com um método de mesclagem que tem complexidade mais baixa que a complexidade dada, de diferentes transmissões contínuas de vídeo a serem mescladas.
33. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 21 a 32, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para obter parâmetros de codificação de união, que são associados a fatias (28) de todas as transmissões contínuas de vídeo a serem mescladas, com base em parâmetros de codificação (20, 22, 26, 30) das transmissões contínuas de vídeo a serem mescladas, e para incluir parâmetros de codificação de união na transmissão contínua de vídeo mesclada (60).
34. Mesclador de vídeo (50), de acordo com a reivindicação 33, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para adaptar parâmetros de codificação individualmente associados com fatias de vídeo individuais (28), a fim de obter fatias modificadas para serem incluídas na transmissão contínua de vídeo mesclada (60).
35. Mesclador de vídeo (50), de acordo com a reivindicação 34, caracterizado por os parâmetros de codificação adaptados incluírem um parâmetro que representa um tamanho de imagem da representação de vídeo codificado mesclado, em que o tamanho de imagem é calculado com base no tamanho de imagem das representações de vídeo codificado a serem mescladas.
36. Método para fornecer uma representação de vídeo codificado, caracterizado por fornecer uma transmissão contínua de vídeo (12) que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificado (12) pode ser mesclada com outra representação de vídeo codificado.
37. Método para fornecer uma representação de vídeo mesclada com base em uma pluralidade de representações de vídeo codificado, caracterizado por compreender receber uma pluralidade de transmissões contínuas de vídeo (12a, 12b) que compreendem informação de parâmetro codificada que descrevem uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado e um ou mais identificadores de mesclagem que indicam se e/ou como a representação de vídeo codificado (12a) pode ser mesclada com outra representação de vídeo codificado (12b); e selecionar um método de mesclagem, dentre uma pluralidade de métodos de mesclagem, em dependência dos identificadores de mesclagem.
38. Método de mesclagem para mesclar duas ou mais transmissões contínuas de vídeo, caracterizado por compreender fornecer uma informação de parâmetro de codificação comum com base na informação de parâmetro de codificação de diferentes transmissões contínuas de vídeo enquanto deixa informação de conteúdo de vídeo codificado inalterada; selecionar o procedimento de mesclagem com base na informação de conteúdo de vídeo codificado inalterado; e mesclar duas ou mais transmissões contínuas de vídeo usando o procedimento de mesclagem selecionado.
39. Programa de computador caracterizado por ter um código de programa para realizar, quando executado em um computador, um método, conforme definido em qualquer uma das reivindicações 36 a 38.
40. Fluxo de dados caracterizado por ser gerado por um método, conforme definido em qualquer uma das reivindicações 36 a 38.
41. Codificador de vídeo (2) para fornecer uma representação de vídeo codificado (12), sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer uma informação de demanda de capacidade de granulosidade grossa, que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e em que o codificador de vídeo (2) é configurado para fornecer informação de demanda de capacidade de granulosidade fina, que descreve qual fração de uma demanda de capacidade permissível associada com um dos níveis de capacidade predeterminados é requisitada a fim de decodificar a representação de vídeo codificado, e/ou que descreve qual fração de uma demanda de capacidade permissível a representação de vídeo codificado (12) contribui para uma transmissão contínua de vídeo mesclada (60), uma demanda de capacidade que está em acordo com um dos níveis de capacidade predeterminados.
42. Codificador de vídeo (2), de acordo com a reivindicação 41, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que uma informação de demanda de capacidade de granulosidade fina compreenda um valor de razão ou um valor de porcentagem.
43. Codificador de vídeo (2), de acordo com a reivindicação 41 ou 42, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que a informação de demanda de capacidade de granulosidade fina compreenda um valor de razão ou um valor de porcentagem que é referente ao nível de capacidade predeterminado descrito pela informação de demanda de capacidade de granulosidade grossa.
44. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 41 a 43, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que a informação de demanda de capacidade de granulosidade fina compreenda uma informação de referência e uma informação de fração, e em que a informação de referência descreve a qual dos níveis de capacidade predeterminados a informação de fração se refere.
45. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 41 a 44, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que a informação de demanda de capacidade de granulosidade fina descreva a demanda de capacidade da representação de vídeo codificado (60) em termos de capacidade de demanda em relação a uma pluralidade de critérios.
46. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 41 a 45, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que a informação de demanda de capacidade de granulosidade fina compreenda uma pluralidade de valores de fração relacionados a diferentes critérios.
47. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 41 a 46, sendo que o codificador de vídeo (2) é caracterizado por ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina de modo que a informação de demanda de capacidade de granulosidade fina compreenda uma pluralidade de valores de fração que descrevem pelo menos dois dentre os seguintes critérios: uma fração de uma quantidade máxima permitida de amostras luma por segundo;
uma fração de um tamanho de imagem máximo; uma fração uma taxa de bits máxima; uma fração de um preenchimento de armazenamento temporário; e uma fração de um número máximo de blocos.
48. Codificador de vídeo (2), de acordo com qualquer uma das reivindicações 41 a 47, caracterizado por o codificador de vídeo ser configurado para fornecer a informação de demanda de capacidade de granulosidade fina com tal resolução.
49. Mesclador de vídeo (50) para fornecer uma representação de vídeo mesclado (60) com base em uma pluralidade de representações de vídeo codificado, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para receber uma pluralidade de transmissões contínuas de vídeo (12a, 12b) que compreende informação de parâmetro codificada que descreve uma pluralidade de parâmetros de codificação (20, 22, 26, 30), informação de conteúdo de vídeo codificado, uma informação de demanda de capacidade de granulosidade grossa, que descreve a compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e uma informação de demanda de capacidade de granulosidade fina , em que o mesclador de vídeo (50) é configurado para mesclar as duas ou mais transmissões contínuas de vídeo em dependência da informação de demanda de capacidade de granulosidade grossa e da informação de demanda de capacidade de granulosidade fina.
50. Mesclador de vídeo (50), de acordo com a reivindicação 49, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para decidir que transmissões contínuas de vídeo podem ser incluídas em uma transmissão contínua de vídeo mesclada (60) em dependência da informação de demanda de capacidade de resolução fina.
51. Mesclador de vídeo (50), de acordo com a reivindicação 49 ou 50, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para decidir se uma transmissão contínua de vídeo mesclado válida (60) pode ser obtida através da mesclagem das duas ou mais transmissões contínuas de vídeo em dependência da informação de demanda de capacidade de resolução fina.
52. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 49 a 51, sendo que o mesclador de vídeo (50) é caracterizado por ser configurado para resumir informação de demanda de capacidade de granulosidade fina de uma pluralidade de transmissões contínuas de vídeo a serem mescladas.
53. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 49 a 52, caracterizado por a informação de demanda de capacidade de granulosidade fina descrever a demanda de capacidade da representação de vídeo codificado em termos de demanda de capacidade em relação a uma pluralidade de critérios; e em que o mesclador de vídeo (50) é configurado para determinar se uma demanda de capacidade combinada da pluralidade de transmissões contínuas de vídeo a serem mescladas, como descrito pela informação de demanda de capacidade de granulosidade fina, encontra-se dentro dos limites predeterminados em relação a todos os critérios.
54. Mesclador de vídeo (50), de acordo com qualquer uma das reivindicações 49 a 53, caracterizado por a informação de demanda de capacidade de granulosidade fina compreender uma pluralidade de valores de fração relacionados à diferentes critérios.
55. Mesclador de vídeo (50) de acordo com qualquer uma das reivindicações 49 a 54, caracterizado por a informação de demanda de capacidade de granulosidade fina que compreende uma pluralidade de valores de fração que descrevem pelo menos dois dentre os seguintes critérios: uma fração de uma quantidade máxima permitida de amostras luma por segundo; uma fração de um tamanho de imagem máximo; uma fração uma taxa de bits máxima;
uma fração de um preenchimento de armazenamento temporário; e uma fração de um número máximo de blocos.
56. Decodificador de vídeo, sendo que o decodificador de vídeo é caracterizado por compreender o mesclador de vídeo, conforme definido em qualquer uma das reivindicações 21 a 36 e 49 a 55.
57. Método para fornecer uma representação de vídeo codificado (12), caracterizado por compreender fornecer uma informação de demanda de capacidade de granulosidade grossa, que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e em que o codificador de vídeo é configurado para fornecer uma informação de demanda de capacidade de granulosidade fina , que descreve qual fração de uma demanda de capacidade permissível associada com um dos níveis de capacidade predeterminados é necessária a fim de decodificar a representação do vídeo codificado, e/ou que descreve qual fração de uma demanda de capacidade permissível a representação de vídeo codificado contribui para uma transmissão contínua de vídeo mesclado, uma demanda de capacidade a qual está em acordo com um dos níveis de capacidade predeterminados.
58. Método para fornecer uma representação de vídeo mesclado com base em uma pluralidade de representações de vídeos codificados, caracterizado por compreender receber uma pluralidade de transmissões contínuas de vídeo que compreendem informação de parâmetro codificada que descrevem uma pluralidade de parâmetros de codificação, informação de conteúdo de vídeo codificado, uma informação de demanda de capacidade de granulosidade grossa , que descreve uma compatibilidade de uma transmissão contínua de vídeo com um decodificador de vídeo que tem um nível de capacidade dentre uma pluralidade de níveis de capacidade predeterminados, e uma informação de demanda de capacidade de granulosidade fina , em que o mesclador de vídeo é configurado para mesclar as duas ou mais transmissões contínuas de vídeo em dependência da informação de demanda de capacidade de granulosidade grossa e da informação de demanda de capacidade de granulosidade fina.
59. Programa de computador caracterizado por ter código de programa para realizar, quando executado em um computador, um método, conforme definido na reivindicação 57 ou 58.
60. Fluxo de dados caracterizado por ser gerado por um método, conforme definido na reivindicação 57 ou 58.
BR112021004636-4A 2018-09-13 2019-09-12 codificador e decodificador de vídeo, mesclador de vídeo e métodos para fornecerem uma representação de vídeo codificado e mesclado BR112021004636A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18194348 2018-09-13
EP18194348.1 2018-09-13
PCT/EP2019/074436 WO2020053369A1 (en) 2018-09-13 2019-09-12 Bitstream merging

Publications (1)

Publication Number Publication Date
BR112021004636A2 true BR112021004636A2 (pt) 2021-05-25

Family

ID=63579240

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021004636-4A BR112021004636A2 (pt) 2018-09-13 2019-09-12 codificador e decodificador de vídeo, mesclador de vídeo e métodos para fornecerem uma representação de vídeo codificado e mesclado

Country Status (8)

Country Link
US (2) US11800128B2 (pt)
EP (1) EP3850851A1 (pt)
JP (3) JP7179163B2 (pt)
KR (2) KR102572947B1 (pt)
CN (1) CN113039804A (pt)
BR (1) BR112021004636A2 (pt)
MX (1) MX2021002934A (pt)
WO (1) WO2020053369A1 (pt)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070120A1 (en) * 2018-10-02 2020-04-09 Telefonaktiebolaget Lm Ericsson (Publ) Picture tile attributes signaled using loop(s) over tiles
US11381867B2 (en) 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
GB2584295A (en) * 2019-05-28 2020-12-02 Canon Kk Method and apparatus for encoding and decoding a video bitstream for merging regions of interest
CN110248221A (zh) * 2019-06-18 2019-09-17 北京物资学院 一种视频广告动态插入方法及装置
US11792433B2 (en) * 2020-09-28 2023-10-17 Sharp Kabushiki Kaisha Systems and methods for signaling profile and level information in video coding
US20220337855A1 (en) * 2021-04-20 2022-10-20 Samsung Electronics Co., Ltd. Operation of video decoding engine for evc
WO2023203423A1 (en) * 2022-04-20 2023-10-26 Nokia Technologies Oy Method and apparatus for encoding, decoding, or displaying picture-in-picture

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012809A (ko) * 2002-06-18 2005-02-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩 방법과 대응 인코딩 및 디코딩 장치들
SI3264780T1 (sl) * 2007-04-18 2020-08-31 Dolby International Ab Kodirni sistemi, pri katerih se uporablja dodatni niz sekvenčnih parametrov za skalabilno kodiranje videa ali večpogledno kodiranje
JP5967866B2 (ja) * 2011-04-26 2016-08-10 キヤノン株式会社 符号化装置、符号化方法及びプログラム
US10165267B2 (en) * 2011-08-30 2018-12-25 Intel Corporation Multiview video coding schemes
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
US9838685B2 (en) * 2012-06-15 2017-12-05 Google Technology Holdings LLC Method and apparatus for efficient slice header processing
US10142622B2 (en) * 2012-06-29 2018-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and methods thereof for video processing
JP6290088B2 (ja) * 2012-09-28 2018-03-07 シャープ株式会社 画像復号装置、画像復号方法、および記録媒体
US10284908B2 (en) * 2013-02-26 2019-05-07 Comcast Cable Communications, Llc Providing multiple data transmissions
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US10205949B2 (en) * 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US10798422B2 (en) * 2015-10-20 2020-10-06 Intel Corporation Method and system of video coding with post-processing indication
EP3744103B1 (en) 2018-01-25 2024-03-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
WO2019195037A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Bitstream signaling of error mitigation in sub-picture bitstream based viewport dependent video coding

Also Published As

Publication number Publication date
JP2023022096A (ja) 2023-02-14
US11800128B2 (en) 2023-10-24
CN113039804A (zh) 2021-06-25
MX2021002934A (es) 2021-07-16
KR102572947B1 (ko) 2023-08-31
US20210203973A1 (en) 2021-07-01
WO2020053369A1 (en) 2020-03-19
JP7179163B2 (ja) 2022-11-28
JP2022501889A (ja) 2022-01-06
EP3850851A1 (en) 2021-07-21
KR20210047935A (ko) 2021-04-30
JP2023171865A (ja) 2023-12-05
KR20230128584A (ko) 2023-09-05
JP7359926B2 (ja) 2023-10-11
US20230421793A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
BR112021004636A2 (pt) codificador e decodificador de vídeo, mesclador de vídeo e métodos para fornecerem uma representação de vídeo codificado e mesclado
US11252428B2 (en) Method and device for encoding and decoding parameter sets at slice level
JP7400088B2 (ja) Ｓｅｉメッセージのための時間識別子の制限
RU2653299C2 (ru) Способ и устройство для кодирования и декодирования видеоданных
RU2659748C2 (ru) Синтаксис и семантика для буферизации информации с целью упрощения конкатенации видеоданных
KR20210069716A (ko) 비디오 코딩을 위한 방법, 장치 및 저장 매체
CN114339244A (zh) 多层视频流的补充增强信息
US9635342B2 (en) Multi-view encoding and decoding technique based on single-view video codecs
JP7397036B2 (ja) 映像符号化におけるサブピクチャエンティティ
CA3152330A1 (en) Sequence-level hrd parameters
JP2017513373A (ja) マルチレイヤビデオコーデックのための特定のｈｅｖｃ ｓｅｉメッセージの使用
JP7462679B2 (ja) ビデオ符号化における回復ポイントシグナリング
US9924164B2 (en) Efficient re-transcoding of key-frame-aligned unencrypted assets
CN115299054A (zh) 可缩放视频编解码中的逐步解码刷新访问单元
US11818337B2 (en) Constraints on reference picture lists entries
CN115398481A (zh) 对图像执行人工智能编码和人工智能解码的设备和方法
CN114205625B (zh) 媒体文件中图像过渡的过渡期
EP4222977A1 (en) A method, an apparatus and a computer program product for video encoding/decoding
US20140003520A1 (en) Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
JP2022549798A (ja) サブピクチャスライス位置導出を伴うセグメント位置シグナリング
US20240007619A1 (en) Method, an apparatus and a computer program product for implementing gradual decoding refresh
JP2024075706A (ja) 参照ピクチャ順序の制約
CN115428438A (zh) 视频编解码中的水平信息