BR112019017670A2 - Método e dispositivo para reconstruir uma imagem hdr - Google Patents
Método e dispositivo para reconstruir uma imagem hdr Download PDFInfo
- Publication number
- BR112019017670A2 BR112019017670A2 BR112019017670-5A BR112019017670A BR112019017670A2 BR 112019017670 A2 BR112019017670 A2 BR 112019017670A2 BR 112019017670 A BR112019017670 A BR 112019017670A BR 112019017670 A2 BR112019017670 A2 BR 112019017670A2
- Authority
- BR
- Brazil
- Prior art keywords
- dynamic range
- luma component
- chroma components
- high dynamic
- standard
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 135
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 135
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000012546 transfer Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 239000003086 colorant Substances 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
a presente invenção refere-se a um método e um dispositivo para reconstruir uma imagem com alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído (y?) e dois componentes croma de alta faixa dinâmica reconstruídos (û?, (i)) a partir de uma imagem com faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão (y?, y?1) e dois componentes croma de faixa dinâmica padrão (u?, v?). o método é caracterizado pelo fato de que compreende: mapeamento inverso (22) do dito componente luma de faixa dinâmica padrão (y?, y?1) para obter o componente luma de alta faixa dinâmica reconstruído (y?); e corrigir (33) os ditos dois componentes croma de faixa dinâmica padrão (u?, v?) para obter os dois ditos componentes croma de alta faixa dinâmica reconstruídos (û?, (i)) de acordo com o dito componente luma de faixa dinâmica padrão (y?, y?1) e o dito componente luma de alta faixa dinâmica reconstruído (y?).
Description
“MÉTODO E DISPOSITIVO PARA RECONSTRUIR UMA IMAGEM HDR”
CAMPO DA TÉCNICA [001 ]Os presentes princípios referem-se genericamente à decodificação de imagens / vídeo. Particularmente, mas não exclusivamente, o campo técnico dos presentes princípios está relacionado à codificação e reconstrução de uma imagem cujos valores de pixels pertencem a uma alta faixa dinâmica.
FUNDAMENTOS DA INVENÇÃO [002]A presente seção é destinada a introduzir o leitor a vários aspectos da técnica, que podem estar relacionados com vários aspectos dos presentes princípios que são descritos e/ou reivindicados abaixo. Acredita-se que esta discussão seja útil para fornecer ao leitor informações básicas para facilitar uma compreensão melhor dos vários aspectos dos presentes princípios. Consequentemente, dever-se-ia entender que estas declarações devem ser lidas à luz do exposto, e não como admissões da técnica anterior.
[003]A seguir, uma imagem contém um ou vários arranjos de amostras (valores de pixel) em um formato de imagem / vídeo específico que especifica todas as informações relativas aos valores de pixel de uma imagem (ou de um vídeo) e todas as informações que podem ser usadas por um exibir e/ou qualquer outro dispositivo para visualizar e/ou decodificar uma imagem (ou vídeo), por exemplo. Uma imagem compreende ao menos um componente, na forma de um primeira matriz de amostras, geralmente um componente luma (ou luminância) e, possivelmente, ao menos um outro componente, na forma de ao menos um outra matriz de amostras, geralmente um componente de cor. Ou, equivalentemente, a mesma informação também pode ser representada por um conjunto de arranjos de amostras de cor, tal como a tradicional representação RGB tricromática.
[004]Um valor de pixel é representado por um vetor de valores C, onde C é o número de componentes. Cada valor de um vetor é representado com um número de
Petição 870190082655, de 23/08/2019, pág. 14/56
2/25 bits que define uma faixa dinâmica máxima dos valores de pixel.
[005]As imagens de faixa dinâmica padrão (imagens SDR) são imagens cujos valores de luminância são representados com um número limitado de bits (na maioria das vezes 8 ou 10). Esta representação limitada não permite a renderização correta de pequenas variações de sinal, em particular em faixas de luminância escuras e claras. Em imagens de alta faixa dinâmica (imagens HDR), a representação do sinal é estendida para manter uma alta precisão do sinal em toda a faixa. Em imagens HDR, os valores de pixel que representam os níveis de luminância são geralmente representados no formato de ponto flutuante (ou 32 bits ou 16 bits para cada componente, ou seja, flutuante ou meio flutuante), o formato mais popular sendo o formato meio flutuante open-EXR (16 bits por componente RGB, ou seja, 48 bits por pixel) ou em inteiros com uma representação longa, tipicamente ao menos 16 bits.
[006]A chegada do padrão de codificação de vídeo de alta eficiência (HEVC) (ITU-TH.265 setor de padronização de telecomunicações de ITU (10/2014), série H: sistemas audiovisuais e multimídia, infreestrutura de serviços audiovisuais codificação de vídeo em movimento, codificação de vídeo de alta eficiência, Recomendação ITU-T H.265) permite a implantação de novos serviços de vídeo com experiência de visualização aprimorada, tal como serviços de transmissão Ultra HD. Além de uma maior resolução espacial, o Ultra HD pode trazer uma gama de cores mais ampla (WCG) e uma faixa dinâmica mais alta (HDR) do que o HD-TV de faixa dinâmica padrão (SDR) atualmente implantado. Diferentes soluções para a representação e codificação de vídeo HDR/WCG forem propostas (SMPTE 2014, “High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays”, ou SMPTE ST 2084, 2014, ou Diaz, R., Blinstein, S. e Qu, S. “Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline”, SMPTE Motion Imaging Journal, Vol. 125, Edição 1, Fevereiro de 2016, pág. 14 a 21).
[007]A retrocompatibilidade de SDR com dispositivos de decodificação e
Petição 870190082655, de 23/08/2019, pág. 15/56
3/25 renderização é um recurso importante em alguns sistemas de distribuição de vídeo, tal como sistemas de difusão ou multidifusão.
[008]A codificação de camada dupla é uma solução para suportar esse recurso. No entanto, devido ao seu projeto de várias camadas, essa solução não está adaptada a todos os fluxos de trabalho de distribuição.
SUMÁRIO DA INVENÇÃO [009]A seguir é apresentado um sumário simplificado dos presentes princípios, a fim de fornecer uma compreensão básica de alguns aspectos dos presentes princípios. Este resumo não é uma visão geral abrangente dos presentes princípios nem é destinado a identificar elementos chave ou críticos dos presentes princípios. O resumo a seguir meramente apresenta alguns aspectos dos presentes princípios de forma simplificada como um prelúdio para a descrição mais detalhada fornecida abaixo.
[010]Os presentes princípios se propõem a remediar ao menos uma das desvantagens da técnica anterior com um método para codificação de uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica e dois componentes croma de alta faixa dinâmica. O método compreende ainda:
[011]- mapear o dito componente luma de alta faixa dinâmica para um componente luma de faixa dinâmica padrão de modo a reduzir a faixa dinâmica dos valores do dito componente luma de alta faixa dinâmica;
[012]- mapear inversamente o componente luma de faixa dinâmica padrão para um componente luma de alta faixa dinâmica reconstruído;
[013]- corrigir os dois componentes croma de alta faixa dinâmica para obter dois componentes croma de faixa dinâmica padrão de acordo com o dito componente luma de faixa dinâmica padrão e o dito componente luma de alta faixa dinâmica reconstruído; e [014]- codificar o dito componente luma de faixa dinâmica padrão e os ditos
Petição 870190082655, de 23/08/2019, pág. 16/56
4/25 dois componentes croma de faixa dinâmica padrão.
[015]De acordo com outro de seus aspectos, os presentes princípios referemse ainda a um dispositivo para codificação de uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica e dois componentes croma de alta faixa dinâmica. O dispositivo compreende ainda meios para:
[016]- mapear o dito componente luma de alta faixa dinâmica para um componente luma de faixa dinâmica padrão de modo a reduzir a faixa dinâmica dos valores do componente luma de alta faixa dinâmica;
[017]- mapear inversamente o componente luma de faixa dinâmica padrão para um componente luma de alta faixa dinâmica reconstruído;
[018]- corrigir os ditos dois componentes croma de alta faixa dinâmica para obter dois componentes croma de faixa dinâmica padrão de acordo com o dito componente luma de faixa dinâmica padrão e o dito componente luma de alta faixa dinâmica reconstruído; e [019]- codificar o dito componente luma de faixa dinâmica padrão e os ditos dois componentes croma de faixa dinâmica padrão.
[020]De acordo com uma modalidade, a correção dos dois componentes croma de alta faixa dinâmica compreende dividir os dois componentes croma de faixa dinâmica padrão através de uma função de escalonamento que depende da relação do dito componente luma de alta faixa dinâmica reconstruído para o componente luma de faixa dinâmica padrão.
[021 ]De acordo com uma modalidade, os dados de informação relativos ao mapeamento inverso do dito componente luma de faixa dinâmica padrão são codificados em um fluxo de bits como metadados.
[022]De acordo com uma modalidade, o dito componente luma de faixa dinâmica padrão é ajustado de acordo com os ditos dois componentes croma de faixa dinâmica padrão antes de ser codificado.
Petição 870190082655, de 23/08/2019, pág. 17/56
5/25 [023]De acordo com outro aspecto, os presentes princípios se referem a um método para reconstruir uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído e dois componentes croma de alta faixa dinâmica reconstruídos a partir de uma imagem de faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão e dois componentes croma de faixa dinâmica padrão. O método compreende ainda:
[024]- mapear inversamente o dito componente luma de faixa dinâmica padrão para obter o componente luma de alta faixa dinâmica reconstruído; e [025]- corrigir os ditos dois componentes croma de faixa dinâmica padrão para obter os ditos dois componentes croma de alta faixa dinâmica reconstruídos de acordo com o dito componente luma de faixa dinâmica padrão e o dito componente luma de alta faixa dinâmica reconstruído.
[026]De acordo com outro aspecto, os presentes princípios referem-se a um dispositivo para reconstruir uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído e dois componentes croma de alta faixa dinâmica reconstruídos a partir de uma imagem de faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão e dois componentes croma de faixa dinâmica padrão. O dispositivo compreende ainda meios para:
[027]- mapear inversamente o dito componente luma de faixa dinâmica padrão para obter o componente luma de alta faixa dinâmica reconstruído; e [028]- corrigir os ditos dois componentes croma de faixa dinâmica padrão para obter os ditos dois componentes croma de alta faixa dinâmica reconstruídos de acordo com o dito componente luma de faixa dinâmica padrão e o dito componente luma de alta faixa dinâmica reconstruído.
[029]De acordo com uma modalidade, a correção dos ditos dois componentes croma de faixa dinâmica padrão compreende multiplicar os componentes croma de faixa dinâmica padrão por uma função de escalonamento que depende da relação do
Petição 870190082655, de 23/08/2019, pág. 18/56
6/25 componente luma HDR reconstruído para o componente luma SDR.
[030]De acordo com uma modalidade, os dados de informação relativos ao mapeamento inverso do componente luma de faixa dinâmica padrão são decodificados a partir de um fluxo de bits de modo a definir o dito mapeamento inverso.
[031 ]De acordo com ainda outro dos seus aspectos, os presentes princípios referem-se a um produto de programa de computador que compreende instruções de código de programa para executar as etapas de um método acima quando este programa é executado em um computador.
BREVE DESCRIÇÃO DOS DESENHOS [032]Nos desenhos, exemplos dos presentes princípios são ilustrados.
[033]A Figura 1 mostra um fluxo de trabalho de ponta a ponta que suporta a produção e a entrega de conteúdo para telas HDR e SDR.
[034]A Figura 2a mostra em mais detalhes o estágio de pré-processamento.
[035]A Figura 2b mostra a decomposição de HDR para SDR em mais detalhes.
[036]A Figura 2c mostra um exemplo de uma função de transferência perceptual.
[037]A Figura 2d mostra um exemplo de uma curva segmentada para mapeamento de luma.
[038]A Figura 2e mostra um exemplo de uma curva usada para converter de volta um sinal para um domínio de luz linear.
[039]A Figura 3a descreve em mais detalhes o estágio de pós-processamento.
[040]A Figura 3b descreve em mais detalhes o processo de reconstrução de HDR.
[041 ]A Figura 4 mostra um exemplo de uma arquitetura de um dispositivo de acordo com um exemplo dos presentes princípios.
[042]A Figura 5 mostra dois dispositivos remotos que se comunicam através
Petição 870190082655, de 23/08/2019, pág. 19/56
7/25 de uma rede de comunicação de acordo com um exemplo dos presentes princípios.
[043]Elementos semelhantes ou iguais são referenciados com os mesmos números de referência.
DESCRIÇÃO DETALHADA [044]Os presentes princípios serão descritos mais detalhadamente a seguir com referência às figuras em anexo, nas quais são mostrados exemplos dos presentes princípios. Os presentes princípios podem, no entanto, ser incorporados em muitas formas alternativas e não devem ser interpretados como limitados aos exemplos aqui apresentados. Por conseguinte, enquanto os presentes princípios são susceptíveis a várias modificações e formas alternativas, exemplos específicos dos mesmos são mostrados a título de exemplos nos desenhos e serão aqui descritos em detalhes. Dever-se-ia entender, no entanto, que não há intenção de limitar os presentes princípios às formas específicas descritas, mas, pelo contrário, a descrição deve abranger todas as modificações, equivalentes e alternativas que estão dentro do espírito e escopo dos presentes princípios, como definido pelas reivindicações.
[045]A terminologia usada aqui é apenas para descrever exemplos particulares e não pretende ser uma limitação dos presentes princípios. Como aqui utilizado, as formas singulares “um”, “uma” e “o”, “a” são destinadas a incluir também as formas plurais, a menos que o contexto indique claramente o contrário. Será ainda entendido que os termos “compreende”, “compreendendo”, “inclui” e/ou “incluindo”, quando utilizados nesta especificação, especificam a presença de características, inteiros, etapas, operações, elementos e/ou componentes declarados, mas não exclui a presença ou adição de uma ou mais outras características, inteiros, etapas, operações, elementos, componentes e/ou grupos dos mesmos. Além disso, quando um elemento é dito como sendo “responsivo” ou “conectado” a outro elemento, ele pode ser diretamente responsivo ou conectado ao outro elemento, ou elementos intervenientes podem estar presentes. Em contraste, quando um elemento é dito
Petição 870190082655, de 23/08/2019, pág. 20/56
8/25 como sendo “diretamente responsivo” ou “diretamente conectado” a outro elemento, não há elementos intervenientes presentes. Como aqui utilizado, o termo “e/ou” inclui qualquer e todas as combinações de um ou mais dos itens listados associados e pode ser abreviado como “/”.
[046]Será entendido que, embora os termos primeiro, segundo, etc. possam ser usados aqui para descrever vários elementos, estes elementos não devem ser limitados por estes termos. Esses termos são usados apenas para distinguir um elemento do outro. Por exemplo, um primeiro elemento podería ser denominado segundo elemento e, similarmente, um segundo elemento podería ser denominado um primeiro elemento sem abandonar os ensinamentos dos presentes princípios.
[047]Embora alguns dos diagramas incluam setas em caminhos de comunicação para mostrar uma direção primária de comunicação, deve ser entendido que a comunicação pode ocorrer na direção oposta às setas representadas.
[048]Alguns exemplos são descritos com relação a diagramas de bloco e fluxogramas operacionais nos quais cada bloco representa um elemento de circuito, módulo ou parte de código que compreende uma ou mais instruções executáveis para implementar a(s) função(ões) lógica(s) especificada(s). Também dever-se-ia notar que em outras implementações, a(s) função(ões) notada(s) nos blocos pode ocorrer fora da ordem notada. Por exemplo, dois blocos mostrados em sucessão podem, de fato, ser executados substancialmente ao mesmo tempo ou os blocos podem às vezes ser executados na ordem inversa, dependendo da funcionalidade envolvida.
[049]A referência aqui a “de acordo com um exemplo” ou “em um exemplo” significa que um recurso, estrutura ou característica particular descrita em conjunto com o exemplo pode ser incluída em ao menos uma implementação dos presentes princípios. Os aparecimentos da frase de acordo com um exemplo “ou” em um exemplo “em vários locais na especificação não são necessariamente todos referentes ao mesmo exemplo, nem são exemplos separados ou alternativos
Petição 870190082655, de 23/08/2019, pág. 21/56
9/25 necessariamente mutuamente exclusivos de outros exemplos.
[050]Números de referência que aparecem nas reivindicações são apenas para fins ilustrativos e não terão qualquer efeito limitante no escopo das reivindicações.
[051]Embora não explicitamente descrito, os presentes exemplos e variantes podem ser utilizados em qualquer combinação ou subcombinação.
[052]A seguir, os símbolos em maiúsculo, por exemplo, (Y, II, V), designam componentes de um sinal HDR, os e símbolos em minúsculo, por exemplo (y, u, v), designam componentes de um sinal SDR. Os símbolos primos, a seguir, por exemplo, (= Y’ = Υ1/γ, LT = ΙΙ1/γ, V’ = ν1/γ), designam componentes de compressão gama de um sinal HDR quando esses símbolos primos são símbolos em maiúsculo e símbolos primos, por exemplo, (y’, u’, ν’), designam componentes de compressão gama de um sinal SDR quando esses símbolos primos são símbolos em minúsculo.
[053]Os presentes princípios são descritos para codificação / decodificação / reconstrução de uma imagem, mas se estende à codificação / decodificação / reconstrução de uma sequência de imagens (vídeo) porque cada imagem da sequência é sequencialmente codificada / decodificada / reconstruída conforme descrito abaixo.
[054]A Figura 1 mostra um fluxo de trabalho de ponta a ponta que suporta a produção e a entrega de conteúdo para telas HDR e SDR de acordo com um exemplo dos presentes princípios.
[055]Em um estágio de pré-processamento, um vídeo HDR de entrada é decomposto em um vídeo SDR e metadados. O vídeo SDR é então codificado com qualquer codec de vídeo SDR e um fluxo de bits SDR é transportado através de uma rede de distribuição SDR existente com metadados acompanhantes transportados em um canal específico ou incorporados no fluxo de bits SDR.
[056]Preferencialmente, o vídeo codificado é um codec HEVC tal como o
Petição 870190082655, de 23/08/2019, pág. 22/56
10/25 codec H265/HEVC ou H264/AVC {“Advanced video coding for generic audiovisual Services”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standadization Sector of ITU, janeiro de 2012).
[057]Os metadados são normalmente transportados por mensagens SEI quando usadas em conjunto com um codec HEVC ou H264/AVC, tal como a mensagem SEI de Informação de Remapeamento de Cor (CRI) HEVC ou de Volume e Cor de Exibição de Masterização (MDCV) SEI.
[058]O fluxo de bits SDR é decodificado e um vídeo SDR decodificado é então disponibilizado para uma tela de produto eletrônico para consumo (CE) SDR.
[059]Em seguida, em um estágio de pós-processamento, que é funcionalmente o inverso do estágio de pré-processamento, o vídeo HDR é reconstruído a partir do vídeo SDR decodificado e dos metadados obtidos a partir de um canal específico ou a partir do fluxo de bits SDR.
[060]Este é um esquema de codificação / decodificação de camada única que é adaptado a todos os fluxos de trabalho de distribuição porque um único fluxo SDR pode ser transmitido (incluindo metadados) enquanto permite retrocompatibilidade com dispositivos SDR CE.
[061 ]A Figura 2a mostra em mais detalhes o estágio de pré-processamento.
[062]O componente principal do estágio de pré-processamento é a decomposição de HDR para SDR que gera um vídeo SDR e metadados a partir do vídeo HDR.
[063]Mais precisamente, a decomposição de HDR para SDR tem como objetivo converter um vídeo HDR representado em um formato de entrada específico em um vídeo SDR representado em um formato de saída específico de acordo com a modalidade descrita abaixo, mas os presentes princípios não estão limitados ao espaço ou gama de cores de entrada / saída específico.
Petição 870190082655, de 23/08/2019, pág. 23/56
11/25 [064]Opcionalmente, o formato do vídeo HDR, respetivamente o formato alvo do vídeo SDR, pode ser adaptado ao dito formato de entrada específico, respetivamente o formato de saída específico.
[065]A dita adaptação do formato de entrada / saída pode incluir conversão de espaço de cores e/ou mapeamento de gama de cores. Processos habituais de adaptação de formato podem ser usados, tais como conversão de RGB para YUV ou conversão de YUV para RGB, BT.709 para BT.2020 ou BT.2020 para BT.709, a redução da taxa de amostragem ou o aumento da taxa de amostragem de componentes croma, etc. Nota-se que o espaço de cor YUV bem conhecido refere-se também ao bem conhecido YCbCr da técnica anterior.
[066]A dita adaptação do formato de entrada pode também compreender a derivação do componente luma HDR Y’ e dos componentes croma HDR U’ e V’ de uma imagem HDR do vídeo HDR a partir de uma soma ponderada de versões de compressão gama dos componentes de cor (R, G, B) da imagem HDR.
[067]O componente luma HDR Y’ pode assim ser derivado da seguinte forma:
[068]e os componentes croma HDR U’ e V’ são derivados da seguinte forma:
[069]onde A = [Α1Α2Α3Γ pode ser a matriz de conversão canônica de RGB para YUV 3x3 (por exemplo, conforme especificado em ITU-R Rec. BT.2020 ou ITUR Rec. BT.709 dependendo do espaço de cor), A1A2A3 sendo matrizes 1x3 e γ pode ser um fator gama igual a 2,4, por exemplo.
[070]Nota-se que o componente luma HDR Y’, que é um sinal não linear, é diferente do componente de luminância linear que é normalmente obtido a partir dos componentes de cor de um sinal.
Petição 870190082655, de 23/08/2019, pág. 24/56
12/25 [071 ]A Figura 2b mostra a decomposição de HDR para SDR de uma imagem HDR de um vídeo HDR. Mais precisamente, um componente luma de alta faixa dinâmica (HDR) Y’ e dois componentes croma HDR II’ e V’ são obtidos a partir da dita imagem HDR.
[072]Um componente HDR significa um componente de imagem cujos valores são representados com um alto número de bits, geralmente de 32 bits ou 16 bits. Ao contrário, um componente de faixa dinâmica padrão (SDR) significa um componente de imagem cujos valores são representados com um número limitado de bits, tipicamente 8 bits ou 10 bits.
[073]Na etapa 21, o componente luma HDR Y’ é mapeado para um componente luma SDR y’i.
[074]O dito mapeamento baseia-se em uma função de transferência perceptual TM, cujo objetivo é converter um componente luma HDR em um componente luma SDR, reduzindo assim a faixa dinâmica dos valores do dito componente luma HDR. Os valores de um componente SDR pertencem, portanto, a uma faixa dinâmica menor do que os valores de um componente HDR.
[075]A dita função de transferência perceptual TM utiliza um conjunto limitado de parâmetros de controle.
[076]O mapeamento começa por converter um sinal luma HDR de entrada (por exemplo, o componente luma HDR Y’) em um domínio perceptualmente uniforme usando a função de transferência perceptual TM.
[077]A Figura 2C mostra uma ilustração de uma função de transferência perceptual que pode ser utilizada para mapear componentes de luminância, mas uma função de transferência perceptual semelhante para o mapeamento de componentes luma pode ser utilizada.
[078]O mapeamento é controlado por um parâmetro de luminância de pico de exibição de mastehzação (igual a 5000 cd / m2 na Figura 2c). Para controlar melhor
Petição 870190082655, de 23/08/2019, pág. 25/56
13/25 os níveis de preto e branco, um sinal que se estende entre os níveis de preto e branco dependentes de conteúdo é aplicado. Em seguida, o sinal convertido é mapeado usando uma curva segmentada construída a partir de três partes, conforme ilustrado na Figura 2d. As seções inferior e superior são lineares, a inclinação sendo determinada pelos parâmetros shadowGain e highlightGain, respectivamente. A seção intermediária é uma parábola que fornece uma ponte suave entre as duas seções lineares. A largura do cross-over é determinada pelo parâmetro m idT oneWidthAdj Factor.
[079]O componente luma SDR y’i é dado por:
= TM(F] (3) [080]Todos os parâmetros que controlam o mapeamento podem ser transmitidos como metadados de luma, por exemplo, usando uma mensagem SEI, conforme definido em JCTVC-W0133, para transportar os metadados de SMPTE ST 2094-20.
[081 ]Na etapa 22 da Figura 2b, um componente luma HDR reconstruído Ϋ’ pode ser obtido por mapeamento inverso do componente luma SDR y’i:
F - /TM(y J (4) [082]onde ITM é o inverso da função de transferência perceptual TM.
[083]O dito mapeamento inverso (etapa 22) é um recíproco do mapeamento da etapa 21.
[084]A faixa dinâmica dos valores do componente luma HDR reconstruído é assim aumentada. Os valores do componente reconstruído Y’ pertencem, portanto, à faixa dinâmica dos valores do componente HDR Y’.
[085]A Figura 2e mostra um exemplo do inverso da função de transferência perceptual TM (Figura 2c) para ilustrar como um sinal de vídeo otimizado perceptual pode ser convertido de volta ao domínio de luz linear baseado em uma luminância máxima de exibição SDR direcionada, por exemplo, 100 cd / m2
Petição 870190082655, de 23/08/2019, pág. 26/56
14/25 [086]Na etapa 23 da Figura 2b, dois componentes croma SDR u’, v’ são derivados corrigindo os dois componentes croma HDR ΙΓ, V’ de acordo com o componente luma SDR luma y’i e o componente luma HDR reconstruído Ϋ’.
[087]Esta etapa 23 permite controlar as cores SDR e garante a sua correspondência com as cores HDR.
[088]A correção dos componentes croma pode ser mantida sob controle através do ajuste dos parâmetros do mapeamento (mapeamento inverso). A saturação de cor e matiz estão, portanto, sob controle. Tal controle não é possível, geralmente, quando uma função de transferência perceptual não paramétrica é usada.
[089]De acordo com uma modalidade da etapa 23, os componentes croma HDR LT e V’ são divididos por uma função de escalonamento β (y’i) que depende da relação do componente luma HDR reconstruído Ϋ’ e o componente luma SDR y’i.
[090]Matematicamente falando, os dois componentes croma SDR u’, v’ são dados por:
h/ l x pT i liz*l [091]onde ' y>s e Ω é um valor constante dependendo das cores primárias da imagem HDR (igual a 1,3 para BT.2020, por exemplo).
[092]Opcionalmente, na etapa 24, o componente luma SDR y’i pode ser ajustado para controlar ainda mais a saturação percebida, como segue: y y t α x s/ r è x x?í) (6) [093]onde a e b são dois parâmetros de controle para ajustar o mapeamento dos componentes luma (também denotados parâmetros de injeção de croma para luma). Como um exemplo, a = 0 e b = 0,1.
[094]Esta etapa 24 permite controlar as cores SDR e garantir a sua correspondência com as cores HDR. Em geral, isso não é possível ao usar uma função de transferência fixa. A etapa 24 pode ser útil quando a imagem SDR
Petição 870190082655, de 23/08/2019, pág. 27/56
15/25 (construída a partir dos componentes u’, u’, ν’) é exibida.
[095]O componente luma e croma SDR y’ (ou y’i), u’, v’ são saídas da decomposição de HDR para SDR e transmitidas por um fluxo de bits SDR ao longo de um canal específico. Os metadados de luma são também saídas da decomposição de HDR para SDR e podem carregar, por exemplo, dados de informação relativos à função de transferência perceptual TM (etapa 21) ou, equivalentemente, dados de informação relativos ao inverso da função de transferência perceptual TM (etapa 22). Esses metadados de luma podem ser transmitidos no fluxo de bits SDR ou, alternativamente, por outro fluxo de bits possivelmente transmitido ao longo de um canal diferente.
[096]Nota-se que outros metadados exigidos pelo decodificador também podem ser transmitidos pelo fluxo de bits SDR ou qualquer outro fluxo de bits, tal como metadados relativos aos parâmetros a e b, a definição de cores primárias e/ou gama de cores.
[097]A Figura 3a mostra em mais detalhes o estágio de pós-processamento.
[098]O componente principal do estágio de pós-processamento é a reconstrução de HDR que reconstrói um vídeo HDR a partir de um vídeo SDR (decodificado) e dos metadados de luma.
[099]Mais precisamente, a reconstrução de HDR visa converter vídeo SDR representado em um formato de entrada específico em um vídeo HDR de saída representado em um formato de saída específico de acordo com a modalidade descrita abaixo, mas os presentes princípios não estão limitados ao espaço ou gama de cor de entrada / saída específico.
[0100]A dita adaptação do formato de entrada ou saída pode incluir conversão de espaço de cores e/ou mapeamento de gama de cores. Processos usuais de adaptação de formato podem ser usados, tal como conversão de RGB para YUV ou conversão de YUV para RGB, BT.709 para BT.2020 ou BT.2020 para BT.709, redução
Petição 870190082655, de 23/08/2019, pág. 28/56
16/25 da taxa de amostragem ou aumento da taxa de amostragem de componentes croma, etc.
[0101]Opcionalmente, o formato do vídeo HDR reconstruído pode ser adaptado a uma característica específica do sistema (por exemplo, um dispositivo de conexão à internet via TV, uma TV conectada) e/ou um mapeamento de gama inversa pode ser usado quando o vídeo SDR decodificado (entrada do estágio de reconstrução de HDR) e o vídeo HDR reconstruído (saída do estágio de reconstrução de HDR) são representados em diferentes espaços e/ou gama de cores.
[0102]A dita adaptação do formato de saída também pode compreender a derivação de componentes de cor de compressão gama (R’, G’, B’) de uma imagem HDR reconstruída a partir de uma soma ponderada de componentes luma Y’ e croma U’, V’:
[0103]onde A’1 pode ser a matriz de conversão canônica YUV para RGB 3x3 (por exemplo, BT.2020 ou BT.709, dependendo do espaço de cores).
[0104]A dita adaptação do formato de saída pode ainda compreender a obtenção de componentes de cor (R, G, B) a partir de versões com compressão gama dos ditos componentes de cor:
[0105]onde γ pode ser um fator gama igual a 2,4 por exemplo.
[0106]A Figura 3b descreve em mais detalhes o processo de reconstrução de HDR. Mais precisamente, uma imagem HDR reconstruída é formada (obtida) a partir de um componente luma HDR reconstruído Y’ e dois componentes croma HDR reconstruídos Ú’ e V’.
[0107]A reconstrução de HDR é o inverso funcional da decomposição de HDR
Petição 870190082655, de 23/08/2019, pág. 29/56
17/25 para SDR (Figura 2b).
[0108]O componente luma e croma SDR y’, u’, v’ e os metadados de luma são obtidos, por exemplo, a partir do fluxo de bits SDR e/ou a partir de diferentes canais.
[0109]Opcionalmente, na etapa 31, o componente luma SDR y’ pode ser dessaturado, como segue:
ss y 4. x τ h x U) (9) [0110]onde a e b são dois parâmetros de controle para ajustar o mapeamento como discutido acima.
[0111]Na etapa 22, o componente luma SDR y’1 (ou y’) é mapeado inversamente ao componente luma HDR reconstruído Ϋ’ (eq. 4). O dito mapeamento inverso leva em conta o inverso (ITM) da função de transferência perceptual (TM), que pode ser definida de acordo com os metadados de luma.
[0112]Na etapa 33, os componentes croma SDR (u’, ν’) são corrigidos para obter os dois componentes croma HDR reconstruídos Ú’ e V’ de acordo com o dito componente luma SDR y’1 (ou y’) e o dito componente luma HDR reconstruído Ϋ’.
[0113]A dita correção de croma é uma recíproca da correção de croma da etapa 23.
[0114]De acordo com uma modalidade da etapa 33, os componentes croma SDR (u’, ν’) são multiplicados por uma função de escalonamento β (.) que depende da relação do componente luma HDR reconstruído Ϋ’ para o componente luma SDR /1 (ou y’).
[0115]Matematicamente falando, os dois componentes croma HDR Ú’ e V’ reconstruídos são dados quando o componente luma SDR y’1 é considerado:
« / í \ /TMv/Art FUI
JZ i tí· x ...........:1....::/....... λχχυ ..........
f j 5 V Λ »*· [0116]onde * e depende do componente luma
SDR y’1 e Ω é um valor constante, dependendo das cores primárias da imagem HDR
Petição 870190082655, de 23/08/2019, pág. 30/56
18/25 (igual a 1,3 por BT.2020, por exemplo).
[0117]Equivalentemente, quando o componente luma SDR y’ é considerado, os dois componentes croma HDR reconstruídos Ú’ e V’ são dados pela equação (10) em que y’i é substituído por y’.
[0118]Na Figura 1-3b, os módulos são unidades funcionais, que podem ou não estar relacionadas com unidades físicas distinguíveis. Por exemplo, esses módulos ou alguns deles podem ser reunidos em um único componente ou circuito, ou contribuem para as funcionalidades de um software. Ao contrário, alguns módulos podem potencialmente ser compostos por entidades físicas separadas. Os aparelhos que são compatíveis com os presentes princípios são implementados usando hardware puro, por exemplo, usando hardware dedicado tal como ASIC ou FPGA ou VLSI, respectivamente «Circuito Integrado de Aplicação Específica», «Arranjo de Portas Programáveis em Campo», «Integração de Grande Escala» ou a partir de vários componentes eletrônicos integrados incorporados em um dispositivo ou de uma combinação de componentes de hardware e software.
[0119]A Figura 4 representa uma arquitetura exemplificativa de um dispositivo 40 que pode ser configurado para implementar um método descrito em relação à figura
1-3b.
[0120]O dispositivo 40 compreende os seguintes elementos que estão ligados entre si por um barramento de dados e endereço 41:
[0121]-um microprocessador 42 (ou CPU), que é, por exemplo, um DSP (ou Processador de Sinal Digital);
[0122]- uma ROM (ou memória somente de leitura) 43;
[0123]- uma RAM (ou memória de acesso aleatório) 44;
[0124]- uma interface de I / O 45 para recepção de dados para transmitir, a partir de um aplicativo; e [0125]- uma batería 46.
Petição 870190082655, de 23/08/2019, pág. 31/56
19/25 [0126]De acordo com um exemplo, a batería 46 é externa ao dispositivo. Em cada uma das memórias mencionadas, a palavra «registro» utilizada na especificação pode corresponder a uma área de pequena capacidade (alguns bits) ou a uma área muito grande (por exemplo, um programa completo ou uma grande quantidade de dados recebidos ou decodificados). A ROM 43 compreende ao menos um programa e parâmetros. A ROM 43 pode armazenar algoritmos e instruções para executar técnicas de acordo com os princípios presentes. Quando ligada, a CPU 42 carrega o programa na RAM e executa as instruções correspondentes.
[0127]A RAM 44 compreende, em um registro, o programa executado pela CPU 42 e carregado depois de ligar o dispositivo 40, dados de entrada em um registro, dados intermediários em estados diferentes do método em um registro, e outras variáveis usadas para a execução do método em um registro.
[0128]As implementações aqui descritas podem ser implementadas, por exemplo, em um método ou um processo, um aparelho, um programa de software, um fluxo de dados ou um sinal. Mesmo se discutido apenas no contexto de uma única forma de implementação (por exemplo, discutido apenas como um método ou um dispositivo), a implementação de recursos discutidos também pode ser implementada em outras formas (por exemplo, um programa). Um aparelho pode ser implementado, por exemplo, em hardware, software e suporte lógico inalterável apropriados. Os métodos podem ser implementados, por exemplo, em um aparelho tal como, por exemplo, um processador, que se refere a dispositivos de processamento em geral, incluindo, por exemplo, um computador, um microprocessador, um circuito integrado, ou um dispositivo lógico programável. Os processadores também incluem dispositivos de comunicação, tal como, por exemplo, computadores, telefones celulares, assistentes digitais portáteis / pessoais (“PDAs”) e outros dispositivos que facilitam a comunicação de informação entre usuários finais.
[0129]De acordo com um exemplo de codificação ou um codificador, o vídeo
Petição 870190082655, de 23/08/2019, pág. 32/56
20/25
HDR ou uma imagem HDR de um vídeo HDR é obtida a partir de uma fonte. Por exemplo, a fonte pertence a um conjunto compreendendo:
[0130]- uma memória local (43 ou 44), por exemplo, uma memória de vídeo ou uma RAM (ou memória de acesso aleatório), uma memória flash, uma ROM (ou memória somente de leitura), um disco rígido;
[0131]- uma interface de armazenamento (45), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma memória flash, uma ROM, um disco óptico ou um suporte magnético;
[0132]- uma interface de comunicação (45), por exemplo, uma interface de linha fixa (por exemplo, uma interface de barramento, uma interface de rede de longa distância, uma interface de rede local) ou uma interface sem fio (tal como uma interface IEEE 802.11 ou uma interface Bluetooth®); e [0133]- um circuito de captura de imagem (por exemplo, um sensor, tal como, por exemplo, um CCD (ou dispositivo de carga acoplada) ou CMOS (ou um metalóxido- semicondutor complementar)).
[0134]De acordo com um exemplo da decodificação ou de um descodificador, o vídeo SRD descodificado ou o vídeo HDR decodificado é enviado para um destino; especificamente, o destino pertence a um conjunto que compreende:
[0135]- uma memória local (43 ou 44), por exemplo, uma memória de vídeo ou uma RAM, uma memória flash, um disco rígido;
[0136]- uma interface de armazenamento (45), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma memória flash, uma ROM, um disco óptico ou um suporte magnético;
[0137]- uma interface de comunicação (por exemplo, interface de linha fixa (por exemplo uma interface de barramento (por exemplo, USB (ou Barramento Serial Universal)), uma interface de rede de área ampla, uma interface de rede local, HDMI (uma Interface multimídia de alta definição) ou uma interface sem fio (tal como uma
Petição 870190082655, de 23/08/2019, pág. 33/56
21/25 interface IEEE 802.11, WiFi ® ou uma interface Bluetooth®); e [0138]- uma tela.
[0139]De acordo com exemplos de codificação ou codificador, o fluxo de bits SDR e/ou o outro fluxo de bits que transporta os metadados são enviados para um destino. Por exemplo, um destes fluxos de bits ou ambos são armazenados em uma memória local ou remota, por exemplo, uma memória de vídeo (44) ou uma RAM (44), um disco rígido (43). Em uma variante, um ou ambos destes fluxos de bits são enviados para uma interface de armazenamento (45), por exemplo, uma interface com um armazenamento em massa, uma memória flash, ROM, um disco óptico ou um suporte magnético e/ou transmitido através de uma interface de comunicação (45), por exemplo, uma interface para um link ponto a ponto, um barramento de comunicação, um ponto para um link multiponto ou uma rede de difusão.
[0140]De acordo com exemplos de decodificação ou decodificador, o fluxo de bits SDR e/ou o outro fluxo de bits que transporta os metadados é obtido a partir de uma fonte. Exemplificativamente, o fluxo de bits é lido a partir de uma memória local, por exemplo, uma memória de vídeo (44), uma RAM (44), uma ROM (43), uma memória flash (43), ou um disco rígido (43). Em uma variante, o fluxo de bits é recebido a partir de uma interface de armazenamento (45), por exemplo, uma interface com um armazenamento em massa, uma RAM, uma ROM, uma memória flash, um disco óptico ou um suporte magnético e/ou recebido a partir de uma interface de comunicação (45), por exemplo, uma interface para um link ponto a ponto, um barramento, um ponto para um link multiponto ou uma rede de difusão.
[0141]De acordo com exemplos, o dispositivo 40 sendo configurado para implementar um método de codificação como descrito acima, pertence a um conjunto que compreende:
[0142]- um dispositivo móvel;
[0143]- um dispositivo de comunicação;
Petição 870190082655, de 23/08/2019, pág. 34/56
22/25 [0144]- um dispositivo de jogos;
[0145]- um tablet (ou computador tablet);
[0146]- um laptop;
[0147]- uma câmera de imagem estática;
[0148]- uma câmera de vídeo;
[0149]- um chip de codificação;
[0150]- um servidor de imagem estática; e [0151]- um servidor de vídeo (por exemplo, um servidor de difusão, um servidor de vídeo sob demanda ou um servidor de rede).
[0152]De acordo com exemplos, o dispositivo 40 sendo configurado para implementar um método de decodificação como descrito acima, pertence a um conjunto que compreende:
[0153]- um dispositivo móvel;
[0154]- um dispositivo de comunicação;
[0155]- um dispositivo de jogos;
[0156]- um dispositivo de conexão à internet via TV;
[0157]- um aparelho de TV;
[0158]- um tablet (ou computador tablet);
[0159]- um laptop ;
[0160]- uma tela; e [0161]- um chip de decodificação.
[0162]De acordo com um exemplo dos presentes princípios, ilustrados na Figura 5, em um contexto de transmissão entre dois dispositivos remotos A e B através de uma rede de comunicação NET, o dispositivo A compreende um processador em relação à memória RAM e ROM que estão configurados para implementar um método para codificar uma imagem como descrito acima e o dispositivo B compreende um processador em relação à memória RAM e ROM que são configurados para
Petição 870190082655, de 23/08/2019, pág. 35/56
23/25 implementar um método para decodificação como descrito acima.
[0163]De acordo com um exemplo, a rede é uma rede de difusão, adaptada para transmitir imagens estáticas ou imagens de vídeo do dispositivo A para dispositivos de decodificação incluindo o dispositivo B.
[0164]As implementações dos vários processos e recursos aqui descritos podem ser incorporadas em uma variedade de diferentes equipamentos ou aplicativos. Exemplos de tais equipamentos incluem um codificador, um decodificador, um processamento pós-processador emitido a partir de um decodificador, um préprocessador que fornece entrada para um codificador, um codificador de vídeo, um decodificador de vídeo, um codec de vídeo, um servidor de rede, dispositivo de conexão à internet via TV, um laptop, um computador pessoal, um telefone celular, um PDA, e qualquer outro dispositivo para processar uma imagem ou um vídeo ou outros dispositivos de comunicação. Como deve ficar claro, o equipamento pode ser móvel e até instalado em um veículo móvel.
[0165]Adicionalmente, os métodos podem ser implementados por instruções sendo executadas por um processador, e tais instruções (e/ou valores de dados produzidos por uma implementação) podem ser armazenadas em um meio de armazenamento legível por computador. Um meio de armazenamento legível por computador pode tomar a forma de um produto de programa legível por computador incorporado em um ou mais meios legíveis por computador e tendo código de programa legível por computador incorporado no mesmo que é executável por um computador. Um meio de armazenamento legível por computador, tal como é aqui utilizado, é considerado um meio de armazenamento não transitório, dada a capacidade inerente de armazenar as informações nele contidas, bem como a capacidade inerente de fornecer a recuperação da informação a partir do mesmo. Um meio de armazenamento legível por computador pode ser, por exemplo, mas não está limitado a, um sistema, aparelho ou dispositivo eletrônico, magnético, óptico,
Petição 870190082655, de 23/08/2019, pág. 36/56
24/25 eletromagnético, infravermelho ou semicondutor, ou qualquer combinação adequada dos anteriores. É para ser apreciado que o seguinte, enquanto fornece exemplos mais específicos de meios de armazenamento legíveis por computador aos quais os presentes princípios podem ser aplicados, é meramente uma listagem ilustrativa e não completa como é prontamente apreciado por um versado na técnica: disquete de computador portátil; um disco rígido; uma memória somente de leitura (ROM); uma memória somente de leitura programável e apagável (EPROM ou memória Flash); um disco compacto portátil - memória somente leitura (CD-ROM); um dispositivo de armazenamento óptico; um dispositivo de armazenamento magnético; ou qualquer combinação adequada dos anteriores.
[0166]As instruções podem formar um programa de aplicativo tangivelmente incorporado em um meio legível por processador.
[0167]As instruções podem ser, por exemplo, em hardware, software, suporte lógico inalterável ou uma combinação dos mesmos. As instruções podem ser encontradas, por exemplo, em um sistema operacional, um aplicativo separado ou uma combinação dos dois. Um processador pode ser caracterizado, portanto, como, por exemplo, tanto um dispositivo configurado para realizar um processo quanto um dispositivo que inclui um meio legível por processador (tal como um dispositivo de armazenamento) tendo instruções para executar um processo. Além disso, um meio legível por processador pode armazenar, em adição ou em vez de instruções, valores de dados produzidos por uma implementação.
[0168]Como será evidente para um versado na técnica, as implementações podem produzir uma variedade de sinais formatados para transportar informação que pode ser, por exemplo, armazenada ou transmitida. A informação pode incluir, por exemplo, instruções para executar um método, ou dados produzidos por uma das implementações descritas. Por exemplo, um sinal pode ser formatado para transportar como dados as regras para escrever ou ler a sintaxe de um exemplo descrito dos
Petição 870190082655, de 23/08/2019, pág. 37/56
25/25 presentes princípios, ou para transportar como dados os valores de sintaxe reais escritos por um exemplo descrito dos presentes princípios. Tal sinal pode ser formatado, por exemplo, como uma onda eletromagnética (por exemplo, usando uma porção de radiofrequência do espectro) ou como um sinal de banda de base. A formatação pode incluir, por exemplo, a codificação de um fluxo de dados e a modulação de uma portadora com o fluxo de dados codificado. A informação que o sinal transporta pode ser, por exemplo, informação analógica ou digital. O sinal pode ser transmitido através de uma variedade de links com ou sem fio diferentes, como é conhecido. O sinal pode ser armazenado em um meio legível por processador.
[0169]Diversas implementações foram descritas. No entanto, será entendido que várias modificações podem ser feitas. Por exemplo, elementos de diferentes implementações podem ser combinados, complementados, modificados ou removidos para produzir outras implementações. Além disso, um versado na técnica entenderá que outras estruturas e processos podem ser substituídos pelos descritos e as implementações resultantes realizarão ao menos substancialmente a mesma função(ões), ao menos substancialmente da mesma forma, para alcançar ao menos substancialmente o mesmo resultado(s) que as implementações descritas. Por conseguinte, estas e outras implementações são consideradas por este pedido.
Claims (15)
- REIVINDICAÇÕES1. Método para codificar uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica e dois componentes croma de alta faixa dinâmica, CARACTERIZADO pelo fato de que compreende:- aplicar uma função de transferência ao dito componente luma de alta faixa dinâmica para obter um componente luma de faixa dinâmica padrão, a dita função de transferência sendo definida de modo a reduzir a faixa dinâmica dos valores do componente luma de alta faixa dinâmica;- aplicar o inverso da função de transferência ao dito componente luma de faixa dinâmica padrão para obter um componente luma de alta faixa dinâmica reconstruído;- corrigir os ditos dois componentes croma de alta faixa dinâmica para obter dois componentes croma de faixa dinâmica padrão dividindo os dois componentes croma de alta faixa dinâmica por uma função de escalonamento que depende da relação do dito componente luma de alta faixa dinâmica reconstruído para o componente luma de faixa dinâmica padrão; e- codificar em um fluxo de bits o dito componente luma de faixa dinâmica padrão e os ditos dois componentes croma de faixa dinâmica padrão.
- 2. Dispositivo para codificar uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica e dois componentes croma de alta faixa dinâmica, CARACTERIZADO pelo fato de que compreende ao menos um processador configurado para:- aplicar uma função de transferência ao dito componente luma de alta faixa dinâmica para obter um componente luma de faixa dinâmica padrão, a dita função de transferência sendo definida de modo a reduzir a faixa dinâmica dos valores do dito componente luma de alta faixa dinâmica;- aplicar o inverso da função de transferência ao dito componente luma dePetição 870190082655, de 23/08/2019, pág. 52/562/5 faixa dinâmica padrão para obter um componente luma de alta faixa dinâmica reconstruído;- corrigir os ditos dois componentes croma de alta faixa dinâmica para obter dois componentes croma de faixa dinâmica padrão dividindo os dois componentes croma de alta faixa dinâmica por um função de escalonamento que depende da relação do componente luma de alta faixa dinâmica reconstruído para o componente luma de faixa dinâmica padrão; e- codificar em um fluxo de bits o componente luma de faixa dinâmica padrão e os dois componentes croma de faixa dinâmica padrão.
- 3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dito método também compreende etapas para codificar em um fluxo de bits como metadados, dados de informação relativos ao mapeamento inverso do dito componente luma de faixa dinâmica padrão.
- 4. Método, de acordo com reivindicação 1 ou 3, CARACTERIZADO pelo fato de que o dito método também compreende etapas para ajustar o dito componente luma de faixa dinâmica padrão acordo com os ditos dois componentes croma de faixa dinâmica padrão antes de serem codificados.
- 5. Método para reconstruir uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído e dois componentes croma de alta faixa dinâmica reconstruídos a partir de uma imagem de faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão e dois componentes croma de faixa dinâmica padrão, CARACTERIZADO pelo fato de que compreende:- aplicar o inverso da função de transferência ao dito componente luma de faixa dinâmica padrão para obter o dito componente luma de alta faixa dinâmica reconstruído; e- corrigir os ditos dois componentes croma de faixa dinâmica padrão paraPetição 870190082655, de 23/08/2019, pág. 53/563/5 obter os ditos dois componentes croma de alta faixa dinâmica reconstruídos multiplicando os ditos componentes croma de faixa dinâmica padrão por uma função de escalonamento que depende da relação do dito componente luma HDR reconstruído para o dito componente luma SDR.
- 6. Dispositivo para reconstruir uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído e dois componentes croma de alta faixa dinâmica reconstruídos a partir de uma imagem de faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão e dois componentes croma de faixa dinâmica padrão, CARACTERIZADO pelo fato de que compreende ao menos um processador configurado para:- aplicar o inverso da função de transferência ao dito componente luma de faixa dinâmica padrão para obter o dito componente luma de alta faixa dinâmica reconstruído; e- corrigir os ditos dois componentes croma de faixa dinâmica padrão para obter os ditos dois componentes croma de alta faixa dinâmica reconstruídos multiplicando os ditos componentes croma de faixa dinâmica padrão por uma função de escalonamento que depende da relação do dito componente luma HDR reconstruído para o dito componente luma SDR.
- 7. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o dito método também compreende etapas para decodificar a partir de informação de fluxo de bits, dados relativos ao mapeamento inverso do componente luma de faixa dinâmica padrão de modo a definir o dito mapeamento inverso.
- 8. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o dito método também compreende etapas para ajustar o componente luma de faixa dinâmica padrão de acordo com os ditos dois componentes croma de faixa dinâmica padrão antes do mapeamento inverso.
- 9. Produto de programa de computador, CARACTERIZADO pelo fato de quePetição 870190082655, de 23/08/2019, pág. 54/564/5 compreende instruções de código de programa para executar as etapas do método de acordo com a reivindicação 1 ou 3 a 5 quando este programa é executado em um computador.
- 10. Dispositivo, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que ao menos um dito processador é adicionalmente configurado para codificar em um fluxo de bits como metadados, dados de informação relativos ao mapeamento inverso do dito componente luma de faixa dinâmica padrão.
- 11. Dispositivo, de acordo com a reivindicação 2 ou 10, CARACTERIZADO pelo fato de que ao menos um dito processador é adicionalmente configurado para ajustar o dito componente luma de faixa dinâmica padrão de acordo com os ditos dois componentes croma de faixa dinâmica padrão antes de serem codificados.
- 12. Dispositivo, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que ao menos um dito processador é adicionalmente configurado para decodificar a partir de informação de fluxo de bits, dados relativos ao mapeamento inverso do componente luma de faixa dinâmica padrão de modo a definir o dito mapeamento inverso.
- 13. Dispositivo, de acordo com a reivindicação 6 ou 12, CARACTERIZADO pelo fato de que ao menos um dito processador é adicionalmente configurado para ajustar o componente luma de faixa dinâmica padrão de acordo com os ditos dois componentes croma de faixa dinâmica padrão antes do mapeamento inverso.
- 14. Meio legível por computador não transitório, CARACTERIZADO pelo fato de que inclui instruções para fazer com que um ou mais processadores codifiquem uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica e dois componentes croma de alta faixa dinâmica, através de:- aplicar uma função de transferência ao dito componente luma de alta faixa dinâmica para obter um componente luma de faixa dinâmica padrão, a dita função de transferência sendo definida de modo a reduzir a faixa dinâmica dos valores do ditoPetição 870190082655, de 23/08/2019, pág. 55/565/5 componente luma de alta faixa dinâmica;- aplicar o inverso da função de transferência ao dito componente luma de faixa dinâmica padrão para obter um componente luma de alta faixa dinâmica reconstruído;- corrigir os ditos dois componentes croma de alta faixa dinâmica para obter dois componentes croma de faixa dinâmica padrão dividindo os dois componentes croma de alta faixa dinâmica por uma função de escalonamento que depende da relação do dito componente luma de alta faixa dinâmica reconstruído para o componente luma de faixa dinâmica padrão; e- codificar em um fluxo de bits o dito componente luma de faixa dinâmica padrão e os ditos dois componentes croma de faixa dinâmica padrão.
- 15. Meio legível por computador não transitório, CARACTERIZADO pelo fato de que inclui instruções para fazer com que um ou mais processadores reconstruam uma imagem de alta faixa dinâmica representada por um componente luma de alta faixa dinâmica reconstruído e dois componentes croma de alta faixa dinâmica reconstruídos a partir de um Imagem de faixa dinâmica padrão representada por um componente luma de faixa dinâmica padrão e dois componentes croma de faixa dinâmica padrão, através de:- aplicar o inverso da função de transferência ao dito componente luma de faixa dinâmica padrão para obter o dito componente luma de alta faixa dinâmica reconstruído; e- corrigir os ditos dois componentes croma de faixa dinâmica padrão para obter os ditos dois componentes croma de alta faixa dinâmica reconstruídos através de multiplicar os ditos componentes croma de faixa dinâmica padrão por uma função de escalonamento que depende da relação do dito componente luma HDR reconstruído para o dito componente luma SDR.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17305207.7 | 2017-02-24 | ||
EP17305207.7A EP3367658A1 (en) | 2017-02-24 | 2017-02-24 | Method and device for reconstructing an hdr image |
PCT/EP2018/053987 WO2018153802A1 (en) | 2017-02-24 | 2018-02-19 | Method and device for reconstructing an hdr image |
Publications (1)
Publication Number | Publication Date |
---|---|
BR112019017670A2 true BR112019017670A2 (pt) | 2020-03-31 |
Family
ID=58231551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR112019017670-5A BR112019017670A2 (pt) | 2017-02-24 | 2018-02-19 | Método e dispositivo para reconstruir uma imagem hdr |
Country Status (7)
Country | Link |
---|---|
US (1) | US11062432B2 (pt) |
EP (2) | EP3367658A1 (pt) |
KR (1) | KR102537393B1 (pt) |
CN (1) | CN110521198B (pt) |
BR (1) | BR112019017670A2 (pt) |
MX (1) | MX2019010055A (pt) |
WO (1) | WO2018153802A1 (pt) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3367658A1 (en) * | 2017-02-24 | 2018-08-29 | Thomson Licensing | Method and device for reconstructing an hdr image |
CN111434114B (zh) * | 2017-12-01 | 2024-06-11 | 交互数字Vc控股公司 | 处理图像 |
US10951888B2 (en) * | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
US11388348B2 (en) | 2020-07-20 | 2022-07-12 | Samsung Electronics Co., Ltd. | Systems and methods for dynamic range compression in multi-frame processing |
WO2022019539A1 (ko) * | 2020-07-20 | 2022-01-27 | 삼성전자 주식회사 | 이미지를 처리하기 위한 방법 및 장치 |
CN114051126B (zh) * | 2021-12-06 | 2023-12-19 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
TWI624182B (zh) * | 2011-04-15 | 2018-05-11 | 杜比實驗室特許公司 | 高動態範圍影像的編碼、解碼及表示 |
US8334911B2 (en) * | 2011-04-15 | 2012-12-18 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
US8781238B2 (en) * | 2011-09-08 | 2014-07-15 | Dolby Laboratories Licensing Corporation | Efficient decoding and post-processing of high dynamic range images |
BR112014027815B1 (pt) | 2012-10-08 | 2022-03-15 | Koninklijke Philips N.V. | Aparelho de processamento de cor de imagem, codificador de imagem, decodificador de imagem e método de processamento de cor de imagem |
WO2015007505A1 (en) | 2013-07-18 | 2015-01-22 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images |
EP2890129A1 (en) | 2013-12-27 | 2015-07-01 | Thomson Licensing | Method and device for encoding a high-dynamic range image and/or decoding a bitstream |
JP6937695B2 (ja) | 2015-01-30 | 2021-09-22 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | カラー・ピクチャを符号化および復号する方法および装置 |
CN107409210B (zh) | 2015-01-30 | 2021-01-12 | 交互数字Vc控股公司 | 匹配不同动态范围的彩色图片之间的色彩的方法和设备 |
KR20170115528A (ko) * | 2015-01-30 | 2017-10-17 | 톰슨 라이센싱 | Hdr 화상을 sdr 화상으로 맵핑하기 위한 방법 및 디바이스 그리고 대응하는 sdr 대 hdr 맵핑 방법 및 디바이스 |
US10880557B2 (en) * | 2015-06-05 | 2020-12-29 | Fastvdo Llc | High dynamic range image/video coding |
EP3169071B1 (en) * | 2015-11-16 | 2020-01-29 | InterDigital VC Holdings, Inc. | Backward-compatible encoding of a hdr picture |
EP3220645A1 (en) * | 2016-03-18 | 2017-09-20 | Thomson Licensing | A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device |
EP3367658A1 (en) * | 2017-02-24 | 2018-08-29 | Thomson Licensing | Method and device for reconstructing an hdr image |
US11310532B2 (en) * | 2017-02-24 | 2022-04-19 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing image data from decoded image data |
EP3477946A1 (en) * | 2017-10-31 | 2019-05-01 | Thomson Licensing | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image |
US10600163B2 (en) * | 2017-11-22 | 2020-03-24 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing a display adapted HDR image |
EP3493150A1 (en) * | 2017-11-30 | 2019-06-05 | InterDigital VC Holdings, Inc. | Tone mapping adaptation for saturation control |
-
2017
- 2017-02-24 EP EP17305207.7A patent/EP3367658A1/en not_active Withdrawn
-
2018
- 2018-02-19 CN CN201880020813.3A patent/CN110521198B/zh active Active
- 2018-02-19 WO PCT/EP2018/053987 patent/WO2018153802A1/en unknown
- 2018-02-19 BR BR112019017670-5A patent/BR112019017670A2/pt unknown
- 2018-02-19 MX MX2019010055A patent/MX2019010055A/es unknown
- 2018-02-19 KR KR1020197027453A patent/KR102537393B1/ko active IP Right Grant
- 2018-02-19 US US16/488,574 patent/US11062432B2/en active Active
- 2018-02-19 EP EP18704572.9A patent/EP3586503B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3367658A1 (en) | 2018-08-29 |
KR102537393B1 (ko) | 2023-05-26 |
EP3586503B1 (en) | 2022-08-10 |
MX2019010055A (es) | 2020-02-05 |
CN110521198B (zh) | 2022-04-26 |
WO2018153802A1 (en) | 2018-08-30 |
US11062432B2 (en) | 2021-07-13 |
CN110521198A (zh) | 2019-11-29 |
US20200219236A1 (en) | 2020-07-09 |
EP3586503A1 (en) | 2020-01-01 |
KR20190117691A (ko) | 2019-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BR112019017670A2 (pt) | Método e dispositivo para reconstruir uma imagem hdr | |
KR102458747B1 (ko) | 디코딩된 이미지 데이터로부터 이미지 데이터를 재구성하기 위한 방법 및 디바이스 | |
BR112020008467A2 (pt) | método e dispositivo para gerar segunda imagem a partir de primeira imagem | |
BR112019022510A2 (pt) | Método e dispositivo para mapeamento de gama de cores | |
US11741585B2 (en) | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image | |
BR112019020137A2 (pt) | método e dispositivo para mapeamento de gama de cores | |
US10600163B2 (en) | Method and device for reconstructing a display adapted HDR image | |
BR112017015907B1 (pt) | Método, dispositivo e mídia de armazenamento não transitório legível por computador para decodificação de uma representação gráfica colorida a partir de um fluxo de bits | |
BR112019022968A2 (pt) | método e dispositivo para mapeamento de gama de cor | |
BR112020009563A2 (pt) | método e aparelho para correção de cor durante conversão hdr para sdr | |
WO2019203973A1 (en) | Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity | |
BR112020010703A2 (pt) | processamento de uma imagem | |
KR102369771B1 (ko) | 디스플레이 적응형 hdr 이미지를 재구성하기 위한 방법 및 디바이스 | |
JP7074461B2 (ja) | ディスプレイ適合hdr画像を再構成する方法およびデバイス | |
US11575944B2 (en) | Method and apparatus for encoding an image | |
RU2776101C1 (ru) | Способ и устройство для восстановления адаптированного к дисплею изображения hdr | |
BR102017025044A2 (pt) | Método e dispositivo para reconstruir uma imagem em hdr adaptada para exibição | |
EP3528201A1 (en) | Method and device for controlling saturation in a hdr image | |
KR20240148928A (ko) | 컬러 영역 매핑을 위한 방법 및 디바이스 | |
BR112018000910B1 (pt) | Método e dispositivo para mapear por tons uma imagem de entrada, método para mapear tons inverso de uma versão mapeada por tons de uma imagem de entrada, método e dispositivo para codificar uma imagem de entrada, método e dispositivo para decodificar uma imagem de entrada, e mídia de armazenamento não transitório | |
BR122024005664A2 (pt) | Método e dispositivo para codificar uma imagem colorida que tem componentes de cor, e método e dispositivo para decodificar uma imagem colorida a partir de um fluxo de bits |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B350 | Update of information on the portal [chapter 15.35 patent gazette] |