BR112021012268A2

BR112021012268A2 - Aparelhos e métodos de transmissão, de codificação e de recepção

Info

Publication number: BR112021012268A2
Application number: BR112021012268-0A
Authority: BR
Inventors: Ikuo Tsukagoshi
Original assignee: Sony Group Corporation
Priority date: 2018-12-28
Filing date: 2019-12-18
Publication date: 2021-08-31
Also published as: JPWO2020137766A1; US11234044B2; US20220182705A1; WO2020137766A1; US11843822B2; CN113273218A; US20240163502A1; KR20210107678A; EP3905702A1; US20200213657A1

Abstract

aparelhos e métodos de transmissão, de codificação e de recepção. o propósito da presente invenção é permitir que o tratamento seja executado satisfatoriamente em um lado de recepção no caso, por exemplo, de transmissão de material para dados de imagens misturados. de acordo com a presente invenção, é transmitido um pacote, que inclui, como dados de carga útil, dados de imagem divididos obtidos dividindo, por um número predeterminado, dados de imagem tendo uma frequência de fotogramas predeterminados para cada fotograma. os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. metadados incluindo informações relacionadas com o processo de mistura são ainda transmitidos em associação com os dados de imagem de cada fotograma. por exemplo, os metadados são inseridos em um cabeçalho de carga útil de um pacote incluindo pelo menos um início dos dados de imagem de cada fotograma. além do mais, por exemplo, os metadados são transmitidos por meio de um pacote dedicado a metadados associado ao pacote incluindo os dados de imagem de cada fotograma.

Description

1 / 47 APARELHOS E MÉTODOS DE TRANSMISSÃO, DE CODIFICAÇÃO E

DE RECEPÇÃO CAMPO TÉCNICO

[001] A presente tecnologia se relaciona com um aparelho de transmissão, um método de transmissão, um aparelho de codificação, um método de codificação, um aparelho de recepção e um método de recepção e, mais particularmente, com um aparelho de transmissão e afins que tratam dados de imagem submetidos a um processo de mistura.

ANTECEDENTES DA TÉCNICA

[002] Em um caso onde um receptor que desempenha decodificação em uma taxa de fotogramas (frames) que tenha sido até agora difundida recebe uma difusão de uma elevada taxa de fotogramas, se uma corrente for parcialmente decodificada, então a continuidade do movimento é prejudicada e a qualidade de uma imagem em movimento é degradada. É referido que uma principal causa dessa degradação da qualidade de uma tal imagem em movimento é o efeito estroboscópico causado por projeções retinianas intermitentes de um olho humano por movimentos rápidos devido a continuidade de tempo inferior entre imagens parcialmente decodificadas.

[003] Para reduzir a degradação da qualidade da imagem em movimento devido ao efeito estroboscópico, o presente depositante propôs previamente uma tecnologia para desempenhar mistura de pixels para uma imagem em um período de fotogramas considerado como uma referência com imagens antes e após a imagem (consultar Documento de Patente 1). Nesse caso, mesmo que seja desempenhada subamostra de tempo no receptor convencional, um elemento em movimento é refletido em uma amostra de tempo parcialmente decodificada, de modo que a degradação da qualidade da imagem em movimento devido ao efeito estroboscópico seja reduzida.

LISTA DE CITAÇÕES DOCUMENTO DE PATENTE

2 / 47

[004] Documento de Patente 1: Publicação Internacional N.º 2015/076277

SUMÁRIO DO INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

[005] Um objetivo da presente tecnologia é permitir que um material de dados de imagem submetidos a um processo de mistura seja satisfatoriamente tratado em um lado de recepção, por exemplo, quando o material é transmitido.

SOLUÇÕES PARA PROBLEMAS

[006] O conceito da presente tecnologia é um aparelho de transmissão incluindo: uma unidade de transmissão que transmite um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e a unidade de transmissão transmite ainda metadados em associação com os dados de imagem de cada fotograma, os metadados incluindo informações relacionadas com o processo de mistura.

[007] Na presente tecnologia, através da unidade de transmissão, é transmitido o pacote, que inclui, como os dados de carga útil, os dados de imagem divididos obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma. Nesse caso, os dados de imagem de frequência de fotogramas predeterminados são submetidos ao processo de mistura seletivamente usando os dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. Por exemplo, o pacote pode se adaptar a um formato especificado

3 / 47 por um padrão relacionado com transmissão de sinais de vídeo usando uma rede de Protocolo de Internet (IP - Internet Protocol). Nesse caso, por exemplo, o padrão pode ser definido para SMPTE ST2022-6 ou SMPTE ST2110-20. Por exemplo, o aparelho de transmissão pode ainda incluir uma unidade de processo de mistura que desempenha o processo de mistura.

[008] Através da unidade de transmissão, os metadados incluindo as informações relacionadas com o processo de mistura são ainda transmitidas em associação com os dados de imagem de cada fotograma. Por exemplo, o processo de mistura pode incluir um número predeterminado de estágios de processo de mistura. Além do mais, por exemplo, as informações relacionadas com o processo de mistura podem incluir informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, informações de uma velocidade do obturador de câmera em um momento de captura, informações de uma taxa de fotogramas de uma imagem alvo de processo de mistura, informações de uma taxa de fotogramas após o processo de mistura, informações indicando a imagem alvo de processo de mistura e informações indicando uma proporção de coeficientes de cálculo de filtro quando misturados.

[009] Por exemplo, a unidade de transmissão pode inserir os metadados em um cabeçalho de carga útil de um pacote incluindo pelo menos um início dos dados de imagem de cada fotograma e transmitir o pacote. Além do mais, por exemplo, a unidade de transmissão pode transmitir os metadados através de um pacote somente de metadados associado ao pacote incluindo os dados de imagem de cada fotograma.

[0010] Como descrito acima, na presente tecnologia, junto com o pacote incluindo, como os dados de carga útil, os dados de imagem divididos obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, os metadados incluindo as informações relacionadas com o processo de mistura

4 / 47 são transmitidos em associação com os dados de imagem de cada fotograma. Por consequência, é tornado possível o tratamento de forma satisfatória do material dos dados de imagem, que são submetidos ao processo de mistura, no lado da recepção, por exemplo, quando o material é transmitido.

[0011] Além do mais, outro conceito da presente tecnologia é um aparelho de codificação incluindo: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma; no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, as informações relacionadas com o processo de mistura incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, e o aparelho de codificação inclui ainda uma unidade de codificação que, com base nas informações relacionadas com o processo de mistura, codifica, como dados de imagem de uma camada base, os dados de imagem do fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem sendo submetidos ao processo de mistura, e codifica, como dados de imagem de uma camada melhorada, dados de imagem de um fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem não sendo submetidos ao processo de mistura.

5 / 47

[0012] Na presente tecnologia, através da unidade de recepção, é recebido o pacote, que inclui, como os dados de carga útil, os dados de imagem divididos obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma. Nesse caso, os dados de imagem de frequência de fotogramas predeterminados são submetidos ao processo de mistura seletivamente usando os dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. Além do mais, através da unidade de recepção, são ainda recebidos os metadados incluindo as informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma. Nesse caso, as informações relacionadas com esse processo de mistura incluem as informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura.

[0013] Através da unidade de codificação, com base nas informações relacionadas com o processo de mistura, como os dados de imagem da camada base, são codificados os dados de imagem no fotograma, que são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados, e como os dados de imagem da camada melhorada, são codificados os dados de imagem no fotograma, que não são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados.

[0014] Como descrito acima, na presente tecnologia, os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura são codificados com base nas informações relacionadas com o processo de mistura (as informações incluem as informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura). Por consequência, é tornado possível a codificação de forma fácil e apropriada, como os dados de imagem da camada base, dos dados de imagem no fotograma, que são submetidos ao processo de mistura,

6 / 47 nos dados de imagem de frequência de fotogramas predeterminados, e a codificação, como os dados de imagem das camadas melhoradas, dos dados de imagem nos fotogramas, que não são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados.

[0015] Além do mais, outro conceito da presente tecnologia é um aparelho de recepção incluindo: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, e o aparelho de recepção inclui ainda uma unidade de processo que implementa um processo de mistura inversa para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura e obtém dados de imagem para exibição.

[0016] Na presente tecnologia, através da unidade de recepção, é recebido o pacote, que inclui, como os dados de carga útil, os dados de imagem divididos obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma. Nesse caso, os dados de imagem de frequência de fotogramas predeterminados são submetidos ao processo de mistura seletivamente usando os dados de imagem de fotogramas precedentes e/ou subsequentes para cada

7 / 47 fotograma. Além do mais, através da unidade de recepção, são ainda recebidos os metadados incluindo as informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma.

[0017] Através da unidade de processo, o processo de mistura inversa é implementado para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura, e são obtidos os dados de imagem para exibição.

[0018] Como descrito acima, na presente tecnologia, o processo de mistura inversa é implementado para os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura com base nas informações relacionadas com o processo de mistura, e são obtidos os dados de imagem para exibição. Por consequência, é tornado possível o desempenho de forma fácil e apropriada do processo de mistura inversa para obter os dados de imagem para exibição.

BREVE DESCRIÇÃO DOS DESENHOS

[0019] A Fig. 1 é um diagrama ilustrando um exemplo de uma configuração de sistema correspondendo a um fluxo de difusão e etapas de gravação/produção e envio.

[0020] A Fig. 2 é um diagrama ilustrando um exemplo de configuração de um sistema de transmissão/recepção incluindo um lado de transmissão de gravação/produção/envio e um lado de recepção de recepção/exibição.

[0021] A Fig. 3 é um diagrama ilustrando outro exemplo de configuração do lado de transmissão.

[0022] A Fig. 4 é um diagrama ilustrando um exemplo de configuração de um aparelho de edição que desempenha uma inspeção de um processo.

[0023] A Fig. 5 é um diagrama para explicação da distribuição de

8 / 47 camadas na codificação hierárquica em um codificador.

[0024] A Fig. 6 é um diagrama para explicação da distribuição de camadas na codificação hierárquica no codificador.

[0025] A Fig. 7 é um diagrama para explicação de uma taxa de obturador em um momento de gravação.

[0026] A Fig. 8 é um diagrama mostrando um exemplo de uma relação de correspondência entre uma velocidade do obturador (1/s), uma taxa de fotogramas de transmissão (fps) e um ângulo do obturador (graus).

[0027] A Fig. 9 é um diagrama para explicação de um exemplo de um processo de mistura.

[0028] A Fig. 10 é um diagrama para explicação de outro exemplo do processo de mistura.

[0029] A Fig. 11 é um diagrama para explicação de ainda outro exemplo do processo de mistura.

[0030] A Fig. 12 é um diagrama ilustrando um exemplo de um pacote.

[0031] A Fig. 13 é um diagrama ilustrando um exemplo de estrutura de um cabeçalho RTP.

[0032] A Fig. 14 é um diagrama mostrando conteúdos de informações principais no exemplo de estrutura do cabeçalho RTP.

[0033] A Fig. 15 é um diagrama ilustrando um exemplo de estrutura de um cabeçalho de carga útil.

[0034] A Fig. 16 é um diagrama mostrando conteúdos de informações principais na estrutura do cabeçalho de carga útil.

[0035] A Fig. 17 é um diagrama mostrando um exemplo de estrutura de “mescla_obturador ()”.

[0036] A Fig. 18 é um diagrama mostrando conteúdos de informações principais no exemplo de estrutura de “mescla_obturador ()”.

[0037] A Fig. 19 é um diagrama para explicação de um exemplo específico de metadados.

9 / 47

[0038] A Fig. 20 é um diagrama para explicação de um exemplo específico dos metadados.

[0039] A Fig. 21 é um diagrama para explicação de um exemplo específico dos metadados.

[0040] A Fig. 22 é um diagrama ilustrando um exemplo no qual uma imagem é transmitida por uma pluralidade de pacotes (pacotes multimídia) na transmissão RTP.

[0041] A Fig. 23 é um diagrama ilustrando outro exemplo no qual a imagem é transmitida por uma pluralidade de pacotes (pacotes multimídia) na transmissão RTP.

[0042] A Fig. 24 é um diagrama ilustrando um exemplo de estrutura de um cabeçalho de carga útil.

[0043] A Fig. 25 é um diagrama ilustrando um exemplo de estrutura de um cabeçalho de carga útil e uma carga útil em um pacote de metadados.

MODO PARA REALIZAÇÃO DA INVENÇÃO

[0044] Uma descrição será fornecida abaixo de um modo para realização da invenção (doravante, os modos serão referidos como “modalidade”). Note que a descrição será fornecida na seguinte ordem.

1. Modalidade

2. Exemplo modificado <1. Modalidade> [Fluxo de difusão]

[0045] A Fig. 1(a) ilustra um fluxo de difusão. O fluxo de difusão inclui: uma etapa de gravação/produção para obtenção de dados de imagem de um vídeo de material; uma etapa de envio para envio dos dados de imagem do vídeo de material; e uma etapa de recepção/exibição para recepção dos dados de imagem do vídeo de material e exibição de uma imagem.

[0046] A Fig. 1(b) ilustra um exemplo de uma configuração de sistema correspondendo às etapas de gravação/produção e envio. Por

10 / 47 exemplo, dados de imagem de frequência de fotogramas predeterminados de um vídeo de material capturado por um aparelho de captação de imagens (doravante, uma câmera) de um estádio são transmitidos a um veículo de retransmissão. Além do mais, por exemplo, dados de imagem de frequência de fotogramas predeterminados de um vídeo de material capturado por uma câmera de um drone são transmitidos ao veículo de retransmissão. Ademais, por exemplo, é transmitido um dia de imagem de frequência predeterminado como um vídeo de material desde um servidor de material vídeo ao veículo de retransmissão.

[0047] Além do mais, dados de imagem de um vídeo de material editado, que é obtido pelo veículo de retransmissão, são transmitidos a um centro de difusão por via de uma estação de retransmissão. Ademais, dados de imagem de frequência de fotogramas predeterminados de um vídeo de material capturado por uma câmera de um estúdio são transmitidos ao centro de difusão. Em seguida, esses dados de imagem de frequência de fotogramas predeterminados do vídeo de material são codificados e transmitidos em uma onda de difusão desde o centro de difusão.

[0048] Os dados de imagem de frequência de fotogramas predeterminados acima mencionados de cada um dos vídeos de material são considerados como um alvo de transmissão de acordo com o padrão da Sociedade de Engenheiros de Cinema e Televisão (SMPTE - Society of Motion Picture and Television Engineers). Nesse caso, os dados de imagem de frequência de fotogramas predeterminados são divididos em um número predeterminado para cada fotograma, e é transmitido um pacote incluindo, como dados de carga útil, cada um dos dados de imagem divididos assim obtidos. Esse pacote se adapta ao formato especificado por um padrão relacionado com transmissão de sinais de vídeo usando uma rede de Protocolo de Internet (IP). O sinal de vídeo nesse caso é, por exemplo, um sinal de um vídeo de material de programa.

11 / 47

[0049] Nessa modalidade, os dados de imagem de frequência de fotogramas predeterminados do vídeo de material são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. Esse processo de mistura é desempenhado para reduzir a degradação da qualidade da imagem em movimento devido ao efeito estroboscópico em um receptor que cria uma imagem de exibição desde decodificação parcial.

[0050] Esse processo de mistura é desempenhado por uma unidade de processo de mistura, por exemplo, um pré-processador (Pré-Proc) fornecido em um aparelho de captação de imagens que captura um vídeo de material, por exemplo, a câmera do drone, a câmera do estádio, a câmera do estúdio ou afins. Em alternativa, esse processo de mistura é desempenhado por um pré- processador fornecido em um aparelho que recebe o vídeo de material capturado pelo aparelho de captação de imagens, por exemplo, o drone, o servidor de material vídeo, o veículo de retransmissão, a estação de retransmissão ou afins. Esse processo de mistura é desempenhado não só em uma etapa, mas igualmente em duas etapas, três etapas e assim sucessivamente, em alguns casos. Note que toda a câmera do drone (ou drone), a câmera do estádio e as câmeras do servidor de material vídeo, o veículo de retransmissão, a estação de retransmissão e o estúdio não têm de incluir o pré-processador. Todavia, é assumido que pelo menos os dados de imagem de frequência de fotogramas predeterminados do vídeo de material enviado desde o centro de difusão são submetidos ao processo de mistura.

[0051] Em um caso onde os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura são transmitidos a um estágio seguinte, são transmitidos metadados incluindo informações relacionadas com o processo de mistura em associação com os dados de imagem de cada fotograma. As informações relacionadas com esse processo de mistura incluem informações indicando se os dados de imagem

12 / 47 do fotograma correspondente são ou não submetidos ao processo de mistura e afins. [Sistema de transmissão/recepção]

[0052] A Fig. 2 ilustra um exemplo de configuração de um sistema de transmissão/recepção 10 incluindo um lado de transmissão de gravação/produção/envio e um lado de recepção de recepção/exibição. O lado de transmissão inclui uma câmera 101 e um centro de difusão 102. A câmera 101 corresponde à câmera do drone, à câmera do estádio, à câmera do estúdio e afins na Fig. 1(b).

[0053] A câmera 101 captura os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material, e através de um pré- processador 101a, desempenha o processo de mistura para os dados de imagem de frequência de fotogramas predeterminados, o processo de mistura seletivamente usando os dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. Nesse caso, no pré-processador 101a, é igualmente desempenhado um processo de conversão para um valor inferior para a frequência de fotogramas de acordo com as necessidades.

[0054] Uma unidade de transmissão (não mostrada) da câmera 101 transmite, ao centro de difusão 102, um pacote incluindo dados de imagem divididos como os dados de carga útil, os dados de imagem divididos sendo obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura mencionado acima em um número predeterminado para cada fotograma. Além do mais, a unidade de transmissão (não mostrada) da câmera 101 transmite metadados A, que incluem informações relacionadas com o processo de mistura, ao centro de difusão 102 em associação com os dados de imagem de cada fotograma.

[0055] O centro de difusão 102 recebe o pacote, que é transmitido desde a câmera 101, através de uma unidade de recepção (não mostrada), e adquire os dados de imagem de frequência de fotogramas predeterminados

13 / 47 como o vídeo de material submetido ao processo de mistura. Além do mais, essa unidade de recepção recebe os metadados A transmitidos desde a câmera 101.

[0056] Através de uma unidade de analisador sintático (parser) de nível elevado (HLP - High Level Parser) 102a, o centro de difusão 102 interpreta os metadados A, que são associados aos dados de imagem de cada fotograma, e através de um codificador 102b, com base nessa interpretação, desempenha um processo de codificação hierárquica através de, por exemplo, codificação de vídeo de alta eficiência (HEVC - High Efficiency Video Coding) para os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material submetidos ao processo de mistura, e obtém uma corrente básica STb, uma primeira corrente de extensão STe1 e uma segunda corrente de extensão STe2.

[0057] Nesse caso, o codificador 102b codifica, como dados de imagem da camada base, por exemplo, os dados de imagem no fotograma, que são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados, e codifica, como dados de imagem de camadas melhoradas, dados de imagem de fotogramas, que não são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados.

[0058] O centro de difusão 102 transmite a corrente básica STb, a primeira corrente de extensão STe1 e a segunda corrente de extensão STe2 através de uma unidade de transmissão (não mostrada). Nesse caso, o centro de difusão 102 transmite igualmente metadados, que incluem as informações relacionadas com o processo de mistura, em associação com os dados de imagem de cada corrente. Por exemplo, essa transmissão é desempenhada inserindo uma mensagem SEI recentemente definida, que inclui os metadados, em uma porção de “SEI” de uma unidade de acesso (AU - Access Unit) de cada imagem (fotograma).

14 / 47

[0059] Note que, no exemplo ilustrado, é ilustrado esse exemplo de transmissão de duas correntes de extensão, que são a primeira corrente de extensão STe1 e a segunda corrente de extensão STe2, além da corrente básica STb. Todavia, é igualmente concebível que o número de correntes de extensão corresponda a um, ou três ou mais.

[0060] O lado de recepção inclui, por exemplo, um conversor de televisão (set-top box) 211 e um display 212. Através de uma unidade de recepção (não mostrada), o conversor de televisão 211 recebe a corrente básica STb, a primeira corrente de extensão STe1 e a segunda corrente de extensão STe2 e metadados incluindo informações relacionadas com o processo de mistura associado aos dados de imagem de cada corrente.

[0061] Através de uma unidade HLP 211a, o conversor de televisão 211 interpreta os metadados enviados em associação com os dados de imagem de cada fotograma. Além do mais, através de um decodificador, 211b, o conversor de televisão 211 desempenha um processo de decodificação para a corrente básica STb, a primeira corrente de extensão STe1, a segunda corrente de extensão STe2, e obtém, por exemplo, dados de imagem de 240 Hz.

[0062] Através de uma unidade de transmissão (não mostrada), o conversor de televisão 211 transmite os dados de imagem de 240 Hz e os metadados correspondendo a cada fotograma ao display 212 usando, por exemplo, uma interface digital, tal como Interface Multimídia de Alta Definição (HDMI - High-Definition Multimedia Interface).

[0063] Através de uma unidade de recepção (não mostrada), o display 212 recebe os dados de imagem de 240 Hz e os metadados correspondendo a cada fotograma, ambos sendo enviados desde o conversor de televisão 211. Através de um pós-processador 212a, com base nos metadados, o display 212 implementa um processo de mistura inversa para os dados de imagem da camada base, que são submetidos ao processo de mistura, nos dados de

15 / 47 imagem de 240 Hz, e obtém os dados de imagem que ainda não foram misturados.

[0064] Além do mais, o display 212 usa diretamente os dados de imagem de 240 Hz, que são obtidos pelo pós-processador 212a, como dados de imagem para exibição ou, em alternativa, melhora uma taxa de fotogramas dos mesmos implementando um processo de interpolação de fotogramas através de uma unidade de inserção de fotogramas de movimento compensado (MCFI - Motion Compensated Frame Insertion) 212b, e usa os dados de imagem de 240 Hz com a taxa de fotogramas aumentada como os dados de imagem para exibição.

[0065] Além do mais, o lado de recepção inclui, por exemplo, um conversor de televisão 221 e um display 222. Através de uma unidade de recepção (não mostrada), o conversor de televisão 221 recebe a corrente básica STb e a primeira corrente de extensão STe1 e os metadados incluindo as informações relacionadas com o processo de mistura associado aos dados de imagem de cada corrente.

[0066] Através de uma unidade HLP 221a, o conversor de televisão 221 interpreta os metadados enviados em associação com os dados de imagem de cada fotograma. Além do mais, através de um decodificador, 221b, o conversor de televisão 221 desempenha um processo de decodificação para a corrente básica STb e a primeira corrente de extensão STe1 e obtém, por exemplo, dados de imagem de 120 Hz.

[0067] Através de uma unidade de transmissão (não mostrada), o conversor de televisão 221 transmite os dados de imagem de 120 Hz e os metadados correspondendo a cada fotograma ao display 222 usando, por exemplo, uma interface digital, tal como HDMI.

[0068] Através de uma unidade de recepção (não mostrada), o display 222 recebe os dados de imagem de 120 Hz e os metadados correspondendo a cada fotograma, ambos sendo enviados desde o conversor de televisão 221.

16 / 47 Através de um pós-processador 222a, com base nos metadados, o display 222 implementa um processo de mistura inversa para os dados de imagem da camada base, que são submetidos ao processo de mistura, nos dados de imagem de 120 Hz, e obtém os dados de imagem que ainda não foram misturados.

[0069] Além do mais, o display 201B usa diretamente os dados de imagem de 120 Hz, que são obtidos pelo pós-processador 222a, como esses dados de imagem para exibição ou, em alternativa, melhora uma taxa de fotogramas dos mesmos implementando um processo de interpolação de fotogramas através de uma unidade MCFI 222b, e usa os dados de imagem de 120 Hz com a taxa de fotogramas aumentada como os dados de imagem para exibição.

[0070] Além do mais, o lado de recepção inclui, por exemplo, um conversor de televisão 231 e um display 232. O conversor de televisão 231 recebe a corrente básica STb através de uma unidade de recepção (não mostrada). Através de um decodificador 231a, o conversor de televisão 231 desempenha um processo de decodificação para a corrente básica STb e obtém, por exemplo, dados de imagem de 60 Hz. Através de uma unidade de transmissão (não mostrada), o conversor de televisão 231 transmite os dados de imagem de 60 Hz ao display 232 usando, por exemplo, uma interface digital, tal como HDMI.

[0071] Através de uma unidade de recepção (não mostrada), o display 232 recebe os dados de imagem de 60 Hz enviados desde o conversor de televisão 231. O display 232 usa diretamente os dados de imagem de 60 Hz recebidos como esses dados de imagem para exibição ou, em alternativa, melhora uma taxa de fotogramas dos mesmos implementando um processo de interpolação de fotogramas através de uma unidade MCFI 232a, e usa os dados de imagem de 60 Hz com a taxa de fotogramas aumentada como os dados de imagem para exibição.

17 / 47

[0072] Note que, no exemplo ilustrado, são mostrados três sistemas como o lado de recepção, mas a presente tecnologia não se limitada a isso. Por exemplo, o número de sistemas pode variar dependendo do número de correntes de extensão.

[0073] A Fig. 3 ilustra outro exemplo de configuração do lado de transmissão. Na Fig. 3, porções correspondendo às da Fig. 2 são adicionadas com os, e denotadas pelos, mesmos números de referência. Esse lado de transmissão inclui a câmera 101, um aparelho de edição (dispositivo de produção) 103 e o centro de difusão 102. A câmera 101 corresponde, por exemplo, à câmera do drone, à câmera do estádio ou afins na Fig. 1(b). O aparelho de edição 103 corresponde, por exemplo, ao veículo de retransmissão, à estação de retransmissão ou afins na Fig. 1(b).

[0074] A câmera 101 captura os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material, e através do pré- processador 101a, desempenha o processo de mistura para os dados de imagem de frequência de fotogramas predeterminados, o processo de mistura seletivamente usando os dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma. Nesse caso, no pré-processador 101a, é igualmente desempenhado o processo de conversão para um valor inferior para a frequência de fotogramas de acordo com as necessidades.

[0075] A unidade de transmissão (não mostrada) da câmera 101 transmite, ao aparelho de edição 103, o pacote incluindo os dados de imagem divididos como os dados de carga útil, os dados de imagem divididos sendo obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura mencionado acima em um número predeterminado para cada fotograma. Além do mais, a unidade de transmissão (não mostrada) da câmera 101 transmite os metadados A, que incluem as informações relacionadas com o processo de mistura, ao aparelho de edição 103 em associação com os dados de imagem de cada fotograma.

18 / 47

[0076] O aparelho de edição 103 recebe o pacote, que é transmitido desde a câmera 101, através da unidade de recepção (não mostrada), e adquire os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material submetido ao processo de mistura. Além do mais, essa unidade de recepção recebe os metadados A transmitidos desde a câmera 101.

[0077] Através de uma unidade HLP 103a, o aparelho de edição 103 interpreta os metadados A, que são associados aos dados de imagem de cada fotograma, e através de um pré-processador 103b, com base nessa interpretação, desempenha o processo de mistura para os dados de imagem de frequência de fotogramas predeterminados, o processo de mistura usando seletivamente os dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e obtém dados de imagem de frequência de fotogramas predeterminados submetidos a um processo de mistura de múltiplos estágios, nesse caso, de dois estágios. Nesse caso, no pré- processador 103b, é igualmente desempenhado o processo de conversão para um valor inferior para a frequência de fotogramas de acordo com as necessidades.

[0078] Uma unidade de transmissão (não mostrada) do aparelho de edição 103 transmite, ao centro de difusão 102, esse pacote incluindo dados de imagem divididos como os dados de carga útil, os dados de imagem divididos sendo obtidos dividindo os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura mencionado acima em um número predeterminado para cada fotograma. Além do mais, a unidade de transmissão (não mostrada) do aparelho de edição 103 transmite metadados B, que incluem informações relacionadas com o processo de mistura de múltiplos estágios, ao centro de difusão 102 em associação com os dados de imagem de cada fotograma.

[0079] O centro de difusão 102 recebe o pacote, que é transmitido desde o aparelho de edição 103, através da unidade de recepção (não

19 / 47 mostrada), e adquire os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material submetido ao processo de mistura. Além do mais, essa unidade de recepção recebe os metadados B transmitidos desde o aparelho de edição 103.

[0080] Através da unidade HLP 102a, o centro de difusão 102 interpreta os metadados B, que são associados aos dados de imagem de cada fotograma, e através do codificador 102b, com base nessa interpretação, desempenha o processo de codificação hierárquica através, por exemplo, da HEVC para os dados de imagem de frequência de fotogramas predeterminados como o vídeo de material submetidos ao processo de mistura, e obtém a corrente básica STb, a primeira corrente de extensão STe1 e a segunda corrente de extensão STe2.

[0081] Nesse caso, o codificador 102b codifica, como os dados de imagem da camada base, os dados de imagem no fotograma, que são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados, e codifica, como os dados de imagem das camadas melhoradas, os dados de imagem nos fotogramas, que não são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados.

[0082] O centro de difusão 102 transmite a corrente básica STb, a primeira corrente de extensão STe1 e a segunda corrente de extensão STe2 através da unidade de transmissão (não mostrada). Nesse caso, o centro de difusão 102 transmite igualmente os metadados, que incluem as informações relacionadas com o processo de mistura, em associação com os dados de imagem de cada corrente. Por exemplo, essa transmissão é desempenhada inserindo a mensagem SEI recentemente definida, que inclui os metadados, na porção de “SEI” da unidade de acesso (AU) de cada imagem (fotograma).

[0083] Note que, no exemplo ilustrado, é ilustrado esse exemplo de transmissão de duas correntes de extensão, que são a primeira corrente de

20 / 47 extensão STe1 e a segunda corrente de extensão STe2, além da corrente básica STb. Todavia, é igualmente concebível que o número de correntes de extensão corresponda a um, ou três ou mais. “Inspeção de processo”

[0084] Embora não mencionado acima, é igualmente concebível que, ao olhar para a qualidade da imagem dos dados de imagem já submetidos ao processo de mistura pelo pré-processador 103b, através do aparelho de edição 103, um usuário determina se o processo de mistura deve ou não ser desempenhado pelo pré-processador 103b para os dados de imagem enviados desde o estágio precedente, nesse caso, a câmera 101.

[0085] Nesse momento, existe igualmente um caso onde essa determinação é feita com base na qualidade da imagem de uma imagem exibida baseada em dados de imagem obtidos desempenhando o processo de mistura inversa através do pós-processador após a passagem pelo codificador/decodificador como na difusão efetiva. Além do mais, nesse momento, existe igualmente um caso onde a determinação é feita com base na qualidade da imagem de uma imagem exibida baseada em dados de imagem restantes submetidos ao processo de mistura após a passagem pelo codificador/decodificador como na difusão efetiva. Ademais, nesse momento, existe igualmente um caso onde a determinação é feita com base na qualidade da imagem de uma imagem exibida baseada em dados de imagem submetidos a um processo de mistura não comprimida sem a passagem pelo codificador/decodificador.

[0086] A Fig. 4 ilustra um exemplo de configuração do aparelho de edição 103 nesse caso. O aparelho de edição 103 inclui um codificador 103c, um decodificador 103d, um pós-processador 103e e um monitor de produção 103f, além da unidade HLP 103a e do pré-processador 103b.

[0087] Os dados de imagem de frequência predeterminados obtidos através do processo de mistura pelo pré-processador 103b são enviados como

21 / 47 os primeiros dados de imagem ao monitor de produção 103f. Além do mais, os dados de imagem de frequência predeterminados obtidos através do processo de mistura pelo pré-processador 103 são enviados como segundos dados de imagem ao monitor de produção 103f após serem codificados pelo codificador 103c e decodificados pelo decodificador 103d.

[0088] Ademais, os dados de imagem de frequência de fotogramas predeterminados obtidos desde o decodificador 103d são enviados como terceiros dados de imagem ao monitor de produção 103f após serem submetidos ao processo de mistura inversa pelo pós-processador 103e. Embora não mostrado, esse processo de mistura inversa no pós-processador 103e é desempenhado com base nos metadados B disponibilizados desde o pré-processador 103b.

[0089] Nesse exemplo de configuração, é possibilitado ao usuário trocar seletivamente os primeiros dados de imagem, os segundos dados de imagem ou os terceiros dados de imagem no monitor de produção 103f, olhar para a imagem exibida através de um dos mesmos e determinar se o processo de mistura deve ser ou não desempenhado pelo pré-processador 103b. Note que, em um caso onde o processo de mistura não é desempenhado pelo pré- processador 103b, os dados de imagem e os metadados B, que são enviados desde o aparelho de edição 103 ao estágio subsequente, nesse caso, o centro de difusão 102, se tornam os mesmos dos dados de imagem e dos metadados A, que são enviados desde a câmera 101 ao aparelho de edição 103. “Distribuição de camadas na codificação hierárquica no codificador”

[0090] Como mencionado acima, o codificador 102b codifica, como os dados de imagem da camada base, por exemplo, os dados de imagem no fotograma, que são submetidos ao processo de mistura, nos dados de imagem de frequência de fotogramas predeterminados, e codifica, como dados de imagem das camadas melhoradas, dados de imagem de fotogramas, que não são submetidos ao processo de mistura, nos dados de imagem de frequência

22 / 47 de fotogramas predeterminados.

[0091] Os metadados incluindo as informações relacionadas com o processo de mistura, que é associado aos dados de imagem de cada fotograma enviado junto com os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura pelo codificador 102b, incluem “Sinalizador_mescla” como informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura. Como ilustrado na Fig. 5, é desempenhado um processo de distribuição de camadas no codificador 102b com base em “Sinalizador_mescla”.

[0092] Nesse caso, como ilustrado na Fig. 6(a), o codificador 102b troca acumulação para buffers de referência/não referência de codificador 102b de acordo com “Sinalizador_mescla” da imagem (fotograma) a ser introduzida. No caso de “Sinalizador_mescla = 1”, a acumulação é desempenhada para o buffer de não referência através da codificação da imagem, e no caso de “Sinalizador_mescla = 0”, a acumulação é desempenhada para o buffer de referência através da codificação da imagem.

[0093] Como ilustrado na Fig. 6(b), é possível que a imagem na camada base do buffer referenciado seja referida desde a imagem na camada melhorada do buffer de referência, e a imagem na camada melhorada do buffer de referência não seja referida desde outras imagens. “Taxa de obturador no momento da gravação”

[0094] Será descrita uma taxa de obturador no momento da gravação. A Fig. 7(a) mostra dados de imagem considerados no caso de gravação a uma velocidade do obturador de 1/240 s na frequência de fotogramas de 240 Hz (240 fps). Esses dados de imagem têm uma estrutura na qual são repetidas quatro seções de fotograma de P1, P2, P3 e P4.

[0095] Nesse caso, uma vez que um obturador é aberto para todo o período com respeito a um intervalo de fotograma de 240 Hz, um ângulo do

23 / 47 obturador (taxa de obturador) α se torna 360 graus (100%) como expresso através da seguinte Equação (1). α = 360*240/240 = 360 ... (1)

[0096] A Fig. 7(b) mostra dados de imagem considerados no caso de gravação a uma velocidade do obturador de 1/300 s na frequência de fotogramas de 240 Hz (240 fps). Esses dados de imagem têm uma estrutura na qual são repetidas quatro seções de fotograma de P1, P2, P3 e P4.

[0097] Nesse caso, uma vez que um período aberto do obturador se torna tão curto quanto 1/300 s com respeito ao intervalo de fotograma de 240 Hz, o ângulo do obturador (taxa de obturador) α se torna 288 graus (80%) como expresso através da seguinte Equação (2). α = 360*240/300 = 288 ... (2)

[0098] A Fig. 8 mostra um exemplo de uma relação de correspondência entre a velocidade do obturador (1/s), uma taxa de fotogramas de transmissão (fps) e o ângulo do obturador (graus). Geralmente, o ângulo do obturador (graus) é calculado através da seguinte Equação (3). Ângulo do obturador (graus) = 360 * (taxa de fotogramas de transmissão) * (velocidade do obturador) ... (3) “Processo de mistura”

[0099] Como mencionado acima, o processo de mistura é desempenhado para reduzir a degradação da qualidade da imagem em movimento devido ao efeito estroboscópico no receptor que cria a imagem de exibição desde a decodificação parcial. Os dados de imagem que não são submetidos ao processo de mistura correspondem a dados de imagem em um modo incompatível, e os dados de imagem submetidos ao processo de mistura correspondem a dados de imagem em um modo compatível de baixa taxa de fotogramas.

[00100] Um exemplo do processo de mistura será descrito com referência à Fig. 9. A Fig. 9(a) mostra os dados de imagem no modo

24 / 47 incompatível, que correspondem a uma forma básica e não são submetidos ao processo de mistura. Esses dados de imagem correspondem a dados de imagem gravados a uma frequência de fotogramas de 240 Hz (240 fps) e uma velocidade do obturador de 1/240 s. Esses dados de imagem têm uma estrutura na qual são repetidas quatro seções de fotograma (imagem) de P1, P2, P3 e P4. O ângulo do obturador (taxa de obturador) α de cada fotograma nesse caso é de 360 graus (100%) (consultar Fig. 7(a)).

[00101] A Fig. 9(b) mostra dados de imagem de 240 Hz no modo compatível de baixa taxa de fotogramas, que são submetidos ao processo de mistura. Esses dados de imagem têm uma estrutura na qual são repetidas quatro seções de fotograma de Q1, Q2, Q e Q4. Os dados de imagem nos fotogramas de Q1, Q2 e Q4 são os mesmos dos dados de imagem nos fotogramas de P1, P2 e P4, respectivamente. Um ângulo do obturador (taxa de obturador) α dos fotogramas de Q1, Q2 e Q4 é de 360 graus (100%).

[00102] Os dados de imagem no fotograma de Q3 correspondem a dados de imagem misturados t(P2, P3, P4) obtidos desempenhando cálculo de filtro para os dados de imagem nos fotogramas de P2, P3 e P4. Nesse caso, os dados de imagem no fotograma de Q3 têm elementos de pixel dos três fotogramas de P2, P3 e P4 misturados entre si através do cálculo de filtro. Um ângulo do obturador (taxa de obturador) β desse fotograma de Q3 se torna 360 * 3 graus (300%), uma vez que são refletidos elementos de pixel de 3 fotogramas em 1 fotograma de 240 Hz como expresso através da seguinte Equação (4). β = 360*240/240*3 = 360*3 ... (4)

[00103] A Fig. 9(c) mostra dados de imagem no caso de extração dos dados de imagem no fotograma de Q3, que são submetidos ao processo de mistura, e exibição dos dados de imagem a 60 Hz no lado da recepção. Os dados de imagem em um fotograma de R3 correspondem àqueles nos quais os dados de imagem no fotograma de Q3 são exibidos em um intervalo de tempo

25 / 47 de 60 Hz. Os dados de imagem nesse fotograma de R3 sintetizaram elementos de pixel em um fotograma correspondendo a três janelas de P2, P3 e P4 nas quatro janelas de 240 Hz originais em uma amplitude de tempo de 60 Hz. Por consequência, um ângulo do obturador (taxa de obturador) γ no fotograma de R3 é de 270 graus (75%) como expresso através da seguinte Equação (5). γ = 360*60/240*3 = 270 ... (5)

[00104] No caso da transmissão, ao lado da recepção, dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 9(b) e submetidos ao processo de mistura, é desempenhada codificação, por exemplo, como se segue no codificador 102b. Ou seja, a corrente básica STb inclui dados de imagem codificados de dados de imagem de camada de 60 Hz (consultar dados de imagem no fotograma (imagem) de Q3). Além do mais, a primeira corrente de extensão STe1 inclui dados de imagem codificados de dados de imagem de camada de 120 Hz (consultar dados de imagem no fotograma (imagem) de Q1). Ademais, a segunda corrente de extensão Ste2 inclui dados de imagem codificados de dados de imagem de camada de 240 Hz (consultar dados de imagem nos fotogramas (imagens) de Q2 e Q4).

[00105] Note que, no exemplo da Fig. 9, é mostrado um exemplo no qual o ângulo do obturador (taxa de obturador) α no momento da gravação é de 360 graus (100%); todavia, mesmo no caso de outros exemplos, pode ser feita uma consideração similar. Por exemplo, no caso de α = 288 graus, são estabelecidos β = 288 * 3 = 864 graus e γ = 288 * 3/4 = 216 graus. Isso se aplica similarmente não só ao caso do exemplo da Fig. 9 como também aos exemplos das Figs. 10 e 11 abaixo.

[00106] Outro exemplo do processo de mistura será descrito com referência à Fig. 10. A Fig. 10(a) mostra os dados de imagem no modo incompatível, que correspondem a uma forma básica e não são submetidos ao processo de mistura. Esses dados de imagem correspondem a dados de

26 / 47 imagem gravados a uma frequência de fotogramas de 240 Hz (240 fps) e uma velocidade do obturador de 1/240 s. Esses dados de imagem têm uma estrutura na qual são repetidas quatro seções de fotograma (imagem) de P1, P2, P3 e P4. O ângulo do obturador (taxa de obturador) α de cada fotograma nesse caso é de 360 graus (100%) (consultar Fig. 7(a)).

[00107] A Fig. 10(b) mostra dados de imagem de 120 Hz no modo compatível de baixa taxa de fotogramas, que são submetidos ao processo de mistura. Esses dados de imagem têm uma estrutura na qual são repetidas duas seções de fotograma de S1 e S3. Dados de imagem no fotograma de S1 são os mesmos dos dados de imagem no fotograma de P1. Esse fotograma S1 tem uma amplitude de tempo de 120 Hz, que corresponde a uma amplitude de tempo de duas janelas de 240 Hz.

[00108] Se os dados de imagem nesse fotograma de S1 incluírem elementos de pixel de duas janelas de P1 e P2, o ângulo do obturador (taxa de obturador) é de 360 graus (100%). Todavia, uma vez que os dados de imagem nesse fotograma de S1 incluem somente os elementos de pixel da janela de P1, o ângulo do obturador (taxa de obturador) do fotograma de S1 é de 180 graus (50%).

[00109] Os dados de imagem no fotograma de S3 correspondem a dados de imagem misturados t(P2, P3, P4) obtidos desempenhando o cálculo de filtro para os dados de imagem nos fotogramas de P2, P3 e P4. Esse fotograma de S3 tem uma amplitude de tempo de 120 Hz, que corresponde a uma amplitude de tempo de duas janelas de 240 Hz. Se os dados de imagem nesse fotograma de S3 incluírem elementos de pixel de duas janelas de P3 e P4, o ângulo do obturador (taxa de obturador) é de 360 graus (100%).

[00110] Todavia, os dados de imagem no fotograma de S3 incluem igualmente elementos de pixel de três janelas obtidas adicionando a janela de P2 às duas janelas de P3 e P4. Por consequência, um ângulo do obturador (taxa de obturador) β no fotograma de S3 é de 540 graus (150%) como

27 / 47 expresso através da seguinte Equação (6). β = 360*120/240*3 = 540 ... (6)

[00111] A Fig. 10(c) mostra dados de imagem no caso de extração dos dados de imagem no fotograma de S3, que são submetidos ao processo de mistura, e exibição dos dados de imagem a 60 Hz no lado da recepção. Os dados de imagem em um fotograma de T3 correspondem àqueles nos quais os dados de imagem no fotograma de S3 são exibidos em um intervalo de tempo de 60 Hz. Os dados de imagem nesse fotograma de T3 sintetizaram elementos de pixel em um fotograma correspondendo a três janelas de P2, P3 e P4 nas quatro janelas de 240 Hz originais em uma amplitude de tempo de 60 Hz. Por consequência, um ângulo do obturador (taxa de obturador) γ no fotograma de T3 é de 270 graus (75%) como expresso através da seguinte Equação (7). γ = 360*60/240*3 = 270 ... (7)

[00112] No caso da transmissão, ao lado da recepção, dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 10(b) e submetidos ao processo de mistura, é desempenhada codificação, por exemplo, como se segue no codificador 102b. Ou seja, a corrente básica STb inclui dados de imagem codificados de dados de imagem de camada de 60 Hz (consultar dados de imagem no fotograma (imagem) de S3). Além do mais, a primeira corrente de extensão STe1 inclui dados de imagem codificados de dados de imagem de camada de 120 Hz (consultar dados de imagem no fotograma (imagem) de S1). Nesse caso, não é gerada a segunda corrente de extensão Ste2.

[00113] Ainda outro exemplo do processo de mistura será descrito com referência à Fig. 11. A Fig. 11(a) mostra os dados de imagem no modo incompatível, que correspondem a uma forma básica e não são submetidos ao processo de mistura. Esses dados de imagem correspondem a dados de imagem gravados a uma frequência de fotogramas de 240 Hz (240 fps) e uma velocidade do obturador de 1/240 s. Esses dados de imagem têm uma

28 / 47 estrutura na qual são repetidas quatro seções de fotograma (imagem) de P1, P2, P3 e P4. O ângulo do obturador (taxa de obturador) α de cada fotograma nesse caso é de 360 graus (100%) (consultar Fig. 7(a)).

[00114] A Fig. 11(b) mostra dados de imagem de 120 Hz no modo compatível de baixa taxa de fotogramas, que são submetidos a um processo de mistura do primeiro estágio. Embora seja omitida uma descrição detalhada, esses dados de imagem são os mesmos dos dados de imagem mostrados na Fig. 10(b) mencionada acima.

[00115] A Fig. 11(c) mostra dados de imagem de 120 Hz no modo compatível de baixa taxa de fotogramas, que são submetidos a um processo de mistura do segundo estágio. Esses dados de imagem têm uma estrutura na qual são repetidas duas seções de fotograma de U1 e U3. Dados de imagem no fotograma de U1 são os mesmos dos dados de imagem no fotograma de S1.

[00116] Os dados de imagem no fotograma de U3 correspondem a dados de imagem t(S3, S4) misturados obtidos desempenhando o cálculo de filtro para os dados de imagem nos fotogramas de S1 e S3. Esse fotograma de U3 tem uma amplitude de tempo de 120 Hz, que corresponde a uma amplitude de tempo de duas janelas de 240 Hz. Se os dados de imagem nesse fotograma de U3 incluírem elementos de pixel de duas janelas de P3 e P4, o ângulo do obturador (taxa de obturador) é de 360 graus (100%).

[00117] Todavia, os dados de imagem no fotograma de U3 incluem igualmente elementos de pixel de quatro janelas obtidas adicionando as janelas de P1 e P2 às duas janelas de P3 e P4. Por consequência, um ângulo do obturador (taxa de obturador) β no fotograma de U3 é de 360*2 (200%) como expresso através da seguinte Equação (8). β = 360*120/240*4 = 360*2 ... (8)

[00118] A Fig. 11(d) mostra dados de imagem no caso de extração dos dados de imagem no fotograma de U3, que são submetidos ao processo de

29 / 47 mistura, e exibição dos dados de imagem a 60 Hz no lado da recepção. Os dados de imagem em um fotograma de W3 correspondem àqueles nos quais os dados de imagem no fotograma de U3 são exibidos em um intervalo de tempo de 60 Hz. Os dados de imagem nesse fotograma de W3 sintetizaram elementos de pixel em um fotograma em todas as quatro janelas de 240 Hz originais em uma amplitude de tempo de 60 Hz. Por consequência, um ângulo do obturador (taxa de obturador) γ no fotograma de W3 é de 360 graus (100%) como expresso através da seguinte Equação (9). γ = 360*60/240*4 = 360 ... (9)

[00119] No caso da transmissão dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 11(c) e submetidos ao processo de mistura, ao lado da recepção, é desempenhada codificação, por exemplo, como se segue no codificador 102b. Ou seja, a corrente básica STb inclui dados de imagem codificados de dados de imagem de camada de 60 Hz (consultar dados de imagem no fotograma (imagem) de U3). Além do mais, a primeira corrente de extensão STe1 inclui dados de imagem codificados de dados de imagem de camada de 120 Hz (consultar dados de imagem no fotograma (imagem) de U1). Nesse caso, não é gerada a segunda corrente de extensão Ste2. “Transmissão de metadados”

[00120] Como mencionado acima, no lado da transmissão (gravação/produção/envio) da Fig. 2, quando os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura são colocados em pacotes e transmitidos ao estágio seguinte, são igualmente transmitidos metadados incluindo informações relacionadas com o processo de mistura em associação com os dados de imagem de cada fotograma.

[00121] Nesse caso, como mencionado acima, por exemplo, a transmissão dos metadados é desempenhada inserindo os metadados em um cabeçalho de carga útil do pacote incluindo pelo menos o início dos dados de

30 / 47 imagem de cada fotograma e transmitindo os metadados (primeiro método), ou transmitindo os metadados por um pacote somente de metadados associado ao pacote incluindo os dados de imagem de cada fotograma (segundo método). Note que um método de transmissão dos metadados não é limitado ao primeiro método e ao segundo método. Abaixo, serão descritos detalhes do primeiro método e do segundo método. “Primeiro método”

[00122] Esse primeiro método corresponde ao de inserção dos metadados no cabeçalho de carga útil do pacote incluindo pelo menos o início dos dados de imagem de cada fotograma e transmissão dos metadados.

[00123] A Fig. 12 ilustra um exemplo do pacote. Esse exemplo é estandardizado como “ST 2022-6 Transport of High Bit Rate Media Signals over IP Networks (HBRMT)”. Esse padrão é um padrão para transmissão IP de sinais SDI, no qual a Sociedade de Engenheiros de Cinema e Televisão (SMPTE) define pacotes IP. No caso desse padrão, um vídeo e um áudio são misturados e inseridos na carga útil.

[00124] Nesse padrão, uma corrente SDI (dados de imagem) é dividida em cada 1376 bytes a serem definidos como uma carga útil multimídia, e é depois adicionada com um cabeçalho de carga útil e, em seguida, é ainda adicionado à mesma um cabeçalho RTP de 12 bytes, e todos são encapsulados em um pacote RTP. O padrão “SMPTEST 2022-6” especifica transmissão IP até correntes não comprimidas 3G-SDI que transportam um vídeo 1080 P. Note que, na realidade, um cabeçalho UDP é adicionado ao pacote RTP, um pacote IP é ainda adicionado ao mesmo, e o pacote RTP é transmitido como um pacote IP.

[00125] A Fig. 13 ilustra um exemplo de estrutura (sintaxe) do cabeçalho RTP, e a Fig. 14 mostra conteúdos (semântica) de informações principais no exemplo de estrutura. Um número de versão (V) indica uma versão de RTP, e uma atual versão corresponde a 2. Um bit de enchimento (P)

31 / 47 indica se a carga útil está cheia (1) ou não está cheia (0).

[00126] Um bit de extensão de cabeçalho (X) indica se um cabeçalho de extensão está adicionado (1) ou não está adicionado (0). Uma contagem CSRC (CC) indica um comprimento de uma lista CSRC. Em um caso onde a carga útil é uma síntese de uma pluralidade de correntes multimídia, uma lista SSRC das respectivas correntes multimídia é armazenada como uma lista de fonte de contribuição (CSRC - Contributing Source).

[00127] Um bit de marcador (M) indica uma ocorrência de um evento significativo definido por um perfil RTP para uso. O bit de marcador (M) é usado para indicar o início, a retomada, o fim e afins de uma corrente. Um tipo de carga útil (PT - Payload Type) é usado para identificar um tipo multimídia dos dados de carga útil, e indica o método de codificação multimídia especificado em RFC 3551. Por exemplo, o valor “98” indica “ST2022-6”, o “Novo_Valor1” recentemente definido indica “ST2110-20” e o “Novo_Valor2” recentemente definido indica “metadados”.

[00128] Um número de sequência é um valor de número inteiro de 16 bits não assinado que é incrementado em 1 sempre que é transmitido um pacote. Normalmente, é definido aleatoriamente um valor inicial. O número de sequência é usado para fins de alinhamento e perda de pacotes. Uma marca de hora representa um momento em que o início dos dados de carga útil é amostrado. A marca de hora é usada para reproduzir multimídia. É incrementado um valor para cada pacote quando o pacote RTP é transmitido.

[00129] Um identificador de fonte síncrona (SSRC) indica uma SSRC de um transmissor de pacotes.

[00130] A Fig. 15 ilustra um exemplo de estrutura (sintaxe) do cabeçalho de carga útil, e a Fig. 16 mostra conteúdos (semântica) de informações principais no exemplo de estrutura. Esse cabeçalho de carga útil corresponde a informações que especificam que os conteúdos a serem transmitidos pela carga útil do pacote podem ser reproduzidos em

32 / 47 sincronização no lado da recepção.

[00131] Um campo de 4 bits de “Ext” representa o número de palavras de extensão (4 bytes por 1 palavra) do cabeçalho de carga útil. Em um campo de 1 bit de “F”, “1” indica que é incluído um formato de vídeo, e “0” indica que dados são metadados ou afins, que correspondem a outros que não um vídeo. Em um caso onde os dados correspondem a outros que não um vídeo, elementos subsequentes “contagemFR”, “R”, “FOTOGRAMA” e “TAXAF” não têm qualquer significado.

[00132] Em um campo de 3 bits de “VSID”, “0” indica “primário” e “1” indica “proteção”. Um campo de 8 bits de “contagemFR” indica um valor que aumenta para cada fotograma de vídeo. Um campo de 2 bits de “R” indica uma referência de uma marca de hora de vídeo. “00” indica “não bloqueado”, “01” indica “UTC” e “10” indica “referência privada”.

[00133] Um campo de 2 bits de “S” indica se a carga útil é ou não encriptada. “00” indica nenhuma encriptação. Um campo de 3 bits de “FEC” indica um tipo de código de correção de erro para uso. “000” indica “nenhum”, “001” indica “coluna” e “010” indica “fila e coluna”.

[00134] Um campo de 4 bits de “CF” indica uma frequência de relógio de um sinal de vídeo. “0x1” indica 27 MHz. Um campo de 4 bits de “MAPA” indica um tipo de corrente SDI. Um campo de 8 bits de “FOTOGRAMA” especifica uma combinação de um método de varredura, o número de pixels e afins no sinal de vídeo.

[00135] Um campo de 8 bits de “TAXAF” indica uma frequência de fotogramas do sinal de vídeo. Um campo de 4 bits de “AMOSTRA” indica uma estrutura de amostragem de cromaticidade do sinal de vídeo. Um campo de 32 bits de “Marca de hora de vídeo” é uma marca de hora que se encontra presente quando o valor de “CF” é maior que 0 e serve para sincronizar o sinal de vídeo entre transmissão e recepção, e é um valor que especifica exatidão através da frequência de relógio do sinal de vídeo.

33 / 47

[00136] Nesse cabeçalho de carga útil, quando o valor de “Ext” é maior que 0, existem tantos campos de “Extensão de cabeçalho” como o número de palavras indicado pelo valor de “Ext”. Esse campo inclui igualmente informações de “Tipo de extensão” que indicam um tipo de extensão. No primeiro método, é inserido “mescla_obturador ()” como metadados incluindo informações relacionadas com o processo de mistura nesse campo de “Extensão de cabeçalho”.

[00137] A Fig. 17 ilustra um exemplo de estrutura (sintaxe) de “mescla_obturador()”, e a Fig. 18 mostra conteúdos (semântica) de informações principais no exemplo de estrutura. Uma área de 8 bits de “tipo de metadados” indica um tipo de metadados. No caso de “0x0A”, é definida uma área de extensão como a presente sintaxe/semântica.

[00138] Um campo de 8 bits de “comprimento_mescla_obturador” representa um tamanho de byte de um elemento seguinte. Um campo de 8 bits de “id_corrente_vídeo” é um ID de corrente de vídeo de um alvo. Esses campos de 8 bits são usados somente quando usados fora de um pacote de vídeo.

[00139] Um campo de 4 bits de “código_velocidade_obturador_referência” é um valor de código da velocidade do obturador de referência (essencialmente uma velocidade do obturador de câmera no momento de captura). Por exemplo, “0x1” indica 1/24 s, “0x2” indica 1/25 s, “0x3” indica 1/30 s, “0x4” indica 1/50 s, “0x5” indica 1/60 s, “0x6” indica 1/100 s, “0x7” indica 1/120 s, “0x8” indica 1/180 s, “0x9” indica 1/200 s e “0xA” indica 1/240 s.

[00140] Um campo de 4 bits de “número_de_estágios_de_mescla” indica o número de estágios do processo de mistura. Um valor corresponde a 1 ou maior. Os seguintes elementos se encontram repetidamente presentes para esse número de estágios.

[00141] Um campo de 4 bits de “código_taxafotogramas_referência” é

34 / 47 um valor de código de uma taxa de fotogramas de referência (= taxa de fotogramas de imagem alvo de processo de mistura). Por exemplo, “0x1” indica 24 fps, “0x2” indica 25 fps, “0x3” indica 30 fps, “0x4” indica 50 fps, “0x5” indica 60 fps, “0x6” indica 100 fps, “0x7” indica 120 fps, “0x8” indica 200 fps e “0x9” indica 240 fps.

[00142] Um campo de 4 bits de “atual_código_taxafotogramas” é um valor de código da atual taxa de fotogramas (= taxa de fotogramas de imagem já submetida ao processo de mistura). Por exemplo, “0x1” indica 24 fps, “0x2” indica 25 fps, “0x3” indica 30 fps, “0x4” indica 50 fps, “0x5” indica 60 fps, “0x6” indica 100 fps, “0x7” indica 120 fps, “0x8” indica 200 fps e “0x9” indica 240 fps.

[00143] Um campo de 1 bit de “sinalizador_mescla” é um sinalizador de mescla indicando se o processo de mistura é ou não desempenhado. “1” indica que o processo de mistura é desempenhado e “0” indica que o processo de mistura não é desempenhado. Quando o sinalizador de mescla corresponde a “1”, os seguintes elementos se encontram presentes.

[00144] Um campo de 2 bits de “código_alvos_mescla” indica o alvo de processo de mistura. “código_alvos_mescla” indica se uma imagem a ser misturada com a atual imagem na taxa de fotogramas de referência se encontra antes, depois ou tanto antes como depois da atual imagem. Por exemplo, “10” indica “antes”, “01” indica “depois” e “11” indica “tanto antes como depois”.

[00145] Um campo de 4 bits de “código_coeficientes_mescla” é um valor de código indicando uma proporção de mescla (proporção de coeficientes de cálculo de filtro quando misturados). É usado um valor tendo uma grande proporção como um coeficiente de ponderação para a atual imagem, e é usado um valor tendo uma pequena proporção como um coeficiente de ponderação para as imagens de alvo de mistura precedentes e subsequentes. Por exemplo, “0x1” significa “1 para 1”, “0x2” significa “2

35 / 47 para 1”, “0x3” significa “4 para 1” e “0x4” significa “1 para 2 para 1”. “Exemplos específicos de metadados”

[00146] Primeiro, será fornecida uma descrição de um exemplo específico de metadados no caso da transmissão, ao lado da recepção, dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 9(b) e submetidos ao processo de mistura. A Fig. 19(a) mostra um exemplo específico dos metadados (metadados A) transmitidos em associação com os dados de imagem nos fotogramas de Q1, Q2 e Q4. Nesse caso, a velocidade do obturador de referência é de 1/240 s, a taxa de fotogramas de referência é de 240 fps, a atual taxa de fotogramas é de 240 fps e o sinalizador de mescla corresponde a “0”.

[00147] Nesse caso, é possível ver que o ângulo do obturador original é de 360 graus (100%) no lado da recepção desde a velocidade do obturador de referência e da taxa de fotogramas de referência. Além do mais, uma vez que a atual taxa de fotogramas é a mesma da taxa de fotogramas de referência, é possível ver que o ângulo do obturador é de 360 graus (100%). Ademais, desde o sinalizador de mescla, é possível ver que os dados de imagem no fotograma não são submetidos ao processo de mistura.

[00148] A Fig. 19(b) mostra um exemplo específico dos metadados (metadados A) transmitidos em associação com os dados de imagem no fotograma de Q3. Nesse caso, a velocidade do obturador de referência é de 1/240 s, a taxa de fotogramas de referência é de 240 fps, a atual taxa de fotogramas é de 240 fps, o sinalizador de mescla corresponde a “1”, o alvo de processo de mistura se encontra tanto antes como depois e a proporção de mescla é de 1 para 2 para 1.

[00149] Nesse caso, é possível ver que o ângulo do obturador original é de 360 graus (100%) no lado da recepção desde a velocidade do obturador de referência e da taxa de fotogramas de referência. Além do mais, desde o alvo de processo de mistura, é possível ver que os dados de imagem do fotograma

36 / 47 são uma mistura de três imagens em uma proporção de 1 para 2 para 1 com as imagens tanto precedentes como subsequentes consideradas como o alvo de processo de mistura. A conversão do ângulo do obturador através desse processo de mistura é de 360*3 = 1080 graus (300%). Uma vez que a atual taxa de fotogramas é a mesma da taxa de fotogramas de referência, é possível ver que o ângulo do obturador é de 360 graus (100%).

[00150] Em seguida, será fornecida uma descrição de um exemplo específico de metadados no caso de transmissão, ao lado da recepção, dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 10(b) e submetidos ao processo de mistura. A Fig. 20(a) mostra um exemplo específico dos metadados (metadados A) transmitidos em associação com os dados de imagem no fotograma de S1. Nesse caso, a velocidade do obturador de referência é de 1/240 s, a taxa de fotogramas de referência é de 240 fps, a atual taxa de fotogramas é de 120 fps e o sinalizador de mescla corresponde a “0”.

[00151] Nesse caso, é possível ver que o ângulo do obturador original é de 360 graus (100%) no lado da recepção desde a velocidade do obturador de referência e da taxa de fotogramas de referência. Além do mais, uma vez que um eixo de tempo da atual taxa de fotogramas é dobrado com respeito a um eixo de tempo da taxa de fotogramas de referência, é possível ver que o ângulo do obturador do fotograma é de 180 graus (50%). Ademais, desde o sinalizador de mescla, é possível ver que os dados de imagem no fotograma não são submetidos ao processo de mistura.

[00152] A Fig. 20(b) mostra um exemplo específico dos metadados (metadados A) transmitidos em associação com os dados de imagem no fotograma de S3. Nesse caso, a velocidade do obturador de referência é de 1/240 s, a taxa de fotogramas de referência é de 240 fps, a atual taxa de fotogramas é de 120 fps, o sinalizador de mescla corresponde a “1”, o alvo de processo de mistura se encontra tanto antes como depois e a proporção de

37 / 47 mescla é de 1 para 2 para 1.

[00153] Nesse caso, é possível ver que o ângulo do obturador original é de 360 graus (100%) no lado da recepção desde a velocidade do obturador de referência e da taxa de fotogramas de referência. Além do mais, desde o alvo de processo de mistura, é possível ver que os dados de imagem do fotograma são uma mistura de três imagens em uma proporção de 1 para 2 para 1 com as imagens tanto precedentes como subsequentes consideradas como o alvo de processo de mistura. A conversão do ângulo do obturador através desse processo de mistura é de 360*3 = 1080 graus (300%). Uma vez que um eixo de tempo da atual taxa de fotogramas é dobrado com respeito a um eixo de tempo da taxa de fotogramas de referência, é possível ver que o ângulo do obturador do fotograma é de 540 graus (150%).

[00154] Em seguida, será fornecida uma descrição de um exemplo específico de metadados no caso da transmissão, ao lado da recepção, dos dados de imagem no modo compatível de baixa taxa de fotogramas, que são mostrados na Fig. 11(c) e submetidos ao processo de mistura de dois estágios. As Figs. 21(a) e 21(b) mostram exemplos específicos de metadados (metadados A) transmitidos em associação com os dados de imagem nos fotogramas de S1 e S3 na Fig. 11(b). Embora seja omitida uma descrição detalhada, esses metadados (metadados A) são similares aos das Figs. 20(a) e 20(b) mencionadas acima.

[00155] A Fig. 21(c) mostra um exemplo específico de metadados (metadados B) transmitidos em associação com os dados de imagem no fotograma de U1. Esses metadados (metadados B) incluem informações relacionadas com um processo de mistura do primeiro estágio mostrado na Fig. 21(a), e informações relacionadas com um processo de mistura do segundo estágio. Com relação ao processo de mistura do segundo estágio, uma taxa de fotogramas de referência é de 120 fps, uma atual taxa de fotogramas é de 120 fps e um sinalizador de mescla corresponde a “0”.

38 / 47

[00156] Nesse caso, no lado da recepção, uma vez que a atual taxa de fotogramas é a mesma da taxa de fotogramas de referência, é possível ver que o ângulo do obturador do fotograma é de 360 graus (100%) como o ângulo do obturador do fotograma S1. Além do mais, desde o sinalizador de mescla, é possível ver que os dados de imagem no fotograma não são submetidos ao processo de mistura.

[00157] A Fig. 21(d) mostra um exemplo específico de metadados (metadados B) transmitidos em associação com os dados de imagem no fotograma de U3. Esses metadados (metadados B) incluem informações relacionadas com um processo de mistura do primeiro estágio mostrado na Fig. 21(b), e informações relacionadas com um processo de mistura do segundo estágio. Com relação ao processo de mistura do segundo estágio, uma taxa de fotogramas de referência é de 120 fps, uma atual taxa de fotogramas é de 120 fps, um sinalizador de mescla corresponde a “1”, um alvo de processo de mistura corresponde a um precedente e uma proporção de mescla é de 4 para 1.

[00158] Nesse caso, desde o alvo de processo de mistura, é possível ver que os dados de imagem do fotograma são uma mistura de duas imagens em uma proporção de 4 para 1 com a imagem precedente considerada como o alvo de processo de mistura. Desde esse processo de mistura, é possível ver que o ângulo do obturador do fotograma é de 540 + 180 = 720 graus (200%).

[00159] A Fig. 22 é um diagrama ilustrando um exemplo no qual uma imagem é transmitida por uma pluralidade de pacotes (pacotes multimídia) em transmissão RTP. Esse exemplo mostra um estado no qual uma imagem é dividida em dois pacotes RTP; todavia, a presente tecnologia não é limitada a isso e, por exemplo, uma pluralidade de linhas da imagem pode ser enviada por um pacote, e uma imagem pode ser transmitida por uma pluralidade de pacotes. Além do mais, nesse exemplo, é mostrado um exemplo no qual os metadados são inseridos no cabeçalho de carga útil de cada um da totalidade

39 / 47 de pacotes; todavia, os metadados somente têm de ser inseridos no cabeçalho de carga útil do pacote incluindo pelo menos o início dos dados de imagem de cada fotograma. Note que, apesar de somente ser traçado um vídeo nesse exemplo, na realidade, ST2022-6 permite que um vídeo e um áudio sejam misturados um com o outro. “Segundo método”

[00160] O segundo método se destina à transmissão dos metadados por um pacote somente de metadados associado ao pacote incluindo os dados de imagem de cada fotograma.

[00161] Como a Fig. 22, a Fig. 23 ilustra um exemplo no qual uma imagem é transmitida por uma pluralidade de pacotes (pacotes multimídia) na transmissão RTP. Note que, nesse exemplo, o cabeçalho UDP e o cabeçalho OP não são mostrados por motivos de simplificação dos desenhos.

[00162] No exemplo da Fig. 23, um pacote de metadados se encontra presente além do pacote multimídia. No segundo método, o pacote de metadados é recentemente definido, e esse pacote de metadados é usado para transmitir os metadados incluindo as informações, que se relacionam com o processo de mistura, em associação com cada fotograma. Nesse caso, um pacote de vídeo alvo dos metadados é ligado por “id_corrente_vídeo”. Além do mais, uma imagem alvo é sincronizada por “Marca_de_hora_vídeo”.

[00163] A Fig. 24 ilustra um exemplo de estrutura (sintaxe) do cabeçalho de carga útil nesse caso. Para esse cabeçalho de carga útil, “id_corrente_vídeo” é recentemente definido usando uma área de reserva, por exemplo, “EMT-RESERVA”. Esse “id_corrente_vídeo” tem um valor exclusivamente determinado na distribuição de programas.

[00164] Em seguida, pode ser feita uma ligação a outro pacote de entrega (consultar Fig. 23).

[00165] Note que, apesar de ser omitida uma descrição detalhada, outras estruturas do cabeçalho de carga útil são similares às do exemplo de

40 / 47 estrutura ilustrado na Fig. 15. Todavia, nesse caso, não existem nenhuns metadados inseridos nesse cabeçalho de carga útil. Note que “Marca_de_hora_vídeo” se encontra presente nesse cabeçalho de carga útil.

[00166] Os metadados são distribuídos por uma carga útil de um pacote RTP que não o vídeo. Em seguida, através de “id_corrente_vídeo” e “Marca_de_hora_vídeo”, os metadados podem ser sincronizados com/associados a cada imagem do vídeo considerada como um alvo. Nesse caso, “Novo_valor2” é colocado no tipo de carga útil (PT) do cabeçalho RTP, e “0” é colocado em “F” do cabeçalho de carga útil, e indica que a carga útil não é um vídeo. Dados de formato de “mescla_obturador ()” são inseridos em uma área da carga útil tal como se encontram, e são transmitidos.

[00167] A Fig. 25 ilustra um exemplo de estrutura (sintaxe) de um cabeçalho de carga útil e uma carga útil no pacote de metadados. Em uma área de cabeçalho de carga útil, se encontram presentes um campo de 32 bits de “palavra inicial de metadados”, que corresponde a informações de identificação do pacote de metadados, e um campo de 32 bits de “Marca_de_hora_vídeo”. Em seguida, é inserido “mescla_obturador ()” (consultar Fig. 17) como metadados incluindo informações relacionadas com o processo de mistura em uma área de carga útil. “id_corrente_vídeo” se encontra presente nessa “mescla_obturador ()”.

[00168] Como descrito acima, no lado da transmissão (gravação/produção/envio) do sistema de transmissão/recepção 10 ilustrado nas Figs. 2 e 3, quando os dados de imagem de frequência de fotogramas predeterminados submetidos ao processo de mistura são colocados em pacotes e transmitidos ao estágio seguinte, os metadados incluindo as informações relacionadas com o processo de mistura são igualmente transmitidos em associação com os dados de imagem de cada fotograma. Por consequência, é tornado possível o tratamento de forma satisfatória do material dos dados de imagem no lado da recepção, por exemplo, quando o

41 / 47 material é transmitido, os dados de imagem sendo submetidos ao processo de mistura. <2. Exemplo modificado>

[00169] Note que, na modalidade mencionada acima, o pacote do padrão “ST 2022-6” foi descrito como um exemplo do pacote que contentoriza dados de imagem (dados de vídeo). Todavia, a presente tecnologia pode igualmente ser aplicada de uma maneira similar em um caso onde o pacote que contentoriza os dados de imagem é outro pacote, por exemplo, um pacote do padrão “ST 2110-20”. No caso desse pacote de acordo com o padrão “ST 2110-20”, somente é inserido um vídeo na carga útil.

[00170] Além do mais, apesar de as modalidades preferidas da presente revelação terem sido descritas em detalhe com referência aos desenhos anexos, o escopo técnico da presente revelação não é limitado a esses exemplos. É óbvio que um perito no campo técnico da presente revelação pode imaginar vários exemplos modificados ou exemplos revisados dentro do escopo da ideia técnica descrita nas reivindicações de patente, e é naturalmente entendido que esses pertencem igualmente ao escopo técnico da presente revelação.

[00171] Além do mais, os efeitos descritos na presente descrição são meramente explicativos ou exemplificativos e não são restritivos. Ou seja, a tecnologia de acordo com a presente revelação pode exercer outros efeitos evidentes para os peritos na técnica desde a descrição da presente descrição, além dos efeitos descritos acima ou em vez dos efeitos descritos acima.

[00172] Além do mais, a presente tecnologia pode igualmente adotar as seguintes configurações.

[00173] (1) Um aparelho de transmissão incluindo: uma unidade de transmissão que transmite um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em

42 / 47 um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e a unidade de transmissão transmite ainda metadados em associação com os dados de imagem de cada fotograma, os metadados incluindo informações relacionadas com o processo de mistura.

[00174] (2) O aparelho de transmissão, de acordo com (1), no qual a unidade de transmissão insere os metadados em um cabeçalho de carga útil do pacote incluindo pelo menos um início dos dados de imagem de cada fotograma e transmite os metadados.

[00175] (3) O aparelho de transmissão, de acordo com (1), no qual a unidade de transmissão transmite os metadados através de um pacote somente de metadados associado ao pacote incluindo os dados de imagem de cada fotograma.

[00176] (4) O aparelho de transmissão, de acordo com o reivindicado em qualquer um de (1) a (3), no qual as informações relacionadas com o processo de mistura incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura.

[00177] (5) O aparelho de transmissão, de acordo com qualquer um de (1) a (4), no qual as informações relacionadas com o processo de mistura incluem informações de uma velocidade do obturador de câmera em um momento de captura.

[00178] (6) O aparelho de transmissão, de acordo com qualquer um de (1) a (5), no qual as informações relacionadas com o processo de mistura

43 / 47 incluem informações de uma taxa de fotogramas de uma imagem alvo de processo de mistura.

[00179] (7) O aparelho de transmissão, de acordo com qualquer um de (1) a (6), no qual as informações relacionadas com o processo de mistura incluem informações de uma taxa de fotogramas após o processo de mistura.

[00180] (8) O aparelho de transmissão, de acordo com qualquer um de (1) a (7), no qual as informações relacionadas com o processo de mistura incluem informações indicando uma imagem alvo de processo de mistura.

[00181] (9) O aparelho de transmissão, de acordo com qualquer um de (1) a (8), no qual as informações relacionadas com o processo de mistura incluem informações indicando uma proporção de coeficientes de cálculo de filtro quando misturados.

[00182] (10) O aparelho de transmissão, de acordo com qualquer um de (1) a (9), no qual o processo de mistura inclui estágios predeterminados de processo de mistura.

[00183] (11) O aparelho de transmissão, de acordo com qualquer um de (1) a (10), no qual o pacote se adapta a um formato especificado por um padrão relacionado com transmissão de sinais de vídeo usando uma rede de Protocolo de Internet (IP).

[00184] (12) O aparelho de transmissão, de acordo com (11), no qual o padrão é SMPTE ST2022-6.

[00185] (13) O aparelho de transmissão, de acordo com (11), no qual o padrão é SMPTE ST2110-20.

[00186] (14) O aparelho de transmissão, de acordo com qualquer um

44 / 47 de (1) a (13), incluindo ainda uma unidade de processo de mistura que desempenha o processo de mistura.

[00187] (15) Um método de transmissão incluindo: um procedimento de transmissão de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e o método de transmissão inclui ainda um procedimento de transmissão de metadados em associação com os dados de imagem de cada fotograma, os metadados incluindo informações relacionadas com o processo de mistura.

[00188] (16) Um aparelho de codificação incluindo: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, as informações relacionadas com o processo de mistura

45 / 47 incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, e o aparelho de codificação inclui ainda uma unidade de codificação que, com base nas informações relacionadas com o processo de mistura, codifica, como dados de imagem de uma camada base, os dados de imagem do fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem sendo submetidos ao processo de mistura, e codifica, como dados de imagem de uma camada melhorada, dados de imagem de um fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem não sendo submetidos ao processo de mistura.

[00189] (17) Um método de codificação incluindo: um procedimento de recepção de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, o método de codificação inclui um procedimento de recepção de metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, as informações relacionadas com o processo de mistura incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, e o método de codificação inclui ainda um procedimento de, com base nas informações relacionadas com o processo de mistura, codificação, como dados de imagem de uma camada base, dos dados de

46 / 47 imagem do fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem sendo submetidos ao processo de mistura, e codificação, como dados de imagem de uma camada melhorada, de dados de imagem de um fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem não sendo submetidos ao processo de mistura.

[00190] (18) Um aparelho de recepção incluindo: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, na qual os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, e o aparelho de recepção inclui ainda uma unidade de processo que implementa um processo de mistura inversa para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura e obtém dados de imagem para exibição.

[00191] (19) Um método de recepção incluindo: um procedimento de recepção de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, no qual os dados de imagem de frequência de fotogramas

47 / 47 predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e o método de recepção inclui ainda: um procedimento de recepção de metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma; e um procedimento de implementação de um processo de mistura inversa para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura e obtenção de dados de imagem para exibição.

LISTA DE SINAIS DE REFERÊNCIA 10 Sistema de transmissão/recepção 101 Câmera 101a Pré-processador 102 Centro de difusão 102a Unidade HLP 102b Codificador 103 Aparelho de edição 103a Unidade HLP 103b Pré-processador 211, 221, 231 Conversor de televisão 211a, 221a Unidade HLP 211b, 221b, 231a Decodificador 212, 222, 232 Display 212a, 222a Pós-processador 212b, 222b, 232a Unidade MCFI

Claims

REIVINDICAÇÕES

1. Aparelho de transmissão caracterizado por compreender: uma unidade de transmissão que transmite um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e a unidade de transmissão transmite ainda metadados em associação com os dados de imagem de cada fotograma, os metadados incluindo informações relacionadas com o processo de mistura.

2. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por a unidade de transmissão inserir os metadados em um cabeçalho de carga útil do pacote incluindo pelo menos um início dos dados de imagem de cada fotograma e transmitir os metadados.

3. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por a unidade de transmissão transmitir os metadados por um pacote somente de metadados associado ao pacote incluindo os dados de imagem de cada fotograma.

4. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por as informações relacionadas com o processo de mistura incluírem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura.

5. Aparelho de transmissão de acordo com a reivindicação 1,

caracterizado por as informações relacionadas com o processo de mistura incluírem informações de uma velocidade do obturador de câmera em um momento de captura.

6. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por as informações relacionadas com o processo de mistura incluírem informações de uma taxa de fotogramas de uma imagem alvo de processo de mistura.

7. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por as informações relacionadas com o processo de mistura incluírem informações de uma taxa de fotogramas após o processo de mistura.

8. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por as informações relacionadas com o processo de mistura incluírem informações indicando uma imagem alvo de processo de mistura.

9. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por as informações relacionadas com o processo de mistura incluírem informações indicando uma proporção de coeficientes de cálculo de filtro quando misturados.

10. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por o processo de mistura incluir estágios predeterminados de processo de mistura.

11. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por o pacote se adaptar a um formato especificado por um padrão relacionado com transmissão de sinais de vídeo usando uma rede de Protocolo de Internet (IP).

12. Aparelho de transmissão de acordo com a reivindicação 11, caracterizado por o padrão ser SMPTE ST2022-6.

13. Aparelho de transmissão de acordo com a reivindicação 11, caracterizado por o padrão ser SMPTE ST2110-20.

14. Aparelho de transmissão de acordo com a reivindicação 1, caracterizado por compreender ainda uma unidade de processo de mistura que desempenha o processo de mistura.

15. Método de transmissão caracterizado por compreender: um procedimento de transmissão de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e o método de transmissão compreende ainda um procedimento de transmissão de metadados em associação com os dados de imagem de cada fotograma, os metadados incluindo informações relacionadas com o processo de mistura.

16. Aparelho de codificação caracterizado por compreender: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, as informações relacionadas com o processo de mistura incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, e o aparelho de codificação compreende ainda uma unidade de codificação que, com base nas informações relacionadas com o processo de mistura, codifica, como dados de imagem de uma camada base, os dados de imagem do fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem sendo submetidos ao processo de mistura, e codifica, como dados de imagem de uma camada melhorada, dados de imagem de um fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem não sendo submetidos ao processo de mistura.

17. Método de codificação caracterizado por compreender: um procedimento de recepção de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma,

o método de codificação compreende um procedimento de recepção de metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, as informações relacionadas com o processo de mistura incluem informações indicando se os dados de imagem do fotograma correspondente são ou não submetidos ao processo de mistura, e o método de codificação compreende ainda um procedimento de, com base nas informações relacionadas com o processo de mistura, codificação, como dados de imagem de uma camada base, dos dados de imagem do fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem sendo submetidos ao processo de mistura, e codificação, como dados de imagem de uma camada melhorada, de dados de imagem de um fotograma nos dados de imagem de frequência de fotogramas predeterminados, os dados de imagem não sendo submetidos ao processo de mistura.

18. Aparelho de recepção caracterizado por compreender: uma unidade de recepção que recebe um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, a unidade de recepção recebe ainda metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma, e o aparelho de recepção compreende ainda uma unidade de processo que implementa um processo de mistura inversa para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura e obtém dados de imagem para exibição.

19. Método de recepção caracterizado por compreender: um procedimento de recepção de um pacote incluindo, como dados de carga útil, dados de imagem divididos obtidos dividindo dados de imagem de frequência de fotogramas predeterminados em um número predeterminado para cada fotograma, em que os dados de imagem de frequência de fotogramas predeterminados são submetidos a um processo de mistura seletivamente usando dados de imagem de fotogramas precedentes e/ou subsequentes para cada fotograma, e o método de recepção compreende ainda: um procedimento de recepção de metadados incluindo informações relacionadas com o processo de mistura, os metadados sendo associados aos dados de imagem de cada fotograma; e um procedimento de implementação de um processo de mistura inversa para os dados de imagem de frequência de fotogramas predeterminados com base nas informações relacionadas com o processo de mistura e obtenção de dados de imagem para exibição.