BR122013022769B1 - aparelho para composição de legendas - Google Patents

Abstract

resumo “aparelho para composição de legendas” a essência da invenção é um formato de legendação abrangendo elementos de sin-taxe e semântica intensificadas para melhorar as capacidades de animação. os elementos descritos melhoram o desempenho de legenda sem forçar a taxa de bits de legenda dispo-nível. isto tornará essencial para conteúdo de autoria de legendas de hdtv de alto desem-penho em formato pré-gravado, que pode ser transmitido ou armazenado em meios ópticos de alta capacidade, e.g. disco de blue-ray. a invenção inclui capacidades para possibilidades de autoria melhoradas para a produção de conteúdo para animar legendas. para legendas que estão separadas do material av, o método inclui usar uma ou mais camadas de legenda sobrepostas, e exibir apenas uma parte selecionada das legendas transferidas de cada vez. também, as cores de uma parte selecionada das legendas exibidas podem ser modificadas, e.g. realçadas.

Description

“APARELHO PARA COMPOSIÇÃO DE LEGENDAS” Pedido Dividido do PI 0316174-9 de 03/11/2003. A invenção diz respeito a um método e a um aparelho para composição de legendas para apresentações de áudio/vídeo que podem ser usadas, por exemplo, para legendas de HDTV em formatos pré-gravados como o assim chamado Disco de Blue-ray.

ANTECEDENTES A técnica de legendação para material AudioVisual (AV) tem sido usada começando com os primeiros filmes cinematográficos celulóides e também até os recentes meios digitais aparecerem. O alvo principal de legendação tem sido o suporte de pessoas deficientes ou grupos de linguagem etnográfica pequenos. Portanto legendação freqüentemente visa a apresentação de informação de texto até mesmo quando tendo sido codificado como mapas de pixels de dados gráficos. Portanto, material de AV pré-produzido para transmissão (Closed Caption, Teletexto, legenda de DVB etc.) e discos de filme (Legendas de DVD etc.) primariamente são otimizados para legendas representando informação textual estática simples. Porém, progressos no desenvolvimento de software de PC para apresentação e animação de informação textual induz a uma demanda correspondente por possibilidades e recursos dentro da técnica de legendação digital usada para pré-gravação e transmissão. Usando métodos diretos sem qualquer precaução especial, estes requerimentos aumentados por legendação consumiriam uma porção muito grande da largura da banda geral limitada. Os requerimentos contraditórios para uma legenda de ‘recurso total’ abrangendo desde karaokê até animações genuínas são por um lado a eficiência de codificação e por outro lado o controle total para qualquer autor de legenda.

Para o estado da técnica de hoje de legendar digitalmente material AV com informação de legendação separada, dois métodos principais existem: Legendação pode ser com base em dados de pixel ou em dados de caractere. Em ambos os casos, os esquemas de legendação compreendem uma estrutura geral, que por exemplo trata da sincronização dos elementos de legendação ao longo do eixo geométrico de tempo AV.

Legendação com base em dados de caractere: No método de legendação baseada em caractere, e.g. no sistema de teletexto ETS 300 706 de TV analógica ou digital européia, as cadeias são descritas por seqüências de códigos de letra, e.g. ASCII ou UNICODE, que intrinsicamente permitem uma codificação muito eficiente. Mas das cadeias de caracteres sozinhas, a legendação não pode ser convertida em uma representação gráfica a ser superposta em vídeo. Para isso, o conjunto de caracteres intencionado, fonte e alguns parâmetros de fonte, mais notavelmente o tamanho da fonte, ou deve ser codificado explicitamente dentro do fluxo de bit de legendação ou uma suposição implícita deve ser feita sobre eles dentro de um contexto de legendação adequadamente definido. Também, qualquer legendação neste método é confinada ao que pode ser expresso com as letras e símbolos da(s) fonte(s) específica(s) em uso. A especificação de Legendação de DVB ETS 300 743, neste modo de "objetos de caraclere”, constitui outro exemplo de estado da técnica de legendação com base em caractere.

Legendação com base em dados de pixel: No método de legendação baseada em pixel, as estruturas de legendação são transportadas diretamente na forma de representações gráficas as descrevendo como regiões (tipicamente retangulares) de valores de pixel na tela AV. Sempre que qualquer coisa é significado ser visível no plano de legendação sobreposto no video, seus valores de pixel devem ser codificados e fornecidos no fluxo de bit de legendação, junto com informação de sincronização apropriada, e consequentemente para a animação de recurso total das legen-dações todo pixel alterado deve ser transportado. Obviamente, ao remover qualquer limitação inerente às animações de recursos totais de teletexto, o método baseado em pixel carrega a penalidade de uma largura da banda consideravelmente aumentada para os dados de legendação. Exemplos de esquemas de legendação com base em pixel podem ser encontrados no conceito de sub-ímagem de DVD Especificação de DVD para disco exclusivo de leitura", Parte 3: Vídeo, como também no conceito de "objeto de pixel" de Legendação de DVB, especificado em ETS 300 743.

INVENCÃO A essência da invenção é um formato de legendação que abrange elementos de sintaxe e semântica intensificadas para fornecer capacidades de animação melhoradas. Os elementos descritos melhoram o desempenho de legenda sem forçar a taxa de bits de legenda disponível. Isto se tornará essencial para a autoria de conteúdo de legendas de HDTV de alto desempenho em formato pré-gravado que pode ser difundido ou impresso em meios ópticos de capacidade alta, e.g. Disco de Blue-ray. A invenção inclui capacidades para possibilidades de autoria melhoradas para a produção de conteúdo animar legendas.

Introduzidos pela descrição são elementos de sintaxe e semântica que descrevem a alteração de cor para partes de gráficos a exibir. Isto pode ser usado para efeitos de destaque em aplicações como por exemplo karaokê, evitando a transferência repetida de dados de pixel.

Outros elementos descritos de sintaxe e semântica facilitam a capacidade de recortes partes das legendas antes de exibi-las. Usando a técnica de parâmetros recortados sub-seqüentemente transferida para um objeto a exibir, animação econômica de bit das legendas torna-se disponível. Tal parâmetro recortado pode ser usado por exemplo para gerar alterações de texto mediante caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação, etc, Além disso, os elementos descritos podem ser usados para interativamente fornecer informação textual e gráfica. Especialmente, o posicionamento e/ou ajustes de cor das legendas podem ser manipulados com base na solicitação do usuário.

DESENHOS

Modalidades exemplares da invenção são descritas com referência aos desenhos e tabelas em anexo, que mostram: Fig. 1: valores de tipo de segmento para PCS e RCS intensificados;

Fig. 2: Segmento de composição de página intensificado;

Fig. 3: Segmento de composição de região intensificado;

Fig. 4: Exemplo para a definição de uma região de legenda e sua localização dentro de uma página;

Fig. 5: Exemplo para a definição de uma região de sub-CLUT e região de recorte;

Fig. 6: Exemplo de exibição resultante;

Fig. 7: Uso interativo de legendas;

Fig. 8: Planos de vídeo e gráficos;

Fig. 9: Mistura e comutação de vídeo e gráficos.

MODALIDADES EXEMPLARES A invenção pode preferivelmente ser incorporada com base na sintaxe e semântica da especificação de legenda de DVB (DVB-ST). Para fornecer capacidades melhoradas para a manipulação de elementos gráficos de legenda, a semântica do segmento de composição de página de DVB-ST (PCS) e do segmento de composição de região (RCS) são expandidas. DVB_ST usa segmentos de composição de página (PCS) para descrever as posições de uma ou mais regiões retangulares na tela de exibição. Os segmentos de composição de região (RCS) são usados para definir o tamanho de qualquer tal área retangular e identifica a tabela de consulta de cores (CLUT) usada dentro. A invenção proposta mantém a compatibilidade anterior com DVB-ST usando diferentes tipos de segmentos para os elementos intensificados de PCS e RCS, como listados na Fig.1 mostrando valores de tipo de segmento de acordo com DVB-ST, com valores adicionais para PCS intensificados e RCS intensificados. Seria também possível do contrário selecionar outros valores. Outro método para manter a compatibilidade anterior seria manter os tipos de segmentos existentes e aumentar o version_number da especificação, e.g. incrementando o subtitle_stream_id na estrutura de PES_data_field.

Fig. 2. mostra a estrutura de dados de um segmento de composição de página intensificado (PCS) contendo uma seção region_cropping e uma seção region_sub_CLUT. Fig. 3 mostra a estrutura de dados de um segmento de composição de região intensificado (RCS), contendo um identificador sub_CLUT_id para uma sub-tabela de consulta de cores. Com respeito ao DVB-ST original, todas as estruturas mostradas são expandidas. Nas tabelas as entradas adicionais são as linhas 15-28 na Fig. 2 e a linha 16 na Fig. 3.

Os PCS intensificados mostrados na Fig. 2 portam informação opcional acerca da region_cropping e informação opcional sobre a region_sub_CLUT para cada região listada. Os dois valores de region_cropping e region_sub_CLUT indicam se tal informação opcional está disponível para a região atual no processo. Portanto recorte e sub-CLUT podem ser definidos separadamente para cada região. Embora region_cropping seja usada como um flag, como indicado por “if region_cropping==0x01 ”, a region_sub_CLUT mostra o valor de quantas posições de sub-CLUT são descritas. Isto é feito para fornecer alternativas diferentes dentro do fluxo. Posições de sub-CLUT alternativas podem ser usadas para definir diferentes posições de botão de menu para a tela de exibição. Apenas uma delas - a primeira como uma predefinição - é ativa e o usuário pode alterar a posição para navegar pelas diferentes posições predefinidas pressionando o controle remoto por exemplo.

Os RCS intensificados mostrados na Fig. 3 portam o sub_CLUT_id identificando a família de CLUTs que se aplica a esta região. Isto é feito para re-usar CLUTs para regiões diferentes e sub_CLUTs de região diferente também.

Os elementos intensificados de PCS e RCS fornecem a capacidade que as legendas podem ser manipuladas independente do método de codificação i.e. independente se elas são codificadas como dados de caractere ou dados de pixel.

Os PCS e RCS intensificados podem ser usados para executar muitos efeitos de animação diferentes para as legendas. Aqueles poderíam ser caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação, etc. As figuras a seguir mostram um exemplo de aplicação para karaokê. Fig. 4 mostra a definição de uma região R contendo letras de uma música exibida para karaokê. As letras da legenda podem ser codificadas como dados de pixel ou como dados de caractere também. O region_vertical_address RVA e o region_horizontal_address RHA definem a localização da legenda dentro da estrutura, ou página PG, a exibir.

Fig. 5 descreve na parte superior a região de recorte e na parte inferior a localização da região sub-CLUT. Região de recorte define que parte da região é exibida eficazmente. Isto é alcançado através de quatro parâmetros RHC, RVC, RCH, RCW indicando as coordenadas de início e o tamanho do fragmento a exibir. region_horizontal_cropping RHC especifica o endereço horizontal do pixel esquerdo do topo deste recorte, re-gion_vertical_cropping RVC especifica o endereço vertical da linha de topo deste recorte, region_cropping_width RCW especifica o comprimento horizontal deste recorte e re-gion_cropping_height RCH especifica o comprimento vertical deste recorte, em que recorte significa aquela parte das legendas que está visível em uma exibição. A localização da região sub-CLUT mostrada na parte inferior da Fig. 5 define que parte da região tem que ser exibida usando uma tabela de consulta de cores (CLUT) diferente da região CLUT. Isto é alcançado através de quatro parâmetros SCHA, SCVA, SCH, SCW indicando as coordenadas de início e o tamanho da sub-região usada pela sub-CLUT. Todos os parâmetros de coordenada serão entendidos com relação à região que a sub-CLUT pertence. sub_CLUT_vertical_address SCVA especifica o endereço horizontal do pixel esquerdo do topo desta sub-CLUT, sub_CLUT_vertical_address SCVA especifica o endereço vertical da linha de topo desta sub-CLUT, sub_CLUT_width SCW especifica o comprimento horizontal desta sub-CLUT e sub_CLUT_height SCH especifica o comprimento vertical desta sub-CLUT.

Apanhando todos os parâmetros definidos com as figuras anteriores resulta na legenda exibida como descrito na Fig. 6. A legenda não é descrita ao todo na exibição mas apenas na parte recortada dela. Além disso, a sub-CLUT foi usada para fornecer um destaque HT, de forma que o usuário sabe o que cantar no momento.

Como os PCS intensificados são enviados dentro dos pacotes de fluxo elementar (PES) de pacote de MPEG marcados pelos selos de tempo de apresentação (PTS), qualquer efeito pode ser sincronizado ao AV.

Outra idéia da invenção é a substituição dos parâmetros de animação de legenda pelo usuário. Isto oferece um modo para perceber legendas interativas. Os parâmetros de PCS intensificados são transferidos como uma predefinição, e o usuário pode alterá-los por meio de um controle remoto por exemplo. Desse modo o usuário é capaz de mover, colher ou destacar a legenda.

Isto pode ser uma vantagem para um reposicionamento definido pelo usuário de um texto de legendação, de forma que o usuário pode subjetivamente minimizar o contratempo pela colocação de texto de legenda em cima do filme. Também a cor das legendas pode ser ajustada de acordo com as preferências dos usuários. Fig. 7 mostra um diagrama de blocos para modificações de legenda interativas. Os parâmetros predefinidos DD lidos de um disco D são substituídos substituindo os dados de sobreposição SD que são gerados na ação do usuário UA e processados por um processador P.

Outra aplicação para anular os parâmetros de animação de legenda como posição, retângulo de recorte, CLUTs e sub-CLUTs é a realização de algum tipo muito básico de jogo interativo. A legenda pode portar dados de pixel de um caractere animado. Este caractere é subseqüentemente movido na tela de exibição acionado ou por interação do usuário, controle programático ou ambos. A anulação dos parâmetros de animação de legenda pode ser implementada em pelo menos dois modos. A primeira opção é que os parâmetros de anulação SD substituem o envio de parâmetros DD no fluxo de bit. A segunda opção é que os parâmetros de anulação SD são usados como uma compensação que é adicionada ou subtraída do envio de parâmetros DD de animação de legenda no fluxo de bit.

Os PCS e RCS intensificados fornecem muito mais capacidades de animação não explicadas. A seguir é uma lista não-exaustiva de exemplos: caixas deslizantes, venezianas, função de deslocamento, limpezas, caixas de validação em detalhes.

Planos de vídeo e gráficos exemplares são mostrados na Fig. 8 de uma maneira esquemática exemplar. Uma base é fornecida ou por uma camada de vídeo de MPEG-2 MVL ou uma camada de imagem estática SPL. Elas são mutuamente exclusivas, que significa que ambas não necessitam ser mantidas em um buffer de cada vez. As próximas duas camadas compreendem uma camada de legenda SL e uma camada de gráficos do tipo de sincronização AV AVSGL. Estas duas camadas são neste exemplo alternáveis, significando que ou a camada de legenda SL ou a camada de gráficos do tipo de sincronização AV AVSGL pode ter prioridade uma sobre a outra. A camada frontal é uma camada de gráficos de sincronização não-AV NAVSGL, contendo gráficos que não necessitam ser sincronizados com o conteúdo AV, como e.g. menus ou outras exibições na tela. O método inventivo pode preferivelmente ser usado para a camada de legenda SL, a camada de gráficos de sincronização AV AVSGL e/ou a camada de gráficos de sincronização Não-AV NAVSGL.

Fig. 9 mostra os componentes relevantes de um aparelho para mistura e comutação de vídeo e gráficos. Dados compreendendo quaisquer dados de imagem estática ou dados de vídeo de MPEG-2, outros dados para legendas, dados para animações e dados para gráficos de sincronização não-AV como botões de menu, são recuperados de um disco D. Adicional ou alternativamente, dados para legendas, animações e/ou gráficos de sincronização de não-AV podem ser recebidos de uma rede NW, e.g. Internet. Uma unidade de processamento CPU processa os dados de gráficos de sincronização não-AV e envia os dados resultantes para um dispositivo de transmissão para gráficos de sincronização não-AV RNAVG. O aparelho contém um decodificador de imagem estática SPDec e um decodifica-dor de vídeo de MPEG-2 MVDec, mas uma vez que apenas um deles é usado de cada vez, um comutador sl pode selecionar quais dados serão usados para outro processamento. Além disso, dois decodificadores idênticos AVSGDecl, AVSGDec2 são usados para decodificar os dados de legenda e animação. As saídas destes dois decodificadores AVSGDecl, AVSGDec2 podem ser comutadas por comutações independentes s2, s3 ou para um misturador MX ou para pré-processamento para um misturador e escalonador MXS, que produzem seus dados resultantes para o dito misturador MX. Estas duas unidades MX, MXS são usadas para executar a sobreposição de seus vários dados de entrada, desse modo controlando a ordem de exibição das camadas. O misturador MX tem entradas para uma camada frontal f2, uma camada frontal intermediária mf, uma camada posterior intermediária mb e uma camada de base b2. A camada frontal f2 pode ser nova, se o comutador correspondente s3 estiver em uma posição para conectar o segundo decodificador de gráficos de sincronização AV AVSGDec2 ao misturador e escalonador MXS. Esta unidade MXS tem entradas para a camada frontal f 1, camada intermediária m e camada de base b. Ela sobrepõe estes dados correspondentemente e envia os dados de imagem resultante para a entrada de base b2 do misturador MX. Desse modo, estes dados representam e.g. uma estrutura compreendendo até três camadas de imagem e legendas, que podem ser escaladas e movidas juntas dentro da imagem final. A entrada de base b1 do misturador e escalonador MXS é conectada ao comutador S1 acima mencionado, de forma que a base pode ser gerada de uma imagem estática ou um vídeo de MPEG-2. A saída do primeiro decodificador de gráficos de sincronização AV AVSGDecl é conectada a um segundo comutador s2, que pode comutá-la para a entrada de camada intermediária m do misturador e escalonador ou para a entrada da camada posterior intermediária mb do misturador MX. A saída do segundo decodificador de gráficos de sincronização AV AVSGDec2 é conectada a um terceiro comutador s3, que pode comutá-la para a entrada de camada frontal f1 do misturador e escalonador MXS ou para a entrada da camada frontal intermediária mf do misturador MX.

Dependendo das posições dos segundo e terceiro comutadores s2, s3, ou a saída do primeiro ou do segundo decodificador de gráficos de sincronização AV AVSGDecl, AVSGD2 pode ter prioridade uma sobre a outra, como descrito acima. Para ter os dados do primeiro decodificador AVSGDecl no primeiro plano, o segundo comutador s2 pode rotear os dados de legenda para a entrada posterior intermediária mb do misturador MX, enquanto o terceiro comutador s3 roteia os dados de gráficos de animação para a entrada frontal f 1 do misturador e escalonador MXS, de modo que termina na entrada de base b2 do misturador MX. Do contrário, para ter os dados do segundo decodificador AVSGDec2 no primeiro plano, os comutadores s2, s3 podem rotear suas saídas para a mesma unidade, ou o misturador e escalonador MXS ou o misturador MX, como mostrado na Fig. 9.

REIVINDICAÇÕES

Claims (2)

1. Aparelho para composição de legendas, em que o aparelho mistura e comuta dados de vídeo e de gráficos, os dados sendo lidos de um meio de armazenamento ou recebidos de uma rede e compreendendo dados de imagem estática ou dados de vídeo de MPEG, dados para pelo menos duas camadas de legendas ou animações e opcionalmente dados para gráficos não-sineronizados, CARACTERIZADO pelo fato de que o aparelho compreende: um misturador (MX) que pode sobrepor os dados de vídeo de uma camada da parte de trás, pelo menos duas camadas intermediárias e uma camada frontal; um misturador e escalonador (MXS) que pode sobrepor os dados de vídeo de uma camada, da parte de trás, uma camada intermediária e uma camada frontal, o misturador e escalonador (MXS) fornecendo seus dados de saída ao misturador (MX); um decodificador de vídeo (IWIVDec) e/ou um decodificador de imagem estática (SPDec), em que os dados de saída tanto do decodificador de vídeo quanto do decodificador de imagem estática podem ser comutados (s1) para o misturador e escalonador (MXS); pelo menos dois decodificadores simultaneamente trabalhando (AVSGDed, AVSGDec2) para gráficos ou legendas sincronizadas, em que a saída de cada um dos decodificadores pode ser comutada (s2,s3) ou para o misturador (MX) ou para o misturador e escalonador (MXS), e em que um decodificador (AVSGDed, AVSGDec2) pode selecionar uma parte (RHC, RVC, RCH, RCW) de seus dados de entrada a serem produzidos para exibição; um renderizador para os gráficos não-sincronizados, fornecendo dados ao misturador (MX).

2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que adicional mente compreende um decodificador de legenda (ST-DEC) que é capaz de substituir os parâmetros de legenda predefinidos (DD) pelos outros parâmetros de legenda (SD) gerados sob ação do usuário, para interativamente modificar ou realçar as legendas.