BRPI0918619A2 - aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável - Google Patents

aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável Download PDF

Info

Publication number
BRPI0918619A2
BRPI0918619A2 BRPI0918619A BRPI0918619A BRPI0918619A2 BR PI0918619 A2 BRPI0918619 A2 BR PI0918619A2 BR PI0918619 A BRPI0918619 A BR PI0918619A BR PI0918619 A BRPI0918619 A BR PI0918619A BR PI0918619 A2 BRPI0918619 A2 BR PI0918619A2
Authority
BR
Brazil
Prior art keywords
stream
scalable video
video stream
section
decoding
Prior art date
Application number
BRPI0918619A
Other languages
English (en)
Inventor
Takahashi Maki
Itoh Norio
Inoue Satoru
Original Assignee
Sharp Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kk filed Critical Sharp Kk
Publication of BRPI0918619A2 publication Critical patent/BRPI0918619A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Abstract

aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de ví-deo escalonável a presente invenção refere-se a um aparelho de geração de flu- xo de vídeo escalonável de acordo com a presente invenção que classifica imagens codificadas em vários fluxos de imagem codificada baseado em se as imagens codificadas são para serem utilizadas como quadros de referên-cia, e designa diferentes identificadores para os vários fluxos de imagem codificada. um aparelho de decodificação de fluxo de vídeo escalonável de acordo com a presente invenção (i) recebe os vários fluxos de imagem codi-ficada gerados pelo aparelho de geração de fluxo de vídeo escalonável de acordo com a presente invenção, (ii) reordena, em ordem de decodificação, imagens codificadas incluídas no pelo menos um fluxo de imagens codificadas extraído baseado nos identificadores designados para os vários fluxos de imagem codificada, e (ii) decodifica as imagens codificadas assim reor-denadas. assim, é possível proporcionar um sistema de fluxo de vídeo esca-lonável possuindo uma disposição simples.

Description

Relatório Descritivo da Patente de Invenção para ’’APARELHO
DE DECODIFICAÇÃO DE FLUXO DE VÍDEO ESCALONÁVEL E APARELHO DE GERAÇÃO DE FLUXO DE VÍDEO ESCALONÁVEL”.
Campo Técnico § A presente invenção refere-se a um sistema de vídeo digital.
Mais específicamente, a presente invenção refere-se a um aparelho de decodifícação de fluxo vídeo escalonável para decodificar um fluxo de vídeo escalonável temporal e com um aparelho de geração de fluxo de vídeo escalonável para gerar um fluxo de vídeo escalonável temporal
Antecedentes da Técnica
Recentemente, foram desenvolvidos sistemas de vídeo escalonável em cada um dos quais uma qualidade de reprodução é seletiva. Em tais sistemas de vídeo escalonável, um aparelho de geração de fluxo de video gera vários fluxos de vídeo e um aparelho de reprodução (decodificais çào) seletivamente decodifica todos ou uma parte dos vários fluxos de vídeo.
Tipos seletivos de qualidades de reprodução são, por exemplo, frequência de quadro, resolução e erro de quantização dos pixels. Os respectivos sistemas de video escalonável correspondendo aos tipos seletivos de qualidades de reprodução são chamados de um sistema de video esca20 lonável temporal, um sistema de vídeo espacialmente escalonável e um sistema de vídeo escalonável SNR.
Entre os mesmos, o sistema de video escalonável temporal é eficaz como uma técnica para, de forma eficiente, transmitir fluxos apropriados para vários aparelhos de reprodução, devido aos aparelhos de reprodu25 ção poderem selecionar uma taxa de quadros para reprodução de acordo com suas próprias capacidades de decod if icação.
O sistema de video escalonável temporal é revelado na Literatura de Não Patente (Padrão de Video MPEG-4), por exemplo. O padrão de Video MPEG-4 é uma técnica de codificação híbrida, a qual geralmente ê 30 utilizada para codificar uma imagem de representação dinâmica. A codificação híbrida é um método de codificação no qual uma técnica para compactar uma redundância espacial em um quadro é combinada com uma técnica
2/55
O 10 para compactar uma redundância temporal entre o quadro e o quadro (quadros) posicionado antes e/ou após o quadro. Por exemplo, a redundância temporal pede ser removida por uma técnica chamada predição de compensação de movimento ou apenas predição. A predição de compensação de movimento è uma técnica na qual partes similares entre um quadro de codificação e o quadro (quadros) antes e/ou após o quadro de codificação são associadas umas com as outras, e uma imagem predita que presumivelmente está próxima do quadro de codificação é gerada a partir do quadro (quadros) antes e / ou depois do quadro de codificação. A redundância temporal pode ser removida por se encontrar uma diferença entre a imagem gerada pela predição de compensação de movimento e o quadro de codificação.
Na descrição da presente invenção, um quadro (por exemplo, o quadra (quadros) posicionado antes e/ou depois de um quadro de codificação) utilizado para predição é referido como ’’quadro de referência, a informação indicativa da correspondência de partes similares entre o quadro de codificação e os quadros de referência é referida como '‘vetor de movimento, uma imagem criada pela predição baseada no vetor de movimento e nos quadros de referência é referida como imagem predita e uma diferença entre o quadro de codificação e a imagem predita é referida como imagem residual. Adicionalmente, um método para encontrar uma imagem residual cerno tal è chamado de modo de codificação de predição interquadro, ao passo que um método para compactar uma redundância espacial em um quadro sem predição é chamado de modo de codificação de predição infra. Estes modos são coletivamente chamados de modos de codificação.
O dita a seguir descreve o sistema de video escalonável temporal revelado na Literatura de Nãa Patente 1 com referência aos desenhos. A figura 12 é um diagrama de blocos resumidamente ilustrando um sistema de video escalonavel temporal convencional,
Como ilustrado na figura 12, um aparelho de geração de fluxo de video escalonavel 2 processa uma imagem de vídeo informada 1 para gerar dois fluxos de vídeo, c fluxo da camada base 3 e um fluxo de camada de aperfeiçoamento 4. O fluxo de camada base 3 é um fluxo de video obtido por
3/55 codificar quadros que são esquematícamente apresentados como quadros sombreados na figura 12, entre quadros incluídos na imagem de video 1. Enquanto isto, o fluxo de camada de aperfeiçoamento 4 é um fluxo de vídeo obtido por codificar diferenças entre os quadros sombreados e os quadros 5 em branco.
Estes fluxos de video são transmitidos, via um canal de transmissão 5, para um aparelho de reprodução (decodificação) de fluxo de video 6 e para um aparelho de reprodução (decodificação) de fluxo e vídeo escalonável 7. O aparelho de reprodução de fluxo de video 6 decodifica somente 10 o fluxo de camada base 3< e reproduz urna imagem de vídeo 8 constituída dos quadros sombreados dentre os vários quadros incluídos na imagem de vídeo 1. Por outro lado, o aparelho de reprodução de fluxo de video escalo·· nável 7 decodifica o fluxo de camada base e o fluxo de camada de aperfeiçoamento 4, e reproduz uma imagem de video 9, a qual possui a mesma 15 taxa de quadros que a imagem de vídeo 1. Assim, no sistema de video escaíonável temporal, diferentes aparelhos de reprodução possuem diferentes taxas de quadros para reprodução,
O aparelho de reprodução de fluxo de video escaíonáveí 7 decodifica o fluxo da camada base 3 e o fluxo da camada de aperfeiçoamento 20 4 da seguinte maneira.
A figura 13 é um diagrama de blocos ilustrando uma parte essencial de uma disposição do aparelho de reprodução de fluxo de video escalonávei 7 nc sistema convencional de video escaíonáveí temporal. Come ilustrado na figura 13, um fluxo de vídeo de camada base 3 é informado via 25 uma seção de entrada 10 para um decodificador de vídeo de camada base 12. O decodificador de vídeo de camada base 12 decodifica o fluxo da camada base 3, Os quadros decodificados são armazenados corno quadros de referência em uma seção de memória de quadro de referência 15 do decode ficador de video de camada base 12 e em uma seção de memória de quadro 30 de referência 14 de um decodificador de vídeo de camada de aperfeiçoamento 13.
Por outro lado, um fluxo de vídeo de camada de aperfeiçoa men4/55 to 4 é informado via uma seção de entrada 11 para um decodificador de video de camada de aperfeiçoamento 13. Na seção de memória de quadro de referência 14 do decodificador de video de camada de aperfeiçoamento 13 são armazenados os quadros de referência obtidos a partir do decodificador 5 de vídeo de camada base 12 e os quadros de referência gerados pelo próprio decodificador de video de camada de aperfeiçoamento 13. O decodificador de vídeo de camada de aperfeiçoamento 13 decodifica o fluxo de camada de; aperfeiçoamento 4 com o uso destes quadros de referência como quadros de referência.
O fluxo de camada base 3 e o fluxo de camada de aperfeiçoamento 4 são obtidos pela separação da imagem de vídeo 1 como descrita acima. Os quadros decodificados pelo decodificador de vídeo de camada base 12 e pelo decodificador de vídeo de camada de aperfeiçoamento 13 são reordenados por uma seção de reordenaçâo 16, de modo que uma íma15 gem de video possuindo a mesma taxa de quadros que a imagem de video original 1 pode ser obtida. Os quadros assim reordenados são temporariamente armazenados ern uma memória de quadro de saída 17, e exibidos por uma seção de exibição 18 com sincronização precisa.
Neste meio tempo, no apareího de reprodução de fluxo de video
6, apesar da taxa de quadros para reprodução ser reduzida, somente o fluxo da camada base 3 é decodificado para reproduzir a imagem de vídeo 1, Lista de Citação
Literatura de Patente 1
Publicação de Pedido de Patente Japonesa, Tokukai, N5 200025 156839 A (Data de Publicação: 6 de Junho de 2000).
Literatura de Não Patente
ISO/1EC 14496-2.’ 2004 mpeg-4 Video Standard (Data de Publicação: Julho de 2004).
Sumàrig^H^^
Problema Técnico
Entretanto, o aparelho de reprodução (decodificação) de fluxo de video escalonável convencionai requer o respectivo dispositivo de decodifí
5/55 cação para a camada base e para a camada de aperfeiçoamento, e, portan to, possui uma disposição complicada.
A presente invenção é realizada em vista do problema acima. Um objetivo da presente invenção é proporcionar (i) um aparelho de decodi5 ficaçâo de fluxo de video escaíonável possuindo uma disposição simples, e (ii) urn aparelho de geração de fluxo de vídeo escaíonável para gerar um fluxo de imagem codificado, o qual possa ser decodificado de forma ideal pelo aparelho de decodíficação de fluxo de vídeo escaíonável.
Solução para o Problema
1.0 (Aparelho de Geração de Fluxo de Vídeo Escaíonável)
Um aparelho de geração de fluxo de vídeo escaíonável de acordo corn a presente invenção inclui: dispositivo de codificação para codificar vários quadros de entrada pelo uso de predição de compensação de movimento de modo a formar imagens codificadas; e dispositivo de classificação 15 para classificar as imagens codificadas assim formadas pelo dispositivo de codificação em vános fluxos de imagens codificadas. No aparelho de geração de fluxo de vídeo escaíonável de acordo com a presente invenção, o dispositivo de classificação executa a classificação baseado em se uma imagern codificada a ser classificada foi ou não utilizada como um quadro de 20 referência para a predição de compensação de movimento executada quando o dispositivo de codificação codifica um quadro de entrada, e o dispositivo de classificação designa identificadores diferentes para os vários fluxos de imagem codificada dentro dos quais as imagens codificadas foram classificadas.
Na disposição acima, o aparelho de geração de fluxo de video escaíonável de acordo com a presente Invenção codifica vários quadros de entrada incluídos em uma imagem de video de entrada pelo uso da predição de compensação de movimento de modo a formar imagens codificadas. O aparelho de geração de fluxo de vídeo escaíonável então classrfioa as ima30 gens codificadas assim formadas em vários fluxos de imagem codificada, por exemplo, um fluxo de camada base e um fluxo de camada de aperfeiçoamento. A classificação é executada de uma maneira tal que uma imagem
8/55 alvo a ser classificada é classificada na fluxo de imagens codificadas correspondente baseado em se a imagem-alvo foi ou não utilizada como um quadre de referência para a predição de compensação de movimento executada quando um quadro de entrada é codificado
Com a disposição acima, é possível executar a classificação de modo que pedaços de dados obtidos por codificar os quadros de referência a serem utilizados para a decodificaçáo de imagem sejam iodos classificados em um único fluxo de imagem de decodificaçáo. Os vános fluxos de imagem codificada gerados desta maneira podem de preferência ser utihza10 dos em um aparelho de decodificaçáo de fluxo de vídeo escaionável de acordo com a presente invenção.
Adicíonalmente, na disposição acima, diferentes identificadores são designados para os respectivos fluxos de imagem codificada. Esta disposição permite a um aparelho de decodificaçáo de fluxo de vídeo escalona15 vel facilmente identificar um fluxo de imagens codificadas a ser decodificado. Por exemplo, para um aparelho de decodificaçáo de fluxo de vídeo escaionável possuindo uma baixa capacidade de reprodução, tal operação pode ser facilmente executada pelo fato de que somente um fluxo de camada base è decodificado e reproduzido, enquanto um fluxo de camada de apertei20 çoamento ê abandonado.
(Aparelho de Decodificação de Fluxo de Video Escaionável)
De modo a alcançar o objetivo acima, um aparelho de decodificaçâo de fluxo de vídeo escaionável de acorda com a presente invenção inclui: pelo menos um dispositivo de recepção de fluxo para receber vários 25 fluxos de imagem codificada gerados por um aparelho de geração de fluxo de vídeo escaionável de acordo com a presente invenção; dispositivo de reordenação para (i) extrair pelo menos um fluxo de imagens codificadas a ser decodificado dentre os vários fluxos de imagem codificada, assim recebidos por pelo menos um dispositivo de recepção de fluxo, baseado nos identifica30 dores designados para os vários fluxos de imagem codificada; e (ii) reordenar( em ordem de decodificação, imagens decodificadas incluídas no pelo menus um fluxo de imagens codificadas assim extraídas, de acordo com os ίο respectivos pedaços de informação de sincronização de exibição ou de informação de sincronização de decodificação das imagens decodificadas; e dispositivo de decodificação para de codificar as imagens codificadas assim reordenadas peto dispositivos de reordenação.
Na disposição acima, o aparelho de decodificação de fluxo de video escalonável de acordo com a presente invenção recebe um fluxo de camada base e um fluxo de camada de aperfeiçoamento, os quais são utilizáveis em um sistema de video escalonável, e então reordena, antes de decodificar estes fluxos, as imagens codificadas incluídas nos fluxos de acordo com os respectivos pedaços de informação de sincronização de exibição ou de informação de sincronização de decodificação das imagens decodificadas de modo a obter urn único fluxo. Por consequência, a decodificação pode ser executada em relação às imagens codificadas assim reordenadas. A saber, a disposição acima torna possível decodificar vários fluxos de imagem codificada pelo único dispositivo de decodificação, desse modo tornando possível simplificar toda a disposição do aparelho.
Adicíonalmente, na disposição acima, um fluxo de imagens codificadas a ser decodificado é identificado baseado nos identificadores designados para os fluxos de imagem codificada. Isto torna possível facilmente identificar um fluxo de imagens codificadas alvo a ser decodificado. Por exemplo, para um aparelho de decodificação de fluxo de video escalonável possuindo uma baixa capacidade de reprodução, tal operação pode ser facilmente executada pelo fato de que somente um fluxo de camada base ê decodificado e reproduzido, enquanto um fluxo de camada de aperfeiçoamento ê abandonado.
No aparelho de decodificação de fluxo de vídeo escalonável, é preferível que (i) o pelo menos um dispositivo de recepção de fluxo inclua vários dispositivos de recepção de fluxo e (íl) o aparelho de decodificação de fíuxo de video escalonável adicíonalmente inclua: dispositivo de detecção 30 para detectar um estado do aparelho de decodificação de fluxo de vídeo escalonável; e dispositivo de controle de entrada para controíar pelo menos um dos vários dispositivos de recepção de fluxo para operar ou não operar, de
8/55 acordo com o estado detectado peto dispositivo de detecção.
Na disposição acima, o aparelho de decodificaçâo de fluxo de vídeo escalonável de acordo com a presente invenção detecta um estado do próprio aparelho de decodificaçâo de fluxo de video escalonável,. e controla 5 peío menos um dos várias dispositivas de recepção de fluxo para operar ou nao operar,, de acordo com o estado
Com a disposição acima, quando o aparelho de decodificaçâo de fluxo de vídeo escalonável está em tal estado que, por exempla, a potên cia da batería está quase esgotada, a temperatura do aparelho é alta, a co10 bertura do aparelho está fechada, o aparelho está ern movimento, o movimento de uma imagem é pequeno, e assim por diante, pelo menos um dos dispositivos de recepção de fluxo è controlado para não operar, de modo a ajustar a taxa de transmissão efetiva do processo de decodificaçâo de forma apropriada, desse modo reduzindo o consuma de energia.
(Método de Decodificaçâo de Fluxo de Vídeo Escalonável)
Um método de decodificaçâo de fiuxo de vídeo escaionável de acordo com a presente invenção incluí as etapas de; (a) receber vários fluxos de imagem codificada gerados por um aparelho de geração de fluxo de video escalonàveí de acordo com a presente invenção; (b) executar um pro cesso de reordenação para (i) extrair pelo menos um fluxo de imagens codificadas a ser decodificado dentre os vános fluxos de imagem codificada as sim recebidas na etapa (a), baseada nos identificadores designadas para os vários fluxos de imagem codificada, e (ii) reordenar, em ordem de decodifi cação, imagens codificadas incluídas no pelo menos um fluxo de imagens codificadas assim extraído, de acordo com os respectivos pedaços de informação de sincronização cie exibição ou de informação de sincronização de decodificaçâo das imagens codificadas; e (c) decodificar as imagens codificadas assim reordenadas na etapa (b),
A disposição acima produz um efeito similar ao efeito do apare30 Iho de decodificaçâo de fluxo de vídeo escalonável de acordo com a presente invenção.
(Método de Controle do Aparelho de Decodificaçâo de Fluxo de
9/55
Vídeo escalonãvel)
Um método de controle de acordo com a presente invenção para controlar om aparelho de decodíficação de fluxo de video escalonãvel é um método de controle para controlar um aparelho de decodíficação de fluxo de 5 vídeo escalonãvel que inclui: vários dispositivos de recepção de fluxo para receberem vários fluxos de imagem codificada gerados por um aparelho de geração de fluxo de vídeo escalonãvel de acordo com a presente invenção: dispositivo de reordenação para (i) extrair pelo menos um fluxo de imagens codificadas a ser decodificados dentre os vários fluxos de imagem codificada 10 assim recebidos pelos vários dispositivos de recepção de fluxo, baseado nos identificadores designados para os vários fluxos de imagem codificada, e (ii) reordenar, em ordem de decodíficação, as imagens codificadas constituindo pelo menos um fluxo de imagens codificadas assim extraído, de acordo com os respectivos pedaços de informação de sincronização de exibição ou de 15 informação de sincronização de deoodificação das imagens codificadas; e dispositivo de decodíficação para decodificar as imagens codificadas assim reordenadas pelo dispositivo de reordenação. O método de controle da presente invenção incluí as etapas de: (a) detectar um estado do aparelho de decodíficação de fluxo de video escalonãvel; e (b) executar um controle de 20 entrada para controlar pelo menos um dos vários dispositivos de recepção de fluxo para operar ou não operar, de acordo com o estado detectado na etapa (a).
A disposição acima produz um efeito similar ao efeito do aparelho de decodíficação de fluxo de vídeo escalonãvel de acordo com a presen25 te invenção.
(Método de Geração de Fluxo de Vídeo Escalonãvel)
Um método de geração de fluxo de video escalonãvel de acordo com a presente invenção incluí as etapas de: (a) codificar vários quadros de entrada pelo uso de predíçâo de compensação de movimento de modo a 0 formar imagens codificadas: e (b) classificar as imagens codificadas assim formadas na etapa (a) em vários fluxos de imagens codificadas. Na etapa (b), a classificação é executada baseada em se uma imagem codificada a
Í.0
10/55 ser classificada foi ou não utilizada corno um quadro de referência para a predição de compensação de movimento executada quando o dispositivo de codificação codrfica um quadro de entrada, e diferentes identificadores são designados para os várias fluxos de imagem codificada dentro dos quais as 5 imagens codificadas foram classificadas.
A disposição acima produz um efeito similar ao efedo do aparelho de geração de fluxo de vídeo escalonàvel de acordo com a. presente invenção.
(Programa e Meio de Armazenamento)
O aparelho de decodificaçâo de fluxo de video escalonàvel e o aparelho de geração de fiuxo de video escalonàvel podem ser realizados por um computador. Neste caso, (a) um programa de decodíficação de fluxo de vídeo escalonàvel que realiza o aparelho de decodíficação de fluxo de vídeo escalonàvel em um computador por causar que o computador funcione co15 mo cada um dos dispositivos do aparelho de decodificaçâo de fluxo de vídeo escalonàvel, (b) um programa de geração de fluxo de vídeo escalonàvel que realiza o aparelha de geração de fiuxo de vídeo escalonàvel em um computador por causar que o computador funcione como cada um dos dispositivos do aparelho de geração de fluxo de vídeo escalonàvel. e (c) meio de arma20 zenamento legível por computador no qual estes programas são armazenados também estão incluídos no escopo da presente invenção.
Adicionalmente, o método de decodificaçâo de fluxo de video escalonàvel, o método de geração de fluxo de video escalonàvel e o método de controle para controlar um aparelho de decodificaçâo de fluxo de vídeo 25 escalonàvel também podem ser realizados por um computador. Neste caso.
(a) um programa de decodificaçâo de fiuxo de vídeo escalonàvel que realiza o método de decodificaçâo de fluxo de video escalonàvel em um computador por causar que o computador execute cada uma das etapas no método de decodificaçâo de fluxo de vídeo escalonàvel, (b) um programa de geração 30 de fiuxo de vídeo escalonàvel que realiza o método de geração de fiuxo de vídeo escalonàvel em um computador por causar que o computador execute cada uma das etapas no método de geração de fluxo de vídeo escalonàvel,
11/55 (c) um programa de controle para controlar urn aparelho de fluxo de vídeo escalonável, programa de controle este que realiza em um computador o método de controle para controlar um aparelho de decodíficação de fluxo de video escalonável, por causar que o computador execute cada uma das eta5 pas no programa de controle, e (d) meio de armazenamento legível por computador no qual estes programas são armazenados também estão incluídos no escopo da presente invenção.
Eífeitos vantajosos da Invenção
A presente invenção pode proporcionar (i) um aparelho de deco10 díficação de fluxo de vídeo escalonável possuindo uma disposição simples, e (ii) urn aparelho de geração de fluxo de vídeo escalonável para gerar um fluxo de imagens codificadas, o qual pode ser de forma ideal decodificado pelo aparelho de decodíficação de fluxo de vídeo escalonável.
Breve Descrição dos Desenhos
A figura 1 é um diagrama de blocos ilustrando uma parte essencial de uma disposição de urn aparelho de geração de fluxo de vídeo escalonável de acordo com uma concretização da presente invenção.
A figura 2 é um diagrama explicativo resumidamente ilustrando dados de entrada e dados de saída de um aparelho de geração de fluxo de 20 vídeo escalonável de acordo com urna concretização da presente invenção.
A figura 3 è um fluxograma ilustrando uma operação de uma seção de controle de codificação de um aparelho de geração de fluxo de vídeo escalonável de acordo com uma concretização da presente invenção.
A figura 4 é um fluxograma ilustrando uma operação de uma se25 ção do codificador de vídeo de um aparelho de geração de fluxo de vídeo escalonável de acordo com uma concretização da presente Invenção.
A figura 5 è um diagrama explicativo resumidamente ilustrando dados de entrada e dados de saida de urn aparelho de geração de fluxo de vídeo escalonável de acordo com uma concretização da presente invenção.
A figura 6 è um diagrama explicativo resumidamente ilustrando dados de entrada e dados de saida de um aparelho de geração de fluxo de vídeo escalonável de acordo com uma concretização da presente invenção
12/55 • 10
A figura 7 é um diagrama de blocos ilustrando uma parte essenciai de uma disposição de um aparelho de decodificação de fluxo de video escalonável de acordo com uma concretização da presente invenção.
A figura 8 é um fluxograma ilustrando uma operação de uma seção de reordenaçáo de um aparelho de decodificação de fluxo de vídeo de acordo com uma concretização da presente invenção.
A figura 9 è um fluxograma ilustrando urna operação de uma seção de reordenação de um aparelho de decodificação de fluxo de video escalonávei de acordo com uma concretização da presente invenção,
A figura 10 é um diagrama de blocos ilustrando uma parte essencial de uma disposição de um aparelho de decodificação de fluxo de video escalonável de acordo com uma concretização da presente invenção.
A figura 11 é um fluxograma ilustrando uma seção de controle de entrada de um aparelho de decodificação de fluxo de video escalonável de acordo com uma concretização da presente invenção.
A figura 12 è um diagrama de blocos resumidamente ilustrando um sistema convencional de vídeo escalonável temporal
A figura 13 é um diagrama de blocos ilustrando uma parte essencial de uma disposição de um aparelho de reprodução em um sistema convencional de video escalonável temporal.
Descrição das Concretizações
Corno resultado de seu estudo diligente, os inventores da presente invenção descobriram o seguinte fato. Ou seja, fluxos escalonáveís nos quais quadros de referência são engenhosamente selecionados são gerados, e eles são reordenados e colocados juntos como um único fluxo para decodificação, de modo que a decodificação pode ser executada por um ú~ níco decodificados Os inventores da presente invenção realizaram a invenção baseados no fato.
O dito a seguir descreve uma concretização da presente invenção com referência aos desenhes.
Na presente descrição, terminologias longas exemplificadas abaixo são abreviadas por abreviações. Ou seja. MPEG indica Grupo de Peri13/55 tos eni Imagem em Movimento; AVC indica Codificação Avançada da Vídeo; fps indica quadros por segundo; PES indica Fluxo Elementar em Pacote; TS indica Fluxo de Transporte; PTS indica Marca de Tempo de Apresentação: SEI indica Informação Suplementar de Aprimoramento, 1: Aparelho de Geração de Fluxo de Video Escalonável
A figura 1 é um diagrama de blocos ilustrando uma parte essencial de uma disposição de um aparelho de geração de fluxo de vídeo escalonável 100 de acordo com uma concretização da presente invenção. Como ilustrado na figura 1, o aparelho de geração de fluxo de video escalonável 100 de acordo com a presente invenção incluí uma seção de entrada de imagem de vídeo 110, uma seção de memória de quadro de entrada 111. uma seção de memória de quadro de referência 114, uma seção codíficadora de video (dispositivo de codificação) 113, uma seção de controle de codificação 112, uma seção de memória temporária de código 115. um seção de classificação (dispositivo de classificação) 116, uma primeira seção de saída 117, e uma segunda seção de saída 118.
O aparelho de geração de fluxo de video escalonável 100 codifica vários quadros de entrada (imagens de entrada) incluídos na imagem de vídeo de entrada 150, pelo uso da predição de compensação de movimento, de modo a formar imagens codificadas. Então, o aparelho de geração de fluxo de vídeo escalonável 100 classifica as imagens codificadas assim formadas em um fluxo de camada base 151 e em um fiuxo de camada de aperfeiçoamento 152, A classificação de uma imagem é realizada baseada em se a imagem foi ou não utilizada como um quadro de referência (imagem de referência) para a predição de compensação de movimento executada quando um quadro de entrada é codificado. Mais especificamente, em um caso onde a imagem foi utilizada como o quadra de referência, os dados codificados da imagem são classificados como o fiuxo de camada base 151. ao passo que em um caso onde a imagem não foi utilizada como o quadro de referência, os dados codificados da imagem são classificados como o fluxo de camada de aperfeiçoamento 152.
Com a disposição, a classificação pode ser realizada de modo
14/55 que dados codificados dos quadros de referência para uso na decodificação da imagem sejam todos classificados como o fluxo de camada base 151. Vános fluxos de imagem codificada gerados desta maneira podem ser decodificados de forma ideal por um aparelho de decodificação de fluxo de vídeo 5 escaíonável da presente invençã o.
Exemplo de Operação
Um exemplo de como o aparelho de geração de fluxo de vídeo escaíonável 100 opera è descrito abaixo mais específicamente.
Inicialmente são explicados exemplos de (í) qual tipo de dados 10 de entrada é processado pelo aparelho de geração de fluxo de video escaíonável 100 e (ií) qual tipo de dados de saida è gerado pelo aparelho de geração de fluxo de vídeo escaíonável 100. A figura 2 é um diagrama explicativo resumidamente ilustrando dados de entrada (imagem de vídeo de entrada 150) e dados de saída (fluxo de camada base 151 e fluxo de camada de a15 perfeiçoamento 152).
A imagem de vídeo de entrada 150 é constituída de vários quadros possuindo diferentes tempos de exibição. A imagem de video de entrada 150 pode ser, por exemplo, uma imagem em movimento normal. Na figura 2, quadros incluídos na imagem de vídeo de entrada 150 são ilustrados 20 cerno quadrados alinhados da esquerda para a direita na sequência de exibição.
Entre estes quadros, quadros indicados por í (daqui para frente referidos como ’’quadro I) são sujeitos à codificação por predição intrarrealízada pelo aparelho de geração de fluxo de video escalonàveí 100, e quadros 2.5 indicados por P” (daqui para frente referidos como ’’quadro P) são sujeitos à codificação por predição interquadro realizada pelo aparelho de geração de fluxo de vídeo escaíonável 100, por exemplo, Na figura 2, uma seta em arco circular indica uma relação entre urn quadro de referência e um quadro de codificação a ser codificado pelo uso do quadro de referência, durante a 30 codificação por predição interquadro. Ou seja, um quadro indicado pela seta é sujeito à codificação por predição interquadro com o uso de um quadro no final da seta como um quadro de referência. Por exemplo, nos dois quadros
15/55 mais à esquerda, uma seta a partir de um quadro ! em direção a um quadro P significa que o quadro P se refere ao quadro I para prediçao. Qual quadra é pego como um quadro I ou como quadro P e qual quadro é pego como urn quadra de referência será descrito posteriormente.
O aparelho de geração de fluxo de vídeo escalonãvel 100 classifica dados codificados de cada um dos quadros em fluxo de camada base 151 ou em fluxo de camada de aperfeiçoamento 152. A classificação é execatada por quadro. O aparelho de geração de fluxo de vídeo escalonãvel 100 executa a classificação de modo que pedaços de dados codificados dos 10 quadros de referência a serem utilizados para decodíficação dos quadros sejam todos classificados em fluxo de camada base 151.
Os dados codificados de cada um dos quadros classificados em fluxo de camada base 151 ou em fluxo de camada de aperfeiçoamento 152 são associados com informação em relação à sua sincronização de exibição 15 (tempo de exibição) correspondente na imagem de video de entrada 150.
O dito a seguir lida com os detalhes de como cada seção no emparelho de geração de fluxo de vídeo escalonãvel 100 opera.
A seção de entrada de imagem de vídeo 110 associa cada um dos quadros a ser codificado na imagem de video de entrada 150 com seu 20 tempo de exibição correspondente, e armazena os mesmos na seção de memória de quadro de entrada 111.
A seção codificadora de vídeo 113 executa a codificação por compactação em relação a cada um dos quadros assim armazenados na seção de memória de quadro de entrada 111 em um modo de codificação 25 intraquadro ou em um modo de codificação por predição interquadro, e armazena os dados codificados da mesma na seção de memória temporária de código 115. Os detalhes de como codificar os quadros serão descritos posteriormente. Os modos de codificação da seção codificadora de vídeo 113 são controlados pela seção de controle de codificação 112.
Adícionalmente, a seção de classificação 116 classifica os dados codificados assim armazenados na seção de memória temporária de código
115 em primeira seção de saida 117 (fluxo de camada base 151) ou em se
16/55 gunda seção de saida 118 (fluxo de camada de aperfeiçoamento 152). Mais detalhes sobre como classificar os dados codificados serão descritos posteriormente, A classificação é controlada pela seção de controle de codificação 112.
Como já foi descrito, no fluxo de camada base 151 e no fluxo de camada de aperfeiçoamento 152, pedaços de dados codificados dos quadros são associados com os respectivos pedaços de informação de tempo de exibição, os quais são para ser utilizados como tempos de exibição dos quadros no aparelho de decodificação de fluxo de vídeo escaíonáveí men10 cionado posteriormente. Ou seja, quando a seção codificadora de vídeo 113 codifica cada um dos quadros e armazena os dados codificados dos mesmos na seção de memória temporária de código 115, os dados codificados são armazenados em associação com a informação de tempo de exibição. Neste meio tempo, quando a seção de classificação 116 classifica os dados 15 codificados ern primeira seção de saída 117 ou em segunda seção de saída 118, os dados codificados são classificados em associação com a informação de tempo de exibição. Associar informação específica com outra informação significa que quando a informação específica é referida, a outra informação também pode ser obtida. Na presente concretização, a ordem de 2.0 decodificação dos pedaços de dados codificados coincide com a ordem dos pedaços da informação de tempo de exibição designada para cada fluxo, e os pedaços de dados codificados são reordenados com o uso dos pedaços da informação de tempo de exibição. Alternativamente, como descrita posteriormente. em vez da informação de tempo de exibição ou em adição à in25 formação de tempo de exibição, os dados codificados podem ser associados com a informação de tempo de decodificação indicativa de urn tempo inicial de decodificação de urn quadro correspondendo aos dados codificados.
Adícíonalmente, o aparelho de geração de fluxo de video escalonável 100 (primeira seção de saída 117 e segunda seção de saída 118) 30 pode designar códigos diferentes para as respectivos fluxos de imagem codificada (fluxo de camada base 151 e fluxo de camada de aperfeiçoamento 152). Neste caso, um aparelho de decodificação de fluxo de vídeo escalonei
17« vel, o qual recebe c fluxo de camada base 151 e o fluxo de camada de aperfeiçoamento 152, identifica um fluxo de imagens codificadas a ser decodificado, baseado nos respectivos identificadores dos fluxos de imagem codificada, Como tal a identificação de um fluxo de imagens codificadas a ser decodificado pode ser facilmente executada.
Agora será explicado como a seção de controle de codificação 112 opera com referência à figura 3. A figura 3 é um fluxograma ilustrando corno a seção de controle de codificação 112 funciona em relação a um único quadro de entrada. A seção de controle de codificação 112 executa o 10 mesmo processo como abaixo em relação a todos os quadros de entrada.
A seção de controle de codificação 112 iniclalmente seleciona um modo de codificação para codificação de um quadro de entrada (etapa S100). A seleção de um modo de codificação pode ser executada por vários métodos, tais como um método no qual um modo de codificação por predi15 ção intra é trocado para um modo de codificação por predição interquadro ou vice-versa em intervalos de tempo específicos, um método no qual um modo de codificação é selecionada baseada em qual modo é adequado para o quadro de entrada, e por métodos similares. Os intervalos de tempo específicos podem ser determinados baseadas em uma comparação entre a quan20 tidade de codificação e a flexibilidade a ser requerida. Geralmente, à medida que a codificação por predição intra é selecionada mais frequentemente, a flexibilidade de erro de transmissão se torna maior e a quantidade de codificação aumenta.
Na etapa S100, em um caso onde o modo de codificação por predição intra é selecionado, a seção de controle de codificação 112 envia um sinal de instrução de codificação por predição infra e um sinal de instrução de quadro de referência para a seção codifícadora de video 113 (etapa S101). A instrução de quadro de referência é uma instrução para permitir ao quadra de entrada ser utilizado como um quadro de referência para codifica30 ção de outro quadro. Adícionalmente, uma instrução de quadro que não é de referência é uma instrução para não permitir que o quadro de entrada seja uttlizado como um quadro de referência para codificação de outro quadro.
18/55
Como a seção codificadora de video 113 opera em resposta a tais instruções será descrito posteriomnente.
Por outro lado, em um caso onde o modo de codificação por predição ínterquadro è selecionado na etapa S100, a seção de controle de 5 codificação 112 seleciona se ou não um quadro que é obtido pela codificação do quadro de entrada e então pela decodíficação do quadro de entrada assim codificados é para ser utilizado como um quadro de referência quando outro quadro è codificado (etapa 8102).. Ou seja, a seção de controle de codificação 112 seleciona se um quadro que é obtido pela codificação do qua10 dro de entrada e então pela decodíficação do quadro de entrada assim codificado é ou não para ser utilizado como um quadro no fim de uma seta na figura 2. A seleção pode ser executada, por exemplo, de uma maneira tal que uma opção de ’’utilizável como o quadro de referência é trocada para uma opção de !'não utilizável’* como o quadro de referência ou vice-versa em 15 intervalos de tempo específicos Os intervalos de tempo específicos podem ser apropriadamente estabelecidos de acordo com uma proporção (por exemplo, 1:1) entre quadros a serem classificados para o fluxo de camada base 151 e os quadros a serem classificados para o fluxo de camada de aperfeiçoamento 152.
Na etapa S102, em um caso onde a opção de permitir que o quadro de entrada seja utilizado como o quadro de referência é selecionada na etapa S102, a seção de controle de codificação 112 envia para a seção codificadora de vídeo 113 um sinal de instrução de codificação por predição Ínterquadro e um sinal de instrução de quadro de referência (etapa SI03).
Por outro lado, em um caso onde a opção de não permitir que os dados sejam utilizados como o quadro de referência è selecionada na etapa S102, a seção de controle de codificação 112 envia para a seção codificadora de video 113 um sinal de instrução de codificação por predição interquadro e um sinal de instrução de quadro que não è de referência (etapa SI 04).
Subsequentemente, em um caso onde a seção codificadora de vídeo 113 recebe um sinal de instrução de quadro de referência na etapa S101 ou na etapa 8103, a seção de controle de codificação 112 envia para a
19/55 seção de classificação 116 um sinal de instrução de classificação de camada base de modo que os dados codificados do quadro de entrada são classificados em fluxo de camada base 151 (etapa SI 05).
Por outro lado, em um caso onde a seção codificadora de vídeo 113 recebe um sinal de instrução de quadro que não é de referência na etapa SI 04, a seção de controle de codificação 112 envia para a seção de classificação 116 um sinal de instrução de classificação de camada de aperfeiçoamento de modo que os dados codificados do quadro de entrada são classificados em fluxo de camada de aperfeiçoamento 152 (etapa S106).
A seguir, serão explicados os detalhes de como a seção codificadora de vídeo 113 opera. A figura 4 é um fiuxograma ilustrando como a seção codificadora de video 113 funciona em relação a um único quadro de entrada. A seção codificadora de video 113 executa o mesmo processo abaixo em relação a todos os quadros de codificação a serem codificados.
A seção codificadora de vídeo 113 ínícialmente verifica um sinal de instrução de modo de codificação recebido a partir da seção de controle de codificação 112 (etapa S120). E.m um caso onde o sinal de instrução de modo de codificação indica uma codificação por predição interquadro, a seção codificadora de vídeo 113 executa a predição por compensação de movimento de acordo com a etapa S121 até a etapa S123.
Inicialmente, a seção codificadora de video 113 obtém um quadro de referência a partir da seção de memória de quadro de referência 114 (etapa S121), Então, a seção codificadora de vídeo 113 compara o quadro de referência com o quadro de entrada para encontrar um vetor de movimento, e forma uma imagem predita (etapa S122). A seção codificadora de vídeo 113 deduz a imagem predita a partir de uma imagem do quadro de entrada baseada nos níveis de valor de pixel, e obtém uma imagem residual (etapa SI 23).
Por outro lado, em um caso onde a instrução de modo de codificação indica uma instrução de codificação por predição intra, a seção oodificadora de vídeo 113 não deduz a imagem predita do quadro de entrada, mas utiliza o próprio quadro de entrada como a imagem residual.
20/55
Ο 10
Subsequentemente, a seção codificadora de vídeo 113 divide a imagem residual em partes, por exemplo, por 8x8 pixels, isto é 64 pixels. Então, a seção codificadora de video 113 executa a transformação ortogonal, tal como a transformação discreta de cosseno, e a quantização das partes de modo a formar matrizes de coeficientes (etapa S124).
Subsequentemente, a seção codificadora de video 113 verifica um sinal de instrução de quadro de referência (etapa S125). Em um caso onde o sinal de instrução de quadro de referência indica uma instrução de quadro de referência, a seção codificadora de vídeo 113 faz preparações de modo que o quadro de entrada seja utilizável como um quadro de referência para outro quadro (etapas S126 até S128 como abaixo). Deve ser entendido que um aparelho de decodificação utiliza, como um quadro de referência, um quadro decodificado obtido a parti de um fluxo e, portanto, um aparelho de codificação não utiliza o próprio quadro de entrada como um quadro de referência, mas utiliza um quadro decodificado obtido por decodificar os dados codificados do quadro de entrada.
Mais especificamente, a seção codificadora de vídeo 113 executa a transformação inversa em relação às matrizes de coeficientes assim obtidas na etapa S124. de modo a restaurar a imagem residual (etapa S126), Então, a seção codificadora de video 113 adiciona para a imagem residual a imagem predita formada na etapa S122, de modo a obter um quadro decodificado (etapa S127). A seção codificadora de video 113 armazena o quadro decodificado na seção de memória de quadro de referência 114, de modo que o quadro decodificado pode ser utilizado como um quadro de referência para codificação de outro quadro (etapa S128). Adicíonalmente, a seção codificadora de video 113 grava, em um fluxo de bits contendo dados codificados do quadro de entrada, um indicador indicativo de se um quadro decodificado obtido pela decodificação dos dados codificados foí ou não utilizado como um quadro de referência.
Finaimente, a seção codificadora de vídeo 113 executa a codificação de comprimento variável em relação ás matrizes de coeficientes obtidas na etapa SI24 (etapa SI 29). Quando a codificação por predíção inter
21/55 quadro é executada, a seção codificadora de vídeo 113 também grava, no fluxo, informação que especifica um quadro de referência. O fluxo de bits assim obtido é armazenado na seção de memória temporária de código. Observe que um fluxo armazenado na seção de memória temporária de código 5 é um fluxo único, o qua! não é separada em uma camada base e em uma camada de aperfeiçoamento, de modo que o fluxo pode ser decodificado por decodificadores de video gerass.
A seção de classificação 116 pega o fluxo de bits a partir da seção de memória temporária de código 115, e executa a classificação em re10 lação ao fluxo de bits como a seguir: em um caso onde um sinal de instrução de classificação recebido a partir da seção de controle de codificação 112 indica uma instrução de classificação de camada base, a seção de classifi cação 116 envia o fluxo de bits para a primeira seção de saída 117, ao passo que em um caso onde o sinal de instrução de classificação indica uma 15 instrução de classificação de camada de aperfeiçoamento, a seção de classificação 116 envia o fluxo de bits para a segunda seção de saída 118. Nesta hora, a seção de classificação 116 emite o fluxo de bits em um formato no qual o fluxo de bits correspondendo a um único quadro é associado um para um com seu tempo de exibição (tempo) obtido quando a imagem de video 20 de entrada 150 é informada.
A primeira seção de salda 117 emite o fluxo de camada base 151, e a segunda seção de saída 118 emite o fluxo de camada de aperfeiçoamento 152. Nesta hora, a primeira seção de saída 117 e a segunda seção de saída 118, por exemplo, podem designar diferentes PIDs para o fluxo de 25 camada base 151 e para o fluxo de camada de aperfeiçoamento 152, e colocar estes fluxos em pacotes TS.
(Vantagens da Presente Concretização)
Na disposição acima, em vez de utilizar um dispositivo de codificação para a codificação escaíonável, fluxos obtidos através de um processa 30 de codificação normal são apenas classificados como apropriado. Isto realiza um aparelho de geração de fluxo de vídeo escaíonável que pode facilmente produzir um fluxo de camada base e um fluxo de camada de apertei22/55 çoamento (Exempío Modificado 1: Dispositivo de Entrada é Modificado)
Na descrição acima, a seção do entrada de imagem de vídeo
110 é assumida como o dispositivo de memória. Entretanto, a seção de en5 trada de imagem de vídeo 110 pode ser outro dispositivo, por exemplo, o dispositivo de controle de comunicação, o dispositivo de captura de imagem, ou o dispositivo possuindo uma função de decodíficação de outro método de codificação de vídeo. Tal disposição permite que o apareiho de geração de fluxo de vídeo escalonável 100 seja aplicado para vários sistemas, tais como 10 um sistema no qua! uma entrada a partir de um caminho ou câmara de comunicações seja codificada e transmitida em tempo real, e um sistema no qua! uma entrada é retransmitida com um método de codificação sendo alterado (Exemplo Modificado 2: Método de Codificação é Modificado)
O método de codificação de vídeo para codificação, o qual é empregado na seção codificadora de video 113, pode ser qualquer método no qual a predição por compensação de movimento é executada. Por exempío, MPEG-2, MPEG-4, MPEG-4 AVC, e assim por diante, podem ser empregados. Adicionalmente, vários métodos de codificação podem ser empre20 gados de uma maneira tal que eles são alterados dinamicamente á medida que necessário. Com tal disposição, é possivei emitir fluxos de vários métodos de codificação, de modo que o número de apareihos de reprodução via os quais os fluxos são reproduzíveis pode ser aumentado, (Exemplo Modificado 3. Várias Camadas de Aperfeiçoamento 25 são Geradas)
Pelo menos dois fluxos de camada de aperfeiçoamento podem ser gerados, posto que o método de codificação de vídeo empregado na seção codificadora de vídeo 113 possa ser um método de codificação no qual um quadro de referência é selecíonável a partir de pelo menos três quadros 30 decodificaios correspondendo aos quadros que foram anteriormente codificados
Por exemplo, a figura 5 apresenta um exemplo no qua! em adí
23/55 ção a um primeira fluxo de camada de aperfeiçoamento 152. um segundo fluxo de camada de aperfeiçoamento 153 é gerado. Os sinais de referência na figura 5 possuem os mesmos significados que na figura 2. Entretanto, observe que os pedaços de dados codificados dos quadros são classificados 5 sequenciaímente em fluxo de camada base 151, no segundo fluxo de camada de aperfeiçoamento 153, no primeiro fluxo de camada de aperfeiçoamento 152 e no segundo fluxo de camada de aperfeiçoamento 153, nesta ordem. Uma relação entre o fluxo de camada base 151 e o primeiro fluxo de camada de aperfeiçoamento 152 é a mesma que já foi descrita acima. No exemplo modificado apresentado na figura 5, a decodíficação é executada com o uso do segundo fluxo de camada de aperfeiçoamento 153. Isto toma possível adicíonalmente decodificar um quadro intermediário. Tal disposição produz o efeito de que o número de qualidades de reprodução seletiva ê aumentado.
(Exemplo Modificado 4: Predição Bidirecional)
A seção codificadora de vídeo 113 pode utilizar, como um quadro de referência para codificação de um quadro-alvo, não somente um quadro passado cujo tempo de exibição vem antes deste do quadro-alvo, mas também um quadro futuro, cujo tempo de exibição vem apôs este do quadro-alvo. A figura 6 ilustra, por exempla, quadros nos quais alguns são codificados pelo uso de quadros posicionados antes ou apôs o quadro como quadros de referência Na figura 6, um quadro indicado por B (daqui para frente referido como quadro B) é um quadro que é codificado por um modo de codificação por predição interquadro bidirecional no qual a predição é executada pelo uso de urn quadro passado que ê para ser exibido antes de um quadro-alvo a ser codificados e um quadro futuro que é para ser exibido apôs o quadro-alvo. Neste caso, os dados codificados do quadro B podem ser classificados em um fluxo de camada de aperfeiçoamento 154, Com o uso da predição bidirecional, uma imagem predita maís precisa para o quadro-alvo pode ser obtida, em um caso onde a predição deve ser executada a partir de um quadro futuro. Isto reduz a intensidade do sinal de uma imagem residual, desse melhorando a eficiência da codificação.
(Exemplo Modificado 5: Dispositivo de Salda è Modificado)
24/55
A primeira seção de saida 117 e a segunda seção de saída 118 são assumidas como dispositivos de controle de comunicações, normalmente. Entretanto, tal disposição pode ser também possível pelo fato de que pelo menos um dos mesmos é dispositivo de memória. O disposição permite que 5 o aparelho de geração de fluxo de video escalonàvel seja aplicado para urna transmissão sob demanda na qual os resultados da codificação são armazenados em uma memória e os resultados da codificação são lidos a partir da memória por outro aparelho de transmissão e enviados para um caminho de comunicações em resposta a uma solicitação a partir de um usuário de um 10 aparelho de reprodução.
(Exemplo Modificado 6: Variação do Formato do Fluxo de Saída)
A primeira seção de saída 117 e a segunda seção de saída 118 podem emitir fluxos muítiplexados em um formato de pacote para transmissão MPEG-2 TS ou coisa parecida. Em urn caso onde o formato para 15 MPEG-2 TS é utilizado, PTS pode ser utilizado como tempo (tempo de exibição) a ser associado com os fluxos. Isto torna possível utilizar vários canais de transmissão via os quais o MPEG-2 TS é transmitido. Em um caso onde o método de codificação é MPEG-4 AVC, desde que o Tempo da Imagem SEI, o qual é um tempo por quadro em um fluxo, é definido, o Tempo de ΙΣΟ magem SEI pode ser utilizado como o tempo a ser associado com os fluxos.
Isto permite aos fluxos serem diretamente reproduzidos por um aparelho de decodificaçâo para MPEG-4 AVC
Também pode ser dito que um aparelho de geração de fluxo de video escalonàvel de acordo com uma concretização da presente invenção é 25 um aparelho de geração de fluxo de video escalonàvel incluindo: uma seção codificadora de vídeo para gerar um fluxo por executar codificação por compactação em relação a uma imagem de video de entrada por predição por compensação de movimento: uma seção de memória de quadro de referência na qual armazenar um quadro de referência a ser utilizado para a predi30 cão por compensação de movimento; uma seção de classificação para classificar o fluxo em pelo menos dois fluxos; e uma seção de controle de codificação para controlar a seção codificadora de vídeo e a seção de classifica
25/55 ção, a seção de classificação sendo controlada de mode a classificar o fluxo baseada em se um quadro codificado foi ou não utilizável como um quadro de referência (2: Aparelho de Decodificação de Fluxo de Video Escaíonáveí)
A figura 7 é um diagrama de blocos ilustrando uma parte essencial de uma disposição de um aparelho de decodificação de fluxo de vídeo escaíonáveí 200 de acordo com uma concretização da presente invenção. Como ilustrado na figura 7, o aparelha de decodificação de fluxo de vídeo escaíonáveí 200 de acorda com a presente concretização inclui uma primeira 10 seção de entrada (dispositivo de recepção de fluxo) 210, uma segunda seção de entrada (dispositivo de recepção) 211, uma primeira seção de memória de fluxo de entrada 212, uma segunda seção de memória de fluxo de entrada 213, uma seção de reordenação (dispositivo de reordenação) 214, uma seção de memória de quadra de referência 215, uma seção decodifica15 dora de video (dispositivo de decodificação) 210, uma seção de memória de quadra de saída 217 e uma seção de saída 218.
Mesmo quando o aparelho de decodificação de fluxo de vídeo escaíonáveí 200 recebe um fluxo de camada base (fluxo de imagens codificadas) 250 e um fluxo de camada de aperfeiçoamento (fluxo de irnagens 20 codificadas) 251 < o aparelho de decodificação de fluxo de video escaíonáveí 200 reordena, antes da decodificação dos fluxos, as imagens codificadas incluídas nos fluxos de acordo com as respectivos pedaços de informação de tempo de exibição das imagens codificadas, de modo a obter um união fluxo. A este respeito, a decodificação pode ser executada em relação ao 25 fluxo único assim obtido pela reordenação. Em vista disto, mesmo se o aparelho de decodificação de fluxo de video escaíonáveí 200 for proporcionado com o dispositivo de decodificação único, ele pode decodificar vários fluxos de imagem codificada, desse modo tornando passível simplificar uma disposição do aparelho.
(Exemplo de Operação)
O dito a seguir descreve um exemplo de como o aparelho de decodificação de fluxo de vídeo escaíonáveí 200 opera, mais especificamen26/55 te.
A primeira seção de entrada 210 armazena o fluxo de camada base 250 sequencialmente dentro da primeira seção de memória de fluxo de entrada 212 A segunda seção de entrada 211 armazena o fluxo de camada de aperfeiçoamento 251 sequencialmente dentro da segunda seção de memória de fluxo de entrada 213.
O fluxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251 podem ser fluxos obtidos pela codificação de uma imagem de vídeo de modo a ter a escalabiíidade temporal. Em adição, o fluxo de cama10 da de aperfeiçoamento 251 pode ser um fluxo que não contém dados codificados dos quadros a serem utilizados como quadros de referência.. Tais flu xos podem ser, por exemplo, um fluxo de camada base e um fluxo de camada de aperfeiçoamento que são gerados pelo aparelho de geração de fluxo de vídeo escaíonável de acordo com a presente invenção.
Adicionalrnente, a primeira seção de entrada 210 e a segunda seção de entrada 211 podem ser seções que podem receber o fluxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251; respectivamente, a partir de vários canais de transmissão. Um exemplo da primeira seção de entrada 210 e da segunda seção de entrada 211 pode ser um apa20 relho de recepção para difusão sem uso de fios.
A seção de reordenação 214 reordena pedaços de dados codificados do fluxo de camada base 250 armazenados na primeira seção de memória de fluxo de entrada 212 e pedaços de dados codificados do fluxo de camada de aperfeiçoamento 251 armazenados na segunda seção de 25 memória de fluxo de entrada 213, de modo a enviar os mesmos como um único fluxo para a seção decodificadora de video 216.
A figura 8 é um fluxograma ilustrando uma unidade de repetição do processo de reordenação executado pela seção de reordenação 214, A seção de reordenação 214 repete o processo seguinte até que os dados cost) dificados armazenados na primeira seção de memória de fluxo de entrada 212 e os dados codificados armazenados na segunda seção de memória de fluxo de entrada 213 sejam todos processados.
27/55
Como ilustrado na figura 8, a seção de reordenação 214 inicialmente obtém a informação de tempo de exibição (tempo) dos dados dianteiros codificados no fluxo de camada base 250 armazenados na primeira seção de memória de fluxo de entrada 212 (etapa 8200), e obtém a informação de tempo de exibição (tempo) dos dados dianteiros codificados no fluxo de camada de aperfeiçoamento 251 armazenados na segunda seção de memória de fluxo de entrada 213 (etapa S201).
A seção de reordenação 214 então compara os tempos de exibição assim obtidos (etapa S202). Em um caso onde o tempo de exibição dos dados dianteiros codificados no fluxo de camada base 250 é antenor, a seção de reordenação 214 obtém os dados dianteiros codificados a partir da primeira seção de memória de fluxo de entrada 212 (etapa S203), e envia os mesmos para a seção decodíficadora de vídeo 216 (etapa 8205). Por outro lado, em um caso onde o tempo de exibição dos dados dianteiros codificados no fluxo de camada de aperfeiçoamento 251 é anterior, a seção de reordenação 214 obtém os dados dianteiros codificados a partir da segunda seção de memória de fluxo de entrada 213 (etapa 8204), e envia os mesmos para a seção decodíficadora de video 216 (etapa 8205). Em geral, é necessário informar pedaços de dados codificados para a seção decodíficadora de video 216 para decodíficação. Entretanto, na presente concretização, a ordem de decodíficação dos pedaços de dados codificados coincide com a ordem dos respectivos pedaços de informação de tempo de exibição designados para os respectivos fluxos e, portanto, os fluxos são reordenados com o uso dos tempos de exibição. Entretanto, observe que em um caso onde um fluxo de vídeo codificado pelo uso da predição bidirecional mencionada acima é manipulado, por exemplo, pode existir um caso onde a ordem de decodíficação não coincide com a ordem da informação de tempo de exibição. Em tal caso, em vez da informação de tempo de exibição, a informação de tempo de decodíficação indicativa de um tempo inicial de decodíficação de um quadro-alvo, pode ser designada para cada quadro no aparelho de geração de fluxo de vídeo escalonãvel, de modo que a reordenação é executada na ordem da informação de tempo de decodíficação.
28/55
Em um caso onde nenhum dado codificado está incluído no fluxo de camada de aperfeiçoamento 251, a decodificaçâo somente é executada em relação ao fluxo de camada base 250. Por consequência, em um caso onde nenhum dado codificado está mcluido no fluxo de camada de aperfeí5 çoamento 251, a seção de reordenação 214 nâo executa comparação na etapa 202, e pode executar o processo na etapa S204 incondicionalmente.
Adicionaimente, a seção de reordenação 214 pode extrair um fluxo de imagens codificadas alvo a ser decodificado, baseado nos identificadores (por exemplo, PID de um pacote TS) designados para o fluxo de 10 camada base 250 e para o fluxo de camada de aperfeiçoamento 251. Isto torna possível facilmente decodificar somente o fluxo de imagens codificadas alvo a ser decodificado
Como descrito acima, a seção de reordenação 214 reordena pedaços de dados codificados armazenados na primeira seção de memória de 15 fluxo de entrada 212 e na segunda seção de memória de fluxo de entrada 213 em ordem de tempos de exibição (em ordem de tempo), e envia os mesmos como um único fluxo para a seção decodificadora de vídeo 216.
Ao receber tal fluxo a partir da seção de reordenação 214, a seção decodificadora de vídeo 216 decodifica dados codificados incluídos no 20 fluxo assim recebido, em ordem de entrada. O procedimento do processo executado pela seção decodificadora de vídeo 216 pode ser um procedimento utilizado em um codificador de vídeo convencional Ou seja, a seção decodificadora de vídeo 216 executa a decodificaçâo de comprimento variável, a quantízação inversa e a transformação ortogonal inversa, de modo a obter 25 uma imagem residual. Adicionalmente, a seção decodificadora de video 216 obtém um quadro de referência especificado pelo fluxo, a partir da seção de memória de quadro de referência 215, e então gera uma imagem predita pelo uso de um vetor de movimento. A seção decodificadora de vídeo 216 adiciona a imagem predita e a imagem residual para obter um quadro de 30 saída (imagem decodificada), e então armazena o quadro de saida na seção de memória de quadro de saída 217,
Como já descrito, o fluxo é proporcionado com um indicador in
29/55 dicativo de se um quadro decodificado é ou não utilizável como um quadro de referência mais tarde. Ern um caso onde o indicador indíoa que o quadro decodificado é utilizável como um quadro de referência, a seção decodificadora de video 216 armazena o quadro de saida assim obtido na seção de memória de quadro de referência 215.
Fínalmente, a seção de saída 218 lê o quadro de saida a partir da seção de memória de quadro de saída 217 e emite o quadro de saída.
(Vantagens da Presente Concretização)
Como descrito acima, o aparelho de decodíficação de fluxo de 10 vídeo escalonável 200 de acordo com a presente concretização possui uma disposição simples pelo fato de que a segunda seção de entrada 211, a segunda seção de memória de fluxo de entrada 213 e a seção de reordenação 214 são simplesmente adicionadas para um aparelho de decodíficação de fluxo de video convencional. O aparelho de decodíficação de fluxo de video 15 escalonável 200, assim disposto, pode decodificar uma imagem de vídeo na mesma taxa de quadros que esta de uma imagem de vídeo de entrada, com o uso do fluxo de camada base 250 e do fluxo de camada de aperfeiçoamento 251, e reproduzir a imagem de video assim decodificada.
Mesmo em um caso onde o fluxo de camada de aperfeiçoamen 20 to 251 não é informado, a seção de reordenação 214 somente envia o fluxo de camada base 250 para a seção decodificadora de vídeo 216 de modo que o fluxo de camada base 250 é decodificado, como descrito acima. Assim, a imagem de video pode ser reproduzida apesar da taxa de quadros ser baixa.
(Exemplo Modificado 1. Método de Codificação é Modificado)
Um método de codificação de video gerenciável corn o qual a seção decodificadora de vídeo 21.6 pode lidar deve corresponder a um método de codificação empregado por um aparelho de geração de video. Entretanto, a seção decodificadora de vídeo 216 pode ser disposta para ser capaz 30 de lidar com vários métodos de codificação antecipadamente, de modo que a seção decodificadora de video 216 pos.sa dinamicamente selecionar um método de codificação dentre os mesmos de acordo com qual método de
30/55 codificação é empregado para um fluxo de vídeo a ser informado, Alternativamente, o aparelho de decodificação de fluxo de vídeo escalonável 200 pode ser disposto para proporcionar, antecipadamente ou à medida que necessário, uma lista de métodos de codificação gerenciáveis, para um apare5 Iho de geração de fiuxo de vídeo escalonável gerar o fluxo de camada base
250 e o fluxo de camada de aperfeiçoamento 251, de modo que um método de codificação de vídeo adequado tanto para o aparelho de decodificação de fluxo de video escaíonável 200 como para o aparelho de geração de fluxo de video escalonãveí possa ser selecionado a partir da lista. Com a disposição.
o sistema não depende de um método de codificação, de modo que o aparelho de decodificação de fluxo de video escaíonável pode reproduzir mais vários tipos de fluxos de bits.
(Exemplo Modificado 2: Lidando com Atraso)
O fluxo de camada base 250 e o fluxo de camada de aperfeiço15 amento 251 podem ser transmitidos via diferentes canais de transmissão. Por exemplo, o fluxo de camada base 250 pode ser transmitido via radiodifusão, e o fluxo de camada de aperfeiçoamento 251 pode ser transmitido via uma comunicação. Os canais de transmissão possuem diferentes quantidades de atraso. Por exemplo, a retransmissão, a conversão dos métodos de transmissão de acordo com os protocolos, e assim por diante, são executados durante a comunicação, desse modo presumidamente causando atraso a partir de poucos milissegundos até várias dezenas de segundos. Enquanto isto, mesmo em um caso onde o mesmo canal de transmissão é utilizado, o fiuxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251 25 possuem diferentes quantidades de transmissão, desse modo possivelmente causando uma diferença entre os tempos de processo para os fluxos no equipamento intermediário no canal de transmissão. Mesmo em tais casos, o aparelho de decodificação de fiuxo de vídeo escalonável 200 pode lidar com o atraso ou diferença.
A figura 9 é um fluxograma ilustrando um processo executado em um caso onde um dos dois fluxos a ser informado para o aparelho de decodificação de fluxo de vídeo escalonável 200 é atrasado.
31/55
Similarmente ao exemplo da operação como descrito acima, a seção de reordenação 214 inicialmente obtém um tempo de exibição dos dados dianteiros codificados no fiuxo armazenado na primeira seção de memória de fluxo de entrada 212 (etapa S220) e obtém um tempo de exibi5 ção dos dados dianteiros codificados do fluxo armazenado na segunda seção de memória de fluxo de entrada 213 (etapa S221),
Então, a seção de reordenação 214 determina se o tempo de exibição dos dados dianteiros codificados do fluxo de camada base 250 é válido ou não (etapa S222). Em um caso onde o tempo de exibição dos mes10 mos é inválido (nenhum dado codificado está incluído no fluxo de camada base 250), o processo é terminado sem emissão de qualquer dado codificado. A razão è como dito a seguir: mesmo se o fluxo de camada de aperfeiçoamento 251 contiver dados codificados, os dados codificados não podem ser decodificados sem dados codificados contidos no fluxo de camada base 15 250 Portanto, em um caso onde nenhum único pedaço de dados codificados do fluxo de camada base 250 está armazenado na primeira seção de memória de fluxo de entrada 212, os processos subsequentes são suspensos.
Adicíonalmente, a seção de reordenação 214 compara o tempo de exibição obtido T1 dos dados dianteiros codificados no fluxo de camada base 250 com o tempo de exibição obtido T2 dos dados dianteiros codificados no fluxo de camada de aperfeiçoamento 251, e considera um tempo anterior como Tmin (etapa S222).
Como descrito posteriormente., a seção de reordenação 214 pe25 ga um tempo de exibição de um quadro que foi emitido pela última vez para a seção decodificadora de vídeo 216. Em um caso onde Tmin aparece antes (é mais antigo) do tempo de exibição do quadro tendo sido emitido pela última vez, a seção de reordenação 214 abandona os dados codificados do quadro de Tmsn, a partir do fluxo que inclui os dados codificados, e executa o processo novamente (etapa S224), A disposição acima pode evitar o seguinte problema: se um dos fluxos que são transmitidos substancialmente ao mesmo tempo for atrasado no meio de um canal de transmissão, o outro
32/55 fluxo, o qual ê recebido ínicialmente. não pode ser reproduzido.
Adicionalrnente, em um caso onde Tmin aparece posterior a um dado tempo, a seção de reordenação 214 tombem pode terminar o processo (etapa S225). Observe que o dado tempo aparece após um dado periodo de 5 tempo a partir do tempo de exibição do quadro que a seção de reordenação 214 emitiu pela ultima vez, tempo de exibição este que é mantido pela seção de reordenação 214. Como descrito acima, quando um dos fluxos é atrasado, os dados do fluxo atrasado são abandonados. Entretanto, se o atraso estiver dentro de um dado período de tempo, não é necessário abandonar o 10 fluxo atrasado. Neste caso, o processo em relação ao fluxo que aparece primeiro pode ser mantido suspenso, de modo que o fluxo atrasado possa ser utilizado para decodíficação.
O dado período de tempo pode ser determinado por preliminarmente medir as quantidades de atraso do fluxo de camada base 250 e do 15 fluxo de camada de aperfeiçoamento 251. Alternativamente, o dado período de tempo pode ser determinado baseado ern um histórico de tempo de recepção ou pode estar contido na informação adicional dos fluxos. Observe que em um caso onde as seções de memória de fluxo de entrada 212 e 213 não possuem um espaço livre suficiente, elas emitem os fluxos sem este 20 controle. Com a disposição acima, um atraso de entrada de qualquer um dos fluxos pode ser desconsiderado na medida em que as seções de memória de fluxo de entrada 212 e 213 permitem, e a decodíficação pode ser executada pelo uso de ambos os fluxos.
(Exemplo Modificado 3: Possuindo a Função de Gravação - Re 25 produção)
O aparelho de decodíficação de fluxo de video escalonável 200 pode possuir uma função de gravação - reprodução. Por exemplo, uma seção de gravação - reprodução, a qual inclui uma memória de gravação, pode ser proporcionada em paralelo com a seção de reordenação 214. A se30 ção de gravação - reprodução obtêm pelo menos urn dentre o fluxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251 e armazena o mesmo na memória de gravação. Então, a seção de gravação - reprodução
33/55 lê o pelo menos um dentre o fluxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251 a partir da memória de gravação, e envia o mesmo para a seçãu de reordenação 214. A seção de reordenação 214 executa a operação de decodificaçâo mencionada acima mais tarde. Tal disposição permite a um usuário gravar uma vez um fluxo de entrada e reproduzir o mesmo a qualquer momento que o usuário desejar, (Exemplo Modificado 4: Imagem de Alta Qualidade por Gravação)
No exemplo mencionado acima da gravação e reprodução, os fluxos podem ser informados em tempos diferentes. Neste caso, por exemplo, um dos fluxos é informado e gravado na memória de gravação, e o outro fluxo é informado em outro tempo e adicionaímente gravado na memória de gravação, A reprodução é executada com o uso de ambos os fluxos. Em tal caso onde o fluxo informado com atraso é adicionaímente armazenado, no15 mes de arquivo podem ser designados para os fluxos com regularidade ou os fluxos podem ser associados um com o outro por informação adicional, de modo que um aparelho possa reconhecer que o fluxo informado com atraso está associado com o fluxo que já foi gravado. Adicionaímente, os fluxos podem ser adicionados para o mesmo arquivo quando sendo gravados, e eles são lidos separadamente para reprodução. Alternativamente, um processo de reordenação pode ser executado da mesma maneira que esta da seção de reordenação 214 quando os fluxos são gravados, de modo que ambos os fluxos são gravados como um fluxo único. Tal disposição, mais especificamente, uma disposição na qual, por exemplo, o fluxo de camada base 250 é recebido via radiodifusão e gravado, e o fluxo de camada de aperfeiçoamento 251 é recebido mais tarde via uma comunicação e adicionalmente gravado, produz um efeito tal que uma imagem de video de alta quahdade pode ser reproduzida com o uso de ambos os fluxos.
(Exemplo Modificado 5: Variações dos Formatos do Fluxo de En~ 30 trada)
O fluxo de camada base 250 e o fluxo de camada de aperfeiçoamento 251 podem ser em qualquer formato no qual os dados codificados
34/55 possam ser associados com tempo um por um. Por exemplo, em um caso de MPEG-2 TS, um fluxo correspondendo a um quadro é armazenado em um pacote PES, e seu tempo correspondente é armazenado como um PTS de um cabeçalho PES.
A entrada de MPEG-2 TS requer um processo de demultiplexaçào para extrair dados codificados. Em vista disto, uma seção de demultiplexaçao pode ser proporcionada entre a seção de reordenação 214 e a seção decodificadora de vídeo 216, de modo que a seção de demuítiplexação pode executar o processo de demuítiplexação. Alternativamente, o processo de 10 demuítiplexação pode ser executado na primeira seção de entrada 210 e na segunda seção de entrada 211 quando os fluxos são informados. No úllirno método, em urn caso onde o método de codificação è um método MPEG-4 AVC, o Tempo da Imagem SEI é gravados como os tempos dos quadros e, portanto, o Tempo da Imagem SE! pode ser utilizado. Adicíonalmente, em 15 alguns casos, um fluxo correspondendo a vários quadros pode ser armazenado em um único PES, Neste caso, a primeira seção de entrada 210 e a segunda seção de entrada 211 podem executar a demuítiplexação quando os fluxos são informados para as mesmas, o que torna possível utilizrar o Tempo da Imagem SEI.
Também pode ser dito que um aparelho de decodificação de fluxo de video escalonável de acordo com uma concretização da presente invenção é um aparelho de reprodução de fluxo de video escalonável incluindo' pelo menos duas seções de entrada para receberem pelo menos dois fluxos gerados por um aparelho de geração de fluxo de vídeo escalonável da 25 presente invenção; uma seção de reordenação para reordenar os pelos menos dois fluxos de acordo com a informação de tempo designada para os mesmos, de modo a colocar juntos os pelos menos dois fluxos como um ú~ nico fluxo de video; e uma seção decodificadora de vídeo para decodificar o fluxo de vídeo único
3. Aparelho de Decodificação de Fluxo de Vídeo Escalonável com Economia de Energia
Alguns dos mais recentes aparelhos compactos de processa
35/55 mento de informação, tais como um telefone móvel, possuem uma função de reprodução de fluxo de video. A maior parte dos aparelhos é acionada por baterias, e de modo a acionar os aparelhos durante longas horas pelas baterias, uma diminuição no consumo de energia è desejada Especialmente, a 5 reprodução do fluxo de vídeo é executada via processos complicados, os quais requerem abundância de energia elétrica. Assim, a diminuição no consumo de energia dos aparelhos é mudo demandada. Por exemplo, a Literatura de Patente 1 revela um aparelho câmara de fotografia digital no qual o consumo de energia é reduzido, O aparelho, o qual é proporcionado com 10 dispositivo interno de exibição tal corno um visor de cristal liquido, controla uma quantidade de operação de decodificação dependendo de se o aparelho está ou não conectado com equipamento externo tal como TV, desse modo reduzindo o consumo de energia. Adicionalmente, como um método concreto para reduzir a quantidade de operação, a Literatura de Patente 1 15 exemplifica um método no qual a resolução, gradação e taxa de quadros de uma imagem a ser decodificada por um circuito de decodificação são diminuídas.
Entretanto, o método na Literatura de Patente 1 requer uma disposição complexa na qual os processos tais como salto de quadro e salto de 20 pixel são adicionalmente executados de modo a eliminarem uma parte do processo de decodificação em vista da redução no consumo de energia
Um aparelho de decodificação de fluxo de vídeo escaionável de acordo com uma concretização da presente invenção pode reduzir o consumo de energsa com um mecanismo simples, A figura 10 é um diagrama de 25 blocos ilustrando uma parte essencial de uma disposição de um aparelho de decodificação de fluxo de vídeo escaionável 300 de acordo com a presente concretização, Como ilustrado na figura 10, o aparelho de decodificação de fluxo de vídeo escaionável 300 da presente concretização inclui uma primeira seção de entrada (dispositivo de recepção de fluxo) 310, uma segunda 30 seção de entrada (dispositivo de recepção de fluxo) 311, uma seção decodificado ra de vídeo escaionável (dispositivo de decodificação) 312, uma seção sensora (dispositivo de detecção) 313, uma seção de controle de entrada
36/55 (dispositivo de controle de entrada) 314, e uma seção de troca de entrada 315
O aparelho de decodificação de fluxo de vídeo escaíonáveí 300 detecta um estado do aparelho de decodificação de fluxo de vídeo escaloná5 vel 300, e determina, baseado no estado, se pelo menos um dos dispositivos de recepção de fluxo é levado a operar ou a não operar.
Com a disposição, quando o aparelho de decodificação de fluxo de video escaíonáveí 300 està em tal estado no qual, por exemplo, a potência da bateria está quase esgotada, a temperatura do aparelho està alta, a 10 cobertura do aparelho está fechada, o aparelho está em movimento, o movimento de uma imagem é pequeno, ou coisa parecida, pelo menos um dos dispositivos de recepção de fluxo é levado a não parar de funcionar de modo a ajustar a taxa de transmissão efetiva do processo de decodificação de forma apropriada e a reduzir o consumo de energia, (Exemplo de Operação)
O dito a seguir explica um exemplo de como o aparelho de decodificação de fluxo de video escaíonáveí 300 opera,
A primeira seção de entrada 310 recebe um fluxo de camada base 350 e envia o fluxo assim recebido para a seção decodifícadora de ví 20 deo escaíonáveí 312, A segunda seção de entrada 311 recebe um fluxo de camada de aperfeiçoamento 351, e envia o fluxo assim recebido para a seção decodifícadora de vídeo escaíonáveí 312,
A seção decodifícadora de vídeo escaíonáveí 312 decodifica o fluxo de camada base 350 e o fluxo de camada de aperfeiçoamento 351, e 25 emite uma imagem em movimento. Uma disposição interna da seção decodificadora de video escaíonáveí 312 não está especialmente limitada na pre sente invenção. Entretanto, a seção decodifícadora de video escaíonáveí 312 pode possuir a mesma disposição que o aparelho de decodificação de fluxo de vídeo escaíonáveí 200 mencionado acima de acordo com a presen30 te invenção, por exemplo.
A seção sensora 313 é o dispositivo para detectar informação sobre a potência da batería do aparelho de decodificação de fluxo de video
37/55 escaíonável 300. A seção sensora 313 envia a informação sobre potência da bateria detectada para a seção de controle de entrada 314. A seção de controle de entrada 314 determina se o fluxo de camada de aperfeiçoamento 351 è ou não para ser decodificado,, e controla uma entrada de um fluxo, baseada na informação recebida a partir da seção sensora 313.
A figura 11 è um fhjxograma ilustrando como a seção de controle de entrada 314 opera. A seção de controle de entrada 314 recebe, a partir da seção sensora 313, informação sobre a potência da bateria (etapa S300), e compara a mesma com um dado limite (etapa S301). Em um caso onde a 10 informação sobre a potência da bateria está abaixo do dado limite, a seção de controle de entrada 314 controla a seção de troca de entrada 315 para ser desativada (etapa S302). Neste meio tempo, em um caso onde a informação sobre a potência da bateria não è menor do que o dado (imite, a seção de controle de entrada 314 controla a seção de troca de entrada 315 15 para ser ativada (etapa S303).
A seção de troca de entrada 315 é controlada pela seção de controle de entrada 314. Quando a seção de troca de entrada 315 é ativada, a segunda seção de entrada 311 executa uma operação de entrada para receber o fluxo de camada de aperfeiçoamento 351. Neste meio tempo, quando a seção de troca de entrada 315 está desativada, a segunda seção de entrada 311 para de operar e não recebe o fluxo de camada de aperfeiçoamento 351 Por consequência, enquanto a seção de troca de entrada
315 está ativada, a seção decodificadora de video escaíonável 312 decodifica urn quadro d© saída pelo uso do fluxo de camada base 350 e do fluxo de 25 camada de aperfeiçoamento 351. Enquanto isto, enquanto a seção de troca.
de entrada 315 está desativada, a seção decodificadora de video escalonavel 312 decodifica um quadro de saída pelo uso somente do fluxo de camada base 350.
(Vantagem da Presente Concretização)
A disposição acima produz um efeito tal que o aparelho de decodificação de fluxo de vídeo escaíonável 300 de acordo com a presente invenção pode restringir o consumo de energia por reduzir a taxa efetiva de
38/55 transmissão da decodificaçâo quando a potência da bateria está quase esgotada, desse modo tomando passive! manter a reprodução enquanto estendendo o tempo de operação do aparelho. Além disso, no aparelho de decodifícaçâo de fluxo de vídeo escalonável 300. a seção decodificadora de 5 video escalonável 312 não è proporcionada com qualquer estrutura especial para economia de energia. Ao contrário, o aparelho de decodificaçâo de fluxo de vídeo escalonável 300 pode produzir o efeito acima com uma disposição simples tal que a seção sensora 313, a seção de controle de entrada 314, e a seção de troca de entrada 315 são apenas adicionaimente propor10 cionadas no mesmo.
(Exemplo Modificado 1: Seção Sensora é urn Sensor de Tempe ratura)
A seção sensora 313 pode ser um sensor de temperatura para obter informação de temperatura do aparelho de decodificaçâo de fluxo de 15 vídeo escalonável 300. Neste caso, a seção de controle de entrada 314 controla a seção de troca de entrada 315 para ser desativada quando a informação de temperatura está acima de um limite, enquanto controlando a seção de troca de entrada 315 para ser ativada quando a informação de temperatura não é maior do que o limite. Com a disposição, quando a temperatura do 20 aparelho aumenta, a decodificaçâo do fluxo de camada de aperfeiçoamento
351 é saltada de modo a reduzir a taxa efetiva da decodificaçâo, desse modo restringindo a geração de calor e reduzindo o consumo de energia.
(Exemplo Modificado 2: Seção Sensora é o Sensor de Cobertura do Visor)
Em um caso onde o aparelho de decodificaçâo de fluxo de vídeo escalonável 300 é incorporado em um aparelho proporcionado com uma cobertura que pode ser aberta e fechada para o propósito de proteger a superfície do visor, por exemplo, a seção sensora 313 pode ser um sensor para detectar a abertura ou o fechamento da cobertura do visor do aparelho. Nes30 te caso, enquanto a cobertura do visor estiver fechada, a seção de controle de entrada 314 controla a seção de troca de entrada 315 para ser desativada. Enquanto isto, enquanto a cobertura do visor está aberta, a seção de
39/55 controle de entrada 314 controla a seção de troca de entrada 315 para ser ativada. Enquanto a cobertura do visor do aparelho estiver fechada, um usuário é menos provável de assistir a uma imagem de vídeo. Por consequência, mesmo se uma qualidade da imagem for diminuída pela omissão da de5 codificação do fluxo de camada de aperfeiçoamento 351, a conveniência do usuário não é impedida. Assim, a disposição acima toma possível restringir o consumo de energia sem impedir a conveniência para o usuário.
(Exemplo Modificado 3: Seção Sensora é um Sensor de Aceleração)
W A seção sensora 313 pode ser um sensor de aceleração para detectar a aceleração do aparelho. Neste caso, quando a aceleração estã acima de um limite, a seção de controle de entrada 314 controla a seção de troca de entrada 315 para ficar desativada. Enquanto isso, quando a aceleração não ê maior do que o limite, a seção de controle de entrada 314 con15 troia a seção de troca de entrada 315 para ficar ativada. Enquanto o aparelho está sendo acelerado (por exemplo, o aparelho está sendo abaixado, levantado ou balançado), um usuário é menos provável de assistir a uma imagem de vídeo. Por consequência, mesmo se uma qualidade da imagem for diminuída pela omissão da decodíficação do fluxo de camada de aperfei20 çoamento 351, a conveniência para o usuário não è impedida. Assim, a disposição acima toma possível restringir o consumo de energia sem impedir a conveniência para o usuário.
(Exemplo Modificado 4: A Seção Sensora é um Sensor de Vetor de Movimento)
A seção sensora 313 pode ser um sensor ou programa para detectar um vento de movimento obtido no curso da decodíficação pela seção decodíficadora de video escalonãvel 312. Neste caso, quando um valor estimado obtido a partir do vetor de movimento, por exemplo, uma composição de todos os vetores, está acima de um limite, a seção de controle de entrada 30 314 controla a seção de troca de entrada 315 para ficar ativada. Enquanto isto, quando o valor estimado não é maior do que o limite, a seção de controle de entrada 314 controla a seção de troca de entrada 315 para ficar desati40/55 vada. Quando uma imagem de video decodificada tiver menos movimento, a omissão da decodificação de um quadro subsequente contido no fluxo de camada de aperfeiçoamento 351 não faz uma grande diferença na imagem de vídeo para o olho de um usuário. Por consequência, a conveniência para 5 o usuário não é impedida. Em vista disso, a disposição acima torna possível restringir o consumo de energia sem impedir a conveniência para o usuário, (Exemplo Modificado 5; Combinação de Vários Sensores)
A seção sensora 313 pode ser constituída de vários dispositivos sensores. Neste caso, a seção de controle de entrada 314 controla um esta10 do LIGADO / DESLIGADO da seção de troca de entrada 315 baseada em todos os pedaços de informação a partir dos vários sensores.
No exemplo de operação e no exemple modificado, o palavreado concreto não menor do que, não maior do que, acima, e abaixo é utilizado. Entretanto, estas palavras não estrítamente especificam se a equiva15 lència está íncíuída ou não, e, por exemplo, !,não menor do que pode ser substituível por acima ou vice-versa.
(Exemplo Modificado 6: Troca Contínua de Controle)
Adicionalmente, no exemplo acima, a seção de controle de entrada 314 compara valores (valores contínuos) a partir da seção sensora 313 20 com um limite., de modo que a seção de troca de entrada 315 é controlada petos dois valores, ATIVADO e DESATIVADO. Entretanto, a seção de controle de entrada 314 pode continuamente controlar a seção de troca de entrada 315. Por exemplo, em um caso onde um valor obtido a partir da seção sensora 313 é quase o mesmo que um limite, a seção de controle de entra25 da 314 pode intermitentemente controlar a seção de troca de entrada 315 para trocar entre ATIVADA e DESATIVADA em intervalos de tempo iguais (1-1).
(Exemplo Modificado 7: O Controle è Mantido)
Também pode ser possível uma disposição tal em que uma se30 çâo temporizadora de troca seja adicionalmente proporcionada para a seção de controle de entrada 314, de modo que a seção de controle de entrada 314 controla a seção de troca de entrada 315 apenas apôs certo período de
41/55 tempo a partir de quando a informação a partir da seção sensora 313 satisfaz uma condição que causa que a seção de troca de entrada 315 troque entre ATIVADA e DESATIVADA. A disposição pode restringir um fenômeno tal em que o controle ATIVADA / DESATIVADA da seção de troca de entra5 da 315 é frequentemente causado devido à informação a partir da seção sensora exceder a um limite várias vezes, e uma imagem de vídeo reproduzida não parece natural.
(Exemplo Modificado 8: Operação do Usuário Fica Disponível)
O aparelho de decodificaçáo de fluxo de vídeo escaionável 300 pode ser adicionalmente proporcionado com uma seção de operação do usuário de modo que o usuário possa estabelecer vários limites ou controlar a seção de troca de entrada 315. A disposição pode diminuir uma. qualidade da imagem em resposta a uma instrução do usuário e restringir o consumo de energia.
(Exemplo Modificado 9: Aprendizado da Condição de Controle)
Também pode ser possível tal disposição em que um controle ideal é executado baseado no histórico de operação do usuário. Ou seja, a seção de controle de entrada 314 armazena um estado (por exemplo, temperatura) do aparelho quando um usuário controla a seção de troca de en20 trada 315. Quando o aparelho entra no mesmo estado da próxima vez, a seção de troca de entrada 315 é controlada da mesma maneira que no controle do usuário. A disposição torna possível precísamente executar o controle de ATIVADA / DESATIVADA da decodificação do fluxo de camada de aperfeiçoamento 351 de acordo com a preferência do usuário, desse modo 25 melhorando o aparelho de decodificaçáo de fluxo de vídeo escaionável 300 em vista tanto da conveniência como da economia de energia.
Pode ser dito que um aparelho de reprodução de fluxo de vídeo escaionável de acordo com uma concretização da presente invenção em um aparelho de reprodução de fluxo de video escaionável incluindo: uma seção 30 sensora para detectar urn estado do aparelho de reprodução de fluxo de vídeo escaionável; uma seção de controle de entrada para determinar se uma entrada de um fluxo é controlada ou não, baseada no estado do aparelho de
42/55 reprodução de fluxo de vídeo escalonável. estado este que é detectado pela senão sensora; e uma seção de troca de entrada para parar a entrada de um fluxo para pelo menos uma seção de entrada, em resposta ao controle a partir da seção de controle de entrada.
(Disposição Ilustrativa Compatível com o Sistema de Difusão Existente)
Com o uso do aparelho de geração de fluxo de vídeo escalonável da presente invenção e do aparelho de decodíficação de fluxo de vídeo escalonável da presente invenção, é possível colocar em prática a difusão 10 compatível escalonável temporal que é compatível com um sistema de difusão existente. O dito a seguir pega como um exemplo um caso onde a difusão compatível escalonável temporal é operada de forma compatível com o serviço de Recepção de 1 segmento (daqui para frente referido como difusão de um segmento) para terminais portáteis, tal como um telefone móvel 15 na difusão digital terrestre (ÍSDB-T), o qual é um sistema de difusão existente.; ........
A difusão de um segmento emprega MPEG-4 AVC como um método de codificação de um fluxo de video, e MPEG-2 TS como um formato de fluxo. O aparelho de geração de fluxo de vídeo escalonável da presen20 te invenção e o aparelho de decodíficação de fluxo de vídeo escalonável da presente invenção podem utilizar o MPEG-4 AVC e o MPEG-2 TS. como já foi descrito acima. De modo a realizar a compatibilidade com a difusão de um segmento, um PID (Identificador de Pacote) conectado com cada pacote
TS no MPEG-2 TS é utilizado.
Um PID é um identificador que identifica qual é tipo de fluxo contido em um pacote alvo, um fluxo de dados de vídeo, um fíuxo de dados de áudio, um fluxo de dados de legenda, ou um fluxo de dados parecidos. Observe que o valor de um PID não indica diretamente um tipo do fluxo É definido, índependentemente do PID, o strearnjype para identificar os respec30 tivos tipos de fluxo de vídeo, áudio, legenda e assim por diante, constituindo uma difusão. Uma tabela (PMT) indicativa de uma relação de correspondência entre cada PD e cada stream Jype é transmitida como um pacote inde
43/55 pendente de cada fluxo. Em um sistema utilizando MPEG-2 TS, um tipo de fluxo correspondendo a cada PID é identificado por se fazer referência à PMT. Assim, os fluxos podem ser decodificados e reproduzidos pelo uso de decodificadores adequados para os respectivos tipos de fluxos.
Stream ..type, representado por 0x1 e 0x1 B apresentados na Tabela 1( para uso na difusão de televisão digital existente iniciando com difusão de um segmento é definido como apresentado na Tabela 1.
[Tabela 1]
Tabelai. Tipos de Fluxo
1'stroamltyílD^^^IÇÃQ..............................................................................................................................................
| 0x01 HSO/IEC 1lT72Video(MPEG-1VIDEO)..................................................................
I 0x02 | ITU-T Rec.H.262 j ISO/IEC 13818-2(MPEG-2 VIDEO)
I 0x06 Rec-S-222 j ISÕ/IEC 13818-1 (MPEG-2 SYSTEMS) i ° i Pacote PES contendo dados privados (Dados de Legenda)
OxOD ISO/IEC 13818-6 (For Difusão de Dados)
OxOF ISO/IEC 13818-7(MPEG2 AAC)
0x1B ITU-T Rec.H.264 | ISO/IEC 13396-10Video(MPEG-4 AVC)
0x1 C Para Fluxo de Camada de aperfeiçoamento (Nova Aloca<çW
Assuma que a difusão compatível escalonável temporal que ê compatível com a difusão de um segmento é colocada em prática com o uso do aparelho de geração de fluxo de video escalonável da presente invenção e do aparelho de decodifícação de fluxo de vídeo escalonável da presente invenção. Aqui, stream type indicativo de um fluxo de camada de aperfeiço 15 amenío è definido por 0x1 C, por exemplo, e os respectivos fluxos são colocados em pacote TS pelas primeira e pela segunda seção de saída do aparelho de geração de fluxo de vídeo escalonável. Neste caso, um PI D para streammtype = 0x1 B, o qual é indicativo de um fluxo de video similar a um fluxo para uso na difusão convencional de um segmento, pode ser designa20 do para um fluxo de camada base, enquanto um PID para stream__type ~ 0x1 C, o qual ê indicativo de um fluxo de camada de aperfeiçoamento, pode ser designado para um fluxo de camada de aperfeiçoamento.
Na disposição, para um aparelho de decodifícação de fluxo de vídeo convencional que somente pode decodificar um fluxo de vídeo MPEG44/55
AVC, fluxos de camada de aperfeiçoa mento são descartados como fluxos desconhecidos, e somente um fluxo de camada base pode ser decodificado. Por outro lado, na disposição acima, o aparelho de decodificaçâo de fluxo de video escalonàvel da presente invenção pode decodificar e reproduzir um fluxo de video alvo como dito a seguir: (a) a seção de reordenação verifica PIDs dos pacotes MPEG-2 TS recebidos, de forma apropriada extrai um fluxo de camada base e um fluxo de camada de aperfeiçoamento que constituem um fiuxo de vídeo alvo a ser decodificado, obtém tempos de exibição a partir dos PTSs designados para os respectivos pacotes TS, e reordena os dados no fiuxo de camada base e no fluxo de camada de aperfeiçoamento em ordem de decodificaçâo: e (b) a seção decodificadora de vídeo decodifica e reproduz o fluxo de vídeo alvo. Observe que em vez de reordenar os dados no fluxo de camada base e no fluxo de camada de aperfeiçoamento com o uso de PTSs designados para os pacotes TS, a reordenação pode ser executada baseada em DTSs (Marca de Tempo de Decodificaçâo; informação de tempo de decodificaçâo) designadas para os pacotes TS, Na difusão de um segmento, é possível selecionar, como informação de tempo de exibição, entre (a) PTS no MPEG-2 TS e (b) Tempo da Imagem SEI por opcíonalmente codificar, por alterar os valores de configuração de na!_ h rd parameters ..presentflag ou vcl Jird_parameters j>resent__flag nos parâmetros VUl apresentados na tabeia 2 abaixo. Entretanto, corno já foi descrito acima, a presente invenção é disposta de modo que PTS é designado para cada quadro. Ern vista disto, como apresentado na Tabela 2, em um caso onde a difusão compatível com escalonàvel è executada, o Tempo da Imagem SEI pode ser disposto para não ser selecionado regularmente. [Tabela 2]
Tabela 2. Parâmetros Práticos de Parâmetros VUl
Nome do Indicador | Difusão de I Difusão Compatível com i | Um Seg- i Escalonàvel ί ] mento 1 | aspect ratio info present flag 0 A mesma na esquerda i oversea π Jnfo_present__flag j 0 i A mesma na esquerda ϊ video ...signal _type._present_.flag | 0 A mesma na esquerda I chroma.Joe.Jnfo_present_flag 0 i A mesma na esquerda i
45/55
i Nome do Indicador I Difusão de I Difusão Compatível com I
I Um Segj mento i Escaíonável i
[ timing__info„prese.nt__flag ) 1 | A mesma na esquerda
I nurn__unitjn_tick 1 100ΓΝ | A mesma na esquerda ί
i timejscale Í 2400 ou 1 3000 i A mesma na esquerda I
fixed„frame„rate„flag Í 0 ou 1 ! A mesma na esquerda |
i naLhrd__parameters__present_flag í 0 ou 1 t’ .......... . ........ i θ I
I vcl_nrdmparametersjoresent_flag i 0 ou 1 I o |
! Iow__delay„hrd_flag 1 0 A mesma na esquerda I
i píc_struct._present._flag 1 0 i A mesma na esquerda |
i bitstream, jestriction^flag ΐ 0 ou 1 I A mesma na esquerda |
i motion__vectors__over_pic^_boundaries_flag j 0 ou 1 ΐ A mesma na esquerda i
I niax__bytes__per__pic_denom 0-16 ί A mesma na esquerda ί
I max__bits„per„mb_,denom I 0-16 | A mesma na esquerda
log 2mrnaxjmv Jength J3oriz.onta I | 0-9 | A mesma na esquerda i
Iog2_.max._mv .length__vertioal j 0-9 | A mesma na esquerda
n um re order f ra m e s í 0 ! A mesma na esquerda
max_dec_fra me_ buffe ring | 1-3 ί A mesma na esquerda
Como já foi descrito acima, a codificação de um fluxo de video podem ser executada pelo uso de MPEG-4 AVC de modo que um quadro a ser um fluxo de camada base é codificado como um quadro de referência e um quadro a ser um fluxo de camada de aperfeiçoamento é codificado como 5 urn quadro corno um quadro que não é de referência.
Por exemplo, urna imagem de video possuindo uma taxa de quadros de 30 fps é codificado de modo que cada outro quadro seja codificado como um quadro de referência, desse modo obtendo, como uma camada base, um fluxo de vídeo possuindo uma taxa de quadros de 15 fps, a 10 qua! é um limite superior de uma taxa de quadros definida pela difusão de um segmento. Como tal, é possível realizar a difusão que mantêm compatibilidade com a difusão de um segmento em termos da camada base e que possui uma alta taxa de quadros (de 30 fps) com o uso de uma fluxo de camada de aperfeiçoamento.
Entretanto, no MPEG-4 AVC, um fluxo de vídeo a ser transmitido inclui dados chamados Conjunto de Parâmetros de Sequência (veja a Tabe
46/55 ia 3), os quais descrevem parâmetros comuns no fluxo de vídeo. Entre os parâmetros, existe um parâmetro chamado levei Jdc, o qual é indicativo de nívei de capacidade de um decodificador necessário para decodificar o fiuxo de vídeo
Tabela 3
Tabela 3. Parâmetros Práticos do Conjunto de Parâmetros de Sequência
Nome do indicador I Difusão de Um Segmento I Difusão Compatível i | Com Escalonável I
profilejdc i 66 | Mesma na esquerda ΐ
constraint__setO_fiag ; Mesma na esquerda ;
constraint sell flag ...................................................ilf............................................................................ I Mesma na escuerda I
constraint set2_flag • 4 í Mesma na esquerda i
leveHdc i 12 1 13 1
seqj>arameter„setjd .. .1. o.. 31 i Mesma na esquerda i
Iog2„maxjfrarnejium_minus4 I 0 -12 1 Mesma na esquerda 1
pic .order, ent...type i '2 i Mesma na esquerda i
i num_ref_frames i 1 ou 2 ou 3 ; Mesma na esquerda
i gapsjnjrame_num„vaíue„ailowed„fiag ί 0 i Mesma na esquerda i
i picjMdthJn_mbsjrrHnus 1 119 | Mesma na esquerda ;
i pic..height. .. in ..map.. units ..minus 1 i 14 OU 11 i Mesma na esquerda i
i frame_mbs_oníy_fiag 11 i Mesma na esquerda i
i direct..8x8Jnference.Jíag ; Mesma na esquerda ;
i frame_cropping_.fíag i 0 ou 1 i Mesma na esquerda
ΐ framej'XOpJeftjtffset 0 Mesma na esquerda i
framemcrop_righf_offset I 0 i Mesma na esquerda frame_crop_.top_offsef I 0 i Mesma na esquerda I
fame^crop^baftom^offset 1 6 i Mesma na esquerda
vui_parameters_presentj1ag 11 I Mesma na esquerda
Os dados, Conjunto de Parâmetros de Sequência, são comuns entre o fluxo de camada base e o fluxo de camada de aperfeiçoamento. Portanto, se um fluxo de video for codificado em uma alta taxa de quadros, pode 10 ser necessário estabelecer o nível de capacidade requerido para decodificar o fluxo de video para ser mais alto do que o nível de capacidade definido na difusão de um segmento, come na Tabela 3, em alguns casos. Em tal caso onde um valor requerido para um decodificador decodificar o fluxo de video è estabelecido maior do que um valor especificado da difusão de um seg15 mento, o fluxo de vídeo codificado em tai aita taxa de quadros pode ser considerado como um fluxo além do nível de capacidade de um decodificador
47/55 de um aparelho existente de recepção de um segmento. Isto pode causar um problema tal no qual o fluxo de video não é reproduzido.
Em vista disso, a seção codificadora de vídeo no aparelho de geração de fluxo de vídeo escalonável pode ser disposta de modo que 5 mesmo em um oaso onde um fluxo de vídeo é codificado em uma alta taxa de quadros, o mesmo Conjunto de Parâmetros de Sequência como na difusão de um segmento existente é transmitido, de modo que um aparelho de decodíficação de fluxo de vídeo escalonável pode decodificar e reproduzir o fluxo de vídeo por descartar o valor de configuração de leveljdc.
Corno descrito acima, com o uso do aparelho de geração de fluxo de vídeo escalonável e do aparelho de decodíficação de fluxo de video escalonável, ê possível colocar em prática a difusão compatível com escaíonável temporal que é compatível com o sistema de difusão existente. Ter uma compatibilidade com o sistema de difusão existente produz um efeito tal que os elementos constituintes de um aparelho de geração de fluxo de vídeo existente e de um aparelho de decodíficação de fluxo de video existente podem ser parcialmente compartilhados pelo aparelho de geração de fluxo de vídeo escalonável da presente invenção e pelo aparelho de decodíficação de fluxo de video escalonável da presente invenção, desse modo tornando pos20 sível estabelecer um sistema da difusão compatível com escalonável temporal a baixo custo. Adicionalrneníe, existe outra vantagem corno dito a seguir; o sistema tem compatibilidade com a difusão de um segmento, para a qual os terminais de Recepção estão sendo amplamente utilizados. Por consequência, isto facilita as questões sobre penetração de terminais de recepção 25 no início de nova difusão.
Além disso, em um caso onde o equipamento tal como um telefone móvel é proporcionado com uma função de recepção para receber uma difusão no sistema, terminals com poucos recursos, os quais são razoáveis em relação ao preço, podem ser dispostos para possuírem uma função de 30 reprodução para somente um fluxo de camada base, pelo uso de componentes constituintes baratos que sâo amplamente utilizados nos terminais de recepção de um segmento existente. Isto toma possível reduzir o custo de
48/55 produção dos terminais com poucos recursos. Por outro lado, os terminais com muitos recursos, os quais são caros, podem ser dispostos para possuírem uma função de alta taxa de quadros e de alto grau de reprodução pelo uso de componentes constituintes caros, porem de alta performance, que 5 são capazes de receber e decodificar um fluxo de camada de aperfeiçoamento bem como um fluxo de camada base, Como tal, é vantajosamente possível para os fabricantes de equipamento selecionarem disposições dependendo da qualidade do terminal.
É somente o fluxo de camada base que deve possuir compatibi10 lídade com a difusão de um segmento. Em vista disso, como já foi descrita acima, o fluxo de camada de aperfeiçoamento pode ser transmitido via outro canal de transmissão diferente deste para o fluxo de camada base, Quando o fluxo de camada de aperfeiçoamento for distribuído via outro canal de transmissão, o serviço seguinte, objetivando somente clientes específicos 15 pode ser realizado para o propósito de atrair mais clientes: por exemplo, um fluxo de camada de aperfeiçoamento é transmitido via uma rede de telefones móveis de um provedor de serviço mòveí especifico de modo que somente usuárias do provedor de serviço móvel podem receber uma imagem de vídeo em alta definição em urna alta taxa de quadros, ou um fluxo de camada 20 de aperfeiçoamento é distribuído somente em uma área específica tal como uma instalação de transporte publico ou em um centro de compras, de modo que uma imagem de vídeo em alta definição pode ser proporcionada em uma alta taxa de quadros. Como outro exemplo, um método de modulação a ser utilizado para transmitir um fluxo de camada de aperfeiçoamento pode 25 ser um método de modulação possuindo uma taxa de transmissão mais elevada e capacidade de recuperação de erro mais baixa do que estas de um método de modulação a ser utilizado para transmitir um fluxo de camada base. Em tal disposição, áreas nas quais o fluxo de camada de aperfeiçoamento pode ser recebido sem erro, bem como o fluxo de camada base, são 30 limitadas,, ao passo que é possível alocar uma maior quantidade de dados para imagens codificadas devido ao fluxo de camada de aperfeiçoamento. Ou seja, em um ambiente tal como no lar, no qual um estado de recepção de
49/55 • 10
2δ andas de transmissão é bom, é possível reproduzir uma imagem de video com maior alta definição por igualmente decodificar o fluxo de camada de aperfeiçoamento. Enquanto isso, em um ambiente tal como durante movimento em alta velocidade no qual um estado de recepção de ondas de transmissão è ruim, o fluxo de camada de aperfeiçoamento no qual o erro de recepção permanece ê abandonado e somente o fluxo de camada base é reproduzido de modo que uma qualidade minima de reprodução é garantida.
(Variação Comum de Cada Aparelha da Presente Invenção)
O aparelha de decodificação de fluxo de video escaíonáveí da presente invenção é suposto como sendo urn aparelho compacto que funciona com baterias e è portátil, mas pode ser, por exemplo, um aparelho em um veiculo ou estacionário para o qual é fornecida energia de forma externa,
O aparelho de geração de fluxo de vídeo escaíonáveí da presente invenção é suposto camo sendo um aparelho estacionário, mas igualmente pode ser um aparelho em um veiculo ou um aparelho que funciona com baterías e é portátil,
A transmissão via várias seções incluindo um canal de transmissão de fluxos de bits pode ser via urna comunicação com fios ou comunicação sem uso de fios, posto que a comunicação ê urna comunicação nu sentido amplo incluindo radiodifusão. A comunicação sem uso de fios pode ser um método no qual uma comunicação é executada por ondas de rádio incluindo íuz visível e um raio infravermelho, ou por micropartículas, tais oomo elétrons ou quantum. Neste caso, as ondas de rádio ou micropartículas podem ser transmitidas diretamente a partir de um aparelho de transmissão para um aparelho de recepção. Alternatívamente, as ondas de rádio ou mícroparticulas podem ser ondas de retransmissão a partir de um aparelho de retransmissão ou de um aparelho intermediária t.ai como um satélite artificial ou uma estação base na terra; ou ondas refletivas obtidas pelo usa de um abjeto estrutural, uma superfície da lua, uma superfície da terra, uma superfície da água, uma lonosfera., ou similar. De acordo com a retransmissão, uma frequência, um sistema de sinais ou coisa parecida pode ser alterado. A comunicação com fios pode ser um método no qual corrente elétrica é torne50/55 cída ou uma vibração é produzida em um meio sólido ou gelatinoso iniciando com um material orgânico tal oomo um fio de metal ou proteína, ou pode ser um produto no qual a luz passe através de fibra ótica ou similar. Alternativamente, a comunicação com fios pode ser um método no qual corrente elétrí5 ca é fornecida ou uma vibração é produzida em um meio em uma forma de um objeto longo cilíndrico dentro do qual vários tipos de líquidos ou gases são colocados.
Adicionaimente, em um caso onde uma memória é utilizada como uma seção de entrada ou de saída nos aparelhos, a memória pode ser 10 disposta destacável dos aparelhos de modo que a memória seja portátil. Com a disposição, a memória pode ser utilizada em outro aparelho pela conexão com o mesmo, e gerenciada e mantida separadamente dos aparelhos. A disposição é altamente conveniente.
Cada uma das seçóes de memória pode ser qualquer memória posto que um estado digital possa ser retido durante certo penado de tempo pelo usa de um semicondutor, de magnetizaçãa, de luz, de reação química, ousimilar. A memória pode ser em qualquer forma de disco, fita, tubo, esfera, polígono, ramo, fluido, ou similar. Adicionaimente, qualquer uma dentre (a) uma disposição na qual uma seção de memória é proporcionada seguindo 20 um caminho de comunicação e nenhuma memória è proporcionada no aparelho e (b) uma disposição na qual uma seção de memória è proporcionada seguindo um caminho de comunicação e uma memória também é proporcionada no aparelha produz os mesmos efeitos que forma descritos acima. Cada um dos outros dispositivos exemplificados por outros dispositivos não 25 é exclusivamente selecionado ou proporcionado. Vários dispositivos podem ser proporcionados simultaneamente e selecionados dinamicamente, ou podem operar independentemente ou enfaticamente em paralelo ou em série.
Os aparelhos que realizam as operações mencionadas acima podem ser realizados por meio de uma lógica fisicamente conectada ou de 30 software como executado por uma CPU (Unidade Central de Processamento) como a seguir:
cada um dentre o aparelho de geração de fluxo de vídeo escalo51/55 t5 nável 100, ο aparelhe de decodíficação de fluxo de video escalonãvel 200 e o aparelho de decodíficação de fluxo de vídeo escalonãvel 300 inclui uma CPU e dispositivos de memória (meio de memória). A CPU executa instruções nos programas de controle realizando as funções dos mesmos. Os dispositivos de memória incluem uma ROM (memória somente para leitura) que contém programas de controle da mesma, uma RAM (memória de acesso aleatório) junto à qual os programas de controle são carregados em um formato executável, e urna memória contendo os programas de controle e vários dados.
O objetivo da presente invenção também pode ser alcançado por um dado meio de armazenamento. O meio de armazenamento pode ser um meio de armazenamento legível por computador contendo o código do programa de controle (programa executável, programa de código intermediário, ou programa fonte) para os aparelhos 100, 200, 300 acima, que é software realizando as funções mencionadas acima. O meio de armazenamento pode ser montado junto aos aparelhos 100, 200, 300 acima. Na disposição, os aparelhas coma um computador (ou CPU, MPU) recuperam e executam o código de programa contido no meio de armazenamento,
O meio de armazenamento que proporciona os aparelhos 100, 200, 300, com o código de programa, não està limitado a qualquer estrutura ou tipo especial. O meio de armazenamento pode ser, por exemplo, urna fita, tal como uma fita magnética ou uma fita cassete; um disco magnético, tal como um disco floppy (Marca Registrada) ou um disco rígido, ou um disco ótico, tal como CD-RM / MO / MD / DVD / CD-R; um cartão, tal como cartão IC (cartão de memória) ou um cartão ótico; ou uma memória semicondutora, tal coma uma ROM de máscara / EPROM / EEPROM / ROM flash.
O objetivo da presente invenção pode ser alcançado por dispor os aparelhos 100, 200, 300 como sendo conectàveis com uma rede de comunicações de modo que o código de programa pode ser distribuído através da rede de comunicações, A rede de comunicações não está limitada a qualquer tipo particular ou de qualquer maneira particular contanto que o código de programa possa ser distribuído para os aparelhos 100, 200, 300.
52/55
A rede de comunicações pode ser, por exemplo, a Internet, uma intranet, extranet, LAN, ISDN, VAN, rede de comunicações CATV, rede virtual dedicada (rede virtual privada), rede de linhas telefônicas, rede de comunicações moveis, ou rede de comunicações por satélite.
O meio de transferência que constitui a rede de comunicações não está limitado a qualquer disposição ou tipo particular posto que o meio de transferência seja um dado meio que possa transferir o código de programa. O meio de transferência pode ser, por exemplo, linha de fios metálicos, tal como IEEE. 1394, USB (Barramento Serial Universal), linha de ener10 gía elétrica, linha de TV a cabo, linha de telefone, ou linha ADSL (Unha de Assinatura Digital Assimétrica); ou sem uso de fios, tal como radiação infravermelho (IrDa, controle remoto), Bluetooth (Marca Registrada), especificação de comunicação sem uso de fios 802.11, HDR, rede de telefones móveis, linha por satélite, ou rede digital terrestre. A presente invenção abrange 15 uma forma de um sinal de dados de computador embutido em uma onda portadora, forma na qual o código de programa é realizado pela transmissão eletrônica.
Aplicabilidade Industrial
A presente invenção é aplicável para um sistema e similar para 20 distribuição de vídeo digital.
l,istaqe.m de Referência
Imagem de Vídeo de Entrada
Aparelho de Geração de Fluxo de Vídeo Escaíonável
Fluxo de Camada Base
4 Fluxo de Camada de aperfeiçoamento
Canal de Transmissão
Aparelho de Reprodução de Fluxo de Vídeo
Aparelho de Reprodução de Fluxo de Vídeo Escaíonável
Imagem de Video Decodificada com Baixa Taxa de Quadros
9 Imagem de Video Decodificada com Alta Taxa de Quadros
Seção de Entrada de Fluxo de Camada Base
Seção de Entrada de Fluxo de Camada de aperfeiçoamento
53/55
Codificador do Vídeo de Camada Base
Codificador de Vídeo de Camada de aperfeiçoamento
Memória de Quadro de Referência de Camada de aperfeiçoamento
Memória de Quadro de Referência de Camada Base
16 Seção de Reordenação
Memória de Quadro de Saída
Seção de Exibição
100 Aparelho de Geração de Fluxo de Vídeo Escalonável
110 Seção de Entrada de Imagem de Video
111 Seção de Memória de Quadro de Entrada
112 Seção de Controle de Codificação
113 Seção Codificadora de Vídeo (Dispositivo de Codificação)
114 Seção de Memória de Quadre de Referência (Lado do Aparelho de Geração de Fluxo de Video Escalonável)
115 Seção de Memória Temporária de Código
116 Seção de Classificação (Dispositivo de Classificação)
117 Primeira Seção de Saida
118 Segunda Seção de Saída
2.00 Aparelho de Decodificação de Fluxo de Vídeo Escalonável
210 Primeira Seção de Entrada (Dispositivo de Recepção de Fluxo)
211 Segunda Seção de Entrada (Dispositivo de recepção de Fluxo)
212 Primeira Seção de Memória de Fluxo de Entrada
213 Segunda Seção de Memória de Fluxo de Entrada
214 Seção de Reordenação (Dispositivo de Reordenação)
215 Seção de Memória de Quadro de Referência (Lado do Aparelho de
Reprodução de Fluxo de Vídeo Escalonável)
216 Seção Decodífícadora de Vídeo (Dispositivo de Decodificação)
217 Seção de Memória de Quadro de Saída
218 Seção de Saida
300 Aparelho de Decodificação de Fluxo de Vídeo Escalonável
310 Primeira Seção de Entrada (Dispositivo de Recepção de Fluxo)
311 Segunda Seção de Entrada (Dispositivo de Recepção de Fluxo)
54/55
312 Seção Decod if icad ora de Video Escalonável (Dispositivo de Decodifl· cação)
313 Seção Sensors (Dispositive de Detecção)
314 Seção de Controle de Entrada (Dispositivo de Controle de Entrada)
315 Seção de Troca de Entrada
15D Imagem de Vídeo de Entrada
151,250, 350 Fluxo de Camada Base
152 até 154, 251,351 Fluxo de Camada de aperfeiçoamento
S100 Etapa de Determinação de Modo de Codificação
S101 Instrução de Codificação por Predição Intra, Etapa de Instrução de
Quadro de Referência
5102 Etapa de Seleção de Camada
5103 Instrução de Codificação Por Predição Interquadro, Etapa de Instrução de Quadro de Referência $104 Instrução de Codificação por Predição Interquadro, Etapa de Instrução de Quadro que Não é de Referência
SI 20 Etapa de Determinação de Modo de Codificação
5121 Etapa de Obtenção de Quadro de Referência
5122 Etapa de Descoberta de Vetor de Movimento
SI23 Etapa de Formação de Imagem Residual
5124 Etapa de Transformação Ortogonal, Quantizaçâo
5125 Etapa de Determinação de Instrução de Quadro de Referência
5126 Etapa de Quantizaçâo Inversa, Transformação Ortogenal Inversa
5127 Etapa de Formação de Imagem de Decodificação
SI 28 Etapa de Armazenamento de Quadro de Referência
SI 29 Etapa de Codificação de Comprimento Variável
5200, S220 Etapa de Obtenção de Primeiro Tempe de Fluxo Continue
5201, S221 Etapa de Obtenção de Segundo Tempe de Fluxo Contínuo
5222 Etapa de Determinação de validade de Primeira Tempo de Fluxo Can 30 tínuo
5223 Etapa de Cálculo de Tempo
5224 Etapa de Determinação de Tempo Passado
55Z55
S225 Etapa de Determinação de Tempo Future
S2Q2, S226 Etapa de Comparação de Tempo
5203, S227 Etapa de Remoção de Primeiro Fluxo
5204, S228 Etapa de Remoção de Segundo Fluxo
5205, S229 Etapa de Envio de Fluxo
5300 Etapa de Obtenção de Informação Sobre Potência da Batería
5301 Etapa de Comparação com Limite
5302 Etapa de Troca de Entrada DESATIVADA
5303 Etapa de Troca de Entrada ATIVADA

Claims (5)

REIVINDICAÇÕES
1 Aparelho de geração de fluxo de vídeo escalonável, compreendendo:
dispositivo de codificação para codificar vários quadros de en5 irada pelo uso de predíção por compensação de movimento de modo a formar imagens codificadas; e dispositivo de classificação para classificar as imagens codificadas assim formadas pelo dispositivo de codificação em vários fluxo de imagens codificadas,
10 o dispositivo de classificação executando a classificação baseado em se uma imagem codificada a ser classificada foi ou não utilizada como um quadro de referência para a predição por compensação de movimento executada quando o dispositivo de codificação codifica um quadro de entrada, e
15 o dispositivo de classificação designando identificadores diferentes para os vários fluxos de imagem codificada dentro dos quais as imagens codificadas foram classificadas,
2. Aparelho de decodificação de fluxo de vídeo escalonável, compreendendo:
20 pelo menos um dispositivo de recepção de fluxo para receber vários fluxos de imagem codificada gerados por um aparelho de geração de fluxo de vídeo escalonável de acordo com a reivindicação 1;
dispositivo de reordenação para (i) extrair pelo menos um fluxo de imagens codificadas a ser decodificado dentre os vários fluxos de ima25 gem codificada, assim recebidos pelo o pelo menos um dispositivo de recepção de fluxo, baseado nos identificadores designados para os vários fluxos de imagem codificada; e (li) reordenar, em ordem de decodificação, imagens codificadas incluídas no pelo menos um fluxo de imagens codificadas assim extraídas, de acordo com os respectivos pedaços de informação de tempo 3Q de exibição ou de informação de tempo de decodificação das imagens codificadas; e dispositivo de decodificação para decodificar as imagens ccdifi2/4
5 v*· cadas assim reordenadas pelo dispositivo de reordenação.
3/4 de video escaionável como definido na reivindicação 1;
dispositivo de reordenação para (í) extrair pelo menos um fluxo de imagens codificadas a ser decodificado dentre os vários fluxos de imagem codificada assim recebidos pelos vários dispositivos de recepção de 5 fluxo, baseado nos identificadores designados para os vários fluxos de imagem codificada, e (ii) reordenar, em ordem de decodificação, as imagens codificadas constituindo o pelo menos um fluxo de imagens codificadas assim extraído, de acordo com os respectivos pedaços de informação de tempo de exibição ou de informação de tempo de decodificação das imagens 10 codificadas; e dispositivo de decodificação para decodificar as imagens codificadas assim reordenadas pelo dispositivo de reordenação, o dito método de controle compreendendo as etapas de:
(a) detectar um estado do aparelho de decodificação de fluxo de 15 vídeo escaionável; e (b) executar um controle de entrada para controlar pelo menos um dos vários dispositivos de recepção de fluxo para operar ou não operar, de acordo com o estado detectado na etapa (a).
6, Método de geração de fluxo de vídeo escaionável, compreen20 dendo as etapas de:
(a) codificar vários quadros de entrada pelo uso de predição por compensação de movimento de modo a formar imagens codificadas; e (b) classificar as imagens codificadas assim formadas na etapa (a) em vários fluxos de imagens codificadas,
25 na etapa (b), a classificação sendo executada baseada em se uma imagem codificada a ser classificada foi ou não utilizada como um quadro de referência para a predição por compensação de movimente executada quando o dispositivo de codificação codifica um quadro de entrada, e diferentes identificadores sendo designados para os vários fluxos de imagem 30 codificada dentro dos quais as imagens codificadas foram classificadas,
7. Programa de decodificação de fluxo de vídeo escaionável para produzir um aparelho de decodificação de fluxo de vídeo escaionável co~
3. Aparelho de decodíficação de fluxo de vídeo escalonável, de acordo com a reivindicação 2, em que o pelo menos um dispositivo de recepção de fíuxo inclui vários dispositivos de recepção de fluxo, o aparelho de decodíficação de fluxo de vídeo escalonável adicionalmente compreendendo:
dispositivo de detecção para detectar um estado do aparelho de decodíficação de fluxo de vídeo escalonável; e dispositivo de controle de entrada para controlar pelo menos um dos vários dispositivos de recepção de fluxo para operar ou não operar, de acordo com o estado detectado pelo dispositivo de detecção.
4/4 mo definido na reivindicação 2 ou 3, o dito programa de decodificaçâo de fluxo de video escalonável causando que um computador funcione como cada um dos dispositivos do aparelho de decodificaçâo de fluxo de video escalonável.
4. Método de decodíficação de fluxo de vídeo escalonável, compreendendo as etapas de:
(a) receber vários fluxos de imagem codificada gerados por um aparelho de geração de fluxo de vídeo escalonável de acordo com a reivindicação 1;
(b) executar um processo de reordenação para (i) extrair pelo menos um fluxo de imagens codificadas a ser decodificado dentre os vários fluxos de imagem codificada assim recebidos na etapa (a), baseado nos ídentificadores designados para os vários fluxos de imagem codificada, e (ii) reordenar, em ordem de decodíficação, imagens codificadas incluídas no pelo menos um fluxo de imagens codificadas assim extraído, de acordo com os respectivos pedaços de informação de tempo de exibição ou de informação de tempo de decodíficação das imagens codificadas; e (c) decodificar as imagens codificadas assim reordenadas na etapa (b)
5. Método de controle para controlar um aparelho de decodíficação de fluxo de vídeo escalonável, o aparelho de decodíficação de fluxo de vídeo escalonável incluindo:
vários dispositivas de recepção de fluxo para receberem vários fluxos de imagem codificada geradas por um aparelho de geração de fluxo
5 8. Programa de geração de fluxo de video escalonável para causar que um aparelho de geração de fluxo de video escalonável, como definido na reivindicação 1, opere, o dito programa de geração de fluxo de vídeo escalonável causando que um computador funcione como cada um dos dispositivos do οροί 0 reiho de geração de fluxo de video escalonável.
BRPI0918619A 2008-09-17 2009-09-04 aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável BRPI0918619A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008238504 2008-09-17
PCT/JP2009/065523 WO2010032636A1 (ja) 2008-09-17 2009-09-04 スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置

Publications (1)

Publication Number Publication Date
BRPI0918619A2 true BRPI0918619A2 (pt) 2019-09-03

Family

ID=42039466

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0918619A BRPI0918619A2 (pt) 2008-09-17 2009-09-04 aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável

Country Status (5)

Country Link
US (1) US20110164683A1 (pt)
EP (1) EP2334082A1 (pt)
CN (1) CN102150432A (pt)
BR (1) BRPI0918619A2 (pt)
WO (1) WO2010032636A1 (pt)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011114817A1 (ja) 2010-03-18 2013-06-27 日本電気株式会社 発熱が小さい、テレビ電話機能を持つ携帯電話機
KR101780921B1 (ko) 2010-04-01 2017-09-21 소니 주식회사 화상 처리 장치, 방법 및 기록매체
US9077586B2 (en) * 2010-11-03 2015-07-07 Broadcom Corporation Unified vehicle network frame protocol
KR101779181B1 (ko) * 2011-11-29 2017-09-18 한국전자통신연구원 3ｄ 디지털방송 수신 장치 및 방법, 그리고 영상 모드 전환 장치 및 방법
WO2013108954A1 (ko) * 2012-01-20 2013-07-25 전자부품연구원 하이브리드 전송환경에서 스케일러블 초고해상도 비디오 서비스를 위한 프로그램 구성 정보 송수신 방법, 효율적인 스케일러 계층 정보 전송을 위한 방법 및 스케일러 계층 정보 전송을 위한 장치
US9641906B2 (en) * 2012-10-09 2017-05-02 Sharp Kabushiki Kaisha Content transmission device, content playback device, content distribution system, method for controlling content transmission device, method for controlling content playback device, control program, and recording medium
CN104243834B (zh) * 2013-06-08 2017-10-13 杭州海康威视数字技术股份有限公司 高清相机的图像分流控制方法及其装置
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP6330667B2 (ja) * 2013-08-09 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5947269B2 (ja) 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9621919B2 (en) * 2013-10-23 2017-04-11 Qualcomm Incorporated Multi-layer video file format designs
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Ｈｄｒ放送サービスの提供のための放送信号送受信方法及び装置
JP6652058B2 (ja) * 2014-08-07 2020-02-19 ソニー株式会社 送信装置、送信方法および受信装置
JP6558071B2 (ja) * 2015-05-20 2019-08-14 富士通コネクテッドテクノロジーズ株式会社 無線通信装置、無線通信プログラム、及び無線通信方法
WO2017164595A1 (ko) * 2016-03-21 2017-09-28 엘지전자(주) 방송 신호 송수신 장치 및 방법
JP6341228B2 (ja) * 2016-05-25 2018-06-13 ソニー株式会社 符号化装置、符号化方法、送信装置、送信方法、受信装置および受信方法
US10554711B2 (en) 2016-09-29 2020-02-04 Cisco Technology, Inc. Packet placement for scalable video coding schemes
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) * 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
JP6614275B2 (ja) * 2018-05-10 2019-12-04 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US20230055497A1 (en) * 2020-01-06 2023-02-23 Hyundai Motor Company Image encoding and decoding based on reference picture having different resolution
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604631B1 (ko) * 1997-07-25 2006-07-28 소니 가부시끼 가이샤 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법
JP2000156839A (ja) 1998-11-19 2000-06-06 Hitachi Ltd ディジタル映像記録再生装置
US6621870B1 (en) * 1999-04-15 2003-09-16 Diva Systems Corporation Method and apparatus for compressing video sequences
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
JP4018335B2 (ja) * 2000-01-05 2007-12-05 キヤノン株式会社 画像復号装置及び画像復号方法
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
JP2002142227A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 映像信号の階層型符号化装置および階層型復号化装置
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
JP2005117196A (ja) * 2003-10-03 2005-04-28 Matsushita Electric Ind Co Ltd 映像符号化方法
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
KR100587698B1 (ko) * 2004-10-22 2006-06-08 주식회사 휴맥스 선택적 예측 부호화/복호화 방법 및 장치
US20090207919A1 (en) * 2005-07-21 2009-08-20 Peng Yin Method and Apparatus for Weighted Prediction for Scalable Video Coding
CN101416513A (zh) * 2006-01-09 2009-04-22 诺基亚公司 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
GB2440004A (en) * 2006-07-10 2008-01-16 Mitsubishi Electric Inf Tech Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data
EP2077038B1 (en) * 2006-10-18 2013-01-30 Apple Inc. Scalable video coding with filtering of lower layers
KR101031022B1 (ko) * 2006-10-20 2011-06-29 노키아 코포레이션 버추얼 디코딩된 참조 픽처 마킹 및 참조 픽처 리스트
US8270469B2 (en) * 2006-12-15 2012-09-18 Precoad Inc. Encoding video at multiple resolution levels

Also Published As

Publication number Publication date
CN102150432A (zh) 2011-08-10
WO2010032636A1 (ja) 2010-03-25
EP2334082A1 (en) 2011-06-15
US20110164683A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
BRPI0918619A2 (pt) aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável
JP4668344B2 (ja) 画像符号化装置、画像符号化方法および記録方法
US8442382B2 (en) Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
KR20160091814A (ko) 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
KR20160082242A (ko) 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
KR101781886B1 (ko) 디지털 방송 시스템에서 트릭 플레이 서비스를 제공하기 위한 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE AS 6A, 7A, 8A, 9A E 10A ANUIDADES.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2540 DE 10-09-2019 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.