BR112012010406B1 - Meio legível por computador, não-transitório, método e dispositivo de processamento de imagem móvel, terminal hospedeiro, e, dispositivo e sistema de captura de imagem - Google Patents

Abstract

programa, método e dispositivo de processamento de imagem móvel, meio de gravação legível por computador, dispositivo e sistema de captura de imagem, e, terminal hospedeiro. uma câmera (100) emite a um terminal hospedeiro (20), um vídeo para exibição em um visor. uma unidade de aquisição de imagem (102) adquire imagens não processadas capturadas usando um elemento de formação de imagem. uma unidade de demosaicização simples (106) demosaica as imagens não processadas. uma unidade de filtro piramidal (170) converte as imagens não processadas em estágios a imagens reduzidas múltiplas tendo diferentes resoluções. uma unidade de transmissão de imagem (150) é provida com uma unidade de seleção que seleciona uma parte de imagens não processadas com uma área especificada, e seleciona uma das múltiplas imagens reduzidas como uma imagem reduzida designada. a imagem reduzida designada selecionada e os dados da área específica selecionada das imagens não processadas são enviadas ao terminal hospedeiro por meio de uma unidade de comunicação (108) para sofrer adicional processamento de imagem.

Description

CAMPO TÉCNICO

[001] A presente invenção diz respeito a uma técnica para transmitir para um terminal hospedeiro uma imagem criada por um elemento de formação de imagem provido em uma câmera.

FUNDAMENTOS DA INVENÇÃO

[002] Na técnica correlata, são conhecidos jogos nos quais a imagem de uma parte de um corpo de usuário tal como uma cabeça é capturada por uma câmera de vídeo, na qual uma área predeterminada para um olho, uma boca, uma mão, ou similar, é então extraída, e na qual a área é substituída por outra imagem para exibir em um visor (por exemplo, Documento de Patente No. 1). Uma interface de usuário é também conhecida que recebe, como uma instrução para operar uma aplicação, o movimento de uma boca ou uma mão capturada por uma câmera de vídeo.

[003] [Documento de Patente No. 1] Patente Europeia No. 0999518, Adelson E H et al., “Pyramid methods in image processing”, RCA Engineer, Cherry Hill, NJ, EUA, vol. 29, No. 6, 1 de novembro de 1984, páginas 33-41, revela métodos para produzir uma pirâmide de imagens. A pirâmide de imagens inclui um conjunto de imagens passa-baixa ou passa-faixa, cada uma incluindo informações de padrões correspondentes que podem ser usadas para análise de imagens. Outros arranjos propostos previamente são divulgados em Rastislav Lukac: “Single-sensor imaging in consumer digital cameras: a survey of recent advances and future directions”, Journal of Real-Time Image Processing, vol. 1, No. 1, 1 de março de 2006, páginas 45-52.

SUMÁRIO DA INVENÇÃO PROBLEMA A SER RESOLVIDO PELA INVENÇÃO

[004] Em uma técnica tal como aquela descrita acima, uma imagem de alta-resolução é necessária para extrair uma área predeterminada para uma boca, mão ou similar de usuário. Todavia, como o desempenho de um elemento de formação de imagem de uma câmera de vídeo se torna maior, isso leva mais tempo para realizar um processo de compressão, quando a câmera de vídeo transmite uma imagem para um hospedeiro, tal como um dispositivo de jogar ou um computador pessoal, após a compressão. Portanto, há um problema em que latência entre a captura de imagem pela câmera e a emissão de vídeo pelo hospedeiro é aumentada. O uso da câmera como uma interface de usuário cria um problema onde um aumento na latência dramaticamente reduz usabilidade. Como descrito, mesmo quando o desempenho de um elemento de formação de imagem de uma câmera de vídeo é aumentado, o desempenho de um sistema como um todo pode ser reduzido.

[005] Nesse antecedente, um objetivo da presente invenção é prover uma técnica de processamento de imagem para a redução da latência associada com a transmissão de imagem de uma câmera para um hospedeiro, enquanto usando um elemento de formação de imagem de alto-desempenho.

MEIOS PARA RESOLVER O PROBLEMA

[006] Uma forma de realização da presente invenção refere-se a um meio legível por computador, não-transitório, tendo nele embutido instruções legíveis por computador que, quando lidas no computador, fazem com que ele opere num dispositivo de processamento de imagem móvel, permitindo que o dito dispositivo de processamento de imagem móvel alcance: um módulo de aquisição de imagem, configurado para adquirir uma imagem não-processada, a qual é capturada usando um elemento de formação de imagem; um módulo demosaicização, configurado para realizar um processo demosaico na imagem não-processada para a produção de uma imagem demosaicizada; um módulo de filtragem, configurado para converter aquela imagem demosaicizada em uma pluralidade de imagens reduzidas, cujas resoluções variam em estágios; um módulo de seleção configurado para selecionar uma parte da imagem não- processada como uma parte específica, dita parte específica sendo uma parte da imagem não-processada para a qual uma imagem de alta qualidade é necessária, e também para selecionar uma ou mais da pluralidade de imagens reduzidas como uma imagem reduzida especificada; e um módulo de transmissão, que é configurado para transmitir para um terminal hospedeiro, para o processamento de imagem adicional, a parte específica da imagem não-processada e a imagem reduzida especificada que foram selecionadas.

[007] De acordo com a referida forma de realização, apenas uma parte específica que é uma parte de uma imagem não-processada e de uma imagem reduzida especificada são transmitidas a partir do dispositivo de processamento de imagem móvel ao terminal hospedeiro. Logo, embora uma parte específica possa ser processada livremente no terminal hospedeiro, a quantidade de dados transmitidos ao terminal hospedeiro torna-se menor em comparação com aquele quando uma inteira imagem não-processada é transmitida. Desse modo, latência associada com a transmissão de imagem pode ser reduzida, enquanto mantendo o grau de liberdade para um processo de imagem no terminal hospedeiro.

[008] Uma outra forma de realização da presente invenção também diz respeito a meio legível por computador, não-transitório, tendo nele embutido instruções legíveis por computador que, quando lidas no computador, fazem com que ele opere num terminal hospedeiro, que processa uma imagem móvel, que é capturada por um dispositivo de captura de imagem, e, em seguida, emite a imagem móvel processada para um visor, permitindo ao terminal hospedeiro alcançar: um módulo configurado para receber tanto uma parte específica que é uma parte de uma imagem não-processada emitida a partir de um elemento de formação de imagem, quanto uma imagem reduzida, obtida realizando-se um processo demosaico e um processo de redução na imagem não-processada.

[009] De acordo com a forma de realização, um processo demosaico pode ser efetuado no terminal hospedeiro numa parte específica de uma imagem não-processada que é capturada pelo elemento de formação de imagem. Portanto, processo demosaico de alta qualidade de imagem pode ser feito utilizando um recurso computacional do terminal hospedeiro, cuja capacidade de processamento é normalmente maior do que a do dispositivo de captura de imagem. Como uma imagem reduzida é ampliada para uso por uma parte que não seja aquela parte específica, a quantidade de dados recebidos do dispositivo de captura de imagem pode ser reduzida. Portanto, a latência associada com comunicação de imagem pode ser suprimida.

[0010] As implementações da invenção na forma de métodos, sistemas, dispositivos e meios legíveis por computador poderão também ser praticadas como modos adicionais da presente invenção. Outras formas de realização vantajosas podem ser efetuadas de acordo com as reivindicações dependentes.

VANTAGEM DA PRESENTE INVENÇÃO

[0011] Segundo a presente invenção, uma imagem parcial de elevada resolução usando uma imagem bruta pode ser obtida para uma parte específica, enquanto reduzindo latência associada com comunicação de imagem a partir de um dispositivo de captura de imagem para um terminal hospedeiro. BREVE DESCRIÇÃO DOS DESENHOS Fig. 1 é um diagrama ilustrando a inteira configuração de um sistema de câmera de baixa latência, de acordo com uma forma de realização da presente invenção; Fig. 2 é um diagrama ilustrando a configuração de uma câmera de acordo com uma forma de realização; Fig. 3 é um diagrama ilustrando a configuração de uma unidade de transmissão de imagem da câmera mostrada na Fig. 2; Fig. 4 é um diagrama ilustrando uma função da unidade de transmissão de imagem; Fig. 5 é um diagrama ilustrando a configuração de uma parte de um terminal hospedeiro que é responsável pela emissão de uma imagem de baixa-latência; Fig. 6 é um fluxograma ilustrando a operação do sistema de câmera de baixa latência; Fig. 7 é um fluxograma ilustrando a operação do sistema de câmera de baixa latência; e Fig. 8 é um diagrama ilustrando o resumo de um processo de imagem quando o sistema de câmera de baixa latência estiver aplicado a uma aplicação de bate-papo de vídeo.

MELHOR MODO PARA REALIZAR A INVENÇÃO

[0012] Fig. 1 ilustra a inteira configuração de um sistema de câmera de baixa latência 10 de acordo com uma forma de realização da presente invenção. Nesse sistema, a imagem móvel de um usuário 6 é capturada por uma câmera 100, e um processo de imagem é realizado na imagem móvel em um terminal hospedeiro 20. Em seguida, uma imagem do usuário é mostrada num visor 4 ou transmitida para um destino de comunicação predeterminado, via uma rede 12, tal como a Internet ou uma LAN (Rede de Área Local).

[0013] A câmera 100 é uma câmera de vídeo digital, provida com um elemento de formação de imagem, tal como um CCD (dispositivo acoplado por carga) ou um CMOS (semicondutor de óxido metálico complementar) e é provido no topo de um recinto do visor 4 como mostrado na figura. O visor 4 é, por exemplo, uma televisão de cristal líquido, uma televisão de plasma, um visor de PC ou similar. Normalmente, o usuário 6 fica em pé em frente do visor 4, de modo que uma imagem do inteiro ou uma parte do corpo do usuário seja capturada pela câmera 100. Uma imagem mostrada no visor 4 varia dependendo de uma aplicação realizada no sistema 10. Por exemplo, quando o sistema 10 é usado como uma interface de usuário (UI) que reconhece o movimento ou expressão do usuário 6 e interpreta o movimento ou expressão como alguma espécie de instrução de operação, uma imagem 8 mostrada no visor 4 é uma imagem de um aparte do usuário 6,tal como uma face ou uma mão, ou do inteiro corpo. Quando o sistema 10 é usado para bate-papo de vídeo, a imagem 8 mostrada no visor 4 é uma imagem de uma face de um parceiro de bate-papo e uma imagem do usuário 6 é mostrada em uma exibição do parceiro de bate-papo via a rede 12.

[0014] À luz de um modo de uso, tal como aqueles descritos acima, a câmera 100 é na maioria das vezes adequadamente provida no topo do visor 4. Entretanto, contanto que uma imagem do inteiro ou parte do corpo do usuário 6 possa ser capturada, a câmera 100 pode ser colocada em um local que não a proximidade do visor 4, por exemplo, na proximidade do terminal hospedeiro 20 ou em torno do usuário. Em vez de prover a câmera 100 como uma única estrutura, a câmera 100 pode ser embutida no recinto do visor 4 ou similar. Em vez de usar um elemento de formação de imagem na câmera 100, uma imagem analógica pode ser convertida de analógica-para-digital (A/D) para uso.

[0015] O terminal hospedeiro 20 é um terminal de computador, tal como um computador pessoal ou um dispositivo de jogar que é provido com uma função de processamento de imagem. O terminal hospedeiro 20 recebe sequencialmente, em ordem cronológica, as imagens móveis obtidas por meio da captura de imagens do usuário 6 pela câmera 100 e realiza um processo de imagem predeterminado. No caso de uma aplicação de bate-papo de vídeo, uma imagem do usuário 6, em que o processo de imagem foi realizado, é transmitida para um parceiro de bate-papo via a rede 12 em tempo real. No caso de uma aplicação de interface de usuário, um processo de espelho é ainda realizado e a imagem é então emitida para o visor 4 em tempo real. O processo de espelho é um processo de criar uma imagem em uma maneira invertida de direita-e-esquerda, que permite que o usuário opere o sistema como se o usuário estivesse olhando em um espelho. Além do processo de imagem acima, o terminal hospedeiro 20 é também capaz de sintetizar uma imagem de objeto tal como um menu ou um cursor para a execução de várias aplicações e então exibir a imagem sintetizada no visor 4.

[0016] Em uma aplicação para um jogo, bate-papo etc., que use uma câmera convencional, a câmera com frequência assume uma função de um processo de reconhecimento de imagem e de um processo de compressão de imagem. Com fracos recursos computacionais da câmera, ela geralmente tende a levar mais tempo para realizar os processos, em comparação com um terminal hospedeiro. Portanto, o desempenho em tempo real é com frequência prejudicado, por exemplo, em situações onde leva mais tempo para reconhecer o movimento do usuário e onde há um intervalo de tempo na exibição das imagens mostradas em um visor. Esta tendência torna-se mais pronunciada com um aumento no número de pixéis de um elemento de formação de imagem provido na câmera.

[0017] Assim, na presente forma de realização, uma pluralidade de imagens, cujas resoluções variam em estágios, são preparadas na câmera, e somente uma parte de imagem com uma resolução necessária é transmitida da câmera para o terminal hospedeiro, de acordo com o tipo de uma aplicação que é rodado em um sistema, de tal modo que um processo de alta qualidade é realizado no terminal hospedeiro tendo suficientes recursos computacionais.

[0018] A Fig. 2 ilustra a configuração da câmera 100 de acordo com a forma de realização. Estas configurações podem ser implementadas por configurações tais como um CPU (unidade de processamento central), uma RAM (memória de acesso aleatório), uma ROM (memória de somente leitura) e um circuito de renderização em termos de hardware e por programas para prover várias funções, tais como entrada de dados, armazenagem de dados, processamento de imagem e renderização em termo de software. Fig. 2 ilustra blocos funcionais implementados pela cooperação daqueles componentes. Logo, estes blocos funcionais podem ser implementados em uma variedade de formas, por combinações de hardware e software. Para facilitar a explicação, a Fig. 2 inclui um diagrama esquemático ilustrando uma parte de imagem processada em cada bloco funcional.

[0019] Aquela câmera 100 compreende uma unidade de aquisição de imagem 102, uma unidade de demosaicização 104, uma unidade de transmissão de imagem 150, uma unidade de filtro piramidal 170, bem como uma unidade de comunicação 108. Aquela unidade de aquisição de imagem 102 lê, em um predeterminado tempo (por exemplo, 60 vezes/s), uma imagem exposta por um dispositivo de formação de imagem, tal como um CCD ou um CMOS. Na seguinte explanação, é presumido que esta imagem tenha uma largura de “h” pixéis numa direção horizontal. Esta imagem é uma chamada imagem bruta. Aquela unidade de aquisição de imagem 102 transmite a imagem bruta para a unidade de demosaicização 104 e para unidade de transmissão de imagem 150 toda vez que a exposição está completada para uma única fileira horizontal da imagem bruta.

[0020] A unidade de demosaicização 104 tem uma memória temporária FIFO (primeiro dentro, primeiro fora) 105, tendo uma capacidade de h pixéis e uma simples unidade de processamento de demosaico 106. A informação de pixéis de uma única fileira horizontal da imagem bruta é introduzida e armazenada na memória temporária FIFO 105 até os pixéis para uma subsequente fileira horizontal ser introduzida na unidade demosaicização 104. No recebimento dos pixéis para as duas fileiras horizontais, a simples unidade de processamento demosaico 106 realiza, usando os pixéis recebidos, um processo demosaico de complementar a informação de cor para cada pixel, com base em seus pixéis circundantes e então criando uma imagem de cor- total. Como sabido de uma pessoa hábil, há muitos métodos para este processo demosaico. Entretanto, um simples processo demosaico que usa somente os pixéis para duas fileiras horizontais é suficiente neste caso. Como um exemplo, quando um pixel, para o qual um correspondente valor YCbCr é para ser calculado, tem um valor G, um valor RGB é obtido utilizando-se um valor R obtido calculando-se a média dos respectivos valores R dos pixéis adjacentes direito e esquerdo, o valor G e um valor B de um pixel acima ou abaixo do pixel para um seu valor R, um seu valor G e um seu valor B, respectivamente, e em seguida substituído por uma equação de conversão predeterminada, a fim de calcular o valor YCbCr. Uma vez que tal processo demosaico é bem conhecido, uma explanação mais detalhada dele é omitida.

[0021] A razão pela qual um simples processo demosaico é suficiente é como descrito a seguir. Para uma parte em que uma imagem de alta qualidade é necessária (a parte é em seguida referenciada como uma “parte específica”), o terminal hospedeiro 20 recebe uma imagem bruta da câmera 100 e realiza um processo. Portanto, a qualidade de uma imagem não é importante para uma parte que não a parte específica, ou uma outra parte que não a parte específica é usada somente para a detecção de imagem ou similar. Consequentemente, a qualidade de uma imagem após demosaicização não importa muito. Em uma variação de um simples processo demosaico, um método de formar um valor YCbCr de um único pixel de quatro pixéis de RGB pode ser usado. Neste caso, uma imagem demosaicizada de 1/4 de tamanho da imagem bruta pode ser obtida. Assim, um primeiro filtro 110 descrito mais tarde não é necessário.

[0022] Como mostrado na figura, a simples unidade de processamento demosaico 106 converte RGB de quatro pixéis, sendo dois pixéis horizontais por dois pixéis verticais, em sinais coloridos YCbCr, por exemplo. Um bloco composto destes quatro pixéis é transferido para a unidade de transmissão de imagem 150 como uma imagem demosaico 1/1 e é também transmitido para a unidade de filtro piramidal 170.

[0023] A referida unidade de filtro piramidal 170 tem uma função de hierarquizar uma dada imagem numa pluralidade de resoluções e emitir a imagem hierarquizada. Um filtro piramidal é provido com filtros de redução de 1/4, com base no número de níveis de resoluções que são necessários em geral. Na forma de realização, o filtro piramidal tem quatro filtros de nível: um primeiro filtro 110 através de um quarto filtro 140. Cada filtro realiza um processo de interpolamento bilinear quatro pixéis que são adjacentes entre si e então computar um valor de pixel médio dos quatro pixéis. Portanto, um tamanho de imagem obtido após o processo tornar-se 1/4 do tamanho da imagem antes do processo.

[0024] Antes de o primeiro filtro 110, uma única memória temporária FIFO 112 para pixéis h é correspondentemente provida para cada um dentre sinais Y, Cb e Cr. Estas memórias temporárias FIFO 112 têm, cada uma, um papel de armazenar pixéis YCbCr para uma única fileira horizontal aos pixéis para uma subsequente fileira horizontal serem emitidos a partir de única unidade de processamento demosaico 106. O tempo de armazenagem dos ditos pixéis é determinado de acordo com a velocidade de varredura de linha de um elemento de formação de imagem. Na entrada dos pixéis para duas fileiras horizontais, o primeiro filtro 110 calcula as médias dos valores de Y, Cb e Cr para quatro pixéis de dois pixéis horizontais por dois pixéis verticais. Repetindo-se este processo, o dito comprimento de uma imagem demosaicizada 1/1 torna-se 1/2 tanto vertical como horizontalmente, de tal modo que a imagem seja convertida para ter 1/4 do tamanho como um todo. Aquela imagem demosaicizada de 1/4 convertida é transmitida para a unidade de transmissão de imagem 150 e é também transferida para o segundo filtro subsequente 120.

[0025] Antes de o segundo filtro 120, uma única memória temporária FIFO 122 para pixéis h/2 é correspondentemente provida para cada um dentre sinais Y, Cb e Cr. Cada uma dessas memórias FIFO 114 também tem um papel de armazenar pixéis YCbCr para uma única fileira horizontal aos pixéis para a subsequente fileira horizontal serem emitidos pelo primeiro filtro 110. Quando da entrada dos pixéis para duas fileiras horizontais, o segundo filtro 120 calcula a média dos valores de pixel Y, Cb e Cr para os quatro pixéis de dois pixéis horizontais por dois pixéis verticais. Repetindo-se tal processo, o comprimento da imagem demosaicizada 1/4 torna-se 1/2, tanto vertical como horizontalmente, de modo a imagem ser convertida para ser 1/16 do tamanho como um todo. A imagem demosaicizada de 1/16 convertida é transmitida para aquela unidade de transmissão de imagem 150 e é também transferida para o dito subsequente terceiro filtro 130.

[0026] Em frente de cada um dentre o terceiro filtro 130 e o quarto filtro 140, as memórias FIFO 132 para pixéis h/4 e memórias temporárias 142 para pixéis h/8 são providas, respectivamente. Outro que não este, o mesmo processo que aqueles descritos acima é repetido no terceiro filtro 130 e no quarto filtro 140. As imagens demosaicizadas de 1/64 do tamanho e 1/256 o tamanho são então transmitidas para a unidade de transmissão de imagem 150. Uma vez que um filtro piramidal, tal como aqueles mostrados acima, é bem conhecido, como descrito no documento de patente No. 1, uma outra sua explicação detalhada é omitida no relatório em questão.

[0027] Como descrito, saídas de imagens reduzidas para serem 1/4, um por um, são introduzidas na unidade de transmissão de imagem 150 dos respectivos filtros da unidade de filtro piramidal 170. Como é evidente por isto, o tamanho de uma memória temporária FIFO que é necessária antes de cada filtro torna-se menor, à medida que o número de filtros passados se torna grande na unidade de filtro piramidal 170.

[0028] De acordo com uma instrução recebida do terminal hospedeiro 20, via a unidade de comunicação 108, a unidade de transmissão de imagem 150 seleciona uma imagem necessária dentre aquela imagem bruta recebida da unidade de aquisição de imagem 102, a imagem demosaicizada 1/1 recebida da unidade de demosaicização 104, e imagens demosaicizadas de 1/4 a 1/256 recebidas daquela unidade de filtro piramidal 170. A unidade de transmissão de imagem 150 compõe um pacote usando essas imagens e depois transmite o pacote para a unidade de comunicação 108.

[0029] A unidade de comunicação 108 transmite o pacote ao terminal hospedeiro 20, de acordo com, por exemplo, um protocolo predeterminado tal como USB 1.0/2.0, ou semelhante. A comunicação com o terminal hospedeiro 20 não se limita a uma comunicação com fio. Por exemplo, a comunicação pode ser uma comunicação LAN sem fio tal como IEEE 802.11a/b/g, ou comunicação semelhante ou infravermelha, tal como IrDA, ou similar.

[0030] A Fig. 3 é um diagrama que ilustra a configuração da unidade de transmissão de imagem 150 da câmera 100. A unidade de transmissão de imagem 150 compreende uma unidade de escrita de bloco 152, uma memória temporária (buffer) 154, uma unidade de leitura de bloco 156, uma unidade de codificação 158, uma unidade de empacotamento 160, uma memória temporária (buffer) de pacote 162 e uma unidade de controle 164.

[0031] Baseada na instrução do terminal hospedeiro 20, a unidade de controle 164 indica para a unidade de escrita de bloco 152 e para a unidade de leitura de bloco 156 os dados de imagem a serem transmitidos como um pacote dentre vários conjuntos de dados de imagens. Como descrito mais adiante, só uma parte da imagem bruta e das imagens demosaicizadas que foram inseridas na unidade de transmissão de imagem 150 é transmitida ao terminal hospedeiro na forma de realização.

[0032] Para a unidade de escrita de blocos 152, uma imagem bruta é inserida da unidade de aquisição de imagem 102, e imagens demosaicizadas de 1/1 a 1/256 do tamanho são inseridas via a unidade de demosaicização 104 e a unidade de filtro piramidal 170. Uma unidade de seleção de tamanho 152A da unidade de escrita de blocos 152 escreve / grava uma parte das imagens demosaicizadas na memória temporária (buffer) 154 com base numa instrução da unidade de controle 164. A unidade de escrita de blocos 152 recebe uma imagem em uma unidade de dois por dois pixéis, como mostrado na Fig. 2, e opera para escrever / gravar sequencialmente a imagem no buffer 154. Unidade 152B para selecionar um bloco a ser cortado da unidade de escrita de blocos 152 escreve / grava, em relação a uma imagem bruta, só um bloco contendo uma parte específica, indicada pela unidade de controle 164, no buffer 154. Esta parte específica é, por exemplo, uma parte para a qual é necessária uma imagem de alta qualidade e alta resolução de imagem tal como uma parte para rosto, mão ou similar de um usuário. Uma descrição adicional sobre a unidade 152B para selecionar um bloco a ser cortado será fornecida posteriormente.

[0033] A unidade de leitura de blocos 156 lê cada bloco de imagem e, em seguida, transmite o bloco de imagem para a unidade de codificação 158 na ordem de pixéis para um bloco que é preparado no buffer 154. A unidade de escrita de bloco 152 e a unidade de leitura de blocos 156 são ajustadas, de tal modo a operar de forma síncrona pela unidade de controle 164. Em outras palavras, enquanto a escrita pela unidade de escrita de blocos 152 é realizada toda vez que pixéis são emitidos a partir da unidade de aquisição de imagem 102, a unidade de demosaicização 104, e a unidade de filtro piramidal 170, a leitura pela unidade de leitura de bloco 156 é efetuada toda vez que pixéis para um bloco são acumulados no buffer 154. Tempo de sincronização é determinado de acordo com a velocidade de exposição do elemento de formação de imagem. Um único bloco é de preferência um bloco com um tamanho de oito por oito pixéis, de acordo com codificação JPEG que vem a seguir posteriormente. Na explicação abaixo, um bloco da imagem bruta é referenciado como Br, e os blocos das imagens demosaicizadas de 1/4, 1/16, 1/64 e 1/256 do tamanho são referenciados como B1, B4, B16, B64 e B256, respectivamente.

[0034] Na forma de realização, em vez de transmitir pixéis ao terminal hospedeiro, quando os pixéis para toda a imagem bruta ou para toda a imagem reduzida se tornam completas, pixéis são transmitidos em unidades de blocos. Assim, o tamanho do buffer 154 é grande o suficiente para armazenar todos os blocos de imagem para a imagem bruta e para as imagens reduzidas, no máximo, sendo suficiente. Dependendo do tipo de uma aplicação, é necessário apenas armazenar dois a três blocos de imagens. Conforme descrito, os dados a serem armazenados em memórias temporárias são reduzidos e os dados são sequencialmente empacotados toda vez que um bloco fica preparado e depois transferido. Assim, a latência associada com um processo realizado dentro da câmera é reduzida. Pixéis são emitidos sequencialmente a partir da unidade de aquisição de imagem 102 e da unidade de filtro piramidal 170 para a unidade de escrita de blocos 152 toda vez que a exposição pelo elemento de f imagem é concluída. Assim, é impossível, pelo aspecto estrutural, que um bloco de um quadro diferente seja escrito no buffer 154 ou em um bloco a ser empacotado e depois transmitido em uma ordem diferente.

[0035] A unidade 152B para selecionar um bloco a ser cortado recebe informação de posição de uma parte específica transmitida a partir do terminal hospedeiro 20 e seleciona como um bloco específico um bloco incluindo uma área que é maior do que a área que responde pela parte específica por um predeterminadonúmero de pixéis.

[0036] Unidade de codificação 158 efetua codificação de compressão bem conhecida, tal como JPEG ou similar, num bloco de imagem das imagens reduzidas que não a imagem bruta e em seguida transmite o bloco de imagens codificadas por compressão para a unidade de empacotamento 160. A unidade de empacotamento 160 empacota um bloco de imagem bruta e um bloco de imagem codificado de uma imagem reduzida na ordem de chegada à unidade de empacotamento 160 e escreve os blocos de imagem em pacote no buffer de pacote 162. A unidade de comunicação 108 transmite um pacote no buffer de pacote 162 para aquele terminal hospedeiro 20 de acordo com um protocolo de comunicação predeterminado. Outras codificações bem conhecidas, tais como LLVC, AVC, etc., podem ser usadas. No entanto, aqueles que são capazes de executar a codificação em unidades de blocos são preferidos. O tamanho de um bloco lido pela unidade de leitura de bloco 156 pode ser alterado de acordo com a codificação. Por exemplo, a leitura e a codificação podem ser realizadas usando um bloco em unidades de 256 por 256 pixéis.

[0037] Então, é dada uma explicação da ação da unidade de transmissão de imagens 150 usando a Fig. 4. Uma coluna à direita S1 mostra uma imagem bruta e imagens demosaicizadas recebidas pela unidade de escrita de blocos. Um pequeno quadrado representa um pixel. Note que um quadrado corresponde a um valor de pixel de qualquer um dentre R, G e B em uma imagem bruta e que um pixel contém todos os sinais YCbCr em uma imagem demosaicizada. A densidade de um quadrado mostra que os pixéis foram reduzidos pelo filtro piramidal. De acordo com uma instrução da unidade de controle 164, a unidade de escrita de bloco escreve / grava só algumas imagens, dentre essas imagens que foram emitidas para a mesma, no buffer. Nesse exemplo, supõe-se que uma imagem bruta e 1/16 e 1/64 de imagens demosaicizadas são selecionadas. Para a imagem bruta, apenas um bloco contendo uma parte específica é selecionado. Como resultado, uma unidade de leitura de bloco mostrada em uma coluna do meio S2 na figura lê quatro blocos de imagem bruta Br, um bloco de imagem demosaicizada 1/16 B16, e um bloco de imagem demosaicizada 1/64 B64 do buffer. Observe que, na realidade, blocos não são passados diretamente para a unidade de leitura de blocos a partir da unidade de escrita de blocos e que a unidade de leitura de blocos lê blocos em unidades de blocos após blocos de um tamanho predeterminado serem acumulados no buffer.

[0038] Em relação aos blocos que foram lidos, os blocos de imagens demosaicizadas B16 e B64 passam por um processo de codificação, e então são empacotados juntamente com os blocos de imagem bruta, como mostrado na coluna à esquerda S3 na figura.

[0039] A Fig. 5 ilustra uma configuração de uma parte de um terminal hospedeiro que seja responsável por emitir uma imagem de baixa latência na forma de realização. Essas configurações também podem ser implementadas por configurações tais como uma CPU, RAM, ROM, GPU, e um aparelho de controle de entrada e de saída em termos de hardware e por programas para fornecer várias funções tais como entrada de dados, armazenamento de dados, processamento de imagem, e renderização em termos de software. Fig. 6 ilustra blocos funcionais implementados pela cooperação desses componentes. Logo, esses blocos funcionais podem ser implementados numa variedade de formas por combinações de hardware e software.

[0040] Tal terminal hospedeiro 20 inclui uma unidade de comunicação 22, uma unidade de controle 52, uma unidade de processamento de imagem 50 e uma unidade de controle de exibição 54. Além de permitir que um sistema de operação opere a fim de controlar a operação total da unidade de processamento de imagem 50, a unidade de controle 52 efetua outro controle necessário para o terminal hospedeiro 20, por exemplo, execução de várias aplicações para um jogo, um bate-papo, etc., controle de um motorista, controle da leitura de um programa de um meio de gravação, ou semelhante. A unidade de comunicação 22 recebe vários conjuntos de dados de imagens da câmera 100 e transmite os conjuntos de dados de imagens até a unidade de processamento de imagem 50.

[0041] A unidade de processamento de imagem 50 compreende uma unidade de alocação 24, uma unidade de demosaicização de alta qualidade de imagem 28, uma unidade de processamento de alta qualidade 32, uma unidade de decodificação 34, uma unidade de ampliação 36, uma unidade de síntese de imagem 38, uma unidade de saída de imagem 40, e uma unidade de detecção de parte específica 42. Blocos de uma parte específica de uma imagem bruta e imagens reduzidas codificadas da câmera 100 são inseridas naquela unidade de alocação 24. Em seguida, de acordo com uma instrução da unidade de controle 52, a unidade de alocação 24 transmite um bloco de imagem da imagem bruta para a unidade de demosaicização de alta qualidade de imagem 28, e outros blocos de imagens para a unidade de decodificação 34.

[0042] A dita unidade de demosaicização de alta qualidade de imagem 28 realiza um processo demosaico na parte específica da imagem bruta. Nesse processo demosaico, diferente da unidade de processamento demosaico simples da câmera 100, a unidade de demosaicização de alta qualidade de imagem 28 executa um processo demosaico de alta qualidade de imagem utilizando um recurso computacional do terminal hospedeiro 20. Um algoritmo arbitrário pode ser usado que já existe ou deve ser desenvolvido no futuro para, por exemplo, usar um valor de RGB de três por três pixéis ou mais para calcular um sinal de imagem YCbCr de um pixel, modificando um coeficiente de interpolação em consideração ao grau de correlação entre pixéis em uma direção horizontal e/ou uma direção vertical, ou similar. Um tal processo demosaico é divulgado, por exemplo, na publicação do pedido de patente japonesa No. 7-236147. Uma imagem demosaicizada é transmitida para a unidade de processamento de alta qualidade 32.

[0043] A unidade de processamento de alta qualidade 32 converte ainda a imagem demosaicizada numa imagem com elevada precisão, adequada para visualização. Um processo realizado nesse estágio varia de acordo com o tipo de uma aplicação. Por exemplo, quando um rosto é mostrado numa tela grande para bate-papo por vídeo, são realizados processos apropriados tais como ajuste do tom facial, modificação da cor facial, modificação dos olhos e da boca, ou similares. Uma imagem de alta qualidade é transmitida para a unidade de síntese de imagens 38.

[0044] Por outro lado, a unidade de decodificação 34 recebe um bloco de imagem de uma imagem reduzida que não seja a imagem bruta e, a seguir, decodifica a imagem comprimida por JPEG, ou similar. Caso a compressão da imagem não seja realizada na câmera 100, a unidade de decodificação 34 não é necessária.

[0045] A unidade de detecção de parte específica 42 recebe a imagem reduzida decodificada pela unidade de decodificação 34. A seguir, de acordo com um método de detecção de imagem bem conhecido, a unidade de detecção de parte específica 42 identifica uma parte considerada a ser particularmente importante na imagem do usuário para a aplicação. Esta parte é, por exemplo, o rosto de um usuário no caso de bate-papo por vídeo, e um olho, uma boca, uma mão, uma perna, ou semelhante, no caso de uma interface de usuário. As informações de posição da parte assim especificada são retornadas para a câmera 100 através da unidade de comunicação 22. De acordo com as informações de posição, blocos de imagem bruta ao redor da parte específica são transmitidos a partir da câmera 100. Assim, o processo demosaico é realizado em apenas blocos limitados pela unidade de demosaicização de alta qualidade de imagem.

[0046] A detecção de uma parte específica é realizada, por exemplo, por um método mostrado a seguir. No caso de detecção de rosto, uma imagem é dividida em 20 por 20 blocos usando somente um sinal de brilho (Y), e uma parte que inclui uma pluralidade de blocos, nos quais o brilho é relativamente mais brilhante e é reconhecida como uma face. Como alternativa, uma imagem de referência de uma parte específica (uma face ou rosto, uma mão, etc.) pode ser armazenada em uma unidade de armazenamento de imagens de referência (não mostrada) com antecedência e uma unidade de conjugação (não mostrada) pode realizar a correspondência da imagem de referência e uma imagem de entrada para identificar uma área correspondente à face ou à mão do usuário. Após a identificação de uma área para a face, as áreas correspondentes a um olho, nariz, boca, etc., podem ser ainda identificadas na área para a face pela correspondência com imagens de referência para as respectivas partes.

[0047] A unidade de ampliação 36 recebe uma imagem reduzida (por exemplo, 1/64) que foi decodificada e amplia a imagem para um tamanho de 1/1 (mesma ampliação). Os dados da imagem ampliada são transmitidos para a unidade de síntese de imagem 38.

[0048] A unidade de síntese de imagem 38 sintetiza tanto uma imagem de baixa qualidade de um tamanho de 1/1 quanto um bloco de imagem de alta qualidade de uma parte específica. Como resultado, é criada uma imagem em que uma parte específica que é valorizada em uma aplicação tem qualidade de imagem extremamente alta e alta resolução, enquanto outras partes têm baixa qualidade e baixa resolução. A unidade de saída de imagem 40 escreve/grava uma imagem sintetizada criada num buffer de quadro (não mostrado). A unidade de controle de exibição 54 e a unidade de saída de imagem 40 criam um sinal de vídeo para exibir na tela 4 dados de imagem tirados no buffer de quadro.

[0049] Então, é dada uma explicação da ação do terminal hospedeiro 20. A unidade de alocação 24 que recebeu vários blocos de imagens da câmera 100 passa um bloco de imagem bruta para a unidade de demosaicização 28 de alta qualidade de imagem e outros blocos de imagens até a unidade de decodificação 34. Quando blocos de imagem bruta correspondendo a uma parte específica são coletados, a unidade de demosaicização 28 de alta qualidade de imagem realiza um processo demosaico de imagem de alta-qualidade, a fim de converter os blocos de imagem bruta em uma imagem colorida YCbCr. Uma imagem de parte específica de alta-qualidade é em seguida obtida realizando-se ainda um processo predeterminado pela unidade de processamento de alta qualidade 32. Por outro lado, um bloco de uma imagem reduzida atravessa um processo de decodificação na unidade de decodificação 34 e então torna-se ampliado para um tamanho de 1/1 pela unidade de ampliação 36. Em seguida, a unidade de síntese de imagem 38 emite uma imagem sintetizada onde uma parte específica da imagem reduzida que foi ampliada é substituída por uma imagem de parte específica de alta-qualidade. Utilizando-se um sinal de Y da imagem reduzida após a decodificação, a unidade de detecção de parte específica 42 detecta a parte específica. Esta informação é transmitida para a unidade de controle da câmera e usada para selecionar um bloco de imagem bruta na unidade de escrita de bloco 152. Uma série de processos descritos acima é repetido em uma base de quadro-a-quadro. Como resultado, uma imagem móvel do usuário, tendo uma parte específica de qualidade extremamente elevada, é criada.

[0050] As Figuras 6 e 7 são fluxogramas ilustrando a inteira operação do sistema de câmara de baixa latência 10 de acordo com a forma de realização. Primeiro, uma explanação é dada da operação da câmera. Quando a unidade de aquisição de imagem 102 recebe uma imagem do elemento de formação de imagem, uma imagem bruta é transmitida para a unidade de transmissão de imagem 150 e a unidade de demosaicização 104 (S10). A unidade de demosaicização 104 realiza um processo demosaico de relativamente baixa qualidade de imagem em um pixel da imagem bruta e transmite o pixel demosaicizado para a unidade de transmissão de imagem 150 e a unidade de filtro piramidal 170 (S12). Interpolação bilinear é realizada por cada um dos filtros das respectivas camadas da unidade de filtro piramidal 170 e fileiras de pixéis de tamanhos de ^ a 1/256 são emitidas para a unidade de transmissão de imagem 150 (S14).

[0051] De acordo com uma instrução da unidade de controle 164, a unidade de escrita de bloco 152 da unidade de transmissão de imagem 150 escreve uma parte de uma imagem reduzida na memória temporária 154 (S16) e, para uma imagem bruta, seleciona somente um bloco de imagem contendo uma parte específica, a fim de escrever o bloco de imagem na memória temporária 154 (S18). Toda vez que os pixéis para, p. ex., blocos oito por oito são gravados na memória temporária 154, a unidade de leitura de bloco 156 lê aqueles blocos de imagem e então transmite os blocos de imagem para a unidade de codificação 158 (S20). Após passarem por predeterminada codificação da unidade de codificação 158 (S22, os blocos de imagem são colocados em pacote e então transmitidos para o terminal hospedeiro 20 (S24).

[0052] Uma explicação é agora dada da operação do terminal hospedeiro mostrado na Fig. 7. A unidade de alocação 24 pega vários blocos de imagem de um pacote recebido da câmera e transmite os blocos de imagem para a unidade de demosaicização de alta qualidade de imagem 28 ou para a unidade de decodificação 34 (S30). Após atravessar um processo demosaico realizado na unidade de demosaicização de alta qualidade de imagem 28 (S32), um bloco de imagem bruta atravessa um predeterminado processo na unidade de processamento de alta qualidade 32 e então emite para a unidade de síntese de imagem 38 (S34). Por outro lado, um bloco de imagem reduzida é decodificado na unidade de decodificação 34 (S36) e uma parte específica é então detectada pela unidade de detecção de parte-específica 42, usando um sinal de brilho (S38). Esta informação é transmitida para a câmera 100 e usada para selecionar um bloco específico da imagem bruta (S40). A imagem reduzida após a decodificação é ampliada para um tamanho de 1/1 pela unidade de ampliação 36 e emite para a unidade de síntese de imagem 38 (S42). A unidade de síntese de imagem 38 sintetiza uma imagem de alta qualidade da parte específica e outras imagens ampliadas (S44) e a unidade de saída de imagem 40 emite uma imagem sintetizada para a memória temporária de quadro (S46).

[0053] A forma de realização é baseada no entendimento de que uma parte específica de uma imagem de usuário, tal como uma face, uma mão etc., mostrada em um visor, desejavelmente tem elevada qualidade de imagem e elevada resolução tanto quanto possível e que outros segundos planos ou similar podem ter qualidade de imagem relativamente baixa. Sem dúvida, em uma aplicação para bate-papo de vídeo ou similar, é às vezes preferido que uma imagem de segundo plano tenha baixa qualidade de imagem.

[0054] Como descrito acima, um sinal de brilho é bastante suficiente para reconhecimento de face e um processo demosaico de imagem de alta qualidade é assim não necessário. Contudo, em um sistema de câmera convencional, um processo altamente-esbanjador é realizado em que a compressão de dados de uma imagem, para a qual demosaicização de imagem de alta qualidade é realizada por uma câmera, é ainda realizado a fim de realizar reconhecimento de face usando uma imagem após descompressão. A forma de realização requer menos dados para ser esbanjada, uma vez que uma imagem após simples demosaicização é ainda reduzida e usada para o reconhecimento de face. Por outro lado, para uma área de face, uma imagem bruta pode ser recebida da câmera e demosaicização de imagem de alta qualidade pode ser realizada utilizando-se capacidade computacional do terminal hospedeiro 20. Com isto, apesar de que a quantidade de dados a ser transmitida para o terminal hospedeiro pela câmera ser pequena e de a latência ser assim pequena, a qualidade de imagem da área de face pode ser ainda melhorada em comparação com um sistema de câmera convencional.

[0055] Em um sistema de câmera convencional, não há outra escolha senão transmitir a imagem bruta diretamente ou transmitir a imagem bruta após demosaicização seguida por compressão JPEG. No primeiro caso, uma vez que a quantidade de dados é aumentada, uma banda de comunicação torna-se um gargalo, provocando latência. No último caso, uma vez que compressão de perda é realizada, a melhoria na qualidade de imagem em um estágio subsequente é limitada. Em geral, a demosaicização determina a qualidade de imagem de uma imagem. Entretanto, a capacidade computacional é usada em uma grande extensão para isso. Portanto, é vantajoso realizar demosaicização no terminal hospedeiro tendo bastantes recursos computacionais. Na forma de realização, uma vez que somente uma parte específica, tal como uma face, uma mão ou similar em uma imagem bruta, é transmitida para o terminal hospedeiro, a quantidade de dados a ser transmitida é pequena e a latência pode assim ser reduzida. Ao mesmo tempo, o grau de liberdade para melhoria da qualidade de imagem, utilizando-se a imagem bruta no terminal hospedeiro, pode ser grandemente aumentado.

[0056] A Fig. 8 é um diagrama ilustrando o resumo de um processo de imagem, quando o sistema de câmera de baixa latência 10, de acordo com a forma de realização, é aplicado a uma aplicação de bate-papo de vídeo. Neste exemplo, a câmera e um terminal hospedeiro são conectados via um USB e é presumido que um programa de aplicação está em operação, em que uma parte de face de um usuário, que está batendo-papo de vídeo, é detectada e então a imagem é transmitida, tendo elevada qualidade de imagem e imagem de alta-resolução para a parte de face, para um terminal hospedeiro de uma destinação de bate-papo.

[0057] Neste pedido, é presumido que a câmera 100 é instruída pelo terminal hospedeiro 20 a transmitir somente uma imagem bruta e uma imagem 1/16 reduzida. O bloco de imagem 1/16 reduzida B16 é selecionado pela unidade de seleção de tamanho 152A (S50) e codificada pela unidade de codificação 158 (S52). Para a imagem bruta, a unidade de escrita de bloco 152 recebe informação de posição de uma parte específica do terminal hospedeiro (S54) e a unidade 152B para selecionar um bloco a ser recortado seleciona uma faixa E como um bloco de parte específica e emite o bloco de parte específica (S56), a faixa E sendo obtida expandindo-se vertical e horizontalmente uma área D especificada pela informação de posição de um resultado de reconhecimento de face por um predeterminado pixel. Isto ocorre porque, enquanto somente uma parte de cor-de-pele é reconhecida no reconhecimento de face, uma imagem da inteira parte de cabeça é necessária para bate-papo. Esta faixa é preferivelmente estabelecida de modo que a faixa caia em linha com o limite de blocos. A parte de bloco de parte específica da imagem bruta e bloco de imagem reduzida assim obtidas são colocadas em pacote e transmitidas para o terminal hospedeiro 20 (S58).

[0058] No terminal hospedeiro 20, o bloco de parte específica da imagem bruta atravessa um processo de demosaicização e um processo de alta-qualidade (S62) e é emitido como uma imagem de alta qualidade (S64). A imagem reduzida sofre um processo de decodificação (S66) e é ainda ampliada para um tamanho 1/1 (S68). A síntese de imagem para substituir uma parte correspondendo à cabeça do usuário na imagem ampliada com uma imagem de alta qualidade é realizada (S70) e uma imagem sintetizada é emitida. Ao mesmo tempo, um sinal Y da imagem reduzida é usado para a detecção de face (S72) e a informação de posição de uma face detectada é realimentada para a câmera 100 (S74) e usada para selecionar um bloco de parte específica.

[0059] Um processo para o reconhecimento de face pode ser realizado por todo o tempo durante o bate-papo de vídeo. Entretanto, na prática, é suficiente realizar o processo para cada pluralidade de quadros com um intervalo de tempo predeterminado (p. ex., cada um segundo). Isto ocorre porque 60 quadros ou mais são normalmente emitidos por segundo para uma imagem móvel, de modo que a cabeça do usuário não se mova muito entre quadros.

[0060] Como no exemplo, uma imagem de face é mais importante no caso de uma aplicação para bate-papo de vídeo e o grau de importância é baixo para outras partes corporais, um segundo plano e similares. Portanto, uma imagem de face de imagem de alta qualidade e elevada definição pode ser obtida cortando-se somente um bloco correspondendo a uma parte de face da imagem bruta e então realizando-se um processo demosaico e um processo de alta-definição, que usa o bloco cortado, utilizando-se suficiente recursos computacionais do terminal hospedeiro. Ao mesmo tempo, utilizando-se uma imagem comprimida para outras partes que não uma face, o tráfego entre a câmera e o terminal hospedeiro pode ser reduzido e a latência pode assim ser reduzida.

[0061] Como explicado acima, de acordo com a presente forma de realização, uma imagem bruta é recebida de uma câmera e um processo demosaico de imagem de alta qualidade é realizado em um terminal hospedeiro para uma parte necessária para ter imagem de alta qualidade e alta resolução. Para outras partes que possam ter imagem de alta qualidade e baixa resolução, uma imagem reduzida é recebida da câmera e ampliada para uso. Como resultado, a latência devido aos processos realizados dentro da câmera e na comunicação entre a câmera e o terminal hospedeiro pode ser suprimida enquanto assegurando parcialmente uma imagem de alta qualidade de imagem. Portanto, uma resposta que é mais rápida do que antes pode ser realizada em uma aplicação de uma interface de usuário. Portanto, há uma possibilidade de que, por exemplo, o movimento do cursor, operação de dial, operação de reprodutor de jogo ou similar pode ser conseguida em uma tela baseada em reconhecimento de imagem de gesto de usuário com alta responsividade. Também, uma imagem com movimento suave e menos latência pode ser provida em uma aplicação para bate-papo de vídeo. Como descrito, somente dados de imagem que satisfaçam as necessidades para cada aplicação podem ser selecionadas e transmitidas.

[0062] Recentemente, o número de pixéis tem aumentado mesmo em webcams baratas e a velocidade de varredura tem também aumentado utilizando-se CMOS como um elemento de formação de imagem. A fim de transmitir uma imagem de grande tamanho, elevada compressão deve ser realizada em uma câmera. Entretanto, isso aumentará o tempo de processamento da câmera. Portanto, a latência associada com os processos realizados dentro da câmera e comunicação tornou-se mais evidente que antes. Em outras palavras, embora a capacidade do elemento de formação de imagem e a capacidade do terminal hospedeiro ter sido melhorada, o que fica no meio das duas torna-se um gargalo e não se pode aproveitar sua capacidade totalmente. Entretanto, se um terminal hospedeiro tendo elevado desempenho de computação pode ser preparado, é mais vantajoso receber uma imagem bruta que não foi processada por uma câmera, uma vez que não há deterioração de qualidade de imagem, assim permitindo, p. ex., pós processamento do equilíbrio branco e exposição.

[0063] Na forma de realização, demosaicização na câmera é simplificada a fim de reduzir a latência e, para uma parte que necessita ter alta qualidade de imagem e elevada resolução para um processo de reconhecimento ou similar, a imagem bruta é diretamente recebida da câmera, a fim de realizar a demosaicização em um terminal hospedeiro tendo elevado desempenho de computação. Portanto, o desempenho do elemento de formação de imagem pode ser totalmente aproveitado, enquanto reduzindo a latência.

[0064] Além disso, as imagens reduzidas hierarquizadas por um filtro piramidal são preparadas todas as vezes na câmera. Assim, o terminal hospedeiro pode solicitar uma imagem reduzida de um tamanho necessário para uma aplicação que está sendo realizada a qualquer tempo. Por exemplo, se o usuário permanecer estacionário, uma parte específica de uma imagem bruta apenas necessita ser fixada a partir do início e usada todas as vezes. Entretanto, uma tal situação é menos provável de acontecer na realidade. Na forma de realização, uma parte específica de uma imagem bruta pode ser recebida e o movimento do usuário pode ser rastreado utilizando-se imagens reduzidas todas as vezes, a fim de detectar o movimento de uma parte da face ou mão. Assim sendo, um bloco de imagem bruta a ser solicitado pode ser apropriadamente mudado de acordo com o movimento. Com referência ao tamanho de uma imagem reduzida a ser requerido, uma imagem reduzida de um tamanho ótimo pode ser selecionada de acordo com o tamanho de uma face ou mão do usuário a ser detectado, o número de usuários, do tamanho do movimento do usuário, etc.

[0065] Também, o tamanho de uma memória temporária necessária para um processo de imagem é permitido ser pequeno na unidade de escrita de bloco e na unidade de leitura de bloco. Isto é porque, enquanto a unidade de escrita de bloco escreve nos pixéis de memória temporária da simples unidade de demosaicização ou da unidade de filtro piramidal toda vez que a varredura de imagem é realizada para uma fileira pelo elemento de formação de imagem, a unidade de leitura de bloco lê os pixéis para um bloco da memória temporária toda vez que os pixéis para um bloco são armazenados e transmite um pacote.

[0066] Também em um dispositivo de processamento de imagem de acordo com a forma de realização, não é necessário prover um dispositivo de reconhecimento ou similar na câmera como em um dispositivo convencional, assim permitindo que o hardware seja pequeno. Um sistema de câmera com baixa latência pode ser estabelecido somente adicionando-se uma unidade de filtro piramidal e uma unidade de transmissão de imagem para uma existente câmera de vídeo digital.

[0067] É descrita acima uma explanação da presente invenção à base na forma de realização. A forma de realização é destinada a ser ilustrativa somente e será óbvio para aqueles hábeis na técnica que várias modificações nos elementos e processos constituintes poderem ser desenvolvidas e que tais modificações estão também dentro do escopo da presente invenção.

[0068] Combinações opcionais dos elementos constituintes descritos nas formas de realização e implementações da invenção na forma de métodos, aparelhos, sistemas, programas de computador e meios de gravação podem também ser praticadas como modos adicionais da presente invenção. Além dos processos realizados em sua ordem e na ordem cronológica, o método descrito como um fluxograma na especificação assunto inclui processos realizados em paralelo ou individualmente.

[0069] Na forma de realização, um bloco específico é selecionado somente para uma imagem bruta. Entretanto, um bloco específico pode ser selecionado para outras imagens demosaicizadas. Por exemplo, quando detectando gesto de uma mão, uma parte de mão é determinada ser uma parte específica com referência a uma face de usuário e uma imagem demosaico de uma área de mão é transmitida para um terminal hospedeiro. Quando o movimento do usuário é grande, o movimento pode ser rastreado utilizando- se uma imagem grosseira, isto é, uma imagem demosaico de um pequeno tamanho. Quando o movimento do usuário é pequeno, uma imagem fina, isto é, uma imagem demosaico de um grande tamanho é usada. Como descrito, uma vez que os dados de imagem hierarquizada são preparados por um filtro piramidal todas as vezes na câmera, uma imagem requerida pode ser apropriadamente mudada de acordo com a velocidade e tamanho do movimento do usuário. Similarmente, mesmo quando o número de usuários é aumentado para dois, um bloco de imagem bruta pode ser prontamente selecionado novamente, uma vez que uma inteira imagem está sendo monitorada. Além disso, o processamento de uma parte específica usando uma imagem bruta permite a detecção de um pequeno movimento, tal como um movimento de uma ponte de dedo, que é extremamente difícil no reconhecimento com uso de uma câmera convencional.

[0070] Na forma de realização, é descrito que um processo demosaico na câmera seja simplificado, em comparação com o do terminal hospedeiro. Entretanto, se um efeito de latência, associado com um processo demosaico, for relativamente pequeno, um processo demosaico tendo desempenho equivalente como o terminal hospedeiro pode ser realizado. Em outras palavras, contanto que um processo demosaico seja realizado de acordo com um algoritmo que é diferente na câmera e no terminal hospedeiro, o tipo de algoritmo para um processo demosaico não é limitado na presente invenção. Com isto, dois tipos de imagens demosaico podem ser tratados no terminal hospedeiro e o grau de liberdade é aumentado para compor uma imagem sintetizada a ser emitida para um visor.

[0071] Na forma de realização, é descrito que uma inteira imagem reduzida é transmitida da câmera para operar a comutação. Alternativamente, somente uma parte de uma imagem reduzida pode ser transmitida. Por exemplo, somente um sinal Y de uma imagem reduzida de 1/16 e um sinal CbCr de uma imagem reduzida de 1/64 podem ser transmitidas em consideração das propriedades de JPEG.

[0072] Na forma de realização, um computador pessoal ou um consolo de jogo é mostrado como um terminal hospedeiro. Alternativamente, um terminal hospedeiro pode ser um computador laptop, um dispositivo de jogar portátil ou similares. Neste caso, uma câmera é preferivelmente montada ou incorporada no topo de um visor.

[0073] Na forma de realização, é descrito que a detecção de uma face de usuário, mão etc. é realizada no terminal hospedeiro. Alternativamente, a detecção pode ser realizada na câmera. Por exemplo, é considerado que a latência a ser aumentada é relativamente pequena para um processo de reconhecimento que usa um sinal brilhoso, tal como reconhecimento de face. Neste caso, um bloco de uma imagem bruta correspondendo a uma face pode ser selecionado na câmera e então transmitido para o terminal hospedeiro sem esperar uma instrução do terminal hospedeiro.

[0074] Uma explanação é dada como uma aplicação para quando o gesto de usuário é usado em uma interface e para quando bate-papo de vídeo é realizado. A presente invenção pode ser aplicada, com necessárias modificações, em uma aplicação arbitrária em que uma parte de um corpo ou gesto de um usuário é recebido com reconhecimento servindo como uma aplicação de entrada e arbitrária, em que a imagem do usuário é usada. DESCRIÇÃO DOS NUMERAIS DE REFERÊNCIA 4 visor 6 usuário 10 sistema de câmera de baixa latência 20 terminal hospedeiro 22 unidade de comunicação 24 unidade de alocação 28 unidade de demosaicização de imagem de alta qualidade 32 unidade de processamento de alta qualidade 34 unidade de decodificação 36 unidade de ampliação 38 unidade de síntese de imagem 40 unidade de saída de imagem 42 unidade de detecção de parte específica 50 unidade de processamento de imagem 52 unidade de controle 54 unidade de controle de exibição 100 câmera 102 unidade de aquisição de imagem 104 unidade de demosaicização 106 unidade de processamento demosaico simples 108 unidade de codificação 110 primeiro filtro 120 segundo filtro 130 terceiro filtro 140 quarto filtro 150 unidade de transmissão de imagem 152 unidade de escrita de bloco 154 memória temporária 156 unidade de leitura de bloco 158 unidade de codificação 160 unidade de formação de pacote 162 memória temporária de pacote 164 unidade de controle 170 unidade de filtro piramidal

APLICABILIDADE INDUSTRIAL

[0075] De acordo com a presente invenção, uma imagem parcial de alta resolução, utilizando uma imagem bruta, pode ser obtida para uma parte específica, enquanto reduzindo-se a latência associada com a comunicação de imagem de um dispositivo de captura de imagem para um terminal hospedeiro.

Claims (13)

1. Meio legível por computador, não-transitório, caracterizado por ter nele embutido instruções legíveis por computador que, quando lidas no computador, fazem com que o mesmo opere num dispositivo de processamento de imagem móvel (102, 104, 170, 150, 108), permitindo que tal dispositivo de processamento de imagem móvel alcance: um módulo de aquisição de imagem configurado para adquirir uma imagem bruta que é capturada usando um elemento de formação de imagem; um módulo de demosaicização configurado para realizar um processo demosaico na imagem bruta para produzir uma imagem demosaicizada; um módulo de filtragem configurado para converter a imagem demosaicizada numa pluralidade de imagens reduzidas, cujas resoluções variam em estágios; um módulo de seleção configurado para selecionar uma parte da imagem bruta como uma parte específica, aquela parte específica sendo uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária, e também para selecionar uma ou mais da pluralidade de imagens reduzidas como uma imagem reduzida especificada; e um módulo de transmissão configurado para transmitir para um terminal hospedeiro (20), para o processamento de imagem adicional, a parte específica da imagem bruta e a imagem reduzida especificada que foram selecionadas.

2. Meio legível por computador de acordo com a reivindicação 1, caracterizadopelo fato de que o módulo de seleção seleciona, de acordo com uma instrução provida pelo terminal hospedeiro (20), aquela imagem reduzida especificada como uma imagem de segundo plano a ser combinada com aquela parte específica.

3. Meio legível por computador de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que o módulo de seleção inclui: um módulo de escrita configurado para selecionar e escrever em uma memória temporária (154) um valor de pixel correspondendo àquela parte específica, toda vez que um valor de pixel da imagem bruta é emitido a partir do elemento de formação de imagem e para selecionar e escrever na referida memória temporária um valor de pixel correspondendo àquela imagem reduzida especificada, toda vez que um valor de pixel de uma imagem reduzida que é convertida pelo módulo de filtragem é recebido; e um módulo de leitura configurado para ler um valor de pixel da memória temporária, toda vez que o valor de pixel armazenado na dita memória temporária alcançar aquele para um tamanho predeterminado de um bloco de imagem.

4. Meio legível por computador, não-transitório, caracterizado por ter nele embutido instruções legíveis por computador que, quando lidas no computador, fazem com que o mesmo opere num terminal hospedeiro (20) que processa uma imagem móvel que é capturada por um dispositivo de captura de imagem (100), e, a seguir, emite a imagem móvel processada para um visor (4), permitindo que o terminal hospedeiro alcance: um módulo configurado para receber tanto uma parte específica que é uma parte de uma imagem bruta emitida a partir de um elemento de formação de imagem, quanto uma imagem reduzida obtida realizando-se um processo demosaico e um processo de redução na imagem bruta, em que a parte específica é uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária; um módulo configurado para realizar o processo demosaico na parte específica da imagem bruta; um módulo configurado para converter a imagem reduzida numa imagem de tamanho total ampliando-se a imagem reduzida a um tamanho igual àquele da imagem bruta; e um módulo configurado para combinar a parte específica onde o processo demosaico foi realizado e a imagem de tamanho total, de modo a emitir uma imagem sintetizada com resoluções parcialmente diferentes para o visor (4).

5. Meio legível por computador de acordo com a reivindicação 4, caracterizado pelo fato de que compreende ainda um módulo de detecção de parte específica configurado para detectar, usando a imagem reduzida, uma parte específica a ser estabelecida para ter alta qualidade de imagem numa imagem.

6. Meio legível por computador de acordo com a reivindicação 4 ou 5, caracterizado pelo fato de que um usuário (6) usando uma aplicação que utilize o terminal hospedeiro (20) é para ser capturado pelo dispositivo de captura de imagem, e em que a parte específica é uma parte do corpo do usuário quem provê uma instrução de operação para a aplicação.

7. Método de processamento de imagem móvel, caracterizado pelo fato de compreender: adquirir e armazenar em uma memória temporária (154) uma imagem bruta que é capturada usando um elemento de formação de imagem; realizar um processo demosaico na imagem bruta para produzir uma imagem demosaicizada; converter, usando um filtro piramidal, a imagem demosaicizada numa pluralidade de imagens reduzidas, cujas resoluções variam em estágios; selecionar uma parte da imagem bruta como uma parte específica, a parte específica sendo uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária, e também selecionar uma ou mais dentre a pluralidade de imagens reduzidas como uma imagem reduzida especificada; transmitir para um terminal hospedeiro (20), para processamento de imagem adicional, a parte específica da imagem bruta e a imagem reduzida especificada que foram selecionadas.

8. Método de processamento de imagem móvel, para processar em um terminal hospedeiro (20) uma imagem móvel que é capturada por um dispositivo de captura de imagem (100), e, em seguida, emitir a imagem móvel processada para um visor (4), caracterizadopelo fato de compreender: receber ambas, uma parte específica que é uma parte de uma imagem bruta emitida por um elemento de formação de imagem e uma imagem reduzida obtida realizando-se um processo demosaico e um processo de redução na imagem bruta, em que a parte específica é uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária; realizar o processo demosaico na parte específica da imagem bruta; converter a imagem reduzida numa imagem de tamanho total ampliando-se a imagem reduzida a um tamanho igual àquele da imagem bruta; e combinar a parte específica, na qual o processo demosaico foi realizado, e a imagem de tamanho total, de tal maneira a emitir uma imagem sintetizada com resoluções parcialmente diferentes para o visor (4).

9. Dispositivo de processamento de imagem móvel (102, 104, 170, 150, 108), caracterizadopelo fato de compreender: uma unidade de aquisição de imagem (102) configurada para adquirir uma imagem bruta que é capturada usando um elemento de formação de imagem; uma unidade de processamento demosaico (104) configurada para realizar um processo demosaico na imagem bruta para produzir uma imagem demosaicizada; uma unidade de filtragem (170) configurada para converter dita imagem demosaicizada numa pluralidade de imagens reduzidas, cujas resoluções variam em estágios; uma unidade de seleção (150) configurada para selecionar uma parte da imagem bruta como uma parte específica, a parte específica sendo uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária, e também para selecionar uma ou mais da pluralidade de imagens reduzidas como uma imagem reduzida especificada; uma unidade de transmissão (108) configurada para transmitir para um terminal hospedeiro (20), para o processamento de imagem adicional, a parte específica da imagem bruta e a imagem reduzida especificada que foram selecionadas.

10. Terminal hospedeiro (20) para exibir uma imagem móvel, capturada por um dispositivo de captura de imagem (100) em um visor (4), caracterizado pelo fato de compreender: uma unidade de recepção (22) configurada para receber a partir do dispositivo de captura de imagem (100) tanto uma parte específica que é uma parte de uma imagem bruta capturada usando um elemento de formação de imagem, como uma imagem reduzida que é obtida realizando-se um processo demosaico e um processo de redução na imagem bruta, em que aquela parte específica é uma parte da imagem bruta para a qual uma imagem de alta qualidade é necessária; uma unidade de demosaicização (28) configurada para realizar o processo demosaico na parte específica da imagem bruta; uma unidade de ampliação (36) configurada para emitir a imagem reduzida como uma imagem de tamanho total ampliando-se a imagem reduzida para um tamanho igual àquele da imagem bruta; e uma unidade de síntese de imagem (38) sendo configurada para combinar aquela parte específica na qual o processo demosaico foi realizado e aquela imagem de tamanho total, de maneira a emitir uma imagem sintetizada com resoluções parcialmente diferentes para o visor (4).

11. Dispositivo de captura de imagem (100), caracterizado pelo fato de que é provido com o dispositivo de processamento de imagem móvel como definido na reivindicação 9.

12. Sistema de captura de imagem (10) para processar no terminal hospedeiro (20) como definido na reivindicação 10 uma imagem móvel capturada pelo dispositivo de captura de imagem (100) como definido na reivindicação 11, e, em seguida, emitir a imagem móvel processada para um visor (4), sistema esse sendo caracterizado pelo fato de que: a unidade de processamento demosaico (104) do dispositivo de captura de imagem (100) é uma primeira unidade de processamento demosaico (104), e a unidade de demosaicização (28) do terminal hospedeiro (20) é uma segunda unidade de processamento demosaico (28).

13. Sistema de captura de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que a capacidade de processamento da primeira unidade de processamento demosaico (104) do dispositivo de captura de imagem (100) é menor do que aquela da segunda unidade de processamento demosaico (28) do terminal hospedeiro (20).

Images