BRPI0807679A2

BRPI0807679A2 - Dispositivo e método de processamento de imagem

Info

Publication number: BRPI0807679A2
Application number: BRPI0807679-0A
Authority: BR
Inventors: Masamichi Asukai; Masaaki Tsuruta; Taiji Ito; Yoichiro Sako
Original assignee: Sony Corp
Priority date: 2007-02-15
Filing date: 2008-01-10
Publication date: 2014-05-27
Also published as: CN101617339A; JP2008198062A; US8482651B2; WO2008099627A1; KR101401855B1; US20100066840A1; KR20090113289A; EP2124186A1; JP4853320B2; EP2124186A4; CN101617339B

Abstract

MÉTODO PARA A PREPARAÇÃO DE UM COMPOSTO DERIVADO DE TRIFENILBUTENO. A presente invenção relaciona-se com um método para a preparação de derivado de trifenilbuteno terapeuticamente valioso, especialmente ospemifeno ou fispemifeno, da fórmula (I).

Description

“DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM” Campo Técnico

A presente invenção se refere a um dispositivo de processamento da imagem e um método de processamento de imagem que efetua processamento de síntese em itens de dados da imagem capturados. Fundamentos Da Invenção

Em JP-A-2004-134950, uma tecnologia para sintetizar uma imagem bruta, que é produzida de acordo com uns gráficos de computador, com uma imagem capturada por uma câmera é divulgada.

Em geral, quando um usuário efetua formação de imagem de câmera, uma pessoa que é um tópico pode fechar seus olhos em um tempo de abertura do obturador ou pode endurecer sua expressão facial. A imagem capturada pode não ser preferível. Em particular, quando uma fotografia de grupo é tirada, a imagem capturada pode frequentemente ser tal que algumas das pessoas que são tópicos fecham seus olhos.

De modo a fotografar uma pessoa com uma expressão suave em consideração de piscadas ou uma mudança na expressão, um lado do dispositivo de formação de imagem dispositivo pode provavelmente efetuar, por exemplo, detecção de sorriso ou detecção de piscada na pessoa que é um tópico. Isto é, tal que o lado do dispositivo de formação de imagem analisa uma imagem facial representada pelos dados da imagem capturada em um estado de monitoração precedendo um tempo de abertura do obturador, e estende o controle tal que o obturador será liberado no instante que a pessoa sorri, ou tal que o dispositivo de formação de imagem estende o controle para evitar que obturador possa ser aberto enquanto a pessoa pisca ou em qualquer caso feche seus olhos. De acordo com esta tecnologia, nenhum problema presumivelmente ocorre enquanto há um tópico ou pessoa. Contudo, quando uma fotografia de grupo é tirada de numerosas pessoas, um evento no qual o obturador não é aberto imediatamente pode acontecer. Em adição, já que uma pessoa ou uma entidade outra do que uma pessoa ou entidade pretendida que é um tópico pode ser fotografada, um nível de satisfação com uma imagem pode ser reduzido. Uma imagem pode ser parcialmente bastante escura ou bastante brilhosa por causa da relação de uma luz e uma escuridão causada pelo brilho do sol e iluminação.

Como mencionado acima, normalmente, quando formação de imagem é efetuada, a imagem resultante é freqüentemente insatisfatória para uma pessoa fotografada. A presente invenção é pretendida para tomar possível prontamente produzir uma imagem capturada cujo nível de satisfação seja alto.

Divulgação da invenção

Um dispositivo de processamento de imagem da presente invenção incluem: uns meios de aquisição que adquirem itens de dados da imagem capturada de múltiplos quadros, que são capturados em momentos diferentes, como itens de dados da imagem capturada a serem usados para processamento de síntese; uns meios de síntese de imagem que designam uma área objeto de síntese em um determinado quadro fora dos múltiplos quadros adquiridos pelos meios de aquisição, e produz dados de imagem sintéticos efetuando processamento de síntese para substituir dados de pixel na área objeto de síntese com dados pixel em um outro quadro dos múltiplos quadros; e uns meios de processamento de preservação que efetuam processamento de preservação nos dados de imagem sintéticos produzidos pelos meios de síntese de imagem.

Os meios de aquisição incluem uma unidade de formação de imagem que captura uma imagem. Através da formação de imagem pela unidade de formação de imagem, os meios de aquisição adquirem dados da imagem capturada de pelo menos, um quadro incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese, ou itens de dados da imagem capturada de múltiplos quadros a serem usados para o processamento de síntese. Uma unidade de formação de imagem é formada usando um sensor de CCD ou um sensor de CMOS como um sensor de imagem.

Os meios de aquisição incluem uma unidade de comunicação que se comunica com equipamento externo. Através de comunicação com o equipamento externo através da unidade de comunicação, os meios de aquisição recebem e adquirem os dados da imagem capturada de pelo menos, um quadro incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese.

Uma unidade de aquisição inclui uma unidade de reprodução que reproduz informação de um meio de gravação portátil. Através da reprodução a partir do meio de gravação portátil pela unidade de reprodução, os meios de aquisição adquirem dados da imagem capturada de pelo menos, um quadro incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese.

Os meios de processamento de preservação incluem uma unidade de gravação que grava informação em um meio de gravação, e grava como o processamento de preservação, os dados de imagem sintéticos no meio de gravação.

Os meios de processamento de preservação incluem uma unidade de comunicação que se comunica com equipamento externo, e transmite como o processamento de preservação os dados de imagem sintéticos para o equipamento externo.

Os meios de síntese de imagem designam a área objeto de síntese através de processamento de análise de imagem. Em particular, os meios de síntese de imagem discriminam todas ou parte da abertura ou fechamento dos olhos em uma imagem facial de uma pessoa aparecendo em uma imagem de quadro, a expressão facial, a direção da face, e a cor das retinas, e designam uma área objeto de síntese nas bases do resultado da discriminação. Uns meios de entrada de operação são ainda incluídos. Os meios de síntese de imagem designam a área objeto de síntese de acordo com uma entrada enviada proveniente dos meios de entrada de operação.

Os meios de síntese de imagem efetuam processamento de análise de imagem em cada um dos múltiplos quadros a fim de selecionar um quadro servindo como um outro quadro, e extraem dados de pixel, que são sintetizados com a área objeto de síntese, a partir do quadro selecionado.

Os meios de síntese de imagem selecionam um quadro servindo como um outro quadro dentre os múltiplos quadros de acordo com uma entrada enviada proveniente dos meios de entrada de operação, e extraem dados de pixel dados, que são sintetizados com a área objeto de síntese, a partir do quadro selecionado.

Uns meios de saída de imagem que efetuam processamento de saída nos dados de imagem sintéticos são ainda incluídos.

Os meios de saída de imagem incluem uma unidade de exibição; e efetuam como processamento de saída, exibição ou emissão dos dados de imagem sintéticos na ou para a unidade de exibição.

Os meios de saída de imagem incluem uma unidade de comunicação que se comunica com equipamento externo, e usa uma unidade de comunicação para efetuar como o processamento de saída, transmissão ou emissão dos dados de imagem sintéticos para o equipamento externo.

Os meios de saída de imagem incluem uma unidade de gravação que grava informação em um meio de gravação portátil, e usa a unidade de gravação para gravar como o processamento de saída, os dados de imagem sintéticos no meio de gravação portátil.

Um método de processamento de imagem da presente invenção inclui: um passo de aquisição de itens de dados da imagem capturada de múltiplos quadros, que são capturados em diferentes momentos, como itens de dados da imagem capturada a serem usados para processamento de síntese; um passo de designação de uma área objeto de síntese em um determinado quadro dos múltiplos quadros adquiridos, e produção de dados de imagem sintéticos efetuando o processamento de síntese para substituir os dados de dados de pixel na área objeto de análise com dados de pixel em um outro quadro dos múltiplos quadros; e

um passo para efetuar processamento de preservação nos dados de imagem sintéticos produzidos.

Na presente invenção mencionada acima, itens de dados da imagem capturada de múltiplos quadros capturados em diferentes momentos são adquiridos entrando itens de dados de imagem que são, por exemplo, capturados ou capturados através de um dispositivo de formação de imagem externo. O que são referenciados como os itens de dados da imagem capturada de múltiplos quadros capturados em diferentes momentos são imagens de quadros sucessivos, por exemplo, quadros de uma figura em movimento, ou imagens de quadros capturados em intervalos de várias centenas de milisegundos, um segundo, ou vários segundos. Naturalmente, imagens de múltiplos quadros capturados em intervalos de um tempo maior (por exemplo, vários minutos, várias horas, um dia, ou um ano) serão realizadas.

Quando as imagens de múltiplos quadros são adquiridas, processamento de síntese é efetuado considerando uma imagem de um determinado quadro como uma referência (daqui em diante, uma imagem a ser considerada como uma referência será chamada de uma imagem básica de síntese),e usando uma imagem de um outro quadro. Especificamente, uma área objeto de síntese é designado em uma imagem de quadro considerada como a imagem básica de síntese, e processamento para substituir dados de pixel em uma área objeto de síntese com dados de pixel em um outro quadro é realizado. Por exemplo, assumindo que uma pessoa cujos olhos são fechados aparecem em uma imagem básica de síntese, isto é um imagem de grupo fotografada, a parte da face da pessoa será considerada como uma área objeto de síntese. Uma imagem na qual a pessoa abre seus olhos é pesquisada em um outro quadro. Dados de pixel da parte facial da imagem mostrando a face cujos olhos estão abertos, são extraídos e sintetizados com a imagem básica de síntese. Efetuando este processamento, uma fotografia de grupo na qual todas as pessoas abrem seus olhos pode ser prontamente produzida.

De acordo com a presente invenção, quando processamento de síntese para substituir uma área objeto de síntese, que é parte de uma imagem, com dados de pixel em uma imagem de um outro quadro é efetuado, uma imagem capturada, cujo nível de satisfação do usuário é alto, pode ser prontamente produzida.

Descrição Breve dos Desenhos

[Fig.l] Fig.l inclui diagramas explicativos de exemplos da aparência de um dispositivo de formação de imagem de uma modalidade da presente invenção.

[Fig.2] Fig.2 é um diagrama em bloco do dispositivo de formação de imagem da modalidade.

[Fig.3] Fig.3 inclui diagramas explicativos das formas de uso do dispositivo de formação de imagem da modalidade.

[Fig.4] Fig.4 incluem diagramas explicativos de uma imagem sintética da modalidade.

[Fig.5] Fig.5 incluem diagramas explicativos de imagens de quadro a serem usados para síntese da modalidade.

[Fig.6] Fig.6 incluem diagramas explicativos de estados preservados de itens de dados da imagem capturada e itens de dados de imagem sintéticos da modalidade.

[Fig.7] Fig.7 inclui diagramas explicativos de imagem sintética da modalidade.

[Fig.8] Fig.8 inclui diagramas explicativos de imagem sintética da modalidade.

[Fig.9] Fig.7 inclui diagramas explicativos de imagem sintética da modalidade.

[Fig.10] Fig.10 inclui diagramas explicativos de imagem sintética da modalidade.

[Fig.ll] Fig. 11 é um fluxograma de processamento a ser efetuado por um controlador de sistema da modalidade.

[Fig.12] Fig. 12 é um fluxograma de processamento de

síntese a ser efetuado por uma unidade de análises / sínteses de imagem da modalidade.

[Fig. 13] Fig. 13 inclui diagramas explicativos relativos a designação de uma área objeto de síntese da modalidade.

[Fig. 14] Fig. 14 é um diagrama explicativo relativos a

designação de uma área objeto de síntese da modalidade.

[Fig. 15] Fig. 15 inclui diagramas explicativos relativos a um método de designação manual para uma área objeto de síntese da modalidade

[Fig. 16] Fig. 16 inclui diagramas explicativos relativos ao método de designação manual para uma área objeto de síntese da modalidade.

[Fig. 17] Fig. 17 inclui diagramas explicativos relativos ao método de designação manual para uma área objeto de síntese da modalidade.

[Fig. 18] Fig. 18 inclui diagramas explicativos relativos ao método de designação manual para uma área objeto de síntese da modalidade. [Fig. 19] Fig. 19 inclui diagramas explicativos relativos a um

exemplo de processamento a ser efetuado em uma área de fronteira durante síntese da modalidade.

[Fig.20] Fig. 20 é um diagrama explicativo de recursos constituintes da presente invenção. Melhor modo para realizar a Invenção Agora, uma modalidade de um dispositivo de processamento de imagem e um método de processamento de imagem da presente invenção serão descritos abaixo. Uma descrição será feita tomando um dispositivo de formação de imagem como um exemplo do dispositivo de processamento de imagem. O dispositivo de processamento de imagem da presente invenção pode ser implementado em qualquer equipamento outro do que o dispositivo de formação de imagem como descrito mais tarde como variantes e exemplos estendidos.

Uma descrição será feita na ordem apresentada abaixo.

1. Exemplos da aparência de um dispositivo de formação de

imagem

2. Exemplo da constituição do dispositivo de formação de

imagem

3. síntese e preservação de imagem

4. Processamento de síntese de imagem

5. Vantagem da modalidade, variantes e exemplos estendidos.

1. Exemplos da aparência de um dispositivo de formação de imagem

Como um dispositivo de formação de imagem 1 de uma modalidade, várias formas são presumíveis. Seções (a), (b), (c), e (d) da Fig. 1 mostram exemplos da aparência do dispositivo de formação de imagem 1.

Seção (a) da Fig. 1 mostra um dispositivo de formação de imagem 1 formado como uma câmera de exibição tipo óculos. O dispositivo de formação de imagem 1 inclui uma unidade de montagem estruturada como um quadro que envolve pela metade a cabeça enquanto cobrindo ambas a parte temporal e a parte occipital, e que é, como ilustrado, pendurado em ambos os ouvidos e assim sendo usado por um usuário.

O dispositivo de formação de imagem 1 tem uma lente de captura 3 a direcionada para frente tal que uma lente de captura vai fotografar uma direção de um campo de visão de usuário como uma direção do tópico com o dispositivo de formação de imagem usado por um usuário.

Em um estado de uso parecido com o um ilustrado, um par de painéis de exibição 2a, 2a para o olho esquerdo e o olho direito respectivamente é disposto nas posições imediatamente à frente dos olhos de usuário, isto é, nas posições em que as lentes de óculos simples são localizadas. Como os painéis de exibição 2a, por exemplo, um painel de cristal líquido é adotado. Controlando a capacidade de transmissão, um estado de ver através parecido com o um ilustrado. Isto é, um estado transparente ou um estado translúcido pode ser obtido. Quando os painéis de exibição 2a são trazidos para o estado de ver através, mesmo se o usuário usa o dispositivo de formação de imagem como óculos todo o tempo,, uma vida cotidiana não será dificultada.

Aparte da constituição tendo o par de painéis de exibição 2a associado com os olhos, uma constituição tendo um painel de exibição 1 associado com um dos olhos é concebível.

Seção (b) da Fig. 1 mostra o dispositivo de formação de imagem 1 que um usuário usa em sua cabeça e que, diferente do um mostrado na seção (a) da Fig. 1, não inclui os painéis de exibição 2a. O dispositivo de formação de imagem é montado na cabeça do usuário com, por exemplo, uma unidade de montagem que é pendurada sobre os ouvidos. Uma lente de formação de imagem 3a é direcionada à frente tal que uma lente de formação de imagem vai fotografar a direção do campo de visão do usuário como uma direção do tópico com o dispositivo de formação de imagem montado na cabeça do usuário.

Em seções (a) e (b) da Fig. 1, os dispositivos de formação de imagem 1 são montados na cabeça do usuário com Uma unidade de montagem do tipo óculos ou do tipo montado sobre a cabeça. Diversas estruturas permitindo ao usuário usar o dispositivo de formação de imagem 1 são concebíveis. Qualquer tipo de unidade de montagem, por exemplo, uma unidade de montagem do tipo telefone de cabeça, de um tipo de pescoço, ou de um tipo de trás do ouvido pode ser usada para montar o dispositivo de formação de imagem em um usuário. Ainda, por exemplo, o dispositivo de formação de imagem pode ser usado por um usuário em tal uma maneira que o dispositivo de formação de imagem é preso à, por exemplo, óculo simples, um visor, um fone de cabeça, ou o similar usando um clipe ou qualquer outro acessório. O dispositivo de formação de imagem não necessita sempre ser montado na cabeça do usuário.

A direção de formação de imagem é configurada para uma direção de um campo de visão do usuário. Uma constituição na qual uma lente de formação de imagem 3a é disposta tal que quando o dispositivo de formação de imagem é usado, uma lente de formação de imagem 3 a vai refletir uma direção para trás de um usuário, uma direção lateral dele, ou uma direção aos pés dele, ou uma constituição incluindo múltiplos sistemas de formação de imagem cujas direções de formação de imagem são idênticas um do outro ou diferentes um do outro, também é concebível.

Ainda, um mecanismo de variação da direção de formação de imagem permitindo variação manual ou automática de uma direção do tópico pode ser incluído para uma lente de formação de imagem 3 a ou múltiplas lentes de formação de imagem 3 a.

Seção (c) da Fig. 1 mostra o dispositivo de formação de imagem 1 tendo uma forma geralmente conhecida como uma câmera fixa digital.

Seção (d) da Fig. 1 mostra o dispositivo de formação de imagem 1 tendo uma forma geralmente conhecida como uma câmera de vídeo.

Como aqueles mostrados nas seções (c) e (d) da Fig. 1, mesmo

o dispositivo de formação de imagem 1 um usuário carrega para uso é uma forma da modalidade da presente invenção. Embora uma lente de formação de imagem 3a seja mostrada sozinha nos desenhos, uma unidade de exibição do painel para monitor de formação de imagem, um visor, e outros dispositivos de exibição também são incluídos.

Não é necessário dizer que, conforme um dispositivo de formação de imagem que captura uma imagem fixa ou uma figura em movimento, forma outras do que as formas mostradas nas seções (a), (b), (c), e (d) da Fig. 1, são concebíveis. Por exemplo, um telefone celular portátil, um assistente digital pessoal (PDA), um computador pessoal portátil, ou qualquer outro equipamento tendo a capacidade de um dispositivo de formação de imagem é presumivelmente englobado no dispositivo de formação de imagem

1 da presente modalidade.

Nas formas mencionadas acima, por exemplo, um microfone que coleta sons externos pode ser incluído. Durante a formação de imagem, um sinal de áudio a ser gravado junto com os dados de imagem pode ser adquirido. Uma seção de alto-falante que emite sons ou uma seção de fone de ouvido pode ser formada.

Uma unidade de emissão de luz que ilumina uma direção do tópico pode ser disposta perto de uma lente de formação de imagem 3a usando, por exemplo, diodos de emissão de luz (LEDs). Uma unidade de emissão de luz instantânea pode ser incluída para capturar imagem fixa.

2. Exemplo da constituição de um dispositivo de formação de imagem

Um exemplo da constituição do dispositivo de formação de imagem 1 será descrita em conjunto com a Fig. 2.

Um controlador de sistema 10 é realizado com um microcomputador incluindo, por exemplo, uma unidade de processamento central (CPU), uma memória de somente leitura (ROM), uma memória de acesso aleatório (RAM), uma unidade de memória não volátil, uma unidade de interface, e serve como uma unidade de controle que controla o todo o do dispositivo de formação de imagem I. O controlador de sistema 10 transfere sinais de controle ou o similar para ou de componentes sobre uma barra de comunicação 13 através de vários pedaços de processamento aritmético de acordo com programas preservados na ROM interna ou o similar, e assim sendo permite aos componentes realizar dadas ações.

Uma unidade de formação de imagem 3 inclui um sistema óptico de formação de imagem, um bloco de sensor de imagem, e um bloco de processamento de sinal capturado.

O sistema óptico de formação de imagem em uma unidade de formação de imagem 3 inclui um sistema de lentes incluindo uma lente de formação de imagem 3a mostrado na Fig. 1, um diafragma, uma lente de aproximação, uma lente de foco, e outras, e um sistema de operação que força o sistema de lentes a efetuar um movimento de foco e um movimento de aproximação.

O bloco de sensor de imagem em uma unidade de formação de imagem 3 inclui uma matriz de sensor de imagem em estado sólido que detecta luz capturada obtida no sistema óptico de formação de imagem, e fotoeletricamente converte a luz capturada a fim de produzir um sinal capturado. A matriz de sensor de imagem em estado sólido é, por exemplo, uma matriz de sensor de dispositivo acoplado a carga (CCO) ou uma matriz de sensor de semicondutor de óxido de metal complementar (CMOS) sensor matriz.

O bloco de processamento de sinal capturado em uma unidade de formação de imagem 3 inclui um circuito de ganho automático / amostrado e mantido (AGC) que efetua controle de ganho ou re-formatação de onda em um sinal produzido por um sensor de imagem em estado sólido, e um conversor de vídeo A / D, e produz dados da imagem capturada como dados digitais. O bloco de processamento de sinal capturado efetua processamento de equilíbrio branco, processamento de luminosidade, processamento de sinal de cor, processamento de correção de borrões, ou o similar nos dados da imagem capturada.

Uma unidade de formação de imagem 3 incluindo o sistema óptico de formação de imagem, bloco de sensor de imagem, e bloco de processamento de sinal capturado efetua formação de imagem a fim de produzir dados da imagem capturada.

Dados de imagem derivado a partir de uma ação de formação de imagem de uma unidade de formação de imagem 3 é processada através de uma unidade de controle de formação de imagem 6.

Sob o controle do controlador de sistema 10, uma unidade de controle de formação de imagem 6 efetua o processamento de conversão de dados da imagem capturada em um formato pré-determinado de dados de imagem, ou o processamento de alimentação dos dados da imagem capturada resultantes para uma unidade de análises / sínteses de imagem 12, uma unidade de armazenamento 14, uma unidade de comunicação 15, e uma unidade de controle de exibição 7 de acordo com uma situação de ação.

Baseado em uma instrução do controlador de sistema 10, a unidade de controle de formação de imagem 6 efetua, controle de liga / desliga de uma ação de formação de imagem em uma unidade de formação de imagem 3, operação e controle da lente de aproximação e lente de foco do sistema óptico de formação de imagem, controle da sensitividade do bloco de sensor de imagem ou da taxa de quadro dele, controle de parâmetros para cada processamento do bloco de processamento de sinal capturado, ou designação de processo de execução.

Quando uma unidade de formação de imagem 3 efetua captura de imagem fixa, uma ação de continuamente pegar uma imagem capturada pode ser executada como uma assim chamada função contínua de abertura do obturador. Por exemplo, a unidade de controle de formação de imagem 6 efetua o processamento de continuamente pegar dados da imagem capturada em intervalos de tempo pré-determinados, tal como, várias dezenas de milisegundos, várias centenas de milisegundos, um segundo, ou vários segundos responsivamente a uma manipulação de abertura do obturador efetuada por um usuário. A saber, uma unidade de formação de imagem 3 5 pode produzir dados da imagem capturada em unidades de um quadro e emitir os dados da imagem capturada para a unidade de controle de formação de imagem 6. Durante uma captura de imagem fixa, a unidade de controle de formação de imagem 6 pega, em adição a um quadro no momento da abertura do obturador, itens de dados da imagem capturada de múltiplos quadros 10 capturados em diferentes momentos.

Quando itens de dados da imagem capturada de múltiplos quadros são pegos pela função contínua de abertura de obturador, a unidade de controle de formação de imagem 6 pode mudar qualquer dos parâmetros envolvendo processamento do sinal capturado a cada momento para pegar um 15 quadro, e assim sendo pode diferenciar um nível de luminosidade durante o processamento do sinal, mudar sombras, ou mudar sensitividades. Múltiplos quadros pode ser pegos variando um estado de foco (comprimento focal), onde imagens capturadas em diferentes comprimentos focais podem ser adquiridos como respectivos quadros.

Cada quadro pode ser continuamente pego como dados da

imagem capturada de forma similar a assim chamada captura de figura em movimento.

A unidade de análises / sínteses de imagem 12 usa itens de dados da imagem capturada de múltiplos quadros, que o dispositivo de formação de imagem 1 adquiriu, para efetuar processamento de síntese de imagem.

O que é referido como itens de dados da imagem capturada de múltiplos quadros a serem adotados como objetos de processamento de síntese são, por exemplo, itens de dados da imagem capturada de múltiplos quadros capturados pela função contínua de abertura do obturador. Como dados da imagem capturada que o dispositivo de formação de imagem 1 pode adquirir, dados da imagem capturada capturados através de um dispositivo de formação de imagem externo podem ser adotados. Por exemplo, os dados da imagem capturada capturados através do dispositivo de formação de imagem externo podem ser transmitidos a partir do dispositivo de formação de imagem ou de um dispositivo de servidor, e recebido por uma unidade de comunicação 15.

Dados da imagem capturada capturados através de um dispositivo de formação de imagem externo podem ser gravados em um meio de gravação portátil, e o meio de gravação portátil pode ser reproduzido em uma unidade de armazenamento 14 (em um caso onde a unidade de armazenamento 14 tem uma função de reprodução para o meio de gravação portátil de modo a adquirir os dados.

Por conseguinte, itens de dados da imagem capturada de múltiplos quadros recebidos por uma unidade de comunicação 15 podem ser adotados como objetos de processamento de síntese a serem efetuados por uma unidade de análises / sínteses de imagem 12.

Itens de dados da imagem capturada de múltiplos quadros reproduzidos e lidos a partir do meio de gravação portátil podem ser adotados como objetos de processamento de síntese a serem efetuados por uma unidade de análises / sínteses de imagem 12.

Ainda, quando uma unidade de formação de imagem 3 e unidade de controle de formação de imagem 6 adquirem dados da imagem capturada de um quadro como um resultado de captura normal de imagem fixa em um momento de abertura do obturador sem o uso da função contínua de abertura do obturador, os dados da imagem capturada e itens de dados da imagem capturada recebidos pela unidade de comunicação 15 ou itens de dados da imagem capturada lidos a partir do meio de gravação portátil podem ser usados em conjunto, como itens de dados da imagem capturada de múltiplos quadros a serem considerados como objetos de processamento de síntese.

A unidade de análises / sínteses de imagem 12 pode ser realizada com um microcomputador ou um processador de sinal digital (DSP) servindo como um processador de vídeo. Na Fig. 2, a unidade de análises / sínteses de imagem é representada com um bloco diferente de um bloco constituindo o controlador de sistema 10 realizado com um microcomputador. Alternativamente, uma ação conforme a unidade de análises / sínteses de imagem 12 pode ser realizada por software a ser invocado no controlador de sistema 10.

Um exemplo de processamento de síntese de imagem a ser executado por uma unidade de análises / sínteses de imagem 12 será descrito mais tarde.

Os componentes do dispositivo de formação de imagem 1 que efetuam exibição para um usuário, uma unidade de exibição 2 e a unidade de controle de exibição 7 são incluídos.

A unidade de exibição 2 inclui o painel de exibição 2a formado com um painel de cristal líquido 1 ou o similar, e um bloco de operação de mostrador que opera um mostrador do painel de exibição 2.

O bloco de operação de mostrador é formado com um circuito de operação de pixel que exibe dados de imagem, que é alimentado a partir da unidade de controle de formação de imagem 6, no painel de exibição 2a que é, por exemplo, um mostrador de cristal líquido. O circuito de operação do pixel aplica um sinal de operação, que é baseado em um sinal de vídeo, para cada um dos pixéis, que são arrumados na forma de uma matriz no painel de exibição 2a, em um pré-determinado sincronismo de operação na horizontal / vertical, e assim sendo permite ao painel de exibição 2a executar exibição mostrador. Sob o controle do controlador de sistema 10, a unidade de controle de exibição 7 opera o circuito de operação do pixel na unidade de exibição 2, e assim sendo permite ao painel de exibição 2a executar pre- determinada exibição.

Especificamente, a unidade de controle de exibição permite ao painel de exibição 2a executar exibição da unidade de formação de imagem 3 como um monitor de formação de imagem, reprodução e exibição de dados da imagem capturada pegos em uma unidade de armazenamento 14, exibição de dados recebido da unidade de comunicação 15, ou exibição de vários caracteres.

Para as exibições, por exemplo, ajuste do nível de luminosidade, correção de cor, ajuste de contraste, ou ajuste de nitidez (melhoramento de contorno) podem ser alcançados. Em adição, produção de uma imagem ampliada tendo parte de dados de imagem ampliados, produção de uma imagem reduzida, foco suave, produção de um mosaico, reversão de luminosidade, exibição realçada (exibição melhorada) de parte de uma imagem, processamento de afetar imagem para mudar a atmosfera de um cor como um todo, separação ou síntese de imagens para exibição por setores de uma imagem capturada, produção de uma imagem de caractere ou uma imagem gráfica, e processamento de síntese de uma imagem produzida com uma imagem capturada pode ser realizado.

A unidade de controle de exibição 7 pode obter um estado de ver através (estado transparente ou estado translúcido) controlando o bloco de operação do mostrador nas bases de uma instrução do controlador de sistema

10, e controlara a capacidade de transmissão de cada um dos pixéis no painel de exibição 2a.

A unidade de armazenamento 14 é usada para preservar vários tipo de itens de dados, por exemplo, é usada para preservar itens de dados da imagem capturada e dados de imagem sintéticos. A unidade de armazenamento 14 pode ser formada com uma memória em estado sólido tal como um RAM ou uma memória flash, ou pode ser formada com, por exemplo, um mecanismo de disco rígido (HDD).

A unidade de armazenamento 14 pode não ser um meio de 5 gravação embutido mas pode ser um mecanismo de gravação / reprodução compatível com tal um meio de gravação como um meio de gravação portátil, por exemplo, um cartão de memória com uma memória em estado sólido embutida, um disco óptico, um disco magnético óptico, ou um memória de holograma.

Naturalmente, ambas, uma memória do tipo embutida tal como

uma memória em estado sólido ou um HDD e um mecanismo de gravação / reprodução compatível com um meio de gravação portátil podem ser incorporados.

A unidade de armazenamento 14 grava ou preserva itens de dados da imagem capturada e dados de imagem sintéticos sob o controle do controlador de sistema 10.

Sob o controle do controlador de sistema 10, dados gravados são lidos e alimentados ao controlador de sistema 10 e à unidade de controle de exibição 7.

Uma unidade de comunicação 15 transmite ou recebe dados

para ou do equipamento externo. Uma unidade de comunicação 15 pode efetuar comunicação de rede através de, por exemplo, comunicação via rádio de curto alcance com um ponto de acesso de rede por meio de uma LAN sem fio ou de acordo com um protocolo tal como Bluetooth, ou pode efetuar 25 comunicação via rádio diretamente com equipamento externo tendo uma função de comunicação compatível.

Uma unidade de comunicação 15 pode não necessariamente efetuar comunicação via rádio, mas pode efetuar comunicação com equipamento externo através de conexão com fio para o equipamento externo. O dispositivo de formação de imagem 1 inclui uma unidade de entrada de operação 11 para uma operação do usuário do dispositivo de formação de imagem.

A unidade de entrada de operação 11 pode incluir peças de operação, por exemplo, chaves e discos, e podem sentir uma manipulação do usuário com uma manipulação de uma chave ou pode sentir um comportamento consciente do usuário.

Quando a unidade de entrada de operação 11 inclui peças de operação, as peças de operação a serem usadas para efetuar uma manipulação de ligar ou desligar uma fonte de energia, uma manipulação de um sistema de formação de imagem (por exemplo, uma manipulação de abertura do obturador, uma manipulação de aproximação, ou uma manipulação de instrução de processamento de sinal), uma manipulação relacionada à exibição, por exemplo, uma manipulação para selecionar um conteúdo a ser exibido ou uma manipulação de ajuste do mostrador ) devem ser formadas.

Uma almofada de toque ou um painel de toque pode ser incluído como peça de operação. Por exemplo, o painel de toque é incluído na unidade de exibição 2 tal que quando um usuário toca uma tela de exibição, entrada de manipulação será efetuada.

Como uma peça de operação a ser usada para mover um apontador tal como um cursor na tela, o painel de toque, uma chave em cruz, ou um disco de empurrão podem ser incluídos. Por outro lado, quando um usuário segura e mantém um controlador remoto com um sensor de aceleração embutido ou um sensor de velocidade angular embutido, uma manipulação forçando o cursor na tela a se mover, pode ser realizada.

Por exemplo, assumindo que o dispositivo de formação de imagem como aquele um mostrado na seção (c) ou (d) da Fig. 1 é discutido, várias manipulações devem preferencialmente ser efetuado usando chaves operacionais, um disco, e um painel de toque. No caso do dispositivo de formação de imagem ser montado na cabeça como o um mostrado na seção (a) ou (b) da Fig. 1, chaves de operação, um disco, e um painel de toque 1 podem ser incluídos. Uma forma empregando um controlador remoto é concebível. Em consideração da 5 dificuldade em arrumar numerosas peças de operação, uma constituição para sentir um comportamento de usuário e considerá-lo como entrada de manipulação pode ser preferencialmente adotada.

Quando a constituição para sentir um comportamento de usuário é adotada, um sensor de aceleração, um sensor de velocidade angular, um sensor de vibração, ou um sensor de pressão é presumivelmente incluído.

Por exemplo, o fato que um usuário bateu levemente no flanco do dispositivo de formação de imagem 1 é percebido através de um sensor de aceleração ou um sensor de vibração. Por exemplo, quando uma aceleração em uma direção lateral excede um determinado valor, o controlador de 15 sistema 10 reconhece o fato como uma manipulação do usuário. Se o sensor de aceleração ou sensor de velocidade angular é usado para detectar se o usuário bateu levemente na parte do lado direito do flanco (parte correspondendo a uma das peças laterais dos óculos) ou bateu levemente na parte do lado esquerdo do flanco, a batida pode ser reconhecida com uma pré- 20 determinada manipulação.

Um sensor de aceleração ou um sensor de velocidade angular pode ser usado para sentir o fato que um usuário girou ou mexeu sua cabeça, e o controlador de sistema 10 pode reconhecer o giro ou mexida como uma manipulação do usuário.

Assumindo que um sensor de pressão é disposto em cada uma

das partes do lado esquerdo e do lado direito do flanco do dispositivo de formação de imagem 1 (partes equivalentes para peças laterais do óculos), quando um usuário pressiona a parte do lado direito, isto pode ser reconhecido como uma manipulação de aproximação em um direção fotográfica. Quando o usuário pressiona a parte do lado esquerdo, isto pode ser reconhecido como uma manipulação de aproximação em uma direção de ângulo amplo.

Ainda, um componente servindo como um sensor de corpo vivo pode ser incluído, e informação de corpo vivo sobre um usuário pode ser detectada e reconhecida com entrada de manipulação. O que é referido como informação de corpo vivo é a taxa de pulso, a taxa de coração, informação de eletrocardiograma, informação de electromiograma, informação respiratória (por exemplo, uma velocidade de respiração, uma profundidade dela, ou um capacidade de respiração), transpiração, reação electrodermal (GSR), uma pressão sanguínea, uma concentração de saturação de oxigênio no sangue, uma temperatura de superfície da pele, uma onda cerebral (por exemplo, informação sobre um onda alfa, onda beta, onda teta, ou onda delta), uma mudança em um fluxo sanguíneo, ou um estado dos olhos.

O controlador de sistema 10 reconhece informação detectada pelo sensor de corpo vivo como entrada de manipulação do usuário. Por exemplo, um movimento dos olhos (uma mudança em uma direção de linha de visão ou um piscada) é concebível como um comportamento consciente do usuário. Quando o fato que o usuário pisca três vezes é percebido, é decidido como entrada de manipulação específica. Ainda, o fato que o usuário usou o dispositivo de formação de imagem 1 ou tirou o dispositivo de formação de imagem 1, ou o fato que um usuário específico usou o dispositivo de formação de imagem 1 pode ser detectado através de sensoriamento da informação de corpo vivo. O controlador de sistema 10 pode ligar ou desligar a fonte de energia de acordo com a detecção.

O sensor de corpo vivo pode ser incorporado no quadro de montagem de, por exemplo, o dispositivo de formação de imagem 1 do tipo óculos, tal que o sensor de corpo vivo pode ser trazido em contato com a parte temporal ou a parte occipital do usuário de modo a sentir as várias partes da informação mencionada acima. Por outro lado, o sensor de corpo vivo pode ser separado da porção do quadro de montagem do dispositivo de formação de imagem 1 tal que o sensor de corpo vivo pode ser montado em uma parte específica de um corpo humano.

Para detectar o estado dos olhos, um movimento dos olhos, ou o estado das pupilas, emprego de uma câmera que fotografa os olhos de um usuário é concebível.

A unidade de entrada de operação 11 alimenta partes de informação, que são obtidas pelas peças operacionais e o sensor de aceleração, sensor de aceleração angular, sensor de vibração, pressão sensor, ou sensor de corpo vivo, para o controlador de sistema 10. O controlador de sistema 10 sente uma manipulação de usuário nas bases das peças de informação.

Como um componente que detecta um comportamento de usuário, um sensor que senti a voz do usuário, um sensor que sente os movimentos dos lábios, ou qualquer outro sensor pode ser incluído.

No dispositivo de formação de imagem 1 deste exemplo, a manipulação de painel de toque 1 mencionada acima, manipulação de movimento do cursor, ou manipulação baseada no comportamento do usuário pode ser atribuída para uma manipulação de abertura do obturador, uma manipulação para determinar uma área objeto de síntese que é efetuada quando manuseio manual é efetuado durante processamento de síntese, ou uma manipulação para selecionar qualquer dos quadros justapostos em uma base de tempo como um outro quadro a ser sintetizado.

A constituição do dispositivo de formação de imagem 1 foi descrita até agora. A constituição é um mero exemplo. Adição ou exclusão de vários componentes dependente de um exemplo de uma ação a ser efetivamente implementada ou uma função a ser efetivamente implementada é, naturalmente, concebível. Fig. 3 mostra exemplos de formas de operação do dispositivo de formação de imagem 1 em relação ao equipamento externo.

Seção (a) da Fig. 3 é relacionada com um caso onde o dispositivo de formação de imagem 1 opera isoladamente. Neste caso, no 5 dispositivo de formação de imagem 1, os itens de dados da imagem capturada de múltiplos quadros adquiridos através de uma ação de formação de imagem são usados para efetuar processamento de síntese de imagem. Os itens de dados da imagem capturada de múltiplos quadros capturados e dados de imagem sintéticos produzidos efetuando processamento de síntese são 10 preservados como processamento de preservação na unidade de armazenamento 14.

Quando uma unidade de reprodução compatível com um meio de gravação portátil tal como um disco óptico ou um cartão de memória é incluído como a unidade de armazenamento 14, os itens de dados da imagem capturada lidos a partir do meio de gravação portátil podem ser usados para efetuar processamento de síntese.

Seção (b) da Fig. 3 é relativa a um caso onde o dispositivo de formação de imagem 1 se comunica com equipamento externo 70 usando a unidade de comunicação 15. Neste caso, os itens de dados da imagem 20 capturada adquiridos através de uma ação de formação de imagem são usados para efetuar processamento de síntese de imagem. Em adição, os itens de dados da imagem capturada podem presumivelmente ser adquiridos do equipamento externo 70 e usados para processamento de síntese de imagem. Por exemplo, quando o equipamento externo 70 é um dispositivo de formação 25 de imagem ou o equipamento externo 70 armazena os itens de dados da imagem capturada, capturados através de um outro dispositivo de formação de imagem, os itens de dados da imagem capturada são transmitidos a partir do equipamento externo 70 e recebidos na unidade de comunicação 15. Os itens de dados da imagem capturada assim sendo recebidos pela unidade de comunicação 15 são usados para efetuar o processamento de síntese de imagem.

Como processamento de preservação para preservar os dados de imagem sintéticos produzidos através de processamento de síntese da imagem, os dados de imagem sintéticos são armazenados na unidade de armazenamento interna 14 do dispositivo de formação de imagem I. Em adição, um exemplo de uma ação na qual os dados de imagem sintéticos são transmitidos da unidade de comunicação 15 para o equipamento externo e armazenados em uma unidade de armazenamento de imagem 71 do equipamento externo 70, é concebível.

Comunicação com o equipamento externo 70 não é limitada à comunicação via rádio mas pode presumivelmente ser comunicação com fio. Seção (c) da Fig. 3 é relativo a um caso onde a unidade de comunicação 15 do dispositivo de formação de imagem 1 tem uma função de acesso à comunicação para acessar uma rede 60 tal como a Internet, e se comunica com o equipamento externo 70 conectado na rede 60. Um exemplo de uma ação é concebível idêntico àquele no caso da seção (b) da Fig. 3.

O que é referido como a rede 60 é concebível, em adição à Internet, uma rede de comunicação de telefone celular portátil, uma rede de comunicação PHS, uma rede de ad hoc, uma LAN, ou qualquer outra rede.

O que é referido como o equipamento externo 70 na seção (b) ou (c) da Fig. 3 pode presumivelmente ser um outro dispositivo de formação de imagem 1 tendo a constituição mostrada na Fig. 2, ou pode presumivelmente ser um servidor de dados tendo uma função de comunicação, um computador pessoal, um tocador de vídeo, uma câmera de vídeo, uma câmera digital fixa, um telefone celular portátil tendo uma função de formação de imagem, um PDA, ou qualquer outro equipamento.

3. Sínteses e preservação de imagem

Processamento de síntese a ser efetuado na unidade de análises / sínteses de imagem 12 será descrito abaixo. Conforme mencionado acima, a unidade de análises / sínteses de imagem 12 usa itens de dados da imagem capturada de múltiplos quadros para efetuar processamento de síntese. Por exemplo, os itens de dados da imagem capturada de múltiplos quadros adquiridos pela função contínua de abertura do obturador da unidade de formação de imagem 3 são usados como objetos para efetuar o processamento de síntese.

Seção (a) da Fig. 4 mostra múltiplos quadros (F#l, F#2, F#3, etc.) como certos itens de dados da imagem capturada. Este é um caso onde formação de imagem para uma fotografia de grupo é efetuado. Os respectivos quadros são quadros pegos em diferentes momentos de pontos de tempo tl, t2, t3, etc. Por exemplo, assuma que os quadros são quadros capturados em intervalos de várias centenas de milisegundos. Por exemplo, assuma que um quadro da imagem capturada no momento em que um usuário efetua uma manipulação de abertura do obturador é o quadro F#l, e o quadro F#2 e os subseqüentes são então pegos em intervalos de várias centenas de milisegundos.

Como para conteúdo de uma imagem capturada, capturado como o quadro F#1 mostrado na Fig. 4 (a), três pessoas Hl, H2, e H3 das numerosas pessoas que são tópicos tem seus olhos fechados.

Por exemplo, quando tal uma imagem é capturada, o quadro F#1 é considerado como uma imagem básica de síntese, isto é uma imagem de referência de processamento de síntese. Síntese é efetuada para encaixar dados de pixel no quadro F#2 ou um subseqüente na área objeto de síntese determinada na imagem básica de síntese. Como um resultado, uma imagem sintética como aquela mostrada na seção (b) da Fig. 4 é produzida. A imagem sintética na seção (b) da Fig. 4 é uma imagem na qual todas as pessoas que são tópicos tem seus olhos deixado abertos.

Devido à piscadas das pessoa que são tópicos, a imagem do quadro F#1 pego no momento no qual o usuário efetua uma manipulação de abertura do obturador mostra pessoas cujos olhos estão fechados. Nos outros quadros F#2, F#3, F#4, etc. capturados em intervalos de várias centenas de milisegundos, há um alta possibilidade que as pessoas cujos olhos estão fechados no quadro F#1 possam ter seus olhos deixados abertos.

Fig. 5 mostra exemplos de imagens dos quadros F#2, F#3, F#4, F#5, e F#6.

Por exemplo, uma pessoa Hl tem seu olhos deixados abertos nas imagens dos quadros F#4, F#5, e F#6. A pessoa H2 tem seus olhos deixados abertos nas imagens dos quadros F#3, F#4, e F#5. A pessoa H3 tem seus olhos deixados abertos nas imagens dos quadros F#2, F#3, F#5, e F#6.

Neste caso, as partes da imagem facial parte mostrando as pessoas Hl, H2, e H3 que têm ser usada olhos fechados na imagem do quadro F#1 são consideradas como áreas de objeto de síntese, e são substituídas com imagens nas quais as pessoas Hl, H2, e H3 têm seus olhos deixados abertos.

Por exemplo, a parte da face da pessoa Hl é considerada como a primeiro área objeto de síntese, e dados de pixel na área são substituídos com dados de pixel no quadro F#4.

A parte da face da pessoa H2 é considerada como a segunda área objeto de síntese, e dados de pixel na área são substituídos com dados de pixel do quadro F#3.

A parte da face da pessoa H3 é considerada como a terceira área objeto de síntese, e dados de pixel na área são substituídos com dados de pixel do quadro F#2.

Assim sendo, as imagens faciais das pessoas Hl, H2, e H3 na imagem do quadro F#1 são substituídas com as imagens nas quais os olhos das pessoas estão deixados abertos, e uma imagem sintética na qual, todas as pessoas têm seus olhos deixados abertos pode ser produzida como mostrado na seção (b) da Fig. 4. Um quadro do qual dados de dados de pixel a serem substituídos são extraídos, deve preferencialmente ser um quadro temporariamente perto do quadro F#1 isto é da imagem básica de síntese. Isto é pretendido para diminuir a diferença no interior ou exterior de uma área objeto de síntese entre imagens tão enormemente quanto possível.

Fig. 6 ilustrativamente mostra os estados preservados das imagens de uma unidade de armazenamento 14 obtidos antes e após processamento de síntese.

Por exemplo, cada vez que a unidade de formação de imagem 3 efetua uma ação de formação de imagem, os itens de dados da imagem capturada VD1, VD2, VD3, etc. são gravados em uma unidade de armazenamento 14.

Falando dos dados da imagem capturada VD1, a informação de gerenciamento de imagem Cl e os itens de dados da imagem capturada de múltiplos quadros F#l, F#2, F#3, etc. são preservados.

A informação de gerenciamento de imagem Cl contém, por exemplo, um nome de arquivo de dados da imagem capturada, um tipo de imagem (uma figura em movimento ou uma imagem fixa), um tamanho de dados, um método de compressão, uma informação de data, e informação de identificação de um dispositivo tendo efetuado formação de imagem.

Nos itens de dados da imagem capturada de múltiplos quadros F#l, F#2, F#3, etc., informação de diferença de tempo TM é contida. Por exemplo, o quadro inicial F#1 é considerado como uma referência, e uma diferença de tempo do quadro inicial F#1 para o tempo de formação de imagem do quadro F#2 ou um subseqüente é considerado como a informação de diferença de tempo TM. Por exemplo, assumindo que um quadro é pego em intervalos de 0,4 seg, a informação de diferença de tempo TMl no quadro F#1 é 0 seg, a informação de diferença de tempo TM2 no quadro F#2 é + 0,4 seg, a informação de diferença de tempo TM3 no quadro F#3 é + 0,8 seg, e a informação de diferença de tempo TM4 no quadro F#4 é + 1,2 seg. A propósito, a informação de diferença de tempo TM pode ser informação sobre um instante de tempo real de captura de quadro (ano / mês / dia / hora / min / seg / quadro).

Por exemplo, quando formação de imagem é efetuada uma vez de modo a adquirir os dados da imagem capturada VD1, o controlador de sistema IO produz uma informação de gerenciamento de imagem com relação aos dados da imagem capturada VD1, anexa as partes de informação de diferença de tempo TMl, TM2, TM3, etc. aos múltiplos quadros F#l, F#2, F#3, etc. dos itens de dados da imagem capturada, e armazena as partes da informação na unidade de armazenamento 14.

Efetuando as ações anteriores para cada captura de imagem fixa, os itens de dados da imagem capturada de múltiplos quadros são gravados como cada um dos itens de dados da imagem capturada VD2, VD3, etc. na mesmo maneira.

A propósito, os itens de dados da imagem capturada de múltiplos quadros não são sempre derivados da contínua formação de imagem efetuada pela unidade de formação de imagem 3 mas podem ser múltiplos quadros recebidos da unidade de comunicação 15 ou múltiplos quadros lidos de um meio de gravação portátil.

Após um quadro ou múltiplos quadros serem pegos através de formação de imagem, um quadro recebido da unidade de comunicação 15 ou lido de um meio de gravação portátil pode ser adicionado. Por exemplo, após um quadro F#1 ser pego como os dados da imagem capturada VD1, a imagem do quadro recebido ou reproduzido pode ser gravada como o quadro F#2 ou um quadro subseqüente contido nos dados da imagem capturada VD1.

Assumindo que os dados da imagem capturada VDl representam imagens mostradas na seção (a) da Fig. 4, os múltiplos quadros F#1,.F#2, etc. gravados como os dados da imagem capturada VDl como mostrado na seção (a) da Fig. 6 são itens de dados de imagem representando o conteúdo mostrado na seção (a) da Fig. 4 e da Fig. 5.

A unidade de análises / sínteses de imagem 12 usa os quadros F#l, F#2, etc., que estão gravados na unidade de armazenamento 14, para efetuar processamento de síntese como mencionado acima, e produz os dados de imagem sintéticos mostrados, por exemplo, na seção (b) da Fig. 4. Após os dados de imagem sintéticos serem produzidos, o controlador de sistema 10 preserva os dados como dados da imagem sintética mVDl associados com os dados da imagem capturada VDl na unidade de armazenamento 14.

Seção (b) da Fig. 6 mostra uma situação na qual os dados de imagem sintéticos mVDl são preservados na associação com os dados da imagem capturada VD (F# 1, F#2, etc.) na unidade de armazenamento 14.

Dados de imagem sintéticos mVD2 associados com os dados da imagem capturada VD2 e dados de imagem sintéticos mVD3 associada com os dados da imagem capturada VD3 são mostrados para serem produzidos e armazenados.

Já que os dados de imagem sintéticos mVD são preservados como mencionado acima, os dados de imagem sintéticos mVD podem ser exibidos ou emitidos na ou para a unidade de exibição 2.

Após os dados de imagem sintéticos mVD estarem gravados na unidade de armazenamento 14, os itens originais de dados da imagem capturada de múltiplos quadros F#l, F#2, etc. podem ser eliminados ou pode não ser eliminados mas podem ser preservados como eles são. Quando os itens originais de dados da imagem capturada são preservados, uns outros dados de imagem sintética podem ser produzidos.

Um exemplo de preservação na unidade de armazenamento 14 foi descrito. Como processamento de preservação, o processamento de transmitir ou emitir os dados de imagem sintéticos mVD a partir da unidade de comunicação 15 pode ser realizado. Na forma mostrada na seção (b) ou (c) da Fig. 3, os dados de imagem sintéticos mVD podem, de forma concebível, ser preservados na unidade de armazenamento de imagem 71 do equipamento externo 70.

A propósito, o processamento de síntese descrito em conjunto com a Fig. 4 e Fig. 5 é relativo a um exemplo em que todas as pessoas de tópico aparecem ter seus olhos deixados abertos. Outras numerosas partes de processamento de síntese são presumidas.

Fig. 7, Fig. 8, Fig. 9, e Fig. 10 mostram exemplos.

Seção (a) da Fig. 7 mostra múltiplos quadros (F#l, F#2, #3, etc.) como certos itens de dados da imagem capturada. Isto é relativo a um caso onde cinco pessoas são fotografadas. Os quadros devem ser capturados em intervalos de, por exemplo, várias centenas de milisegundos.

Como para conteúdo da imagem do quadro F#1 mostrado na seção (a) da Fig. 7, a imagem é uma imagem obtida no instante que a pessoa mais à esquerda na linha de frente girou para o lado. Em adição, na imagem, a pessoa do lado esquerdo na linha de trás aparece com uma expressão peculiar.

Neste caso, as partes das faces das pessoas são consideradas como áreas objeto de síntese, e os itens de dados de pixel nas áreas objeto de síntese são pesquisados a partir dos outros quadros F#2, F#3, etc. de modo a efetuar síntese. Assim sendo, uma imagem na qual todas as pessoas aparecem olhar para a frente e têm expressões suaves é produzida como mostrado, por exemplo, na seção (b) da Fig. 7.

Seção (a) da Fig. 8 mostra múltiplos quadros (F#l, F#2, F#3, etc.) como itens de dados da imagem capturada obtidos com um pessoa considerada como um tópico. Como para o conteúdo da imagem do quadro F#1 mostrado na seção (a) da Fig. 8, a imagem é uma imagem na qual uma pessoa não relacionada aparece no plano de fundo.

Por exemplo, a parte da pessoa não relacionada é considerada uma área objeto de síntese, e uma imagem na qual a pessoa não aparece é pesquisada dentre os outros quadros F#2, F#3, etc., e sintetizada. Assim sendo, uma imagem na qual somente uma pessoa pretendida aparece, pode ser produzida como mostrado na seção (b) da Fig. 8.

Seção (a) da Fig. 9 mostra como certos dados da imagem capturada, um estado no qual uma luz e uma escuridão são separadas cada uma da outra em uma imagem devido ao efeito adverso do brilho do sol e sombra. Neste caso, a metade superior da imagem é uma imagem que mostra uma sombra, é baixa em brilho, e é difícil de ver. A metade inferior da imagem tem um brilho satisfatório.

Ao contrário, a seção (b) da Fig. 9 é uma imagem obtida quando formação de imagem é efetuada com uma sensitividade de formação de imagem aumentada. Contrário à seção (a) da Fig. 9, a metade superior da imagem tem um brilho satisfatório. Contudo, já que a sensitividade está aumentada, a metade inferior da imagem é uma imagem que é excessivamente brilhosa e é difícil de ver.

Durante contínua formação de imagem a ser efetuada em intervalos de, por exemplo, um seg, a formação de imagem é efetuada variando a sensitividade de modo a pegar múltiplos quadros. Assim sendo, os quadros incluem as imagens como aquelas mostradas nas seções (a) e (b) da Fig. 9.

Neste caso, o quadro mostrado na seção (a) da Fig. 9 é considerado como uma imagem básica de síntese, e a parte sombreada da metade superior é considerada uma área objeto de síntese. Processamento de síntese para substituir os dados de pixel na área objeto de síntese com os dados de pixel no quadro mostrado na seção (b) da Fig. 9 é realizado, onde dados de imagem sintéticos representando a tela cuja superfície inteira exibe um brilho apropriado é obtido como mostrado na seção(c) da Fig. 9.

Seção (a) da Fig. 10 mostra múltiplos quadros (F#l, F#2, F#3, etc.) como itens de dados da imagem capturada obtidos quando múltiplas pessoa se posicionam em diferentes distâncias da posição do dispositivo de formação de imagem 1 são consideradas como tópico. Como para o conteúdo da imagem do quadro F# 1 mostrado na seção (a) da Fig. 10, uma pessoa se posicionando na posição mais próxima (o lado esquerdo da imagem) é focada, mas as outras pessoa se posicionando em posições separadas aparecem como uma imagem borrada por causa de um comprimento focal não coincidente.

Quando os múltiplos quadros (F#l, F#2, F#3, etc.) são capturados, se a unidade de formação de imagem 3 tenta gradualmente mudar os comprimentos focais, uma imagem na qual a pessoa no meio é focada, é obtida como um certo quadro e uma imagem na qual a pessoa do lado direito é focada, é obtida como um outro determinado quadro.

Neste caso, o quadro mostrado na seção (a) da Fig. 10 é considerado como uma imagem básica de síntese, e uma área na qual o tópico aparece borrado é considerada como uma área objeto de síntese. Processamento de síntese para substituir os dados de pixel na área objeto de síntese com os dados de dados de pixel em qualquer outro quadro na qual a área não aparece borrada, é realizado. Assim sendo, como mostrado na seção (b) da Fig. 10, excelentes dados de imagem sintéticos representando uma imagem na qual todas as pessoas se posicionando em diferentes distâncias não aprecem borradas, podem ser obtidas.

Não é necessário dizer que, numerosas partes do processamento de síntese outra do que os precedentes exemplos podem ser realizados.

4. Processamento de síntese de imagem

Fig. Ile Fig. 12 mostra o processamento do controlador de sistema IOeo processamento da unidade de análises / sínteses de imagem 12 respectivamente que são pretendidas para efetuar a precedente síntese de imagem.

Para começar com, o processamento do controlador de sistema 10 será descrito em conjunto com Fig. 11.

O controlador de sistema 10 verifica a ocorrência de um acionamento de síntese no passo F101. O controlador de sistema 10 reconhece algum sinal ou um estado de ação, que é gerado quando processamento de 5 síntese é iniciado no dispositivo de formação de imagem 1, como ocorrência de um acionamento de síntese.

Por exemplo, quando determinados dados da imagem capturada gravados como mostrado na seção (a) da Fig. 6 são exibidos ou emitidos na ou para a unidade de exibição 2, se um usuário efetua uma manipulação de processamento de síntese, o controlador de sistema 10 reconhece a ocorrência de um acionamento de síntese.

O que é referido como exibição de dados da imagem capturada na situação de preservação como a uma mostrada na seção (a) da Fig. 6 é, por exemplo, exibir os dados da imagem capturada do quadro inicial F#1 como os 15 dados da imagem capturada VD. Cada vez que um usuário efetua uma manipulação de abertura do obturador, processamento de formação de imagem é realizado e os itens de dados da imagem capturada VO1, V02, etc. são preservados. Neste caso, múltiplos quadros são pegos durante uma formação de imagem. Neste momento, por exemplo, assume que o quadro 20 inicial F#1 são dados de imagem obtidos no momento da abertura do obturador no qual o usuário efetua a manipulação, e o quadro F#2 e quadros subseqüentes são itens de dados de imagem pegos em intervalos de um pre- determinado tempo após o tempo de abertura do obturador. Neste caso, os dados de imagem do quadro F#1 são considerados como dados da imagem 25 capturada básicos. Por conseguinte, quando a manipulação para solicitar exibição é efetuada de modo a efetuar monitoração imediatamente após formação de imagem ou efetuar monitoração de imagens capturadas preservadas pelo usuário, os dados de imagem do quadro F#1 é exibida como cada um dos itens de dados da imagem capturada VO1, V02, etc. Quando determinados dados da imagem capturada VO é exibida, se um usuário efetua uma manipulação para instruir processamento de síntese, o processamento de síntese para os dados da imagem capturada VD é iniciado.

Quando listar os itens de dados da imagem capturada preservados VO1, V02, etc. é executado, se um usuário efetua uma manipulação para processamento de síntese para designar uns dados da imagem capturada ou múltiplos itens de dados da imagem capturada através de entrada de manipulação, o controlador de sistema 10 a reconhece como ocorrência de um acionamento de síntese, e inicia o processamento de síntese para uns dados da imagem capturada VD ou múltiplos itens de dados da imagem capturada VD designados.

Quando processamento de síntese é instruído para todos os itens de dados da imagem capturada VD1, VD2 preservados, etc. através de manipulação de usuário, o controlador de sistema 10 reconhece isto como ocorrência de um acionamento de síntese, e inicia o processamento de síntese para todos os itens de dados da imagem capturada VD.

Ainda, processamento de síntese é, de forma concebível, automaticamente executada durante a formação de imagem. Por exemplo, quando os quadros F#l, F#2, etc. são pegos como dados da imagem capturada VD1, o controlador de sistema 10 reconhece isto como ocorrência de um acionamento de síntese, e autonomamente prossegue para o processamento de síntese usando os quadros F#l, F#2, etc. Este exemplo de uma ação é concebível.

Quando a unidade de comunicação 15 recebe itens de dados da imagem capturada (itens de dados da imagem capturada de múltiplos quadros capturados por um outro dispositivo de formação de imagem) transmitidos a partir do equipamento externo 70 na forma mostrado na seção (b) ou (c) da Fig. 3, ou quando itens de dados da imagem capturada de múltiplos quadros são reproduzidos a partir de um meio de gravação portátil que é fornecido com um mecanismo de gravação / reprodução, o controlador de sistema 10 reconhece isto como ocorrência de um acionamento de síntese, e prossegue para o processamento de síntese empregando os itens adquiridos de dados da 5 imagem capturada de múltiplos quadros. Este exemplo de uma ação é também concebível.

Ainda, quando um sensor de corpo vivo é incluído como mencionado anteriormente, um acionamento de síntese pode ser identificado com base na avaliação subjetiva de usuário. Por exemplo, um nível de 10 satisfação do usuário com uma imagem capturada é estimado a partir de uma onda cerebral ou o similar detectado quando os dados da imagem capturada são exibidos e assim sendo apresentado ao usuário. Se o usuário é estimado para sentir-se insatisfeito, o controlador de sistema 10 reconhece isto como ocorrência de um acionamento de síntese e prossegue para o processamento 15 de síntese para os dados de imagem capturados. Este exemplo de uma ação também é concebível.

Se ocorrência de um acionamento de síntese é reconhecida como qualquer das precedentes várias situações, o controlador de sistema 10 avança o processamento do passo FlOl para o passo F102 e instrui a unidade de análises / sínteses de imagem 12 para executar processamento de síntese para imagens objeto de processamento.

Por exemplo, quando processamento de síntese é efetuado em uns dados da imagem capturada VD ou múltiplos itens de dados da imagem capturada VD responsivamente à manipulação do usuário ou ação de 25 formação de imagem citada, o controlador de sistema 10 designam uns dados da imagem capturada VD de um objeto de processamento ou múltiplos objetos de processamento no passo FI02, e instrui uma unidade de análises / sínteses de imagem 12 para executar o processamento de síntese.

Em resposta à instrução feita no passo FI02, a unidade de análises / sínteses de imagem 12 executa processamento de síntese de imagem a ser descrito mais tarde em conjunto com Fig. 12.

Após instruir a unidade de análises / sínteses de imagem 12 para iniciar processamento de síntese, o controlador de sistema 10 verifica no 5 passo F103 se o processamento de síntese da unidade de análises / sínteses de imagem 12 foi completada. No passo F104, o controlador de sistema 10 verifica se a unidade de análises / sínteses de imagem 12 foi notificado que o processamento de síntese não é necessário ou desabilitado.

Se a unidade de análises / sínteses de imagem 12 notificou que 10 o processamento de síntese foi completado, o controlador de sistema 10 avança o processamento do passo F103 para o passo F105, e efetua processamento de controle pretendido para preservar dados de imagem sintéticos produzidos. A saber, como descrito em conjunto com a seção (b) da Fig. 6, os dados de imagem sintéticos produzidos mVD são transferidos para a 15 unidade de armazenamento 14 e gravados nela. Por outro lado, controle é ampliado tal que os dados de imagem sintéticos produzidos mVD serão transmitidos a partir da unidade de comunicação 15 para o equipamento externo 70 e então será preservado no equipamento externo 70.

Após controle da preservação dos dados de imagem sintéticos mVD ser realizado, o processamento prossegue para o passo F106. Se a notificação que síntese não é necessária ou desabilitada é recebida, processamento prossegue do passo F104 para o passo F106.

No passo F106, o controlador de sistema 10 verifica se uns outros dados da imagem capturada VD que é um objeto de processamento de 25 síntese é encontrado. Quando processamento de síntese é iniciado com múltiplos itens de dados da imagem capturada VD como objetos de processamento, se processamento de todos os itens de dados da imagem capturada VD que são os objetos de processamento não foram completados, o processamento é retomado ao passo F102. O processamento do passo F102 para o passo FlOS é efetuado nos próximos dados da imagem capturada VD na mesma maneira.

Após o processamento do passo F102 para o passo F105 é completado para todos os itens de dados da imagem capturada VD que são os 5 objetos de processamento, o processamento prossegue para o passo F107. O resultado de síntese é exibido na unidade de exibição 2, e o processamento de síntese é terminado. Por exemplo, como o resultado da síntese, Síntese Completa, Síntese não Necessária, ou Síntese Desabilitada é apresentado a um usuário em relação aos dados da imagem capturada VD que é um objeto. Por 10 outro lado, o processamento para exibir dados de imagem sintéticos produzidos mVD é realizado.

A seguir, processamento de síntese a ser executado por uma unidade de análises / sínteses de imagem 12 em resposta a uma instrução enviada a partir do controlador de sistema 10 será descrito em conjunto com a Fig. 12.

Em resposta à instrução de processamento de síntese enviada do controlador de sistema 10 no passo F102 na Fig. 11, a unidade de análises / sínteses de imagem 12 avança o processamento descrito na Fig. 12 do passo F201 para o passo F202, e inicia processamento de síntese de imagem.

No passo F202, a unidade de análises / sínteses de imagem 12

pega dados da imagem capturada VD que são um objeto de processamento e é instruído pelo controlador de sistema 10. Por exemplo, quando itens de dados da imagem capturada são gravados na unidade de armazenamento 14 como mostrado na seção (a) da Fig. 6, se os dados da imagem capturada VDl são 25 instruídos como um objeto de processamento, os quadros F#l, F#2, F#3, etc. contidos nos dados da imagem capturada VDl são pegos.

No passo F203, a unidade de analises / sínteses de imagem 12 designam um dos itens pegos de dados da imagem capturada de múltiplos quadros como uma imagem básica de síntese, e determina uma área objeto de síntese ou múltiplas áreas objeto de síntese AR (ARI para ARn) na imagem básica de síntese.

Como para designação de qual dos vários quadros como uma imagem básica de síntese, ou designação automática ou manual com base em uma manipulação de usuário é concebível.

Como para designação automática, por exemplo, o quadro F#1 que ocorre temporalmente é designado. Contudo, um quadro temporalmente intermediário dos múltiplos quadros pode ser considerado como a imagem básica de síntese. Naturalmente, qualquer outro quadro pode ser selecionado. 10 Um quadro pode não ser designado sob a condição que o quadro deve temporariamente preceder ou suceder, mas pode ser designado com base em um parâmetro de formação de imagem ou o similar. Por exemplo, quando múltiplos quadros são capturados, se os quadros são capturados variando um determinado parâmetro de formação de imagem (por exemplo, uma 15 sensitividade, um parâmetro para processamento de luminosidade ou processamento de cor, ou um comprimento focal), um quadro capturado com o parâmetro configurado para um valor intermediário é considerado como a imagem básica de síntese.

Como para designação manual, por exemplo, uma técnica para seqüencialmente exibir ou emitir os quadros F#l, F#2,. F#3, etc. na ou para a unidade de exibição 2, ou listar os quadros com imagens em miniatura, e solicitar a um usuário para selecionar um dos quadros, é presumida.

Após uma imagem básica de síntese é selecionada, uma área objeto de síntese é determinada na imagem básica de síntese. Por exemplo, Fig. 13 e Fig. 14 mostram exemplos da determinada área objeto de síntese.

Seções (a), (b), (c), e (d) da Fig. 13 e Fig. 14 mostram exemplos de uma imagem de um determinado quadro considerado como uma imagem básica de síntese.

Seção (a) da Fig. 13 mostra uma imagem que é uma fotografia de grupo e é um exemplo na qual as áreas faciais representando pessoas cujos olhos estão fechados são designadas como áreas objeto de síntese ARI, AR2, e AR3 respectivamente.

Seção (b) da Fig. 13 mostra uma imagem que mostra cinco pessoas e isto é um exemplo na qual uma área facial representando uma pessoa que girou para o lado e uma área facial representando uma pessoa que tem uma expressão peculiar são designadas como áreas objeto de síntese ARl e AR2 respectivamente.

Seção (c) da Fig. 13 mostra um exemplo na qual uma pessoa não relacionada aparece em uma imagem e uma área representando a pessoa não relacionada é designada como uma área objeto de síntese ARI.

Seção (d) da Fig. 13 mostra um exemplo na qual o brilho de uma imagem varia enormemente e uma área cujo brilho é baixo (área representando a sombra) é designada como uma área objeto de síntese ARI.

Fig. 14 mostra uma imagem que mostra múltiplas pessoas e

que é um exemplo na qual áreas representando pessoas que estão fora de foco são designadas como áreas objeto de síntese ARl e AR2 respectivamente.

Uma área objeto de síntese é designada como mencionado acima. O processamento de designação presumivelmente cai na designação automática e na designação manual.

Como para designação automática, casos descritos abaixo são, por exemplo, apresentados.

Análise de imagens é efetuada em uma imagem básica de síntese de modo ta decidir se uma face humana aparece na imagem. Se uma 25 face humana ou múltiplas faces humanas aparecem, se a pessoa tem seus olhos deixados abertos (se os olhos podem ser detectados), é detectada. Se uma imagem facial na qual a pessoa tem olhos fechados (os olhos não podem ser detectados) é encontrada, uma área da imagem facial é considerada como uma área objeto de síntese. Este processamento toma possível designar áreas objeto de síntese como aquelas na seção (a) Se uma direção da linha de visão ou uma expressão facial pode ser reconhecida através de análise de imagem, uma área de uma imagem facial na qual uma linha de visão não está direcionada para à frente ou uma área de uma imagem facial que não representa um sorriso ou uma expressão natural é detectada e considerada como uma área objeto de síntese. Assim sendo, a designação como o um das áreas mostradas na seção (b) da Fig. 13 pode ser alcançada.

Varias partes do processamento são concebíveis para discriminar uma expressão facial. Por exemplo, a técnica para extrair partes que constituem uma face, atribuir pontuações para as respectivas partes, e discriminar a expressão facial podem ser adotados.

Por exemplo, para discriminar um sorriso, porções dos olhos, sobrancelhas, e lábios são extraídos de uma imagem como partes constituindo uma face. Por exemplo, como para as sobrancelhas, o ângulo das sobrancelhas é discriminado. Um assim chamado estado “aumentado” é associado com um ponto abaixo. Como as extremidades das sobrancelhas cai mais enormemente, um ponto maior é atribuído. Como para os olhos, o grau de abertura das pupilas é discriminado. Como as pupilas são abertas mais enormemente, um ponto maior é atribuído. Como para os lábios, como as extremidades dos lábios caem mais enormemente, um ponto mais baixo é atribuído. Como as extremidades dos lábios se elevam mais enormemente, um ponto maior é atribuído.

Por exemplo, um ponto para discriminação de sorriso é atribuído para cada uma das partes. Os pontos são adicionados (ou os pontos são ponderados mutuamente de modo diferente e então adicionados) de modo a calcular um ponto de sorriso. Com o ponto do sorriso é maior, uma “expressão mais suave” é discriminado.

Naturalmente, isto é um mero exemplo. O estado, das bochechas ou rugas gerado quando a pessoa sorri, podem ser adotados como um critério Aparte da discriminação de sorriso, qualquer outra expressão tal como uma expressão zangada ou uma expressão não agradável pode ser inferida a partir de imagens de partes constituindo uma face.

Se uma pessoa não relacionada é incluída como um tópico, a pessoa não relacionada pode ser detectada.

Por exemplo, quando uma imagem facial é detectada na imagem básica de síntese, se uma imagem na qual a face não pode ser detectado na mesma posição é incluída nos quadros precedentes e sucessivos, a pessoa pode ser estimada como uma pessoa que passou atrás durante a formação de imagem. Em particular, quando uma área facial se posiciona longe do centro de uma imagem (por exemplo, fora cerca de um 1/2 ponto do centro da imagem), se uma imagem na qual uma face não pode ser detectada na mesma posição é incluída nas imagens de quadros precedentes e sucessivos a imagem básica de síntese, há uma alta possibilidade que a pessoa possa ser uma pessoa não relacionada.

Assumindo que uma imagem facial é detectada em uma imagem básica de síntese e a área da área facial ou o comprimento da linha diagonal dela é suficientemente pequena, se uma imagem na qual uma face não pode ser detectada na mesma posição é incluída nas imagens dos quadros precedendo e sucedendo a imagem básica de síntese, há uma alta possibilidade que a pessoa é uma pessoa não relacionada. Quando isto informa que a área facial ou o comprimento de linha diagonal é suficientemente pequena, isto significa que a área facial ou o comprimento é igual à ou menor do que um I / 10 da área da imagem inteira ou o do comprimento da linha diagonal da imagem.

Quando múltiplas imagens faciais são encontradas em uma imagem básica de síntese, se uma área de uma imagem facial de uma determinada pessoa é suficientemente menor do que áreas de imagens faciais de outras pessoas, a pessoa pode ser estimada como uma pessoa que é imagem não esperada no plano de fundo. A imagem facial é igual à ou menor do que, por exemplo, uma 1 / 2 de um máximo de área facial em uma imagem. Mesmo neste caso, se uma imagem na qual uma face não pode ser detectada na mesma posição é incluída nas imagens de quadros precedendo e sucedendo a imagem básica de síntese, há uma alta possibilidade que a pessoa seja uma pessoa não relacionada.

Através, por exemplo, do precedente processamento, uma pessoa não relacionada pode ser automaticamente discriminado, e uma área objeto de síntese com o um mostrado na seção (c) da Fig. 13 pode ser designado.

Quando uma diferença em intensidade de luz, em luminosidade, ou em sombra é detectada em uma imagem básica de síntese, se uma área exibindo uma diferença marcada é encontrada, a área pode ser considerada como uma área objeto de síntese. Assim sendo, uma área objeto de síntese como o um mostrado na seção (d) da Fig. 13 pode ser designado.

A presença de uma imagem parcialmente borrada em uma imagem básica de síntese pode ser discriminada comparando partes da imagem, que representam linhas de contorno de tópico, cada uma com a outra em termos de nitidez. Por exemplo, assumindo que um tópico tendo uma nítida linha de contorno e um tópico tendo uma linha de contorno não nítida co-existem, um tópico tendo uma linha de contorno não nítido é reconhecida como uma parte de imagem borrada derivada a partir de uma comprimento focal não coincidente. A área pode ser considerada como uma área objeto de síntese. Assim sendo, uma área objeto de síntese como o um mostrado na Fig.

14 pode ser designada.

A adoção de, por exemplo, a técnica anterior toma possível designar uma área objeto de síntese como designação automática. Naturalmente, outras técnicas para designação automática são concebíveis. Quando uma área de objeto de sínteses ou múltiplas áreas objeto de síntese são designadas através de designação automática, uma imagem contendo as áreas objeto de síntese como, por exemplo, as umas mostradas na Fig. 13 ou Fig. 14 pode ser exibida na ou emitida para a unidade de exibição 2 de modo a solicitar a um usuário decidir se processamento de síntese deve ser efetuado em cada uma das áreas do objeto de síntese. Neste caso, o usuário m em termos de manipulação entra OK ou Cancela em relação à execução de sínteses para cada uma das áreas objeto de síntese exibidas,e assim sendo finaliza cada uma das áreas do objeto de síntese.

Quando uma área objeto de síntese é de forma manual designada, uma imagem básica de síntese é exibida na unidade de exibição 2. Um usuário efetua uma manipulação para designar uma área na imagem básica de síntese como a área objeto de síntese. O usuário efetua a manipulação para designar uma área de acordo com um método para manipular uma almofada de toque, um painel de toque, ou um cursor ou apontador, ou um método para entrar um valor numérico.

Fig. 15, Fig. 16, Fig. 17, e Fig. 18 mostram exemplos de entrada de designação de entrada. Um quadrado da grade em cada um dos desenhos vai expressar um dos pixéis constituindo uma imagem.

Seção (a) da Fig. 15 mostra um exemplo no qual quando um usuário designa duas posições Pl e P2 em uma tela através de entrada de manipulação, uma área retangular tendo os pixéis, que estão localizados nas posições Pl e P2, como pontos diagonais dele é considerado como uma área objeto de síntese AR.

Seção (b) da Fig. 15 mostra um exemplo na qual quando um usuário designa uma posição Pl em uma tela através de entrada de manipulação e entra um valor de um raio r, uma área de pixéis de uma parte sombreada contida em um círculo do raio r tendo o pixel na posição Pl como o centro dele é considerado como uma área objeto de síntese AR. Seção (a) da Fig. 16 mostra um exemplo na qual quando um usuário designa quatro posições Pl, P2, P3, e P4 em uma tela através de entrada de manipulação, uma área substancialmente elíptica de pixéis área de uma parte sombreada contendo os pixéis nas posições Pl, P2, P3, e P4 é considerado como uma área objeto de síntese AR.

Seção (b) da Fig. 16 mostra um exemplo na qual quando um usuário designa três ou mais posições arbitrárias, por exemplo, cinco posições Pl, P2, P3, P4, e P5 em uma tela através de entrada de manipulação, um pixel de uma parte sombreada contido em um intervalo delimitado ligando os pixéis nas posições Pl, P2, P3, P4, e P5 com linhas retas é considerado como uma área objeto de síntese AR.

Seção (a) da Fig. 17 mostra um exemplo na qual quando um usuário desenha uma curva fechada L em uma tela através de entrada de manipulação, uma área de pixel de uma parte sombreada contido em um intervalo determinado com a curva fechada L é considerada como uma área objeto de síntese AR.

Seção (b) da Fig. 17 mostra um exemplo na qual quando um usuário desenha uma curva fechada L em uma tela através de entrada de manipulação, uma área de pixel de uma parte sombreada excluindo pixéis contidos em um intervalo determinado com a curva fechada L é considerada como uma área objeto de síntese AR.

Seções (a) e (b) da Fig. 18 mostram um exemplo na qual um usuário designa uma pessoa em uma imagem. Como mostrado na seção (a) da Fig. 18, a posição Pl é entrada de modo a designar uma determinada pessoa na imagem. Responsivamente, uma área de uma imagem facial da pessoa na posição Pl é identificada, e uma área da imagem facial da pessoa designada é, como mostrado na seção (b) da Fig. 18, considerada como uma área objeto de síntese AR.

Designação de uma área objeto de síntese pode ser alcançada como designação manual de acordo com, por exemplo, a técnica mencionada acima. Naturalmente, outras técnicas para designação manual são concebíveis.

No passo F203 na Fig. 12, a unidade de análises / sínteses de imagem 12 efetua processamento de designação de uma área objeto de síntese AR através da designação automática ou designação manual mencionada acima. No passo F204, a unidade de análises / sínteses de imagem 12 verifica se uma área objeto de síntese AR foi designada.

Por exemplo, quando qualquer das várias análises de imagem é efetuada como designação automática, se uma área de pixel a ser considerado como uma área objeto de síntese não é encontrada, Área Objeto de Síntese Não Encontrada é identificada. Mesmo quando uma área de objeto se síntese ou múltiplas áreas objeto de síntese são designadas através de designação automática, se um usuário efetua uma manipulação de cancelamento porque processamento de síntese não é necessário para todas as áreas de objeto de

r _

síntese, Area Objeto de síntese Não Encontrada é identificada.

Ainda, quando designação manual é realizada, se um usuário não efetua entrada de área porque uma área a ser sintetizada com uma área básica sintetizada exibida (a saber, uma área que um usuário quer retocar) não é encontrada, ou se o usuário efetua uma manipulação de cancelamento do próprio processamento de síntese, Área Objeto de Síntese Não Encontrada é identificada.

r _

Quando Area Objeto de Síntese Não Encontrada é identificada, uma notificação de Síntese Não Encontrada é transmitida, no passo F205, para o controlador de sistema 10 porque processamento de síntese não é necessário para dados da imagem capturada designado desta vez pelo controlador de sistema 10. O processamento mencionado na Fig. 12 é terminado.

Quando uma ou mais áreas objeto de síntese são designados, o processamento da unidade de análises / sínteses de imagem 12 prossegue para o passo F206, e uma variável de controle de processamento x é configurada para 1 para processamento subseqüente.

No passo F207, o processamento para recuperar uma imagem 5 parcial (dados de pixel) para síntese a partir de um outro quadro é realizado para uma área objeto de síntese AR (x). A saber, dados de pixel a serem encaixados na primeira área objeto de síntese ARl fora de uma área objeto de síntese ou múltiplas áreas objeto de síntese designadas no passo F203 são recuperados.

O processamento também presumivelmente cai em

processamento automático e processamento manual.

No caso de processamento automático, a unidade de análises / sínteses de imagem 12 analisa o conteúdo de uma imagem em uma área em cada um dos quadros outros do que uma imagem básica de síntese que corresponde a uma área objeto de síntese AR, e extrai dados de pixel para síntese na maneira apresentado como um exemplo abaixo.

Por exemplo, quando uma imagem facial mostrando os olhos fechados como a imagem mostrada na seção (a) da Fig. 13 é considerada como uma área objeto de síntese AR, a imagem facial na qual os olhos podem 20 ser detectados, é recuperada a partir de uma correspondente área de pixel em um quadro precedendo ou sucedendo a unidade básica de síntese. Quando um quadro na qual a imagem facial na área de pixel correspondendo à área objeto de síntese AR é a imagem facial na qual os olhos estão abertos é detectados, os dados de pixel na área de pixel no quadro é considerado como dados de 25 pixel a ser encaixado na área objeto de síntese AR.

Quando a imagem facial na qual uma pessoa não olha para a frente é reconhecida como uma área objeto de síntese AR como uma área objeto de síntese ARl na seção (b) da Fig. 13, uma imagem facial na qual a pessoa olha para a frente é recuperada de uma correspondente área do pixel em um quadro precedendo ou sucedendo a imagem básica de síntese. Quando um quadro na qual uma imagem facial em uma área de pixel correspondendo a uma área objeto de síntese AR é a imagem facial na qual uma pessoa olha para a frente é detectada, os dados de pixel na área de pixel no quadro é 5 considerado como dados de pixel a serem encaixados em uma área objeto de síntese AR. Se uma pessoa olha para a frente pode ser reconhecida com base, por exemplo, nas posições dos globos oculares ou a relação posicionai entre os elementos (olhos, nariz, boca, ouvidos, e assim por diante) da face.

Quando uma imagem facial mostrando uma expressão 10 perturbada é considerada como uma área objeto de síntese AR similar a uma área objeto de síntese AR2 na seção (b) da Fig. 13, uma imagem facial mostrando um sorriso ou uma expressão normal é recuperada a partir de uma correspondente área de pixel em um quadro precedendo ou sucedendo a imagem básica de síntese. Quando um quadro na qual a imagem facial em 15 uma área de pixel correspondendo a uma área objeto de síntese AR é a imagem facial mostrando um sorriso ou uma expressão normal, é detectada, os dados de pixel na área de pixel no quadro é considerado como dados de pixel a ser encaixado na área objeto de síntese AR.

Quando uma área de um tópico desnecessário como uma 20 pessoa não relacionada mostrada na seção (c) da Fig. 13 é considerada como uma área objeto de síntese AR, um quadro na qual uma pessoa não relacionada ou o similar não é encontrado em uma correspondente área de pixel é recuperada a partir de um quadro precedendo ou sucedendo a imagem básica de síntese. Os dados de pixel na área de pixel no quadro são 25 considerados como dados de pixel a serem encaixados em na objeto de síntese AR.

Conforme mostrado na seção (d) da Fig. 13, quando uma área que é marcadamente diferente da outra em uma intensidade de luz, luminosidade, ou sombra é considerada como uma área objeto de síntese AR, um quadro na qual a diferença em uma intensidade de luz, luminosidade, ou sombra de uma correspondente área de pixel a partir de uma parte da imagem básica de síntese outro da qual uma área objeto de síntese AR é recuperada a partir dos quadros precedendo ou sucedendo a imagem básica de síntese. Os 5 dados de pixel na área de pixel no quadro recuperado são considerados como dados de pixel a ser encaixado na área objeto de síntese AR.

Como mostrado na Fig. 14, quando uma área borrada de um tópico com o qual um comprimento focal não é coincidente, é considerado como uma área objeto de síntese AR, um quadro no qual uma correspondente 10 área de pixel é uma imagem em foco, é detectada a partir dos quadros precedendo ou sucedendo a imagem básica de síntese. Os dados de pixel na área de pixel no quadro são considerados como dados de pixel a serem encaixados na área objeto de síntese AR.

Quando dados de pixel para síntese são recuperados através de processamento manual, exemplos descritos abaixo são concebíveis.

Por exemplo, uma imagem básica de síntese é exibida na ou emitida para a unidade de exibição 2, e dados de pixel em uma correspondente área em um outro quadro é seqüencialmente sintetizado com uma área objeto de síntese AR (x) e exibida. Por exemplo, quando a imagem 20 básica de síntese é um quadro F#l, uma correspondente área em um quadro F#2 é encaixada em uma área objeto de síntese ARI, e a imagem resultante é exibida. Daí em diante, uma correspondente área em um quadro F#3 é encaixado em uma área objeto de síntese ARl e a imagem resultante é exibida. Assim sendo, a área de pixel de uma área objeto de síntese AR (x) é 25 substituída seqüencialmente com pixéis em outros quadros, e as imagens resultantes são seqüencialmente exibidas tal que um usuário pode verificar as imagens. Quando o usuário efetua uma manipulação par determinar uma imagem apropriada, um quadro a ser sintetizado é finalizado, e os dados de pixel no quadro são considerados como dados de pixel a serem encaixados na área objeto de síntese AR. As imagens sintéticas de uma área objeto de síntese AR (x) com outros quadros podem não ser seqüencialmente exibidas, mas podem ser listadas tal que um usuário pode, de forma simultânea, comparar as imagens cada uma com a outra a fim de efetuar uma manipulação de seleção.

Para seqüencialmente exibir as imagens sintéticas com respectivos quadros, vai fazer uma interface de usuário permitindo quadros sintéticos mudarem junto com uma manipulação do usuário envolvendo uma profundidade de tempo. Por exemplo, uma barra de rolagem para rolar em uma direção com base no tempo é exibida, e a um usuário é permitido designar um movimento na direção com base no tempo usando uma pre- determinada parte de operação ou efetuando uma manipulação que é um comportamento do usuário. Quadros cada um dos quais tem dados de pixel encaixados em uma área objeto de síntese AR(x) são mudados efetuando sucessivas manipulações na direção com base no tempo. Assim sendo, uma imagem cuja área objeto de síntese AR(x) sozinha avança ou atrasa na direção com base no tempo pode ser exibida. Eventualmente, o usuário pode determinar um apropriado quadro sintetizado.

Como para uma manipulação para designar um movimento na direção com base no tempo, por exemplo, um almofada de toque é incluída, e uma magnitude de movimento envolvendo um instante de tempo ou uma direção futura ou passada pode, de forma concebível, ser designado de acordo com uma magnitude de movimento (um magnitude de movimento de arrasto) ou uma direção de movimento a partir de um ponto tocado, Como para a direção, por exemplo, um movimento para a direita ou para cima é considerado como sendo positivo (direção futura), e um movimento para a esquerda ou para baixo é considerado como um movimento em uma direção negativa (direção passada).

Uma almofada de toque sensitiva à pressão pode ser incluído tal que uma magnitude de movimento considerando uma instante de tempo pode ser designado com a intensidade de uma pressão.

Como um comportamento do usuário, mover a cabeça ou uma manipulação de bater levemente o flanco do dispositivo de formação de imagem 1 montado na cabeça pode ser considerado como uma manipulação para designar uma magnitude de movimento ou uma direção dele.

Responsivamente para uma manipulação para designar uma magnitude de movimento ou uma direção dele, informação de diferença de tempo TM em cada quadro é referenciado de modo a determinar um quadro associado com a manipulação de designação. Uma imagem sintética é então produzida.

Se o resultado de recuperação dos dados de pixel para síntese efetuada responsivamente para análise automática ou manuseio manual no passo F207 revela que dados de pixel a serem encaixados como uma imagem parcial para síntese em uma área objeto de síntese AR é encontrada, a unidade de análises / sínteses de imagem 12 prossegue do passo F208 para o passo F209, e efetua processamento de síntese de uma área objeto de síntese AR (x). Especificamente, dados de pixel em uma área objeto de síntese AR (x) em uma imagem básica de síntese é substituída com dados de pixel em um outro quadro recuperado. Por exemplo, como para a área objeto de síntese ARl na seção (a) da Fig. 13, quando uma correspondente área em um quadro F#4 fora das imagens de quadros mostrados na Fig. 5 é selecionada como uma imagem parcial para síntese, os dados de pixel em uma área no quadro F#4 correspondendo a uma área objeto de síntese AR (x) são encaixados na área objeto de síntese AR (x) na imagem básica de síntese (quadro F#l).

Se uma apropriada imagem parcial para síntese não é encontrada durante o processamento para recuperar o conteúdo de uma imagem de um outro quadro efetuado no passo F207, o processamento prossegue do passo F208 para o passo F210. A área de objeto de síntese AR (x) é reconhecida como Síntese Desabilitada. No passo F211, se uma variável de controle de processamento x igual a n é reconhecida. Aqui, n denota o número de áreas objeto de síntese AR designados no passo F203. A saber, se processamento é completado para todas as áreas objeto de síntese designadas AR é verificada.

Se uma área objeto de síntese não processada AR é encontrada, a variável de controle de processamento x é incrementada _no passo F212 e processamento retoma ao passo F207. O processamento é então efetuado na próxima área objeto de síntese AR (x) na mesma maneira.

Quando x = n é estabelecido no passo F211, o processamento em todas as áreas objeto de síntese AR designadas no passo F203 é completado. No caso, se todas as áreas objeto de síntese AR são reconhecidas como Síntese

Desabilitada no passo F210 é verificado no passo F213. Se todas as áreas objeto de síntese AR são reconhecidas como Síntese Desabilitada, o processamento da unidade de análises / sínteses de imagem 12 prossegue para o passo F215, e uma notificação de Síntese Desabilitada é transmitida para o controlador de sistema 10.

Se processamento de síntese do passo F209 é efetuado em pelo menos, uma área objeto de síntese AR, o processamento prossegue para o passo F214 e um notificação de Sínteses Completada é transmitida ao controlador de sistema 10. O processamento descrito na Fig. 12 é então terminado.

Por exemplo, através das partes do processamento a ser efetuado pelo controlador de sistema 10 e unidade de análises / sínteses de imagem 12 respectivamente como mencionado na Fig. Ile Fig. 12, dados de imagem sintéticos com os mostrados na seção (b) da Fig. 4, seção (b) da Fig.

7, seção (b) da Fig. 8, seção (c) da Fig. 9, ou seção (b) da Fig. 10 são produzidos e armazenados na unidade de armazenamento 14 como especificado como dados de imagem sintéticos mVD na seção (b) da Fig. 6. 5. Vantagem da modalidade, variantes, e exemplos estendidos

De acordo com a modalidade mencionada acima, um quadro de dados da imagem capturada é considerada como uma imagem básica de síntese, e processamento de síntese para substituir dados de pixel em uma área objeto de síntese AR, que é designada na imagem básica de síntese, com dados de imagem em um outro quadro é realizado. Isto tem a vantagem que uma imagem capturada cujo nível de satisfação do usuário é alto pode ser prontamente produzida.

Por exemplo, em uma fotografia de grupo, uma imagem sintética na qual todas as pessoas têm seus olhos deixados abertos, ter expressões suaves, ou olham para a frente, ou uma imagem sintética na qual todas as pessoas aparecem não estar borrados pode ser prontamente produzida. Uma imagem tendo um tópico desnecessário eliminado dela ou uma imagem que dá um sentido de unidade sobre uma tela inteira pode ser prontamente produzida. Por conseguinte, mesmo quando um usuário pensa que ele / ela falhou na formação de imagem, uma imagem pode ser facilmente retocada. Um nível de satisfação do usuário para fotografia pode ser melhorado.

Ainda, uma imagem interessante pode ser produzida através de manuseio manual no processamento de síntese. O potencial de um usuário geral na fotografia ou o intervalo de uso de uma imagem podem ser expandidos.

Dados de imagem sintéticos são armazenados, por exemplo, na unidade de armazenamento 14. Quando os dados de imagem sintéticos são exibidos, uma preferível imagem capturada pode ser apresentada a um usuário.

Como para itens de dados de imagem sintéticos mVDl, mVD2, etc. produzidos, como listados na Fig. 6(b), baseado nos itens de dados da imagem capturada VD1, VD2, etc., o processamento para seqüencialmente exibir itens de dados de imagem responsivamente a uma manipulação do usuário, seqüencialmente exibindo os itens de dados de imagem automaticamente de acordo com um método de slide-show, ou listando os itens de dados de imagem na forma de imagens em miniatura, pode ser realizado.

A presente invenção não é limitada à modalidade mencionada acima. Várias variantes ou exemplos estendidos são concebíveis como exemplos da constituição do dispositivo de formação de imagem 1 ou exemplos de processamento dele.

Quando processamento de síntese é efetuado no passo F209 na Fig. 12, não somente dados de pixel em uma área objeto de síntese AR são meramente substituídos com dados de pixel em um outro quadro mas também uma tentativa pode ser feita para produzir uma imagem sintética mais natural.

Especificamente, embora imagens de quadros em diferentes instantes de tempo são sintetizadas cada uma com a outra durante processamento de síntese, os pixéis em ambas, uma imagem corrente e uma imagem alvo pode estar combinadas (linearmente acopladas cada uma a outra) a uma área de fronteira de modo a aplanar a fronteira entre quadros (um quadro de uma imagem básica de síntese e um quadro a partir do qual dados de pixel para síntese é extraído).

De modo a aplanar a fronteira entre imagens em diferentes instantes de tempo, pixéis em um quadro intermediário (temporariamente intermediário) entre um quadro que é uma imagem básica de síntese e um quadro a partir do qual dados de pixel para síntese são extraídos podem ser usados tal que o tempo envolvendo uma área de fronteira será mais contínuo para tempos adjacentes.

Conforme mostrado na seção (a) da Fig. 19, assume que áreas objeto de síntese ARl e AR2 são designadas em uma determinada imagem básica de síntese. Como mostrado na seção (b) da Fig. 19, os itens de dados de pixel extraídos a partir de outros quadros são alocados para as áreas objeto de síntese ARl e AR2 respectivamente mostrados como partes sombreadas. Pixéis em um quadro intermediário são alocados para o perímetro de cada uma das áreas objeto de síntese ARl e AR2.

Por exemplo, assumindo que um imagem básica de síntese é um quadro F#1 e dados de pixel em um quadro #3 são alocados para uma área objeto de síntese ARI, dados de pixel em um quadro #2 são alocados como dados de pixel MA no perímetro da área objeto de síntese ARl.

Assumindo que dados de pixel em um quadro #6 são alocados a uma área objeto de síntese AR2, dados de pixel em um quadro #4 são alocados como dados de pixel MAl no perímetro da área objeto de síntese AR2. Ainda, dados de pixel em um quadro #2 são alocados como dados de pixel MA2 no perímetro dos dados de pixel MAl.

Neste caso, uma diferença de tempo na fronteira em uma posição sintetizada é diminuída. Conseqüentemente, dados de imagem sintéticos representam uma imagem mais natural.

Em um outro quadro, o mesmo tópico pode não estar localizado em uma área de pixel correspondendo a uma área objeto de síntese AR em uma imagem básica de síntese por causa do movimento do tópico. Por exemplo, enquanto uma pessoa de um tópico está andando, se a pessoa é fotografada, uma gama de pixel que é uma área facial da pessoa difere de quadro à quadro.

Por conseguinte, por exemplo, um ponto de recurso de uma imagem pode ser extraído como uma área objeto de síntese AR, e uma posição em uma imagem de um outro quadro correspondendo ao posição em uma imagem básica de síntese pode ser corrigida.

Por exemplo, três pontos de recurso em uma imagem são usados para calcular uma matriz para movimento, rotação, ou ampliação (transformação de afinidade) a fim de alcançar correção. Quando uma imagem facial é um objeto, os olhos de uma face e a boca dela são preferencialmente adotados como os três pontos de recurso.

Um dispositivo de processamento de imagem da presente invenção é, presumivelmente, realizado como qualquer dos diversos dispositivos além do dispositivo de formação de imagem 1.

Fig. 20 mostra, como componentes de um dispositivo de processamento de imagem da presente invenção, um controlador de sistema servindo como meios de controle, uma unidade de aquisição de imagem 20, uma unidade de análises / sínteses de imagem 12, um processamento de preservação unidade 22, e uma unidade de saída de imagem 21.

Como qualquer de várias partes do equipamento incluindo, por exemplo, os componentes acima, o dispositivo de processamento de imagem da presente invenção pode ser realizado.

A unidade de aquisição de imagem 20 é uma região que adquire itens de dados da imagem capturada de múltiplos quadros capturados em diferentes pontos de tempo, isto é, itens de dados da imagem capturada que são objetos de processamento de síntese. No dispositivo de formação de imagem 1 da modalidade mencionada acima, a unidade de aquisição de imagem 20 é equivalente a uma unidade de formação de imagem 3 e unidade de controle de formação de imagem.

Aparte da região servindo como uma função de formação de imagem, a unidade de comunicação 15 que recebe os itens de dados da imagem capturada de múltiplos quadros, que são objetos de processamento de síntese, a partir do equipamento externo 70 pode agir como a unidade de aquisição de imagem 20. Naturalmente, uma unidade que recebe itens de dados da imagem capturada proveniente do equipamento externo 70 através de conexão a cabo vai fazer, ainda, um mecanismo de reprodução que efetua reprodução em um meio de gravação portátil, por exemplo, um disco óptico ou um cartão de memória e lê itens de dados da imagem capturada gravados no meio de gravação portátil pode agir como a imagem unidade de aquisição 20.

O que são referidos como itens de dados da imagem capturada de múltiplos quadros a serem adquiridos pela unidade de aquisição de imagem 20 pode ser múltiplos itens de dados de imagem fixa ou dados de figura em movimento.

A unidade de processamento de preservação 22 é uma região que efetua o processamento para preservar os dados de imagem sintéticos e é equivalente à unidade de armazenamento 14 na modalidade mencionada acima.

Quando dados da imagem capturada e dados de avaliação são transmitidos para o equipamento externo 70 de modo a executar preservação no equipamento externo 70, a unidade de comunicação 15 que efetua a transmissão é equivalente à unidade de processamento de preservação 22. Naturalmente, ou transmissão via rádio ou transmissão com fio será feita.

Na modalidade mencionada acima, a unidade de exibição 2 que exibe ou emite dados preservados da imagem capturada é equivalente à unidade de saída de imagem 21. Uma unidade de saída que emite um sinal de imagem para exibir em um dispositivo de monitoração externa pode atuar como a unidade de saída de imagem 21.

Uma unidade de comunicação 15 que transmite dados preservados da imagem capturada para o equipamento externo 70 sobre um cabo ou por rádio pode agir como a unidade de saída de imagem 21.

Um mecanismo de gravação que grava dados preservados da

imagem capturada em um meio de gravação portátil tal que os dados da imagem capturada possam ser realizados a partir do dispositivo usando o meio de gravação portátil, pode agir como a unidade de saída de imagem 21.

Como mencionado acima, por exemplo, como a unidade de aquisição de imagem 20, unidade de saída de imagem 21, e unidade de processamento de preservação 22, formas completamente diversas são presumidas. Em consideração a este ponto, a presente invenção pode ser realizada como não somente um dispositivo de formação de imagem tal como uma câmera fixa ou um câmera de vídeo mas também como um dispositivo de exibição monitor, um dispositivo de comunicação, ou um dispositivo de preservação de dados de imagem que não tem uma função de formação de imagem, ou um dispositivo de edição de imagem que efetua síntese de imagem.

O que é referido como itens de dados da imagem capturada de múltiplos quadros a serem usados para produzir dados de imagem sintéticos pode não ser itens de dados de imagem de quadro capturados substancialmente continuamente mas podem ser itens de dados de imagem capturados em tempos consideravelmente discretos.

Por exemplo, no dispositivo de formação de imagem usável 1 como o um mostrado na seção (a) ou (b) da Fig. 1, quando formação de imagem é efetuada regularmente, itens de dados da imagem capturada de várias cenas que um usuário observa durante atividades de um dia podem ser adquiridos, Tais itens de dados da imagem capturada de múltiplos quadros que são um pouco não relacionado um ao outro podem ser usados para efetuar processamento de síntese. Por exemplo, uma imagem sintética tendo as cenas do dia sintetizadas cada uma com a outra na forma de uma colagem pode ser produzida.

Igualmente, por exemplo, quando os itens de dados da imagem capturada seqüencialmente capturados em um local de diversão ou o similar são adquiridos através de comunicação usando um serviço de compartilhamento de imagem ou o similar, tais itens de dados da imagem capturada e itens de dados da imagem capturada que um usuário capturou no mesmo local de diversão pode, de forma concebível, ser usados para efetuar processamento de síntese. Produção de dados de imagem sintéticos como uma imagem fixa FIG. descrita. A produção pode ser estendida para produção de dados de imagem sintéticos como uma figura em movimento.

Por exemplo, a imagem sintética na qual a maneira do progresso do tempo em uma área de pixel considerada como uma área objeto de síntese AR pode ser mudada a partir da maneira do progresso do tempo na área em volta pode ser realizada. Especificamente, somente uma área objeto de síntese AR em cada um dos quadros constituindo uma figura em movimento é substituída com dados de pixel em um quadro diferente. Assim sendo, a imagem sintética que mostra em parte de uma tela, uma cena de um tempo posterior ou uma cena de um tempo anterior, ou um progresso de tempo rápido ou um progresso de tempo lento pode ser produzida.

Ainda, a presente invenção pode ser aplicada a uma imagem de alta dimensão tal como uma imagem tri-dimensional.

Claims

1. Dispositivo de processamento de imagem, caracterizado pelo fato de compreender: - uns meios de aquisição que adquirem itens de dados da imagem capturada de múltiplos quadros, que são capturados em diferentes tempos, como itens de dados da imagem capturada a serem usados para processamento de síntese; - uns meios de síntese de imagem que designam uma área objeto de síntese em um determinado quadro dos múltiplos quadros adquiridos pelos meios de aquisição, e produz dados de imagem sintéticos efetuando processamento de síntese para substituir dados de pixel em uma área objeto de síntese com dados de pixel em um outro quadro fora dos múltiplos quadros; e - uns meios de processamento de preservação que efetuam processamento de preservação nos dados de imagem sintéticos produzidos pelos meios de síntese de imagem.

2. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de aquisição incluem uma unidade de formação de imagem que efetua captura de imagem, e adquirem dados da imagem capturada de pelo menos, um quadro, que é incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese, através de formação de imagem pela unidade de formação de imagem.

3. Dispositivo de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que os meios de aquisição adquirem itens de dados da imagem capturada de múltiplos quadros, que são usados para o processamento de síntese, através de formação de imagem pela unidade de formação de imagem.

4. Dispositivo de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de formação de imagem é formada usando um sensor de CCD ou um sensor de CMOS sensor como um sensor de imagem.

5. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de aquisição incluem uma unidade de comunicação que se comunica com equipamento externo, e recebem e adquirem dados da imagem capturada de pelo menos, um quadro, que é incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese, através de comunicação com o equipamento externo pela unidade de comunicação.

6. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de aquisição incluem uma unidade de reprodução que reproduz informação a partir de um meio de gravação portátil, e adquirem dados da imagem capturada de pelo menos, um quadro, que é incluído nos itens de dados da imagem capturada a serem usados para o processamento de síntese, através de reprodução a partir do meio de gravação portátil pela unidade de reprodução.

7. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de processamento de preservação incluem uma unidade de gravação que grava informação em um meio de gravação, e grava, como o processamento de preservação, os dados de imagem sintéticos no meio de gravação.

8. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de processamento de preservação incluem uma unidade de comunicação que se comunica com equipamento externo, e transmite, como o processamento de preservação, os dados de imagem sintéticos para o equipamento externo.

9. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de síntese de imagem designam a área objeto de síntese através de processamento de análise de imagem.

10. Dispositivo de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que os meios de síntese de imagem discriminam todas ou parte da abertura ou fechamento dos olhos em uma imagem facial de uma pessoa contida em uma imagem de quadro, a expressão facial, a direção de uma face, e a cor dos olhos através de processamento de análise de imagem, e designam a área objeto de síntese nas bases do resultado da discriminação.

11. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de ainda compreender meios de entrada de operação, onde os meios de síntese de imagem designam a área objeto de síntese responsivamente a entrada efetuada nos meios de entrada de operação.

12. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os meios de síntese de imagem determinam um quadro a ser usado como um outro quadro através de processamento de análise de imagem efetuado em cada um dos múltiplos quadros, e pegam dados de pixel, que são sintetizados com a área objeto de síntese, a partir de determinado quadro.

13. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de ainda compreender um meio de entrada de operação, onde os meios de síntese de imagem selecionam um quadro a ser usado como um outro quadro dentre os múltiplos quadros responsivamente a entrada efetuada nos meio de entrada de operação, e pegam dados de pixel dados, que são sintetizados com a área objeto de síntese, a partir do quadro selecionado.

14. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de ainda compreender uns meios de saída de imagem que efetuam processamento de saída nos dados de imagem sintéticos.

15. Dispositivo de processamento de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que os meios de saída de imagem incluem uma unidade de exibição, e efetuam exibição ou emissão dos dados de imagem sintéticos na ou para a unidade de exibição, como o processamento de saída.

16. Dispositivo de processamento de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que os meios de saída de imagem incluem uma unidade de comunicação que se comunica com equipamento externo, e efetuam, como o processamento de saída, transmissão ou emissão dos dados de imagem sintéticos para equipamento externo através da unidade de comunicação.

17. Dispositivo de processamento de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que os meios de saída de imagem incluem uma unidade de gravação que grava informação em um meio de gravação portátil, e grava, como processamento de emissão, os dados de imagem sintéticos no meio de gravação portátil através da unidade de gravação.

18. Método de processamento de imagem, caracterizado pelo fato de compreender os passos de: - adquirir itens de dados da imagem capturada de múltiplos quadros, que são capturados em diferente tempos, como itens de dados da imagem capturada a serem usados para processamento de síntese; - designar uma área objeto de síntese em um determinado quadro dos múltiplos quadros adquiridos, e produzir dados de imagem sintéticos efetuando processamento de síntese para substituir dados de pixel em uma área objeto de síntese com dados de pixel em um outro quadro fora dos múltiplos quadros; e - efetuar o processamento de preservação nos dados de imagem sintéticos produzidos.