BRPI0808435A2 - Aparelho, método e sistema de processamento de imagem. - Google Patents

Aparelho, método e sistema de processamento de imagem. Download PDF

Info

Publication number
BRPI0808435A2
BRPI0808435A2 BRPI0808435-1A BRPI0808435A BRPI0808435A2 BR PI0808435 A2 BRPI0808435 A2 BR PI0808435A2 BR PI0808435 A BRPI0808435 A BR PI0808435A BR PI0808435 A2 BRPI0808435 A2 BR PI0808435A2
Authority
BR
Brazil
Prior art keywords
image
image data
unit
replacement
processing
Prior art date
Application number
BRPI0808435-1A
Other languages
English (en)
Inventor
Yoichiro Sako
Masaaki Tsuruta
Nozomu Ozaki
Itaru Kawakami
Yasuhide Hosoda
Masamichi Asukai
Taiji Ito
Akinobu Sugino
Hidehiko Sekizawa
Akane Sano
Kan Ebisawa
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of BRPI0808435A2 publication Critical patent/BRPI0808435A2/pt

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Description

“APARELHO, MÉTODO E SISTEMA DE PROCESSAMENTO DE IMAGEM”
Campo Técnico
A presente invenção relaciona-se a um aparelho de processamento de imagem, um método de processamento de imagem e um sistema de processamento de imagem que podem ser adotados em processamento de imagem executado em dados de imagem capturados. Fundamento da Técnica
Referência de Patente 1 - Publicação Patente Aberta ao Público Japonesa No. 2002-15223
Referência de Patente 2 - Publicação Patente Aberta ao Público Japonesa No. 2003-242410
Há sistemas conhecidos na arte relacionada que habilitam alteração de conteúdo de propaganda provido em uma tabuleta de jogo de computador, um quadro no fundo de uma radiodifusão de televisão em um estádio de esporte ou similar.
Referências de Patente 1 e 2 listadas acima cada uma expõe uma tecnologia que pode ser adotada ao alterar o modo de propaganda ou o tipo de propaganda.
Descrição da Invenção
Problemas a serem resolvidos pela invenção Como câmeras paradas digitais e câmeras de vídeo desfrutam popularidade sempre crescente como produtos de consumidor, até mesmo o usuário atual ordinário é capaz de capturar diversas imagens com facilidade em um ambiente recreativo. Além disso, o usuário típico hoje é capaz de editar uma imagem (uma imagem fotográfica parada ou uma imagem de vídeo) que ele capturou usando um computador pessoal ou similar e assim, as expectativas do usuário sobre o que ele pode fazer com imagens capturadas mudaram significativamente. Habilitando tipos sempre mais diversos de processamento de imagem no esforço do avanço tecnológico descrito acima assim para, por exemplo, permitir ao usuário obter informação de propaganda ou outro tipo de informação por uma imagem capturada ou escolher inserir informação na 5 imagem, um nível mais alto de conveniência de usuário será assegurado e imagens serão usadas em uma gama até mais ampla de aplicações de entretenimento.
Por conseguinte, um objetivo da presente invenção é aumentar o valor adicionado da imagem capturada processando a imagem capturada assim para prover informação ao usuário pela imagem, prover uma gama mais ampla de prazer de usuário, assegurar um nível mais alto de conveniência de usuário e similar.
Meios para resolver os problemas
Um aparelho de processamento de imagem de acordo com a 15 presente invenção inclui uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada, uma unidade de armazenamento de imagem de inserção na qual dados de imagem de inserção são armazenados, uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem expressa com os dados de imagem 20 capturada obtidos pela unidade de aquisição de imagem capturada, e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição executando processamento para substituir todos ou parte dos dados de pixel dentro da área de substituição com dados de imagem de inserção extraídos da unidade de armazenamento de imagem de inserção.
A unidade de aquisição de imagem capturada pode incluir uma
unidade de geração de imagem que captura uma imagem e obtém os dados de imagem capturada envolvendo a unidade de geração de imagem em operação de geração de imagem. A unidade de geração de imagem pode incluir um sensor de imagem constituído com um sensor de CCD ou um sensor de CMOS.
A unidade de aquisição de imagem capturada pode incluir uma unidade de comunicação envolvida em comunicação com um dispositivo de comunicação externo, e obtém os dados de imagem capturada recebidos 5 quando a unidade de comunicação se envolve em comunicação com o dispositivo de comunicação externo. É para ser notado que o dispositivo de comunicação externo como referido neste contexto pode ser um dispositivo de servidor ou quaisquer de vários tipos de dispositivos eletrônicos diferentes de um dispositivo de servidor, equipado invariavelmente com uma função de 10 comunicação.
A unidade de aquisição de imagem capturada pode incluir uma unidade de reprodução que reproduz informação armazenada em um meio de gravação portátil, e obtém os dados de imagem capturada quando a unidade de reprodução está envolvida em reprodução do meio de gravação portátil.
O aparelho de processamento de imagem pode ademais incluir
uma unidade de comunicação envolvida em comunicação com um dispositivo de comunicação externo e em tal caso, dados de imagem de inserção transmitidos do dispositivo de comunicação externo e recebidos na unidade de comunicação são armazenados na unidade de armazenamento de imagem de inserção.
O aparelho de processamento de imagem pode ademais incluir uma unidade de processamento de salvação que executa processamento de salvação para salvar os dados de imagem de substituição gerados pela unidade de geração de imagem de substituição e/ou informação de área de substituição 25 relacionada a uma área de substituição tendo sido fixada pela unidade de fixação de área de substituição.
A unidade de processamento de salvação pode incluir uma unidade de gravação que grava informação em um meio de gravação, e executa o processamento de salvação gravando os dados de imagem de substituição e/ou a informação de área de substituição no meio de gravação.
A unidade de processamento de salvação pode ademais incluir uma unidade de comunicação envolvida em comunicação com um dispositivo de comunicação externo, e executa o processamento de salvação transmitindo os dados de imagem de substituição e/ou a informação de área de substituição para o dispositivo de comunicação externo.
O aparelho de processamento de imagem ademais inclui uma unidade de saída de imagem que executa processamento de saída para os dados de imagem de substituição gerados pela unidade de geração de imagem de substituição.
A unidade de saída de imagem pode incluir uma unidade de exibição e, para o processamento de saída, exibe-produz os dados de imagem de substituição na unidade de exibição.
A unidade de saída de imagem pode ademais incluir uma unidade de comunicação que se envolve em comunicação com um dispositivo de comunicação externo, e para o processamento de saída, transmite-produz os dados de imagem de substituição para o dispositivo de comunicação externo pela unidade de comunicação.
A unidade de saída de imagem pode incluir uma unidade de gravação que grava informação em um meio de gravação portátil, e executa o processamento de saída gravando pela unidade de gravação os dados de imagem de substituição no meio de gravação portátil.
Além disso, a unidade de fixação de área de substituição detecta uma imagem específica nos dados de imagem capturada executando processamento de análise de imagem nos dados de imagem capturada e fixa a área de substituição baseado na imagem detectada.
Os dados de imagem de inserção podem expressar uma imagem de propaganda, uma imagem de texto de mensagem ou uma imagem de texto de tradução. Um método de processamento de imagem de acordo com a presente invenção inclui as etapas de: obter dados de imagem capturada, fixar uma área de substituição dentro de uma imagem expressa com os dados de imagem capturada obtidos, Ier dados de imagem de inserção armazenados e 5 gerar dados de imagem de substituição substituindo todos ou parte dos dados de pixel na área de substituição com os dados de imagem de inserção tendo sido extraídos.
Um sistema de processamento de imagem de acordo com a presente invenção habilita comunicação entre um aparelho de processamento 10 de imagem e um dispositivo de servidor. O aparelho de processamento de imagem inclui uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada, uma unidade de recepção que recebe dados de imagem de inserção transmitidos do dispositivo de servidor, uma unidade de armazenamento de imagem de inserção na qual os dados de imagem de 15 inserção tendo sido recebidos na unidade de recepção são armazenados, uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem expressa com os dados de imagem capturada obtidos pela unidade de aquisição de imagem capturada, e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição executando 20 processamento para substituir todos ou parte dos dados de pixel dentro da área de substituição com dados de imagem de inserção extraídos da unidade de armazenamento de imagem de inserção. O dispositivo de servidor inclui uma unidade de transmissão que transmite dados de imagem de inserção ao aparelho de processamento de imagem.
Um aparelho de processamento de imagem de acordo com a
presente invenção inclui uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada, uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem expressa com os dados de imagem capturada obtidos pela unidade de aquisição de imagem capturada, e uma unidade de processamento de salvação que executa processamento de salvação para salvar os dados de imagem capturada e informação de área de substituição relacionada à área de substituição fixada pela unidade de fixação de área de substituição.
5 Um aparelho de processamento de imagem de acordo com a
presente invenção inclui uma unidade de gravação/reprodução que grava e reproduz dados de imagem capturada e informação de área de substituição relacionada a uma área de substituição fixada para os dados de imagem capturada correlatando os dados de imagem capturada e a informação de área 10 de substituição entre si, uma unidade de armazenamento de imagem de inserção na qual dados de imagem de inserção são armazenados e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição obtendo os dados de imagem capturada e a informação de área de substituição da unidade de gravação/reprodução e executando processamento 15 nos dados de imagem capturada obtidos para substituir todos ou parte dos dados de pixel na área de substituição indicada pela informação de área de substituição com dados de imagem de inserção extraídos da unidade de armazenamento de imagem de inserção.
De acordo com a presente invenção descrita acima, uma área 20 de substituição é fixada dentro de uma imagem expressa com os dados de imagem capturada. Uma área de pixel contendo conteúdo de imagem que não seria afetado grandemente por processamento de conteúdo de imagem, por exemplo, pode ser selecionada como a área de substituição. Tal área de pixel pode ser, por exemplo, uma área de imagem onde um quadro está presente, 25 uma área de imagem onde o céu está presente, uma área de imagem contendo texto ou similar dentro da imagem.
Os dados de imagem de substituição são gerados por processamento de substituição para substituir todos ou parte dos dados de pixel na área de substituição com dados de imagem de inserção. Os dados de imagem de inserção são dados de imagem contendo, por exemplo, texto, gráficos ou similar, tal como uma propaganda, uma mensagem ou uma tradução.
Efeito da Invenção
De acordo com a presente invenção, dados de imagem de substituição são gerados para prover vários tipos de informação tais como um propaganda, uma mensagem e texto de tradução por processamento de imagem executado em dados de imagem capturada assegurando que a imagem resultante não será alterada drasticamente. Uma vantagem é assim alcançada visto que o valor adicionado da imagem capturada é aumentado sem afetar grandemente o conteúdo de imagem.
Breve Descrição dos Desenhos
Figura IA- Uma ilustração apresentando uma vista externa de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura IB- Uma ilustração apresentando uma vista externa de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura IC- Uma ilustração apresentando uma vista externa de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura ID- Uma ilustração apresentando uma vista externa de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 2 - Um diagrama de bloco de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 3A - Uma ilustração apresentando um modo de operação de sistema de acordo com uma concretização da presente invenção.
Figura 3B - Uma ilustração apresentando um modo de operação de sistema de acordo com uma concretização da presente invenção. Figura 3 C - Uma ilustração apresentando um modo de operação de sistema de acordo com uma concretização da presente invenção.
Figura 4 - Um diagrama de bloco apresentando o dispositivo de servidor de acordo com uma concretização da presente invenção.
Figura 5A - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 5B - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 5C - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 6A - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 6B - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 6C - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 7A - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 7B - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção. Figura IC- Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 8A - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 8B - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção
Figura 8C - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 9A - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção
Figura 9B - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura 9C - Uma ilustração mostrando um exemplo de uma imagem de substituição de acordo com uma concretização da presente invenção.
Figura IOA - Uma ilustração mostrando uma operação de provisão de dados de imagem de inserção de acordo com uma concretização da presente invenção.
Figura IOB- Uma ilustração mostrando uma operação de provisão de dados de imagem de inserção de acordo com uma concretização da presente invenção.
Figura IIA - Uma ilustração mostrando uma operação de provisão de dados de imagem de inserção de acordo com uma concretização da presente invenção. Figura IlB - Uma ilustração mostrando uma operação de provisão de dados de imagem de inserção de acordo com uma concretização da presente invenção.
Figura IlC - Uma ilustração mostrando uma operação de provisão de dados de imagem de inserção de acordo com uma concretização da presente invenção.
Figura 12 - Uma ilustração de um formato de salvação de imagem de acordo com uma concretização da presente invenção.
Figura 13 - Uma ilustração de um formato de salvação de imagem de acordo com uma concretização da presente invenção.
Figura 14 - Um fluxograma de um exemplo de processamento
I da análise/substituição de imagem de acordo com uma concretização da presente invenção.
Figura 15 - Um fluxograma de processamento de fixação de área de substituição de um exemplo de processamento II da análise/substituição de imagem de acordo com uma concretização da presente invenção.
Figura 16 - Um fluxograma de processamento de substituição de imagem de um exemplo de processamento III da análise/substituição de imagem de acordo com uma concretização da presente invenção.
Figura 17A - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 17B - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 17C - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 17D - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção Figura 18A - Um fluxograma apresentando um exemplo de um
procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 18B - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 19A - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 19B - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 19C - Um fluxograma apresentando um exemplo de um procedimento operacional de um aparelho de geração de imagem de acordo com uma concretização da presente invenção.
Figura 20 - Uma ilustração apresentando elementos estruturais
de um aparelho de processamento de imagem de acordo com uma concretização da presente invenção.
1 - aparelho de geração de imagem
2 - unidade de exibição
2a - unidade de painel de exibição
3 - unidade de geração de imagem
6 - unidade de controle de geração de imagem
7 - unidade de controle de exibição
10 - controlador de sistema 11 - unidade de entrada de operação 12 - unidade de análise/substituição de imagem
14 - unidade de armazenamento
15 - unidade de comunicação
17 - unidade de detecção de posição
18 - unidade de armazenamento de imagem de inserção
19 - unidade de processamento de tradução
20 - unidade de aquisição de imagem
21 - unidade de saída de imagem
22 - unidade de processamento de salvação
Melhor Modo para Executar a Invenção
O seguinte é uma descrição do aparelho de processamento de imagem, do método de processamento de imagem e do sistema de processamento de imagem alcançados em uma concretização da presente invenção. O aparelho de processamento de imagem é concretizado como um aparelho de geração de imagem na descrição seguinte. É para ser notado que como explicado em referência a variações e exemplos de aplicações expandidas, o aparelho de processamento de imagem na concretização da presente invenção pode ser um dispositivo diferente de um aparelho de geração de imagem.
Os vários aspectos da concretização são descritos na ordem
seguinte.
1) Exemplos de aparências que o aparelho de geração de imagem pode assumir
2) Aparelho de geração de imagem, configuração de sistema e dispositivo de servidor
3) Exemplos de imagens que podem ser geradas
4) Área de substituição e dados de imagem de inserção
5) Aquisição de dados de imagem de inserção 6) Exemplos de formatos de salvação de imagem
7) Exemplo I de processamento que pode ser executado pela unidade de análise/substituição de imagem
8) Exemplo II de processamento que pode ser executado pela unidade de análise/substituição de imagem
9) Exemplos de procedimentos operacionais
10) Vantagens da concretização, variações e aplicações
expandidas
1. Exemplos de aparências que o aparelho de geração de imagem pode assumir
Enquanto um aparelho de geração de imagem 1 na concretização pode adotar quaisquer de vários modos, exemplos de aparências pode assumir são apresentados nas Figuras ΙΑ, 1B, IC e 1D.
Figura IA mostra um aparelho de geração de imagem 1 15 concretizado como uma câmera de exibição do tipo 'óculos'. O aparelho de geração de imagem 1 inclui uma unidade de fixação assumindo uma estrutura de armação semicircular para percorrer, por exemplo, de um lado da cabeça do usuário pela parte de trás da cabeça do usuário para o outro lado da cabeça do usuário, e pode ser usada pelo usuário quando a armação é enganchada 20 sobre suas orelhas, como mostrado na figura.
Um lente de geração de imagem 3 a está disposta para enfrentar adiante, de forma que uma imagem de um tema no campo visual do usuário possa ser capturada.
Além disso, um par de unidades de painel de exibição 2a e 2a, 25 uma para o olho esquerdo e a outra para o olho direito, está fixado diretamente em frente aos olhos do usuário, isto é, as posições ocupadas pelas lentes em um par regular de óculos, quando o usuário usa o aparelho de geração de imagem. As unidades de painel de exibição 2a podem ser constituídas, por exemplo, com painéis de cristal líquido, e elas podem ser colocadas em um estado passante, isto é, um estado transparente, como mostrado na figura, ou um estado semitransparente controlando sua transmitância. 0 usuário é capaz de continuar em atividade normal enquanto usando o aparelho de geração de imagem com as unidades de painel de exibição 2 colocadas no estado passante.
E para ser notado que em vez de um par de unidades de painel de exibição 2a, cada uma correspondendo a um dos olhos do usuário, o aparelho de geração de imagem pode incluir uma única unidade de painel de exibição correspondendo apenas a um olho.
Enquanto o aparelho de geração de imagem 1 na Figura IB é
semelhante ao aparelho de geração de imagem no exemplo prévio visto que é usado na cabeça do usuário, o aparelho de geração de imagem na Figura IB não inclui nenhuma unidade de painel de exibição 2a. O usuário a prende isto a sua cabeça colocando uma unidade de fixação, por exemplo, sobre suas 15 orelhas. Um lente de geração de imagem 3a está disposta para enfrentar adiante, a fim de capturar uma imagem de um tema dentro do campo visual do usuário neste estado.
Enquanto as Figuras IA e IB cada uma mostra um aparelho de geração de imagem 1 que é usado na cabeça do usuário por uma unidade de 20 fixação do tipo 'óculos' ou tipo de dispositivo de cabeça, o aparelho de geração de imagem 1 pode ser usado pelo usuário por quaisquer de várias estruturas de fixação. Em outras palavras, pode ser usado pelo usuário por qualquer unidade de fixação, que pode ser uma unidade de fixação do tipo de dispositivo de cabeça, uma unidade de fixação do tipo de faixa de pescoço ou 25 uma unidade de fixação do tipo de gancho. Além disso, pode ser usado pelo usuário por um membro de fixação tal como um clipe, prendendo-o a um par regular de óculos, uma viseira ou um fone de cabeça. Além disso, não precisa ser usado na cabeça do usuário.
Enquanto a direção de geração de imagem é fixada para o campo visual do usuário, a lente de geração de imagem 3a pode ao invés ser montada para capturar uma imagem atrás do usuário, para o lado do usuário, acima ou abaixo do usuário usando o aparelho de geração de imagem, ou o aparelho de geração de imagem pode incluir uma pluralidade de sistemas de 5 geração de imagem usados para capturar imagens ao longo de uma única direção ou várias direções diferentes.
Além disso, o aparelho de geração de imagem pode incluir um mecanismo de ajuste de direção de geração de imagem que permite ajuste manual da direção visada ou ajuste automático da direção visada junto com uma única lente de geração de imagem 3a ou uma pluralidade de lentes de geração de imagem 3 a.
Figura IC mostra um aparelho de geração de imagem 1 assumindo a estrutura de uma câmera parada digital padrão.
Figura ID mostra um aparelho de geração de imagem 1 assumindo a estrutura de uma câmera de vídeo padrão.
A presente invenção pode ser concretizada como um aparelho de geração de imagem segurado à mão 1 tal como aquele mostrado na Figura IC ou 1 D. Enquanto qualquer figura mostra uma lente de geração de imagem
3 a sozinha, a câmera incluirá uma unidade de exibição de painel a ser usada como um monitor de geração de imagem e um dispositivo de exibição tal como um visor.
Será óbvio que um aparelho de geração de imagem capaz de capturar imagens paradas ou imagens de vídeo podem assumir um modo diferente daqueles mostrados nas Figuras ΙΑ, 1B, IC e 1D. Por exemplo, o 25 aparelho de geração de imagem Ia na concretização pode ser um dispositivo tal como um telefone portátil, um unidade de PDA (assistente digital pessoal) ou um computador pessoal portátil equipado com uma função de geração de imagem.
Além disso, um aparelho de geração de imagem assumindo quaisquer destes modos pode incluir um microfone para captar sons externos assim para obter, durante a operação de geração de imagem, um sinal de áudio a ser gravado junto com os dados de imagem. Pode ademais incluir uma unidade de alto-falante ou uma unidade de fone de ouvido pela qual o som é produzido.
Além disso, uma unidade emissora de luz constituída com, por exemplo, um LED (diodo emissor de luz) para iluminar o tema ou uma unidade de flash eletrônico para emitir luz de flash ao capturar uma imagem parada pode ser disposta perto da lente de geração de imagem 3 a.
2. Aparelho de geração de imagem, configuração de sistema e
dispositivo de servidor
Um exemplo estrutural para o aparelho de geração de imagem
1 é descrito em referência à Figura 2.
Um controlador de sistema 10, constituído com um 15 microcomputador que inclui, por exemplo, uma CPU (unidade de processamento central), uma ROM (memória somente para leitura), uma RAM (memória de acesso aleatório), uma unidade de memória não volátil e uma unidade de interface, funciona como uma unidade de controle que controla o aparelho de geração de imagem 1 inteiro. O controlador de sistema 20 10 envolve várias unidades em execução de operações específicas executando vários tipos de processamento aritmético e trocando por um barramento 13 sinais de controle e similar com as unidades individuais baseado em um programa contido na ROM embutida ou similar.
Uma unidade de geração de imagem 3 inclui um sistema óptico de geração de imagem, uma unidade de sensor de imagem e uma unidade de processamento de sinal de geração de imagem.
O sistema óptico de geração de imagem na unidade de geração de imagem 3 inclui um sistema de lente constituído com um lente de geração de imagem 3a como quaisquer daquelas mostradas nas Figuras IA por 1D, uma abertura, uma lente de zoom, uma lente de foco e similar, um sistema de acionamento que envolve o sistema de lente de operação de foco ou operação de zoom, e similar.
Além disso, a unidade de sensor de imagem na unidade de 5 geração de imagem 3 inclui um arranjo de sensor de imagem de estado de sólido que detecta luz de geração de imagem obtida no sistema óptico de geração de imagem e executa conversão fotoelétrica na luz de geração de imagem para gerar sinais de geração de imagem. O arranjo de sensor de imagem de estado sólido pode ser, por exemplo, um arranjo de sensor de 10 CCD (dispositivo acoplado por carga) ou um arranjo de sensor de CMOS (semicondutor de óxido de metal complementar).
A unidade de processamento de sinal de geração de imagem na unidade de geração de imagem 3, que inclui um circuito de retenção de amostra/AGC (controle de ganho automático) que executa ajuste de ganho e 15 conformação de forma de onda para os sinais obtidos pelo sensor de imagem de estado sólido e um conversor de A/D de vídeo, obtém dados de imagem capturada constituídos de dados digitais. Também executa processamento de equilíbrio de branco, processamento de brilho, processamento de sinal de cor, processamento de correção de nódoa e similar nos dados de imagem 20 capturada.
Dados de imagem capturada são obtidos por uma operação de geração de imagem executada na unidade de geração de imagem 3 equipada com o sistema óptico de geração de imagem, na unidade de sensor de imagem e na unidade de processamento de sinal de geração de imagem descrita acima. Os dados de imagem obtidos pela operação de geração de
imagem executada na unidade de geração de imagem 3 são processados a uma unidade de controle de geração de imagem 6.
A unidade de controle de geração de imagem 6 executa, sob controle executado por um controlador de sistema 10, processamento para converter os dados de imagem capturada a dados em um formato de dados de imagem específico e processamento para prover os dados de imagem capturada resultando da conversão de formato a um unidade de análise/substituição de imagem 12, uma unidade de armazenamento 14, uma 5 unidade de comunicação 15 ou uma unidade de controle de exibição 7 em correspondência à condição operacional.
A unidade de controle de geração de imagem 6 executa controle de liga/desliga para a operação de geração de imagem executada na unidade de geração de imagem 3, controle de acionamento para a lente de 10 zoom e a lente de foco no sistema óptico de geração de imagem, controle no nível de sensibilidade e a taxa de quadro de projeção na unidade de sensor de imagem, controle de parâmetro para os vários tipos de processamento executados na unidade de processamento de sinal de geração de imagem, operação de colocação para fixar processamento específico a ser executado e 15 similar, baseado em instruções providas do controlador de sistema 10.
A unidade de análise/substituição de imagem 12 executa processamento de análise de imagem e processamento de composição de imagem para os dados de imagem capturada obtidos no aparelho de geração de imagem 1.
Por exemplo, executa processamento para detectar uma área de
substituição na imagem analisando os dados de imagem capturada obtidos pela unidade de geração de imagem 3.
Além disso, gera dados de imagem de substituição por processamento de substituição de imagem (composição de imagem), por meio de que dados de pixel na área de substituição detectada são substituídos com dados de imagem de inserção.
O processamento executado pela unidade de análise/substituição de imagem, a área de substituição, os dados de imagem de inserção, os dados de imagem de substituição e similar serão descritos em detalhes mais tarde.
Dados de imagem capturada designados como o objetivo de processamento pela unidade de análise/substituição de imagem 12 podem ser dados de imagem diferentes de dados de imagem capturada (dados de imagem parada ou dados de imagem de vídeo) obtidos por operação de geração de imagem executada na unidade de geração de imagem 3 como descrito acima.
Isto é, o aparelho de geração de imagem 1 também é capaz de obter dados de imagem capturada resultando de operação de geração de imagem executada a um aparelho de geração de imagem externo. Por 10 exemplo, dados de imagem capturada obtidos por operação de geração de imagem executada a um aparelho de geração de imagem externo podem ser recebidos na unidade de comunicação 15 diretamente do aparelho de geração de imagem externo ou por um dispositivo de servidor.
Além disso, dados de imagem capturada gerados por operação 15 de geração de imagem executada a um aparelho de geração de imagem externo podem ser gravados em um meio de gravação portátil e os dados de imagem capturada podem então ser obtidos no aparelho de geração de imagem de tema quando os dados de meio de gravação portátil são reproduzidos na unidade de armazenamento 14 (contanto que a unidade de 20 armazenamento 14 seja equipada com uma função de reprodução habilitandoa reproduzir dados do meio de gravação portátil).
Em outras palavras, dados de imagem capturada recebidos na unidade de comunicação 15 ou dados de imagem capturada reproduzidos e extraídos de um meio de gravação portátil podem ser designados como o objetivo de processamento para a unidade de análise/substituição de imagem
12.
A unidade de análise/substituição de imagem 12 pode ser constituída com um microcomputador ou um DSP (processador de sinal digital) usado como um processador de vídeo. Além disso, enquanto Figura 2 mostra o controlador de sistema 10 constituído com um microcomputador e a unidade de análise/substituição de imagem como blocos separados independentes um do outro, as funções da unidade de análise/substituição de imagem 12 podem ao invés ser providas em software iniciado dentro do controlador de sistema 10.
O aparelho de geração de imagem 1 provê usuário com exibição por uma unidade de exibição 2 e a unidade de controle de exibição 7.
A unidade de exibição 2 inclui uma unidade de painel de exibição 2a constituída com um painel de cristal líquido ou similar como descrito anteriormente e uma unidade de acionamento de exibição que executa acionamento de exibição para a unidade de painel de exibição 2a.
A unidade de acionamento de exibição é constituída com um circuito de acionamento de pixel pelo qual dados de imagem providos da unidade de controle de geração de imagem 6 são apresentados em exibição na 15 unidade de painel de exibição 2a, que pode ser constituída com uma unidade de exibição de cristal líquido. O circuito de acionamento de pixel apresenta exibição na unidade de painel de exibição 2a aplicando sinais de acionamento gerados baseado em sinais de vídeo para pixéis individuais arranjados em um padrão de matriz na unidade de painel de exibição 2a com temporização de 20 acionamento horizontal/vertical predeterminada.
Sob controle executado pelo controlador de sistema 10, a unidade de controle de exibição 7 aciona o circuito de acionamento de pixel na unidade de exibição 2 para apresentar uma exibição específica na unidade de painel de exibição 2a.
Isto é, apresenta em exibição na unidade de painel de exibição
2a uma imagem de monitor capturada pela unidade de geração de imagem 3, uma imagem reproduzida baseada em dados de imagem capturada tomados na unidade de armazenamento 14, uma imagem expressa por dados recebidos na unidade de comunicação 15, vários tipos de caracteres ou similar. Também é capaz de ajustar o nível de luminância, executando correção de cor, ajustando o contraste, ajustando a nitidez (ênfase de borda) e
r
similar para a imagem de exibição. E ademais capaz de gerar uma imagem aumentada, aumentando parte dos dados de imagem, gerar uma imagem 5 reduzida, executar processamento de efeito de imagem para representar efeitos específicos tais como foco suave, mosaico, inversão de brilho, realçar parte da imagem em exibição (exibição de ênfase) e equilíbrio de cor global, separar ou compor imagens a fim de prover a imagem capturada em uma exibição divida, executar processamento para gerar imagens de caractere ou 10 imagens de gráfico e para incorporar uma imagem gerada na imagem capturada, e similar.
Além disso, a unidade de controle de exibição 7 é capaz de colocar a unidade de painel de exibição 2a em um estado passante (um estado transparente ou semitransparente) controlando a unidade de acionamento de 15 exibição baseado em uma instrução emitida pelo controlador de sistema 10 assim para controlar a transmitância a cada pixel na unidade de painel de exibição 2a.
A unidade de armazenamento 14 é usada para salvar vários tipos de dados. Pode ser usada para salvar, por exemplo, dados de imagem capturada ou dados de imagem de substituição a serem descritos em detalhes mais tarde.
A unidade de armazenamento 14 pode ser constituída com uma memória de estado sólido tal como uma RAM ou uma memória flash, ou pode ser constituída com um HDD (unidade de acionamento de disco rígido). Como uma alternativa, um acionamento de
gravação/reprodução correspondendo a um tipo específico de meio de gravação portátil tal como um cartão de memória com uma memória de estado sólido embutida, um disco óptico, um disco magneto-óptico ou um holograma, em vez de um meio de gravação embutido, pode ser usado como uma unidade de armazenamento.
Será óbvio que ambas uma memória embutida tal como uma memória de estado sólido ou um HDD e um acionamento de gravação/reprodução correspondendo a um tipo específico de meio de gravação portátil pode ser instalado.
Dados de imagem capturada ou dados de imagem de substituição são gravados e salvos na unidade de armazenamento 14 sob controle executado pelo controlador de sistema 10.
Além disso, extrai dados gravados nisso e provê os dados assim extraídos para o controlador de sistema 10, a exibição unidade de controle 7 e similar sob controle executado pelo controlador de sistema 10.
A unidade de comunicação 15 troca dados com um dispositivo de comunicação externo. A unidade de comunicação 15 pode se envolver em comunicação de rede com, por exemplo, um ponto de acesso de rede por 15 comunicação sem fios de curto alcance conforme um protocolo de LAN sem fios, o protocolo de Bluetooth ou similar, ou pode se envolver em comunicação sem fios direta com um dispositivo de comunicação externo equipado com a função de comunicação correspondente.
Além disso, pode se envolver em comunicação com o dispositivo de comunicação externo por conexão por fios com o dispositivo de comunicação externo, em vez de por conexão sem fios.
O dispositivo de comunicação externo com o qual a unidade de comunicação se envolve em comunicação pode ser, por exemplo, um dispositivo de servidor 70 ou um dispositivo externo 80 tal como um dispositivo de exibição ou um dispositivo de armazenamento a ser descrito mais tarde.
Uma unidade de detecção de posição 17 está instalada no aparelho de geração de imagem 1.
A unidade de detecção de posição 17 pode ser, por exemplo, uma unidade de recepção de GPS. A unidade de recepção de GPS recebe sinais de rádio de satélites de GPS (sistema de posicionamento global) e produz informação de latitude/longitude indicando a posição atual ao controlador de sistema 10.
5 E para ser notado que a unidade de detecção de posição 17
pode ao invés detectar a posição atual por um serviço de WiFi (fidelidade sem fios) ou por um serviço de informação de posição provido por uma companhia de telefone móvel, ou pode detectar a posição atual combinando o serviço de WiFi ou o serviço de informação de posição com a informação de GPS.
Em uma unidade de armazenamento de imagem de inserção
18, dados de imagem de inserção a serem usados pela unidade de análise/substituição de imagem 12 são armazenados. Como descrito em detalhes mais tarde, tais dados de imagem de inserção podem expressar uma imagem de texto provendo uma propaganda, uma mensagem ou similar, ou uma imagem gráfica.
Vários tipos de dados de imagem de inserção podem ser armazenados previamente na unidade de armazenamento de imagem de inserção 18, ou dados de imagem de inserção se originando, por exemplo, do dispositivo de servidor 70 e recebidos na unidade de comunicação 15 podem ser armazenados na unidade de armazenamento de imagem de inserção 18.
A unidade de armazenamento de imagem de inserção 18 pode ser constituída com uma memória de estado sólido tal como uma RAM ou uma memória flash, ou pode ser constituída com um HDD. Como uma alternativa, um acionamento de gravação/reprodução para um tipo específico 25 de meio de gravação portátil pode ser usado como a unidade de armazenamento de imagem de inserção. Além disso, enquanto é mostrado na Figura 2 como uma entidade separada da unidade de armazenamento 14, parte da área de memória no meio de gravação na unidade de armazenamento 14 pode ser alocada para ser usada como a unidade de armazenamento de imagem de inserção 18.
Uma unidade de processamento de tradução 19 executa processamento de tradução em texto (texto na imagem capturada) detectado pelo processamento de análise executado pela unidade de análise/substituição 5 de imagem 12. Provê então dados de texto resultando do processamento de tradução para a Unidadey de análise/substituição de imagem 12 a serem usados como dados de imagem de inserção.
É para ser notado que a unidade de processamento de tradução
19 pode ser alcançada na forma de um programa de software de tradução no controlador de sistema 10.
O aparelho de geração de imagem 1 inclui uma unidade de entrada de operação 11 para operação de usuário.
A unidade de entrada de operação 11 pode incluir membros de operação tais como chaves ou discadores para detectar uma operação de usuário quando o usuário opera uma chave específica ou similar, ou pode adotar uma estrutura que a habilita sentir uma ação de usuário específica.
No caso anterior, a unidade de entrada de operação incluirá membros de operação usados, por exemplo, para ligar/desligar, envolver o sistema de geração de imagem em operação (por exemplo, operação de 20 obturador, operação de zoom ou operação de instrução de processamento de sinal), prover uma exibição específica (por exemplo, selecionar conteúdo de exibição específico ou ajustar a exibição), e similar.
Além disso, a unidade de entrada de operação pode incluir um membro de operação tal como uma mesa de toque ou um painel de toque. Um painel de toque pode ser disposto, por exemplo, na unidade de exibição 2 assim para permitir ao usuário entrar com instruções operacionais tocando a tela de exibição.
A unidade de entrada de operação pode incluir o painel de toque mencionado acima, uma chave cruzada, um discador oscilante ou similar a ser usado como um membro de operação pelo qual um ponteiro tal como um cursor pode ser manipulado na tela. Como uma alternativa, o cursor ou similar na tela pode ser movido em resposta a um movimento de um controlador remoto equipado com um sensor de aceleração embutido, um 5 sensor de velocidade angular ou similar, segurado à mão pelo usuário.
E ideal executar várias operações por teclas de operação, discadores, um painel de toque ou similar, assumindo que o aparelho de geração de imagem está estruturado como mostrado na Figura IC ou 1D.
Porém, no caso de um aparelho de geração de imagem de 10 cabeça como aquele mostrado na Figura IA ou 1B, ele pode incluir teclas de operação, discadores, um painel de toque ou similar, ou um controlador remoto pode ser usado junto com o aparelho de geração de imagem. Desde que será difícil dispor numerosos membros de operação e similar a um tal aparelho de geração de imagem, será ideal assumir uma estrutura que detecta 15 uma entrada de operação sentindo uma ação de usuário.
Uma estrutura que habilita o aparelho de geração de imagem sentir ações de usuário pode incluir um sensor de aceleração, um sensor de velocidade angular, um sensor de vibração, um sensor de pressão ou similar.
Por exemplo, quando o usuário bate ligeiramente em um lado 20 do aparelho de geração de imagem 1, um sensor de aceleração, um sensor de vibração ou similar pode sentir o impacto e o controlador de sistema 10 pode registrar uma operação de usuário quando, por exemplo, a aceleração lateral excede um valor predeterminado. Além disso, detectando se o usuário bateu no lado direito (a porção equivalente a um lado de óculos) ou no lado 25 esquerdo do aparelho de geração de imagem por um sensor de aceleração ou um sensor de velocidade angular, uma operação específica correspondendo ao lado batido, distinguível de outras operações, pode ser detectada.
Além disso, quando o usuário vira sua cabeça, acena sua cabeça ou similar, o movimento de usuário particular pode ser detectado por um sensor de aceleração ou um sensor de velocidade angular assim para habilitar o controlador de sistema 10 reconhecer uma operação de usuário.
Além disso, sensores de pressão podem ser dispostos no lado esquerdo e no lado direito (correspondendo aos lados de óculos) do aparelho 5 de geração de imagem 1 e, quando o usuário aperta seu dedo contra o lado direito, uma operação de zoom de telefoto pode ser detectada, enquanto quando o usuário aperta seu dedo contra a área lateral esquerda, uma operação de zoom de ângulo largo pode ser detectada.
Além disso, o aparelho de geração de imagem pode incluir um sensor biológico e pode reconhecer uma entrada operacional baseado em informação biológica de usuário detectada pelo sensor biológico. Tal informação biológica pode ser informação de taxa de pulso, informação de taxa cardíaca, informação de eletrocardiograma, informação de eletromiograma, informação de respiração (indicando, por exemplo, a velocidade de respiração, a profundidade de respiração, o volume de ventilação ou similar), informação de transpiração, informação de GSR (resposta galvânica de pele), informação de pressão sanguínea, informação de oxemia, informação de temperatura de superfície de pele, informação de onda cerebral (por exemplo, onda a, onda β, onda Θ ou onda γ), informação de fluxo sangüíneo ou informação de movimento de olho.
Neste caso, o controlador de sistema 10 reconhece a informação detectada pelo sensor biológico como uma entrada operacional pelo usuário. Por exemplo, o usuário pode mover conscientemente seus olhos (ele pode mudar a linha de vista ou pode piscar) e quando o sensor biológico 25 detecta, por exemplo, três piscadelas pelo usuário, as piscadelas detectadas podem ser julgadas indicar uma entrada operacional específica. Além disso, baseado na informação biológica detectada pelo sensor biológico, o usuário pode ser julgado ter posto o aparelho de geração de imagem 1 ou o usuário pode ser julgado ter tirado o aparelho de geração de imagem 1, ou um usuário específico tendo posto o aparelho de geração de imagem pode ser identificado. O controlador de sistema 10 pode então ligar/desligar a energia baseado na informação detectada.
É para ser notado que o sensor biológico pode ser disposto no 5 lado de dentro da armação de fixação por qual um aparelho de geração de imagem do tipo 'óculos' 1 é usado, assim para detectar quaisquer dos vários tipos de informação listados acima quando entra em contato com o lado ou a parte de trás da cabeça do usuário. Como uma alternativa, um sensor biológico usado em cima de uma área específica do corpo do usuário, em vez 10 de um sensor biológico disposto na armação de fixação do aparelho de geração de imagem 1, pode ser utilizado.
Além disso, a câmera que captura uma imagem dos olhos do usuário pode ser utilizada para detectar a condição dos olhos do usuário, um movimento dos olhos do usuário, a condição das pupilas do usuário ou similar.
A unidade de entrada de operação 20 provê informação obtida por um membro de operação, um sensor de aceleração, um sensor de velocidade angular, um sensor de vibração, um sensor de pressão, um sensor biológico ou similar como descrito acima para o controlador de sistema 10 20 que então detecta uma operação de usuário baseada na informação provida a ele.
É para ser notado que ações de usuário podem ser detectadas por outro tipo de sensor tal como um sensor que detecta a voz do usuário ou um sensor que detecta movimento dos lábios do usuário.
A estrutura do aparelho de geração de imagem 1 descrito
acima representa simplesmente um exemplo. Vários componentes podem ser adicionados ou omitidos dependendo de operações específicas a serem executadas de fato ou funções específicas a serem cumpridas de fato.
Uma característica principal caracterizando o aparelho de geração de imagem na concretização são as operações executadas pela unidade de análise/substituição de imagem 12. Isto é, executa análise de imagem nos dados de imagem capturada tendo sido obtidos e fixa uma área de substituição baseada nos resultados de análise de imagem. Gera então 5 dados de imagem de substituição substituindo dados de pixel na área de substituição com dados de imagem de inserção.
Os dados de imagem de substituição são gerados substituindo parte do conteúdo da imagem capturada com conteúdo diferente.
Dados de imagem de substituição gerados substituindo parte do conteúdo dos dados de imagem capturada com outro conteúdo tal como texto de propaganda, texto de mensagem, texto de tradução ou gráficos expressando uma imagem que adicionará valor ao conteúdo da imagem capturada.
Então, exibindo a imagem expressa pelos dados de imagem de substituição, informação diversa pode ser provida ao usuário, o usuário é capaz de exibir uma mensagem específica ou melhor conveniência de usuário é assegurada.
Figuras 3A por 3C cada uma apresenta um exemplo de um modo de operação que o aparelho de geração de imagem 1 pode assumir em relação a um dispositivo de comunicação externo. O dispositivo de comunicação externo é um dispositivo eletrônico capaz de conduzir comunicação de dados com o aparelho de geração de imagem 1, que pode ser
o dispositivo de servidor 70 ou quaisquer de vários tipos de dispositivos externos 80 diferentes do dispositivo de servidor 70.
Figura 3A mostra por si só o aparelho de geração de imagem 1
envolvido em operação por si mesmo.
Nesta situação, dados de imagem capturada obtidos, por exemplo, por operação de geração de imagem podem ser designados como um objetivo de processamento de substituição de imagem. Além disso, contanto que uma unidade de reprodução capaz de reproduzir informação em um meio de gravação portátil tal como um disco óptico ou um cartão de memória constitua a unidade de armazenamento 14, o processamento de imagem substituição pode ser executado em dados de imagem capturada extraídos do meio de gravação portátil.
Os dados de imagem de substituição são gerados substituindo parte dos dados de imagem capturada designados como o objetivo de processamento com dados de imagem de inserção armazenados na unidade de armazenamento de imagem de dados de inserção 18.
Os dados de imagem de substituição assim gerados podem ser
salvos na unidade de armazenamento 14 por processamento de salvação.
Além disso, os dados de imagem de substituição tendo sido gerados podem ser apresentados em exibição na unidade de exibição 2 por processamento de saída.
Além disso, se o aparelho de geração de imagem incluir uma
unidade de gravação que grava informação em um meio de gravação portátil, processamento de saída para os dados de imagem de substituição tendo sido gerados pode ser executado gravando os dados de imagem de substituição no meio de gravação portátil.
Figura 3B mostra o aparelho de geração de imagem 1
envolvido em comunicação com um dispositivo externo 80 pela unidade de comunicação 15. O dispositivo externo 80 pode ser um dispositivo de exibição, um dispositivo de armazenamento ou outro aparelho de geração de imagem. Em outras palavras, o dispositivo externo é um dispositivo eletrônico 25 capaz de se comunicar com o aparelho de geração de imagem 1. Em termos mais específicos, o dispositivo externo 80 pode ser outro aparelho de geração de imagem 1 assumindo uma estrutura tal como aquela mostrada na Figura 2 ou quaisquer de vários tipos de dispositivos incluindo um servidor de dados, um computador pessoal, um dispositivo gravador de dados, um reprodutor de vídeo, uma câmera de vídeo e câmera parada digital todos equipados com uma função de comunicação e um telefone portátil, uma unidade de PDA e similar tudo equipado com uma função de geração de imagem.
Neste modo, o aparelho de geração de imagem 1 é capaz de 5 obter dados de imagem capturada para sofrer o processamento de substituição de imagem do dispositivo externo 80. Por exemplo, o aparelho de geração de imagem pode receber dados de imagem capturada tendo sido gerados por operação de geração de imagem executada no dispositivo externo 80 constituído com um aparelho de geração de imagem ou dados de imagem 10 capturada salvos no dispositivo externo 80 constituído com um dispositivo de armazenamento e pode designar os dados de imagem capturada assim recebidos como o objetivo de processamento.
Os dados de imagem de substituição tendo sido gerados podem ser salvos na unidade de armazenamento interna 14 ou eles podem ser transmitidos pela unidade de comunicação 15 para um dispositivo externo 80 (dispositivo de armazenamento) para serem salvos em um meio de gravação no dispositivo externo 80.
Pelo processamento de saída executado para os dados de imagem de substituição tendo sido gerados, os dados de imagem de substituição podem ser apresentados em exibição na unidade de exibição 2 ou eles podem ser transmitidos a um dispositivo externo 80 constituído com um dispositivo de exibição a serem apresentados em exibição ali.
É para ser notado que a comunicação com o dispositivo externo 80 pode ser executada por comunicação por fios em vez de por comunicação sem fios.
Figura 3C mostra o aparelho de geração de imagem 1 envolvido em comunicação com um dispositivo externo 80 e o dispositivo de servidor 70 conectado a uma rede 60 tal como a Internet, pela unidade de comunicação 15 equipada com uma função de acesso de comunicação para acessar a rede 60.
A rede 60 pode não ser a Internet e pode ser quaisquer de vários tipos de redes, por exemplo, uma rede de comunicação de telefone portátil, uma rede de comunicação de PHS, uma rede ad hoc ou uma LAN.
O aparelho de geração de imagem pode se envolver em
operação semelhante àquela descrita em referência à Figura 3B, conduzindo comunicação com o dispositivo externo 80.
O dispositivo de servidor 70 no exemplo apresentado na figura é capaz de prover dados de imagem de inserção ao aparelho de geração de imagem 1.
Dados de imagem de inserção são armazenados na unidade de armazenamento de imagem de inserção 18 no aparelho de geração de imagem
1 e dados de imagem de inserção extraídos da unidade de armazenamento de imagem de inserção 18 são usados no processamento de substituição de 15 imagem, como explicado anteriormente. Tais dados de imagem de inserção podem ser providos inicialmente do dispositivo de servidor 70 para o aparelho de geração de imagem 1 assim para habilitar o uso de dados de imagem de inserção com conteúdo diverso tais como anúncios e habilitar atualizações no conteúdo dos dados de imagem de inserção.
O dispositivo de servidor 70 inclui um banco de dados de
imagem 76 onde vários tipos de dados de imagem de inserção são acumulados. Tal dispositivo de servidor é capaz de prover dados de imagem de inserção, selecionados aplicando diversos critérios, para o aparelho de geração de imagem 1.
E para ser notado que os dados de imagem capturada para
sofrer o processamento podem ser providos do dispositivo de servidor 70 para o aparelho de geração de imagem 1. Além disso, dados de imagem de substituição gerados no aparelho de geração de imagem 1 podem ser salvos no dispositivo de servidor 70 ou podem ser transferidos ao dispositivo externo 80.
Figura 4 apresenta um exemplo estrutural do dispositivo de
servidor 70.
Como descrito anteriormente, o dispositivo de servidor 70 é capaz de prover dados de imagem de inserção ou dados de imagem capturada ao aparelho de geração de imagem 1 por comunicação executada, por exemplo, pela rede 60.
O dispositivo de servidor 70 inclui uma unidade de controle de servidor 72, uma unidade de armazenamento de rede 71, uma unidade de comunicação 73, uma unidade de gerenciamento de informação 74, um banco de dados de mapa 75, uma unidade de relógio 76, um banco de dados de imagem 77 e uma unidade de armazenamento de informação de usuário 78.
Na unidade de armazenamento de rede 71, que pode ser constituída com, por exemplo, um HDD, dados de imagem e similar 15 transmitidos de um aparelho de geração de imagem 30 ou um aparelho de exibição de geração de imagem 1 pela rede 60 são salvos. Também é usado como uma memória temporária onde dados de imagem ou similar a serem trocados entre o aparelho de geração de imagem 1 e o dispositivo externo 80 são armazenados temporariamente durante processamento de transferência.
A unidade de comunicação 73 se envolve em comunicação de
dados com a unidade de comunicação 26 no aparelho de geração de imagem 1 ou com uma unidade de comunicação no dispositivo externo 80 pela rede 60.
A unidade de controle de servidor 72 executa controle operacional requerido para o dispositivo de servidor 70. Em termos mais específicos, executa operação de controle para prover dados de imagem de substituição ao aparelho de geração de imagem 1.
A unidade de gerenciamento de informação 74, o banco de dados de mapa 75, a unidade de relógio 76, o banco de dados de imagem 77 e a unidade de armazenamento da informação de usuário 78 são blocos envolvidos em operação para prover os dados de imagem de substituição ao aparelho de geração de imagem 1.
Informação de mapa é armazenada no banco de dados de mapa 75.
A unidade de relógio 76 mantém a data/hora atual (ano/mês/dia/hora/minuto/segundo).
Vários tipos de dados de imagem de inserção a serem usados como, por exemplo, imagens de propaganda são armazenados no banco de dados de imagem 76.
Na unidade de armazenamento da informação de usuário 78, informação de registro de usuário correspondendo ao usuário do aparelho de geração de imagem 1 para qual o dispositivo de servidor 70 é para prover dados de imagem de substituição, é armazenada. Tal informação de usuário pode ser armazenada em correspondência, por exemplo, à informação de identificação única à unidade de aparelho de geração de imagem particular 1 (ou em correspondência ao endereço ou similar usado para comunicação). A informação de usuário pode ser informação provida pelo usuário na hora de registro, tal como a idade, gênero, passatempos, preferências.
A unidade de gerenciamento de informação 74 executa processamento para pesquisar pelo banco de dados de imagem 77 por dados de imagem de inserção a serem providos ao aparelho de geração de imagem 1 em correspondência à data/hora atual, à posição atual do aparelho de geração de imagem 1, à informação de usuário ou similar.
Por exemplo, a unidade de gerenciamento de informação 74 pode pesquisar dados de imagem de inserção com o conteúdo de propaganda a ser provido ao usuário no instante de tempo particular baseado na data/hora atual mantida pela unidade de relógio 76.
Ou a unidade de gerenciamento de informação 74 pode pesquisar dados de imagem de inserção com o conteúdo ótimo de propaganda em correspondência à posição atual do aparelho de geração de imagem 1, de acordo com a informação de posição atual transmitida do aparelho de geração de imagem 1. Neste momento, a unidade de gerenciamento de informação é capaz de averiguar a posição atual do aparelho de geração de imagem 1 5 referenciando a informação de mapa armazenada no banco de dados de mapa 75 e selecionar imagem de inserção em correspondência à posição averiguada.
Ou a unidade de gerenciamento de informação 74 pode pesquisar dados de imagem de inserção com conteúdo de propaganda adequado ao usuário particular baseado na informação de usuário do aparelho de geração de imagem 1, armazenada na unidade de armazenamento de informação 78.
(3) Exemplos de imagens que podem ser geradas
Figuras 5A por 5C, 6A por 6C, 7A por 7C, 8A por 8C e 9A 15 por 9C ilustram imagens exemplares como dados de imagem de substituição gerados no aparelho de geração de imagem 1. Figuras 5A, 6A, 7A, 8A e 9A cada uma mostra uma imagem capturada, enquanto Figuras 5B, 6B, 7B, 8B e 9B cada uma indica uma área de substituição que pode ser fixada na imagem capturada. Figuras 5C, 6C, 7C, 8C e 9C cada uma mostra uma imagem de 20 substituição tendo sido gerada.
Figura 5 A mostra uma imagem capturada de uma cena de rua. A imagem inclui tabuletas em edifícios.
As áreas ocupadas pelas tabuletas na imagem são fixadas como áreas de substituição ARi, como mostrado na Figura 5B.
Dados de imagem de inserção são inseridos em gamas de pixel
correspondendo às áreas de substituição ARi fixadas como descrito acima. Em outras palavras, os dados de pixel originais são substituídos com os dados de imagem de inserção. Como resultado, uma imagem de substituição é gerada com conteúdo de propaganda diferente mostrado nas tabuletas, como mostrado na Figura 5C. Figura 6A mostra uma imagem capturada de uma paisagem. A imagem contém uma área de céu.
A área ocupada pelo céu na imagem é selecionada como uma área de substituição ARi5 como mostrado na Figura 6B.
Dados de imagem de inserção são então inseridos sobre parte da gama de pixel designada como a área de substituição ARi. Os dados de imagem de inserção podem expressar um balão dirigível levando uma mensagem de propaganda.
Como resultado, imagem de substituição com um balão dirigível voando pelo céu levando um propaganda é gerada, como mostrado na Figura 6C.
Figura 7A mostra uma imagem capturada de uma pessoa. A pessoa na imagem está usando um top com letras impressas na frente.
A área ocupada pelas letras na imagem é fixada como uma área de substituição Ari, como mostrado na Figura 7B.
Dados de imagem de inserção são então inseridos sobre a gama de pixel designada como a área de substituição ARi. Os dados de imagem de inserção podem expressar, por exemplo, uma imagem de texto de mensagem.
Como resultado, uma imagem de substituição é gerada com as letras na roupa substituída com o texto de mensagem, como mostrado na Figura 7C.
Figura 8A mostra uma imagem capturada de uma cena de rua. A imagem inclui tabuletas em fachadas de loja.
As áreas ocupadas pelas tabuletas na imagem são fixadas como áreas de substituição ARi, como mostrado na Figura 8B.
Dados de imagem de inserção são então inseridos sobre as gamas de pixel designadas como as áreas de substituição ARi. Os dados de imagem de inserção podem expressar, por exemplo, imagens de texto de tradução.
Como resultado, uma imagem de substituição é gerada com as letras (caracteres japoneses) nas tabuletas da loja substituídas com tradução inglesa, como mostrado na Figura 8C.
Figura 9A mostra uma imagem capturada que contém uma tabuleta com uma marca específica M. É assumido que nenhuma mensagem está escrita na tabuleta atual.
Uma área de substituição ARi é fixada baseada na posição à qual a marca M é detectada na imagem, como mostrado na Figura 9B. Por exemplo, uma tal área de substituição ARi pode variar através de uma área de imagem não tendo nenhum conteúdo gráfico ou textual.
Dados de imagem de inserção são então inseridos na gama de pixel designada como área de substituição ARi. Os dados de imagem de inserção podem expressar, por exemplo, uma imagem de propaganda.
Como resultado, uma imagem de substituição com um propaganda exibida sobre a tabuleta caso contrario vazia, como mostrado na Figura 9C, é gerada.
4. Área de substituição e dados de imagem de inserção
A fim de gerar dados de imagem de substituição a serem usados como uma imagem de substituição como descrito acima, uma área de substituição específica ARi deve ser fixada primeiro na imagem expressa com os dados de imagem capturada.
Por conseguinte, a unidade de análise/substituição de imagem
12 no aparelho de geração de imagem 1 executa análise de imagem nos dados de imagem capturada designados como o objetivo de processamento e fixa a área de substituição ARi. E essencial que uma área ótima dentro da imagem seja designada como a área de substituição ARi, assim para gerar dados de imagem de substituição expressando uma imagem de aparência natural. Exemplos de métodos que podem ser adotados ao fixar a área de substituição ARi são descritos agora.
Ao substituir o conteúdo de uma tabuleta com conteúdo diferente, como nos exemplos apresentados nas Figuras 5A por 5C e 8A por 5 8C, uma tabuleta na imagem é reconhecida e designada como uma área de substituição ARi. A tabuleta na imagem pode ser reconhecida analisando formas ou reconhecendo letras por processamento de análise de imagem. Isto é, uma tabuleta pode ser detectada averiguando os esboços de bordas na imagem ou detectando a presença de qualquer letra dentro de uma área dentro IO das linhas de borda ou similar.
Por exemplo, uma área quadrilátera (retângulo, trapezóide ou paralelogramo) definida por linhas de borda na imagem pode ser extraída. E para ser notado que enquanto uma tabuleta assume normalmente uma forma retangular, ela ode ser representada como um trapezóide ou como um 15 paralelogramo em uma imagem dependendo da direção de geração de imagem ou do ângulo de elevação ou da perspectiva assumida durante a operação de geração de imagem. Por conseguinte, pode ser efetivo executar processamento de análise, por meio de que a direção de geração de imagem, o ângulo de elevação ou similar é estimado baseado nos esboços aproximados 20 das linhas de borda (por exemplo, linhas de borda definindo estradas e edifícios) na imagem e um objeto trapezoidal ou um objeto de paralelogramo que podem ser julgados serem uma imagem de um objeto que é realmente retangular, é extraído da imagem.
Uma vez que uma área quadrilátera definida por linhas de 25 borda seja detectada, uma decisão é tomada sobre se ou nem toda letra está presente dentro do quadrilátero. Por exemplo, letras podem ser detectadas por reconhecimento de padrão. É para ser notado que vários logotipos, marcas e similar podem ser armazenados previamente e uma decisão pode ser tomada por casamento de padrão de imagem sobre se ou não a imagem capturada inclui uma área de imagem que constitui um logotipo ou uma marca.
Se uma imagem de letras (ou um logotipo ou marca) estiver contida dentro da área quadrilátera na imagem capturada, é julgado que a área quadrilátera é uma tabuleta ou similar e por conseguinte, a área quadrilátera é designada como uma área de substituição ARi.
É para ser notado que, em vez de uma área quadrilátera, uma área circular, uma área elíptica ou similar pode ser julgada ser uma tabuleta.
Além disso, assumindo que a tabuleta visada é uma tabuleta iluminada tal como um sinal de néon ou uma tabuleta de LED, ou uma 10 exibição de monitor de tela larga montada a uma parede, uma área quadrilátera manifestando uma grande diferença em brilho relativo ao ambiente circunvizinho ou uma área local indicando um alto nível de brilho pode ser detectada e designada como uma área de substituição ARi.
Uma porção de imagem ocupada pelo céu pode ser designada como uma área de substituição ARi, como foi explicado em referência às Figuras 6A por 6C, reconhecendo o céu como explicado abaixo.
Primeiro, uma área superior, uma área esquerda superior ou uma área direita superior na imagem é assumida ser "céu".
Então, uma decisão é tomada sobre se ou não uma área de cor azul (uma sombra de azul pode ser considerada ser céu azul) ocupa a área superior a uma relação específica.
Aplicando estes critérios, a gama ocupada pelo céu dentro da imagem pode ser determinada e a gama ocupada pelo céu pode ser designada como uma área de substituição ARi.
Além disso, desde que nenhuma mudança de cor extrema ou
objetos distintos estão presentes sobre uma certa gama, tenderá a manifestar só gradações suaves. Portanto, uma gama dentro da imagem não tendo nenhuma linha de borda (linhas de borda de fronteira) podem ser reconhecidas como uma área de céu. É para ser notado que enquanto uma área de céu é reconhecida no exemplo descrito acima, uma área ocupada por um corpo de água tal como um oceano, um lago ou similar pode ser determinada e designada como uma área de substituição ARi.
Além disso, um veículo em uma estrada pode ser reconhecido e a área ocupada pelo veículo pode ser designada como uma área de substituição ARi.
A área de substituição ARi no exemplo apresentado nas Figuras 7A por 7C, no qual letras são substituídas com outro conteúdo pode ser fixada executando reconhecimento de caracteres na imagem capturada. Isto é, a área de substituição ARi deveria ser fixada para incluir a gama através da qual as letras são detectadas. É particularmente desejável fixar para a área de substituição ARi assegurando que a área de substituição não varie além das linhas de borda presentes ao redor das letras.
Figuras 9A por 9C apresentam um exemplo no qual uma área de substituição ARi é fixada reconhecendo a marca M.
Por exemplo, uma marca específica M pode ser exibida sobre uma tabuleta atual ou similar previamente, em particular para os dados de imagem de substituição sendo gerados.
Na análise de imagem, uma decisão é tomada sobre se ou não a marca específica M está contida na imagem capturada.
Se a marca específica M for detectada na imagem, uma área de substituição ARi é fixada baseada na posição da marca M. Por exemplo, uma área quadrilátera, uma área circular, uma área elíptica ou uma área de forma indeterminada, mas reconhecível baseada em linhas de borda, ou similar, contendo a marca M, é designada como a área de substituição ARi. Além disso, na premissa que a tabuleta atual tem uma superfície plana sem mensagem nela, como mostrado na Figura 9A, uma área plana contendo a marca M pode ser designada como a área de substituição ARi. Será óbvio que uma área de substituição ARi pode ser fixada a uma tabuleta portando algumas letras, um desenho ou similar através de uma gama específica assim para alterar as letras ou o desenho baseado na posição da marca M.
Além disso, uma pluralidade de marcas M pode ser exibida 5 sobre uma tabuleta atual ou similar e uma área de substituição ARi pode ser fixada através de uma gama assumindo uma forma quadrilátera com os pontos diagonais disso indicados pelas marcas ou uma gama tomando na forma os ápices de quais são indicados pelas marcas.
O método descrito acima requer uma gama específica, para ser designada como uma área de substituição ARi, ser indicada no lado de tema.
Por exemplo, a marca específica M pode ser posta de fato em uma tabuleta sendo instalada sobre uma superfície de parede de um edifício, a uma janela de um edifício ou similar, de forma que a área particular na imagem capturada seja usada como a área de substituição ARi onde dados de propaganda e similar podem ser inseridos.
E para ser notado que enquanto a área a ser usada como a área de substituição ARi é indicada no lado de tema usando a marca M, um padrão de fundo específico em vez de uma marca pode ser exibido sobre a tabuleta atual ou similar assim para permitir ao aparelho de geração de imagem 1 20 reconhecer por análise de imagem a gama do padrão de fundo e designá-la como uma área de substituição ARi.
Além disso, um código de barras, um código de barras bidimensional, um elemento emissor de luz ou similar pode ser fixado sobre uma tabuleta ou similar e neste caso, o aparelho de geração de imagem 1 pode fixar para uma área de substituição ARi baseado na informação correspondente detectada por análise de imagem.
A unidade de análise/substituição de imagem 12 no aparelho de geração de imagem 1 executa análise de imagem nos dados de imagem capturada e fixa uma única área de substituição ARi ou uma pluralidade de áreas de substituição ARi dentro da imagem por quaisquer dos métodos descritos acima.
Dados de imagem de substituição são então gerados substituindo todos ou parte dos dados de pixel em cada área de substituição ARi tendo sido fixada com dados de pixel usados como dados de imagem de inserção.
O seguinte é uma descrição de exemplos de conteúdo de imagem dos dados de imagem de inserção.
Os dados de imagem de inserção podem expressar uma imagem de texto, uma imagem gráfica, um desenho ou similar a ser usado para propósitos de propaganda. Tal imagem de propaganda pode levar conteúdo de propaganda corporativa, conteúdo de propaganda de produto/serviço, conteúdo de relações públicas se originando de uma organização pública tal como uma agência de governo municipal ou nacional ou similar.
Tais dados de imagem de inserção usados para propósitos de relações de propaganda/publicas podem expressar uma imagem de texto, uma imagem de um logotipo, marca ou similar.
Além disso, os dados de imagem de inserção podem expressar uma imagem que inclui um objeto específico tal como o balão dirigível mostrado na Figura 6C. Dados de imagem de inserção a serem inseridos sobre a área de céu, como na Figura 6C, podem expressar uma imagem com texto de propaganda ou similar adicionada em um balão de propaganda, um balão de ar quente, um avião, uma bandeira ou similar. Dados de imagem de inserção a serem inseridos sobre a superfície de um corpo de água tal como um oceano podem expressar uma imagem de texto de propaganda ou similar adicionada sobre, por exemplo, um navio.
Os dados de imagem de inserção podem ao invés expressar uma imagem de texto de propaganda ou similar fixado em um automóvel, um trem ou similar.
Dados de imagem de inserção expressando uma tal imagem de propaganda podem ser armazenados na unidade de armazenamento de imagem de inserção 18 no aparelho de geração de imagem 1 em uma base 5 permanente, ou dados de imagem de inserção transmitidos do aparelho de servidor 70 podem ser armazenados na unidade de armazenamento de imagem de inserção. Além disso, vários tipos de dados de imagem de inserção gravados em um meio de gravação portátil podem ser providos ao usuário e os dados de imagem de inserção gravados no meio de gravação portátil 10 podem ser levados na unidade de armazenamento de imagem de inserção 18 quando o usuário carrega o meio de gravação portátil no aparelho de geração de imagem 1 e reproduz os dados de imagem de inserção.
Outro exemplo de dados de imagem de inserção é uma imagem de texto de mensagem.
O conteúdo de uma tal imagem de texto de mensagem pode ser
criado (entrado) pelo usuário livremente ou o usuário pode ser permitido selecionar quaisquer de vários tipos de imagens de texto de mensagem preparados previamente.
Vários tipos de imagens de texto de mensagem criados previamente podem ser armazenados na unidade de armazenamento de imagem de inserção 18, ou uma imagem de texto de mensagem pode ser entrada pelo usuário para ser armazenada na unidade de armazenamento de imagem de inserção 18.
Ainda outro exemplo de dados de imagem de inserção é uma imagem de texto de tradução.
A unidade de processamento de tradução 19 no aparelho de geração de imagem 1 executa processamento de tradução para gerar dados de texto de tradução. Os dados de texto de tradução assim gerados são providos à unidade de análise/substituição de imagem 12 para serem usados como dados de imagem de inserção. 5. Aquisição de dados de imagem de inserção
Dados de imagem de inserção expressando imagens de propaganda e imagens de texto de mensagem são armazenados na unidade de armazenamento de imagem de inserção 18 no aparelho de geração de imagem Iea unidade de análise/substituição de imagem 12 gera dados de imagem de substituição extraindo dados de imagem de inserção, por exemplo, da unidade de armazenamento de imagem de inserção 18 e usando-os.
Enquanto dados de imagem de inserção expressando vários tipos de imagens de propaganda e imagens de texto de mensagem preparadas previamente podem ser armazenados na unidade de armazenamento de imagem de inserção 18 como explicado anteriormente, uma imagem especialmente designada ou similar a ser usada como uma imagem de propaganda ou uma imagem de mensagem pode ser feita disponível do dispositivo de servidor 70 assim para habilitar o uso de dados de imagem de inserção com conteúdo diverso no aparelho de geração de imagem 1.
Agora, em referência às Figuras IOA e IOB e Figura IlA por 11C, exemplos de operações por quais o aparelho de geração de imagem 1 pode obter dados de imagem de inserção do dispositivo de servidor 70 são descritos.
Figura IOA apresenta um exemplo no qual o dispositivo de servidor 70 transmite dados de imagem de inserção ao aparelho de geração de imagem 1 em um ciclo regular ou em demanda.
Em resposta a um pedido de um anunciante tal como uma corporação, ou sob um contrato com o anunciante, o dispositivo de servidor 70 se conecta com o aparelho de geração de imagem 1 para propósitos de comunicação para transmitir dados de imagem de inserção específicos periodicamente ou em demanda (SI). Isto é, a unidade de controle de servidor 72 envolve a unidade de gerenciamento de informação 74 em operação para Ier os dados de imagem de inserção exigidos do banco de dados de imagem 77 e deixar os dados de imagem de inserção serem transmitidos da unidade de comunicação 73.
Ao receber os dados de imagem de inserção transmitidos pela 5 unidade de comunicação 15 (S2), o controlador de sistema 10 no aparelho de geração de imagem 1 deixa os dados de imagem de inserção recebidos serem salvos na unidade de armazenamento de imagem de inserção 18 (S3).
Tal operação poderia ser uma operação preferível, por exemplo, quando o dispositivo de servidor 70 transmite dados de imagem de inserção específicos para numerosos aparelhos de geração de imagem 1 de uma vez.
No exemplo apresentado na Figura 10B, o aparelho de geração de imagem 1 pede dados de imagem de inserção.
O controlador de sistema 10 do aparelho de geração de 15 imagem 1 deixa informação para pedir uma imagem de inserção ser transmitida ao dispositivo de servidor 70 pela unidade de comunicação 15 (Sll) a um dado momento em resposta a uma operação de usuário, com temporização regular ou com temporização com a qual processamento de substituição de imagem é executado.
Ao detectar (SI2) que o pedido de imagem de inserção foi
recebido na unidade de comunicação 73, a unidade de controle de servidor 72 do dispositivo de servidor 70 envolve a unidade de gerenciamento de informação 74 em operação para Ier os dados de imagem de inserção exigidos do banco de dados de imagem 77. Transmite então (SI3) pela unidade de 25 comunicação 73 os dados de imagem de inserção para o aparelho de geração de imagem 1 onde o pedido se originou. Ao receber os dados de imagem de inserção transmitidos na unidade de comunicação 15 (SI4), o controlador de sistema 10 do aparelho de geração de imagem 1 salva os dados de imagem de inserção recebidos na unidade de armazenamento de imagem de inserção 18 (S15).
Pela operação descrita acima, os dados de imagem de inserção são providos ao aparelho de geração de imagem 1 com a temporização operacional ótima para o aparelho de geração de imagem, ou com a temporização pedida pelo usuário.
No exemplo apresentado na Figura 11 A, o dispositivo de servidor 70 transmite dados de imagem de inserção ao aparelho de geração de imagem 1 a uma data/hora específica.
A unidade de gerenciamento de informação 74 do dispositivo 10 de servidor 70 verifica a data/hora atual na unidade de relógio 76 e seleciona dados de imagem de inserção no banco de dados de imagem 77 em correspondência à data/hora atual (S21). A unidade de controle de servidor 72 então adquire um único conjunto de dados de imagem de inserção ou uma pluralidade de conjuntos de dados de imagem de inserção tendo sido 15 selecionados pela unidade de gerenciamento de informação 74 e transmite os dados de imagem de inserção ao aparelho de geração de imagem 1 pela unidade de comunicação 73 (S22).
Ao receber os dados de imagem de inserção transmitidos na unidade de comunicação 15 (S23), o controlador de sistema 10 do aparelho de
geração de imagem 1 salva os dados de imagem de inserção recebidos na unidade de armazenamento de imagem de inserção 18 (S24).
Pela operação descrita acima, dados de imagem de inserção com conteúdo de propaganda oportuno ou conteúdo de mensagem oportuno podem ser providos ao aparelho de geração de imagem 1.
Por exemplo, dados de imagem de inserção com conteúdo de
propaganda correspondendo a uma data de lançamento de produto específica, uma data de venda específica ou similar, conteúdo de propaganda ótimo para um concerto ou evento esportivo a ser mantido em uma data específica, conteúdo de propaganda apropriado para um mês/dia específico ou uma estação específica ou similar pode ser provido ao aparelho de geração de imagem 1.
O dispositivo de servidor 70 pode registrar informação de data/hora em correspondência a um dado conjunto de dados de imagem de 5 inserção no banco de dados de imagem 77 baseado em uma data de expiração de propaganda ou uma duração de propaganda especificada, por exemplo, pelo anunciante, ou pode anexar informação indicando uma estação específica ou um mês/dia específico correspondendo ao conteúdo de propaganda ou ao conteúdo de mensagem a cada conjunto de dados de imagem de inserção, 10 assim para habilitar a unidade de gerenciamento de informação 74 pesquisar dados de imagem de inserção oportunos no banco de dados de imagem 77.
É para ser notado que a operação mostrada na Figura IlAea operação mostrada na Figura IOB pode ser executada em combinação assim para permitir ao dispositivo de servidor 70 prover ao aparelho de geração de
imagem 10 dados de imagem de inserção procurados baseado na data/hora à qual um pedido de imagem de inserção é transmitido do aparelho de geração de imagem 1.
No exemplo apresentado na Figura 11B, o dispositivo de servidor 70 transmite dados de imagem de inserção ao aparelho de geração de
imagem 1 baseado na posição atual do aparelho de geração de imagem.
O controlador de sistema 10 do aparelho de geração de imagem 10 envolve a unidade de comunicação 15 para transmitir ao dispositivo de servidor 70 informação de posição detectada pela unidade de detecção de posição 17 (S31) em uma base regular, com temporização 25 correspondendo a uma operação de usuário, com temporização com a qual processamento de substituição de imagem é executado ou similar.
Ao receber (S32) na unidade de comunicação 73 a informação de posição tendo sido transmitida pelo aparelho de geração de imagem 1, a unidade de controle de servidor 72 do dispositivo de servidor 70 provê a informação de posição à unidade de gerenciamento de informação 74, que então é envolvida em uma procura por dados de imagem de inserção correspondendo à posição. A unidade de gerenciamento de informação 74 averígua o local atual do usuário do aparelho de geração de imagem 1 e 5 determina lojas, instalações e similar presentes na redondeza lendo informação de mapa do banco de dados de mapa em correspondência à informação de posição. Procura então pelo banco de dados de imagem 77 por dados de imagem de inserção anunciando uma loja, uma instalação ou similar na redondeza (S33).
A unidade de controle de servidor 72 então adquire um único
conjunto de dados de imagem de inserção ou uma pluralidade de conjuntos de dados de imagem de inserção tendo sido selecionados pela unidade de gerenciamento de informação 74 e transmite os dados de imagem de inserção ao aparelho de geração de imagem 1 pela unidade de comunicação 73 (S34).
Ao receber os dados de imagem de inserção transmitidos na
unidade de comunicação 15 (S35), o controlador de sistema 10 do aparelho de geração de imagem 1 salva os dados de imagem de inserção recebidos na unidade de armazenamento de imagem de inserção 18 (S36).
Pela operação descrita acima, dados de imagem de inserção levando conteúdo ótimo de propaganda ou conteúdo ótimo de mensagem para o local atual do usuário podem ser providos ao aparelho de geração de imagem 1.
Por exemplo, dados de imagem de inserção anunciando uma loja ou instalação presente na redondeza do local de usuário atual ou dados de imagem de inserção com conteúdo de propaganda de serviço comunitário podem ser providos ao aparelho de geração de imagem 1.
Baseado em uma área visada de propaganda especificada, por exemplo, pelo anunciante, o dispositivo de servidor 70 pode registrar informação de área em correspondência a um dado conjunto de dados de imagem de inserção no banco de dados de imagem 77 para habilitar a unidade de gerenciamento de informação 74 procurar pela banco de dados de imagem 77 pelos dados ótimos de imagem de inserção correspondendo ao local de usuário atual.
5 Em vez de anúncios corporativos, vários tipos de advertências
(advertências de tsunami, advertências meteorológicas severas e similar), informação meteorológica, informação de tráfego ou similar pode ser provida como dados de imagem de inserção específicos de local.
No exemplo apresentado na Figura 11C, o dispositivo de servidor 70 transmite dados de imagem de inserção adequados para o usuário do aparelho de geração de imagem 1 particular.
O controlador de sistema 10 do aparelho de geração de imagem 10 envolve a unidade de comunicação 15 para transmitir ao dispositivo de servidor 70 o ID de usuário (ou o ID de aparelho de geração de 15 imagem) (S41) em uma base regular, com temporização correspondendo a uma operação de usuário, com temporização com a qual processamento de substituição de imagem é executado ou similar.
Ao receber (S42) na unidade de comunicação 73 o ID de usuário tendo sido transmitido pelo aparelho de geração de imagem 1, a 20 unidade de controle de servidor 72 do dispositivo de servidor 70 envolve a unidade de gerenciamento de informação 74 em operação para procurar dados de imagem de inserção julgados apropriados baseado no ID de usuário. Baseado no ID de usuário, a unidade de gerenciamento de informação 74 procura pela unidade de armazenamento da informação de usuário 78 e lê a 25 informação sobre o usuário com o ID de usuário particular. A informação lida pela unidade de gerenciamento de informação pode indicar o gênero, idade, passatempos, preferências do usuário e similar. Dados de imagem de inserção com, por exemplo, com conteúdo de propaganda casando com a informação de usuário são então procurados na banco de dados de imagem 77 (S43). A unidade de controle de servidor 72 então adquire um único conjunto de dados de imagem de inserção ou uma pluralidade de conjuntos de dados de imagem de inserção tendo sido selecionados pela unidade de gerenciamento de informação 74 e transmite os dados de imagem de inserção ao aparelho de geração de imagem 1 pela unidade de comunicação 73 (S44).
Ao receber os dados de imagem de inserção transmitidos na unidade de comunicação 15 (S45), o controlador de sistema 10 do aparelho de geração de imagem 1 salva os dados de imagem de inserção recebidos na unidade de armazenamento de imagem de inserção 18 (S46).
Pela operação descrita acima, dados de imagem de inserção
com conteúdo de propaganda ou conteúdo de mensagem casando com os gêneros, idades, passatempos, preferências e similar de usuários de aparelho de geração de imagem individuais pode ser provido aos aparelhos de geração de imagem 1 individuais.
No dispositivo de servidor 70, o gênero, idade, passatempos,
preferências e similar de usuário visado pode ser registrado em correspondência ao conteúdo de cada conjunto de dados de imagem de inserção, assim para habilitar a unidade de gerenciamento de informação 74 procurar pelo banco de dados de imagem 77 para os dados ótimos de imagem de inserção para cada usuário.
É para ser notado que em vez de transmitir dados de imagem de inserção em resposta a um pedido (em resposta a uma transmissão do ID de usuário ou do ID de aparelho de geração de imagem) do aparelho de geração de imagem 1, o dispositivo de servidor 70 pode transmitir dados de 25 imagem de inserção selecionados baseado no ID de usuário para cada aparelho de geração de imagem 1 periodicamente ou em demanda. Por exemplo, quando dados de imagem de inserção com novo conteúdo de propaganda são registrados no banco de dados de imagem, o dispositivo de servidor pode procurar por usuários prováveis interessados pelo conteúdo de propaganda e transmitir os dados de imagem de inserção particulares aos aparelhos de geração de imagem 1 pertencendo aos usuários portando IDs de usuário indicados pela procura.
Como descrito acima, dados de imagem de inserção podem ser providos do dispositivo de servidor 70 para o aparelho de geração de imagem
1 em vários modos. Os dados de imagem de inserção providos pelo dispositivo de servidor 70 e levados à unidade de armazenamento de imagem de inserção 18 no aparelho de geração de imagem 1 podem ser usados subseqüentemente quando a unidade de análise/substituição de imagem 12 gera dados de imagem de substituição.
E para ser notado que os dados de imagem de inserção provendo modos descritos acima simplesmente representam exemplos e dados de imagem de inserção podem ser providos em quaisquer de vários outros modos.
Por exemplo, se dados de imagem capturada forem salvos com informação de posição indicando o local de captura de imagem e informação indicando a data/hora de captura de imagem anexada a ela, dados de imagem de inserção podem ser providos em correspondência ao local de captura de imagem e à data/hora de captura de imagem.
Isto é, a informação de posição indicando o local de captura de imagem correspondendo a um dado conjunto de dados de imagem capturada para sofrer o processamento na unidade de análise/substituição de imagem 12 pode ser transmitida ao dispositivo de servidor 70 assim para habilitar o dispositivo de servidor 70 procurar dados de imagem de inserção correspondendo à informação de posição indicando o local de captura de imagem e transmitir dados de imagem de inserção adequados ao aparelho de geração de imagem 1.
Como uma alternativa, a informação de data/hora de captura de imagem anexada aos dados de imagem capturada pode ser transmitida ao dispositivo de servidor 70 assim para habilitar o dispositivo de servidor 70 procurar dados de imagem de inserção correspondendo à data/hora de captura de imagem particular e transmitir dados de imagem de inserção adequados ao aparelho de geração de imagem 1.
A unidade de análise/substituição de imagem 12 no aparelho
de geração de imagem 1, por sua vez, pode executar processamento de geração de imagem de substituição usando os dados de imagem de inserção assim providos para gerar dados de imagem de substituição contendo uma propaganda, uma mensagem ou similar ótima para o local de captura de 10 imagem ou a data/hora de captura de imagem à qual a imagem capturada era obtida inicialmente, inserida nela.
6. Exemplos de formatos de salvação de imagem
A seguir, exemplos de formatos nos quais os resultados de processamento providos da unidade de análise/substituição de imagem 12 podem ser salvos no aparelho de geração de imagem 1 são descritos.
Como explicado anteriormente, a unidade de análise/substituição de imagem 12 executa o processamento para fixar uma área de substituição ARi dentro da imagem expressa com os dados de imagem capturada visada de processamento e o processamento para gerar dados de 20 imagem de substituição inserindo dados de imagem de inserção na área de substituição ARi tendo sido fixada.
Dados de imagem de substituição gerados pelo unidade de análise/substituição de imagem 12 pelo processamento descrito acima podem ser salvos na unidade de armazenamento 14 no formato de salvação de imagem ilustrado na Figura 12.
Figura 12 mostra como dados de imagem podem ser salvos na unidade de armazenamento 14.
Dados de imagem capturada obtidos por operação de geração de imagem executada na unidade de geração de imagem 3, dados de imagem capturada recebidos pela unidade de comunicação 15 ou dados de imagem capturada lidos de um meio de gravação portátil são salvos na unidade de armazenamento 14.
Conjuntos individuais de dados de imagem capturada tendo 5 sido obtidos são salvos como dados de imagem capturada VD1, dados de imagem capturada VD2,..., dados de imagem capturada VDn correspondendo respectivamente à entrada #1, entrada #2,..., entrada #n na figura.
Além disso, informação de gerenciamento de imagem Cl, informação de gerenciamento de imagem C2, ..., informação de gerenciamento de imagem Cn são registradas cada em correspondência a um dos conjuntos de dados de imagem. Cada conjunto de informação de gerenciamento de imagem inclui informação indicando o nome de arquivo dos dados de imagem capturada, o tipo de imagem (imagem de vídeo/parada), o tamanho de dados, o formato de compressão, informação de identificação habilitando identificação do aparelho usado para capturar a imagem, e similar. A informação de gerenciamento de imagem pode ademais incluir informação indicando a data/hora de captura de imagem (ano/mês/dia/hora/minuto/segundo) à qual a imagem era capturada e informação de latitude/longitude indicando o local de captura de imagem detectado pela unidade de detecção de posição 17 na hora da operação de geração de imagem.
Em correspondência aos conjuntos individuais de dados de imagem capturada VDl, VD2, ..., VDn, dados de imagem de substituição cVDl, dados de imagem de substituição cVD2, ..., dados de imagem de substituição cVDn são armazenados respectivamente.
Por exemplo, os dados de imagem de substituição cVDl gerados pela unidade de análise/substituição de imagem 12 executando processamento para o dados de imagem visada de processamento VDl são salvos em correspondência aos dados de imagem capturada VD1. É para ser notado que uma pluralidade de conjuntos de dados de imagem de substituição pode ser gerada usando um único conjunto de dados de imagem capturada. Em tal caso, também, cada conjunto de dados de imagem de substituição deveria ser armazenado em correspondência aos 5 dados de imagem capturada iniciais.
Enquanto a unidade de análise/substituição de imagem 12 pode executar o processamento para fixar a área de substituição ARi e o processamento de geração de dados de imagem de substituição em seqüência, o processamento para fixar a área de substituição ARi e o processamento de 10 geração de dados de imagem de substituição pode ser executado a tempos separados, ao invés. Além disso, pode executar simplesmente o processamento para fixar a área de substituição ARi e relegar o processamento de geração de dados de imagem de substituição a um dispositivo externo 80.
Em tal caso, dados de imagem capturada podem ser
armazenados na unidade de armazenamento 14, como mostrado na Figura 13, com informação de área de substituição indicando a área de substituição ARi também salva na unidade de armazenamento em correspondência a cada par de dados de imagem capturada. Isto é, informação de área de substituição El, 20 informação de área de substituição E2, ..., informação de área de substituição En é armazenada em correspondência aos conjuntos individuais de dados de imagem capturada VDl, VD2,..., VDn, como mostrado na figura.
Por exemplo, quando a unidade de análise/substituição de imagem 12 fixa uma única área de substituição ARi ou uma pluralidade de 25 áreas de substituição Ari para os dados de imagem capturada visada de processamento VD1, informação indicando as gamas de pixel casando com a única área de substituição ARi ou a pluralidade de áreas de substituição ARi pode ser salva como informação de área de substituição El em correspondência aos dados de imagem capturada VDl. Estas medidas tomam possível gerar subseqüentemente dados de imagem de substituição inserindo dados de imagem de inserção em cada área de pixel indicada pela informação de área de substituição E.
Este formato de salvação também é ideal quando dados de imagem de substituição são gerados inserindo dados de imagem de inserção diferentes a cada vez que a imagem capturada é para ser apresentada em exibição.
Além disso, o formato de salvação de dados habilita até mesmo um dispositivo externo 80 que não tem uma função de colocação para fixar áreas de substituição ARi gerar dados de imagem de substituição usando dados de imagem capturada e a informação de área de substituição correspondente transmitida a ele.
E para ser notado que os formatos de salvação nas Figuras 12 e 13 podem ser adotados em combinação para armazenar os dados de imagem de substituição e a informação de área de substituição em correspondência a cada conjunto de dados de imagem capturada.
7. Exemplo I de processamento que pode ser executado pela unidade de análise/substituição de imagem
Em resposta a uma instrução emitida pelo controlador de sistema 10, a unidade de análise/substituição de imagem 12 executa processamento para gerar dados de imagem de substituição para os dados de imagem capturada visada de processamento especificados pelo controlador de sistema 10.
O seguinte é uma descrição de exemplo I de processamento que pode ser executado pela unidade de análise/substituição de imagem 12, na qual o processamento para fixar (a) áreas de substituição ARi dentro da imagem expressa pelos dados de imagem capturada visada de processamento (processamento de fixação de área de substituição) e o processamento para gerar dados de imagem de substituição inserindo dados de imagem de inserção em cada área de substituição ARi tendo sido fixada (processamento de imagem de substituição) são executados em seqüência.
Figura 14 mostra o processamento executado pela unidade de análise/substituição de imagem 12 em resposta a uma instrução emitida pelo 5 controlador de sistema 10.
O controlador de sistema 10 transfere os dados de imagem capturada visada de processamento à unidade de análise/substituição de imagem 12, onde os dados de imagem capturada são para sofrer o processamento mostrado na Figura 14. Dados de imagem capturada obtidos 10 por operação de geração de imagem executada na unidade de geração de imagem 3 podem ser transferidos da unidade de controle de geração de imagem 6 para a unidade de análise/substituição de imagem 12 para sofrer o processamento. Alternativamente, dados de imagem capturada recebidos na unidade de comunicação 15 podem ser transferidos à unidade de 15 análise/substituição de imagem 12 ou dados de imagem capturada reproduzidos pela unidade de armazenamento 14 podem ser transferidos à unidade de análise/substituição de imagem 12.
Uma vez que os dados de imagem capturada visada de processamento sejam entrados à unidade de análise/substituição de imagem 12, a operação procede da etapa FlOl à etapa F102 na Figura 14.
A unidade de análise/substituição de imagem 12 executa processamento de análise de imagem no dados de imagem capturada de entrada e fixa uma única área de substituição ARi ou uma pluralidade de áreas de substituição ARi dentro da imagem na etapa F102. Os métodos que podem 25 ser adotados ao fixar as áreas de substituição ARi por análise de imagem já foram explicados.
Uma vez que as áreas de substituição ARi tenham siso fixadas, a quantidade de áreas de substituição ARi tendo sido fixadas é fixada como uma variável n para substituição. A seguir, a unidade de análise/substituição de imagem 12 toma uma decisão na etapa F103 sobre se ou não o valor da variável N é igual a 0. Em outras palavras, toma uma decisão sobre se nenhuma área foi fixada como uma área de substituição ARi dentro da imagem. Enquanto uma área de 5 substituição ARi pode ser fixada por quaisquer dos métodos descritos anteriormente reconhecendo uma área assumindo uma forma predeterminada, reconhecendo uma área de imagem de céu ou similar, ou reconhecendo letras ou similar, pode não haver qualquer área que possa ser designada como uma área de substituição ARi dependendo do conteúdo de imagem.
Por conseguinte, se for decidido que N=O e que nenhuma área
de substituição ARi foi fixada, a operação procede à etapa F110, na qual uma mensagem indicando que nenhum dados de imagem de substituição pode ser gerado para os dados de imagem capturada visada de processamento atuais, é enviada ao controlador de sistema 10 antes que o processamento termine.
Porém, se pelo menos uma área de substituição ARi foi fixada,
o processamento executado pela unidade de análise/substituição de imagem 12 procede à etapa F104 para fixar um variável X a 1.
Então, na etapa F105, a unidade de análise/substituição de imagem 12 obtém dados de imagem de inserção da unidade de 20 armazenamento de imagem de inserção 18 (ou a unidade de processamento de tradução 19), e na etapa F106, a unidade de análise/substituição de imagem executa processamento para substituir os dados de pixel em uma X-ésima área de substituição ARi(X) com os dados de pixel nos dados de imagem de inserção tendo sido obtidos. Em outras palavras, a unidade de 25 análise/substituição de imagem gera dados de imagem de substituição.
Quaisquer de tipos diversos de dados de imagem de inserção podem ser selecionados como dados de imagem de inserção visados de aquisição a serem obtidos na etapa F105. Por exemplo, enquanto dados de imagem de inserção com conteúdo de propaganda podem ser selecionados para a X-ésima área de substituição ARi(X) tendo sido fixada reconhecendo uma tabuleta dentro da imagem, dados de imagem de inserção selecionados aleatoriamente e lidos da unidade de armazenamento de imagem de inserção 18 podem ser obtidos ou um conjunto de dados de imagem de inserção selecionado com uma seqüência específica cada vez que o processamento na etapa F105 é executado, pode ser obtido. Se a X-ésima área de substituição ARi(X) foi fixada reconhecendo uma área de imagem onde o céu ou um oceano está presente, dados de imagem de inserção com conteúdo de imagem apropriado ao céu ou destina a um tema marinho, por exemplo, um balão dirigível ou um navio, podem ser selecionados e lidos.
Além disso, os dados de imagem de inserção providos mais recentemente pelo dispositivo de servidor 17 por quaisquer das operações mostradas nas Figuras 10A, IOB e IlA por IlC e levados na unidade de armazenamento de imagem 18 podem ser selecionados primeiro.
Como uma alternativa, na hora de execução do processamento mostrado na Figura 14, o dispositivo de servidor 70 pode ser acessado, como mostrado na Figura 10B, Figura IlB ou Figura 11C, assim para receber os dados de imagem de inserção providos pelo dispositivo de servidor e, em um tal caso, os dados de imagem de inserção assim levados na unidade de armazenamento de imagem de inserção 18 podem ser lidos na etapa F105.
Além disso, se uma imagem de texto de mensagem for para ser usada como os dados de imagem de inserção, uma lista ou similar de imagens de texto de mensagem pode ser apresentada em exibição na unidade de exibição 2 e uma imagem de texto de mensagem específica pode ser selecionada em resposta a uma operação de seleção de usuário. Como uma alternativa, o usuário pode ser permitido gerar uma imagem de texto de mensagem entrando com letras.
Será óbvio que os dados de imagem de inserção podem ser selecionados sem requerer entrada de usuário. Dados de imagem de inserção armazenados na unidade de armazenamento de imagem de inserção 18 pode ser selecionados aleatoriamente ou podem ser selecionados em uma seqüência específica.
Além disso, contanto que a unidade de entrada de operação 11 5 seja equipada com um sensor biológico, dados de imagem de inserção específicos podem ser selecionados em correspondência às condições de usuário detectadas pelo sensor biológico. Por exemplo, o estado físico do usuário, humor e similar pode ser estimado baseado nos elementos detectados tais como ondas cerebrais, transpiração, taxa cardíaca, etc., e dados de 10 imagem de inserção expressando uma imagem de texto de mensagem apropriada para o estado de usuário estimado podem ser selecionados.
Além disso, se informação de texto de tradução for para ser usada como os dados de imagem de inserção, dados de texto deveriam ser gerados na etapa F105 baseado nas letras reconhecidas na área de substituição 15 ARi(X) e os dados de texto assim gerados deveriam então ser providos à unidade de processamento de tradução 19. Dados de texto resultando do processamento de tradução executado na unidade de processamento de tradução 19 são transferidos subseqüentemente à unidade de análise/substituição de imagem 12.
Depois de obter os dados de imagem de inserção na etapa
F105 e gerar os dados de imagem de substituição substituindo o conteúdo de imagem na área de substituição ARi(X) com os dados de imagem de inserção na etapa F106, o unidade de análise/substituição de imagem 12 compara o valor da variável X com o valor da variável N (o número de áreas de 25 substituição ARi que foi fixado) e toma uma decisão sobre se ou não o processamento foi executado para todas as áreas de substituição ARi fixadas na imagem na etapa F107.
Se houver uma área de substituição ARi ainda a ser processada, a operação procede à etapa F108 para incrementar o valor da variável X e então a operação retoma à etapa F105 para executar processamento semelhante para a próxima área de substituição ARi(X).
Uma vez que o processamento tenha sido executado para todas as áreas de substituição ARi e X é determinado ser igual a N, a operação 5 procede à etapa F109. Por este momento, dados de imagem de substituição, com o conteúdo de imagem em todas as áreas de substituição, ARi tendo sido substituídos, terão sido gerados. Os dados de imagem de substituição tendo sido gerados podem ter conteúdo de imagem tais como quaisquer daqueles mostrado nas Figuras 5C, 6C, 7C, 8C e 9C.
Em resposta a uma instrução emitida pelo controlador de
sistema 10, a unidade de análise/substituição de imagem 12 transfere-produz os dados de imagem de substituição gerados.
Por exemplo, dados de imagem de substituição para serem exibidos-produzidos são transferidos à unidade de controle de exibição 7. A unidade de controle de exibição 7, por sua vez, envolve a unidade de exibição
2 para apresentar exibição dos dados de imagem de substituição providos a ela.
Dados de imagem de substituição para serem transmitidosproduzidos a um dispositivo externo 80 ou ao dispositivo de servidor 70, por outro lado, são transferidos à unidade de comunicação 15. A unidade de comunicação 15, por sua vez, executa processamento de transmissão para transmitir os dados de imagem de substituição providos a ela.
Dados de imagem de substituição pretendidos para armazenamento são transferidos à unidade de armazenamento 14. Os dados 25 de imagem de substituição podem então ser armazenados no formato mostrado na Figura 12 na unidade de armazenamento 14. Dados de imagem de substituição para serem saídos e gravados em um meio de gravação portátil são transferidos à unidade de armazenamento 14 (contanto que a unidade de armazenamento 14 seja equipada com uma unidade de gravação/reprodução correspondendo ao tipo específico de meio de gravação portátil), onde os dados de imagem de substituição transferidos são gravados no meio de gravação portátil.
No exemplo I de processamento, o processamento de fixação de área de substituição (F101 ~ F103) e o processamento de substituição de imagem (F104 ~ F109) são executados em seqüência, como descrito acima.
É para ser notado que enquanto o processamento descrito acima simplesmente precisa ser executado em dados de imagem correspondendo a um único quadro quando os dados de imagem capturada expressam uma imagem parada, o processamento descrito acima deve ser executado individualmente para cada um dos quadros constituindo dados de imagem capturada visada de processamento expressando uma imagem de vídeo.
8. Exemplo de processamento II de processamento que pode ser executado pela unidade de análise/substituição de imagem
A unidade de análise/substituição de imagem 12 pode executar processamento de fixação de área de substituição para fixar uma área de substituição ARi dentro da imagem expressa com os dados de imagem capturada visada de processamento com temporização diferente da temporização com a qual o processamento de substituição de imagem para gerar dados de imagem de substituição inserindo dados de imagem de inserção na área de substituição ARi tendo sido fixada, é executado. No exemplo de processamento II descrito abaixo em referência às Figuras 15 e 16,o processamento de fixação de área de substituição e o processamento de substituição de imagem são executados independentemente um do outro.
Figura 15 mostra o processamento de fixação de área de substituição executado pela unidade de análise/substituição de imagem 12.
Na hora de execução do processamento mostrado na Figura 15 pela unidade de análise/substituição de imagem 12, o controlador de sistema 10 emite uma instrução, por exemplo, para a unidade de controle de geração de imagem 6, a unidade de armazenamento 14 ou a unidade de comunicação 15 para transferir os dados de imagem capturada visada de processamento à unidade de análise/substituição de imagem 12.
Quando dados de imagem capturada visada de processamento
são entrados à unidade de análise/substituição de imagem 12, a operação procede da etapa F201 à etapa F202 no processamento mostrado na Figura 15.
A unidade de análise/substituição de imagem 12 executa processamento de análise de imagem nos dados de imagem capturada de 10 entrada e fixa uma única área de substituição ARi ou uma pluralidade de áreas de substituição ARi dentro da imagem na etapa F102. Os métodos que podem ser adotados ao fixar as áreas de substituição ARi por análise de imagem já foram explicados.
Uma vez que as áreas de substituição ARi sejam fixadas, informação de área de substituição é gerada na etapa F203. A informação de área de substituição gerada neste etapa indica as áreas de pixel casando com a única área de substituição ARi ou a pluralidade de áreas de substituição ARi tendo sido fixadas (ou indica que nenhuma área de substituição foi fixada).
Uma vez que a informação de área de substituição tenha sido 20 gerada, a unidade de análise/substituição de imagem 12 produz a informação de área de substituição na etapa F204. Sob controle executado pelo controlador de sistema 10, a informação de área de substituição é transferida à unidade de armazenamento 14, onde é armazenada em um formato tal como aquele mostrado na Figura 13.
Com informação de área de substituição E armazenada em
correspondência aos dados de imagem capturada VD como mostrado na Figura 13, dados de imagem de substituição podem ser gerados mais tarde usando os dados de imagem capturada VD e a informação de área de substituição E correspondente. O controlador de sistema 10 lê um conjunto específico de dados de imagem capturada VD e a informação de área de substituição E correspondente salva em correlação entre si como mostrado na Figura 13 da unidade de armazenamento 14 e transfere os dados de imagem capturada e a 5 informação de área de substituição lida para a unidade de análise/substituição de imagem 12, que então empreende a geração de dados de imagem de substituição.
Quando os dados de imagem capturada VD e a informação de área de substituição E são providos a isso, a unidade de análise/substituição de imagem 12 executa o processamento de substituição de imagem mostrado na Figura 16.
Depois que os dados de imagem capturada VD e a informação de área de substituição E foram entrados à unidade de análise/substituição de imagem 12, a operação procede da etapa F301 à etapa F302, na qual a 15 unidade de análise/substituição de imagem verifica a informação de área de substituição e fixa o número de áreas de substituição indicado na informação de área de substituição como a variável N para substituição.
A seguir, a unidade de análise/substituição de imagem 12 toma uma decisão na etapa F303 como se ou não o valor do variável N é igual a 0. 20 Por conseguinte, se for decidido que N=O e que nenhuma área de substituição ARi foi fixada para os dados de imagem capturada tendo sido entrados, a operação procede à etapa F310, na qual uma mensagem indicando que nenhuma imagem de substituição pode ser gerada para os dados de imagem capturada visada de processamento atual, é enviada ao controlador de sistema 25 10 antes que o processamento termine.
Porém, se pelo menos uma área de substituição ARi foi fixada, o processamento executado pela unidade de análise/substituição de imagem 12 procede à etapa F304 para fixar uma variável X a I. Desde que o processamento executado nas etapas F304 ~ F309 é idêntico àquele executado nas etapas F104 ~ F109 na Figura 14, uma explicação repetida não é provida. Na etapa F309, os dados de imagem de substituição tendo sido gerados pelo processamento executado nas etapas F304 ~ F309 são transferidos à unidade de controle de exibição 7 para exibição-produção, são transferidos à unidade de comunicação 15 para sofrer processamento de transmissão ou são transferidos à unidade de armazenamento 14 para serem armazenados em um meio de gravação embutido ou um meio de gravação portátil.
No exemplo de processamento II, a unidade de análise/substituição de imagem 12 pode executar o processamento de fixação de área de substituição mostrado na Figura 14 e o processamento de substituição de imagem mostrado na Figura 15 independentemente um do outro a momentos separados em resposta a instruções emitidas pelo controlador de sistema 10.
9. Exemplos de procedimentos operacionais
A unidade de análise/substituição de imagem 12 fixa áreas de substituição ARi e gera dados de imagem de substituição como foi explicado em referência ao exemplo de processamento I e exemplo de processamento II.
O aparelho de geração de imagem 1 na concretização pode se envolver em operação junto com o processamento executado pela unidade de análise/substituição de imagem 12 descrita acima adotando quaisquer de vários procedimentos operacionais.
O seguinte é uma descrição de exemplos de procedimentos operacionais que podem ser executados no aparelho de geração de imagem 1 sob controle executado pelo controlador de sistema 10, dado em referência às Figuras 17A por 17D, 18A, 18B e 19A por 19C. Cada etapa operacional é executada pelo bloco apropriado sob controle executado pelo controlador de sistema 10.
O procedimento operacional mostrado na Figura 17A é como segue.
Dados de imagem capturada são obtidos na etapa STl 00.
É para ser notado que "obter imagem" nas Figuras 17A por 17D, 18A, 18B, 19A e 19B significa que dados de imagem capturada gerados 5 por operação de geração de imagem executada na unidade de geração de imagem 3 são obtidos, que dados de imagem capturada recebidos pela unidade de comunicação 15 ou que dados de imagem capturada lidos de um meio de gravação portátil na unidade de armazenamento 14 são obtidos.
Na etapa STl01, os dados de imagem capturada tendo sido 10 obtidos na etapa ST100 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem. Em outras palavras, a unidade de análise/substituição de imagem 12 está envolvida no processamento em exemplo de processamento I descrito anteriormente.
Na etapa STl 02, os dados de imagem capturada tendo sido
obtidos na etapa ST100 e os dados de imagem de substituição tendo sido gerados pela unidade de análise/substituição de imagem 12 na etapa STlOl são salvos na unidade de armazenamento 14. Isto é, os dados de imagem capturada e os dados de imagem de substituição nomeados com uma entrada 20 comum específica #n, são salvos em correspondência um ao outro, como mostrado na Figura 12.
O procedimento operacional mostrado na Figura 17B é como
segue.
Dados de imagem capturada na etapa STl 10 são obtidos.
Na etapa STl 11, os dados de imagem capturada tendo sido
obtidos na etapa STl 10 são salvos na unidade de armazenamento 14.
Na etapa STl 12, os dados de imagem capturada tendo sido obtidos na etapa ST110 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem em exemplo de processamento I.
Na etapa STl 13, os dados de imagem de substituição tendo sido gerados pela unidade de análise/substituição de imagem 12 na etapa 5 STl 12 são salvos na unidade de armazenamento 14. Neste momento, os dados de imagem capturada e os dados de imagem de substituição, nomeados com uma entrada comum #n, são salvos em correspondência um ao outro como mostrado na Figura 12.
Pelos procedimentos operacionais nas Figuras 17A e 17B descritos acima, dados de imagem de substituição são gerados baseado nos dados de imagem capturada e nos dados de imagem capturada e os dados de imagem de substituição são salvos na unidade de armazenamento 14 no formato mostrado na Figura 12.
Os dados de imagem capturada e os dados de imagem de substituição salvos na unidade de armazenamento 14 pode ser lidos mais tarde para exibição-produção, para serem transmitidos a um dispositivo externo 80 ou ao dispositivo de servidor 70, ou para serem gravados em um meio de gravação portátil.
O procedimento operacional mostrado na Figura 17C é como
segue.
Dados de imagem capturada são obtidos na etapa ST120.
Na etapa ST121, os dados de imagem capturada tendo sido obtidos na etapa ST120 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem em exemplo de processamento I.
Na etapa ST122, os dados de imagem de substituição tendo sido gerados pela unidade de análise/substituição de imagem 12 na etapa ST101 são produzidos. É para ser notado que "produzir imagem de substituição" nas Figuras 17C, 17D, 18A, 18B e 19C significa que os dados de imagem de substituição são transferidos à unidade de controle de exibição 7 para serem exibidos-produzidos à unidade de exibição 2, que os dados de imagem de substituição são transferidos à unidade de comunicação 15 para transmissãoprodução, ou que os dados de imagem de substituição são transferidos à unidade de armazenamento 14 (contanto que a unidade de armazenamento 14 seja equipada com uma unidade de gravação/reprodução compatível com um tipo específico de meio de gravação portátil) para serem gravados em um meio de gravação portátil.
O procedimento operacional mostrado na Figura 17D é como
segue.
Dados de imagem capturada são obtidos na etapa ST130.
Na etapa ST131, os dados de imagem capturada tendo sido obtidos na etapa STl30 são salvos na unidade de armazenamento 14.
Na etapa STl 32, os dados de imagem capturada tendo sido obtidos na etapa ST130 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem em exemplo de processamento I.
Na etapa ST133, os dados de imagem de substituição tendo sido gerados pela unidade de análise/substituição de imagem 12 na etapa STl32 são produzidos.
Pelos procedimentos operacionais nas Figuras 17C e 17D descritos acima, os dados de imagem de substituição tendo sido gerados são produzidos sem salvá-los no aparelho de geração de imagem 1 (em um meio de gravação embutido tal como um HDD ou uma memória de estado sólido na unidade de armazenamento 14).
O procedimento operacional mostrado na Figura 18A é como segue.
Dados de imagem capturada são obtidos na etapa ST140.
Na etapa ST141, os dados de imagem capturada tendo sido obtidos na etapa ST140 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem em exemplo de processamento I.
Na etapa ST142, os dados de imagem capturada tendo sido obtidos na etapa ST140 e os dados de imagem de substituição tendo sido
gerados pela unidade de análise/substituição de imagem 12 na etapa ST141 são salvos na unidade de armazenamento 14.
Na etapa ST143, os dados de imagem de substituição tendo sido gerados pelo unidade de análise/substituição de imagem 12 na etapa STl42 são produzidos.
O procedimento operacional mostrado na Figura 18B é como
segue.
Dados de imagem capturada são obtidos na etapa STl 50.
Na etapa ST151, os dados de imagem capturada tendo sido obtidos na etapa STl50 são salvos na unidade de armazenamento 14.
Na etapa ST152, os dados de imagem capturada tendo sido
obtidos na etapa STl50 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição e o processamento de substituição de imagem em exemplo de processamento I.
Na etapa STl 53, os dados de imagem de substituição tendo
sido gerados pelo unidade de análise/substituição de imagem 12 na etapa STl 52 são salvos na unidade de armazenamento 14.
Na etapa STl 54, os dados de imagem de substituição tendo sido gerados pelo unidade de análise/substituição de imagem 12 na etapa STl52 são produzidos.
Pelos procedimentos operacionais nas Figuras 18A e 18B, os dados de imagem de substituição tendo sido gerados são produzidos simultaneamente quando eles são salvos no aparelho de geração de imagem 1 (em um meio de gravação embutido tal como um HDD ou uma memória de estado sólido na unidade de armazenamento 14).
O procedimento operacional mostrado na Figura 19A é como
segue.
Na etapa STl60, dados de imagem capturada são obtidos.
Na etapa STl61, os dados de imagem capturada obtidos na
etapa ST160 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição (veja Figura 15) em exemplo de processamento II explicado anteriormente.
Na etapa ST162, os dados de imagem capturada obtidos na etapa ST160 e a informação de área de substituição tendo sido gerada pela unidade de análise/substituição de imagem 12 na etapa STl61 são salvos na unidade de armazenamento 14 no formato mostrado na Figura 13.
O procedimento operacional mostrado na Figura 19B é como
segue.
Na etapa STl70, dados de imagem capturada são obtidos.
Na etapa STl 71, os dados de imagem capturada obtidos na etapa ST170 são salvos na unidade de armazenamento 14.
Na etapa STl 72, os dados de imagem capturada obtidos na etapa STl 70 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de fixação de área de substituição (veja Figura 15) em exemplo de processamento II explicado anteriormente.
Na etapa ST173, a informação de área de substituição tendo sido gerada pela unidade de análise/substituição de imagem 12 na etapa STl 72 é salva na unidade de armazenamento 14. Finalmente, os dados de imagem capturada e a informação de área de substituição são salvos no formato mostrado na Figura 13.
Pelos procedimentos operacionais nas Figuras 19A e 19B, a informação de área de substituição resultando do processamento de fixação de 5 área de substituição executado em exemplo de processamento II é salva junto com os dados de imagem capturada. É para ser notado que os dados de imagem capturada e a informação de área de substituição podem ser salvos transmitindo-os a um dispositivo externo 80 ou ao dispositivo de servidor 70 pela unidade de comunicação 15. Em outras palavras, a informação de área de 10 substituição pode ser salva junto com os dados de imagem capturada a um dispositivo externo 80 ou no dispositivo de servidor 70.
O procedimento operacional mostrado na Figura 19C é como
segue.
Na etapa ST180, dados de imagem capturada e a informação de área de substituição correspondente são lidos. Isto é, os dados de imagem capturada e a informação de área de substituição gravados no formato mostrado na Figura 13 pela operação mostrada tanto na Figura 19A ou na Figura 19B são lidos da unidade de armazenamento 14.
Na etapa STl81, os dados de imagem capturada e a informação de área de substituição tendo sido obtidos na etapa STl80 são providos à unidade de análise/substituição de imagem 12, onde eles sofrem o processamento de substituição de imagem (veja Figura 16) em exemplo de processamento II.
Na etapa STl 82, os dados de imagem de substituição tendo sido gerados pela unidade de análise/substituição de imagem 12 na etapa STl81 são produzidos.
Assim, pelo procedimento operacional na Figura 19C, os dados de imagem capturada e a informação de área de substituição são salvos como mostrado na Figura 13 na unidade de armazenamento 14 são usados para gerar dados de imagem de substituição e os dados de imagem de substituição gerados são produzidos, seguindo a operação na Figura 19A ou 19B.
r
E para ser notado que dados de imagem capturada e 5 informação de área de substituição salvos em um dispositivo externo 80 ou no dispositivo de servidor 70, podem ser transmitidos do dispositivo externo 80 ou do dispositivo de servidor 70, recebidos e levados no aparelho de geração de imagem na etapa F180. Ou dados de imagem capturada e informação de área de substituição salvos em um meio de gravação portátil, podem ser lidos 10 do meio de gravação portátil na etapa F180.
Além disso, dados de imagem de substituição podem ser salvos na unidade de armazenamento 14 tanto antes ou depois de produzir os dados de imagem de substituição na etapa F182 em um procedimento operacional alternativo.
Enquanto exemplos de operações que podem ser executadas
no aparelho de geração de imagem 1 foram descritos acima, o aparelho de geração de imagem pode se envolver em operação por quaisquer de vários outros procedimentos operacionais.
10. Vantagens da concretização, variações e exemplos de aplicações expandidas
Na concretização descrita acima, a imagem expressa com dados de imagem capturada é processada assegurando que a aparência da imagem não será alterada significativamente, assim para gerar dados de imagem de substituição expressando uma imagem de substituição tais como 25 quaisquer daquelas mostradas nas Figuras 5C, 6C, 7C, 8C e 9C. Quaisquer de vários tipos de informação, tal como uma propaganda, uma mensagem e texto de tradução podem ser providos na forma de dados de imagem de substituição. Uma vantagem é assim alcançada visto que o valor adicionado da imagem capturada pode ser aumentado sem alterar significativamente o conteúdo de imagem original.
Por exemplo, o uso de informação de propaganda como dados de imagem de inserção criará novas oportunidades de propaganda para o anunciante e finalmente, o sistema na concretização pode ser utilizado como 5 um meio de propaganda altamente efetivo. Em outras palavras, um novo modelo empresarial pode ser criado baseado no sistema alcançado na concretização.
O sistema também provê o usuário com informação útil tal como informação de propaganda.
Mais especificamente, quando dados de imagem de inserção
com, por exemplo, conteúdo de propaganda são providos do dispositivo de servidor 70 em correspondência à data/hora atual, a posição atual ou o ID de usuário, o usuário particular será provido com uma propaganda oportuna, uma propaganda apropriada ao local de usuário atual, uma propaganda provável se 15 provar útil ao usuário particular ou similar. Em outras palavras, o valor dos dados de imagem de substituição pode ser aumentado pelo sistema.
Além disso, o uso de uma imagem de texto de mensagem como dados de imagem de inserção tomará possível personalizar a imagem como a mensagem adicionada representará a imagem mais atraente ou 20 relacionará aos sentimentos pessoais do usuário. Isto, em troca, alargará a gama de envolvimento de usuário ou criará um novo modo de utilização de imagem.
O uso de texto de tradução como dados de imagem de inserção assegurará melhor conveniência de usuário. Por exemplo, um usuário usando 25 um aparelho de geração de imagem usável 1 como aquele mostrado na Figura IA, em uma viagem transoceânica ou similar, será capaz de Ier realmente texto provido em um idioma estrangeiro em uma tabuleta ou similar, no campo visual do usuário, traduzido na sua língua matema, como os dados de imagem de substituição com o texto de tradução são produzidos imediatamente e exibidos na unidade de exibição 2. Sob tais circunstâncias, o usuário é ligado para achar o sistema muito conveniente.
A presente invenção não está limitada à concretização descrita acima e permite variações diversas e exemplos de aplicação expandida com respeito à estrutura que pode ser adotada no aparelho de geração de imagem 1 ou processamento que pode ser executado no aparelho de geração de imagem 1.
O aparelho de processamento de imagem na concretização da presente invenção pode ser quaisquer de vários aparelhos diferentes do aparelho de geração de imagem 1.
Figura 20 mostra que o aparelho de processamento de imagem alcançou na concretização da presente invenção incluindo o controlador de sistema 10, a unidade de aquisição de imagem 20, a unidade de análise/substituição de imagem 12, uma unidade de processamento de salvação 22, uma unidade de saída de imagem 21 e a unidade de armazenamento de imagem de inserção 18.
Quaisquer de vários dispositivos equipados com estes componentes estruturais podem concretizar o aparelho de processamento de imagem de acordo com a presente invenção.
Como uma alternativa, um dispositivo adotando uma estrutura que não inclui a unidade de saída de imagem 21 nem a unidade de processamento de salvação 22 ou que não inclui a unidade de saída de imagem 21 ou a unidade de processamento de salvação 22 pode constituir o aparelho de processamento de imagem alcançado na concretização da presente invenção.
A unidade de aquisição de imagem 20 é um bloco que obtém os dados de imagem capturada para sofrer o processamento na unidade de análise/substituição de imagem 12. Como foi descrito em referência ao aparelho de geração de imagem 1 na concretização, a unidade de aquisição de imagem 20 pode ser constituída com o unidade de geração de imagem 3 e a unidade de controle de geração de imagem 6, a unidade de comunicação 15, um acionamento de reprodução que reproduz informação em um meio de gravação portátil tal como um disco óptico ou um cartão de memória para Ier 5 os dados de imagem capturada gravados no meio de gravação portátil, ou similar.
Além disso, os dados de imagem capturada obtidos pela unidade de aquisição de imagem 20 podem ser dados de imagem parada ou dados de vídeo.
A unidade de processamento de salvação 22, que executa
processamento para salvar os dados de imagem de substituição, é equivalente à unidade de armazenamento 14 na concretização.
E para ser notado que em uma aplicação na qual os dados de imagem de substituição são transmitidos a um dispositivo externo 80 ou ao 15 dispositivo de servidor 70 para serem salvos no dispositivo externo 80 ou no dispositivo de servidor 70 como no modo mostrado na Figura 3B ou 3C, a unidade de comunicação 15 envolvida na transmissão dos dados de imagem de substituição é equivalente à unidade de processamento de salvação 22. Será óbvio que os dados de imagem de substituição podem ser transmitidos 20 tanto por transmissão sem fios ou transmissão por fios.
A unidade de saída de imagem 21 é equivalente à unidade de exibição 2 que exibe-produz os dados de imagem de substituição na concretização anterior. Além disso, uma unidade de saída que produz os dados de imagem de substituição para exibir os dados de imagem de 25 substituição a um dispositivo de monitor externo, também, pode ser considerada como a unidade de saída de imagem 21.
Além disso, a unidade de comunicação 15 que transmite os dados de imagem de substituição a um dispositivo externo 80 ou ao dispositivo de servidor 70 por conexão por fios ou conexão sem fios, como mostrado na Figura 3B ou Figura 3C, também pode ser considerada como a unidade de saída de imagem 21.
A unidade de saída de imagem 21 também pode ser constituída com um acionamento de gravação que grava os dados de imagem de 5 substituição em um meio de gravação portátil para permitir aos dados de imagem de substituição serem exportados pelo meio de gravação portátil do aparelho.
Como descrito acima, a unidade de aquisição de imagem 20, a unidade de saída de imagem 21 e a unidade de processamento de salvação 22 10 pode cada uma assumir quaisquer de modos extremamente diversos. Levando em conta estas premissas, o aparelho de processamento de imagem de acordo com uma concretização da presente invenção pode ser realizado como um dispositivo de exibição de monitor, um dispositivo de comunicação ou um dispositivo de salvação de dados de imagem sem uma função de geração de 15 imagem, um dispositivo de edição de imagem que compõe uma imagem, ou similar, em vez de um aparelho de geração de imagem tal como uma câmera parada ou uma câmera de vídeo.
Além disso, a unidade de análise/substituição de imagem 12 foi descrita como uma unidade que executa o processamento de fixação de 20 área de substituição e o processamento de substituição de imagem. Em outras palavras, a unidade de fixação de área de substituição e a unidade de geração de imagem de substituição como referida nas reivindicações da presente invenção são concretizadas na unidade de análise/substituição de imagem 12.
Porém, o aparelho de processamento de imagem de acordo 25 com uma concretização da presente invenção, tal como o aparelho de geração de imagem 1, pode ao invés vir equipado só com a unidade de fixação de área de substituição ou a unidade de geração de imagem de substituição. Isto é, a presente invenção pode ser adotada em um aparelho equipado com uma unidade de análise de imagem para executar o processamento de fixação de área de substituição sozinho dentro do aparelho ou equipado com uma unidade de substituição de imagem para executar o processamento de substituição de imagem sozinho dentro do aparelho.
Por exemplo, o processamento de fixação de área de 5 substituição pode ser executado a um dado dispositivo e os dados de imagem capturada e a informação de área de substituição podem ser providos a outro dispositivo. O processamento de substituição de imagem será executado no outro dispositivo usando os dados de imagem capturada e a informação de área de substituição provida a isso para gerar os dados de imagem de 10 substituição.

Claims (19)

1. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada; uma unidade de armazenamento de imagem de inserção que armazena dados de imagem de inserção; uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem dos dados de imagem capturada obtida pela unidade de aquisição de imagem capturada; e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição executando processamento para substituir todos ou parte de dados de pixel dentro da área de substituição com os dados de imagem de inserção lidos da unidade de armazenamento de imagem de inserção.
2. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que a unidade de aquisição de imagem capturada inclui uma unidade de geração de imagem que captura uma imagem, e obtém os dados de imagem capturada por captura de imagem na unidade de geração de imagem.
3. Aparelho de processamento de imagem de acordo com reivindicação 2, caracterizado pelo fato de que a unidade de geração de imagem é constituída com um sensor de CCD ou um sensor de CMOS para um sensor de imagem.
4. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que a unidade de aquisição de imagem capturada inclui uma unidade de comunicação que se comunica com um dispositivo de comunicação externo, e obtém os dados de imagem capturada recebendo os dados capturados por comunicação da unidade de comunicação com o dispositivo de comunicação extemo.
5. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que a unidade de aquisição de imagem capturada inclui uma unidade de reprodução que reproduz informação de um meio de gravação portátil, e obtém os dados de imagem capturada por reprodução do meio de gravação portátil pela unidade de reprodução.
6. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de ter: uma unidade de comunicação que se comunica com um dispositivo de comunicação extemo, em que: a unidade de armazenamento de imagem de inserção armazena os dados de imagem de inserção transmitidos do dispositivo de comunicação extemo e recebidos na unidade de comunicação.
7. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de compreender adicionalmente: uma unidade de processamento de salvação que executa processamento de salvação para os dados de imagem de substituição gerados por dita unidade de geração de imagem de substituição e/ou informação da área de substituição fixada pela unidade de fixação de área de substituição.
8. Aparelho de processamento de imagem de acordo com reivindicação 7, caracterizado pelo fato de que a unidade de processamento de salvação inclui uma unidade de gravação que grava informação em um meio de gravação, e para o processamento de salvação, grava os dados de imagem de substituição e/ou a informação de área de substituição no meio de gravação.
9. Aparelho de processamento de imagem de acordo com reivindicação 7, caracterizado pelo fato de que a unidade de processamento de salvação inclui uma unidade de comunicação que se comunica com um dispositivo de comunicação extemo, e para o processamento de salvação, transmite os dados de imagem de substituição e/ou a informação da área de substituição para o dispositivo de comunicação extemo.
10. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de adicionalmente compreender: uma unidade de saída de imagem que executa processamento de saída para os dados de imagem de substituição gerada pela unidade de geração de imagem de substituição.
11. Aparelho de processamento de imagem de acordo com reivindicação 10, caracterizado pelo fato de que a unidade de saída de imagem inclui uma unidade de exibição e, para o processamento de saída, exibe-produz os dados de imagem de substituição na unidade de exibição.
12. Aparelho de processamento de imagem de acordo com reivindicação 10, caracterizado pelo fato de que a unidade de saída de imagem inclui uma unidade de comunicação que se comunica com um dispositivo de comunicação extemo, e para o processamento de saída, transmite-produz os dados de imagem de substituição para o dispositivo de comunicação extemo pela unidade de comunicação.
13. Aparelho de processamento de imagem de acordo com reivindicação 10, caracterizado pelo fato de que a unidade de saída de imagem inclui uma unidade de gravação que grava informação em um meio de gravação portátil, e para o processamento de saída, grava os dados de imagem de substituição no meio de gravação portátil pela unidade de gravação.
14. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que a unidade de fixação de área de substituição detecta uma imagem específica dentro dos dados de imagem capturada por processamento de análise de imagem nos dados de imagem capturada e fixa a área de substituição baseado na imagem detectada.
15. Aparelho de processamento de imagem de acordo com reivindicação 1, caracterizado pelo fato de que os dados de imagem de inserção são uma imagem de propaganda, uma imagem de texto de mensagem ou uma imagem de texto de tradução.
16. Método de processamento de imagem, caracterizado pelo fato de compreender as etapas de: obter dados de imagem capturada; fixar uma área de substituição dentro de uma imagem dos dados de imagem capturada obtida; Ier dados de imagem de inserção armazenados; e gerar dados de imagem de substituição substituindo todos ou parte de dados de pixel dentro da área de substituição com os dados de imagem de inserção lidos.
17. Sistema de processamento de imagem tendo um aparelho de processamento de imagem e um dispositivo de servidor capaz de se comunicar entre si, caracterizado pelo fato de que: o aparelho de processamento de imagem inclui: uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada, uma unidade de recepção que recebe dados de imagem de inserção transmitidos do dispositivo de servidor, uma unidade de armazenamento de imagem de inserção que armazena os dados de imagem de inserção recebidos na unidade de recepção, uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem dos dados de imagem capturada obtidos pela unidade de aquisição de imagem capturada, e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição executando processamento para substituir todos ou parte de dados de pixel dentro da área de substituição com os dados de imagem de inserção lidos da unidade de armazenamento de imagem de inserção, e o dispositivo de servidor inclui uma unidade de transmissão que transmite os dados de imagem de inserção ao aparelho de processamento de imagem.
18. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: uma unidade de aquisição de imagem capturada que obtém dados de imagem capturada; uma unidade de fixação de área de substituição que fixa uma área de substituição dentro de uma imagem dos dados de imagem capturada obtidos pela unidade de aquisição de imagem capturada; e uma unidade de processamento de salvação que executa processamento de salvação para os dados de imagem capturada e informação da área de substituição fixada pela unidade de fixação de área de substituição.
19. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: uma unidade de gravação/reprodução que grava e reproduz dados de imagem capturada e informação de uma área de substituição fixada para os dados de imagem capturada correlatando os dados de imagem capturada e a informação entre si; uma unidade de armazenamento de imagem de inserção que armazena dados de imagem de inserção; e uma unidade de geração de imagem de substituição que gera dados de imagem de substituição obtendo os dados de imagem capturada e a informação da área de substituição da unidade de gravação/reprodução e executando processamento nos dados de imagem capturada obtidos para substituir todos ou parte de dados de pixel dentro da área de substituição indicada pela informação da área de substituição com os dados de imagem de inserção lidos da unidade de armazenamento de imagem de inserção.
BRPI0808435-1A 2007-03-12 2008-02-18 Aparelho, método e sistema de processamento de imagem. BRPI0808435A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007061735A JP5162928B2 (ja) 2007-03-12 2007-03-12 画像処理装置、画像処理方法、画像処理システム
JP2007-061735 2007-03-12
PCT/JP2008/052625 WO2008111363A1 (ja) 2007-03-12 2008-02-18 画像処理装置、画像処理方法、画像処理システム

Publications (1)

Publication Number Publication Date
BRPI0808435A2 true BRPI0808435A2 (pt) 2014-07-29

Family

ID=39759306

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0808435-1A BRPI0808435A2 (pt) 2007-03-12 2008-02-18 Aparelho, método e sistema de processamento de imagem.

Country Status (7)

Country Link
US (1) US20100091139A1 (pt)
EP (1) EP2120212A4 (pt)
JP (1) JP5162928B2 (pt)
KR (1) KR20090118974A (pt)
CN (1) CN101641718B (pt)
BR (1) BRPI0808435A2 (pt)
WO (1) WO2008111363A1 (pt)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8988609B2 (en) 2007-03-22 2015-03-24 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
JP4911191B2 (ja) * 2009-04-08 2012-04-04 株式会社ニコン 画像処理装置および画像処理プログラム
JP2011123741A (ja) * 2009-12-11 2011-06-23 Toppan Printing Co Ltd サンプル提供装置およびプロモーション展開システム
JP5521621B2 (ja) * 2010-02-19 2014-06-18 日本電気株式会社 携帯端末、拡張現実システム、及び拡張現実情報表示方法
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
JPWO2011132733A1 (ja) * 2010-04-22 2013-07-18 エイディシーテクノロジー株式会社 記憶装置
JP2012044407A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP5933913B2 (ja) * 2010-08-30 2016-06-15 株式会社エヌ・ティ・ティ・データ 情報サービスシステムおよび情報サービス方法
KR101688155B1 (ko) * 2010-10-25 2016-12-20 엘지전자 주식회사 이동 단말기의 정보 처리 장치 및 그 방법
CN103548073B (zh) * 2011-05-25 2016-09-14 皇家飞利浦有限公司 用于表面的识别系统
US20120327257A1 (en) * 2011-06-24 2012-12-27 O'keefe Brian Joseph Photo product using images from different locations
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
EP2771865A4 (en) * 2011-10-25 2015-07-08 Sony Corp APPARATUS, METHOD AND PROGRAM PRODUCT OF IMAGE PROCESSING COMPUTER
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
US10354291B1 (en) 2011-11-09 2019-07-16 Google Llc Distributing media to displays
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
GB2502986B (en) * 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US20130335594A1 (en) * 2012-06-18 2013-12-19 Microsoft Corporation Enhancing captured data
WO2014014238A1 (en) * 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
JP2014068273A (ja) * 2012-09-26 2014-04-17 Olympus Imaging Corp 画像編集装置、画像編集方法、およびプログラム
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
CN103902994A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种处理方法及电子设备
JP6155643B2 (ja) * 2013-01-07 2017-07-05 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9812046B2 (en) * 2013-01-10 2017-11-07 Microsoft Technology Licensing, Llc Mixed reality display accommodation
EP2765781A1 (en) * 2013-02-07 2014-08-13 Thomson Licensing Method for providing targetable content in images of a video sequence and corresponding device
US9407797B1 (en) * 2013-04-17 2016-08-02 Valve Corporation Methods and systems for changing duty cycle to reduce judder effect
US20150002506A1 (en) * 2013-06-28 2015-01-01 Here Global B.V. Method and apparatus for providing augmented reality display spaces
CN103400284A (zh) * 2013-07-25 2013-11-20 北京网秦天下科技有限公司 广告呈现方法和装置
CN103488630B (zh) * 2013-09-29 2016-06-08 小米科技有限责任公司 一种图像的处理方法、装置及终端
JP6379787B2 (ja) * 2013-11-08 2018-08-29 株式会社リコー 画像処理システム、画像処理装置、画像処理方法及びプログラム
EP3103258B1 (en) * 2014-02-07 2020-07-15 Sony Interactive Entertainment America LLC Scheme for determining the locations and timing of advertisements and other insertions in media
JP6057949B2 (ja) * 2014-06-17 2017-01-11 ソフトバンク株式会社 撮像システム
JP6746959B2 (ja) * 2016-03-02 2020-08-26 富士ゼロックス株式会社 画像処理装置、画像処理システム、および画像処理プログラム
WO2017168949A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、撮像装置、画像再生装置、および方法とプログラム
US10466491B2 (en) * 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
JP6789741B2 (ja) * 2016-09-15 2020-11-25 株式会社東芝 情報処理装置及び方法
CN106598623A (zh) * 2016-12-23 2017-04-26 维沃移动通信有限公司 一种图片组合模板的生成方法及移动终端
CN106954022B (zh) * 2017-03-08 2019-10-25 Oppo广东移动通信有限公司 图像处理方法、装置及终端
JP7058946B2 (ja) * 2017-04-28 2022-04-25 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2019125474A1 (en) 2017-12-21 2019-06-27 Rovi Guides, Inc. Systems and method for dynamic insertion of advertisements
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
JP6877377B2 (ja) * 2018-03-06 2021-05-26 株式会社ドワンゴ コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム
CN108597034B (zh) * 2018-04-28 2022-11-01 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
US10997410B2 (en) * 2018-08-31 2021-05-04 Ricoh Company, Ltd. Information processing device and information processing system
US20220172490A1 (en) * 2019-03-26 2022-06-02 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
JP7396326B2 (ja) * 2021-04-21 2023-12-12 株式会社リコー 情報処理システム、情報処理装置、情報処理方法およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2003A (en) * 1841-03-12 Improvement in horizontal windivhlls
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JPH07212653A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 画像処理装置
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
WO1997000581A1 (en) * 1995-06-16 1997-01-03 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
ATE180371T1 (de) * 1995-06-16 1999-06-15 Princeton Video Image Inc Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild
US5808695A (en) * 1995-06-16 1998-09-15 Princeton Video Image, Inc. Method of tracking scene motion for live video insertion systems
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP3915106B2 (ja) * 1997-12-05 2007-05-16 富士フイルム株式会社 画像検索装置
JP4108171B2 (ja) * 1998-03-03 2008-06-25 三菱電機株式会社 画像合成装置
US6483484B1 (en) * 1998-12-18 2002-11-19 Semiconductor Energy Laboratory Co., Ltd. Goggle type display system
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
EP1071278B1 (en) * 1999-07-19 2006-05-17 Leo Vision Multi-camera, multi-feed and interactive virtual insertion systems and methods
JP2002015223A (ja) 1999-12-28 2002-01-18 Dream Technologies Kk 広告方法及び装置、広告料金算出方法及び装置、利用料金徴収方法及び装置、付加情報表示方法及び装置
JP2002287674A (ja) * 2001-03-28 2002-10-04 Toshiba Corp 広告挿入方法および広告挿入装置およびプログラム
JP2003242410A (ja) 2002-02-19 2003-08-29 Fujitsu Ltd 情報配信方法及びコンピュータプログラム
JP3918632B2 (ja) * 2002-05-28 2007-05-23 カシオ計算機株式会社 画像配信サーバ、画像配信プログラム、及び画像配信方法
KR100752870B1 (ko) * 2002-05-28 2007-08-29 가시오게산키 가부시키가이샤 합성화상출력장치, 합성화상출력방법 및 기록매체
JP3687675B2 (ja) * 2002-12-25 2005-08-24 株式会社ニコン 電子透かし機能を有する電子カメラ、および画像処理プログラム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置

Also Published As

Publication number Publication date
WO2008111363A1 (ja) 2008-09-18
EP2120212A4 (en) 2011-07-06
KR20090118974A (ko) 2009-11-18
CN101641718B (zh) 2012-09-05
JP2008227813A (ja) 2008-09-25
EP2120212A1 (en) 2009-11-18
US20100091139A1 (en) 2010-04-15
JP5162928B2 (ja) 2013-03-13
CN101641718A (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
BRPI0808435A2 (pt) Aparelho, método e sistema de processamento de imagem.
CN103399403B (zh) 显示设备、显示方法
TWI384256B (zh) Display device, display method
JP5017989B2 (ja) 撮像装置、撮像方法
KR101329419B1 (ko) 화상 표시 시스템, 표시 장치, 표시 방법
JP2008096868A (ja) 撮像表示装置、撮像表示方法
JP6137113B2 (ja) 表示装置、表示方法、プログラム
JP2008083289A (ja) 撮像表示装置、撮像表示方法
JP2008182544A (ja) 画像保存装置、画像保存方法
JP5664677B2 (ja) 撮像表示装置、撮像表示方法
JP2013174898A (ja) 撮像表示装置、撮像表示方法
JP2013083994A (ja) 表示装置、表示方法
JP2013034237A (ja) 画像処理装置、画像処理方法、画像処理システム
JP5971298B2 (ja) 表示装置、表示方法

Legal Events

Date Code Title Description
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09B Patent application refused [chapter 9.2 patent gazette]
B09B Patent application refused [chapter 9.2 patent gazette]

Free format text: MANTIDO O INDEFERIMENTO UMA VEZ QUE NAO FOI APRESENTADO RECURSO DENTRO DO PRAZO LEGAL